«Кавказский хребет был настолько высок и виден, что брать за его показ деньги не представлялось возможным.
Что же, касается Терека, то протекал он мимо «Трека», за вход в который деньги взимал город без помощи Остапа».
И. Ильф, Е. Петров.
В 1870 годах любители велосипедного спорта обратились к городским властям с просьбой предоставить им для строительства велотрека заброшенную, заболоченную территорию на месте нынешнего парка, и в скором времени велотрек был построен.
Нижняя часть парка, примерно в 13 га, связана с именем есаула Ерофеева, который в 1897 г. не только посадил деревья и кустарники, но и соорудил фонтан, лодочный вокзал, веранду для оркестра, ледяной каток и горки для катанья.
Разросшиеся к тому времени деревья верхней части парка он превратил в великолепные тенистые аллеи, одну из них назвав «Аллеей любви», другую — «Стрелки». Сейчас уже нет ни великолепного Велосипедного трека, ни Горских ворот, ни Байгоры, где так любили отдыхать горожане. Труды Ерофеева владикавказцы ценили очень высоко. По слухам, есаул похоронен в гроте посреди пруда, который, может быть, именно поэтому и значится на почтовых открытках как Ерофеевский.
В середине 90-х годов XIX века полковник Ерофеев передал парк в дар городу.
В том месте, где сейчас разбит цветник и расположены места для слушателей оркестра, был устроен велодром, который все стали называть треком, а затем так же стали называть и весь парк. 1 апреля 1893 года состоялись официальное открытие «Общества любителей велосипедного спорта» (с 1911 года — «Спортивное общество «Трек») и велосипедные гонки.
Со временем эта территория благоустраивается, здесь устраиваются пруды-отстойники для технической воды, используемой заводом «Кавцинк». Вода самотеком, по специальным трубам, доходила до завода «Кавцинк», поскольку высотная отметка парка и отметка завода сильно разнились, уклон для проведения воды был достаточный.
Со временем парк превращается в самый уютный уголок города, и приобретает славу самого красивого парка на Юге России.
По сей день парк состоит в списках памятников ландшафтного искусства ЮНЕСКО.