Датой основания главного парка считается 1813 год, когда купец Ященко завещал Ростову свой садовый участок, располагавшийся тогда на свалке. Соседи последовали его примеру и отдали в пользование Ростову свои холмистые земли, на которых спустя почти 70 лет появился красивейший городской сад. К концу XIX века здесь был сформирован многоярусный партер с клумбами и редкими растениями, построены ротонда и крепостные ворота, открыт первый фонтан, сохранившийся и сегодня. В 1920-е парк преобразовали по требованию времени: появились скульптуры атлетов, статуя Ленина, конструктивистские решения, а также новое название. Сегодня в парке Горького самыми востребованными у горожан являются прогулочные аллеи, танцплощадка и обновленная эстрада, а также аттракционы старого образца.