Старейший парк Пятигорска появился в первой половине XIX столетия – на месте болота, образованного водой сероводородных источников. Тогда это был центр города. Обустраивать «Цветник» начали в конце 1820-х годов: очистили пустырь, обустроили клумбы и высадили десятки цветков и аллея из лип, каштанов, кленов и тополей. Авторами проекта стали браться Бернардацци.
По их проектам были построены грот Дианы, названный так в честь покровительницы охоты в древнеримской мифологии, и Лермонтовская галерея, а также Ермоловские ванны, павильоны и фонтаны.
В XIX веке «Цветник» был излюбленным местом для прогулок «водяного общества».
В парке сохранился трехэтажный дом для неимущих офицеров, один из старейших в Пятигорске. Он был построен в 1826 году братьями Бернардацци. В прошлом здесь размещались офицеры, лечившиеся на курорте, но не имевшие для этого достаточных средств.
Неподалеку от него расположены Лермонтовские ванны (бывшие Николаевские).