Старейшая из сохранившихся тюрем в Харьковской области находится на улице Полтавский шлях, между станциями метро "Южный вокзал" и "Холодная гора".

Одна из местных легенд увязывает с тюрьмой название района города, где она расположена: дескать, Екатерина II в бытность в Харькове, махнув рукой в сторону возвышавшейся над ним горы, сказала: "Быть там "холодной" (то есть тюрьме). Но это не так — арестантские роты, от которых ведёт свою историю тюрьма, появились позже — в середине XIX века. Первый же харьковский деревянный острог находился в районе нынешней Театральной площади (начинается на Сумской напротив театра Шевченко).

Затем в 1817 году император Александр издал указ построить в Харькове тюремный замок взамен старого, который он нашёл обветшавшим. Такой замок появился в 1823 году западнее улицы Дмитриевской, в районе нынешней улицы Малиновского (обе примыкают к Полтавскому шляху по пути из центра к вокзалу), историческим названием которой было Тюремная. Тогда там была окраина города. В тюрьмах в те годы сидели только осуждённые за не тяжкие преступления. Остальных отправляли на каторгу в Сибирь.

В 1830-е годы ссылку в Сибирь ограничили. Осуждённых за не тяжкие преступления и за тяжкие, но представителей привилегированных слоёв стали держать в арестантских ротах. Первые такие роты появились в 1831 году в Новгороде и Пскове, а в 1839 — в Харькове. Заключённые подчинялись военной дисциплине и участвовали в благоустройстве города. В 1870 году ссылку в Сибирь и (в основном) на Сахалин восстановили в полном объёме, а арестантские роты стали именовать исправительными отделениями. А с 1893 года Холодногорская тюрьма стала пересыльной: туда свозили осуждённых со всего юго-востока России, из Харькова в "столыпинских" вагонах везли в Одессу, а оттуда — морем на Сахалин. Так продолжалось до 1903 года, пока ссылку снова не ограничили, сделав прерогативой преимущественно политических.

По назначению использовали тюрьму и немцы: в годы оккупации в её стенах помещался один из крупнейших на Украине концлагерей "Шталаг-364".

Сейчас в стенах Холдногорской тюрьмы находятся следственный изолятор и колония строго режима. При колонии действует интересный музей, созданный самими её сотрудниками (среди экспонатов, например, ножные кандалы, найденные при постройке спортзала), однако человеку с улицы туда не попасть. Пускают только сотрудников правоохранительных органов, студентов-юристов и... подопечных, впервые попавших за решётку.

В народе тюрьму называют "Белым лебедем" — за цвет части сохранившихся построек тюремного замка. "Белый лебедь" — также официальное название Соликамской тюрьмы для особо опасных преступников, осуждённых пожизненно.

Холодногорская тюрьма — далеко не единственная в городе. По свидетельству работников правоохранительных органов, подобных заведений в Харькове больше, чем гостиниц, даже с учётом того, что число последних растёт.

Тюрьма занимает целый квартал между примыкающими к Полтавскому шляху слева, если идти от вокзала, улице Володарского и Проезжим переулком.

На противоположной стороне улицы, почти напротив находится известная в городе Холодногорская церковь. Храм виден с улицы Полтавский шлях в районе вокзала и служит хорошим ориентиром, если идти на Холодную гору от вокзала пешком (храм с противоположной стороны улицы и от вокзала чуть дальше).