Столетиями Выборг строился как город-крепость.
Главным укреплением Выборга на протяжении долгого времени являлся шведский замок, построенный в XIII веке.
В 1293 году шведские рыцари вторглись на Карельский перешеек. Они овладели землями, принадлежащими Великому Новгороду с X-XI века, среди которых оказалось и укрепленное островное поселение местных жителей - карелов. На этом острове шведы и возвели замок.
Новгородцы несколько раз пытались отбить эти земли у шведов, в 1318 году им это удалось, правда, на непродолжительное время. В 1323 году по мирному договору, подписанному в крепости Орешек, была установлена русско-шведская граница по реке Сестре. Новгород уступал Швеции часть Карельского перешейка с Выборгом, часть земель за Вуоксой и земли вокруг озера Сайма, восточная часть Карельского перешейка осталась новгородской. В дальнейшем шведские владельцы города и их южные соседи - новгородцы продолжали жить мирно, пока в 1351 году, а затем в 1411 мирные южане не разрушили городок.
В это время на Руси произошли некоторые изменения - самым миролюбивым городом стала Москва. В конце XV века ей правил Иван III, прославившийся, как впрочем и многие другие, как собиратель земель русских. Никто в те годы толком не знал, что за земли надо собирать, какие из них являются «исконными», поэтому брали все подряд. В частности, было принято решение о взятии Выборга. В 1495 году к городу подошел большой миролюбивый отряд и окружил его. В течение 10 недель армия Ивана III осаждала город, однако, успех ей не сопутствовал. У шведов тоже были свои проблемы: то стена рухнет под ударами русской артиллерии, то флот, спешивший на помощь, остановлен непогодой, то еда закончится. Тем не менее, армия Ивана не смогла взять Выборг, оставив его до поры до времени, еще на 200 с лишним лет, во власти шведов. Только в 1710 году многовековые попытки увенчались викторией: Петру I удалось захватить Выборг.
Достоверных сведений о первоначальном облике Выборгского замка не сохранилось. По всей вероятности, на возвышенном скальном плато острова построили толстостенную квадратную в плане башню из серого гранита и окружили ее оборонительной стеной. Башню назвали именем святого Олафа, почитаемого в северных странах. Название замка, а потом и города - Выборг появилось впервые в документах шведского короля Биргера в 1295 году.
Якорь шведского линейного корабля "Хедвиг Элизабет Шарлотта", который в ходе Выборгского морского сражения 22 июня 1790 года налетел на камни и разбился.
Лет 30 назад в башне небыло деревянной конструкции. Сверху от купола можно было видеть все внутреннее пространство башни. Ощущения были совсем другие, нежели теперь.
В конце 1470-х гг. часть полуострова, на которой уже разросся город, обнесли каменной стеной, усиленной боевыми башнями. Возведенную крепость назвали Каменным городом.
Во второй половине XV века в Каменном городе появились первые монументальные постройки: два монастырских храма - францисканского и доминиканского монастырей, и кафедральный собор.
Часовая башня - бывшая колокольня кафедрального собора. Собор был построен в конце XV века. В феврале 1561 года храм был перестроен. В 1600 году на стене звонницы был установлен циферблат, и башня впервые получила название "Часовая".
На самом высоком месте находилось первое здание городской ратуши. Ратуша имела Сторожевую башню, служившую одновременно дозорной вышкой и пожарной каланчей.
Первый памятник Выборга — установленный в 1908 году на площади Старой Ратуши монумент основателю города Торгильсу Кнутссону.
Со временем в Каменном городе стало тесно, поэтому жители стали селиться за юго-восточной крепостной стеной. Там возникло обширное предместье, защитой которому долгое время служили лишь земляные валы, поэтому его назвали Земляной город, или Вал. С целью обороны Земляного города во второй половине XVI века построили еще одну крепость. Это была крепость бастионного типа, четырехугольная в плане. На флангах передового рубежа возвели два мощных угловых бастиона. Обращенные своими остриями на юго-восток, они походили в плане на изображение рогов. Надо полагать, что отсюда произошло ее название - Рогатая крепость. От неё к XVI веку остались только разрозненные фрагменты - Круглая башня и бастион Панцерлакс.
История Аннинских укреплений начинается с января 1724 года, когда наиболее видным в то время воeнным инженерам - генерал-лейтенанту Миниху, генерал-майору Кулону и инженер-полковнику Де Бриньи было предложено разработать их проект.
Аннинские укрепления строили русские солдаты и крестьяне. К началу работ из Выборгской и Кексгольмской губерний затребовали две тысячи человек и двести подвод. Возведение укреплений велось секретно, посторонние к месту строительства не допускались.
В начале строительством Аннинских укреплений руководил Миних, позже - генерал-лейтенант Люберас. В начале 1750-х годов к работам в Аннинских укреплениях был привлечен А.П. Ганнибал, прадед А.С. Пушкина, находившийся до этого, как и многие «птенцы гнезда Петрова», в сибирской ссылке.
Построенные укрепления назвали именем русской императрицы Анны Иоанновны - Аннинские. Но в боевых действиях им участвовать так и не пришлось.
Почти столетие отделяет время строительства Аннинских укреплений от Восточно-выборгских, возведенных в 1863-1870-e годы под руководством начальника Выборгского крепостного инженерного управления подполковника Кислякова.
Надзор за строительством осуществлял Тотлебен - директор Инженерного департамента Военного министерства. В честь него назван один из северных фортов Кронштадта.
Укрепления состояли из 4-х редутов, 3-х батарей и бастионного фронта, тянулись от бухты Ховенлахти до бухты Папуланлахти. Центр крепости образовался на горе Вартсманинвуори. После постройки Восточно-выборгского укрепленного комплекса и его вооружения гора стала называться Батарейной.
В начале XX века вокруг горы построили кирпичную стену.
Восточно-выборгские укрепления осадам не подвергались. Наиболее важное историческое событие, связанное с ними - гражданская война в Финляндии. Когда Выборг - последний оплот рабочего правительства и Красной гвардии оказался в окружении, контрреволюционеры, находившиеся в городе, напав на охрану, освободили пленных белогвардейцев, содержавшихся в замке. Вместе с ними они захватили Восточно-выборгские укрепления. 25 апреля 1918 года красногвардейцы выбили их оттуда. Чтобы хранившиеся там боеприпасы, принадлежавшие бывшей царской армии, не достались врагу, их решили взорвать. Огромной силы взрыв повлек большие разрушения в крепости.