В 1492 году, на берегу реки Наровы на Девичей горе, что прямо против замка Вышгород ливонской крепости Нарва (по нашему — Ругодив) по приказу Ивана III выстроена была крепость и наречена Ивангород ("назваша в своё имя" — как тогда выражались). Маленькое регулярное, о четырёх башнях укрепление было выстроено в два месяца. Тремя годами позже была прорублена дорога на Ям.

Неприятель не долго терпел такое соседство и в августе 1496 году шведская морская пехота на 70 кораблях прибыла из замория Стеколна в устье Наровы и после энергичного штурма взяла крепость. Шведы предложили крепость Ливонскому ордену за сходную цену, однако меченосцы опрометчиво отказались.

В том же году явилось русское войско из Ямы и Пскова и под руководством Ивана Гундора и Михаила Кляпина в три месяца к восточной стороне крепости пристроен был Большой Боярший город с 19-метровой вышины стенами и 20-22 м вышины башнями. Площадь крепости увеличилась почти в 8 раз. У ливонцев появилась новая проблема — "eine Trutz Narva". Началось многовековое соперничество двух крепостей.

В 1498 году — в Б.Бояршем городе построена Никольская церковь. В 1507 году началось строительство Замка — укрепления вокруг крепости 1492 года с западной стороны, и Переднего города. Работами руководили Владимир Торокан и Марк Грек, которые люди собраша и град укрепиша (увеличили высоту стен и башен).