Основанный в 1325 году, Инстербург среди замков Тевтонской Пруссии был одним из важнейших: ведь в те времена основными путями были реки, и замок у истока Преголи с одной стороны "запирал" для литовцев вход в орденские земли, с другой — сам служил базой для походов на Литву.
Нескольких ударов замок все-таки не выдержал — например, польского в 1461 году. После 1525 года назначенный герцогом управленец Иоганн Пайн очень преуспел — в 1583 году разросшееся у замка селение стало городом Инстербургом.
В 1643-48, когда в Георгенбурге базировался шведский командир, в Инстербурге жила Мария Элеонора Бранденбургская, вдова "снежного короля" Густава Адольфа.
У местных краеведов есть упоминания, что в 1655 году здесь стояла русская армия.
В 19 веке замок занимали суд, казармы, склад, после Первой Мировой войны в нём обосновался краеведческий музей, эвакуированный в 1944-м, ну а дальше... а дальше как всегда.
Предпринимаются попытки восстановления, работает небольшой музей.