На южном берегу реки Мемель, ныне — река Неман, на месте прусской деревянной крепости,
в 1289 году, под руководством ландмейстера Тевтонского ордена Мейнхарда фон Кверфурте был
заложен замок, первоначально названный Ландесхут.
Крепость стала одним из передовых постов Ордена и выполняла роль опорного пункта на границе с Литвой. В ней разместили сильный гарнизон, который возглавил комтур Бертольд фон Брюхафен. И всё же, в 1355 году замок был разрушен и сожжён в результате набега литвинов.

После объединения Литвы с Польшей в 1385 году положение на границе осложнилось.
Для более успешной защиты своих владений Орден приступил к постройке вдоль реки Мемель массивных каменных стен и замков. Вместо сгоревшей Ландесхут был возведён новый замок Рагнит в двух километрах вниз по течению реки.

К строительству замка был привлечён знаменитый архитектор Николаус Фелленштайн из города
Кобленца, который возводил крепость в Мариенбурге, Тильзите и др. местах. К марту 1402 года
были возведены стены главного здания. Массивное сооружение представляло собой квадрат с
трёхметровыми в толщину стенами из кирпичей, и длиной каждой стены в 60 метров.

В связи с тем, что в Пруссии бедны месторождения камня, для строительства замка Рагнит
использовался кирпич. Полевой камень применялся только для закладки фундаментов, возведения нижнего уровня первого этажа и углов. На месте было организовано производство кирпича, дерево получали из лесов, лежащих к востоку от Рагнита, а доски привозили из Кенигсберга. Известь, потребность в которой была очень высока, доставлялась кораблями из Данцига.

Грандиозный четырёхэтажный замок с подвальными помещениями, переходами, и с верхним
боевым обходом окружал глубокий ров с водой, для этого сделали дамбу на протекавшем рядом ручье.

Внутри замка был квадратный внутренний двор. Въездная арка располагалась в центре фасада
западной стороны и имела подъёмную решётку.

Конвент, (конвент, по латыни — собрание, был обществом братьев рыцарей Ордена из одного замка. В Тевтонском ордене в один конвент входили двенадцать братьев-рыцарей, по числу святых апостолов и их начальник — комтур. Конвентский зал — место расположения конвента),
парадные залы и другие помещения занимали второй этаж и были перекрыты звёздчатыми
нервюрными сводами.

Лаконичные фасады были прорезаны многочисленными стрельчатыми проёмами. Часть из них, особенно на южном и восточном фасадах включены в вытянутые на всю высоту сооружения
стрельчатые ниши.

Мощь гладких стен, сложенных в системе готической перевязки, подчёркивалась глубокими скосами по периметру проёмов.

В 1407-1408 годы в одном из помещений западного флигеля стены расписали гербами Великого магистра Ульриха фон Юнгингена, Верховного комтура Куно фон Лихтенштайна, Верховного маршала Фридриха фон Валленродта и комтура Эберхарда фон Вальденфельса.
В 1406 году к западу от главного здания приступили к возведению форбурга передовое укрепление, выступающая вперед часть замка, вторая линия обороны. В его южной части были устроены ворота, и небольшая калитка со стороны реки.

Западная башня, сохранившаяся и поныне, представляет собой квадратное строение с наклонной галереей. В центре верхнего яруса в XIX веке были установлены круглые часы.

Не смотря на то, что в XV веке Рагнит стал центром комтурства и ему подчинялись замки Тильзит и Лабиау, к началу XVI века дела Ордена стали плачевными. Орденское государство трещало по швам.
После «Тринадцатилетней войны» 1454—1467 годов Орден попал в зависимость от Польши.
В 1525 году Великий магистр Альбрехт Гогенцоллерн секуляризовал Орден и обратил орденские земли в государственные, а высокопоставленные орденские чиновники превратились в светских помещиков. Сам Альбрехт стал герцогом Пруссии. На этом и закончилась эпоха господства Тевтонского Ордена в Пруссии.

В 1722 году поселение у замка Рагнит получило городские права.
К 1800 году замок утратил военное значение, но сохранился. Оборонительные стены форбурга постепенно исчезли, на их месте возникли новые постройки.

Замок стали использовать в качестве тюрьмы, что повлекло за собой большие внутренние перестройки: утрачены все сводчатые перекрытия, пробиты новые окна с железными решётками, большие сводчатые заложены кирпичом. Затем пожар и новые перестройки значительно изменили внешний и внутренний облик здания.

В ходе боевых действий в январе 1945 года замок практически не пострадал.
В послевоенный период часть помещений использовалась под склады до момента утери крыши.
К 1964 году объём разрушений был весьма значителен, до наших дней дошли в руинированном состоянии только стены.

На гербе города начертано: "Да стоит вечно Рагнит" и в самом деле — воевал, горел и вновь опять отстраивался и возрождался...

В 2012 году к Дню города на площади был открыт памятник милой маленькой колдунье Раганите, чьё имя, по легенде, связано с местностью, где был возведён орденский замок Рагнит.
По её волшебству Замок Рагнит восстанет из пепла и забвения (? или !), какой знак поставить, знает только Раганите.