Нынешний замок Килтси был сооружен на руинах средневекового вассального замка 14-15 вв. Килтси — одно из немногих эстонских поместий, фрагменты господского дома которого сохранились со средневековья.
Замок принадлежал известному мореплавателю и ученому Адаму Иогану фон Крузенштерну. В Килтси адмирал Крузенштерн занимался подготовкой к печати своего «Атласа Южного моря». В 1842 г. Крузенштерн вышел в отставку и вернулся в Килтси, где жил до самой смерти. В имении сейчас находится мемориальная комната А.И. фон Крузенштерна.
Замок Килтси имеет свои легенды. Белой дамой, гуляющей по гулким помещениям, никого не удивишь. Любая уважающая себя древняя постройка в Эстонии имеет свою Белую даму. Но килтсиская Белая дама гуляет только в сопровождении красной собачки. Наличие красной собачки объяснить не могут. Но предполагают, что с собачкой все-таки привидению веселее.
Во дворе замка стоит двухсотлетний дуб. С этим дубом связаны поверья. Здесь по ночам у дуба можно слышать звон монет. Это сокровища Карла XII, погребенные под корнями великана. Вот эта легенда уже связана с самим Крузенштерном, у которого как-то был в гостях сам шведский правитель. Но неожиданно двор замка заполнился военными всадниками, и в спешке, понимая, что золото не унести, унести бы ноги, Карл XII закапывает свое добро под дубом.
Помимо золотоносного дерева, есть в поместье Килтси и счастливый родник, вода которого укрепляет силы и лечит.
