Крепость в средние века носила наименование «Изенхейм» или «Альт-Изенхейм», построена в 1553 году для местного барона Якоба фон Таубе. Во владении рода Таубе замок оставался до 1615 года, затем перешел к Хенрику Флемингу, шведскому дипломату и ландмаршалу. Замок сильно пострадал во время Северной войны, после войны в 1721 году замок перешел во владение рода Штакельбергов. После революции и обретения независимости Эстонии в замке была размещена молочная ферма, ледяной погреб, зернохранилище, после замок был переоборудован в тюрьму, после Второй мировой войны в замке были обустроены коммунальные квартиры. Было несколько пожаров, после них в середине 50-х от замка остались только руины. В конце 80-х годов местные энтузиасты загорелись идеей восстановить замок, и в течение трех лет воплотили замысел в реальность. Издалека замок кажется маленьким и игрушечным, а вблизи это мощное и хорошо укрепленное, с толстыми полутораметровыми стенами здание.
Внутри замка восстановлены старинные интерьеры средневековой эпохи. Здесь в настоящее время проходят различные конференции и другие культурные мероприятия. Экскурсии проводит нынешний хозяин замка Яннер Эскор.
Он прекрасно знает историю замка Пуртсе и рассказывает немало интересного о приведениях замка как на эстонском, английском, финском, так и на русском языке. Вот одна из легенд: «Как рассказывают старожилы, до войны, когда замок был еще одноэтажным жилым домом, часто видели человека, одетого во фрак и в цилиндр. Он всегда направлялся в замок. И даже если дверь была закрыта, он оказывался в жилой комнате, подходил к столу, и если хозяин сидел за столом, человек вежливо кланялся, вынимал из кармана рулон бумаги, раскручивал его и показывал одну точку на плане. Испуганный хозяин никогда не мог посмотреть, что же это за место на плане. После реставрации таинственный гость уже не посещает замок. Так и унес с собой свою тайну».
На верхнем этаже представлена история восстановления замка.
В подвале замка расположился великолепный ресторан. За стойкой бара хозяйка Сигрид Вяльбе.
С 2016 года в бывшей кузнице замка варят местное крафтовое пиво по старинным рецептам. В ресторане можно попробовать несколько сортов пива.