Бранденбург основан в 1266 году тевтоном Оттоном III Бранденбургским, в устье реки Прохладной.
Название замок получил в честь родины его основателя. Этот замок (деревянный) был сожжён пруссами срезу же после основания, но в 1267 году был отстроен в камне.
С 1525 года замок не использовался как военный.
После Второй мировой войны южный флигель замка стал использоваться в качестве жилого дома, что способствовало его сохранению, однако в середине девяностых годов XX века последние обитатели покинули замок, и памятник средневековой архитектуры стал быстро разбираться местными жителями на кирпичи.
Напротив замка находится башня кирхи XIV века, все остальное также разобрано местными жителями. В 1380 году в этой кирхе был похоронен комтур Тевтонского ордена Гюнтер фон Хоэнштэйн.