Самой известной достопримечательностью Ружан является развалины резиденции рода Сапег. Этот замок всегда был визитной карточкой города. Начало ее строительства относится к XVI веку, а в последующие два столетия она неоднократно перестраивалась, становясь с каждым разом все величественнее и краше. Легенда повествует о подземном ходе, по которому за час можно было добраться из ружанского замка во дворец в Косово, что находится в 20 км. Причем легенда утверждает, что подземный ход был настолько большим, что в нем можно было ехать на лошади. Однако это вряд ли соответствует истине — Косовский дворец был построен гораздо позже.

Замок в Ружанах играл значительную роль в истории не только Великого княжества Литовского, Речи Посполитой, но и соседних государств. Его дважды посещали короли, в нем принимались послы, и именно в нем готовились ставленники на Московский престол. В свое время в бездонных погребах замка хранилась государственная казна Великого княжества Литовского и арсенал.