Первое упоминание о строительстве замка датируется 1551 годом и приписывается Николаю Радзивиллу Чёрному. В 1580-х годах при Николае Радзивилле Сиротке замок был перестроен и представлял собой прямоугольник примерно 170 на 120 метров с несколькими тайными входами-выходами.

Во время русско-польской войны замок выдержал осады русских войск, бравших штурмом сам Несвиж, в 1654 и 1659 годах.

В 1706 году во время Северной войны замок был захвачен шведскими войсками и превращён в военный бастион, многое в замке было разрушено.

В 1792 году во время войны против польских конфедератов замок сдался русским отрядам.

В 1812 году владелец замка Доминик Иероним Радзивилл выступил на стороне французской армии, после чего вынужден был бежать. Только в 1860-х гг. замок вернулся к Радзивиллам, после чего началось его расширение и строительство собственно комплекса: Замковый парк, Старый парк, Японский сад, Новый парк, Английский парк.

28 июня 1941 г. в замке располагался штаб немецкой 2-й танковой группы генерала Гудериана.

Во времена СССР в комплексе располагался санаторий КГБ.