Герцогский Дворец (по другим источникам — Графский) был построен в XII в. и обновлен королевским архитектором Ардуэн-Мансаром в конце XVII в. Практически в первозданном виде сохранилась часовня Филиппа Доброго, где он объявил о создании Ордена Золотого Руна.
В великолепном Гвардейском зале находятся две гробницы первых герцогов Валуа (поздняя готика), которые до Французской революции находились в капелле картезианского монастыря Шэмполь. Гробница Филиппа Смелого спроектирована Жаном де Марвилем и украшена Клаусом Слютером и его племянником. Во второй гробнице покоится тело Иоанна (Жана) Бесстрашного и его жены Маргариты Баварской.

В настоящее время во Дворце размещается Музей изящных искусств (в восточном крыле, реставрация которого завершилась в 1852 г. Вход через четырехэтажную башню Бар, построенную Филиппом Смелым), где собрана богатая коллекция бургундской скульптуры XV-XVI вв., а также представлены коллекции фламандских примитивистов и произведения современного искусства.

Здесь же находятся два позолоченных алтаря: на первом, сделанном Жаком де Барзом и расписанным Брудерламом, изображены святые и мученики; на другом — Распятие. М. Брудерлам изготовил также алтарную доску с изображением «Благовещения» и «Встречи Марии и Елизаветы».
В1999 г. в музее открылся Египетский зал.

Музей считается одним из самых известных во Франции благодаря удачному расположению, а также богатейшей коллекции.