Губернаторский дом был построен по указу Александра I за один год в 1820 году как путевой дворец. C самого начала он использовался как официальная резиденция губернаторов.
В губернаторском доме жили и работали 17 губернаторов, начиная с Безобразова и заканчивая Оболенским.
С 1970 года в бывшем губернаторском доме расположен Ярославский художественный музей, признававшийся в 1996 году лучшим провинциальным музеем России.
Здание можно снять в аренду на корпоратив или проведение свадьбы, на это время музей закрывается.