Музей расположился в здании, которое само по себе является шедевром архитектурного искусства. Здание было выстроено в 1900 - 1901 году по мотивам русского зодчества в чисто русском стиле. Так в России строили терема. Средства для строительства были выделены графом Олсуфьевым, а само здание предназначалось для Земской управы.

А теперь об одной из старинных легенд, рожденной камышанами о старинном замке-музее - легенде о ЛЕДИ В БЕЛОМ... Будто и сейчас гуляет по ночам по залам образ грациозной дамы - прекрасной юной любовницы графа ОЛТУФЬЕВА, для которой и был возведен этот дворец. И она, в ожидании графа, выходила каждую ночь на балкон (и сейчас выходит). Но однажды не вышла на встречу своему возлюбленному: влюбилась в капитана проплывавших мимо кораблей и в одну из ночей тайно сбежала с ним, спустившись ночью на корабль по плетеной лестнице... Узнав об этом, убитый горем граф навсегда покинул Камышин... Вот такая история.