Рядом с церковью Симеона Столпника Красивый храм с историями любви находится красивое здание.

Когда-то в этих местах находилась обширная усадьба князей Хованских, одного из именитых родов на Руси. Но быстро проходит слава мирская, обнищали князья и начали продавать свою недвижимость вместе с земельными участками в конце XVIII века. Новым хозяевам не нужны были большие наделы и они стали делить их на более мелкие части, распродавать их. Много хозяев сменилось, не все имена остались на слуху.

Одним из владельцев усадьбы, в которой после пожара 1812 года было построено новое здание в 1816 году, был бывший офицер, участник Крымской войны Дмитрий Иванович Никифоров (1834-1907), живший в Москве с 1841 по 1900 годы. Им написано много книг мемуарного жанра о быте старой патриархальной Москвы: "Старая Москва. Описание жизни в Москве со времен царей до двадцатого века. В 2 частях", "Из прошлого Москвы (Записки старожила)" и другие.

Через год после смерти из главных разработчиков Крестьянской реформы 1861 года Николая Алексеевича Милютин (1818—1872) , прожившего в усадьбе два последних года жизни, её в 1873 году приобретает известный московский купец Митрофан Сергеевич Грачёв. Им было продолжено дело деда и отца по скупке, а затем перепродаже московской недвижимости по более дорогой цене. При этом Митрофан Сергеевич любил играть в казино Монте-Карло и в народе ходили слухи, что дома он скупает на деньги от выигрышей в рулетку. При этом как-то не замечалось, что на его деньги была перестроена церковь Троицы на Грязех Храм и сказочные звери и построен между 1892 и 1895 годами храм Святителя Митрофана Воронежского при Елизаветинском приюте . Кстати, перестройку главного дома городской усадьбы Грачёвых в 1885-1887 годах проводил тот же архитектор, что затем строил храм — Георгий Александрович Кайзер (1860- 1931).

После смерти Митрофана Сергеевича Грачёва домом владела его вдова Варвара Николаевна Грачёва (1851-1939), в девичестве Шапошникова. В 1917 году здание было национализировано, а в апреле 1918 года было повреждено во время штурма соседнего здания, где располагался штаб анархистов.

Видимо ремонт был проведён некачественно — больные лазарета для немецких военнопленных, размещавшегося 1921-1925 годах, и сотрудники посольства Германии, находившиеся в этом здании вплоть до 1941 года, очень страдали от холода. Варвару Николаевну немцы не выгнали на улицу, а предоставили ей две комнаты, где она прожила до самой смерти.

Беда с холодом в помещениях преследовала и норвежское посольство, которое заселилось сюда в 1944 году. Бывали дни, когда приходилось работать в шубах.

Но после проведения реконструкции здания за счёт норвежской стороны в 2000-2001 годах, оно стало выглядеть лучше и проблемы с отоплением исчезли.