В конце XVII века, где-то в 1793 году или чуть ранее, коллежский советник Василий Авраамович (Меньшой) Лопухин (1746 -1821) приобрёл усадьбу в плотно застроенном районе Москвы. В 1812 году усадьба пострадала, но восстановлением её Василий Авраамович занялся только в 1816 году. Строительство шло ни шатко ни валко, хозяин не дожил до его завершения. Это во многом объяснялось, что в усадьбу помимо главного дома входило несколько зданий и все они требовали незамедлительного ремонта. Главный дом усадьбы был достроен в 1822 году его сыном — статским советником Авраамом Васильевичем Лопухиным (1774 -1835).

Считается, что построен дом был Афанасием Григорьевичем Григорьевым (1782—1868).

Владели усадьбой Лопухины до 1892 года, когда А.В.Лопухина завещала её своим племянникам, а те, недолго думая, продали её жене надзорного советника Екатерине Ивановне Станицкой. Затем новым владельцем усадьбы был Ф.В. Челноков с 1911 по 1917 год, который успел в 1917 году уступить её А.П. Генч-Оглуевой, жене Степана Федоровича Генч-Оглуева, совладельца успешной фирмы "С. Генч-Оглуев и И. Шапошников" из Ростова на Дону.

После национализации здания здесь с 1921 года был размещен литературный музей Льва Николаевича Толстого по личному указанию Владимира Ильича Ленина. До этого музей находился с 28 декабря 1911 года на Поварской улице.

Удивительно, что хотя Лев Толстой был дальним родственником Лопухиных, но в этом здании не бывал. Обычно музеи размещают в местах, каки-либо образом связанным с человеком, которому они посвящены, но этот музей является исключением из правила.