Первым владельцем особняка была княгиня А.М.Голицина — одна из представительниц древнего княжеского рода. Архитектор, построивший дом, неизвестен.

В 1794 году особняк был куплен адъютантом начальника Главной Артиллерии Александром Ивановичем Фонвизиным (1749 -1819) , младшим братом писателя Дениса Ивановича Фонвизина. В старых документах Фонвизины зачастую писались как Фон-Визины, а до Ивана Андреевича Фон-Визина(1705 — 1786) фамилия писалась как Фон-Висин.

Его сын Михаил Александрович (1787 — 1854) также был военным, участвовал в Отечественной войне 1812 года и ушел в отставку в 1822 году в чине генерала-майора. Являлся активным участником дворянского движения, вошедшего в историю как движение декабристов. Был членом Союза спасения и Союза благоденствия, в этом здании был проведен Московский съезд коренной управы "Союза благоденствия" в начале 1821 года, на котором было принято решение о роспуске "Союза благоденствия". В начале 1826 года он был арестован в своём имении в Крюково, посажен в Петропавловскую крепость, а затем в кандалах отправлен на каторгу.

Женат был Михаил Александрович на своей племяннице Фон-Визиной (Апухтиной) Наталье Дмитриевне (1803 — 1869) с сентября 1822 года. С детства она росла красивой и смышлёной девочкой, когда её родители еще жили в Москве, то В.А.Жуковский написал в альбоме её матери строчки, посвященные Наташе:

"Тебе вменяют в преступленье,
Что ты милее всех детей!
Ужасный грех! И вот мое определенье:
Пройдет пять лет и десять дней!
Ты будешь страх сердец и взоров восхищенье!"

Её отец Дмитрий Акимович Апухтин(1768 — 1838) на деньги, взятые взаймы у Екатерины Михайловны (1750 — 1823) — матери Михаила Александровича, в 1818 году купил имение Давыдово в Костромской губернии и семья переехала туда. В девочке непонятным образом уживались темперамент и религиозность. После несчастной любви в 16 лет она, переодевшись в мужскую одежду, сбежала в монастырь. Побег оказался неудачным. В результате она вышла замуж за Михаила Александровича, старшего её почти на 20 лет. Пришлось ждать полгода, т.к. церковь не решалась дать благословение на брак из-за близкого родства, в результате судьбы молодых были решены в Санкт-Петербурге, добро было получено.

Существует предание, что Наталья Дмитриевна послужила прообразом Татьяны из "Евгения Онегина" А.С.Пушкина.

Когда Наталья Дмитриевна узнала об аресте мужа, то беременная поехала в Санкт-Петербург для встречи с мужем. Затем последовала за ним в ссылку в Сибирь, в марте 1828 году она уже была в Чите.

В 1838 году вспыхнуло новое чувство. Наталья Дмитриевна и декабрист Павел Сергеевич Бобрищев-Пушкин (1802- 1865) полюбили друг друга. Но замуж она после смерти мужа вышла в 1857 году за другого декабриста Ивана Ивановича Пущина (1798 — 1859). Брак оказался недолгим. Наталья Дмитриевна пережила всех своих любимых мужчин.

В мае 1869 года особняк был куплен Надеждой Филаретовной фон Мекк (1831 — 1894). Её муж Карл Федорович (Карл Отто Георг) фон Мекк (1821–1876) бывший железнодорожным инженером смог вместе со своим компаньоном Павлом Григорьевичем фон Дервизом (1826 -1881) сколотить миллионное состояние на строительстве железных дорог.

У супругов Мекк было 11 человек детей. Но муж не знал, что младшая дочь Людмила являлась результатом страсти его жены и инженера Александра Иолшина, который впоследствии женился на старшей дочери четы фон Мекк Елизавете.

Надежда Филаретовна занялась перестройкой старого особняка. В 1869 году был изменён фасад архитектором Андреем Николаевичем Стратилатовым (1841 — 1892), затем перестройка под руководством Владимира Алексевича Гамбурцева (1842-1903). Финальный аккорд перестройки был сделан в 1879 году Петром Петровичем Скоморошенко (1825 — 1888).

Надежда Филаретовна оказывала значительную финансовую помощь музыкантам и композиторам: русскому пианисту- виртуозу Николаю Григорьевичу Рубинште́йн (1835- 1881) , возглавлявшему тогда Московскую консерваторию и учителю по музыке своих дочерей, а также домашнему пианисту Ашилю Клоду Дебюсси (фр. Achille-Claude Debussy, 1862 — 1918). Рубинштейн был частым гостем госпожи фон Мекк, а Дебюсси не только жил в особняке, но вместе с фон Мекк посетил Флоренцию, Венецию, Рим и Вену.

А вот Чайковского Н.Ф.фон Мекк поддерживала финансово с 1877 года на расстоянии. Они договорились никогда не встречаться, визиты Чайковского в дом фон Мекк проходили только в период её отсутствия. Современники называли их взаимоотношения "романом невидимок".

Знаменитый польский скрипач и композитор Генрих Иосифович Венявский (польск. Henryk Wieniawski, 1835 -1880) когда заболел во время турне по России, то по просьбе Рубинштейна фон Мекк предоставила ему кров, лучшие врачи пытались помочь Венявскому, к нему приехали ухаживать жена и сын, но Генрик угас и в доме фон Мекк 31 марта 1880 года он скончался.

В апреле 2006 года на доме была установлена мемориальная доска в чего честь. Большая заслуга в этом была Посольства Республики Польша и Института им. Адама Мицкевича.

Возможна эта трагическая связь сподвигла на продажу особняка в 1881 году основателю династии чаеторговцев Алексею Семеновичу Губкину (1816—1883). Всю жизнь до этого он прожил в Кунгуре, городке в Пермском крае. Он стал своеобразным новатором в чайном деле, создал целую систему продаж и поставок чая, чем вызвал негодование других чаеторговцев, но его дело стало процветать. Девизом Алексея Семеновича было: " Наилучший продукт, по низкой цене в любое время, в любом месте". А еще у него был принцип по одной копеечке с каждого заработанного рубля он жертвовал на благотворительность и этому принципу он не изменял всю жизнь.

А вот дети его после смерти отца переругались чуть ли не с криминальным оттенком. Именно этому периоду в жизни особняка посвящено стихотворение Н.А. Некрасова "Секрет":

"В счастливой Москве, на Неглинной,
Со львами, с решеткой кругом,
Стоит одиноко старинный,
Гербами украшенный дом.

Он с роскошью барской построен,
Как будто векам напоказ;
А ныне в нем несколько боен
И с юфтью просторный лабаз."

А сейчас львов нет возле дома, потерялись где-то за время советской власти.

Как порой история смеётся или плачет... После смерти И.В,Сталина через Рождественский бульвар к Трубной площади шла толпа людей для прощания с вождём великой страны. Одни историки считают, что давка была на Трубной площади, другие, что на Рождественском бульваре. А за 70 лет до этого после смерти А.С. Губкина сыновья-наследники решили почтить его память раздачей мелких монет . Слух быстро разнесся по Москве и возле дома началась давка с человеческими жертвами. Может место просто такое проклятое...

В начале прошлого века в особняке обосновался Дворянский земельный банк, затем здесь обитало Министерство рыбной промышленности СССР, а сейчас Государственный комитет Российской Федерации по рыболовству.

В честь Александра Акимовича Ишкова (1905-1988) бывшего министром рыбной промышленности с 1940 по 1950 и с 1954 по 1979 года на здании размещена мемориальная доска в 2008 году.