Наследникам он оставил 9 млн руб. После смерти отца в особняке (той его части, что выходила на Миллионную) жил его сын Ананий Владимирович, выпускник лицея, действительный статский советник, камергер, дипломат, предводитель Царскосельского дворянства. Часть особняка, выходившую на Дворцовую набережную, продали Министерству финансов. На втором этаже находились залы для приема важных посетителей, в бельэтаже – жилые комнаты министров финансов Владимира Коковцова и Петра Барка. С 1910 года в особняке также находилось посольство Турции во главе с послом Турхан-пашой.

В 1860-х для дочери князя Павла Гагарина особняк перестроил Людвиг Фонтана: стилизовал фасад под барокко и надстроил третьим этажом. Хозяева жили в особняке и сдавали квартиры, в том числе и самому архитектору Фонтана. В 1913 году подъезд со стороны Миллионной улицы, 11, занимало Датское посольство, которое возглавлял чрезвычайный и полномочный посол Харальд Скавениус.

Несмотря на небольшой размер, посольство Королевства Дании было непропорционально важным участником русской политической игры, поскольку вдовствующая императрица Мария Федоровна была принцессой датской. И Александр III, и Николай II охотно и часто совершали визиты в Копенгаген. Неслучайно в Александровском дворце – целая выставка датского фарфора в стиле модерн. Не стоит также забывать, что в 1864 году Дания потерпела поражение в войне с Германской империей, в результате чего потеряла Шлезвиг и Гольштейн, родину Петра III, предка русских императоров. В Дании были сильны антинемецкие настроения, и это не могло не радовать русскую дипломатию.

Со стороны набережной в 1913–1917 годах располагалось Императорское автомобильное общество, исключительно аристократическая организация, ведь автомобили были по карману немногим. Президентом общества с 1909 года был министр Двора Владимир Фредерикс. Общество издавало журнал «Автомобиль» и организовывало гонки Москва – Петербург. Почетным президентом был великий князь Михаил Александрович.

Императрица Мария Федоровна (слева) со своей сестрой Александрой, принцессой Уэльской, и супругом российским императором Александром III. 1885

Особняк XVIII века последний раз перестроил в 1839 году архитектор Карл Маевский, добавив третий этаж и изменив фасад.

В начале XX века здание принадлежало «Новому клубу», одним из председателей которого был князь Феликс Юсупов. Клуб был образован в 1893 году представителями «золотой молодежи». Ежегодный взнос составлял крупную сумму – 250 руб. Вхождение в клуб было возможно только по рекомендации как минимум двух его членов. Исключение делалось для представителей царской фамилии. Из двадцати баллотировавшихся кандидатов выбирался обычно лишь один. Постепенно «Новый клуб» становился местом встреч столичных великосветских фрондёров разных поколений – и детей, и отцов.

В «Новом клубе» играли в карточные игры, за исключением азартных (очко, баккара и пр.). Посетителям были доступны столовые и гостиные, квартиры для сдачи внаем. Пребывание в клубе после 2 часов ночи обязывало платить солидный штраф (до 200 руб. за каждые 30 минут). Но это мало кого останавливало, за счет чего клуб имел весьма большой доход. В 1904 году клуб возглавлял П. С. Строганов, в 1906-м – В. Ф. Трефилов, в 1910-м – князь Ф. Ф. Юсупов, в 1911-м – князь К. А. Горчаков, в 1916-м – снова Ф. Ф. Юсупов.

Князь Феликс Юсупов с невестой – княжной Ириной Александровной Романовой, 1913