В своем новом доме Репнина встречалась с Н.В. Гоголем, его сестры – Анна и Лиза некоторое время у нее жили. Здесь же жила золовка – Варвара Николаевна Репнина, фрейлина и поклонница писателя, оставившая о нем воспоминания. Она переписывалась также с Т.Г. Шевченко, тот ей посвятил поэму «Тризна», и, прожив долгую жизнь, сама много публиковалась.

Для следующей хозяйки – княгини Луизы Николаевны Долгоруковой, купившей дом в 1869 году, академик Ф.Л. Миллер в последующие два года слегка изменил в стиле эклектики фасад особняка с набережной и Галерной. Княгиня прожила в обновленном особняке всего пять лет до его продажи с аукциона купчихе Софье Гавриловне Голенищевой. Купчиха его немедля подарила своей дочери – Надежде Семеновне, в замужестве Вонлярлярской. Оценивался этот дар в 170 тыс. рублей. В апреле 1885 года брат Надежды – фабрикант и оптовик Владимир Семенович Голенищев за 250 тыс. руб. уступил дом барону Сергею Павловичу фон Дервизу (1863–1943), унаследовавшему от отца, железнодорожного магната, огромное богатство. Вскоре брат Павел фон Дервиз сделал его соседним. Начинается новая история дома, общая с правым зданием.

А как складывалась судьба соседнего справа здания? Полковник В.Ю. Одоевский в 1726 году переводится в Москву, где заведует Оружейной палатой, и продает участок «девице Нарышкиной». От которой он перешел к дяде Петра I – Александру Львовичу Нарышкину (1694–1746), обучавшемуся морскому делу в Англии, а после возвращения назначенному в Адмиралтейство. Он был братом первой жены вышеупомянутого А.П. Волынского. За участие в заговоре против А.Д. Меншикова Нарышкин был выслан в деревню, но вскоре прощен и в 1736 году возглавил Канцелярию строений дворцов и садов. Боярин обладал сильным характером и пользовался большим уважением в Сенате.

После его смерти новопостроенный (в начале 1730-х) дом в 1746 (?) году оказался во владении известного графа Кирилла Григорьевича Разумовского, фаворита императрицы Елизаветы Петровны, у которого и без того в городе было много недвижимости – главный дворец графа стоял на Мойке, близ Невского. Разумовский сдавал, записанный на жену Екатерину Ивановну, «починкою вновь исправленный», дом на набережной «поперешником 11 сажень ^>1/_>3 аршина», где «вверху <…>6 покоев, зала седьмая, кухня, ледник, конюшня на 8 стойл, а внизу 6 же покоев».

В 1763 году газета напечатала предупреждение о торговле в доме контрафактом: «Хотя многими указами как делание, так и держание в рядах фальшивой набойки запрещено, однако, оказывается, <…> оную фальшивую набойку делают и продают <…> с надписью Козенсовой красильной фабрики».

В 1780 граф продал дом прусскому «купцу во дворянстве» Бальтазару фон Эссену. Тот его перестроил в стиле классицизма и благоукрасил, судя по газетному объявлению: «У Галерного двора, неподалеку от Крюкова канала, между домами его сиятельства графа Салтыкова и английского генерального консула господина Шарпа, продается новый каменный дом, по новейшему вкусу выстроенный, с французскими мебелями, и собрание картин славнейших нидерландских и итальянских мастеров» (СПб. ведомости. 1785. № 76).

В начале 1786 года нарядный особняк купил коллежский советник Петр Андреевич Щербинин, губернский прокурор и крупный харьковский помещик, по семейному разделу передавший его брату Димитрию, которому в 1796 году с домом пришлось расстаться. Так как следующий хозяин князь Михаил Петрович Голицын (1764–1848) предпочитал жить в своем подмосковном имении Пехра-Яковлево, то через полтора года он за 45 тыс. руб. продал дом княгине Варваре Александровне Шаховской (урожд. баронессе Строгоновой, 1745–1823), супруге генерал-лейтенанта и богатейшей владелице уральских заводов.