После смерти купца его вдова безрезультатно пыталась продать дом и участок, но только с помощью немецкой диаспоры ей удалось довольно выгодно сдать в аренду жилое строение приехавшим в Санкт-Петербург иностранным специалистам.

В 1790 году одна из петербургских газет поместила извещение о смене владельца особняка. В 90-е годы XVIII столетия им владела одна из начальниц столичного Военно-сиротского дома, некая госпожа фон Дероп.

В 1816 году участок вместе с домом, сохранившим к этому времени вышедший из архитектурной моды стиль аннинского барокко, приобретает князь Иван Алексеевич Гагарин, действительный тайный советник и сенатор. Князь считался в столице известным масоном, театралом и почитателем всего прекрасного и изящного. Страстно влюбленный в талантливую драматическую актрису Екатерину Семенову, он заказал зодчему В.П. Стасову проект перестройки купленного купеческого дома с таким расчетом, чтобы затем презентовать обновленный особняк предмету своей пылкой любви. Работа потребовала значительных переделок старого каменного строения. Их сущность четко обозначена в отчете архитектора В.П. Стасова: «…нижние этажи остались старые, но ветхости их исправлены; верхние тоже по исправлении ветхости надстроены выше бывшего строения, а по Миллионной улице надделан совсем вновь третий этаж; вообще прежнее строение было мелкого разделения и низкого вида, почему для составления больших комнат вынуто несколько внутренних каменных простенков».

Зодчий В.П. Стасов умело переделал жилище богатого заморского купца с низкими потолками, многочисленными небольшими комнатами в просторный аристократический особняк с реконструированными и богато украшенными помещениями, меблированными по последней европейской моде, с развешанными по стенам редкими гобеленами и уникальными картинами старых мастеров в массивных золоченых рамах.

В день бракосочетания князь И.А. Гагарин торжественно преподнес предмету своей страсти княгине Катерине Гагариной новый особняк дворцового типа. Кстати, фасады особняка не отличались особой привлекательностью и, по мнению современников, весьма близко походили на располагающиеся на другой стороне Миллионной улицы помещения казармы первого батальона лейб-гвардии Преображенского полка.

После замужества актриса вместе с супругом переселилась на жительство в Москву, а овдовев, княгиня продала особняк на Миллионной улице за 125 000 рублей полковнику И.Д. Черткову – богатому представителю старинного дворянского рода, обосновавшемуся в Москве. После его смерти дом и сквозной участок в Петербурге переходят по наследству дочери – Елене Ивановне. Ее первым супругом был граф М.В. Орлов-Денисов, посоветовавший графине в 1850 году продать унаследованную от отца недвижимость. После смерти графа Елена Ивановна выходит замуж за графа Петра Андреевича Шувалова и в 1881 году убеждает супруга выкупить ранее проданный особняк. Граф соглашается с женой и после удачной торговой сделки считает целесообразным реконструировать старый дом и привести в надлежащий порядок запущенный участок. По просьбе Петра Андреевича модный в столице архитектор М.А. Иванов подготовил оригинальный перестроечный проект здания и обустройства земельного участка, выходившего на набережную реки Мойки. Зодчему тогда блестяще удалось придать единообразный стилевой облик поздней эклектики не только барскому дому, но и соседнему с ним дворовому флигелю, главный фасад которого выходил на простор реки Мойки.

Новый хозяин особняка граф Петр Андреевич Шувалов – блестящий офицер Конногвардейского полка, адъютант военного министра, принимал активное участие в Крымской кампании, а затем вместе с князем А.Ф. Орловым в Париже заключал мирный договор. Его назначают петербургским обер-полицмейстером, а через три года Петр Андреевич становится директором департамента Министерства внутренних дел.

С 1861 по 1864 год граф возглавляет штаб корпуса жандармов и выполняет обязанности управляющего III отделением. С 1864 по 1866 год генерал-лейтенант П.А. Шувалов назначается лифляндским, курляндским и эстляндским генерал-губернатором и командующим войсками Рижского военного округа.

С 1866 по 1873 год генерал-адъютант Шувалов занимает высокий пост шефа жандармов и главного начальника III отделения. Он пользовался тогда неограниченным доверием Александра II, являлся его ближайшим советником и одновременно, к удивлению современников, рекомендовал на важнейшие государственные посты ярых противников Александровских реформ.

«Русский биографический словарь» справедливо замечал, что «это были далеко не самые светлые страницы в биографии графа» и в 1874 году Петр Андреевич направляется чрезвычайным полномочным послом в Англию. Его деятельность на дипломатическом поприще в свое время вызывала немало справедливых возмущений и серьезных нареканий. П.И. Шувалов пошел на уступки англичанам в Афганистане, не получив каких-либо компенсаций для России. По непонятным причинам он являлся противником войны с Турцией в 1877 году и даже помог Англии получить от России обещание не переносить военные действия в Средиземное море, в результате чего Балтийский флот остался на своих базах.

Особенно резкой критике граф подвергся после Берлинского конгресса 1878 года, когда российская делегация (П.А. Шувалов, А.М. Горчаков и П.П. Убри) под давлением английских и австрийских дипломатов вдруг согласилась пойти на многочисленные уступки не только в пользу проигравшей войну Турции, но и Австрии, позволив ей таким образом оккупировать Боснию и Герцеговину. Как лицо государственное Шувалов был обязан всецело отстаивать интересы России, но своими безрассудными действиями приносил ей лишь один вред. Позорный для русской дипломатии Берлинский конгресс навсегда завершил карьеру русского посла в Англии. Деятельность русского чрезвычайного полномочного посла графа П.А. Шувалова осуждалась на родине даже его близкими друзьями и недавними доброжелателями. Его давний друг П.А. Половцев с горечью скажет: «Его неприготовленность, легкомыслие, бесцеремонность в обращении с мыслями и столь быстрое ведение дел лишали его деятельность той доли пользы, на которую выдающиеся его способности могли давать право надееться».

Бесславно завершив дипломатическую карьеру, П.А. Шувалов возвратился в Петербург, в свой дом на Миллионной улице, к своей честолюбивой и весьма бойкой жене – женщине, по меткой характеристике князя П.В. Долгорукова, «ума ограниченного, самонадеянности невероятной, чванной, мелко самолюбивой, сварливой». Последние годы своей жизни граф находил утеху и душевное равновесие в охоте с приятелями в живописных окрестностях Санкт-Петербурга и в дружеских воспоминаниях у костра о веселых молодых временах.

В начале ХХ столетия владельцем дома и участка становится энергичный предприниматель, генерал-майор свиты Его Императорского Величества Н.П. Ферзен. Прибалтийский аристократ с военной выправкой, граф с присущей ему практичностью энергично провел работы по увеличению размера и количества всех площадей дома, сдаваемых «под жильцов». Это по его идее со стороны Мойки в 1910-е годы возвели огромный шестиэтажный доходный дом с ложноклассическим фасадом.

8 июня 2002 года на фасаде этого дома установили мемориальную доску, текст которой уведомил жителей города и его гостей, что здесь жил первый мэр Санкт-Петербурга А.А. Собчак.