По распоряжению императрицы в 1775 году ребёнок был взят и передан личному секретарю императрицы Ивану Ивановичу Бецкому. Именно тогда Екатерина II и решила присвоить ребёнку фамилию Бобринский.

Флигель и ограда усадьбы Бобринских. Современный вид

Находившееся на месте нынешнего дворца здание было в 1790 году куплено известным сенатором Петром Васильевичем Мятлевым.

Архитектор Луиджи Иванович Руска перестроил здание для сенатора. Это первая самостоятельная работа зодчего, крупного представителя неоклассицизма. Впоследствии Руска стал придворным архитектором. Внешний вид дворца с тех пор не претерпел серьёзных изменений.

Планировка участка, выходящего на Галерную улицу и на набережные двух каналов – Адмиралтейского и Ново-Адмиралтейского, характерна для городской усадьбы конца XVIII века.

Перед дворцом располагался парадный двор, ограниченный по сторонам служебными флигелями. Въезд во двор с Галерной улицы оформляют монументальные ворота с бюстами на пилонах. Со стороны Мойки к дворцу примыкает небольшой сад. Центральный объем дворца отличается от других строений более богатой архитектурной обработкой фасадов. Средняя часть главного фасада отмечена ионическим портиком, подчеркивающим выступающий объём лестницы. Портик украшен аллегорической скульптурой.

Более эффектно задуман садовый фасад, расчленённый полуциркульными в плане ризалитами и четырёхколонным коринфским портиком с фронтоном. Ограда, тоже украшенная скульптурой, отделяла сад от набережных. На углу ограды, при слиянии Адмиралтейского канала и Мойки, был сооружен небольшой двухэтажный садовый павильон-беседка.

После воцарения императора Павла I Алексей Григорьевич Бобринский получил приказание явиться ко двору. Неожиданно для Алексея Григорьевича император назвал его братом, возвёл в графское достоинство, назначил генерал-майором, почётным опекуном и управляющим Санкт-Петербургским воспитательным домом.

А дворец на Галерной улице стал подарком императрицы Марии Фёдоровны, супруги Павла Петровича, новоиспечённому графу А.Г. Бобринскому.

Семейство Бобринских владело дворцом с 1797 по 1917 год.

Анна Владимировна Бобринская, супруга А.Г. Бобринского, урожденная баронесса Унгерн-Штернберг, расширила дворец.

В 1822–1825 годах дворец был перестроен внутри архитектором Андреем Алексеевичем Михайловым 2-м. Архитектор создал со стороны сада анфиладу парадных залов. По желанию хозяйки интерьеры были отделаны по последней моде.

Здесь-то и возник один из самых популярных салонов Петербурга. В нём бывали В.А. Жуковский, П.А. Вяземский, К. Нессельроде, А.М. Горчаков. Частым гостем салона Бобринских был А.С. Пушкин.

Старший сын Алексея Григорьевича Алексей и его супруга графиня Софья Александровна, урожденная Самойлова, продолжили традиции дома. На Галерной, 60 собирался литературный кружок, участниками которого были выдающиеся представители культуры того времени. Известно, что Василий Андреевич Жуковский – поклонник графини, – посвятил ей ряд своих произведений.

За время владения дворцом графы Бобринские собрали в своём доме ценную библиотеку. В ней было свыше двадцати тысяч томов. Там хранились, в частности, и рукописи В.А. Жуковского.

Гостиные и кабинеты дворца были украшены великолепной коллекцией бронзы (всего было около 500 предметов), десятками шпалер и ковров (в комнатах до сих пор сохранились крепления для их развески).

Собрания фарфора и серебра выставлялись в специальных витринах, так же как и «ценные древности» – монеты, эмали, драгоценности, табакерки.

Стены дворца украшали портреты кисти Д. Левицкого, Ж.-Б. Греза, картины С. Щедрина и других художников.

Об уникальности интерьеров и художественного убранства дворца говорили многие архитекторы. Например, Иван Александрович Фомин при постройке в 1910-х годах неоклассических усадеб брал за образец отделку дворца графов Бобринских.

К числу наиболее интересных по своей отделке помещений относятся парадная лестница, так называемые красная гостиная, белый и танцевальный залы.

Лестница отличается крайней строгостью и простотой отделки. Лишь стены скупо декорированы ионическими пилястрами. В её решении был повторен приём, ранее использованный А.Н. Воронихиным в минеральном кабинете Строгановского дворца.

Перекрытие над лестницей прорезано круглым в плане отверстием. Сквозь отверстие видны стены, завершённые карнизом с медальонами, лёгкое металлическое ограждение обходной галереи верхнего этажа, а также купол с росписью.

В белом зале сохранилась превосходная роспись, исполненная, по-видимому, Д. Скотти. В танцевальном зале также есть роспись первой четверти XIX века, выполненная, вероятно, тем же мастером. Аналогичные росписи можно видеть и в других помещениях дворца.

В 1883 году на одноэтажных каменных флигелях по сторонам главного двора был надстроен второй этаж.