Племянник Семена Михайловича Аргунова Федор Леонтьевич (1718 – 1754) жил с семьей дяди в Петербурге, он известен как иконописец и как светский художник, учившийся у известного живописца петровского времени А.М. Матвеева.

Другой его племянник, Иван Петрович Аргунов (1729 – 1802), после смерти своего дяди и двоюродного брата также служил управителем Миллионного дома, а с 1788 года был назначен управителем московского дома и членом крепостной коллегии, в которую входили управители всех шереметевских вотчин. Однако в историю русского искусства он вошел как выдающийся художник-портретист и педагог. Им написаны множество портретов членов рода Шереметевых и их родственников. Ныне его работы украшают многие музеи нашей страны. Имея свою мастерскую, он не только мог работать сам, но обучал молодых художников. Среди его учеников кроме сыновей и трое «спавших с голоса» певчих Придворной капеллы – А.П. Лосенко, К.И. Головачевский и И.С. Саблуков, ставших со временем известными русскими художниками.

Сыновья Ивана Петровича продолжили художественные традиции семьи. Павел Иванович Аргунов (ок. 1768 – 1806) стал архитектором, работал и при перестройках Фонтанного дома, на сооружении Останкинского дворца и других возводимых Шереметевыми сооружений. Николай Иванович Аргунов (1770 – 1828) не менее отца известен как портретист. Яков Иванович Аргунов (1784 – после 1837) также работал как портретист и график. Из этой же семьи происходил Алексей Аргунов – «урный мастер», лепщик и каменщик, создававший вазы для украшения садов и интерьеров домов.

Фонтанный дом дошел до нас не совсем в том виде, какой он получил к 1750-м годам. Процесс строительства дома и его последующих перестроек изучали многие исследователи. В 1928 году большую статью на эту тему опубликовал историк архитектуры Н.Е. Лансере, она и сейчас не потеряла своей научной и познавательной ценности. После Великой Отечественной войны, когда предстояла реставрация пострадавшего в годы блокады здания, историю дома изучал другой историк архитектуры П.Н. Петров. Он является автором исторической справки на дом как на памятник архитектуры XVIII века, написанной по заказу Государственной инспекции по охране памятников. В 1990-х годах эту же тему тщательно разрабатывал историк архитектуры Б.М. Матвеев, он написал историческую справку к проекту реставрации дворца, начавшейся в середине 1990-х годов. В процессе исследования он обнаружил немало важнейших документов, которые уточнили многие факты и открыли новые, прежде неизвестные страницы архитектурной истории Фонтанного дома. Перед началом реставрационных работ 1990-х годов проводились археологические обследования территории сада и самого дома, в результате подтвердились некоторые предположения историков и появились совершенно новые данные.

Итак, Фонтанный дом в середине XVIII века представлял собой каменное двухэтажное здание с мезонином. Центр дома обозначал выступающий вперед ризалит, два боковых флигеля выходили в сад. В целом получилась типичная П-образная объемно-пространственная композиция, характерная для усадебного строительства.

Центральная, наиболее старая часть здания сохранилась до нашего времени. Каменную набережную по Фонтанке в 1750-х годах еще не построили, между рекой и домом существовала ограда, за которой со временем оформился парадный двор. За домом разбили регулярный сад, выходивший к Литейной улице. Сад в сильно урезанном виде существует и в наши дни.

Если объемно-пространственная композиция дома в целом сохранилась, то фасад Фонтанного дома имел другой вид, нежели сегодня, он был декорирован более пышно, в стиле елизаветинского барокко.

Дом имел два входа: с Фонтанки и из сада. В центре фасада, обращенного к реке, располагался в виде аркады выступающий центральный подъезд. Простенки между арками украшали сдвоенные колонны. К входным дверям вели пологие пандусы, украшенные каменными изваяниями сфинксов. Эти сфинксы находились в парадном дворе Фонтанного дома еще в 1920-годах. В центре садового фасада имелся балкон, к которому вели деревянные лестницы – по ним можно было подняться в дом прямо из сада. При входе на лестницу стояли вызолоченные деревянные скульптуры лошадей работы придворного мастера Иоганна Дункера. Во фронтоне помещался герб рода графов Шереметевых. Возможно, герб был сделан и позже, поскольку официально русские дворянские гербы утверждались императором Павлом I. На карнизах здания были установлены деревянные скульптуры. О первоначальном виде дома свидетельствуют чертежи обоих фасадов конца XVIII столетия, зафиксировавшие его облик перед перестройкой, предпринятой следующим владельцем Фонтанного дома.

О том, какую планировку имел дом, мы узнали из чертежа, обнаруженного сравнительно недавно в фондах Останкинского дворца-музея. Этот чертеж зафиксировал планировку главного второго этажа Фонтанного дома накануне перестройки в конце XVIII – начале XIX веков.

План второго этажа Фонтанного дома (середина XVIII в.)

Деревянная Парадная лестница находилась в центре здания. Парадная анфилада состояла из восьми комнат, обращенных окнами в сад: «Плитошная» комната; Красная гостиная, или Предплиточная; Картинная; Конторка; Проходная; «Прихожая, обитая кожей»; Малиновая, или Предспальня, и Парадная спальня. Со стороны Фонтанки в ризалите находились еще несколько комнат: к северу от Парадной лестницы – Прихожая Зеленая палата, или Первый нумер; Второй нумер и большая угловая комната с девятью окнами – Галерея. По другую сторону Парадной лестницы находилась Наугольная и еще одна Малиновая комната со стенами, обтянутыми штофом. В северном флигеле существовали Танцевальный зал (позднее названный Старой залой), Столовая, Буфетная и Бильярдная. Из названия некоторых помещений легко догадаться, какие декоративные приемы и материалы использовал архитектор. Образцом служило, безусловно, убранство императорских дворцов.

В доме находилось множество произведений искусства, причем один из залов так и назывался Картинным. Покупка картин чаще всего поручалась Ивану Петровичу Аргунову, о чем свидетельствуют сохранившиеся в домовом архиве распоряжения графа Петра Борисовича.

В южном флигеле Фонтанного дома находилась домовая церковь Святой великомученицы Варвары. Личные покои хозяев располагались рядом с церковью.

На первом этаже дома находились Кунсткамера, где были собраны разного рода диковинные вещи, и Ригскамора – комната для хранения коллекции оружия.

Жилые помещения располагались в мезонине и частично на первом этаже. За домом находился регулярный сад, главная аллея которого, со шпалерами красиво подстриженых деревьев, вела к воротам на Литейную улицу.

В саду в ту пору существовало несколько павильонов: Грот, Китайская беседка, Эрмитаж. В саду были устроены фонтаны, установлены мраморные скульптуры. Сад являлся миниатюрной копией парков императорских резиденций, созданных придворным зодчим Растрелли.

Строительство нового каменного дома завершилось в основном к 1750 году. Осенью 1750 года с разрешения духовных властей в Фонтанный дом перенесли антиминс из домовой церкви Святой великомученицы Варвары, существовавшей в Миллионном доме князей Черкасских с 1739 года. В этой церкви уже в Фонтанном доме 1 июля 1751 года крестили новорожденного сына владельцев – графа Николая Петровича Шереметева. Собственно, факт крещения новорожденного в домовой церкви и дает нам основание считать, что строительство и отделка дома к этому времени завершились, и он стал основным местом жительства семьи.