Зато его жена, Анастасия Дмитриевна, была одной из самых видных фигур в Москве. Ее хорошо знали и очень уважали в Москве, да и побаивались в свете — она могла, кому угодно сказать все, что думала, выругать кого-то в Благородном собрании или прилюдно отчитать московских полицейских за плохую, неисправную работу. Будучи простой генеральшей, Офросимова держала в ежовых рукавицах и свет обеих столиц, и мужа, и своих уже взрослых детей. «У меня есть руки, а у них есть щеки», — не раз повторяла она.

По словам П. А. Вяземского, А. Д. Офросимова была «воеводою в Москве, чем-то вроде Марфы-посадницы. В московском обществе она имела силу и власть. Молодые люди, молодые барышни, только что вступившие в свет, не могли избегнуть осмотра и, так сказать, контроля ее. Матери представляли ей девиц своих и просили ее, мать-игуменью, благословить их и оказывать им и впредь свое начальническое благоволение…»

На Анну Керн первая встреча с А.С. Пушкиным произвела не больше впечатления, чем встреча со старухой Офросимовой. Керн писала: «В тот же приезд мой я была представлена моею бабушкой Муравьевой госпоже Офросимовой, так верно описанной графом Л.Н. Толстым. Представление было успешным, я имела счастье ей понравиться».

О властной колоритной барыне много писали в мемуарах и сатирических куплетах начала прошлого века. Обессмертили же ее два гения нашей литературы. Грибоедов в списке действующих лиц «Горя от ума» обозначил ее так: «Старуха Хлестова, свояченица Фамусова». Толстой в «Войне и мире» вывел ее под именем Марьи Дмитриевны Ахросимовой.

Когда Илья Андреевич Ростов приехал в Москву представить Наташу будущему тестю и купить приданое, то решил остановиться в Москве у М.Д. Ахросимовой, давно предлагавшей графу свое гостеприимство. Отсюда, из своего дома в Чистом переулке Марья Дмитриевна везет молиться свою любимицу Наташу Ростову в соседнюю церковь Успения, что на Могильцах. Отсюда, из дома Ахросимовой, Анатоль Курагин пытался увезти Наташу Ростову.

В 1856 году владение перешло от Офросимовых к генерал-майорше В.С.Ершовой, а позже потомственному почетному гражданину Бакланову.

После пожара 1812 года архитектор Ф.К. Соколов заново отстроил усадьбу, снабдив ее портиками и колоннами. Планировка усадьбы типична — главный дом в глубине и два флигеля по бокам. В 1878 г. на месте сломанного левого флигеля построили комфортабельный каменный двухэтажный особняк, тогда же были изменены интерьеры, внутренняя планировка, устроен стеклянный фонарь над внутренней лестницей, ведущей в мезонин. Вдоль линии переулка протянулась ограда с массивными столбами, двумя воротами и коваными решетками.

В 1899 году владелицей усадьбы стала Мария Ивановна Протопопова, супруга крупного московского предпринимателя и банкира, который долгие годы был старостой храма Успения на Могилыдах. Он был известен в городе как щедрый благотворитель: на его средства были построены и содержались богадельни, детские приюты и другие учреждения.

Главный корпус представлял собой одноэтажный деревянный дом на каменном фундаменте, с мезонином и антресолями. На первом этаже было тринадцать светлых комнат, четыре темных чулана и коридор. Деревянная лестница вела в мезонин, в котором была темная комната и три светлых.

В каменном подвальном этаже находились помещения людской, кухни, столовой и поварской. Дом имел печное отопление, водопровод и канализацию. За главным зданием был небольшой сад и хозяйственный двор с двумя каменными амбарами и служебными постройками: конюшнями, погребами, кладовыми, сторожками и дворницкими. Фронтон фасада главного дома, выходящий в переулок, был украшен вензелем «МП», составленным из инициалов владелицы усадьбы Марии Протопоповой.

В 1918-м усадьбу Протопоповых реквизировали и использовали под жилье и размещение различных учреждений. После установления дипломатических отношений между Советской Россией и Германией в 1922 году усадьба в Обуховом переулке (переименованном в Чистый переулок) была передана под резиденцию послов Германии. В главном доме поселился посол Ульрих фон Брокдорф-Ранцау, глава делегации Германии на Парижской мирной конференции 1919–1920 годов и личный друг наркома Г.В. Чичерина.

По воспоминаниям очевидцев, германский посол был холостяк, предпочитал работать ночью, и часто глубоко за полночь принимал советского наркома, чтобы поговорить на философские темы, угощаясь хорошими ликерами и винами.

После смерти посла, в 1928 году послом в Москву был назначен опытный дипломат Герберт фон Дирксен. В его мемуарах есть описание особняка резиденции посла в Москве:

«Сразу после прибытия в Россию мы решили снять дом, который до этого занимал граф Ранцау… Скромная одноэтажная вилла в тихом переулке удовлетворяла нашим требованиям: пять гостиных, большинство из которых небольшие по размерам, но хорошо обставленные (частично нашей собственной мебелью), столовая, способная вместить 25 человек, несколько крошечных комнат для переговоров, а на верхнем этаже наша спальня и гардеробная, внизу — превосходная кухня, гараж и помещение для слуг… Сад, примыкавший к дому, был достаточно просторен для устройства в нем теннисного корта».

Занимая в Москве почетный пост старшины дипкорпуса, посол фон Дирксен часто собирал у себя в доме глав посольств и миссий иностранных государств, устраивал музыкальные вечера. В 1933 году преемником Г. фон Дирксена стал немецкий дипломат А. Надольный, но ввиду расхождений с А.Гитлером по вопросам политики он был отозван из Москвы и уже в 1934 году заменен графом Фридрихом Вернером фон дер Шуленбургом, принадлежавшим к древнейшей фамилии Германии. Он стал последним немецким послом, квартировавшим в Чистом переулке.