Совсем другой образ графа Петра Борисовича Шереметева предстает перед нами в воспоминаниях графини Антонины Дмитриевны Блудовой, которая ценила свое давнее родство с Шереметевыми – ее дед по матери князь Андрей Николаевич Щербатов приходился двоюродным братом графу Петру Борисовичу. «…Граф Петр Борисович был вообще добрый человек и родственник, как он доказал моему деду. Князь Н.П. Щербатов переехал уже на жительство в Москву, когда ему пришло время отдавать на службу сына своего, моего деда, князя Андрея, и отправить 16-летнего мальчика в Петербург. Это было в самом начале царствования Елисаветы. Его отправили прямо к двоюродному брату уже скончавшейся матери, и живя в его доме, скоро привязался к нему и к его жене, графине Варваре Алексеевне, урожденной княжне Черкасской… Они его полюбили… Родилась у них дочь Анна Петровна, которую князь Андрей полюбил с ея рождения как дочь, как сестру, как друга; она в нем находила и друга, и пестуна…»

Отношения графа Петра Борисовича с другой сестрой, княгиней Екатериной Борисовной Урусовой, были родственными, она получала от брата пенсию 500 рублей в год. Ее дети, два сына и две дочери, также поддерживали родственные связи со своим дядюшкой Петром Борисовичем. Княжна Анна Алексеевна Урусова получала от него пенсию. Княжна Варвара Алексеевна при выходе замуж за князя Ивана Федоровича Касаткина-Ростовского получила от дяди деньги на приданое. Однако между ними возникали трения материального характера – племянники Урусовы требовали приданную вотчину их матери в Алексинском уезде, которая вернулась в род Шереметевых.

Еще одной тяжелой внутрисемейной проблемой для графа Петра Борисовича Шереметева оставались сложные отношения с потомками его старшего брата графа Михаила Борисовича, умершего в 1714 году. Они возникли на той же имущественной почве и стали следствием перехода к нему всех имений отца.

Но они не всегда были такими. Петр Борисович поддерживал добрые отношения со своими единокровными сестрами и племянниками.

Дочь графа Михаила Борисовича графиня Марфа Михайловна, в замужестве княгиня Долгорукая, овдовев, вместе с сыном жила в доме брата. Ее сын князь Иван Алексеевич Долгоруков получал от Петра Борисовича пенсию 600 рублей в год. Семья другой племянницы, графини Екатерины Михайловны, по мужу Салтыкова, жила в Фонтанном доме, а в середине XVIII века в одном из московских дворов брата «по родству». Графиня Александра Михайловна Шереметева была замужем за графом Федором Андреевичем Апраксиным, с семьей которого со времен фельдмаршала существовали близкие отношения.

Сын покойного графа Михаила Борисовича, приходившийся племянником Петру Борисовичу, полковник граф Алексей Михайлович Шереметев (он был на 15 лет старше своего дяди) жил в «петербургском» доме. (Возможно, в Фонтанном доме?) Конец его печален: болезнь и ранняя смерть в 1734 году, расстроенные имущественные дела.

Однако его сын, граф Сергей Алексеевич, получавший пенсию 600 рублей в год, по наущению своей матери графини Марии Андреевны, рожденной Нарышкиной, стал претендовать на часть имений своего двоюродного деда, графа Петра Борисовича. Претензии в начале 1780-х годов продолжали и его сыновья Михаил Сергеевич (1748 – 1803) и Алексей Сергеевич (1749 – ок. 1824), имения которых находились в совершенно «расстроенном» состоянии. Они требовали отдать им пензенское село «Дмитриевское Тютняр тож, в ней мужеска пола 500 душ с помещиковым двором и с винным заводом и с мельницами». Это было то самое имение, которое отдано княгине Наталье Борисовне Долгорукой в 1745 году. Эта тяжба, дошедшая до Сената, получила название «Дело претендетелей». Сенат постановил, что Указ о единонаследии не имеет обратной силы, и отказал братьям в их притязаниях.

Граф Петр Борисович тем не менее заботился о детях «претендетелей» – за «учение графа Алексея Сергеевича Шереметева детей» графская контора платила 400 рублей в год.

Пенсию от него получали домочадцы и служащие. Среди них: Анна Николаевна (Калмычка), воспитанница его покойной жены графини Варвары Алексеевны – 200 рублей в год; барон Лаутиц – 600 рублей; бывший учитель его сына француз Везьян – 300 рублей; московский доктор Фрез (Фрезе), который «пользовал» Петра Борисовича, его сына и других членов семьи и служащих, получал 1000 рублей в год. Архитектор К. Бланк, работавший в Кусково, также получал от графа пенсию 300 рублей в год.

Граф Петр Борисович Шереметев овдовел, когда ему исполнилось только 54 года, он пережил свою супругу на 20 лет. В годы вдовства у него имелись одна или даже несколько невенчанных жен, скорее всего из крепостных, что в то время для человека его социального и имущественного положения было в порядке вещей.

В его доме росли не только законные, но и внебрачные дети. Они были записаны под фамилией Реметевых. Такие «усеченные фамилии» получали в XVIII и в начале XIX веков внебрачные дети, если родитель их признавал и воспитывал, но по разным причинам не мог признать их законными детьми. Юридически такие внебрачные дети именовались «воспитанниками».

Старшая из внебрачных детей, Анастасия Петровна Реметева, родилась в 1772 году, в декабре 1775 года родился сын Яков Петрович Реметев и в марте 1779 года дочь Маргарита Петровна Реметева. Они были материально обеспечены отцом, граф Петр Борисович определил им пенсию 2000 рублей в год. Реметевы поддерживали отношения со своим единокровным братом графом Николаем Петровичем Шереметевым.

Граф Петр Борисович Шереметев прожил большую жизнь и скончался в Москве 30 ноября 1788 года. 10 декабря он был погребен в Новоспасском монастыре, рядом с супругой.

Отклик на его смерть и описание похорон мы находим в сочинении его внучатого племянника и недоброжелателя князя Ивана Михайловича Долгорукова: «…скончался почти вдруг граф Петр Борисович Шереметев, богатый Лазарь древней столицы. Он готовился дать пир в самый этот день Андреевским кавалерам на позолоченном сервизе и вместо того обратился сам в злосмрадный кадавр. Казалось невероятным, что он умер, так привыкли все почитать его по богатству полубогом. Он оставлял сыну своему знатнейшее имение в России; и мудрено ли, когда отец его, сей славный витязь, а потом и он без уважения к родству и к правам естественным обогащались чужими достояниями, никому ничего не выделяли… При всех царях, начиная с Анны, граф Шереметев был не только в милости, но даже и балован ими. Все ему сходило с рук… Все суды были им куплены, когда дерзал кто входить с ним в тяжбу. Но смерть никого не чтит. Пришла роковая минута, и очи московского Креза вечным сном смежились… Похороны графа Шереметева были так великолепны, что Екатерина, узнав об о них, запретила впредь столь пышные делать приготовления для погребения частного лица. Подлинно, его хоронили как царя…»