17 сентября, отправив всех крестьян и дворовых в Тамбовскую губернию, где находилась его семья, граф остался с несколькими доверенными слугами. Дальнейшее описано двумя свидетелями, которые квартировали в усадьбе графа. Лорд Терконель (из ставки Кутузова) написал так: «Я находился вместе с графом, когда он помогал служителям таскать всякие зажигательные вещества в комнаты, и в короткое время весь дом (один из великолепнейших виденных когда-либо мною) сожжен был до основания. Граф стоял и смотрел, как посторонний зритель, и, казалось, был менее тронут, чем все присутствующие». Однако другой свидетель ужасного и героического действа увидел, сколь тяжело далось оно Ростопчину: «Граф, войдя в комнату супруги своей, казалось, хотел остановиться, но твердость взяла верх – и он собственной своей рукой зажег горючее вещество». Словом, россияне не сдаются – граф-аристократ может стать национальным героем!

Вернувшись в Москву, оставленную наконец-то французами, Ростопчин деятельно принялся за восстановление города. Однако деятельность его выходила непоследовательной и часто бестолковой. Впрочем, трудно представить, каковой она должна была быть, когда город лежал в груде пепла, а вокруг бушевали эпидемии и грабежи. К тому же вернувшиеся домовладельцы требовали от генерал-губернатора Ростопчина возмещения ущерба от погубленного и разворованного имущества. А что он мог им дать?! Ведь он и сам остался нищим после пожара в Воронове. Недаром граф совершенно затравленно писал императору Александру: «…именно меня обвиняют за то, что Москва была оставлена войсками и что я отказываюсь платить им миллионы, которые от меня требуют со всех сторон».

Вскоре оставшиеся без крова москвичи обвинили графа не только в оставлении Москвы войсками, но и в самом московском пожарище. В ход пошла дикая шутка: «На то он и Ростопчин, чтобы Москву ростопить». Вспомнились так называемые «ростопчинские афишки», расклеенные по городу еще до вступления Наполеона, в которых градоначальник призывал москвичей к сопротивлению врагам. Особенный упор делался на фразу: «Лучше увидеть город в огне, чем под властью французов!» Словом, выходило, что в Великом пожаре виновато подстрекательство Ростопчина – ему и платить за все! Тем более что поджигали дома графские приспешники аккуратно – недаром один из его домов уцелел.

Ну а вскоре по Москве поползли и более ужасные слухи. Молва утверждала, что Ростопчин-то богат! Своего имущества не утерял: хоть Вороново и сгорело, но все его немыслимые богатства – золото, серебро, статуи, книги, картины и прочее – ушлый граф заранее приказал вынести из дома и спрятать в подземельях усадьбы. Вот и следует заставить графа достать свои припрятанные сокровища и раздать тем, кто по его милости все потерял!

Под грузом эдаких мыслимых и немыслимых обвинений пришлось графу Ростопчину подать в сентябре 1814 года в отставку. «Кроме ругательства, клеветы и мерзостей, ничего я в награду не получил от того города, в котором многие обязаны мне жизнью», – с горечью написал граф своему другу.

Здоровье Ростопчина сильно ухудшилось, он уехал на лечение в Европу. В сентябре 1823 года на шестидесятом году жизни вернулся в Москву, почти не выходя из дома, проболел еще пару лет и умер 18 января 1826 года. Упокоился Ростопчин на Пятницком кладбище, но вот слухи о его спрятанных сокровищах все более и более будоражили горячие головы кладоискателей и историков. Первые мечтали о находке немыслимых сокровищ, вторые хотели понять, кем же был Федор Ростопчин – бескорыстным героем или изворотливым лгуном.

Попасть в подвалы Воронова кладоискатели не сумели – после пожара все вокруг там обрушилось и повыгорело. Однако историческое разбирательство началось сразу же после кончины графа. Перво-наперво историки обратили внимание на странный факт: Ростопчин, всегда отличавшийся щедрым гостеприимством, не позвал в Вороново ни самого Кутузова, ни его друзей, хотя ставка расквартировалась рядом с усадьбой. Граф пригласил к себе только двух англичан, которые совершенно не знали русского языка. Не оттого ли, что не хотел, дабы кто-то посторонний слышал команды, кои он отдает своим верным слугам?

Но было ли слугам куда прятать имущество? Ведь это не сундук с драгоценностями, а сотни, а то и тысячи предметов искусства и роскошной обстановки. Да только мраморных и бронзовых статуй в человеческий рост насчитывалось почти полсотни. Чтобы их спрятать, нужны огромные помещения. Но были ли таковые в Воронове?

Оказалось, да. Нашлись свидетельства современников о том, что под усадьбой существовали не просто подземные ходы, но целый лабиринт, то есть было где спрятать. И граф спрятал. Иначе на что бы он жил в Европе, давая все те же гостеприимные обеды, содержа в роскоши свое семейство? И не потому ли он почти 10 лет не возвращался на родину, что опасался раскрытия своей тщательно скрываемой тайны? Ведь узнай общество о его припрятанных сокровищах, разразился бы жуткий скандал. Из героя-патриота он вмиг превратился бы в обманщика-афериста.

ХХ век внес в поиски таинственного ростопчинского клада свою лепту. В 1978–1983 годах на территории усадьбы шло строительство, тогда и обнаружились остатки громадного подземного хода, ширина и высота которого больше 2 метров. Но своды подземелья рушились, и работы приказано было свернуть, а вход засыпать. Однако краеведы не успокоились и пригласили мастера биолокации В. Малеева. Тот сумел составить карту подземных ходов: они шли от дворца к «голландскому домику», от него к пруду и конюшне, выходя в парк. Конечно, биолокация – метод не совсем научный. Но в последнее время были проведены радиолокационные замеры георадаром «Грот-1». Ответ оказался однозначен: подземелья Воронова существуют. Вот только проникнуть в них пока нет возможности. Так что вопрос, был ли граф Ростопчин героем или обманщиком, остается тоже пока без ответа.