Наталья Дмитриевна тяжело переносила северный климат, она все время недомогала, нездоровье больно отозвалось в их судьбе, два ребенка родились мертвыми. Они ждали третьего…

"Когда после шестилетней каторги, — пишет Францева, — Фонвизины были поселены (в Енисейске), то в отдаленном уездном городе неразвитые и грубые уездные власти с высокомерием стали обращаться с ними. Особенной невежественностью отличался непосредственный его начальник некто Т-ов. Все получаемые письма из России доставлялись не иначе, как через него, он их прежде сам прочитывал, а потом уже передавал кому следует. Михаил Александрович должен был ходить за ними к нему, и он не удостаивал даже своеручно их передавать, а только указывал рукой на лежащие на столе письма, тот брал их и уходил. Грубое это обращение продолжалось до приезда из Красноярска губернатора, который, как только приехал, тотчас же посетил сам Фонвизиных, и Михаил Александрович передал ему, как грубо власти обращались с ним. Губернатор пригласил Михаила Александровича на официальный к себе обед, за которым посадил его около себя и большей частью разговаривал во время обеда с ним, что немало изумило властей. Т-ов после отъезда губернатора совершенно изменился в своем обращении с Михаилом Александровичем, и чтобы выказать свое благорасположение, стал зазывать и поить его силой на своих пьяных пирушках. Михаил Александрович перестал бывать у него, но начальник не унимался, желая, вероятно, загладить свое прежнее грубое обращение; зазвав его однажды к себе, велел запереть ворота и не выпустил от себя до самого утра другого дня".

Больная, слабая Наталья Дмитриевна провела ночь в тревоге за мужа: где он? что с ним? жив ли?

Михаил Александрович любил детей. Даже в нежности его к жене был оттенок отцовский. Он привязался, как к родной, к дочери енисейского исправника Францева — Машеньке, которой тогда было шесть лет. Она на всю жизнь сохранила доброе чувство к благородному генералу, ее любовь к Фонвизиным была столь велика, что когда их перевели в Тобольск — ее отец согласился не уезжать из Тобольска, остаться там в должности прокурора, чтобы не разлучаться со своими друзьями и воспитателями его дочери. Марии Дмитриевне Францевой обязаны мы знанием многих страниц жизни декабристов в Сибири и особенно семьи Фонвизиных.

Плохое состояние здоровья Натальи Дмитриевны заставило Ивана Александровича Фонвизина собрать в Москве консилиум из трех известных докторов, которые обсудили все представленные им сведения о заболеваниях Фонвизиной и пришли к выводу, что дальнейшая жизнь в северных широтах может убить их заочную пациентку.

Только после этого, в марте 1835 года Фонвизиным разрешено было переехать в Красноярск, а еще через три года — в Тобольск.

"Мы приехали в Тобольск, — вспоминала Наталья Дмитриевна в письме к протоиерею Стефану Знаменскому. — И приехали в ночь, в грязь, слякоть, и выехали с горы, и въехали в темный, унылый и низкий дом, который и на тебя произвел такое тягостное впечатление в последний твой приезд…"

В Тобольске у Фонвизиных значительно расширился круг общения — здесь жил Александр Муравьев с женой, они перебрались в Тобольск после смерти Никиты, здесь находились на поселении Анненковы, здесь бывали проездом знакомые из Петербурга и Москвы, с которыми удавалось обмолвиться словечком о делах столичных, о друзьях и близких, обо всем, что теперь было так далеко и невозвратно. Жили они скромно, но были радушными и гостеприимными хозяевами. Наталья Дмитриевна любила угощать, но столом всегда занимался Михаил Александрович — он был искуснейший кулинар, знал способы приготовления такого количества разнообразных блюд, что повар, поступая к ним в услужение, поначалу ходил у генерала в учениках.

Когда переехали в Тобольск Францевы, в доме Фонвизиных стало теплее; Машенька к тому времени была уже почти барышней, каждый свободный час проводила она в беседах с генералом, который стал ее наставником, и в загородных прогулках с Натальей Дмитриевной. Был у Фонвизиных еще один воспитанник. "Подружившись, — вспоминает Францева, — с тобольским протоиереем, Степаном Яковлевичем Знаменским, очень почтенным и почти святой жизни человеком, обремененным большой семьей, они взяли у него на воспитание одного из сыновей, Николая, который жил у них, продолжая ученье свое в семинарии. По окончании же курса, они доставляли ему возможность пройти в казанской духовной академии курс высшего образования… Затем они воспитывали еще двух девочек, которых потом привезли с собою в Россию и выдали замуж".

Известный сибирский художник Михаил Знаменский вспоминает о Фонвизиных:

"С того времени, как я начал помнить себя, и до 23 лет я был с ними. И если теперь подлость, низость и взятки болезненно действуют на меня, то этим я обязан лицам, о которых всегда говорю с почтением и любовью.

Мы жили тогда бедно, и Фонвизины старались помочь нам, чем могли. Помню, в это время отца перевели на службу в город Ялуторовск. Отцу не хотелось отрывать моего старшего брата Колю от наладившегося уже учения. Тогда Фонвизины предложили отцу взять Колю к себе на воспитание. Отец согласился.

Наталья Дмитриевна долго говорила с отцом. Потом позвали брата Колю, велели ему одеться, и он уехал с Натальей Дмитриевной. Возвратился он вечером, запыхавшись.

— Вы уезжаете в Ялуторовск, — говорил он торопливо, — а я остаюсь… Буду жить у Натальи Дмитриевны. У них дом большой… сад… цветы… книги с картинками. В одной книге они все нарисованы: Михаил Александрович тележку везет, тачку, а вблизи солдаты с ружьями…

Коля принес сладких, хороших конфет в узелке и поделился с нами".

В те дни, недели и месяцы, когда жизнь текла более или менее размеренно, они оба много работали. Наталья Дмитриевна ночью и рано утром писала заметки, занималась в саду. Михаил Александрович написал в Тобольске свои "Записки" и целую серию работ, в том числе "О крепостном состоянии земледельцев в России" и "О коммунизме и социализме", где доказывал, что, уничтожая крепостное право, необходимо освобождать крестьян с землей, иначе всякий разговор об освобождении — обман.

Некая предвзятость между декабристами и новыми революционерами, поднимающимися им вослед, некое взаимное непонимание существовали. Интересно, что жены декабристов сыграли положительную роль в разрушении этого барьера, у них на это было больше возможностей, чем у состоящих под недремлющим надзором мужей.