Жизнь Анненковых в Петровске ничем не отличалась от судьбы их сотоварищей. Разве только что Полина родила мужу еще двух детей. Теперь у них была большая семья — и все мал мала меньше. Веселый, добрый нрав, находчивость, умение без жалоб и тоски выходить из сложных материальных невзгод, врожденная работоспособность помогли Полине и содержать семью, и быть, можно сказать, матерью мужу своему, и поддерживать ровные отношения со всей декабристской колонией в Петровске. Ее муж, человек умный, добрый и обаятельный, был к ней сердечно привязан, и любовь помогла Анненковым перенести тяжелый удар: они похоронили старшую дочь.

20 августа 1836 года, простившись с дорогой могилой, Анненковы покидали Петровск вместе с восемнадцатью товарищами, срок каторжных работ для которых истек. Рвались узы братства, только сейчас на пороге разлуки люди понимали, насколько они дороги друг другу. Жена декабриста Юшневского писала о братьях Бестужевых: "Они в большом горе, что надо проводить Анненкова". Те, что оставались, загрустили, те, что уезжали, старались держаться друг друга — так возникли колонии декабристов близ Иркутска: в Оёке, в Урике, в Малой Разводной, куда стремились прибиться те, кто покидал Петровск позднее. Анненковым было назначено местом пребывания село Вельск — тоже близ губернского центра. Однако видимость освобождения, породившая некоторые иллюзии, не принесла облегчения. Еще в Петровске простудился младший ребенок, в дороге болезнь усилилась, в Иркутске у малыша отнялась нога, и вскоре после прибытия на поселение Анненков вынужден письменно обращаться к генерал-губернатору Броневскому с просьбой: "Сделайте милость, дозвольте г-ну Вольфу приехать в Вельск, чтобы подать помощь меньшому моему ребенку… у него свело ногу, и он может навечно остаться калекою…"

Бесправные, брошенные на произвол судьбы, они были лишены не только общения, которое еще совсем недавно приносило им радость и облегчение, но и возможность приобрести самое необходимое для жизни, ту малость, без которой дом — не дом. Деликатный и терпеливый, Анненков снова обращается к Броневскому. На этот раз вежливые формы вроде "сделайте милость" или "не оставьте без внимания" сменились выражениями иного свойства:

"Ваше Превосходительство!

Господин испр. должность Земского исправника не сообщил еще по сие время никаких письменных относительно меня распоряжений в Вельск, а в приезд свой приказал предписание объявить нам, что если мы отлучимся без особенного дозволения начальства, то будем судимы как за побег. Словесно же велел старшине осматривать ежедневно мой дом и не выпускать нас из селения.

Подобное распоряжение внушило мне необходимость объяснить Вашему П-ству следующее: я высоко ценю милость Государя Императора, которому угодно было освободить меня на поселение, и, следовательно, по одному тому уже для меня чужда будет мысль о побеге. Прибавьте к этому, что я имею жену и детей, и тогда Вы, верно, убедитесь, что несообразность, к которой предполагают меня способным и за которую меня, не помышлявшего еще о преступлении, угрожают уже предать суду, может быть свойственна одному только безумцу, лишившемуся вовсе рассудка. Не отлучаться же за черту селения, как требует этого г-н исправник, и испрашивать на каждый раз особое дозволение начальства, невозможно по медленности сношений.

Не имев еще своего хозяйства, я должен изыскивать средства, пополнять в окрестностях то, чего нельзя достать на месте, и позаботиться также о дешевой закупке припасов. В Вельске не существует базара, и потому выезд в соседние деревни необходим для закупки местных припасов, сена, дров и тому подобного".

Броневский долго вертел в руках письмо. Логика, конечно, есть — женатому человеку, обремененному детьми, бежать не следует. Ну да чем все же черт не шутит. А вдруг! Придется ответ держать перед государем. По всей строгости. А не разрешить — так, выходит, ты и есть этот самый "безумец, лишившийся вовсе рассудка".

Утром следующего дня генерал-губернатор поставил резолюцию на письме:

"Разрешите государственному преступнику Анненкову отлучки по хозяйственным надобностям в пределах волости". Однако этой дарованной столь "великодушно" милостью Анненков всерьез не успел воспользоваться, в том же 1837 году, в котором писано приведенное выше письмо, ему было объявлено, что по ходатайству родных ему назначено переехать в город Туринск "с употреблением на службу в земском суде, на правах лица из податного сословия".

Так началась государственная служба Ивана Александровича Анненкова — исключительная государева милость: Николай I ревниво следил за тем, чтобы декабристы, не дай бог, снова не выбились в люди. Должно быть, и здесь сделали свое дело благодарственные письма Полины, которые посылала она государю по всякому подобающему поводу с независимостью и непосредственностью француженки.

Через четыре года они были уже в Тобольске, где Анненков состоял чиновником особых поручений при губернаторе, а потом начальником отделения в приказе о ссыльных, служил в приказе общественного призрения, а в 1845 году назначен заседателем. Его живой ум, обширные познания, умение быть полезным сделали его приметным человеком, которому доверяли люди.