В отличие от мужа, сентиментального и несколько конфузливого, Ульяна Дмитриевна оказалась женщиной строгой, властной, с характером. Воспитание она получила в доме дальних родственников по линии матери — графов Толстых: генерал-майора Ивана Андреевича, внука славного сподвижника Петра Великого, начальника его Тайной канцелярии и члена Верховного тайного совета, и богатой кологривской помещицы Анны Федоровны, урожденной Майковой, к роду которой принадлежал чтимый русский святой Нил Сорский, живший в конце XV — начале XVI века.

О старшем сыне Толстых, Федоре Ивановиче, стоит рассказать особо. Это был незаурядный и много знающий человек, добрый и храбрый. Его жизнь изобиловала многочисленными — порой скандальными, порой курьезными — происшествиями, в которых трудно отличить быль от небылицы.

Ф. И. Толстой вошел в историю под прозвищем Американец. Дело в том, что будучи участником кругосветной экспедиции И. Ф. Крузенштерна и Н. П. Резанова на фрегате «Надежда», он был высажен за ряд экстравагантных поступков на Алеутских островах и довольно долго прожил там среди туземцев. Вернувшись спустя два года на попутном транспорте (а частью и пешком!) через всю Сибирь в Европейскую Россию, он стал демонстративно одеваться по-алеутски, развесил по стенам своего дома оружие и орудия индейцев, которые обитали по соседству с принадлежавшими России американскими колониями, и в компании друзей утверждал, что тамошнее племя «колоши», в котором он татуировался с головы до ног, предлагало ему стать их царем.

Авантюрист, бретёр и карточный игрок, имевший, по свидетельству современников, скверную привычку «исправлять ошибки фортуны», Толстой-Американец был отважен на поле брани. Участвуя в войне со Швецией, он отличился в битве при Иденсальме. Разведывательные донесения, добытые благодаря его бесстрашию, позволили армии Барклая де Толли перейти Ботнический залив и занять принадлежавшую шведам Вестерботнию, что побудило противника спешно запросить мира. В войну 1812 года он записался в Московское ополчение простым ратником, участвовал в сражении под Бородиным в числе стрелков при 26-й дивизии и получил серьезное ранение в ногу. «На память дня того Георгий украсил боевую грудь» Толстого-Американца, и по ходатайству генерала Ермолова он был произведен в полковники.

Его называли своим другом князь П. А. Вяземский, Д. В. Давыдов, К. Н. Батюшков. На свадьбе у А. С. Пушкина он был «сватом». Его колоритная фигура послужила прототипом Зарецкого, секунданта Ленского в «Евгении Онегине». А. С. Грибоедов запечатлел его образ в неназванном в «Горе от ума» по имени, но узнаваемом современниками завсегдатае московского Английского клуба: «Ночной разбойник, дуэлист, в Камчатку сослан был, вернулся алеутом». Л. Н. Толстой списал с него графа Турбина из повести «Два гусара».

Войдя в лета, особенно после женитьбы на певице из цыганского табора Авдотье Максимовне Тугаевой, Толстой-Американец остепенился, стал надолго уезжать в кологривское имение матери, и, подобно Зарецкому, превратился в «мирного помещика», рачительного мужа, умело ведущего дела не только своего хозяйства, но и друзей-соседей.

Он много читал, истово исполнял церковные обряды. Его угнетали воспоминания о бурной, грешной молодости.

Жена родила ему двенадцать детей, из которых одиннадцать умерли, едва появившись на свет. Видя в этом перст Божий, безутешный отец после смерти очередного ребенка вычеркивал из списка одиннадцати убитых им на дуэлях противников имя очередной своей жертвы. Когда число умерших детей и количество погубленных им на поединках жизней сравнялось, он пометил на полях своего синодика: «квит». И действительно, двенадцатый ребенок Толстого-Американца, дочь Прасковья, «курчавый цыганенок», прожила долго, став женой московского губернатора В. С. Перфильева.

Находясь в начале 1811 года в своем кологривском поместье Костромской губернии, Федор Иванович Толстой вызвался стать крестным отцом сына Василия Васильевича и Ульяны Дмитриевны Чижовых. Толстой-Американец знал мать новорожденного с младенчества — она была подругой многих его бесшабашных детских игр. Польщенные родители нарекли сына Федоромв честь именитого восприемника от купели. Несомненно, слышанные «с пеленок» рассказы о самых невероятных приключениях Толстого-Американца не могли не запомниться крестнику, и такие черты характера Федора Ивановича, как широта натуры, тяга к путешествиям, предприимчивость, смелость, жизненная активность, остроумие и оптимизм, неизменно восхищали мальчика и формировали его характер.

Брат матери Иван Дмитриевич Иванов выбрал военную карьеру, стал офицером, участвовал во второй Русско-турецкой войне, в том числе в знаменитом штурме Измаила. Он командовал батальоном в битвах при Кремсе и Аустерлице, отличился в походе 1812 года, в боях под Кобрином, был тяжело ранен в последней схватке с французами на русской земле — у реки Березины близ Борисова, через год снова встал в строй и геройски погиб в Русско-турецкую войну 1828 года в чине генерал-лейтенанта 19-й пехотной дивизии от смертельного ранения, полученного при осаде крепости Шумлы.