После смерти Дорошенко его вотчина была поделена между двумя сыновьями. Старший Александр был женат на Прасковье Пушкиной, дочери стольника, казненного за участие в заговоре стрелецкого полковника Циклера в 1697 году. Он был предком великого поэта, хотя и не по прямой линии; Пушкин упомянул его в «Моей родословной»:

Их дочь Екатерина вышла замуж за А. А. Загряжского (1716–1786). Благодаря родству с Г. А. Потемкиным последний оказался в поле зрения Екатерины II и удостоился почетного и небезвыгодного места попечителя Воспитательного дома в Петербурге.

Младший брат Петр Дорошенко продал в 1717 году свою половину графу Г. П. Чернышеву. Так образовались два Яропольца: Загряжских-Гончаровых и Чернышевых. Характерно, что еще одно местное предание также считает Чернышевых потомками Дорошенко, а происхождение фамилии истолковывает следующим образом: первый из Чернышевых был простым казаком; он был ранен в лицо — от брови до уха. По обычаю запорожцев, он затер рану порохом; она зажила, но на ее месте от пороха остался черный шов. Отсюда его прозвище, впоследствии ставшее фамилией — уже когда он прославился и получил графский титул.

Наталия Николаевна Пушкина была правнучкой Дорошенко по материнской линии. Сначала усадьба, как приданое старшей дочери старшего сына гетмана, отошла к Загряжским, а затем в 1807 году таким же образом к Гончаровым (подробности далее). Ансамбль был создан в 1760-х годах. Очередное местное предание связывает его с именем Растрелли. Владелец Яропольца якобы пригласил знаменитого зодчего, воспользовавшись тем, что он находился неподалеку, в Новом Иерусалиме, где восстанавливал монастырь.

Архитектурный облик Яропольца благодаря своей завершенности представляется как бы эталоном русской усадьбы. «Готические» башни ворот напоминают шахматные ладьи. Пройдя их, посетитель оказывается внутри полукруга, образуемого служебными постройками. Главный дом с пристроенными флигелями стоит по диаметру. Его шестиколонный портик необыкновенно красив. Весь ансамбль выдержан в стиле классицизма с элементами неоготики. Высокие художественные достоинства заставляют предполагать авторство выдающегося архитектора. По-видимому, им был И. В. Еготов (1756–1815) — один из самых талантливых мастеров московской школы Баженова — Казакова.

Свой окончательный облик усадьба приобрела при генерал-майоре Б. А. Загряжском (1744–1809). О нем известно немногое; стоит упомянуть лишь то, что в 1791–1794 годах он был волоколамским уездным предводителем дворянства. После отставки он почти безвыездно жил в Яропольце, всецело посвятив себя хозяйству.

Его полной противоположностью был брат И. А. Загряжский (1749–1807). Он выделялся своей несдержанностью даже в среде дворянства того времени, отнюдь не склонного строго следовать предписаниям морали. Его рано женили на А. С. Алексеевой, по-видимому надеясь обуздать его буйство, но случилось как раз наоборот. Почувствовав волю, он пустился во все тяжкие. Близость к Потемкину только способствовала проявлению его страстей игрока и кутилы. Впрочем, он был храбрым офицером и дослужился до чина генерал-поручика.

Нелюбимую жену младший Загряжский отвез в Ярополец и забыл о ней. Неожиданно через несколько лет (около 1784 года) он приехал сюда с новой женой. Это была Ульриха фон Поссе, которую Загряжский похитил у мужа, владельца усадьбы Выйду около Дерпта. Правда, предварительно она все же успела развестись с прежним супругом. Загряжский не сказал ей, что женат, и они обвенчались. Но быстро выяснилось, что брак незаконен. Молодой женщине не оставалось ничего другого, как только оплакивать свою судьбу. Загряжский оставил и ее в Яропольце и вернулся в свой полк. Вскоре у новой жены родилась дочь Наталия, будущая теща Пушкина. Таким образом, она фактически была незаконнорожденной.

Но случилось неожиданное. Прежняя супруга прониклась к своей сопернице сестринской любовью. У нее уже были две дочери Екатерина и Софья. Все девочки воспитывались вместе; никакой разницы между ними никто не подчеркивал. Ульриха фон Поссе умерла в 1791 году. Благодаря протекции своей родственницы Н. К. Загряжской (дочери последнего гетмана Малороссии К. Г. Разумовского) сводные сестры были взяты ко двору и пожалованы во фрейлины императрицы Елизаветы Алексеевны, супруги Александра I. Наталия быстро освоилась во дворце, где стала общепризнанной красавицей. Говорили, что в нее был страстно влюблен А. Я. Охотников, фаворит императрицы.

Наталия Ивановна оставила без ответа любовь Охотникова. Она, конечно, не предчувствовала, что произойдет кровавая драма. Великий князь Константин Павлович был также влюблен в Елизавету Алексеевну. Поговаривали, что это он подослал к Охотникову наемного убийцу. Вечером 4 октября 1806 года в театре неизвестный смертельно ранил Охотникова ударом кинжала. Он умер через три месяца на руках Елизаветы Алексеевны. Об этом мрачном эпизоде в царской семье предпочитали не вспоминать.

А спустя неделю, 27 января 1807 года, в Придворной церкви Зимнего дворца состоялось венчание Наталии Ивановны Загряжской с Николаем Афанасьевичем Гончаровым (1787–1861). С первого взгляда партия выглядела блестящей. Замечательно образованный и красивый жених еще к прочим своим достоинствам был наследником громадного состояния. Но через несколько лет у него проявились первые рецидивы психического заболевания, со временем только прогрессировавшие. Семья фактически оказалась разрушенной. Муж уединился затворником в своем московском доме, а жена поселилась в Яропольце, полновластной хозяйкой которого она стала в 1821 года после имущественного раздела со сводными сестрами.

Венчание Пушкина с младшей из трех дочерей Гончаровых Наталией Николаевной состоялось 18 февраля 1831 года. Теща поэта продолжала жить в Яропольце почти в затворничестве. Ее отношения с Пушкиным, по крайней мере в первое время, были натянутыми. Между тем его семейство быстро увеличивалось — родились сын Александр и дочь Мария. После этого Наталия Ивановна несколько подобрела к своему зятю. У нее возник план выделить дочери в счет приданого часть Яропольца. По-видимому, Пушкин заехал в усадьбу по пути в Москву именно для того, чтобы выяснить новые денежные обстоятельства. В письме жене 26 августа 1833 года он сообщает подробности: