Других писем Воронцовой к Пушкину не сохранилось.

При отъезде Пушкина из Одессы 1 августа 1824 года, Воронцова на прощание подарила ему перстень. (Храни меня, мой талисман…) Биограф поэта – П. И. Бертенев, знавший Воронцову лично, писал, что она сохранила до старости теплые воспоминания о Пушкине и ежедневно читала его сочинения. С ним соединялись для нее воспоминания молодости.

А вот Роман Раевского с Елизаветой Ксаверьевной имел довольно длительное продолжение. После отъезда Пушкина из Одессы отношение Михаила Воронцова к Александру Раевскому некоторое время оставалось доброжелательным. Раевский часто гостил в Белой Церкви, где бывала с детьми и Воронцова. Об их связи было известно, не мог не догадываться об этом и граф Воронцов.

Как мы видели, Раевскому удалось на время отводить от себя его подозрения с помощью Пушкина. Возможно, именно Александр Раевский и был отцом дочери Елизаветы Ксаверьевны. Во всяком случае, граф Воронцов знал, что маленькая Софья не его ребенок. В своих памятных записках, написанных им на французском языке для своей сестры, Воронцов перечисляет все даты рождения детей, только о рождении Софьи в 1825 году в записках нет ни слова.

В начале 1826 года Раевский был арестован в Белой Церкви по подозрению к причастности к заговору декабристов, но вскоре был освобожден с извинениями и осенью вернулся в Одессу, чтобы быть рядом с любимой. Но Елизавета Ксаверьевна удалила его от себя. В начале 1827 года Воронцовы уехали в Англию, чтобы поправить здоровье Михаила Семеновича.

В начале 1828 года они вернулись в Одессу, Елизавета Ксаверьена продолжала избегать Раевского. Раевский стал вести себя недопустимо и позволять себе поступки, явно неприличные.

В июне 1828 года разразился громкий скандал. В это время Воронцовы принимали в Одессе императора Николая I с женой. Гости жили в роскошном дворце Воронцовых на Приморском бульваре. В один из дней Елизавета Ксаверьевна направлялась к императрице Александре Федоровне со своей дачи. По пути карету Воронцовой остановил Александр Раевский, держа в руке хлыст, и стал говорить ей дерзости, а потом крикнул ей: «Заботьтесь хорошенько о наших детях… (или)… о нашей дочери».

Трехлетную Софью Раевский считал своим ребенком. Скандал получился невероятный. Граф Воронцов снова вышел из себя и под влиянием гнева решился на шаг, совершенно неслыханный; он, генерал-губернатор Новороссии – в качестве частного лица – подал одесскому полицмейстеру жалобу на Раевского, не дающего прохода его жене. Но Воронцов скоро опомнился. Сообразив, что официальная жалоба может сделать его смешным, он прибегнул к другому средству, через три недели из Петербурга было получено высочайшее повеление о немедленной высылке Раевского в Полтаву за разговоры против правительства. Так Раевский навсегда расстался с Воронцовой.

История с Раевским еще долго обсуждалась в московском и петербургском свете. В декабре 1828 года А. Я. Булгаков писал брату: «Жена моя вчера была у Щербининой, которая сказывала, что Воронцов убит известной тебе историей графини, что он все хранит в себе ради отца и старухи Браницкой, но что счастие его семейственное потеряно. Меня это чрезмерно огорчает… Я не хочу еще верить этому… Кто более Воронцова достоин быть счастливым?… Но эта заноза для души чувствительной, какова Воронцова, ужасна!»

По свидетельству современников, даже в 60 лет Елизавета Ксаверьевна могла кружить голову мужчинам: «Небольшого роста, с чертами несколько крупными и неправильными, княгиня Елизавета Ксаверьевна была тем не менее одной из привлекательнейших женщин своего времени. Все ее существо было проникнуто такою мягкою, очаровательною, женственною грацией, такой приветливостью, таким неукоснительным щегольством, что легко себе объяснить, как такие люди, как Пушкин, и многие, многие другие, без памяти влюблялись в княгиню Воронцову».

Да, в семейной жизни Воронцовых не всегда все шло гладко. Граф Михаил Семенович Воронцов тоже не был верным супругом и имел любовную связь с лучшей подругой жены и хозяйкой крымского имения Мисхор Ольгой Станиславовной Нарышкиной, урожденной Потоцкой (1802–1861).

В свете считали, что Воронцов устроил в 1824 году брак Ольги Потоцкой со своим кузеном Львом Нарышкиным для прикрытия собственного романа с ней. Еще до брака у Ольги Потоцкой был роман с П. Д. Киселевым, женатым на ее старшей сестре Софье. Простить измены Софья так и не смогла, хотя всю жизнь продолжала любить мужа, но жила с ним раздельно.

Граф Воронцов не только брал на себя многие расходы по содержанию Мисхора, но и оплачивал карточные долги Нарышкина. В 1829 году у Нарышкиных родился долгожданный ребенок, девочка, которую назвали Софьей.

Злые языки утверждали, что она дочь Михаила Воронцова. Действительно, Софья Львовна Нарышкина имела куда большее сходство с Воронцовым, чем его собственные дети. Портреты Ольги Станиславовны и ее дочери всегда хранились среди сугубо личных вещей Воронцова и даже стояли на рабочем столе парадного кабинета Алупкинского дворца.