В пользу того, что поэт искренно считал себя не Перовским, а Толстым, имеется много доказательств. Например, он всю жизнь свою носил на пальце перстень с резным изображением родового герба графов Толстых, чего ни за что не стал бы делать, если бы хоть сколько-нибудь сомневался в своем происхождении. По словам лица, его близко знавшего, поэт с жаром доказывал в одном споре талантливость, присущую фамилии Толстых. Он поддерживал отношения с дядей своим, известным скульптором Ф.П. Толстым, и позволял своей жене и ее племянницам ездить к самому К.П. Толстому.

В обстоятельства, вызвавшие разрыв его родителей, Толстой был посвящен одною из заинтересованных сторон, и, по-видимому, объяснения матери носили весьма пристрастный характер. Следствием таких объяснений было то, что поэт почти всю свою жизнь избегал встречаться с отцом. Они помирились уже перед самою смертью последнего.

Несмотря на то, что Алексей Толстой считал отца виновником семейного разрыва и не мог ему простить какого-то проступка перед графиней Анной Алексеевной, мы имеем, однако, сведения, что он оказывал графу Константину Петровичу материальную поддержку. Отец поэта был человек слабохарактерный, мягкосердечный, религиозный и никому не отказывавший в денежной помощи. Поэтому он сам постоянно нуждался и не мог отказаться от той пенсии, которую ему назначил его богатый сын.

Портрета К.П. Толстого до нас, к сожалению, пока не дошло. Чертами лица своего поэт походил на родственников как той, так и другой стороны. Глаза, например, у него были голубые, как у Перовских, нос – как у Толстых. Характером своим он также напоминал во многом родственников своих со стороны отца. Артистические же наклонности и художественный вкус были присущи представителям обеих фамилий. Поэтический дар Алексей Константинович мог унаследовать от своего дяди графа Петра Андреевича Толстого, который, по словам М.О. Каменской… отличаясь веселым нравом, не чужд был импровизаторских способностей и, даже готовясь покинуть этот мир, приветствовал шутливым экспромтом пришедших к нему проститься родственников…

Все эти данные заставляют думать, что легенда о романтическом происхождении поэта в лучшем случае представляет собою плод недоразумения…»

Так или иначе, разрыв между супругами Толстыми произошёл, и шестинедельного Алексея Толстого мать перевозит на Черниговщину, в своё имение Блистава, а затем в Красный Рог Мглинского уезда – имение брата, А.А. Перовского.

Первые стихотворные опыты Толстого относятся к 1823–1824 годам, а зимой 1826 года А.А. Перовская с сыном и братом возвращаются в Петербург. Здесь происходит знакомство Алексея с наследником престола, будущим императором Александром II (он на полгода младше Толстого). В том же году становится «товарищем для игр» наследника. Осенью Алексей Перовский встречается в Москве с Пушкиным. Вероятно, с ним был и племянник.

Летом 1827 года, путешествуя по Германии, Перовский, мать Толстого и он сам знакомятся в Веймаре с Гёте. Существует свидетельство, что автор «Фауста» тепло встретил будущего поэта и подарил мальчику обломок бивня мамонта с собственным рисунком фрегата на нём.

Особая часть жизни Толстого – его дружба с наследником престола. Интересная история произошла 30 августа 1829 года, в день ангела Александра. Дед по матери, король прусский Фридрих-Вильгельм III, прислал внуку оловянных солдатиков. Дети – наследник и Толстой – разыгрались. Вошедший в комнату император Николай I увлёкся игрой и в конце концов присоединился к детям.

В 1831 году, отправившись с матерью и дядей в Италию, Толстой ведёт дневник. В Риме знакомится с К.П. Брюлловым, который делает рисунок в альбоме Толстого.

Государственную службу Толстой начал в 1834 году. Он зачислен «студентом» в Московский Главный архив Министерства иностранных дел, в котором в разное время служили многие известные деятели русской культуры – братья Веневитиновы и Киреевские, С.П. Шевырев, А.И. Кошелев… Он продолжает писать стихи, о них одобрительно отзывается В.А. Жуковский. Предполагают, что творческие опыты юного поэта поддержал и Пушкин. В начале декабря 1835 года Толстой подаёт прошение в Московский университет о допущении к сдаче университетского экзамена – «из предметов, составляющих курс словесного факультета, для получения учёного аттестата на право чиновников первого разряда», а 4 января 1936 года Совет Московского университета выдаёт Толстому аттестат на вступление в первый разряд чиновников государственной службы.

В это же время Толстой влюбился в княжну Елену Мещерскую, но обстоятельства жизни не способствовали развитию этого чувства: против выступает мать, а в июне он уезжает в Ниццу, сопровождая А.А. Перовского, больного «грудной болезнью» (очевидно, туберкулёзом). Но поездка обрывается в Варшаве: здесь 9 июля Алексей Алексеевич умирает на руках племянника… Толстой наследует всё состояние дяди, в том числе имение Погорельцы в Новозыбковском уезде Черниговской губернии.

25 ноября 1837 года после хлопот Толстого и его матери он переводится в Петербург в Департамент хозяйственных и счётных дел. Представлен к чину коллежского регистратора.

Вскоре Толстой назначен «к миссии нашей во Франкфурте-на-Майне, сверх штата». Он живёт в Германии, Италии, Франции. Пишет первые рассказы (на французском языке) – «Семья вурдалака», «Встреча через триста лет». Идёт служебный рост. В октябре 1839 года произведен в губернские секретари, 9 марта 1840 года пожалован в коллежские секретари, а в декабре того же года по Высочайшему повелению перемещён «младшим чиновником» во Второе Отделение Собственной Его Императорского Величества канцелярии.