В 1853 году игумен Антоний был уволен от настоятельской должности и возвратился в Оптину пустынь, в любезный его сердцу скит.

Игумен Антоний не вернулся к своим прежним обязанностям, не вмешивался во внутренние дела монастыря и скита и жил в Оптиной пустыни как обычный монах, удалившийся на покой. Он даже уклонялся давать советы. Единственное, в чем никогда и никому из приходивших к нему со скорбями не отказывал, это в утешениях.

Невзирая на не прекращавшиеся боли в ногах, отец Антоний старался посещать все церковные службы. Он старательно скрывал свои страдания, всегда и со всеми был одинаково приветлив. Многие, видя его всегда доброе, живое и просветленное лицо, слыша неторопливую, всегда сердечную беседу, даже представить не могли, какие телесные мучения переживает отец Антоний. И только когда раны на ногах воспалялись и отец Антоний не мог выходить из кельи, он заменял церковную службу келейной молитвой.

Один из послушников Оптиной пустыни, у которого отец Антоний был духовником, оставил воспоминание: «8 ноября 1862 года, на память святого Архистратига Михаила, перед самою утренею слышал я во сне неизвестно чей голос, говоривший мне: „Твой отец Антоний человек святой жизни и великий старец Божий". Вслед за тем раздался звонок будильщика, и потому все слова таинственного голоса ясно напечатлелись в моей памяти. Размышляя о слышанном, пошел я к утрени.

Не доходя до корпуса, где жил Старец и мимо которого надобно мне было идти, вижу: над молитвенной его кельей, неизвестно откуда, явилось светлое белое огненное облако длиной около сажени, шириной аршина в два; тихо и медленно поднималось оно от самой крыши, шло кверху и скрылось в небесном пространстве. Явление это меня поразило, и потому, пришедши с утрени, я пожелал записать о сем себе для памяти. Объявить же о сем видении Старцу не осмелился, а счел оное за вразумление мне, недостойному, иметь веру, преданность и послушание к своему Старцу, и за явное свидетельство его чистой, пламенной и богоприятной молитвы».

Отец Антоний жаждал покоя, уединенной жизни в молитвенных трудах, чтении и богомыслии. Но он был слишком щедро одарен духовно, и эти его дарования влекли к нему множество посетителей, желавших его благословения и духовного назидания. У преподобного Антония было много духовных детей среди мирян. Многих он назидал письменно. После кончины удалось собрать и издать сборник его писем, в основном содержащих общие назидания.

«Письма эти, – считает его жизнеописатель, – отличались тем же естественным красноречием и сладкоречием, тою же назидательностью и своеобразной выразительностью и силою. Слог его совершенно особенный, свойственный одному старцу Антонию. В них ясно отпечатлелись все высокие душевные свойства любвеобильного старца. Читая их, как будто слышишь самую его беседу».

Отец Моисей и отец Антоний положили начало не только старчеству в Оптиной пустыни, но и заложили начало знаменитой оптинской библиотеки, насчитывавшей к концу XIX века более тридцати тысяч томов. Это было уникальное собрание книг по богословию, аскетике, сельскому хозяйству, истории, географии. Библиотека имела отдел духовной и отчасти мирской периодики, богатейший отдел справочников и энциклопедий. В ней хранились древние и новые рукописи, в том числе рукописные книги, исполненные монахами на высочайшем уровне этого искусства.

Оптинские монахи много читали, о чем свидетельствуют тетради выдачи книг. Оптина пустынь и сама издавала книги. И во всем этом огромная заслуга и настоятеля Моисея, и отца Антония.

Братья не только способствовали книгопечатанию в обители, но и заботились о пополнении оптинской библиотеки. Они постоянно приобретали книги во время своих поездок в Калугу и Москву. Много редких книг привозили в дар отцу Антонию его духовные дети. Сам отец Антоний старательно прививал интерес к книгам монахам Оптиной пустыни, руководил их чтением, направлял их.

Редкие книги отец Антоний отдавал переписывать, или переписывал их сам, что с усердием делал еще в рославльских лесах. Прежде чем передать книгу в монастырскую библиотеку, отец Антоний отдавал ее переплетать монахам, искусным в этом деле. Со временем в Оптиной появилась превосходная переплетная мастерская. Еще при жизни отец Антоний передал в библиотеку около двух тысяч томов, не считая брошюр и духовных журналов, собранных комплектами за все годы их существования, и более шестидесяти любовно переплетенных рукописей. Особой его любовью пользовались акафисты, он собрал их около сорока, большинство в рукописном виде, и каждый прочитывал в свое время.

Книги он читал внимательно, прочитанное помнил почти дословно, всегда мог пересказать близко к тексту. Во всех его книгах сохранились следы внимательного прочтения: карандашные отметки, записи на полях и форзацах, закладки.

Иногда отец Антоний получал от своих духовных детей деньги и писал им, что употребляет их «на покупку книг, которых у меня хотя и весьма много, так, что если и десять лет беспрерывно день и ночь читать, то всех не перечитать, но оными стараюсь пополнить здешнюю нашу монастырскую библиотеку – в душевную пользу для всей братии, и если кто, читая оные, вразумится на доброе и спасет свою душу, то за сие и моей убогой душе будет польза, то есть награда от Господа Бога, – если не обманываюсь я в этом!»