Между поэтом и его отчимом постепенно назревал очередной разрыв, который резко обострила одна коллизия, связанная с первым периодом службы Эдгара По в армии США. Нанятый на замену пасынку Джона Аллана, сержант Сэмюэль Грейвз так и не получил часть обещанных ему денег. Он начал письменно требовать их от Эдгара По, но тот ответил, что обещанную сумму ему не передал отчим, поскольку «редко бывает трезвым». Сержант Грейвз сообщил об этом ответе Джону Аллану, и вирджинский торговец пришел в ярость. Уж в чем в чем, а вот в пьянстве он, в отличие от приемного сына, никогда замечен не был. По здравом размышлении богатый ричмондец, как позднее утверждала его вторая жена, все же «послал ему (сержанту) деньги и лишил По своей благосклонности».

Между отчимом и пасынком состоялся обмен яростными посланиями, в одном из которых По писал, упоминая о покойной приемной матери: «Если бы она не умерла, когда я был далеко, то ничего бы для меня не пожалела. От Вас я любви никогда не видел, но она, я верю, любила меня, как своего собственного ребенка. Вы послали меня в Вест-Пойнт как нищего. Теперь те же трудности, что и прежде в Шарлоттсвилле, угрожают мне, и я должен уйти в отставку». В результате оскорбленный Джон Аллан решил прервать всякие отношения с приемным сыном и наотрез отказался помочь ему уволиться из Вест-Пойнта без скандала.

Тогда По взял процесс увольнения в собственные руки — он просто-напросто перестал посещать занятия и выполнять служебные распоряжения. Начальство в Вест-Пойнте терпело это разгильдяйство ровно две недели, а затем объявило о созыве трибунала, перед которым и предстал курсант Эдгар Аллан По.

Обвинения выдвигались по двум пунктам: «1-е — грубое нарушение служебного долга; 2-е — неповиновение приказам». По обоим По признали виновным и огласили следующий приговор: «По зрелом рассмотрении представленных доказательств… уволить кадета Э.А. По от службы Соединенным Штатам».

19 февраля 1831 года молодой поэт покинул Вест-Пойнт, сохранив в память о службе только кадетскую шинель. (Ее он проносил до конца жизни.) Впереди его ждало морское путешествие в Нью-Йорк, где он надеялся добиться литературной славы и успеха.

Эдгар По приехал в Нью-Йорк 20 февраля 1831 года, но почти сразу же тяжело заболел — судя по всему, воспалением легких, да еще осложненным какой-то болезнью уха, из которого непрерывно текла кровь. Состояние поэта было настолько тяжелым, что он решился на отчаянную просьбу к Джону Аллану. 21 февраля По направил отчиму письмо, в котором живописал свои несчастья: «Я уехал два дня назад и оказался в Нью-Йорке без плаща или любой другой теплой одежды, после чего жестоко простудился и теперь прикован к кровати — у меня нет денег — нет друзей — я написал к моему брату, но он не может мне помочь — я не в состоянии даже подняться с постели — помимо самой жестокой простуды из моего уха постоянно течет кровь, меня мучает головная боль. Я не буду писать Вам более, но, пожалуйста, пришлите мне немного денег и забудьте все, что я сказал о Вас». Аллан не ответил, но поэт смог оправиться и без поддержки, постепенно пойдя на поправку. В Нью-Йорке его главным занятием стали хлопоты по подготовке к изданию сборника стихов, на которые собрали деньги курсанты Вест-Пойнта. Сборник, который По планировал назвать просто — «Стихотворения», обязалось опубликовать издательство Эллана Блисса.

Книга вышла в свет в марте 1831 года, с посвящением «Корпусу кадетов США». Поскольку сослуживцы По заранее оплатили издание, то оно не оказалось убыточным, и даже его автор получил небольшое денежное вознаграждение. Однако этих денег не могло хватить надолго, и уже в конце месяца По был вынужден перебраться в Балтимор, к своим бедным родственникам.

А тем временем положение в большом семействе Марии Клемм резко ухудшилось — старший брат поэта Уильям Генри уже не просто запойно пил. У него все стремительнее прогрессировал туберкулез — фамильный бич семьи По. Не прекращая периодически напиваться, Уильям Генри По угасал на глазах. Вновь поселившись вместе с братом в общей комнате в мансарде, Эдгар пытался ухаживать за ним, надеясь отвратить неизбежное. Увы, заботы младшего брата ничем не могли помочь Уильяму Генри Леонарду По — 17 августа 1831 года он скончался.

Не радовал и родной сын Марии Клем — Генри, который также пьянствовал целыми днями и не мог устроиться хоть на какую-то постоянную работу. Бабушка поэта продолжала тяжело болеть. Единственная, кто обрадовал Эдгара и обрадовался ему, была его кузина Вирджиния, которой исполнилось девять лет. Она прочно привязалась к двоюродном брату, который ласково звал ее Сисси — «сестренка».

Небольшие деньги, полученные за сборник «Стихотворения», позволили По продержаться самому и поддержать своих родственников. Но вскоре Марии Клемм вновь пришлось взяться за свою плетеную корзинку и двинуться по домам сердобольных соседей в надежде на милостыню.

Эдгар По сначала попытался устроиться работать школьным учителем, затем, явно от отчаяния, — даже завербоваться в польскую армию. 7 ноября 1831 года он был арестован (как поручитель за невыплаченный долг скончавшегося брата) и чуть не угодил в местную тюрьму. В отчаянии и сам По, и Мария Клемм воззвали к Джону Аллану, и приемный отец в очередной раз все-таки выручил нелюбимого пасынка. Деньги в Балтимор Аллан переслал и даже похлопотал об Эдгаре, используя в качестве посредника своего торгового агента. Благодаря этим усилиям и отправленным вовремя долларам в долговой тюрьме Эдгар По не оказался.

Поэт понял, что спасти от окончательной нищеты его сможет только собственный литературный дар. Но поэзия мало кого в США интересовала, поэтому он взялся за составление материалов для местных газет. И одновременно По, сидя за старым письменном столом в неприютной мансарде, принялся усердно сочинять прозу.

Многое из того, что после составило сборник «Рассказы Фолио-клуба», было создано именно тогда. По игре со стилем в самых разных текстах, опубликованных По в первой половине тридцатых годов, заметно, что он не только много писал, но и столь же много и активно читал. Он подражал в рассказах манере популярных журналистов и известных писателей, но при этом яркая индивидуальность самого поэта преобразовывала любой литературный шлак в настоящее золото.