В Балтиморе, на тот момент — третьем по величине городе США, остатки семейства «генерала По» ютились в квартирке на Уилкс-стрит. Реальным главой разношерстной семейной общины, куда входила престарелая бабушка Эдгара с отцовской стороны, его родной брат Уильям Генри Леонард, а также его кузен и кузина — Генри и Вирджиния, — была Мария Клемм, младшая сестра Дэвида По. (Эдгар любил ласково называть ее Мадди.)

Тетя поэта рано овдовела, оставшись с двумя детьми на руках, и почти не имела средств к существованию. Всей семье порой приходилось месяцами существовать на пенсию, которую выплачивали бабушке Элизабет По как вдове «героя революции».

Марии Клемм нередко приходилось играть на сердобольности и добросердечии соседей. В траурном наряде вдовы, с большой плетеной корзинкой в руках она обходила соседние улицы Балтимора, прося помочь любыми продуктами. И соседи обычно не отказывали.

Не добавляло процветания балтиморской ветке семейства По и запойное пьянство Уильяма Генри, старшего брата Эдгара. Семейный недуг подкосил его очень рано, он остался без работы, а вскоре и заболел туберкулезом (еще одной фамильной хворью потомков Дэвида По-младшего).

Поэтому появление в этом семейном аду Эдгара, которого все восприняли как богатого родственника с Юга, действительно казалось «лучом света в темном царстве». Особенно привязалась к двоюродному старшему брату семилетняя Вирджиния Клемм, ходившая за поэтом буквально по пятам.

К сожалению, вскоре выяснилось, что больших денег у родственника из Ричмонда не водится, хотя первое время Эдгар и смог поддержать балтиморскую «семейную общину». Обитая в мансарде дома на Уилкс-стрит, По продолжил активно писать стихи и, видимо, прозу. Некоторые из его сочинений удалось опубликовать в периодике, а в декабре 1829 года, пусть и тиражом лишь 250 экземпляров, в свет вышел уже упомянутый поэтический сборник. И пусть это была полунищенская, тяжелая, но все-таки настоящая жизнь писателя, вкус к которой почувствовал Эдгар По.

Однако резко разорвать со старыми привычками и кругом общения, с вырастившей его семьей Алланов, с родным Ричмондом он еще не мог. Тем более что вроде бы представился новый шанс получить солидное образование — в марте 1830 года было принято решение зачислить Эдгара Аллана По в курсанты военной академии Вест-Пойнт.

И вот 20 июня 1830 года поэт наконец-то прибыл в оплот американского высшего военного образования, находящийся на берегу Гудзона.

К несчастью, служба курсантом в Вест-Пойнте оказалась суровее, нежели служба писарем в захолустного гарнизоне. В академии жизнь подчинялась жесткому распорядку, а слушатели вели напряженные занятия. Герви Аллен отмечает: «Рассчитанный на четыре года курс предусматривал изучение естествознания, философии, химии, высшей математики, инженерного дела, баллистики, черчения, географии, истории, этики, национального законодательства и французского языка. Столь насыщенная программа почти полностью лишала досуга питомцев Вест-Пойнта. День начинался ранним подъемом; после завтрака (наверняка не слишком обильного) кадеты расходились по классам, где проводили несколько часов; затем обедали и в четыре пополудни возвращались в казармы, чтобы переодеться для строевых занятий, которым почти целиком отводился остаток дневного времени. После ужина снова шли в классы. В девять часов вечера звучал сигнал „в казармы“, а вскоре вслед за ним — „тушить огни“. Увольнения были редкостью, праздники — еще большей. Времени предаваться мечтам оставалось немного».

При этом интеллектуально занятия в академии не вызывали у По ровным счетом никаких проблем. Его сослуживец Аллан Магрудер вспоминал о своем знакомце из Ричмонда: «Он отлично знал французский и проявлял настолько замечательные способности к математике, что у него не было никаких трудностей при ответах по этим предметам в своем классе и при получении по ним самых высоких оценок». И действительно, в результате семестровых экзаменов По стал на курсе семнадцатым — по математике и третьим — по французскому языку. Зато жесточайшая дисциплина стала откровенно раздражать молодого поэта. Тем более что пару раз у него случались алкогольные срывы, вызванные, видимо, стрессом и обострившимся нервным расстройством. Уверяли даже, что он засыпал пьяным на посту в караулке.

Однако запои молодого поэта рано или поздно бы завершились — пьянство у По всегда сменялось длительными периодами воздержания от алкоголя и повышенной работоспособности. Значительно хуже было другое — почти полное отсутствие времени и сил для свободного творчества. Здоровье Эдгара По к 1830 году заметно пошатнулось, он выглядел старше своих лет. Его сослуживцы-курсанты даже шутили, что поэт записал в академию сына, тот умер, и отцу пришлось осваивать армейские премудрости за него. Томас Гибсон, также один из коллег Эдгара По по Вест-Пойнту, так вспоминал о внешности писателя в те годы: «В то время По, хотя было ему всего двадцать лет, выглядел гораздо старше своего возраста. Лицо его не покидало усталое, скучающее и недовольное выражение, надолго запоминавшееся тем, кто его близко знал. Всякая шутка на его счет легко приводила По в раздражение…»

Вест-Пойнт. Современный вид

Измученный Эдгар Аллан По все же пытался сочинять стихи в свободное время, хотя чаще всего из-под пера ричмондца выходили не лирические и элегические строки, а сатиры на начальство или эпиграммы на друзей. Юмористические стишки добавляли По популярности у сослуживцев, но ничуть не приближали его к главной цели в жизни — участи свободного литератора.

Поддержку он нашел только у начальника академии полковника Сильвануса Тайера, с интересом ознакомившегося с предыдущими книгами поэта. Полковник Тайер решил помочь издать новое собрание стихотворений Эдгара По, для чего среди курсантов Вест-Пойнта была организована специальная денежная подписка. Сто тридцать один из двухсот тридцати двух сослуживцев поэта охотно подписались на это издание, заранее заплатив по семьдесят пять центов за экземпляр.

А тем временем позиции Эдгара По в Ричмонде сильно ухудшились — проведя полтора года на положении вдовца, Джон Аллан решил жениться второй раз. Он сочетался вторым браком с дамой с Севера — тридцатилетней жительницей Элизабеттауна (штат Нью-Джерси) Луизой Габриэллой Паттерсон. Новоявленная мачеха и слышать не желала о каких-либо правах так и не признанного пасынка, заочно отнесясь к Эдгару с откровенной неприязнью.