Ливермору было передано право опеки над обоими мальчиками.

В 1935 году Ливермор переехал в гостиницу "Шерри Недерлэнд" на Пятой авеню, напротив Сентрал парк. "Шерри Недерлэнд" была первоклассной гостиницей для некоторых наиболее видных людей мира Ливермор занимал там весь верхний этаж. Апартаменты были просторными, они были обставлены любимыми вещами Ливермора и его жены. Там была кухня, гостиная, столовая, кабинет, и две спальни, включая одну спальню для Пола, когда он был дома, что случалось нечасто. Каждый день приходила горничная, чтобы им готовить - и, конечно же, в их распоряжении всегда было обслуживание в номерах, чтобы обеспечить их всем необходимым.

Когда Пол не учился в школе-интернате и не уезжал в летний лагерь, он жил со своим отцом и Гарриет. Пол ненавидел такую жизнь и называл новую жену своего отца "Ведьмой". Он считал ее соседство мрачным и унылым. Он чувствовал ее ненависть к себе и к своему брату. Она хотела безраздельно владеть вниманием его отца.

Однажды днем он играл в футбол на поле "Хотчкисс", своей школы-интерната в Лейквилле, Коннектикут, когда к нему подошел один из его друзей. Он сказал: "Пол, это не твоя мать приехала?" Мальчик указал на черный "Роллс-Ройс", машину его отца. Дороти часто пользовалась "Роллс-Ройсом" Ливермора и его шофером для того, чтобы съездить навестить Пола

Пол подбежал к машине, но из нее вышла Гарриет, его мачеха, решившая сделать ему сюрприз. Она так сильно напугала его, что он с криком убежал через футбольное поле в общежитие.

Позднее ему позвонил отец и извинился за Гарриет. Она очень ревновала отца и настаивала на том, чтобы летом Пол уезжал в лагерь; так чтобы его не было в их квартире на время летних каникул. Пол всегда привозил домой на каникулы школьный сленг, чтобы изолировать себя от нее. Ему также нужна была компания на длительные промежутки времени, в противном случае он находился бы в квартире один.

31 июля 1936 года Дороти Ливермор-Лонгкоуп предъявила Ливермору иск в суде Нью-Йорка. Она хотела, чтобы ему отправили судебную повестку, с тем, чтобы она могла получить деньги на оплату медицинских расходов Джесси, возникших вследствие пулевого ранения. Судья отказался выписать повестку и посоветовал ей искать другие средства правовой защиты. Он изъял дело из судопроизводства. Ливермора проинформировали о ее поступке и ему оставалось только качать от удивления головой.

Когда Джесси поправился, полностью восстановился, Ливермор отправил его в путешествие по Европе, куда он так хотел поехать.

Сам Ливермор остался дома.

Следующей схваткой Ливермора стала война с Налоговым Управлением, после того, как его счет на уплату налогов достиг 800 000 долларов. Он вел переговоры и погасил счет от Налогового Управления в том же году.

К лету он был готов поехать на рыбалку. Он зафрахтовал "Рейнджера" - лодку для рыбной ловли в глубоких водах, которая вышла из Монтаук Пойнт. Рано утром, слегка отойдя от Монтаука в сторону пролива Лонг Айлэнд, он поймал на крючок крупную рыбу-меч. Привязанный к специальному креслу, он больше часа боролся с рыбой с помощью одной лишь 36-фунтовой лески. Рыба долго и упорно пыталась сорваться с крючка, прыгая, ныряя, но с таким опытным капитаном как Джон Суитинг у штурвала, это была равная борьба между рыбой и человеком.

В конце концов рыбу подняли на борт лодки. Ее вытянули из воды при помощи талей и взвесили в доке. Ее вес составил 486 фунтов, и она остается рекордным уловом как вторая по величине рыба-меч, когда-либо пойманная в Монтаук Пойнт на удочку с катушкой.

Два года спустя, 14 ноября 1937 года, в возрасте 18 лет, Джесси женился на Эвелин Салливан, дочери Хэна Блэтцера, который долгие годы содействовал распространению боев за вознаграждение и управлял баром в Балтиморе. Эвелин сказала, что ей 20 лет; в прессе сообщалось, что за четыре года до свадьбы она уже была замужем. Дороти присутствовала на свадьбе, чтобы дать сыну свое благословение. На самом деле она помогала в получении разрешения на брак и была свидетельницей на свадебной церемонии. Джесси был особенно рад тому, что избавился от гнетущего присутствия суровой и мрачной Гарриет.

Ливермор не пошел на свадьбу. В качестве свадебного подарка он купил своему сыну лицензию на продажу "Пепси-Колы" в Коннектикуте.

В 1938 и 1939 годах Ливермор все глубже и глубже погружался в свою депрессию. Он по-прежнему играл на рынке, но не так, как раньше, когда игра поглощала всю его энергию и страсть, когда ему хотелось начать работу, победить в игре, применить всю свою энергию на фондовом рынке, рынках зерна и рынке в целом.

Славные времена 1920-х и сама радость жизни испарились. Он разрушил все это своими любовными связями, и продолжал в том же духе. Безусловно, Дороти пила, но ситуация обострилась после того, как выявились его любовные связи, после того как он унизил и бросил ее.

Дороти была зеркальным отражением его личности. Он был сдержанным и интеллектуальным; она была общительной и инстинктивной. И она была красива. Чем больше времени проходило, тем больше он по ней скучал. Веселье, радость, смех ушли из его жизни.

У него в первый раз в жизни появились повторяющиеся ночные кошмары.

В конце 1939 года сын Ливермора, Джесси, предложил ему написать книгу о своем опыте и технике заключения сделок на фондовом и товарном рынках. Это вернуло в Ливермора искру жизни: миссия, цель и намерение. Он начал все снова, думал, что, возможно, это вновь поднимет его дух. Книга была написана и опубликована издательством "Дуэлл, Слоан энд Пирс" в марте 1940 года. Она называлась "Как заключать сделки с акциями".