В начале 1939 года счастливая домохозяйка Маргарита сообщила своему мужу, что он скоро опять станет отцом. И тут ее настиг удар судьбы, коренным образом изменивший не только ее собственную жизнь, но и жизнь ее еще не родившегося ребенка. 19 мая 1939 года у Роберта был свободный день и он решил скосить траву перед домом. Неожиданно он почувствовал сильную боль в левой руке. Маргарита дала ему аспирин и посоветовала отложить дела в сторону и отдохнуть. Она срочно вызвала врача, но тот опоздал. Роберт Освальд умер от сердечного приступа, оставив жене только небольшую сумму в виде страхового полиса. Новоприобретенное счастье окончилось, и впереди опять отчетливо маячила безрадостная нищета.

Характерно, что в день смерти мужа Маргарита напрочь рассорилась с его родителями. Она хотела без особых церемоний похоронить его в тот же день, что вызвало понятное возмущение родственников покойного. Те говорили, что еще никогда не сталкивались с такой душевной черствостью. Позднее Маргарита утверждала, что руководствовалась интересами своего не родившегося ребенка.

Через два месяца после кончины мужа Маргарита Освальд родила сына, зарегистрированного как Ли Харви Освальд. Имя Ли Харви мальчик получил от отца и своей бабушки по отцовской линии.

Молодая женщина осталась одна с тремя детьми на руках. Никакой системы социальной поддержки многодетных матерей, как и детских садов, в Америке не существовало, какого-либо «хлебного» специального образования у Маргариты Освальд не было. Впрочем, в США того времени женщины профессиональное образование получали редко. Их участью было сидеть дома и воспитывать детей. Но для этого были нужны деньги. А их-то как раз у Маргариты практически не было.

Пришлось продать дом и переехать снова в бедный район. Потом в еще более бедный. Но кого интересовала судьба одинокой вдовы? Тем более что на планете все ярче разгорался пожар мировой войны.

Сначала Маргарита Освальд пыталась сдавать дом, чтобы оставаться с детьми. Затем двух старших мальчиков пришлось сдать в школу-пансионат иезуитов. Но это решение не устраивало ни детей, ни мать, и менее чем через год они вернулись в обычную школу. Маргарита к тому времени купила небольшой дом за 1300 долларов, и семья даже завела собаку. Вдова Освальд решила попробовать себя в бизнесе и открыла в том же доме, где жила, небольшой магазин по продаже мелкой галантереи и продуктов. Однако счастье явно не желало возвращаться к ней: магазин практически не давал никакой прибыли.

Перед Маргаритой опять встал нелегкий выбор: чтобы кормить детей, надо было выходить на работу, а для этого надо было куда-то пристроить сыновей. Соседи того времени вспоминали Маргариту Освальд как человека несколько нелюдимого, однако хорошую мать, заботившуюся о своем потомстве.

В декабре 1941 года, когда США вступили во Вторую мировую войну, Маргарита Освальд отдала своих старших сыновей в детский дом, содержавшийся евангелической церковью. Вспоследствие многие исследователи трактовали этот шаг как отсутствие у матери будущего убийцы президента какой-либо любви к своим детям. Детский дом описывался чуть ли не как сиротский приют. На самом деле Маргарита обязалась ежемесячно переводить на содержание обоих сыновей 20 долларов и предоставлять им одежду и обувь. Условия содержания были хорошие (сами сыновья потом говорили, что им нравилось в доме), а мать навещала их каждый выходной. В целом можно сказать, что дом представлял собой нечто вроде советского детского сада продленного дня. Младшего сына Ли в дом не взяли, так как в январе 1942 года ему еще не было положенных трех лет.

Маргарита немедленно вышла на работу в качестве телефонистки. Ли она отдала на попечение своей сестры Лилиан, у которой было пятеро собственных детей. Лилиан описывала Ли как добродушного спокойного мальчика, однако она не могла уделять ему много внимания: было достаточно собственных забот. Поражало Лилиан и то, что маленький Ли мог ночью незаметно выскользнуть из дома и его находили на кухне у соседей. В общем, она не испытывала особого восторга от племянника и постоянно говорила Маргарите, чтобы она забрала его.

Маргарите пришлось временно оставлять сына под присмотром соседей, причем она оплачивала их услуги. Те потом говорили, что Ли был капризным, чуть ли не злобным ребенком. Однако Маргарита утверждала, что супруги Роуч били мальчика, и, заметив следы такого «воспитания», она немедленно забрала его от них. Пришлось вновь сменить квартиру, переехав поближе к Лилиан, которая снова стала присматривать за маленьким Ли. Однако сестра опять постоянно просила Маргариту забрать ребенка, и в декабре 1942 года Ли Харви Освальда приняли в тот же детский дом, где жили его братья. Мать обязалась вносить за него 10 долларов ежемесячно. Как только у Маргариты появлялось свободное время, она на несколько дней забирала детей к себе.

Летом 1943 года жизнь Маргариты Освальд стала налаживаться. Она поступила на работу в магазин менеджером, и хозяин поначалу был очень доволен новой сотрудницей. Она была опрятной, привлекательной и умела убедить покупателя приобрести товар. Однако у Маргариты были нелады с математикой, и карьеры не получилось. Правда, просвет появился на личном фронте. Маргарита стала встречаться с инженером Эдвином Экдалом, который был старше ее и представлялся солидной партией. Экдал познакомился с детьми, и, похоже, они понравились друг другу.