Лишения военной поры «Спасо-Хаус» переживал вместе со всей Москвой. В 1941 году во время одной из бомбежек были выбиты все стекла, попытки сотрудников закрыть окна досками и фанерой не спасали от ледяного ветра и пронизывающего холода. В результате, как писал посол Стэндли, «зимой в некоторых темных и мрачных комнатах (свет в целях маскировки не зажигался) можно было находиться только в теплой шубе». В подвале здания было оборудовано бомбоубежище.

Незадолго до окончания войны в «Спасо-Хаусе» побывал министр иностранных дел В.М. Молотов, чтобы лично выразить соболезнования в связи с кончиной Ф.Д. Рузвельта. Посетил резиденцию и генерал Дуайт Эйзенхауэр, приглашенный лично Сталиным в 1945 г. В день, когда пришла весть о капитуляции Японии, сюда приехал маршал Советского Союза Г.К. Жуков. В послевоенные годы Спасо-Хаус продолжал служить резиденцией посла и его посетило большое число высокопоставленных гостей, включая пятерых президентов, троих вице-президентов и восьмерых госсекретарей.

По словам Джорджа Кеннана, вернувшегося в Москву в 1952 году в качестве посла, он обнаружил, что Спасо-Хаус с трех сторон окружен кирпичной стеной, а с четвертой его ограничивает высокая железная ограда. Все это хорошо освещалось («как в тюрьме»), и вокруг постоянно дежурили охранники. Когда бы Кеннан ни покидал Спасо-Хаус, за ним следовали пять милиционеров в штатском, которые не спускали с него глаз за пределами посольства. Однако и в стенах Спасо-Хауса он не был полностью свободен от их наблюдения. Как он позже вспоминал, по вечерам он «бродил по своей золотой клетке, как привидение», а во время работы в своем рабочем кабинете — «чувствовал незримое присутствие в комнате третьего человека — внимательного сотрудника спецслужб, который «мог слышать даже наше дыхание».

С 1933 года, едва в Москве появилось посольство США, Сталин неустанно требовал от спецслужб как можно сильнее «прижучить» здание американского диппредставительства. Однако успехи были невелики. К концу тридцатых удалось пристроить «жучки» только в нескольких второстепенных кабинетах, личный кабинет посла долго оставался недоступным для прослушки. В начале сороковых в посольстве даже устроили пожар, но подозрительные янки предпочли его потушить своими силами, не подпустив к посольству советских пожарных. Тогда-то советская разведка и решила действовать обходным путем: если нельзя внести «жучок» в кабинет, пусть его собственноручно внесет сам Посол…

В сентябре 1952 года в Спасо-Хаус приехали два американских технических специалиста, чтобы тщательно проверить, нет ли в доме советских подслушивающих устройств. Сначала их приборы не смогли ничего обнаружить, поэтому они попросили посла заняться своими ежедневными делами. По их просьбе в своем кабинете Кеннан сделал вид, что диктует секретарю секретную телеграмму, в это время техники безуспешно проходили по зданию в поисках секретных микрофонов. В конце концов, внимание специалистов привлекло уникальное деревянное панно с изображением американского герба, которое висело на стене рабочего кабинета посла. Вырезанный из ценнейших пород дерева белоголовый орел был подарен юными пионерами 6 февраля 1945 года послу Соединенных Штатов Гарриману во время его визита в легендарный Артек. По окончанию Ялтинской конференции посол вернулся в Москву и повесил «прижученный» герб на стену в своем рабочем кабинет.

Содержавшийся в орле микрофон был сделан так, что не требовал элементов питания. Работал он при помощи установленного в соседнем доме направленного коротковолнового передатчика. Инженерное чудо придумал талантливый изобретатель и по совместительству шпион, Лев Термен. Ранее, еще в тридцатые годы, когда Термен был советским резидентом в США, сконструированная им охранная сигнализация была установлена в Форт-Ноксе, где размещался американский золотой запас. Жизнь Термена достойна внимания Голливуда — он дружил с Лениным, Рокфеллером и Эйнштейном. Был музыкантом, изобретателем и шпионом. Как положено, отсидел свое в ГУЛАГе. Операция по созданию и внедрению «прижученого» американского орла носила кодовое название «Златоуст». Курировали ее лично Иосиф Сталин и Лаврентий Берия. Есть свидетельства, что именно за ее успешное проведение последний вскоре получил звание маршала.

Орел провисел в посольском кабинете ни много, ни мало — почти восемь лет. Пережил четырех послов. Каждый из которых на свой вкус менял обстановку в кабинете, но, как американский патриот, не трогал герб своей страны. По словам сотрудников госбезопасности, этот микрофон, который называли просто «Орлом», приносил информации намного больше, чем все остальные подслушивающие устройства, установленные в посольствах, вместе взятые. До сих пор не ясно, как «жучок» был обнаружен. По одной версии, информацию сдал перебежчик, по другой — микрофон был найден случайно. Ныне и Орел, и микрофон выставлены в музее истории ЦРУ в Лэнгли.

В сентябре 1952 года в Берлине журналисты взяли у Кеннана интервью. Один из них спросил, насколько близко Кеннан общался с советскими гражданами, на что посол резко ответил, что единственная разница между его сегодняшней работой в Москве и пребыванием в качестве интернированного в нацистской Германии состояла в том, что в Москве он мог «свободно выходить и гулять по улицам под присмотром охраны». Через неделю газета «Правда» осудила Кеннана за его высказывания в Берлине, он был объявлен персоной нон грата (лат. persona поп grata — «нежелательная персона») и был отозван на родину.

После смерти Сталина советские руководители больше не избегали приглашений на мероприятия, проводимые в Спасо-Хаусе. Генеральный секретарь КПСС Никита Хрущев был частым гостем в этом доме в период своего руководства страной. Однажды, во время празднования Дня независимости 4 июля 1954 года в Спасо-Хаусе без предварительного уведомления появились Хрущев и все члены Политбюро. Посол Чарльз Болен, который ничего не знал об их планах, уехал в тот день из Москвы. Его дочь Целестина чуть не вызвала дипломатический скандал, когда общительный Хрущев попытался поднять ее на руки. Как позже вспоминал в своих мемуарах сам Болен, ее ледяной взгляд заставил «беднягу» отступить.