Первую послевоенную проверку Оппенгеймер выдержал. Однако у него сохранялись все основания полагать, что о нем не забыли. Гувер продолжал вести подкоп, хотя и объявил Лилиенталю о прекращении дела. В апреле 1947 года, всего через месяц после того, как члены КАЭ решили обновить секретный доступ Оппи, директор ФБР направил новую справку «с конкретными доказательствами фактов существенных пожертвований средств братьями Оппенгеймерами Коммунистической партии Сан-Франциско вплоть до 1942 года». Новая информация была добыта ФБР путем кражи со взломом финансовых документов из офиса КП в Сан-Франциско.

Чтобы не дать делу затухнуть, Гувер приказал агентам собирать любой компромат, какой только получится найти. Например, осенью 1947 года отдел ФБР в Сан-Франциско направил Гуверу и заместителю директора Бюро Д. М. Лэдду конфиденциальную записку с непристойными подробностями сексуальных увлечений Оппенгеймера и некоторых его близких друзей. Гуверу доложили, что некое неназванное «очень надежное лицо», работающее в Калифорнийском университете, добровольно вызвалось стать регулярным «секретным осведомителем по месту работы». Этот имярек якобы был знаком с несколькими друзьями Оппенгеймера в Беркли с 1927 года. Осведомитель ФБР описывал одну из замужних знакомых Оппи как «сексуально озабоченную особу» с замашками человека богемы. Источник утверждал, что «в кампусе все знают об этой супружеской паре как об участвующей в обмене супругами с другим работником факультета и его женой…». Очевидно, решив добавить своей записке еще больше фривольности, доносчик сообщил, что эта женщина, помимо множества внебрачных связей, в 1935 году на факультетской вечеринке напилась вдрызг и у всех на глазах ушла со студентом-математиком Харви Холлом. В качестве постскриптума информатор сообщал, что на тот момент Холл проживал на одной квартире с Оппенгеймером. Источник также утверждал, что, «как всем известно», до вступления в брак в 1940 году Оппенгеймер «проявлял гомосексуальные наклонности» и поддерживал половые отношения с Холлом.

В действительности Оппенгеймер и Холл никогда не проживали вместе, как и нет никаких свидетельств, что Оппенгеймер когда-либо прерывал свою активную гетеросексуальную жизнь и вступал в половые отношения с мужчиной. Источник ФБР вполне правильно сам называл сведения об этих сексуальных похождениях «слухами». Однако это не помешало Гуверу включить «изюминку» о предполагаемой любовной связи с Холлом в некоторые из многих характеристик Оппенгеймера, приобщенных к делу. Эти характеристики в итоге дошли до Стросса и других вашингтонских воротил. Информация позабавила многих чиновников и в то же время многих убедила, что сведения, которые им присылают на Оппенгеймера, нельзя принимать всерьез. Лилиенталь, например, узнал, что одним из анонимных источников являлся двенадцатилетний мальчик. Он сделал вывод, что по большей части компромат представлял собой не что иное, как злобные сплетни людей, большинство из которых не знали Оппенгеймера лично. Эта оценка правильно отражала характер почти всей негативной информации, включенной в фэбээровское досье Оппенгеймера, однако она не учитывала пагубный эффект, который непроверенная информация в своей совокупности могла оказать на читателей, не желающих Оппенгеймеру добра.

Оппенгеймеры прибыли в Принстон в середине июля 1947 года, лето выдалось необычно жарким и влажным. Должность директора института, незыблемо закрепленная последние пятнадцать лет за Альбертом Эйнштейном, служила для Оппенгеймера престижной платформой и давала легкий доступ к растущему числу вашингтонских комитетов, связанных с ядерной энергией. Институт платил щедрую зарплату — 20 000 долларов в год и безвозмездно предоставил новому директору особняк Олден-Мэнор в комплекте с поваром и завхозом, следившим за домом и обширным садом. Институт также позволял Оппи свободно разъезжать, куда и когда он пожелает. Официально Оппенгеймер приступил к исполнению обязанностей только в октябре, а первое заседание в качестве директора провел и того позже — в декабре. Ему, Китти и детям — шестилетнему Питеру и трехлетней Тони — выпали три месяца отдыха. Роберту было всего сорок три года.

Китти моментально влюбилась в Олден-Мэнор, просторный трехэтажный белый особняк в колониальном стиле, который окружали 265 акров пышных зеленых насаждений и лужаек. За домом располагались большой сарай и загон для животных. Роберт и Китти завели двух лошадей, назвав их Топпер и Степ-Ап.

Часть поместья была основана в 1696 году, когда Олдены, одна из первых принстонских семей переселенцев, начала возделывать здесь землю. Западный флигель был пристроен в 1720 году. Во время сражения при Принстоне в начале 1777 года дом служил генералу Вашингтону полевым госпиталем. Поколения Олденов достраивали новые части особняка, и к концу XIX века он насчитывал восемнадцать комнат. Семья владельцев жила в особняке до 1930-х годов, когда дом был выкуплен институтом.

Покрашенный белой краской и внутри, и снаружи, особняк создавал атмосферу легкости и простора. Главная прихожая проходила через всю постройку насквозь от парадного входа до заднего арочного портала, ведущего на крытую шиферной плиткой террасу. Парадная столовая соединялась с L-образной сельской кухней. Свет поступал в гостиную через восемь окон. На другой стороне главного коридора находилась гостиная поменьше, так называемая музыкальная комната. За ней — библиотека с массивным кирпичным камином. Оппенгеймеры обнаружили, что почти все стены в доме были покрыты книжными полками. Роберт почти все их сломал, оставив только достающий до самого потолка стеллаж в библиотеке. Половицы из легкого дуба повсеместно издавали тихий скрип. Второй этаж был полон странных закоулков и потайных кладовок, вниз на кухню вела черная лестница. Панель с пронумерованными звонками позволяла вызывать повара практически из любого помещения.

Сразу же после заселения Роберт распорядился, чтобы позади дома, рядом с кухней, построили большую оранжерею. Это был его подарок на день рождения Китти, которая не замедлила наполнить оранжерею множеством орхидей. Дом окружали обширные сады и ухоженный цветник, огороженный четырьмя каменными стенами — остатками фундамента старого сарая. Китти, изучавшая ботанику, любила возиться с растениями и с годами превратилась, по выражению одной подруги, в «мастера древнего волшебства под названием садоводство».

«Когда мы заселились, — рассказал Оппенгеймер репортеру, — я думал, что ни за что не привыкну жить в таком большом доме, но теперь, окружив себя приятным беспорядком, я его очень полюбил». Роберт повесил в гостиной над белым камином один из шедевров отцовской коллекции, «Огороженное поле с восходящим солнцем» Винсента Ван Гога (Сен-Реми, 1889). В столовой висел Дерен, в музыкальной комнате — Вюйар. Хотя дом был полностью обставлен мебелью, он никогда не казался захламленным и неряшливым. Китти строго следила за порядком. Аскетичный кабинет Оппи с белыми стенами без картин напомнил одному из друзей дом Оппенгеймеров в Лос-Аламосе.