Однако уйти из Вашингтона было не так-то легко. Даже после увольнения из консультативного комитета председатель КАЭ Гордон Дин уговорил Оппи сохранить позицию консультанта на контракте. Этот шаг автоматически продлял доступ к секретной информации категории Q еще на один год. И это было не все. В апреле Роберт принял предложение госсекретаря Дина Ачесона стать членом специальной группы консультантов Госдепартамента по разоружению. Помимо него в группу входили Ванневар Буш, ректор Дартмутского колледжа Джон Слоун Дики, заместитель директора ЦРУ Аллен Даллес и президент Фонда Карнеги для содействия всеобщему миру Джозеф Джонсон. Как и следовало ожидать, группа выбрала Оппенгеймера председателем.

На роль секретаря-протоколиста группы Ачесон привлек Макджорджа Банди, тридцатитрехлетнего профессора государственного управления из Гарварда. Мак Банди был сыном правой руки Генри Стимсона Харви Банди и был рад познакомиться с Оппенгеймером. Это был интеллигентный, воспитанный и остроумный молодой человек. В качестве младшего научного сотрудника Гарвардского университета он принял участие в написании вышедших в 1948 году мемуаров Стимсона «На действительной службе во время мира и войны». В роли «литературного негра» Банди написал вышедшую в 1947 году в популярном журнале «Харпер» статью Стимсона с оправданием атомной бомбардировки Хиросимы и Нагасаки под названием «Решение о применении атомной бомбы». Поэтому Банди был хорошо знаком с окружавшими ядерное оружие коллизиями. Бостонский эрудит с первой же встречи пришелся Оппенгеймеру по душе. После знакомства Банди написал новому другу невероятно признательное письмо: «Не знаю, как и отблагодарить вас за терпение, с которым вы меня просвещали на прошлой неделе. Смею лишь надеяться, что я чем-то смогу быть полезен, чтобы воздать сторицей за ваши усилия». Очень скоро новые знакомые начали обмениваться рукописными записками, называя друг друга «дорогой Роберт» и «дорогой Мак», в которых обсуждали все на свете — от достоинств факультета физики в Гарварде до здоровья жен.

Банди вскоре заметил, что его нового друга по пятам преследуют скандалы. Во время одного из первых заседаний группы Оппенгеймер и другие участники согласились, что главным вопросом является «проблема выживания», ставящая США и Россию в позицию «противостояния двух скорпионов, которое могло привести, а могло и не привести к горячей войне без предварительных укусов…» Оппенгеймеру было известно, что Теллер и его коллеги осенью собирались испытать конструкцию водородной бомбы. Поэтому, когда Ванневар Буш, пока этот рубеж не был пройден, предложил, чтобы Вашингтон и Москва ввели полный запрет на испытания термоядерных устройств, Оппенгеймер заинтересовался. Такой договор не требовал проведения инспекций — любое нарушение запрета сразу становилось очевидным. А без испытаний водородную бомбу нельзя было считать надежным оружием. Гонку термоядерных вооружений можно было бы остановить еще до ее начала.

Группа Оппенгеймера продолжила обсуждение этой темы в июне на встрече, организованной Банди в его кембриджском доме, просторном особняке XIX века, от которого до Гарвардской площади можно было доехать на велосипеде. К группе в качестве неофициального гостя присоединился Джеймс Конант, который к тому времени разочаровался в ядерном оружии. Согласно записям Банди, Конант жаловался, что «обычный американец» считал бомбу оружием, которого боятся Советы, «в то время как важнее был тот факт, что сейчас и в будущем такой же удар могли нанести по США другие». Конант утверждал, что и без термоядерного оружия любой город США, кроме самых крупных, мог легко быть стерт с лица земли одной-единственной атомной бомбой. Ему никто не возразил.

Широкая публика плохо разбиралась в вопросе, но еще хуже была «позиция, занятая верхушкой американского военного истеблишмента». Генералы почти полностью полагались на ядерное оружие как «главную надежду в случае тотальной войны». Если бы страна расширила свои обычные силы, «у Соединенных Штатов появилась бы возможность избавиться от нынешней зависимости от атомных бомб». Но для того, чтобы это случилось, как считал Конант, генералов «следовало убедить, что атомное оружие в долгосрочной перспективе представляет собой угрозу для США».

Без какой-либо подсказки со стороны Оппенгеймера Конант предложил концепцию, которая через несколько десятилетий получит название политики неприменения ядерного оружия первыми. США, говорил он, должны «официально объявить, что мы не станем применять ядерное оружие первыми в новой войне». Он также поддержал предложение Ванневара о вводе молчаливого моратория на испытания термоядерной бомбы. Оппенгеймер согласился с обеими инициативами. Обсуждение группой идеи моратория особенно показательно. Члены группы сказали Ачесону:

Оппенгеймер с коллегами знал, что первое испытание термоядерного боеприпаса под кодовым названием «Майк» было намечено на осень и что попытка его остановить вызовет яростное сопротивление ВВС. Группа была убеждена в правильности своего подхода, однако не имела возможности представить его на суд общественности. Все вопросы, связанные с ядерным оружием, окутывала плотная завеса секретности, никто не мог открыто говорить о своих сомнениях, не рискуя потерять доступ к секретной информации. Поэтому группа еще раз попыталась убедить вашингтонский внешнеполитический истеблишмент в том, что существующая политика в области ядерного оружия ведет в тупик. 9 октября 1952 года совет президентский национальной безопасности наотрез отверг предложение группы Оппенгеймера по введению моратория на испытание водородной бомбы. Министр обороны Роберт Ловетт, разозлившись, сказал, что «любую подобную идею следует выбросить из головы, а сохранившиеся документы по данному вопросу уничтожить». Ловетт, влиятельный член внешнеполитического истеблишмента, опасался, что в случае утечки сведений о принципе моратория у сенатора Джозефа Маккарти будут развязаны руки для расследования деятельности Госдепартамента и группы экспертов.