Хотя Роберт Сербер действительно имел левые взгляды, он никогда не принимал участия в политической деятельности в такой же мере, как его жена. В 1930-х годах Шарлотта активно участвовала в таких акциях, как сбор средств для испанских республиканцев. Но, разумеется, Оппенгеймер был к этому причастен даже больше Шарлотты. Из архивных записей не ясно, кто и как отклонил предложение военных; возможно, за лояльность Серберов лично поручился Оппи. Однажды начальник отдела безопасности капитан Пир де Сильва пристал к Оппенгеймеру по поводу политического прошлого Сербера, на что Оппенгеймер пренебрежительно ответил, что это не имеет значения. «Оппенгеймер проговорился о том, что знал о прежнем участии Сербера в коммунистической деятельности, и даже сказал, что Сербер сам ему об этом сказал». Оппенгеймер объяснил, что перед переводом Сербера в Лос-Аламос он предложил бывшему ученику прекратить политическую работу любого рода. «Сербер дал слово, и, следовательно, я ему верю». Де Сильва принял это объяснение Оппенгеймера за проявление наивности, если не хуже.

Как и многие жены сотрудников лаборатории, Шарлотта Сербер работала в технической зоне. Несмотря на то что досье контрразведки на Серберов содержало справку о левых взглядах ее семьи, должность заведующей научной библиотекой, по сути, делала ее хранительницей самых важных секретов Лос-Аламоса. Оппенгеймер полностью ей доверял. Одетая в джинсы или слаксы, Шарлотта постоянно сидела в библиотеке, куда все заходили поболтать и обменяться сплетнями.

Как-то раз Оппенгеймер вызвал Шарлотту в свой кабинет. В Санта-Фе поползли слухи о том, что на плоскогорье находится какой-то секретный объект. Он предложил Гровсу запустить в оборот отвлекающий слух. «То есть, — сказал Оппи, — пусть жители Санта-Фе думают, что мы делаем электрическую ракету». После этого он попросил Серберов и еще одну супружескую пару почаще ходить в бары Санта-Фе. «Болтайте. Болтайте побольше, — предложил Оппи. — Делайте вид, что выпили лишнего. <…> Не знаю, как, но убедите местных, что мы строим электрическую ракету». Вскоре Боб и Шарлотта Серберы в компании Джона Мэнли и Присциллы Грин съездили в Санта-Фе и попытались распустить фальшивый слух. Однако на него никто не клюнул — контрразведка не перехватила ни одной беседы об электрической ракете.

Ричард Фейнман, неисправимый любитель розыгрышей, придумал свой способ борьбы с режимом секретности. Когда цензоры высказали недовольство, что его жена Арлин, пациентка туберкулезного санатория в Альбукерке, присылает ему зашифрованные письма, и потребовали выдать им шифр, Фейнман заявил, что шифра у него нет и что он играл с женой в игру — кто лучше расшифрует письмо. Фейнман бесил охрану тем, что по ночам по всей лаборатории вскрывал кодовые замки на шкафах с документами. В другой раз заметил дыру в заборе вокруг Лос-Аламоса, вышел через главный КПП, затем пролез обратно через дыру и снова вышел через главный вход — и так несколько раз. Его чуть не посадили под арест. Выходки Фейнмана стали темой местных баек.

Отношения между военными, с одной стороны, и научными работниками и членами их семей, с другой стороны, всегда были шаткими. Тон задавал генерал Гровс. В кругу своих непосредственных подчиненных он называл гражданских лиц Лос-Аламоса не иначе как «детьми». Одного из командиров он наставлял следующим образом: «Постарайтесь угодить этим капризным людям. Не позволяйте, чтобы жилищные условия, семейные проблемы или что-то еще отвлекали их ум от работы». Большинство гражданских считали Гровса «неприятным человеком»; в свою очередь, он давал понять, что плевать хотел на то, что они о нем думают.

Оппенгеймер ладил с Гровсом, но большинство офицеров армейской контрразведки считал тупицами и хамами. Однажды капитан де Сильва вломился на регулярную пятничную послеобеденную планерку с руководителями групп и с порога заявил: «Я хочу пожаловаться». Де Сильва объяснил, что к нему в кабинет зашел поговорить один ученый и, не спросив у него разрешения, присел на краешек стола. «Мне это не понравилось», — кипятился капитан. На потеху всем собравшимся Оппенгеймер ответил: «В моей лаборатории, капитан, каждый может сидеть на любом столе».

Капитан де Сильва, единственный в Лос-Аламосе выпускник Вест-Пойнта, не понимал юмора. «Он глубоко подозревал всех и каждого», — вспоминал Дэвид Хокинс. То, что Оппенгеймер включил Хокинса, бывшего члена Коммунистической партии, в состав комитета безопасности лаборатории, еще больше разожгло подозрения де Сильвы. Оппенгеймер любил Хокинса и высоко отзывался о его способностях. Он также понимал, что Хокинс не предаст свою страну, — его левые наклонности имели своей целью реформы, а не революцию.

Некоторые ограничения сильно раздражали всех жителей поселка. Когда Эдвард Теллер упомянул жалобы на перлюстрацию, Оппи горько ответил: «А что они хотят? Мне не позволяют общаться с собственным братом». Ему претила слежка. «Он постоянно негодовал, — вспоминал Роберт Уилсон, — что его телефонные разговоры прослушивают». Подчас Уилсону казалось, что Оппи страдает паранойей, и только много позже узнал, что тот находился под почти круглосуточным наблюдением.

Армейская контрразведка еще до открытия лаборатории в марте 1943 года потребовала от Дж. Эдгара Гувера, чтобы ФБР прекратило слежку за Оппенгеймером. 22 марта Гувер удовлетворил заявку, однако проинструктировал своих агентов о продолжении наблюдения за лицами, которые подозревались в связях с Оппенгеймером и Коммунистической партией. В тот же день военные проинформировали ФБР, что полностью берут на себя техническое и физическое наблюдение за Оппенгеймером. Еще до прибытия Оппенгеймера в Лос-Аламос туда под благовидным предлогом был внедрен целый ряд офицеров контрразведки сухопутных войск. Одного из них, Эндрю Уокера, приставили к Оппенгеймеру личным водителем и охранником. Уокер впоследствии подтвердил, что офицеры армейской контрразведки проверяли почту и звонки с домашнего телефона Оппенгеймера. В кабинете Оппи были установлены «жучки».

Между тем Оппенгеймер и сам стал внимательно заботиться о соблюдении секретности. Бывший расхлябанный преподаватель теперь аккуратно прятал секретные пояснительные записки в задний карман, чтобы не потерять. Он пытался успокоить офицеров службы безопасности, тратя на них драгоценное время и выполняя буквально все их требования. Однако высокие нагрузки, ощущение постоянной слежки, страх перед неудачным исходом проекта и многое другое начинало отрицательно сказываться на его душевном состоянии. Летом 1943 года Оппенгеймер признался Роберту Бэчеру, что подумывает об увольнении по собственному желанию. Он ощущал, что расследование прошлых дел преследует его по пятам. Кроме того, он жаловался Бэчеру, что физически измотан работой. Выслушав перечисление несовершенств Оппи, Бэчер попросту сказал: «Никто другой с этим не справится».