На самом деле у него не было никаких связей с компартией. Скептик по натуре, философ, эстет вряд ли мог представить себя в качестве инструмента для выполнения грубых партийных задач. Всю свою жизнь он был мрачным скептиком, страстно желавшим восстановить потерянную в детстве связь со своей средой. Ему хотелось "раз и навсегда покончить с депрессией", которая постоянно его преследовала. Он горевал о своем бездетном браке, "пустоте своей профессии", жестоких временах и нравах.

Безрадостное существование вызвало у Иоанна Риттмайстера, по его собственным словам, "смятение и упадок духа", которые "способствовали моему решению примкнуть к Шульце-Бойзену, не говоря уже о невыносимом материальном положении, сложившемся из-за гитлеровских войн и режима в целом". Связь с Шульце-Бойзеном, казалось, на время избавило его от депрессии. Влияние Харро усилило отвращение к режиму, но революционная деятельность в его планы не входила. Он писал в своем дневнике: "Очевидно, люди просто не хотят поверить, что я по натуре своей не расположен к решительным действиям".

Риттмайстер считал сопротивление гитлеровской системе не столько практической борьбой за ликвидацию прогнившей диктатуры, сколько проявлением добродетели. Став старшим практикующим врачом-психотерапевтом берлинского "Института психологических исследований и психотерапии", он собрал вокруг себя группу молодых людей, которые считали, что склонить население к коренному изменению политики страны можно скорее посредством постоянных дискуссий и вечерних чтений, чем расклеивая листовки на стенах.

Многие из его последователей были учениками берлинской вечерней школы Хейльшера, которую посещала будущая актриса Ева Книпер, происходившая из обедневшей буржуазной семьи немецких националистов. В феврале 1938 года с ней познакомился Риттмайстер и ввел её в свой мир "социального благоденствия", а в июле 1939 года они поженились. Фрау Риттмайстер не порывала связи с бывшими однокашниками из вечерней школы и многих из них склонила на сторону мужа. Среди них были дочь владельца отеля Урсула Гетце, один из руководителей гитлерюгенда Отто Голлнов, слесарь-сборщик Фриц Ремер и его подруга Лиана Беркович, рабочий-металлург Фриц Тиль и его молодая жена Ханнелоре, урожденная Хоффманн.

Впоследствии к группе Риттмайстера примкнули и другие антифашисты. Одним из них был доктор Вернер Краус, его приятель по студенческим годам, а теперь профессор Марбургского университета. Направленный военным переводчиком в Берлин, он снял комнату у Урсулы Гетце. Другим стал дантист Ганс Гельмут Химпель, которого привели к оппозиции антисемитские законы режима: ему запретили жениться на своей возлюбленной, дочери местного чиновника Розмари Тервиль. Като Бонтье ван Беек из Бремена, торговавшая произведениями искусства, примкнула к Сопротивлению, став свидетелем похищения ребенка у соседей-евреев. С собой она привела приятеля, Хайнца Стрелова, сына гамбургского бизнесмена и бывшего участника коммунистического молодежного движения.

Вот эти люди и образовали тайную армию Харро Шульце-Бойзена. Связи его месяц за месяцем расширялись, и лагерь сторонников Шульце-Бойзена и Харнака пополнялся все новыми антифашистами. Но прежде, чем они смогли полностью сформировать свою организацию, наступил роковой день. Танковые армии Адольфа Гитлера приготовились к вторжению в Советский Союз.

Сигнал к действию подал Эрдберг. Руководство советской разведки в Москве, предвидевшее наступление немцев гораздо раньше, чем Сталин с его дипломатами, передало Эрдбергу по рации свои последние инструкции - не терять ни минуты, всем агентам быть наготове.

14 июня 1941 года Эрдберг провел ряд встреч со своими агентами. Для встречи с Адамом и Гретой Кукхоф он выбрал станцию метро, Харро Шульце-Бойзена и Арвида Харнака ждал на трамвайной остановке, и даже будущий радист Ганс Коппи был удостоен встречи с советским резидентом.

Эрдберг получил пару передатчиков, каждый был спрятан в отдельном чемодане. С обычным билетом он добирался до назначенной станции, где чемоданы переходили из рук в руки. Немцы молча забирали рации и также молча уходили. Передача раций сопровождалась призывами к германским товарищам не оставлять Советский Союз в час смертельной опасности, когда любая военная информация или даже обрывочные сведения о вермахте помогут Красной Армии в борьбе с фашистским агрессором.

Каждому члену берлинской разведсети присвоили псевдоним, под которым его знали в московском Центре. Харнак ("Арвид") получил кодовую книгу, Коппи ("Штральманн") - расписание выхода в эфир. Для вербовки новых агентов нужны были деньги. Эрдберг выложил 11500 марок, которые Харнак распределил следующим образом: 3500 - чете Кукхоф, 2000 - Беренам, 1000 - Розе Шлезингер и 3000 - Лео Скжипешинскому, предпринимателю, которого он надеялся завербовать. Оставшиеся деньги он хранил у себя.