Сотрудничеству мешало нахождение на территории Китая большого числа белогвардейцев, ранее воевавших против Красной Армии. Особенно много их было в Маньчжурии, находившейся под контролем китайского генерала Чжан Цзолиня. Действовало множество белогвардейских организаций — монархическое «Богоявленское братство», «Комитет защиты прав и интересов эмигрантов», «Мушкетеры», «Черное кольцо», «Голубое кольцо», вооруженные отряды Анненкова, Глебова, Нечаева, Семенова и других, ставившие своей целью вооруженную борьбу с советским государством. Главными целями советской разведки в Китае были белоэмигранты и японские спецслужбы.

Первая легальная резидентура ИНО ВЧК в Китае была создана в Пекине под прикрытием советской дипломатической миссии в начале 1921 года во главе с Аристархом Ригиным, работавшим под псевдонимом Рыльский. Под его руководством начала создаваться агентурная сеть и региональные резидентуры в других городах, которых вскоре насчитывалось около десяти. В 1922 году Ригина в Пекине сменил Яков Христофорович Давтян, первый начальник ИНО ВЧК, который стал главным резидентом в Китае (до конца 1924 года). В 1925 году новым главным резидентом ИНО ОГПУ в Китае был назначен помощник начальника ИНО Сергей Вележев, работавший в Пекине под псевдонимом Ведерников.

Эйтингон в конце 1925 года прибыл в Шанхай. Шанхайскую резидентуру ИНО возглавлял под прикрытием должности вице-консула с декабря 1925 года Яков Минский. Его заместителем и стал Наум Эйтингон (с этого времени до начала 1940-х годов Эйтингон работал за границей и в центральном аппарате ИНО под именем Леонида Александровича Наумова, многие знали его как Леонида, в то время как в различных официальных документах он выступал под своей фамилией). В шанхайской резидентуре в 1926–1927 годах под прикрытием должности коменданта консульства работал Рудольф Иоганнович Абель, впоследствии полковник разведки, скончавшийся в 1946 году (его именем в 1957 году воспользовался арестованный в США разведчик-нелегал Вильям Фишер, ставший знаменитым как «полковник Абель»).

В то время работникам зарубежных резидентур была предоставлена большая свобода в вербовке агентуры, а резиденты имели право без согласования с Москвой утверждать новоприобретенных агентов.

Работа советских разведчиков проходила в сложных условиях обострившейся внутриполитической борьбы в Китае. В марте 1927 года Михаил Бородин, следуя указаниям руководства ВКП(б) и Коминтерна, предпринял попытку сместить главнокомандующего китайской армией Чан Кайши. По его указанию в Шанхае под руководством КПК началось формирование отрядов китайской Красной гвардии с целью организации вооруженного восстания, провозглашения революционного правительства и создания китайской Красной Армии. Чан Кайши начал наступление на Шанхай. 12 апреля 1927 года Шанхай был взят его войсками, начавшееся восстание потоплено в крови, а 28 апреля были арестованы и казнены 25 руководителей компартии Китая. В результате советско-китайские отношения резко ухудшились. В апреле 1927 года по указанию Чан Кайши был проведен обыск в советском консульстве в Пекине, во время которого полиция изъяла большое количество документов, в том числе шифры, списки агентуры и поставок оружия КПК, инструкции китайским коммунистам по оказанию помощи советским представителям в разведработе. Обострилась и обстановка в Маньчжурии в районе Китайско-Восточной железной дороги (КВЖД). а против сотрудников советского консульства в Харбине постоянно устраивались провокации. Фактический правитель северо-восточных провинций Китая генерал Чжан Цзолинь занял прояпонскую позицию, всячески притесняя советских служащих КВЖД.

Эйтингон к 1927 году, после недолгой работы заместителем резидента в Шанхае и резидентом в Пекине, возглавил именно харбинскую резидентуру. Его предшественниками были известные разведчики Федор Яковлевич Карин и Василий Михайлович Зарубин.

Эйтингон — Наумов принял на связь ряд ценных агентов. Одним из них был бывший офицер царского адмиралтейства, служивший на Амурской флотилии, Вячеслав Иванович Пентковский, с 1924 года вместе с женой добровольно работавший на советскую разведку. Выпускник Петроградской практической восточной академии и юридического факультета университета, хорошо изучивший китайский язык, Пентковский получил китайское гражданство и поступил на службу в харбинский суд, где, имея доступ к важной информации, передавал ее советской разведке.

Важным агентом был также «Осипов», завербованный в 1928 году, работавший в японской жандармерии шофером, а затем сотрудником особого (политического) отдела жандармерии, работавшего против советских учреждений. В 1929 году при помощи «Осипова» сотрудникам резидентуры удалось подбросить японцам документы, из которых следовало, что 20 их агентов подали заявление о восстановлении их в советском гражданстве. В результате все они были ликвидированы самими японцами. «Осипов» до 1938 года работал на советскую разведку.

В 1927 году был завербован советской разведкой бывший офицер-каппелевец и полковник китайской армии, сотрудник белоэмигрантских организаций «Братство русской правды», «Дружина русских соколов» «Браун», от которого в резидентуру поступала информация о попытках японцев сформировать при помощи атамана Семенова казачьи части для будущей войны против СССР.

Характер работы харбинской резидентуры в 20-е годы против Японии может быть определен по докладу Карина начальнику ИНО ОГПУ Трилиссеру (1925 год):

«Резидентура ИНО ОГПУ в Северной Маньчжурии с центром в Харбине… ведет регулярную и систематическую работу по перлюстрации дипломатических и других секретных почт целого ряда японских учреждений. Японский Генеральный штаб, военные японские миссии в Китае, японские армии в Квантунской области (Порт-Артур), Корее (Сеул), Китае (Тяньцзынь) и другие вошли в сферу действия нашей разведки».

Во времена работы Эйтингона эти задачи вряд ли успели стать неактуальными.

В 1928 году советские разведчики в Харбине под руководством Эйтингона сумели получить информацию о переговорах союзника Чжан Цзолиня, лидера мукденской группы «провинциальных милитаристов» Чжан Сюэляна с японцами о создании в Северо-Восточном Китае «Независимой Маньчжурской республики» на территории Маньчжурии и Внутренней Монголии, под протекторатом Японии, с присоединением Внешней Монголии.