После окончания РАШ Растворова зачислили на службу во внешнюю разведку НКВД и в начале 1946 года командировали в Токио под дипломатическим прикрытием. Однако через полгода его неожиданно вызвали в Москву в связи с поступившей анонимкой на его отца, в которой тот обвинялся как «замаскированный троцкист». На время проверки этого «сигнала» (который не подтвердился) Растворова временно отстранили от работы.

Как раз в это время от советской разведки требовали информацию по Японии. Кремль интересовала не столько Япония, сколько деятельность в этой стране ее реальных хозяев — американцев.

После поражения в августе 1945 года на советскую территорию из Маньчжурии, Северной Кореи, Южного Сахалина и Курильских островов было этапировано около 600 тысяч военнослужащих Квантунской армии и несколько тысяч японцев, работавших в гражданских учреждениях на упомянутых территориях. Они были размещены в лагерях МВД для военнопленных в основном в Сибири и на Дальнем Востоке.

В 1946 году Растворов был включен в состав секретной комиссии, в задачу которой входила вербовка агентуры в лагерях военнопленных для создания в Японии «пятой колонны». Он был командирован инспектировать лагеря для интернированных японцев на территории Хабаровского края. Видимо, работал успешно. Да и как не работать? Японский язык знал прилично. Выгодно отличался интеллигентностью и знанием японских обычаев от грубого лагерного начальства. К нему измученные лагерной жизнью японские пленники тянулись — только выбирай наиболее подходящих. А контингент интернированных, по оценкам вербовщиков, был отменный. Одних генералов в плену оказалось 180 человек! Кроме того, в Маньчжурии было пленено немало родственников государственных деятелей и влиятельных в Японии фамилий, которые были привлекательны как возможные источники информации на перспективу.

К 1950 году основная масса интернированных японцев была репатриирована на родину, и пришла пора Растворову следовать за ними. А ехать в Японию не хотелось. Назначение на работу в эту измученную длительной войной, нищую страну считалось в то время в советской разведке наказанием. К тому же обстановка в Японии для СССР в корне изменилась в худшую сторону. Эйфория от легкой для Советского Союза победы в Маньчжурии прошла. Осудили только главных японских военных преступников. Японией фактически распоряжался американский генерал Маккартур. Каждый шаг советских представителей контролировался американской военной контрразведкой.

У Растворова была еще одна проблема. Семейная. Единственную радость ему приносила только дочка Танечка, которая появилась на свет в 1945 году, и ему тяжело было с ней расставаться.

Отношения же с женой давно уже дошли до разрыва. Растворов вынужден был терпеть иронические намеки приятелей, притворяться ничего не понимающим. А намеки, видимо, имели под собой почву. Его жена, Галина Андреевна Годова, эффектная и жизнерадостная женщина, была ведущей танцовщицей, или, как она любила подчеркивать, прима-балериной ансамбля песни и пляски НКВД (МВД), творческой деятельностью которого руководил лично всесильный Лаврентий Берия. Растворов прекрасно понимал, что выделенная для его семьи из трех человек огромная квартира в элитном генеральском доме рядом с гостиницей «Пекин» — совсем не оценка его разведывательных заслуг или хореографических достижений супруги. Но что было делать? Оставалось только прошмыгивать мимо соседей, опустив голову.

Растворова предупредили в кадрах, что в Японию он должен выехать один, без семьи. Шутки ради он предложил жене поехать в Японию вместе с ним. Однако жена отказалась наотрез, сославшись на то, что не хочет бросать престижную работу. Для него стало ясно, что он окончательно потерял жену.

В 1950 году Растворов выехал в Токио. Жил на территории советского посольства на Мамиана-те.

Положение для советских представителей в Токио стало особенно тяжелым после подписания Японией в 1951 году в Сан-Франциско мирного договора с бывшими военными противниками. СССР не подписал этот договор, а значит, формально продолжал находиться с Японией в состоянии войны и потому не мог иметь в ней свое посольство. Было придумано некое «временное дипломатическое представительство», в котором подполковник советской разведки Растворов занимал должность второго секретаря. Работал результативно, но особого удовлетворения от этого не чувствовал. В основном занимался сбором информации по американским военным базам в Японии. Имел возможность посещать бары, рестораны, три раза в неделю играл в теннис в престижном Токийском теннисном клубе, общался с американцами, англичанами. Вел себя корректно, много не пил, с иностранцами держал себя на одной ноге, внешне ничем не интересовался. Да и зачем? У него было достаточно секретных источников информации. Правда, добываемая информация носила скорее тактический, а не стратегический характер.

После начала в 1950 году войны в Корее Япония, благодаря солидным американским финансовым влияниям, направленным в производство обеспечивающих потребности войны материалов, стала быстро возрождаться. А Токио и другие японские города превратились в коллективные дома отдыха, где восстанавливали свои силы потрепанные в боях «вооруженные силы ООН».

5 марта 1953 года умер И.В. Сталин. Для Растворова это было настоящим потрясением, так как Лаврентий Берия сосредоточил в своих руках все специальные службы. Теперь, опасался Растворов, от любого каприза его пока еще формальной жены могут зависеть судьба и сама жизнь изгнанного в японскую ссылку разведчика. Но летом 1953 года пришла, казалось бы, обнадеживающая весть, что Берию арестовали, а затем и расстреляли как «врага народа» и «английского агента».

Но зря Растворов радовался. Вскоре до него стали доходить слухи, что в Москве началась очередная «зачистка»: убирали тех, кто был как-то связан с Берией. По предыдущим «чисткам» в НКВД ему было доподлинно известно, как жестоко советские власти расправлялись с попавшими под подозрение разведчиками. Сколько их было отозвано в Москву и расстреляно в 30-е годы! Кто может гарантировать, что это не повторится? Разве кому-то докажешь, что он не имел с Берией никаких отношений? Ведь элитную квартиру все же выделили не ему, а жене за пляски… И Растворов стал задумываться над тем, как бы избежать участи человека, которого могут обвинить «в связях с государственным преступником».

Английский военно-морской атташе капитан 3-го ранга Майкл Тафнелл, с которым Растворов периодически встречался на теннисном корте, был опытным разведчиком, а значит, и тонким психологом. Будучи хорошо осведомлен о том, что обычно происходило в НКВД после ареста очередного руководителя советских органов, он обратил внимание на то, что Растворов в последнее время находится в каком-то угнетенном состоянии. Улучив момент, англичанин выразил свое сочувствие и предложил свою помощь, если Растворов в ней будет нуждаться. Последний не стал от предложения отказываться. Он заявил, что если над ним «сгустятся тучи», то он предпочтет вместо СССР выехать в Австралию. На вопрос, почему в Австралию, а не в Англию, Растворов ответил, что у него есть подозрения, что в Англии у советской разведки имеется агентура в спецслужбах и поэтому там он будет опасаться за свою жизнь. В качестве подтверждения своих подозрений Растворов рассказал англичанину о том, как трагически закончилась в Москве судьба лейтенанта Скрипкина, который в 1946 г. установил в Японии контакт с английской разведкой, но его советская контрразведка быстро разоблачила…