Как отмечает в своих мемуарах В.М. Фалин, Громыко считал Семенова наиболее способным из своих заместителей. Министр дал ему следующую оценку: «Талантлив, но, когда впадает в философствование, не очень пригоден для земных дел. К тому же неусидчив».

Любопытно, что Громыко подчас не посвящал Семенова в некоторые секретные детали переговоров по ограничению стратегических вооружений, которые тот возглавлял. Поэтому заместитель министра часто возвращался в Москву для консультаций с моим отцом или другими советниками Громыко.

За месяц до злополучного вызова в Москву отец прислал мне в Женеву письмо через сотрудника секретариата ООН, в котором писал, что не забыл о моих проблемах, и обещал купить двухкомнатную кооперативную квартиру, так как получить государственную квартиру от МИДа не удалось, несмотря на обещание начальника Управления делами Б.И. Дучкова (для этого отец попросил меня осенью 1977 года выписаться из нашей четырехкомнатной квартиры на Фрунзенской набережной и прописаться к моей первой жене). В письме отца также находились 300 долларов США. Мне почему-то стало грустно до слез, меня охватило какое-то непонятное чувство тревоги и обиды. В то же время из Москвы пришло приятное известие — я был назначен на должность атташе.

Книжные магазины Женевы — настоящий рай для книголюбов, знающих иностранные языки. Я увлекался гимнастикой йогов (хатха-йога) и хиромантией (искусство определения судьбы человека по линиям рук), а в Москве тогда литературу такого рода достать было практически невозможно. В магазинах Женевы меня почему-то принимали за жителя немецкой части Швейцарии, по мнению продавцов, я говорил по-французски с немецким акцентом. Когда я признавался, что приехал из Москвы, швейцарцы очень удивлялись.

Пользуясь высоким положением и связями отца, я вел себя в Женеве так, будто мне было все дозволено. В частности, дипломатам запрещалось смотреть фильмы порнографического содержания, посещать стриптиз-клубы и т. д. Кроме того, исключались несанкционированные контакты с иностранными дипломатами. Однако я нарушал часть этих запретов. Ряд иностранцев приглашали меня в рестораны за их счет, где мы сидели вдвоем, без свидетелей, и мило беседовали. Одна такая встреча сорвалась, так как меня срочно вызвали в Москву. Между тем меня лично пригласил на обед через день после побега отца заместитель представителя Великобритании в Комитете по разоружению (возможно, он был сотрудником британской секретной службы), он, видимо, хотел передать мне информацию об отце.

Кроме того, являясь фактически генеральным секретарем делегации, я занимался в том числе размещением членов делегации в гостиницах Женевы. Я, в частности, договорился включить завтрак для всех членов делегации в стоимость проживания в гостиницах, которая оплачивалась МИДом, а также попросил установить в каждом номере цветные телевизоры (за это полагалась отдельная плата). Финансовое управление министерства запрещало подобные дополнительные расходы. Однако я попросил администрацию отелей не выделять данные суммы в общем счете за проживание. Поэтому все указанные услуги были оплачены МИДом, и все члены нашей делегации были довольны.

8 апреля 1978 года, в субботу, я весь день ходил по магазинам, покупая подарки для первой жены и сына Алексея. В отель я пришел только вечером. Меня уже ждали сотрудники делегации, в том числе представитель Министерства обороны генерал Пестерев. Он был чрезвычайно возбужден и спросил меня, куда я пропал. Пестерев сказал, что мне с утра в воскресенье необходимо срочно приехать к послу Лихачеву. Он сообщил мне, что нужно немедленно отвезти в Москву пакет с важными документами. В ответ на мое беспокойство о том, не случилось ли что-либо с моими родственниками, посол успокоил меня, сказав, что все здоровы и я сразу же после выполнения данной миссии вернусь в Женеву. Я не послушал совета мудрого шофера посла взять с собой все свои вещи после срочного вызова в Москву и пожалел об этом в дальнейшем. Бухгалтерия женевского представительства выдавала нам суточные на весь месяц вперед. Я их истратил на подарки родственникам и большую часть вещей оставил в Женеве. В связи с тем, что я не проработал до конца месяца, я должен был вернуть деньги. В погашение моей задолженности мои вещи были проданы.

Обычно диппочту перевозят дипкурьеры. Мне был срочно оформлен дипкурьерский лист. В нем указывалось, что «предъявитель сего действует по поручению министра иностранных дел СССР и все службы обязаны оказывать ему всяческое содействие». Моим сопровождающим был незнакомый мне ранее третий секретарь представительства СССР при международных организациях в Женеве некто В.Б. Резун. Мне сказали, что дипкурьеры не должны ездить в одиночку. Может быть, это и так, однако потом я догадался, почему мне выделили столь странного сопровождающего.

Пакет, скрепленный специальными сургучными печатями, находился у меня в атташе-кейсе. В женевском аэропорту мой чемоданчик стали просвечивать рентгеном швейцарские таможенные органы. Резун заявил, что они не имели права просвечивать вещи, в которых находилась диппочта. Однако швейцарские таможенники не прореагировали на наш протест.

В аэропорту Шереметьево-2 меня почему-то почти час не выпускали на паспортном контроле советские таможенники, несмотря на то что я предъявил диппаспорт и дипкурьерский лист. В ответ на мое. возмущение странной задержкой, они, явно смущенные, бормотали что-то невразумительное, ссылаясь на какие-то необходимые формальности, и куда-то звонили. Видимо, они связывались с КГБ, а там еще не решили, куда меня везти. Исполняющего обязанности резидента КГБ в Англии О. Гордиевского, которого вызвали по подозрению в шпионаже в Москву, также долго продержали на паспортном контроле в Шереметьеве, ибо таможенникам было приказано оповестить КГБ о прибытии подозреваемого в шпионаже, чтобы его не оставили без присмотра.