Одновременно Серов оставался заместителем наркома внутренних дел и руководил оперативной работой органов НКВД на территории оккупированной Германии. В июле он из комиссаров госбезопасности второго ранга превратился в генерал-полковника.

Многолетний начальник разведки Восточной Германии генерал-полковник и заместитель министра госбезопасности ГДР Маркус Вольф вспоминает, что Серов всегда был в мундире и в буквальном, и в переносном смысле этого слова. Серов сформировал структуры госбезопасности в Восточной Германии и назначил представителей госбезопасности во всех округах ГДР.

Один из создателей космической техники академик Борис Евсеевич Черток, ближайший сотрудник Королева, вспоминает, как в начале октября 1946 года советских ученых, которые приехали в Германию изучать немецкие ракеты «Фау-2», собрал генерал-полковник Серов.

Серов попросил составить списки немецких специалистов, которых есть смысл отправить в Советский Союз, чтобы они там продолжили свои работы. Лишних не брать — только тех, кто нужен.

— Мы разрешаем немцам брать с собой все вещи, — сказал Серов, — даже мебель. С этим у нас небогато. Что касается членов семьи, то это по желанию. Если жена и дети желают остаться — пожалуйста. Если глава семьи требует, чтобы они ехали, — заберем. От вас не требуется никаких действий, кроме прощального банкета. Напоите их как следует — легче перенесут такую травму. Об этом решении ничего никому не сообщать, чтобы не началась утечка мозгов.

Вечером 22 октября в ресторане был устроен банкет якобы по случаю успешных испытаний первых ракет. Немцы действительно веселились, русские, лишенные возможности выпить под такую прекрасную закуску, были мрачными.

В четыре часа утра сотни военных машин разъехались по городу. Сотрудники Серова практически одновременно постучались в двери всех немецких специалистов, которых решено было взять в Советский Союз. Переводчица будила хозяев, объясняя, что у нее срочный приказ Верховного Главнокомандования Красной армии. Дисциплинированные немцы беспрекословно начинали собираться. Никто и не пробовал сопротивляться. Люди Серова вели себя корректно, охотно шли навстречу любым просьбам — захватить еще что-то из вещей или заехать с кем-то попрощаться. Немцев погрузили в эшелоны, снабдили обильными пайками и отправили в Советский Союз. Но настроения в Москве вскоре изменились, и немцев фактически не подпустили к серьезным разработкам. Один из руководителей советского ракетного проекта откровенно сказал Чертоку:

— Борис Евсеевич, неужели вы еще не поняли, что немцы ни в коем случае не будут нашими режимными органами допущены к настоящей совместной работе? Они находятся под контролем органов НКВД, которым в каждом из них чудится фашист, перешедший на службу к американской разведке. А кроме того, что бы они ни сотворили, это будет не созвучно нашей теперешней тенденции в идеологии — все созданное в науке и технике сделано без всякой иностранщины…

В 1950-м немцев вернули на родину.

Генерал Серов по приказу Берии был утвержден членом Специального комитета по реактивной технике при Совете министров (Спецкомитет № 2; его возглавил член политбюро Георгий Маленков), то есть занимался ракетными делами.

Первая задача состояла в том, чтобы воспроизвести немецкие ракеты «Фау-2» и «Вассерфаль» (зенитные управляемые ракеты). Это долго не получалось.

В сентябре 1947 года Сергей Павлович Королев и его сотрудники приехали на еще строившийся ракетный полигон Капустин Яр, это старинный городок в низовьях Волги.

18 октября в 10 часов 47 минут утра там была запущена первая баллистическая ракета.

Председателем государственной комиссии по пускам немецких ракет «А-4», они вошли в историю под названием «Фау-2» (это сокращение от немецких слов «Vergeltungs Waffe» — оружие возмездия), был назначен маршал артиллерии Николай Яковлев, его заместителем — Дмитрий Устинов, членом комиссии был Серов.

Несколько дней не удавалось запустить двигатель ракеты, установленной на испытательном стенде. Не срабатывали электрические устройства, которые воспламеняют горючее. Электрика была еще несовершенной. Серов, раздраженный задержками, сказал ученым:

— Слушайте, чего вы мучаетесь? Найдем солдата. На длинную палку намотаем паклю, окунем ее в бензин, солдат сунет ее в сопло, и пойдет ваше зажигание!

Ученые вежливо замяли разговор.

Потом все-таки нашли неисправное реле, которое стояло в цепи включения зажигания.

— А кто отвечает за это реле? — спросил Серов.

— Товарищ Гинзбург.

— А покажите мне этого Гинзбурга, — грозно сказал Серов. Один из заместителей Королева, прикрыв собой стоявшего там же Гинзбурга, невинным голосом сказал, что показать Гинзбурга сейчас никак невозможно.

20 октября запустили еще одну ракету, но она сильно отклонилась от намеченной трассы. Полигонные наблюдатели с горьким юмором сообщили:

— Пошла в сторону Саратова.

Это услышал Серов.

Когда собралась государственная комиссия, Серов сказал:

— Вы представляете, что будет, если ракета дошла до Саратова? Я вам даже рассказывать не стану, но вы сами можете догадаться, что произойдет с вами со всеми.

Он не знал, что до Саратова было значительно дальше, чем могла пролететь ракета…

— На территории Германии столкнулись все три ведомства — СМЕРШ, НКВД и НКГБ, — рассказывает Никита Петров. — И всем стало тесно. Постепенно верх взял начальник СМЕРШ Абакумов. С начальником СМЕРШ, а затем министром госбезопасности Абакумовым у Серова развернулась настоящая война. Абакумов жаловался, что Серов командует структурами военной контрразведки СМЕРШ, хотя не имеет на это права: «Серов со свойственным ему нахальством разражался потоком самых непристойных ругательств, в которых похабнейшими словами отзывается обо мне».