Абакумов понравился вождю и тем, как умело справился с фильтрацией бывших военнопленных. В конце войны Смерш занимался солдатами Красной армии, попавшими в немецкий плен, и советскими гражданами, оказавшимися на территории Германии по своей воле или по принуждению. Почти все они, (а речь идет о миллионах) прошли через фильтрационные лагеря.

Бывший первый заместитель председателя КГБ СССР Филипп Бобков вспоминал, что в министерстве Абакумова поначалу встретили хорошо: человек свой, начинал с рядовых должностей. Говорили: он настолько близок к Сталину, что даже гимнастерки шьет из того же материала. Министр мог неожиданно заглянуть к рядовому оперативнику, посмотреть, как тот ведет дело, проверить, сколь аккуратно подшиты бумаги. Виктор Семенович многим казался свойским парнем. Любил вечером пройтись по улице Горького пешком, со всеми любезно здоровался и приказывал адъютантам раздавать старухам по сто рублей. Они крестились и благодарили.

Идея производить массовые зачистки в плановом порядке по родам войск была, конечно, замечательной, но Абакумов этим не ограничился. Он начал верстать дела по территориальному принципу. Первым было так называемое ленинградское дело, в ходе которого пустили в расход секретаря ЦК Кузнецова, заместителя председателя Совмина СССР Вознесенского, председателя Совмина РСФСР Родионова, первого секретаря Ленинградского обкома партии Попкова. Впереди был непочатый край работы в столицах союзных республик («дело грузинских националистов» уже близилось к завершению), но Абакумов не останавливался на достигнутом, а одновременно собирал компромат на всех сколь-нибудь известных лиц.

Абакумов преданно исполнял все указания Сталина, и до поры до времени вождя это устраивало. Почему же Сталин все-таки с ним расстался?

Вообще говоря, Виктор Семенович, как и все его предшественники на Лубянке, заранее мог считать себя обреченным, потому что рано или поздно Сталин решал, что ему нужен новый человек. Он не любил, когда руководители госбезопасности засиживались. Считал, что они теряют хватку, рвение, успокаиваются. Опасался, что хозяева Лубянки обрастают связями, становятся слишком влиятельными. Настал момент, когда Сталин стал подыскивать замену и Абакумову.

Против Абакумова использовали письмо старшего следователя следственной части по особо важным делам подполковника Михаила Рюмина. Подполковник написал в ЦК, что Абакумов и его люди не расследуют деятельность вражеской агентуры, скрывают от Сталина собственные промахи, что Абакумов обогатился за счет трофейного имущества и потратил большие государственные средства на оборудование себе новой квартиры в доме N11 по Колпачному переулку. Отсюда выселили шестнадцать семей, чтобы министр мог разместиться с комфортом.

Конечно, донос Рюмина не был личной инициативой следователя. Точно такое же письмо было использовано в свое время, чтобы снять с должности наркома Николая Ежова. Это обычная сталинская метода. Рюмин писал свое заявление прямо в кабинете завотделом партийных, профсоюзных и комсомольских кадров ЦК Семена Игнатьева, который станет преемником Абакумова на посту министра.

Абакумова обвинили в обмане ЦК. 4 июля 1951 года отстранили от дел, 12 июля вызвали в прокуратуру. Против него возбудили дело по признакам преступления, предусмотренного статьей 58-1б УК (измена родине, совершенная военнослужащим) и арестовали. Поместили в одиночку и именовали «заключенный N15». В его трехсотметровой квартире провели обыск. Недавние подчиненные Абакумова описали невиданное по тем временам имущество – мебельные гарнитуры, холодильники, радиоприемники, все в больших количествах! У бывшего министра нашли 1260 метров различных тканей, много столового серебра, 16 мужских и 7 женских часов, 100 пар обуви, чемодан подтяжек, 65 пар запонок...

Арестовали и его жену Антонину Николаевну, работавшую в отделе военно-морской разведки МГБ, и с двухмесячным сыном посадили в Сретенскую тюрьму МГБ.

Абакумова обвинили в работе на иностранные разведки. В том, что он плохо расследовал «ленинградское дело», потому что дружил с секретарем ЦК Кузнецовым. И даже в том, что он сколотил в министерстве преступную группу из еврейских националистов. Понятно, что бывший министр МГБ совершенно не понимал, о каком заговоре идет речь. На этом основании комиссия ЦК, в состав которой входил его бывший шеф Берия, сделала заключение: «Абакумов при допросе пытался вновь обмануть партию, не обнаружил понимания совершенных им преступлений и не проявил никаких признаков готовности раскаяться в совершенных им преступлениях».

По указанию Сталина Абакумова избивали. Поручили это офицерам, которым обещали путевки в дом отдыха, денежное пособие и внеочередное присвоение воинских званий. Его заковали в кандалы. Держали в карцере-холодильнике, давали кусок хлеба и две кружки воды в день. И быстро превратили в полного инвалида. Бывший министр еле стоял на ногах, не мог ходить. Но держался упорно, не признавал себя виновным, потому пережил и Сталина, и Берию, и Рюмина, и других чекистов. Тех арестовали позже, а расстреляли раньше.

После смерти Сталина обвинительное заключение по делу Абакумова подкорректировали, уличив Виктора Семеновича в фальсификации «дела грузинских националистов» и «авиационного дела».

Суд над Абакумовым и его бывшими подчиненными открылся 14 декабря 1954 года в Доме офицеров в Ленинграде. Виновным он себя не признал, настаивая на том, что все решения принимались ЦК.

Нелепо, конечно, было обвинять Абакумова в том, что он – соучастник преступной заговорщической группы Берии. Абакумов Берию не любил и боялся. Но он верно и преданно служил ему, Сталину и государству, ради этого совершал преступления и обрекал на смерть невинных. Этого не хотели говорить полвека назад, а многие не желают признавать и сегодня.