Будучи штатским человеком, я и не подозревал, до какой степени велика неприязнь к политике Хрущева в армии, пока не стал участником сборов для военных переводчиков, проходивших в Военной академии имени Фрунзе в январе – апреле 1961 года. В своем выступлении перед участниками сборов полковник, занимавшийся политработой в армии, выражал возмущение теми оскорблениями, которым стали подвергаться военнослужащие со стороны гражданских лиц в последнее время. Полковник напоминал о необходимости не только укрепления вооруженных сил, но и доверия к ним со стороны общества. В личных же беседах с офицерами академии участники сборов выслушали значительно более резкие высказывания в адрес действий Хрущева по разрушению вооруженных сил. Такие настроения не ограничивались офицерским составом армии. По словам Микояна, «многие маршалы и генералы – члены ЦК – были против него (Хрущева) за его перегибы в военном деле».

Хрущев чувствовал рост недовольства в верхах, но в силу своей подозрительности стал выискивать источники заговора среди наиболее лояльных к нему людей. Микоян позже возмущался тем, как расправился Хрущев с верным ему Кириченко: «Двадцать лет вместе работали. Сделал его вторым секретарем ЦК. Лучшая это была кандидатура или нет – другой вопрос… И вот, Хрущев вдруг, без всякой причины снял Кириченко и послал на периферию с понижением. Почему? Никакой оппозиции, никаких заметных ошибок». Фактически став вторым секретарем ЦК КПСС, Кириченко жестко контролировал работу Секретариата. Используя это положение, он, наряду с Микояном, Жуковым, Серовым и Дудоровым, сыграл видную роль в разгроме противников Хрущева в июне 1957 года. Как и в отношении всех, кто его спас в июне, Хрущев опасался растущей власти Кириченко.

12 ноября 1959 года Хрущев на заседании Президиума ЦК объявил, что он не удовлетворен работой Секретариата ЦК, заметив, что секретарь ЦК Кириченко взял на себя слишком много власти. «Равные возможности должны быть, – сказал Хрущев, очевидно, имея в виду возможности других секретарей. Его тут же поддержали Суслов, Игнатов и Брежнев. Фурцева заметила, что «у Кириченко много личных недостатков, честолюбие, властолюбие». Козлов также говорил о «недостатках Кириченко» и даже утверждал, что после разговора с Кириченко «Брежнев рыдал». Подгорный: «Личные недостатки т. Кириченко могу подтвердить. Он думает, что самым умным является он… Если против скажешь, Кириченко не забудет никогда, будешь врагом». Коротченко: «Согласен с перестройкой Секретариата. О т. Кириченко – у него много недостатков, кипятится, не выдержан, груб». Кириленко: «Кириченко – неуравновешен, мнителен». Полянский: «Кириченко – необъективный человек, допускает грубости к другому человеку». Выслушав от своих коллег эти замечания, Кириченко заметил: «Такой бани не было еще. Ни одного замечания такого не было… Самое тяжелое (обвинение) – что я хуже отношусь к Н.С. Хрущеву. Этого не было, что-то хотят пришить».

Подводя итоги дискуссии, Хрущев сказал: «Вы просто зазнались». Было решено, что руководить заседаниями Секретариата должен не только Кириченко, а все секретари в течение каждого месяца, чередуясь по алфавиту. Однако уже 7 января 1960 года был поставлен вопрос о новой работе Кириченко. Было предложено назначить его или послом в Чехословакию, или первым секретарем Ростовского обкома КПСС. Кириченко выразил желание поехать в Прагу, но его отправили в Ростов. А уже 15 июня он был снят с руководящего поста в Ростове.

Изгнания с руководящих постов продолжились. В январе 1960 года на заседании Президиума ЦК в докладе Л.И. Брежнева была подвергнута критике работа секретаря ЦК КПСС и первого секретаря Компартии Казахстана Н.И. Беляева. Брежнева поддержали секретари ЦК Компартии Казахстана. Хрущев говорил на заседании: «Посылали Беляева – надеялись, переоценили. Выступает т. Беляев и не говорит о недостатках. Беляев недостаточно подготовлен, был грубый подход, более гибкий ум нужен». На место Беляева было решено назначить ДА. Кунаева.

На майском (1960 г.) пленуме ЦК КПСС А.И. Кириченко и Н.И. Беляев были освобождены от обязанностей членов Президиума ЦК и секретарей ЦК. Этим изменения в руководстве партии не ограничились. Вскоре после падения Кириченко, который, как указывалось выше, активно боролся против Игнатова, последний развернул борьбу против Козлова. Последний оказывал Игнатову активное сопротивление. Игнатова в борьбе против Козлова поддерживали Аристов и Фурцева. Судя по словам Микояна, противники Козлова старались заручиться поддержкой Хрущева. Однако Хрущев, как отмечал Микоян, поддерживал Козлова и «сказал знаменитую фразу: "Не делайте из Козлова козла отпущения"». После назначения в марте 1958 года Козлова первым заместителем Председателя Совета Министров СССР, он заметно усилил свои позиции и постепенно стал второй по значению фигурой в руководстве.

Микоян писал: «Сговаривался с Хрущевым вдвоем. Иногда я ставлю какой-то вопрос, а Хрущев говорит: "Мы с Козловым это уже обсудили и решили так"». Роль Козлова возрастала, и он все энергичнее настаивал на выводе Игнатова, Аристова и Фурцевой из состава руководства партии. В мае на пленуме ЦК КПСС 1960 года все они, а также Кириченко, Беляев и Поспелов были выведены из состава Секретариата. А.Б. Аристову и П.Н. Поспелову было предложено сосредоточиться на работе в Бюро ЦК КПСС по РСФСР. Е.А. Фурцева была назначена министром культуры СССР, а Н.Г. Игнатов – заместителем Председателя Совета Министров СССР.

Зато Козлов с мая 1960 года стал секретарем ЦК, сохранив при этом пост первого заместителя Председателя Совета Министров СССР. В состав Президиума ЦК были избраны А.Н. Косыгин, Н.В. Подгорный, Д.С. Полянский. Хрущев, видимо, считал, что таким образом он окружил себя наиболее надежными союзниками, готовыми энергично осуществлять его политику.

В мае 1960 года был отправлен в отставку с поста Председателя Президиума Верховного Совета СССР 79-летний К.Е. Ворошилов. Этому предшествовало решение Ворошилова освободить досрочно из заключения сына Сталина Василия, арестованного в апреле 1953 года. 11 января 1960 года решение Ворошилова было отменено на заседании Президиума ЦК, а В.И. Сталин был возвращен в тюрьму. 9 февраля Хрущев заявил на Президиуме: «Самолюбие заедает Ворошилова. Надо самому бы т. Ворошилову проситься на отдых». Правда, отставка Ворошилова была почетной и сопровождалась присвоением ему звания Героя Социалистического Труда. На его место был избран Л.И. Брежнев.