8 апреля 1957 г. приказом КГБ был объявлен штат Управления военного снабжения в составе КГБ при СМ СССР.

Указом Президиума Верховного Совета СССР от 8 декабря 1958 г. И.А.Серов был освобожден от должности Председателя КГБ при Совете Министров СССР в связи с назначением начальником Главного разведывательного управления и заместителем начальника Генерального штаба Вооруженных Сил СССР. Постановлением Верховного Совета СССР от 25 декабря 1958 г. новым Председателем КГБ при Совете Министров СССР был назначен бывший заведующий отделом партийных органов ЦК КПСС по союзным республикам А.Н.Шелепин, который, выполняя указания Н.С.Хрущева, провел серию кардинальных преобразований в аппарате КГБ в смысле упрощения его структурного построения и сокращения численности сотрудников.

Хотелось бы отметить, что в духе замыслов Н.С.Хрущева об отмене персональных званий в системе госбезопасности и внутренних дел ("распогоним" и "разлампасим" — говорил он) Председателю КГБ при СМ СССР А.Н.Шелепину, так же, как и министру внутренних дел СССР Н.П.Дудорову, никаких воинских званий присвоено не было.

23 июня 1959 г. был упразднен Тюремный отдел КГБ при СМ СССР, а функции руководства следственными изоляторами КГБ были переданы Учет-но-архивным отделам как в Центре, так и на местах.

23 июня 1959 г. Отдел "С" был объединен с Отделом войск правительственной "ВЧ"-связи КГБ при СМ СССР в единый Отдел правительственной связи КГБ при СМ СССР.

23 июня 1959 г. Инспекция при Председателе КГБ при СМ СССР была упразднена, а вместо нее создана Группа по изучению и обобщению опыта работы органов госбезопасности и данных о противнике.

25 июня 1959 г. в состав 9 управления КГБ при СМ СССР было включено бывшее 10 управление КГБ при СМ СССР.

Реорганизация подразделений, осуществлявших оперативно-техническую работу, была проведена 2 июля 1959 г. На базе 2, 3, 4, 5 и 6 спецотделов было создано Оперативно-техническое управление КГБ при СМ СССР.

Все эти реорганизации явились следствием Постановления Президиума ЦК КПСС от 17 июня 1959 г. (П 223/ХХIХ) и Совета Министров СССР № 677305 за то же число. Согласно этому же Постановлению в структуре Центрального аппарата КГБ при СМ СССР в июне — июле 1959 года произошли следующие изменения:

— 1 с/о был включен в состав 5 управления;

— Центральная бухгалтерия была включена в состав Финансового отдела;

— Военно-строительное управление и Управление военного снабжения были включены в состав ХОЗУ КГБ при Совете Министров СССР.

На основании Постановления Президиума ЦК КПСС и Совета Министров СССР № 134-46 от 5 февраля 1960 г. "О внесении изменений в структуру КГБ при СМ СССР и его органов на местах и сокращении их штатной численности" в Центральном аппарате КГБ при СМ СССР произошли следующие изменения:

— 4, 5 и 6 управления были включены в состав 2 Главного управления;

— 3 Главное управление было преобразовано в 3 управление;

— Следственное управление было реорганизовано в Следственный отдел;

— Отдел учебных заведений Управления кадров был упразднен.

Структура Центрального аппарата КГБ при Совете Министров СССР приобрела следующий вид:

— 1 Главное управление (разведка за границей)

— 2 Главное управление (контрразведка)

— 3 управление (военная контрразведка)

— 7 управление (наружное наблюдение и охрана дипкорпуса)

— 8 Главное управление (шифровально-дешифровальное)

— 9 управление (охрана руководителей партии и правительства)

— ОТУ (оперативно-техническое управление)

— Управление кадров

— Следственный отдел

— УАО (учетно-архивный отдел)

— ГУПВ (главное управление пограничных войск)

— ХОЗУ

— ОПС (отдел правительственной связи)

— ФПО (финансово-плановый отдел)

— Моботдел

— Секретариат КГБ при СМ СССР

— Группа при Председателе КГБ при СМ СССР по изучению и обобщению опыта работы органов госбезопасности и данных о противнике.

Эта структура Центрального аппарата КГБ при Совете Министров СССР до середины 60-х годов оставалась неизменной. В дальнейшем из 2 Главного управления были вновь выделены: в 1967 году — 5 управление (борьба с идеологической диверсией); в 1981 году — 4 управление (контрразведывательная работа на транспорте); в 1982 году — 6 управление (контрразведывательная работа в сфере экономики).

10 февраля 1954 года Президиум ЦК КПСС принял решение о выделении органов государственной безопасности из ведения МВД СССР в самостоятельное ведомство — Комитет государственной безопасности при Совете Министров СССР. 12 марта 1954 года Президиум ЦК КПСС принял решение об основных задачах МВД СССР и КГБ при СМ СССР. 13 марта 1954 года Указами Президиума Верховного Совета СССР был организован КГБ при СМ СССР и его председателем назначен бывший первый заместитель министра внутренних дел СССР генерал-полковник И.А.Серов.