Дальнейшие реформы и новые назначения в системе госбезопасности (арест Берии в июне 1953 года, создание КГБ при Совете Министров СССР в марте 1954 года) не повлияли на положение Грибанова, остававшегося заместителем начальника 2-го Главного управления КГБ (так с марта 1954 года именовалась советская контрразведка). Роль Грибанова — одного из заместителей генерала Федотова постепенно возрастает. Особенно после того, как получившие весной 53-го года назначение на должности заместителей начальника контрразведки генерал-лейтенанты Судоплатов и Питовранов не задержались в главке (Судоплатов, уже будучи начальником 9-го, разведывательно-диверсионного отдела МВД, был арестован в августе 1953 года, а Питовранов в июне того же года уехал в ГДР руководить советскими чекистами).

Служебную деятельность Грибанов сочетал с общественной, по старому советскому обычаю — с 17 февраля 1954 года был председателем комиссии по жилищным вопросам при Главке.

14 января 1956 года, вместе с другими чекистами, полковнику Грибанову указом Президиума Верховного Совета СССР присваивается звание генерал-майора. Через 3 месяца, 14 апреля 1956 года, после ухода Федотова, Грибанов назначается начальником ВГУ и членом КГБ при Совете Министров СССР (с 18 сентября 1959 года эта должность именовалась «член Коллегии КГБ при СМ СССР»).

На этой должности он оставался при трех председателях КГБ — Серове, Шелепине и Семичастном. Свои воспоминания о Грибанове оставил Владимир Ефимович Семичастный, считавший Олега Михайловича «очень сильным генералом», «даже с налетом авантюризма». Но председателю КГБ это нравилось, «потому что для контрразведчика иметь чуть авантюризма и фантазии просто блестяще».

Грибанову приходилось выезжать за границу. Так, вместе с Серовым в группе сотрудников КГБ он побывал в Венгрии (об этом упоминает в мемуарах генерал-майор Анатолий Михайлович Гуськов, в то время — заместитель начальника 3-го Главного управления КГБ — военной контрразведки). Серов в октябре-ноябре 1956 года во время подавления восстания в Венгрии руководил оперативной работой органов КГБ в ВНР. Утром 24 октября 1956 года он (инкогнито, в форме генерал-майора) прибыл в Будапешт вместе с членами Президиума ЦК КПСС А.И. Микояном и М.А. Сусловым под охраной танков. Находясь там, он фактически курировал работу советских советников при венгерском МВД (во главе с Ференцом Мюннихом), которое в течение недели с момента прибытия Серова оказалось полностью деморализовано, и органы госбезопасности были распущены, в связи с чем встал вопрос о дальнейшем пребывании советских советников. Возвратившись в Москву, Серов принял участие в заседании Президиума ЦК КПСС 1 ноября 1956 года, на котором заявил: «Выступления были тщательно подготовлены. Надь связан с повстанцами. Надо решительные меры принимать. Оккупировать надо страну». В тот же день Президиум ЦК КПСС своим постановлением поручил «тт. Жукову, Суслову, Коневу, Серову и Брежневу… разработать свои мероприятия в связи с событиями в Венгрии…» Серов вновь вылетел в Венрию. В ночь с 3 на 4 ноября на советской военной базе Текел под Будапештом он руководил арестом членов прибывшей для переговоров о выводе советских войск делегации правительства Венгрии (во главе с министром обороны Палом Малетером, впоследствии повешенным). Серов настоял на организации в министерстве общественной безопасности, вопреки мнению министра Ф. Мюнниха и председателя Венгерского революционного рабоче-крестьянского правительства Яноша Кадара, «политических отделов», которые выполняли функции «внешней разведки, контрразведки, секретно-политической службы, следствия и специальной службы оперативной техники». По словам самого Серова, «учитывая либеральное отношение руководящих работников Венгрии к врагам», он приказал особым отделам соединений Советской Армии в Венгрии отправлять арестованных венгров на станцию Чоп. Оттуда на Западную Украину было депортировано более 800 человек, среди которых было много несовершеннолетних, что вызвало последующие протесты венгров. В связи с протестом Кадара и Мюнниха с ними были вынуждены объясняться Серов и советский посол, в будущем один из преемников Ивана Александровича в КГБ, Юрий Владимирович Андропов, о чем они и сообщили телефонограммой в ЦК КПСС. Прибывший в Ужгород зам. министра внутренних дел СССР М.Н. Холодков, разобрав дела ряда арестованных, счел их необоснованными, о чем и доложил министру Н.П. Дудорову, что вызвало протестующую докладную записку Серова Хрущеву. Серов руководил (вместе с Мюннихом) операцией по выводу из югославского посольства в Будапеште Имре Надя и его переправке в Румынию.

Находившихся в парламенте Надя и членов его кабинета сразу же после начала штурма Будапешта должны были арестовать офицеры совместной советско-венгерской группы сотрудников госбезопасности во главе с заместителем начальника 3-го Главного управления КГБ при СМ СССР генералом Павлом Зыряновым, но они опоздали, группа Имре Надя успела укрыться в посольстве Югославии. За посольством было установлено наблюдение. Операцией руководил заместитель председателя КГБ, генерал-лейтенант Сергей Саввич Бельченко, находившийся тогда в Будапеште.

В этом деле, видимо, участвовал Грибанов. Такой вывод можно сделать из воспоминаний Бельченко. По его словам, арестованных на объекте в Румынии, куда они были вывезены, контролировала «группа чекистов во главе с генералом Федотовым». После того, как была получена информация о подготовке заговора с целью освобождения Надя, по указанию Хрущева арестованные были перевезены в Венгрию.

Так как Федотов к тому времени уже не был начальником контрразведки и работал в Высшей школе КГБ, то, видимо, имеется в виду Грибанов, а упоминание Федотова — ошибка памяти Бельченко.

Аналогичную акцию с кардиналом Иштваном Миндсенти, находившимся в американском посольстве, осуществить не удалось. Кардиналу пришлось пробыть там 15 лет — в 1971 году по соглашению между правительствами Венгрии и США он выехал в Ватикан.

В начале декабря 1956 года большинство чекистов группы Серова вернулось в Москву. Итогом их деятельности (за которую Серов получил орден Кутузова 1-й степени) стал арест более 5 тысяч человек, из них более 800 было депортировано в СССР.

Но основная работа контрразведки КГБ проходила внутри страны. В Москве велось наблюдение за иностранными посольствами (в первую очередь основных противников — США, Великобритании, Франции). Эти вполне стандартные действия контрразведки, отработанные десятилетиями, именно при Грибанове велись с большим размахом, что вполне соответствовало той характеристике «авантюриста», которой пользовался Олег Михайлович среди сотрудников КГБ, что и было впоследствии сформулировано Семичастным.

По сведениям биографа Грибанова, «в здании дипмиссии США сотрудники 2-го Главного и Оперативно-Технического управлений КГБ сумели установить свыше сорока подслушивающих устройств. Спрятаны были «жучки» в бамбуковой обшивке стен посольства. После бегства в 1964 году к американцам одного из сотрудников 2-го Главка КГБ Ю.И. Носенко (сообщившего о месте нахождения подслушивающих устройств) служба безопасности посольства проверила все помещения дипмиссии США в Москве. В итоге: микрофоны были обнаружены в шифровальных комнатах и даже в одном из кабинетов московской резидентуры ЦРУ.

В терминологии западных разведывательных структур появился даже специальный термин, обозначающий женщин-соблазнительниц, работающих на органы КГБ — т. н. «ласточки». С 1950 по 1960 годы лишь из посольства США в СССР на родину было отправлено порядка 20 сотрудников. Причина спешной отправки в Штаты заключалась в том, что всех этих сотрудников пытались шантажировать снимками, на которых они были сфотографированы в момент половой связи с т. н. «ласточками». При помощи именно такого шантажа в январе 1952 года советская контрразведка завербовала заведующего гаражом военного атташата США в СССР Роя Роуде. Новый агент советской контрразведки дал подписку о сотрудничестве и получил оперативный псевдоним "Квебек"».