Далее карьера медленно, но неуклонно идет вверх. 1 февраля 1938 года Грибанов назначен помощником оперуполномоченного, а 1 февраля 1939 года — оперуполномоченным 5-го отделения 4-го отдела УГБ УНКВД по Свердловской области. В то же время, в 1939 году он окончил трехмесячные курсы усовершенствования оперативного состава при Новосибирской межкраевой школе ГУГБ НКВД.

Работая в секретно-политическом отделе Свердловского управления, Грибанов, возможно, имел отношение к Николаю Ивановичу Кузнецову. Будущий Герой Советского Союза и суперагент 4-го управления НКВД-НКГБ в годы Великой Отечественной войны был в 30-е годы секретным сотрудником органов ОГПУ-НКВД в Свердловске. В 1937 году он был арестован, вскоре освобожден и в 1938 году переехал в Москву.

Карьера Грибанова в Свердловске идет успешно. В 1938 году стал кандидатом в члены партии, партбилет получил через год, в 1939-м.

С 1 августа 1939 года сержант ГБ Грибанов — следователь следственной части, через 2 месяца, 1 октября — старший следователь следчасти, с 1 мая 1940 года — начальник 1-го отделения 2-го отдела (секретно-политического) УГБ УНКВД по Свердловской области. С 20 апреля 1941 года, уже в звании младшего лейтенанта ГБ, возглавлял 1-е отделение СПО УНКГБ, с 20 августа 1941 года — 1-е отделение КРО, с 15 января 1942 года временно исполнял обязанности заместителя начальника КРО УНКВД по Свердловской области. Через 2 месяца становится лейтенантом, а в феврале 1943 года — старшим лейтенантом ГБ. Еще через неделю, после приведения офицерских званий в системе НКВД в соответствие с армейскими, получает звание майора госбезопасности. С 6 августа 1943 года майор госбезопасности Грибанов — заместитель начальника следственной части, с 26 августа 1944 года — начальник следственного отдела, а с 14 мая 1945 года — заместитель начальника УНКГБ (с марта 1946 года — УМГБ) по Свердловской области.

Уральского чекиста отметили наградами — орденом «Знак Почета» (октябрь 1943), медалями — «За отвагу» (апрель 1940 года «за выполнение заданий правительства по охране государственной безопасности»), «За боевые заслуги» (ноябрь 1944 года, за выслугу лет), «За победу над Германией» (9 мая 1945 года), знаком «Заслуженный работник НКВД (февраль 1943). Самым первым знаком поощрения для 24-летнего чекиста стали часы, врученные в сентябре 1939 года «в ознаменование двадцать второй годовщины ВЧК-ОГПУ-НКВД»).

Уральский период службы подполковника ГБ Грибанова (получившего это звание 29 мая 1945 года) закончился 1 апреля 1947 года, когда он был освобожден от занимаемой должности и отозван в распоряжение Управления кадров МГБ СССР.

Тут необходимо вспомнить, что все 9 лет на оперативной работе в Свердловске Грибанов работал под руководством Тимофея Борщева, бывшего не последним человеком среди соратников Лаврентия Берии.

Борщев, видимо, и «замолвил словечко» за способного сотрудника перед бывшим своим начальником по Закавказью Сергеем Арсентьевичем Гоглидзе, который к этому времени был кандидатом в члены ЦК ВКП(б), генерал-полковником, начальником УМГБ по Хабаровскому краю и уполномоченным МГБ по всему Дальнему Востоку. В итоге 15 мая 1947 года подполковник Грибанов становится заместителем начальника УМГБ по Хабаровскому краю. Через 2,5 года, 28 марта 1950-го, был отозван в распоряжение УК МГБ СССР и 30 июля 1950 года назначен начальником УМГБ по Ульяновской области.

В Ульяновской области полковник Грибанов (получивший это звание в ноябре 1947 года) сменил еще одного бериевского выдвиженца — полковника Никиту Аркадьевича Кримяна, бывшего руководителя госбезопасности в Ярославле и Армении (жизнь его закончилась также, как и у Борщева и Гоглидзе — расстрельным приговором в 50-е за нарушения законности в 30-х-40-х гг.).

По данным историка М. Тумшиса, «перед прибытием Грибанова в Ульяновск местное УМГБ проверяла комиссия обкома ВКП(б) и признала работу местных чекистов неудовлетворительной. Комиссия установила, что «…не был разоблачен ни один агент англо-американских разведок, работа ведется старыми методами, дисциплина в Управлении не на должном уровне, поэтому имеют место аморальные поступки и нерадивое отношение к работе».

На родине Ленина Грибанов пробыл недолго. После смещения с должности и ареста в июле 1951 года министра госбезопасности Абакумова началась «чистка» в МГБ. Коснулась она и контрразведки. Были арестованы начальник 2-го Главка полковник Федор Шубняков, его заместитель генерал-лейтенант Леонид Райхман и другие контрразведчики. Нужны были новые кадры, способные заменить старых чекистов. 3 ноября 1951 года Грибанов вступает в должность и. о. заместителя начальника, а с 4 декабря того же года — заместителя начальника 2-го Главного управления (ВГУ) МГБ СССР. Непосредственным начальником Грибанова был заместитель министра — начальник ВГУ генерал-лейтенант Лаврентий Фомич Цанава, сменивший арестованного Шубнякова во главе контрразведки. Впрочем, уже в феврале 1952 года он был снят с должности, его планировали назначить начальником контрольной инспекции МВД, но уволили из органов госбезопасности вообще. Заместителем министра, начальником ВГУ в феврале 1952 года стал генерал-лейтенант Василий Степанович Рясной.

После смерти И.В. Сталина началась новая реорганизация органов госбезопасности, возвратился к руководству ими Л.П. Берия, генерал-лейтенанта Рясного во главе контрразведки сменил генерал-лейтенант Федотов. Полковник Грибанов продолжал все это время оставаться заместителем начальника контрразведки, теперь именовавшейся 1 — м управлением МВД СССР. Начало его службы в центральном аппарате МГБ было отмечено в сентябре 1952 года золотыми часами и месячным окладом («за образцовое выполнение важных заданий МГБ СССР»).

В качестве руководящего работника контрразведки он вошел в созданную приказом Берии одну из трех специальных следственных групп по пересмотру ряда дел («врачей-вредителей», бывших работников Главного артиллерийского управления Военного министерства СССР, «мингрельской националистической группы», «сионистской организации в МГБ»).

Группу по пересмотру дела бывших чекистов возглавил Грибанов. Вместе с ним в группу вошли (согласно приказу Берии) полковники П.В.Федотов (однофамилец начальника контрразведки) и Е.А. Цветаев (соответственно заместитель и помощник нового начальника Следственной части по особо важным делам МВД СССР, генерал-лейтенанта Л.Е. Влодзимирского). Приказ был отдан 13 марта 1953 года, группа обязывалась окончить работу через две недели — 27 марта. Уже 21 марта 1953 года большинство арестованных чекистов вышло на свободу, а генералы Утехин, Райхман, Эйтингон, Кузьмичев, полковники Шубняков и Свердлов вновь заняли руководящие посты в МВД СССР.