Как через 20 лет сформулировали сотрудники Комитета партийного контроля при ЦК КПСС, Федотов и другие чекисты «активно участвовали в фальсифицировании обвинений на многих партийных и советских работников Армении, применяли к арестованным меры физического и морального воздействия». В результате погибли 1-й секретарь ЦК Армении Амаяк Аматуни, многие другие руководители республики, бывший председатель СНК Саак Тер-Габриэлян (в прошлом чекист, председатель ЧК Бакинской коммуны в 1918 г., заведующий Специальным (экономическим) отделом ВЧК в 1919 г.) во время допроса выбросился из окна (или был убит следователями); это происшествие вызвало подозрения Сталина.

В 1937–1938 гг. Федотов также вел следствие по делам бывшего полпреда СССР в Норвегии и Венгрии Александра Бекзадяна, бывшего первого секретаря ЦК КП(б) Киргизии Максима Аммосова и других крупных руководителей, расстрелянных и через 20 лет реабилитированных, что сыграло роль в последующей судьбе Петра Васильевича.

При новом наркоме Л.П. Берия (с сентября 1938 г.) сменяемость руководства 2-го отдела ГУГБ также была частой, но уже не сопровождалась репрессиями. Должность начальника отдела занимали старший майор ГБ (затем комиссар ГБ 3 ранга) Богдан Захарович Кобулов (сентябрь 1938 — июль 1939) и старший майор ГБ Иван Александрович Серов (июль-сентябрь 1939). После отъезда Серова на Украину 4 сентября 1939 г. отдел возглавил майор ГБ П.В. Федотов, в апреле этого года награжденный орденом Красного Знамени.

На декабрь 1939 г. структура 2-го (секретно-политического) отдела ГУГБ НКВД СССР включала в себя 12 отделений:

1-е — разработка троцкистов, зиновьевцев, правых оппозиционеров, мясниковцев, шляпниковцев, исключенных из ВКП(б), закордонная работа (начальник — капитан ГБ Яков Наумович Матусов;

2-е — разработка бывших меньшевиков, анархистов, эсеров, бундовцев, клерикалов, провокаторов, жандармов, контрразведчиков, карателей, белоказаков, монархистов;

3-е — борьба с украинской, белорусской, карело-финской националистической оппозицией;

4-е — агентурная разработка антисоветских партий дашнаков, тюркско-татарских националистов, грузинских меньшевиков, муссаватистов;

5-е — разработка литераторов, работников печати, издательств, театров, кино, деятелей культуры и искусства;

6-е — разработка и обслуживание Академии наук, научно-исследовательских институтов, научных обществ;

7-е — выявление и разработка антисоветских организаций учащейся молодежи, системы Наркомпроса, детей репрессированных;

8-е — обслуживание системы Наркомздрава и его учебных заведений;

9-е — обслуживание системы Наркомюста, Верховного суда, Прокуратуры, Наркомсобеса и их учебных заведений;

10-е — борьба с церковно-сектантской контрреволюцией;

11-е — обслуживание системы физкультурных организаций, добровольных обществ, клубов, спортивных издательств;

12-е — обслуживание Осоавиахима, милиции, пожарной охраны, военкоматов, начсостава запаса.

Федотов возглавлял СПО до февраля 1941 г., когда при образовании НКГБ Секретно-политический отдел упраздненного ГУГБ НКВД СССР вошел в состав вновь созданного наркомата в качестве 3-го (секретно-политического) управления. Начальником управления был назначен комиссар ГБ 3 ранга Соломон Рафаилович Мильштейн, ранее возглавлявший Главное транспортное управление НКВД (уже 11 марта 1941 г. его сменил зам. начальника управления Николай Дмитриевич Горлинский).

Будучи хорошим специалистом, Федотов по совместительству с марта 1939 г. был председателем предметно-методической комиссии и лектором Высшей школы НКВД СССР по агентурно-оперативной работе.

В этот период он был награжден орденом «Знак Почета» (апрель 1940 г. вместе с группой чекистов «за выполнение заданий правительства по охране госбезопасности») и медалью «XX лет РККА» (1938 — первой из 6 медалей, полученных им за службу).

26 сентября 1940 г., оставаясь начальником 2-го отдела, комиссар ГБ 3 ранга (с марта 1940 г.) Федотов возглавил контрразведку — 3-й отдел ГУГБ НКВД СССР. С этого началось объединение контрразведки общей и секретно-политической, которое затем проводилось еще раз в 1943 году.

Федотов после реорганизации с 25 февраля 1941 г. становится начальником 2-го Управления НКГБ СССР (КРУ), одновременно, с апреля того же года, входит в Центральную наградную комиссию НКГБ СССР.

Его заместителями были назначены Т.Н. Корниенко, Л.И. Новобратский, Л.Е. Влодзимирский, Н.Д. Горлинский, Т.М. Борщев. После объединения НКГБ и НКВД 31 июля 1941 г. контрразведка стала именоваться 2-м управлением НКВД. Начальником контрразведки в течение всей войны был П.В. Федотов, его первым заместителем — Леонид Федорович Райхман (в июле 1945 г. обоим было присвоено воинское звание «генерал-лейтенант»), В случае падения столицы Федотов должен был остаться на нелегальном положении в Москве и координировать работу всех 36 диверсионно-разведывательных групп, организованных чекистами для подпольной работы против фашистов. Эти группы насчитывали 243 человека, из них 78 — готовили для выполнения актов индивидуального террора и 32 — для диверсий.

Представление о задачах советской контрразведки во время войны дает структура 2-го управления НКВД СССР (май 1942 г., 227 сотрудников по штату):

руководство (начальник и его заместители);

секретариат;

оперативно-учетная группа.

1-й отдел (начальник П.П. Тимофеев) :

1-е отделение (очистка освобождаемых от немецко-фашистских захватчиков городов и районов от нацистской агентуры и организация собственной агентурной работы в этих районах), начальник М.В. Подольский (33);