31 мая 1939 года М. И. Панкратьев занял кабинет Прокурора Союза ССР в здании на Пушкинской улице. На высоком посту он пробыл немногим более года. Жена Панкратьева, Ольга Сергеевна, рассказывала: «Михаила назначили на эту должность в страшное время. Шли аресты и расстрелы людей, занимавших высокие посты. Телефон в нашей квартире на Ленинском проспекте звонил, не умолкая, хоть совсем его срезай, да нельзя. По сто раз на дню: «Помогите с Михаилом Ивановичем встретиться, умоляю!» Мне было запрещено отвечать, и я молча вешала трубку. Все равно повлиять на мужа никак не могла. Бакинский прокурор, с которым когда-то жили в одном доме, был арестован. Его жена все время искала со мной встречи. Я жалела ее, рассказывала мужу, как она убивается, спрашивала, можно ли ей помочь. Михаил закрыл эту тему раз и навсегда. Говорить дома о его работе было запрещено… С какого-то времени Михаил стал просить, чтобы в доме был коньяк, чтоб, когда он придет с работы — бутылка стояла. Так всю ночь, бывало, за бутылкой и просидит. А когда я забывала поставить, сердился: «Ты пойми, Оля, мне хоть рюмочку, но обязательно надо выпить». Сколько санкций на арест и расстрел ему приходилось подписывать! Неимоверное количество! Он много подписывал, но и на пересмотр много отсылал. Не терпел никакой неясности. Когда его секретарь спрашивала, что делать с неподписанными доносами и жалобами, которые шли мешками, орал: «Рвать, не читая!» Анонимки приводили мужа в ярость, его трясло. А как еще прикажете реагировать, когда от твоей подписи зависят столько жизней? У него голова шла кругом».

За то непродолжительное время, в течение которого Панкратьев возглавлял Прокуратуру Союза ССР, он сумел провести целый ряд мероприятий, направленных на активизацию прокурорского надзора на всех важнейших участках работы. В отличие от своего предшественника А. Я. Вышинского, часто пускавшего пыль в глаза, делавшего ставку на раскручивание помпезных политических процессов, новый Прокурор Союза ССР занимался в основном будничной, повседневной работой органов прокуратуры. Поэтому его деятельность не была столь броской и эффектной, и с первых же дней стала вызывать нарекания у высшего руководства страны. Достаточно отметить, что вскоре после его назначения Комиссия партийного контроля при ЦК ВКП(б) проверила работу Прокуратуры СССР по рассмотрению жалоб, направленных из партийных органов, и нашла ее крайне запущенной. И хотя было совершенно очевидно, что все недостатки следовало бы отнести на счет бывшего Прокурора Союза ССР Вышинского, тем не менее Бюро КПК при ЦК ВКП(б) 8 июля 1939 года приняло решение указать Прокурору СССР Панкратьеву на то, что он «не принял до сих пор мер к ликвидации преступного отношения некоторых работников прокуратуры к жалобам и заявлениям» и проявил «медлительность в наведении порядка в работе аппарата Прокуратуры СССР». Подписал это решение председатель КПК при ЦК ВКП(б) Андреев.

С 26 по 29 января 1940 года в Прокуратуре Союза ССР состоялось первое Всесоюзное совещание прокуроров по общему надзору. В нем приняли участие начальники отделов общего надзора прокуратур союзных республик, 2 автономных республик, 17 областей, некоторые областные, городские и районные прокуроры, работники центральных аппаратов Прокуратуры Союза ССР и Прокуратуры РСФСР. Вскоре после этого, в марте и мае 1940 года М. И. Панкратьев провел еще ряд крупных мероприятий — всесоюзные совещания прокуроров морского и речного флота и прокуроров уголовно-судебных отделов и др.

Как прокурор Союза ССР Панкратьев не пользовался уважением и популярностью у своих коллег. Уже через несколько месяцев после его назначения на этот пост некоторые старейшие работники центрального аппарата обратились с письмом к секретарю ЦК ВКП(б) А. А. Жданову. Они писали о том, что постановление СНК СССР и ЦК ВКП(б) от 17 ноября 1938 года «Об арестах, прокурорском надзоре и ведении следствия» указало на «грубейшие искривления советских законов органами НКВД и обязало эти органы и прокуратуру не только прекратить эти преступления, но и исправить грубые нарушения законов, которые повлекли за собой массовое осуждение ни в чем неповинных, честных советских людей к разным мерам наказания, а зачастую и к расстрелам». И далее: «Эти люди — не единицы, а десятки и сотни тысяч — сидят в лагерях и ждут справедливого решения, недоумевают, за что они были арестованы и за что, по какому праву мерзавцы из банды Ежова издевались над ними, применяя средневековые пытки».

В письме напоминалось, что вместо мобилизации всех усилий на немедленное выправление «преступной линии мерзавца Ежова и его преступной клики» происходит обратный процесс и что пришедший на смену Вышинскому Панкратьев «не может обеспечить проведение в жизнь» решения СНК СССР и ЦК ВКП(б) от 17 ноября 1938 года «в силу своей неавторитетности в прокурорской среде, а особенно в глазах работников НКВД». Это наглядно проявлялось, по их мнению, в его участии в заседаниях Особого совещания, где «решающее значение и окончательное слово» принадлежит не представителю надзора — прокурору, а Берии и его окружению. «Присутствующий на этих совещаниях т. Панкратьев, — отмечалось в письме, — склоняет голову перед кандидатом в члены Политбюро т. Берией и молчаливо соглашается с явно неправильными решениями. Таким путем проваливаются на особых совещаниях правильные и законные протесты Прокуратуры СССР при прямом попустительстве Прокурора СССР т. Панкратьева… Подобная практика дезориентировала аппарат Прокуратуры СССР, тех честных прокуроров, которые непосредственно проверяют эти вопиющие дела, проводят за ними бессонные ночи и болеют за советских людей, невинно осужденных ежовской бандой».

Прокуроры просили секретаря ЦК ВКП(б) Жданова «взяться за это дело первостепенной важности и, если нет никакой возможности изменить преступную практику, прививаемую в стенах НКВД, переменить систему, возложить на прокуратуру пересмотр дел, неправильно решенных ежовской бандой, без участия в этих делах «авторитета» т. Берии, который вольно или невольно культивирует защиту «чести мундира» работников НКВД во что бы то ни стало. Подумайте только, — продолжали они, — что сотни тысяч людей, ни в чем неповинных, продолжают сидеть в тюрьмах и лагерях, а ведь прошел почти год со дня решения ЦК партии. Неужели это никого не беспокоит? Поговорите с прокурорами специальных прокуратур (железнодорожной, водной), и они Вам расскажут факты, от которых волосы встают дыбом, и покажут эти «дела», этот позор для Советской власти». Наряду с этим прокуроры просили «исправить грубейшую ошибку» с назначением Панкратьева. «Дайте нам высокоавторитетного руководителя, способного дать по рукам и Берии».

Конечно, это обращение ничего не изменило ни в положении самих прокуроров, ни в отношении к органам прокуратуры со стороны властей. Панкратьев продолжал оставаться на посту Прокурора Союза ССР, а НКВД по-прежнему вершил свои дела.

В силу целого ряда обстоятельств, в том числе и личностного плана (низкий общеобразовательный уровень, недостаточная твердость, простодушие, неумение эффектно преподнести властям свою работу, что особенно ярко проявилось на фоне такого человека, каким был А. Я. Вышинский, — блестящего оратора и эрудита, изворотливого и хитрого, когда нужно — беспощадного), М. И. Панкратьев не мог, конечно, долго удержаться в кресле Прокурора СССР. Формальным поводом для освобождения его от занимаемой должности 7 августа 1940 года стало якобы необеспечение руководства работой прокуратуры по выполнению Указа Президиума Верховного Совета СССР от 26 июня 1940 года «О переходе на восьмичасовой рабочий день, на семидневную рабочую неделю и запрещении самовольного ухода рабочих и служащих с предприятий и учреждений».

Ольга Сергеевна вспоминала: «Я узнала о том, что его сняли, из газет и сразу вылетела к нему из Сочи. Он очень переживал, но старался не подавать виду. Говорил: «Не волнуйся, за мной ничего нет, я кристально чист. Вы с Алечкой можете спать спокойно».

Вскоре для М. И. Панкратьева нашлась подходящая должность (конечно, со значительным понижением, но все же номенклатурная) в системе Наркомата юстиции СССР. Нарком Н. М. Рычков внес представление в ЦК ВКП(б) об утверждении его в должности заместителя начальника управления военных трибуналов Наркомата юстиции СССР. Просьбу поддержали ответственные работники управления кадров ЦК ВКП(б). В записке по этому вопросу отмечалось, что при проверке работы Прокуратуры Союза ССР, в связи с передачей дел новому Прокурору СССР, «крупных недочетов в работе прокуратуры не обнаружено», и что Панкратьев, по их мнению, с новой работой справится. В личной беседе, состоявшейся в ЦК ВКП(б), Панкратьев заявил, что предлагаемая работа в аппарате Народного комиссариата юстиции его вполне удовлетворяет. Назначение М. И. Панкратьева на новую должность состоялось в октябре 1940 года.