Постановлением ЦИК и СНК СССР от 20 июня 1933 года была учреждена Прокуратура Союза ССР. Первым Прокурором СССР стал Иван Алексеевич Акулов, известный революционер, партийный и советский деятель, но в то же время человек, далекий не только от прокурорской, но и вообще от юридической деятельности. На этот пост мог претендовать и Н. В. Крыленко, однако его обошли. Он продолжал руководить Наркоматом юстиции РСФСР и в 1935 году все еще находился на вершине славы. К этому времени Крыленко имел ордена Ленина и Красного Знамени (награжден в 1933 году) и был исключительно популярен в народе.

На 1935 год пришлись два юбилея Н. В. Крыленко — 30-летие его активной революционной и профессиональной деятельности и 50-летие со дня рождения. В печати было опубликовано много приветственных статей и поздравлений. В одном из них отмечалось: «Мечом и пером, делом и пламенным словом т. Крыленко отстаивал и отстаивает партийные позиции в борьбе против врагов революции, открытых и тайных».

Н. В. Крыленко был человеком разносторонних интересов. Среди советских прокуроров трудно найти другого, который имел бы такие далекие от юриспруденции интересы, и в которых он достиг подлинного мастерства. К 50 годам Н. В. Крыленко был не только лидером в юридической науке и практике (список его трудов приближается к сотне), но и признанным мастером-альпинистом, не раз (даже в одиночку) штурмовавшим неприступные горные вершины. О своих походах он написал несколько книг. Он активно занимался развитием туризма в стране, руководил обществом охотников и шахматной организацией страны.

В 1936 году Н. В. Крыленко занял высокий пост наркома юстиции Союза ССР.

Приближался 1937 год — год массовых репрессий. 5 декабря 1936 года принимается новая Конституция СССР, названная «сталинской». Николай Васильевич Крыленко находится в самом расцвете сил. Казалось бы, такой пламенный революционер, незаурядный человек, искренне преданный идеям большевизма и доказавший это всей своей деятельностью, должен был бы рассчитывать на звездную карьеру. Но этого не случилось.

К этому времени у Николая Васильевича была уже большая семья: вторая жена, Зинаида Андреевна Железняк, и четверо детей: сыновья Сергей и Николай, и дочери Ирина и Марина.

Над головой Н. В. Крыленко плотно сгущались грозовые облака. 26 июля 1937 года был арестован его брат, Владимир Васильевич, работавший на Уралмедстрое заместителем главного инженера (расстрелян в марте 1938 года).

В конце 1937 года в ЦК ВКП(б) «неожиданно» стали поступать письма и заявления, в которых основательно чернилась деятельность Н. В. Крыленко. В одном из них на имя Мехлиса (копия предусмотрительно была направлена и в Секретариат И. В. Сталина), озаглавленном «О хамах и иудах», сообщалось, что Крыленко груб по отношению к посетителям, а его «неистовый крик, топанье ногами, угрозы, стопудовые остроты… общеизвестны», что любимым изречением наркома было «расстрелять», произносимое им через неоднократное «р-р-р» и «металлическим» («под Троцкого») голосом». Доносчик припомнил одну фразу якобы произнесенную Крыленко, бывшим тогда прокурором республики и одновременно руководителем Союза охотников: «Мне дан мандат и на зверей, и на людей».

12 января 1938 года открылась 1-я сессия Верховного Совета СССР, избранного на основе новой Конституции СССР. При формировании Правительства СССР выступили ряд делегатов. В своей речи депутат М. Д. Багиров (выполняя данную ему установку) подверг резкой критике деятельность наркома юстиции СССР Н. В. Крыленко. В новое правительство Николай Васильевич уже не вошел.

Органы НКВД составили справку на его арест еще 15 декабря 1937 года, но выжидали. Ход ей был дан только после окончания сессии. В ней отмечалось, что Крыленко «является активным участником антисоветской организации правых и организованно был связан с Бухариным, Томским и Углановым. С целью расширения антисоветской деятельности насаждал контрреволюционные кадры правых в наркомате. Лично выступал в защиту участников организации и проталкивал буржуазные теории в своей практической работе». Далее указывалось, кем именно он изобличается. Из приведенных высказываний усматривалось следующее. Н. В. Крыленко считал, например, что ЦК пытается обмануть страну, скрывая истинное положение дел, что руководство страной и партией оказалось в руках людей, не понимающих значение закона и свое усмотрение ставящих выше закона, что страна быстро катится к личному режиму и крепко заинтересована в скорейшей смене этого руководства. Сталина Н. В. Крыленко называл диктатором, загнавшим страну в тупик, и считал, что он должен быть снят с поста Генерального секретаря.

31 января 1938 года нарком внутренних дел Н. И. Ежов начертал на этой справке лаконичную резолюцию: «Арестовать». В тот же день его заместитель Фриновский подписал ордер на арест Н. В. Крыленко и на производство у него обыска.

В ночь на 1 февраля 1938 года Николая Васильевича арестовывают в своей квартире в доме № 25 по Новинскому бульвару. Так начался непродолжительный, но самый трагичный период его жизни.

Следствием по делу Н. В. Крыленко занимался сотрудник госбезопасности Коган. Он и произвел первый допрос бывшего наркома. Однако «признательные» показания Николая Васильевича появились в деле только 3 февраля 1938 года. Причем они даже не были оформлены официальным протоколом. Это было заявление Крыленко, адресованное наркому внутренних дел Н. И. Ежову и написанное на разрозненных листках бумаги. В нем он писал: «Я признаю себя виновным в том, что с 1930 года я являюсь участником антисоветской организации правых. С этого же года начинается моя борьба с партией и ее руководством. Антипартийные шатания я проявил еще в 1923 году по вопросу внутрипартийной демократии. Если в этот период я из своих взглядов никаких организационных выводов не сделал, то внутреннее недовольство положением в партии не изжилось. Организационной связи с троцкистами я тогда не имел, организационной борьбы с партией не вел, но оставался человеком оппозиционно настроенным на протяжении ряда лет…»

Далее он подробно излагал, в чем конкретно заключалась его «вредительская» деятельность. Свое заявление закончил так: «Признаю целиком и полностью громадный вред причиненный моей антисоветской деятельностью делу строительства социализма в СССР».

Несмотря на столь обширное заявление с признанием своей «вины», первый протокол допроса Н. В. Крыленко был оформлен лишь спустя два месяца, 3 апреля 1938 года. Он был отпечатан на машинке на 26 листах. И хотя после этого Николай Васильевич неоднократно вызывался к следователю, второй протокол допроса (машинописный текст составил 30 листов) датирован лишь 28 июля 1938 года. Крыленко придерживался своих признательных показаний и даже назвал 30 человек, которых он якобы вовлек в организацию правых.

Примерно за 10 дней до окончания следствия его делом стал заниматься сотрудник госбезопасности Аронсон. Он заканчивал дело сверхспешно (видимо, поступило такое указание). 28 июля 1938 года Аронсон предъявил Крыленко обвинение в контрреволюционной деятельности и в тот же день состоялось подготовительное заседание военной коллегии Верховного суда СССР под председательством Ульриха (обвинительное заключение было составлено загодя, так как Рогинский поставил на нем дату: «27 июля 1938 года»).