Неоценимую роль в деле дальнейшей централизации органов прокуратуры сыграло первое Всесоюзное совещание судебных и прокурорских работников. Оно открылось 23 апреля 1934 года в здании Прокуратуры Союза ССР. Доклад «Решения XVII партсъезда и задачи органов юстиции» сделал Прокурор Союза ССР И. А. Акулов. В своем полуторачасовом выступлении он остановился на всех наиболее актуальных вопросах практической деятельности прокуроров, судей и народных следователей, проанализировал задачи, стоящие перед органами юстиции на современном этапе, обратив особое внимание участников совещания на целом ряде «недочетов и извращений» и предложив конкретные меры по их устранению. Как писала тогда пресса, «докладчик говорил просто, без малейшей погони за вычурной красной фразой».

В руководстве работой прокуратуры на местах И. А. Акулов проявлял большую оперативность и требовал этого же от своих подчиненных. Он был противником «бумажного руководства», очень быстро подмечал самые больные вопросы, на которые всегда остро реагировал. В целях коллективной выработки наиболее важных решений, И. А. Акулов организовал в Прокуратуре СССР так называемое оперативное совещание, порядок работы которого определялся специальным приказом (прообраз будущей коллегии).

При И. А. Акулове Прокуратурой Союза ССР был учрежден собственный журнал «За социалистическую законность» (позднее стал называться «Социалистическая законность», а в настоящее время — «Законность»). Первый номер журнала был подписан в печать в конце января 1934 года. Ответственным редактором его стал Акулов.

1 декабря 1934 года в Смольном выстрелом из револьвера был убит член Президиума ЦИК СССР и Политбюро ЦК ВКП(б), секретарь Центрального и Ленинградского областного комитетов ВКП(б) Сергей Миронович Киров. Его убийцу Л. В. Николаева задержали на месте преступления.

Расследование этого дела — одна из самых темных страниц истории советской прокуратуры. Прокурор Союза ССР И. А. Акулов оказался в полной зависимости от работников НКВД, которые разрабатывали только ту версию убийства, которую выдвинул И. В. Сталин. Он не противодействовал незаконным методам ведения следствия и фактически потворствовал нарушителям законности. Формально Акулов, его заместитель Вышинский и следователь Шейнин также допрашивали обвиняемых, но допросы сводились лишь к оформлению предварительно «выбитых» показаний.

Трагические события, происшедшие 1 декабря 1934 года, фактически развязали руки властям для организации массовых репрессий по всей стране. Но чтобы не проводить их без оглядки на строгие рамки законности, нужно было срочно изменить сам закон. Уже в день убийства С. М. Кирова Сталин распорядился подготовить соответствующий документ. На следующий день было опубликовано постановление, принятое ЦИК СССР 1 декабря 1934 года, «О внесении изменений в уголовно-процессуальное законодательство», подписанное М. И. Калининым и А. С. Енукидзе (текст постановления собственноручно писал нарком внутренних дел Г. Г. Ягода, а редактировал И. В. Сталин). Новый закон был предельно кратким, жестоким и беспощадным. Он устанавливал, что по делам о террористических актах следствие должно заканчиваться в срок не более 10 дней, а обвинительное заключение — вручаться за сутки до рассмотрения дела в суде; эти дела слушались без участия сторон (то есть без прокурора и адвоката), по ним не допускались ни кассационное обжалование, ни подача ходатайства о помиловании. Приговор к высшей мере наказания приводился в исполнение немедленно. Другими словами, подсудимый полностью отдавался в руки судей, которые и решали его судьбу. Судьи же целиком зависели от властей. Ошибку (если даже она и была бы признана) исправить было уже невозможно.

Все это являлось ни чем иным, как полным попранием самых элементарных принципов советского судопроизводства, переводом процесса на откровенно инквизиционные рельсы. Однако юридическая печать с восторгом сообщала в то время, что «этим законом в руки советской юстиции дано острое оружие», силу которого «дадут почувствовать врагам народа со всею пролетарской твердостью и непоколебимостью». Увы! Это оружие было обращено не только, и не столько, против врагов, сколько против тысяч безвинных людей, попавших в маховик такого «правосудия».

К раскручиванию этого молоха приложил руку и Прокурор Союза ССР И. А. Акулов, который спустя несколько лет сам попадет под него. 8 декабря 1934 года он совместно с Председателем Верховного суда СССР А. Н. Винокуровым подписал директиву о применении на практике постановления ЦИК СССР от 1 декабря. В ней дан перечень должностных лиц, покушение на жизнь и здоровье которых должно квалифицироваться как террористический акт и рассматриваться в порядке указанного закона. Директива придавала обратную силу закону от 1 декабря 1934 года, то есть распространяла его на те деяния, которые были совершены до его принятия.

Иван Алексеевич Акулов занимал пост Прокурора Союза ССР до марта 1935 года. Он пользовался у своих подчиненных неизменной симпатией. Вот что писал о нем бывший сотрудник Прокуратуры Союза ССР Н. А. Орлов: «Акулов был в полном смысле слова обаятельным человеком, человеком широкой русской души. Любил жизнь, природу. Уезжая в отпуск, любил путешествовать, узнавать и показывать другим новые, красивые места, был тонким ценителем искусства, любил и понимал музыку. Дома это был идеал семьянина, необыкновенно любящий отец. Он высоко ценил дружбу, умел дружить и был верным, надежным другом».

Видимо, эти его качества и не понравились Сталину. И хотя Акулов, как и другие лица, стоявшие на вершине власти, слепо выполнял все требования (даже противоречащие закону), вождь понимал, что на посту Прокурора Союза ССР нужен не такой человек. И. А. Акулов, интеллигентный и мягкий, явно не подходил для роли организатора массовых репрессий.

Постановлением ЦИК СССР от 3 марта 1935 года (подписано М. Калининым и И. Уншлихтом) И. А. Акулов был утвержден секретарем ЦИК СССР с освобождением от обязанностей Прокурора Союза ССР.