Если высшая власть теперь сосредоточилась фактически в единых руках Сталина и Молотова, то периферийные партийные органы, наоборот, начали значительно расширять, чтобы таким образом по возможности нивелировать привычное влияние старых первых секретарей обкомов и крайкомов. Так, решением Политбюро от 23 апреля 1937 года из-под контроля Сталинградского, Саратовского, Горьковского, Свердловского, Ленинградского обкомов, Орджоникидзевского и Восточно-Сибирского крайкомов вывели партийные организации автономных республик — Дагестанской, Кабардино-Балкарской, Северо-Осетинской, Чечено-Ингушской, Калмыцкой, Немцев Поволжья, Марийской, Мордовской, Чувашской, Удмуртской, Коми, Карельской и Бурят-Монгольской. Начиная с 1 июня 1937 года их подчинили непосредственно ЦК ВКП(б). На этом основании подняли ранг первых секретарей новых обкомов, уравняв их права с теми структурами, которым они ещё вчера подчинялись. Кроме того, очередным решением Политбюро Казахский крайком преобразовали в ЦК КП(б) Казахстана, а Киргизский обком — в ЦК КП(б) Киргизии. Закавказский крайком ликвидировали, а вместо него создали три ЦК компартий Азербайджана, Армении и Грузии. В результате вместо 5 стало 16 первых секретарей нацкомпартий. Все эти меры были направлены на размывание единства периферийного руководства, которому теперь значительно сложнее было договориться о противодействии сталинским реформам.

Помимо партийных органов, реорганизация коснулась и государственного аппарата. В условиях неумолимо приближавшейся войны вместо существовавшего с 1923 года Совета Труда и Обороны решением Политбюро от 25 апреля 1937 года был создан Комитет обороны при СНК СССР. В его функции входило решение ключевых вопросов, связанных с «объединением всех мероприятий и вопросов обороны» страны Советов. Председателем комитета стал председатель СНК СССР Молотов, а в качестве членов вошли секретарь ЦК Сталин, нарком путей сообщения Каганович, нарком обороны Ворошилов, заместитель председателя СНК СССР Чубарь, нарком оборонной промышленности М.Л. Рухимович и нарком тяжёлой промышленности В.И. Межлаук. Затем состав пополнили ещё кандидатами — зам. наркома обороны, начальником Политуправления РККА Я.Б. Гамарником, наркомом пищевой промышленности Микояном, секретарём ЦК Ждановым и наркомом внутренних дел Ежовым. Таким образом, был создан обладавший всеми юридическими правами властный орган, сосредоточивший все вопросы подготовки страны к будущей войне.

В целях обеспечения строгого контроля за всеми кадровыми назначениями Отделу руководящих партийных органов ЦК, возглавлявшемуся Маленковым, решением Политбюро от 11 мая 1937 года было поручено отныне утверждать в должностях всю номенклатуру не только партийных функционеров (секретарей ЦК нацкомпартий, крайкомов и обкомов), но и государственных служащих соответствующих рангов — наркомов СССР и союзных республик, их заместителей и начальников главков. Получилось, что теперь был образован как бы единый для всей страны своеобразный отдел кадров главных партийных и хозяйственных руководителей. Но и при этих условиях у Сталина, видимо, всё равно не было уверенности, что проводившиеся реформы не встретят сопротивления.

1 мая 1937 года страна в двадцатый раз отмечала праздник Солидарности трудящихся военным парадом и народной демонстрацией в Москве, на Красной площади. В опубликованном по этому случаю традиционном приказе наркома обороны отмечалось: «Победы социализма записаны ныне в великой Сталинской конституции СССР, открывающей новую полосу в строительстве советского государства. Сталинская конституция СССР знаменует собой расцвет подлинной советской демократии, ещё более тесную связь всех трудящихся масс с органами советской власти, обеспечивает ещё более широкое и всестороннее участие их в управлении своим собственным государством».

Теперь остаётся только гадать, насколько трудящиеся массы осознали тогда те права, которые гарантировала им новая Конституция, и что конкретно требовалось от них, чтобы их участие в управлении своим государством стало широким и всесторонним. Конечно, в прессе публиковались определённые материалы, но пока что всё варилось где-то в верхних эшелонах власти, не достигнув ещё понимания простых людей, от правильной деятельности которых многое должно было зависеть. При этом если силы троцкистов в партийных и советских органах, мешавшие проведению реформ, были в определённой мере ликвидированы, то это практически ещё не коснулось вооружённых сил. А в высшем руководстве армии находилось значительное количество военачальников, которые действовали в Гражданскую войну, с 1918 по 1924 год, под командованием Председателя Реввоенсовета республики и наркома по военным и морским делам Троцкого и являлись его ставленниками и сторонниками.

Всё началось с целенаправленных перемещений в высшем начсоставе Красной Армии, сообщение о которых появилось в газете «Красная звезда» 11 мая 1937 года. Самым главным в кадровой чехарде оказалось то, что Туха-невский с должности зам. наркома был направлен из столицы в далёкий провинциальный город командующим войсками Приволжского военного округа, а на его место в НКО назначен Б.М. Шапошников.

Другим важным актом явилось создание военных советов при командующих военными округами, в результате чего восстанавливался жёсткий партийный контроль над начальствующим составом армии. А во всех войсковых частях, начиная с полка и выше, и в учреждениях НКО воссоздавался отменённый в декабрю 1934 года институт военных комиссаров. Тем самым, надо понимать, вместо уволенных ранее революционеров в помощь командирам приходили политработники новой формации.

Пока что все перемещения в НКО производились по решению комиссии Политбюро, образованной 14 апреля, как бы в порядке ротации, без предъявления каких-либо обвинений, хотя и могли свидетельствовать об имевшихся сомнениях в безусловной лояльности к правительству высшего начсостава армии. Тем более что 3 мая 1937 года был арестован комбриг запаса М.Е. Медведев, являвшийся одним из основных подозреваемых по «Кремлёвскому делу». Показания Медведева и находившегося под следствием Ягоды позволили завершить определение круга участников военно-политического заговора под прежним кодовым названием «Клубок». Помимо связи с Троцким, принимались во внимание и контакты нашего военного руководства с германским вермахтом.

Аресты военных начались 21 мая 1937 года, когда отправили за решётку начальника Управления боевой подготовки РККА комкора К.А. Чайковского и начальника Управления связи комкора Р.В. Лонгву. На следующий день арестовали кандидата в члены ЦК маршала Тухачевского и председателя ОСОАВИАХИМа комкора Р.П. Эйдемана. Далее в конце мая последовательно взяли начальника военных сообщений комкора Э.Ф. Аппогу, начальника артиллерийского управления комкора Н.А. Ефимова, члена ЦК командарма I ранга И.Э. Якира, кандидата в члены ЦК командарма I ранга И.П. Уборевича. 31 мая у себя дома застрелился член ЦК, армейский комиссар I ранга Я.Б. Гамарник. Всего за май было репрессировано 82 военнослужащих высшего начсостава. А всего с лета 1936 года арестовали 131 военнослужащего того же ранга.