Ольский же с 1931 г. руководил Главным управлением столовых, кафе и ресторанов Наркомснаба-Наркомвнуторга СССР, с 1936 г. — член Совета при наркоме внутренней торговли СССР. На VII съезде Советов (март 1935 г.) избирался членом ЦИК СССР.

Был также членом Московского комитета ВКП(б) и Моссовета.

В сентябре 1935 г. член Политбюро и секретарь ЦК партии, нарком путей сообщения СССР Л.М. Каганович просил И. В. Сталина согласия на переход Я.К. Ольского в НКПС начальником отдела пассажирских перевозок. Сталин ответил ему в письме: «Ольский ведет большую и серьезную работу по народному питанию. Перевод его в НКПС означал бы серьезный урон для Нарпита… Я решительно против снятия Ольского с Нарпита». Тем не менее с конца 1936 г. в центральной печати развернулась кампания критики Ольского и возглавляемого им Главного управления.

В 1936 г. начались первые аресты чекистов польского происхождения. Историк органов госбезопасности полковник В.Н. Хаустов освещает историю вопроса:

«Первым звеном в цепи разоблачений польских «шпионов», внедрившихся в органы государственной безопасности, стало дело Маковского — заместителя начальника Особого отдела Управления НКВД Омской области, а до этого — резидента советской разведки, работавшего в Польше. Как и большинство других сотрудников-поляков, Ю.И. Маковский был принят на службу в органы по распоряжению Ф.Э. Дзержинского. Надо сказать, что значительную часть сотрудников контрразведывательного отдела ГУГБ НКВД СССР, работавших по польской линии, составляли поляки (Сосновский И.И., Баранский К.С. и другие), некоторые из которых в прошлом были кадровыми сотрудниками спецслужб Польши. Маковского арестовали в феврале 1936 г. На конспиративной квартире за рубежом в его сейфе оказалось гораздо больше денег, чем он указал, и, кроме того, там хранились письма от его сестры, жившей в Польше. В этих письмах, относящихся к 1926 г., среди знакомых упоминались видные государственные чиновники польского государства. Все это дало основания для подозрений.

Ягода в письме к Сталину, проявившему интерес к этому делу, попытался заступиться за Маковского, отмечая, что в период его деятельности не произошло провалов, хотя и случались некоторые нарушения конспирации. Ягода направил свое письмо 3 февраля, а 7 февраля Сталину по этому же вопросу пишет записку Ежов. Проявляя политическую бдительность, он фактически плетет интригу против Ягоды, неоднократно повторяя: «тов. Ягода не сообщает» и пытаясь внушить Сталину, что Маковский имел связи с польской разведкой. Понимая полную бездоказательность своих утверждений, он заявляет о «нецелесообразности ведения следствия в Особом отделе Главного управления государственной безопасности, где работал Ю. Маковский и где у него есть друзья». Нужно отдать должное личному мужеству Ю. Маковского, который в течение полутора лет отрицал все выдвинутые против него обвинения.

Ежов, заместивший в сентябре 1936 г. Ягоду на посту наркома внутренних дел, резко усилил кампанию борьбы с польским шпионажем. В ноябре-декабре 1936 года были арестованы еще один бывший резидент советской разведки в Польше В. Илинич и бывший заместитель начальника Особого отдела ГУГБ НКВД СССР И.И. Сосновский. В процессе следствия к ним применялись методы физического воздействия, и в результате оба сознались, что принадлежали к ПОВ и выполняли задания разведорганов Польши. На февральско-мартовском пленуме ЦК ВКП(б) 1937 г. и Сталин и Ежов, сообщая о разоблачении работников Главного управления государственной безопасности НКВД СССР, оказавшихся якобы польскими шпионами, назвали Маковского и Илинича.

Позже сотрудники Коминтерна и НКВД под пытками назовут сотни других поляков — «соучастников шпионской деятельности».

11 августа 1937 г. появилось закрытое письмо ГУГБ НКВД СССР «О фашистско-повстанческой, шпионской, диверсионной и террористической деятельности польской разведки в СССР», подписанное Ежовым и разосланное народным комиссарам внутренних дел союзных республик, начальникам Управлений НКВД автономных республик, областей и краев. В нем говорилось:

«НКВД Союза вскрыта и ликвидируется крупнейшая и, судя по всем данным, основная диверсионно-шпионская сеть польской разведки в СССР, существовавшая в виде так называемой "Польской организации войсковой"» <…>.

Активная антисоветская работа организации велась по следующим основным направлениям:

1. Подготовка, совместно с левыми эсерами и бухаринцами, свержения советского правительства, срыва Брестского мира, провоцирование войны РСФСР с Германией и сколачивание вооруженных отрядов интервенции (1918 г.).

2. Широкая всесторонняя подрывная работа на Западном и Юго-Западном фронтах во время советско-польской войны, с прямой целью поражения Красной Армии и отрыва УССР и БССР.

3. Массовая фашистско-националистическая работа среди польского населения СССР в целях подготовки базы и местных кадров для диверсионно-шпионских и повстанческих действий.

4. Квалифицированная шпионская работа в области военной, экономической и политической жизни СССР при наличии крупнейшей стратегической агентуры и широкой средней и низовой шпионской сети.

5. Диверсионно-вредительская работа в основных отраслях оборонной промышленности, в текущем и мобилизационном планировании, на транспорте, в сельском хозяйстве; создание мощной диверсионной сети на военное время как из числа поляков, так и, в значительной степени, за счет различных не польских элементов.

6. Контактирование и объединение диверсионно-шпионских и иных активных антисоветских действий с троцкистским центром и его периферией, с организацией правых предателей, с белорусскими и украинскими националистами на основе совместной подготовки свержения советской власти и расчленения СССР.

7. Прямой контакт и соглашение с руководителем военно-фашистского заговора предателем Тухачевским в целях срыва подготовки Красной Армии к войне и для открытия нашего фронта полякам во время войны.