Пробным шаром от московских чиновников был телеграфный запрос к смоленскому прокурору Стремоухову о переводе в тюрьму задержанных офицеров. Тот отвечал, что не может добиться от начальника артиллерии Гренадерского корпуса разрешения на этот перевод. Прокурор Московской судебной палаты обратился к Министру юстиции с просьбой заменить следователя Громова, так как из Смоленска пришли сведения о том, что оный Громов по заступлении на свою нынешнюю должность имеет тесные сношения с людьми из революционных партий. Следователь по важнейшим делам открыто говорит, что разгром вяземской тюрьмы есть лишь один из актов освободительной борьбы и задержанные вожди сего погрома должны подлежать амнистии. По делу о попытке избиения евреев в Смоленске группой прогрессистов, руководство которой приписывают смоленскому купцу Рыжикову, следователь Громов во всеуслышание заявлял о своём мнении об аресте купца Рыжикова и содержания его в тюрьме до конца следствия.

Московский прокурор указывал и на бурную личную жизнь следователя Громова. Ещё на прежней своей должности в Нижегородской губернии Громов имел связь с крестьянкой, с которой вне брака прижил несколько детей. Эту женщину он перевёз с собой в Смоленск. Смоленский прокурор докладывал в Москву, что Громов часто пьянствует и в пьяном виде с револьвером гоняется за своей гражданской женой, угрожая убить её или отправить назад в Нижний Новгород по этапу. В отношении следователя по важнейшим делам Громова Министерство юстиции начало расследование, подключив к нему и жандармское управление.

17 марта 1906 года в половину четвёртого пополудни в Смоленске на Большой Вознесенской улице у Дворянского пансиона выстрелом из револьвера в спину был убит помощник начальника Смоленского губернского жандармского управления подполковник Михаил Кузьмич Гладышев. По словам очевидицы преступления смоленской мещанки Марфы Лаврентьевны Васильевой, убийца (молодой человек, русской наружности, среднего роста, в чёрном утеплённом пиджаке, чёрном же картузе и русских высоких сапогах) после выстрела бросил оружие на землю и убежал в сторону Малой Вознесенской. Раненый Гладышев смог пробежать несколько десятков шагов, преследуя убийцу и сделать по нему два выстрела из своего «Браунинга». После чего без сознания упал на крыльце Дворянского пансиона. Помощник воспитателя Дворянского пансиона Чернецкий вместе со сторожами Касьяновым и Николаевым занесли Гладышева в пансион, но через пару минут жандармский подполковник скончался. Немногочисленные свидетели (кучер Петра Петровича Рачинского крестьянин Дорофей Павлович Зуев, почтальон Антон Степанович Цыкота, курьер Смоленского окружного суда Василий Иванович Иванов) видели бежавшего по Малой Вознесенской и Николаевской улицам молодого человека. Марфа Васильева и отставной штабс-ротмистр Алексей Бонифатьевич Щуко описывали также убегавшего от места преступления мужчину лет тридцати, с короткой бородой, в коротком, коричневого цвета пальто. Но сообщник ли это преступника или просто испуганный свидетель, спешивший удалится подальше от места убийства, следствию установить не удалось.

Судебный следователь Захаревич, опросив под протокол свидетелей и обследовав место преступления, усердно взялся за поиски. Через пару дней в губернском городе появились печатные прокламации от партии социалистов-революционеров, в коих говорилось, что Гладышев был приговорён эсерами к смерти за репрессии в Рославльском уезде, которыми он руководил в конце 1905 года. Исполнил же приговор один из членов летучего отряда боевой дружины северо-западного областного комитета партии эсеров. Смоленское жандармское управление под руководством генерал-майора Громыко в ход следствия не вмешивалось, предпочитая вести какие-то свои тихие игры.

23 марта на Большой Благовещенской улице на окне кондитерской Ранфта была взорвана петарда. Прибежавший на место городовой Алексей Кондратьев задержал, показавшегося ему подозрительным, ученика 4-го класса гимназии Мечислава Аниховского. У него был изъят револьвер «Бульдог», заряженный тремя боевыми патронами. В полицейской части Аниховский повинился и назвал имена своих сообщников. По нескольким адресам в городе полицией были произведены обыски, изъята нелегальная литература, прокламации социалистов-революционеров и холодное оружие. Но привязать вскрытую ячейки эсеров к убийству Гладышева не получилось, у всех членов группы на момент совершения преступления было железное алиби. Захаревич показал свидетелям все имевшиеся у полиции фотографические карточки членов партии эсеров, но ни в ком не опознали убийцу.

Следствие продолжалось более полутора лет, после чего следователь Захаревич запросил у прокурора окружного суда закрытия дела, так как следствие «исчерпало все возможности к раскрытию личности убийцы подполковника Гладышева». Дело отправилось в архив, приказом окружного прокурора вещественные доказательства по делу (револьвер и пуля, извлечённая при вскрытии из тела Гладышева) были уничтожены. Однако ещё не раз пришлось прокурорским сдувать архивную пыль с этой толстой папки. Уже в 1909 году ожидавший отправки на каторгу в московской пересыльной тюрьме Павел Казаков (из крестьян деревни Малая Стодолица Полцевской волости Рославльского уезда, осуждён за антиправительственную деятельность на 12 лет каторжных работ) сообщил тюремному надзирателю, что его сосед по камере Дмитрий Яковлев (из крестьян Юхновского уезда Смоленской губернии Покровской волости деревни Темникова, 20 лет каторги) хвастался, что это именно он, приехав в Смоленск из Москвы, застрелил помощника начальника жандармского управления. Но показания Казакова не подтвердили другие его сокамерники, а по фото Яковлева не смогли опознать свидетели, ссылаясь на давность лет, прошедших с момента совершения преступления.

21 апреля 1910 года крестьянин деревни Лозынь Спасской волости Смоленского уезда Василий Михеевич Горбачёв поведал новому начальнику смоленских жандармов полковнику Иваненко, что сидел в смоленской пересыльной тюрьме в одной камере с ельненским мещанином Владимиром Ивановичем Милеевым. Этот социалист-демократ рассказал ему, что именно ему выпал жребий расправиться с Гладышевым. Жандармами был послан запрос в тюрьму, начальник которой категорически заявил, что никогда политический заключённый не мог быть посажен в одну камеру с уголовником, которым и является Горбачёв. Соответственно никакими тайнами Милеев с Горбачёвым поделиться не мог.

А делу Гладышева всё не лежится спокойно на архивной полке. В начале января 1911 года на имя смоленского полицмейстера приходит анонимное письмо, в котором в убийстве подполковника Гладышева обвиняется наборщик Иван Иванович Гырлин. На этот раз доследование поручают полицейскому надзирателю смоленского сыскного отделения Владимиру Ивановичу Грундулю. Тот выяснил, что семья Гырлиных давно уже под наблюдением смоленских жандармов, так как считается неблагонадёжной. Жандармы познакомили сыскаря с делом 1908 года. Старший брат Ивана Пётр Иванович Гырлин совместно с нелегальным Александром Сидорком 1 ноября 1908 года убили городового 3-й части Смоленска Петра Пивоварова. При попытке их задержания на квартире Сергеенкова в доме Михайловой на Митропольской улице ранили стражника Щукина и городового 2-й части Яцутина, после чего сбежали в Поречье. Там имели перестрелку с городовыми и полицейскими стражниками, в которой были убиты. Но найти доказательства причастности Ивана Гырлина к убийству подполковника Гладышева не смог ни Грундуль, ни жандармы.