Спустя два года после начала службы он был произведен в коллежские асессоры, а затем назначен исправляющим должность смотрителя здания Петербургских судебных установлений. В начале февраля 1884 года он вернулся к исполнению своих основных обязанностей — секретаря при прокуроре судебной палаты. Тогда же Н. В. Муравьев представил молодого юриста к награждению орденом Св. Станислава 3-й степени.

Когда Н. В. Муравьев перешел на должность прокурора палаты в Москву, И. Г. Щегловитову была предоставлена первая самостоятельная должность — товарища прокурора Нижегородского окружного суда. В городе на Волге он провел два года, а весной 1887 года возвратился в столицу, где занял место товарища прокурора Петербургского окружного суда.

В этой должности Щегловитов пребывал три года. Ему приходилось выполнять разные поручения — и сложные, требующие кропотливости и смекалки, и попроще. Но на всю жизнь ему запомнилось одно из первых. Как самому молодому товарищу прокурора ему поручили присутствовать на казни «Первомартовцев» — А. И. Ульянова и его товарищей, покушавшихся 1 марта 1887 года на жизнь императора Александра III и приговоренных к повешению. Позднее И. Г. Щегловитов рассказывал сослуживцам, что воспринял это поручение, как «чрезвычайно тяжелое».

Постепенно Щегловитов приобретает опыт работы и повышается в чинах. 4 ноября 1887 года он стал надворным советником. В это время он не только добросовестно выполняет многообразные прокурорские обязанности, но и активно сотрудничает в журналах.

В начале 1890-х годов начинается возвышение И. Г. Щегловитова по ступеням прокурорской иерархии. Он последовательно, но довольно быстро меняет одну должность за другой, каждый раз занимая все более и более ответственные посты в Правительствующем сенате и центральном аппарате Министерства юстиции. В 1890 году Щегловитов состоит за обер-прокурорским столом в 1-м департаменте Правительствующего сената. В следующем году Н. А. Манассеин переводит его в аппарат министерства — заведующим уголовным отделом законодательного отделения департамента. Благодаря своим личным качествам — исключительной работоспособности, старательности и основательности во всем, за что бы он ни брался, а также блестящим способностям и великолепной теоретической подготовке, И. Г. Щегловитов сумел в 1893 году занять престижное место юрисконсульта в Министерстве юстиции.

В 1894 году Иван Григорьевич был назначен прокурором Петербургского окружного суда, а в следующем году — товарищем прокурора столичной судебной палаты. Здесь он получил чин статского советника и сумел проявить себя не только хорошим организатором работы, но и блестящим судебным оратором. В 1897 году он исполняет обязанности товарища обер-прокурора уголовного кассационного департамента Правительствующего сената, а в следующем году его утвердили в этой должности.

С 1900 по 1903 год И. Г. Щегловитов последовательно занимал должности вице-директора 1-го департамента Министерства юстиции и члена консультации при министерстве и выслужил чин действительного статского советника. Его познания в области уголовного права и судопроизводства были настолько обширны и основательны, что он по праву считался лучшим криминалистом России. Большую организаторскую работу он провел по подготовке конгресса криминалистов в Петербурге в 1902 году. С этой целью побывал в Париже, где внимательно ознакомился с деятельностью центрального союза криминалистов.

Современники отмечали, что в те годы И. Г. Щегловитов «чтил Судебные уставы и возражал против нажима на суд», «не чужд был и свободолюбивых речей2.

6 апреля 1903 года Иван Григорьевич занял высокий пост обер-прокурора уголовного кассационного департамента Правительствующего сената. Ему приходилось давать заключения по самым разнообразным делам, причем их содержательная сторона всегда отличалась высоким профессионализмом, основательностью и глубиной, что отмечал даже такой требовательный юрист, как А. Ф. Кони. Анатолию Федоровичу, например, очень понравилось заключение И. Г. Щегловитова по делу Семенова, в котором обер-прокурор убедительно разъяснил, что в уголовном процессе слова «виновен» и «совершил» — не синонимы.

Будучи обер-прокурором Правительствующего сената, И. Г. Щегловитов выполнил ряд поручений первостепенной важности, чем обратил на себя внимание высочайшего двора. Ему доверили выполнять прокурорские обязанности в Особом присутствии Правительствующего сената по «Делу о злодеянии, жертвой коего пал великий князь Сергей Александрович». Слушалось дело 5 апреля 1905 года. И. Г. Щегловитов сам поддерживал обвинение. Каляева приговорили к смертной казни через повешение.

Щегловитов одним из первых в России понял всю ценность судебной фотографии для расследования преступлений. Он дал не только научное обоснование судебной фотографии, но и многое сделал для ее практического применения, образовав судебно-фотографическую лабораторию при прокуроре Санкт-Петербургской судебной палаты. С 1903 года Иван Григорьевич, в качестве профессора, стал читать лекции в Императорском училище правоведения по теории и практике уголовного судопроизводства и об основных началах судоустройства. На их основе он впоследствии издал двухтомный «Курс русского судоустройства».

Вскоре после окончания дела Каляева И. Г. Щегловитов вернулся на службу в Министерство юстиции. Высочайшим указом от 22 апреля 1905 года его переводят на должность директора 1-го департамента.

Иван Григорьевич с восторгом воспринял известие о подписании государем манифеста от 17 октября 1905 года и искренне приветствовал начавшееся в России преобразование государственного аппарата, созыв I Государственной думы. Однако его отношения с высшими царскими сановниками складывались непросто. Появились явные недоброжелатели. Из них самый опасный и влиятельный — председатель Совета Министров С. Ю. Витте. Сергей Юльевич настолько невзлюбил Щегловитова, что однажды даже просил министра юстиции С. С. Манухина не приглашать того на заседания Совета Министров. По мнению Витте, новый директор департамента высказывал слишком «трафаретные красные идеи». Поэтому, когда 1 февраля 1906 года новый министр юстиции М. Г. Акимов назначил Ивана Григорьевича своим заместителем, Витте очень удивился и поинтересовался у министра, хорошо ли он знает его. Акимов ответил, что не только хорошо знает Щегловитова, но и ценит его как отличного работника.

В апреле 1906 года С. Ю. Витте был отправлен в отставку. Вслед за ним оставили свои посты почти все министры, в том числе и М. Г. Акимов. Место председателя Совета Министров занял И. Л. Горемыкин. 24 апреля 1906 года министром юстиции и генерал-прокурором в новом правительстве стал И. Г. Щегловитов.

Назначение И. Г. Щегловитова министром вызвало неоднозначную реакцию. У одних — сдержанную, у других — откровенно враждебную. Вот что писал впоследствии С. Ю. Витте: «Это — самое ужасное назначение из всех назначений министров после моего ухода, в течение этих последних лет и до настоящего времени. Щегловитов, можно сказать, уничтожил суд».