Одной из главных задач, стоявших перед Голицыным и русской администрацией, являлась ликвидация этих средневековых порядков и борьба с засильем немецкого бюргерства. Еще в конце екатерининского царствования были решительно урезаны права гильдий и цехов и введено русское торговое право. Но Павел отменил эти указы, и Голицыну предстояло вновь вводить изменения в деятельность гильдий и цехов, что создавало напряженные отношения с магистратом.

Рига поразила Крылова узкими улочками, остроконечными двухэтажными домиками, крытыми красной черепицей, с резными флюгерами на крышах. Массивный Домский собор с великолепным органом, угрюмая Пороховая башня, Дом Черноголовых, построенный рижскими купцами еще в XIV веке, городская ратуша придавали городу средневековый вид. Латышская и немецкая речь, национальные костюмы крестьян, педантическая чистота на улицах, размеренно-медлительный темп жизни — все это делало Ригу так не похожей на русские города.

Русской администрации приходилось нелегко. Надо было все время разрешать бесконечные споры и недоразумения, происходившие от смешения прежних порядков и нововведений. Лифляндские дворяне, спесивые немецкие купцы и бюргеры, негоцианты всех национальностей, простые латыши неизменно толпились в губернаторской канцелярии, приходили с многочисленными жалобами.

Хлопотливая служба в канцелярии Голицына мало привлекала Крылова. Нередко под предлогом срочных дел он удалялся в свою комнату и там безмятежно отсыпался. Не прошло и двух лет, как служба стала для него невыносимой. Пребывание в канцелярии, выслушивание бесконечных жалоб местных жителей, тоска по России — все это заставило Крылова просить князя Голицына отпустить его из Риги. Наконец осенью 1803 года князь согласился и выдал ему следующий аттестат:

«Отдавая справедливость прилежанию и трудам служившего при мне секретарем губернского секретаря Крылова, сопрягавшего с расторопностью, с каковою он выполнил все на него возложенные дела, как хорошее познание должности, так и отличное поведение, долгом почитаю засвидетельствовать сим, что достоинства его заслуживают внимания. Рига, Сентября 26-го дня 1803 года».

Они расстались друзьями. Крылов благодарен был князю за то, что тот выручил его в тяжелое время.

Он возвратился в Россию, по которой так тосковал. И направился прямо к брату в Серпухов, где тот проживал, вернувшись из заграничного похода под знаменами Суворова. Они не видались уже много лет. Левушка немало времени провел в походах, но оставался таким же беспомощным и робким, словно ему не пришлось переходить через Альпы и участвовать в опасных сражениях. Иван Андреевич сильно изменился: обрюзг, стал тяжел на подъем, флегматичен. Годы разочарований и вынужденного безделья наложили на него свою печать.

Многие из участников итальянского похода получили награды, повышения в чинах. Но скромный и застенчивый Левушка как был подпоручиком, так и остался им. Начальство постоянно о нем забывало. Он разделил судьбу их отца. Левушка жил бедно. Жалованья едва хватало на пропитание и одежду. Иван Андреевич в те редкие минуты, когда бывал при деньгах, посылал ему небольшие суммы и подарки. На этот раз он привез брату часы и скрипку. Левушка, как и старший брат, любил по вечерам играть на скрипке жалостные мелодии или читать книжки. Он был совершенно одинок, и весь свет сосредоточивался для него на его «тятеньке», которого Лев Андреевич трогательно, по-детски обожал. Время от времени он писал старшему брату письма с жалобами на свою грустную участь, на которые Иван Андреевич редко когда отвечал.

Серпухов оказался маленьким деревянным городком на берегу красавицы Оки, в ста верстах от Москвы. Там стоял Орловский мушкетерский полк, в котором служил Лев Андреевич. По вечерам в стареньком деревянном домике, где квартировал Левушка, собирались сослуживцы, товарищи по полку. Начинались бесконечные рассказы о недавних походах, пережитых опасностях, славных подвигах. Отчаянно дымились трубки, беспрестанно наполнялись стаканы пуншем. Ивана Андреевича было трудно подпоить. Он кушал с большим аппетитом и помногу, но пил умеренно. Да и пунш производил действие скорее на его ноги, чем на голову.

Иногда и старший брат рассказывал забавные истории о себе. Так он, смеясь и подшучивая, изобразил однажды индуса-фокусника, которого видел в Риге. Особенно большое впечатление на Ивана Андреевича произвел номер с мячиками. Индус ловко бросал и ловил по пять-шесть мячиков зараз, а потом закружил их вокруг головы так, что получился своего рода венок из стремительно пляшущих мячиков. Иван Андреевич решил и сам проделать этот номер. Придя домой, он закрылся в комнате на ключ и принялся упражняться в этом искусстве. В конце концов он наловчился жонглировать мячами не хуже индуса. Рассказывая эту историю, Иван Андреевич тут же продемонстрировал свое уменье на стоявших на столе рюмках.

В Серпухове время проходило медленно, незаметно. Крылов много ел, много спал, много рассказывал. И все же оно прошло слишком быстро. Левушке нужно было отправляться с полком на ученье, а Иван Андреевич продолжал свое странствование. Нам мало что известно об этом периоде жизни Крылова. Вскоре он возвратился в Москву, к тамошним друзьям и знакомым.