Как уже говорилось, М.М. Сперанский стал у Александра первым госсекретарем и фактически вторым после императора человеком в государстве, и его политическим идеалом были конституционные государства Западной Европы, но более всего он отдавал предпочтение системе, созданной во Франции при Наполеоне. Естественно, это вызвало бурю недовольства со стороны консервативной части "высшего света", то есть тех, чьи интересы оказались затронуты более всего.

К этому времени Сперанский уже получил немало щедрых царских милостей, его материальное положение улучшилось, и он смог купить себе двухэтажный дом у Таврического сада, на углу Сергиевской улицы. При этом жил он скромно и редко показывался в свете. Во-первых, он был завален неотложными делами, во-вторых, став выше многих других по своим заслугам, он не дошел до фактического равенства с аристократами, которые продолжали смотреть на него как на зарвавшегося выскочку.

К 1812 году Сперанский был награжден орденом Святого Александра Невского, и эта награда стала для него последней: над ним уже сгустились грозные тучи, и очень скоро все это разразилось сильнейшим ударом, ибо помимо аристократии из-за усиления налогов против него зароптал и народ (простые люди говорили: "Дерет этот попович кожу с народа, сгубит он государство"). Таким образом, против Сперанского восстали практически все классы в России. Он это знал, но оставался непреклонным в проведении реформ.

До поры до времени он пользовался поддержкой императора и "стоял, как дуб, среди целой бури сыпавшихся на него порицаний". Но для врагов Сперанского было очевидно, что лучшее средство к его низвержению заключалось в том, чтобы уронить его в глазах царя. В результате была разыграна мощная многоходовая интрига, ставившая целью регулярно сообщать мнительному Александру разные дерзкие отзывы, якобы исходившие из уст его нового фаворита. Более того, Михаила Михайловича стали обвинять в подрыве государственных устоев России, называли изменником и даже французским шпионом, продававшим Наполеону государственные тайны.

И, как ни странно, цель оказалась достигнута. Постоянно слыша одни и те же обвинения против Сперанского, Александр поверил в черную неблагодарность облагодетельствованного им человека. А так как уже шли активные приготовления к новой войне против Наполеона, которые отнимали всякую возможность сосредоточиться на разбирательстве доносов на Сперанского, он принял решение пожертвовать своим любимцем и незаменимым помощником в деле реформ. Как следствие 17 марта 1812 года фельдъегерь прискакал к Сперанскому от императора с приказом явиться во дворец в восемь часов вечера. Ничего не подозревая, ибо такие приглашения случались часто, Михаил Михайлович взял портфель и отправился в назначенное время. И что же? После аудиенции, продолжавшейся почти два часа, Сперанский вышел с заплаканными глазами, сел в уже приготовленную почтовую карету и отправился в сопровождении пристава по дороге в Нижний Новгород.

На другой день император сказал князю Голицыну:

— У меня отняли Сперанского, а он был моей правой рукой.

Потом он поручил князю разобрать бумаги Сперанского, прибавив:

— Но в них вы ничего не найдете, он не изменник.

А когда граф Нессельроде пожаловался императору, что лишился в лице Сперанского самого верного и ревностного слуги своего, Александр ответил:

— Ты прав, но лишь теперешние обстоятельства и могли вынудить у меня принести эту жертву общественному мнению.

Враги же Сперанского отмечали его ссылку "как первую победу над французами".

Как видим, эта отставка очень напоминала традиционную царскую опалу: с глаз долой, из сердца вон. При этом никакого даже формального обвинения Сперанскому не предъявили. Даже приставу, сопровождавшему его в Нижний Новгород, не выдали на руки никаких бумаг…

Современники назвали все это "падением Сперанского". На самом деле произошло не просто падение высокопоставленного чиновника, а успешное (хорошо еще, что бескровное) устранение либерала-реформатора со всеми вытекающими отсюда последствиями.

А жаль, ведь даже граф А.А. Аракчеев, которого историк А.Б. Зубов характеризует как человека, с одной стороны, "одаренного блестящими организаторскими способностями и административным талантом", но, с другой стороны, "обидчивого, завистливого и ревнивого к царской милости", говорил о Михаиле Михайловиче так: "Будь у меня хоть треть ума Сперанского, я был бы великим человеком!"

Император Александр жаловался впоследствии фактическому начальнику своей тайной полиции Якову Ивановичу де Санглену:

— Сперанский вовлек меня в глупость.

А вот историк С.П. Мельгунов отмечает, говоря об отношениях Александра и Сперанского:

"Ему нужны были лишь практические меры Сперанского, так сказать, минимальная реформа, которая придала бы некоторую хотя бы стройность "безобразному зданию империи". В этих реформах была слишком осязательная потребность в виду предвидения неизбежного столкновения России с Францией".

Из Нижнего Новгорода Сперанского вскоре перевели в другое место, и с 23 сентября 1812 года по 19 сентября 1814 года он отбывал ссылку в Перми. Оттуда он как-то написал Александру: