В составе кутузовской армии Ермолов отличился в сражении при Амштеттине, где его конно-артиллерийская рота, выдвинувшись вперед, метким огнем прикрыла от французов расстроенные эскадроны Мариупольского гусарского полка. В сражении под Аустерлицем орудийные расчеты Ермолова вели огонь по атакующей вражеской кавалерии до последней возможности, не покинув занимаемой позиции. Затем его 40 орудий прикрывали отступавшую русскую армию на переправе через реку Нарев по единственному мосту.

На территории Восточной Пруссии ермоловская конно-артиллерийская рота отличалась не раз. При отходе русских войск она находилась в составе арьергарда, не раз отбрасывая наседавших французов картечными залпами в упор. В сражении при Прейсиш-Эйлау артиллеристы Ермолова успешно действовали против корпуса маршала Франции Даву. Под Гутштадтом они уничтожили неприятельскую батарею.

За отличия в Русско-прусско-французской войне 1806–1807 годов он был удостоен нескольких боевых наград, в том числе золотой шпаги. Его дважды представляли к званию генерал-майора, но каждый раз безуспешно – тогда еще всесильный Аракчеев был против (Ермолов имел неосторожность резко возразить ему на замечание во время смотра войск).

Отечественную войну 1812 года Ермолов встретил в должности начальника Главного штаба 1-й русской Западной армии генерала М.Б. Барклая-де-Толли, военного министра России. Он участвовал в сражениях при Валутиной Горе близ Смоленска, Бородине, Малоярославце. За успешный бой у Заболотья получил чин генерал-майора.

Перед Бородинским сражением главнокомандующий М.И. Голенищев-Кутузов послал генерала Ермолова в армию Багратиона для приведения в порядок ее артиллерии, понесшей большие потери в борьбе с неприятельскими батареями. В критический для сражения момент, когда французы овладели батареей Раевского, Ермолов лично повел в штыковую атаку батальон Уфимского пехотного полка и отбил у французов оставленные было укрепления. После этого он три часа руководил обороной батареи Раевского, пока не был ранен картечью в шею.

После Бородинского сражения Ермолов был назначен начальником объединенного штаба 1-й и 2-й русских Западных армий. На военном совете в Филях он выступил за новое сражение с Великой армией Наполеона под стенами Москвы.

Алексей Петрович Ермолов отличался не только решительностью и смелостью, но и прозорливостью. Узнав, что французские войска, оставив Москву, двинулись по Боровской дороге, Ермолов по своей инициативе, на свой страх и риск от имени главнокомандующего изменил маршрут движения корпуса Д.С. Дохтурова, направив его к Малоярославцу. Таким образом, Наполеону был перекрыт путь к Калуге и дальше на юг России. После ожесточенного сражения при Малоярославце французской армии пришлось отступать по опустошенной еще при наступлении российской территории.

Как начальник объединенного штаба, генерал Ермолов участвовал в организации преследования наполеоновской Великой армии. За участие в Отечественной войне 1812 года герой Бородинской битвы удостоился звания генерал-лейтенанта.

В начале заграничных походов русской армии 1813–1814 годов Ермолов был назначен начальником артиллерии союзных армий, затем – командиром гвардейской пехотной дивизии, которая отличилась в сражении при Бауцене, выдержав все атаки французских войск, которыми лично командовал Наполеон Бонапарт. В сражении под Кульмом Ермолов заменил раненого генерала Остермана-Толстого и одержал победу.

При взятии столицы Франции он успешно командовал гренадерским корпусом. «За отличие при взятии Парижа» генерал-лейтенант А.П. Ермолов удостоился полководческой награды – ордена Святого Георгия 2-й степени.

В 1816 году Ермолов был назначен командиром Отдельного Грузинского (затем Кавказского) корпуса, затем главнокомандующим русскими войсками в Грузии и одновременно чрезвычайным и полномочным послом России в Персии (Иране). Ему подчинялись Каспийская военная флотилия, Черноморское казачье войско и Терское казачество, Астраханская и Кавказская губернии.

С именем Ермолова связано начало длительной Кавказской войны против горцев. Он был последовательным сторонником активного продвижения Российской империи на восток.

На Кавказе генерал Ермолов блестяще выполнил возложенную на него дипломатическую миссию. Переговоры в Тегеране для российской стороны завершились успешно. Персия отказалась от территориальных притязаний на кавказские земли, и до 1826 года обстановка на российско-иранской границе была спокойной.

В течение последующих десяти лет командующий русскими кавказскими войсками успешно боролся с «мятежниками»-горцами. Он перенес укрепленную линию, бывшую южной государственной границей, с берегов Терека на реку Сунжу. В 1818 году здесь был создан опорный пункт русских войск в Чечне – крепость Грозная. Затем Сунженская линия протянулась до побережья Каспийского моря: на ней были построены крепости Внезапная и Бурная. Укрепленные линии создавались и по берегам рек Малка и Кубань.

После этого пришел черед Кавказских гор. От Сунженской линии сквозь вековые леса стали прорубаться просеки, по которым русские отряды ходили против «немирных» аулов и областей Чечни. Непокорных горцев Ермолов карал жестоко, по законам военного времени – «немирные» аулы подвергались разгрому, а их жители переселялись из гор и лесов на равнинные земли. По восточным обычаям, он приказывал брать заложников – аманатов, которые своей жизнью гарантировали покорность своих соплеменников.

Перенос укрепленной линии с Терека на реку Сунжа консолидировал враждебно настроенных к России горцев – они поняли тактику царского командующего, стремившегося с войсками закрепиться на их территориях. Теперь над теми феодальными образованиями, которые приняли подданство Российской империи – Тарковским шамхальством, Каракайтагским уцмийством, и другими, – нависла военная угроза соседей. Для их поддержки Ермолов посылал воинские отряды. Во главе одного из них он нанес поражение мятежному хану Ахмету и ликвидировал Мехтулинское ханство.