Благодаря связям отца Алексей еще в детстве был записан в гвардию, в Преображенский полк, но реальную службу начал только в 15 лет, по окончании Благородного пансиона при Московском университете. В 1792 г. он был произведен в капитаны и зачислен в Нежинский драгунский полк.

Через два года Ермолов уже отличился при штурме предместья Варшавы Праги, на него обратил внимание сам А. В. Суворов, который лично представил молодого капитана к ордену Георгия 4-й степени. Позже Ермолов воевал в Италии против французских войск, затем отправился в Каспийский корпус графа В. П. Зубова, направленный против иранской армии Ага Мохаммед-хана Каджара, вторгнувшейся в 1796 г. в Закавказье. После смерти Екатерины II новый император Павел I немедленно прекратил Каспийский поход и подверг его участников гонениям. Для начала Ермолова «задвинули» в провинцию: в Минской губернии он командовал конноартиллерийской ротой, чины шли своим чередом: в 1797 г. Алексей Петрович стал майором, еще через год подполковником.

Но вскоре Ермолова заподозрили в причастности к тайной политической организации, что в какой-то мере было правдой. Его кузен А. М. Каховский создал кружок поклонников Французской революции. Вся деятельность заговорщиков ограничилась сочинением и распространением сатир на Павла I. Ермолова допросили и на два месяца, без суда, заключили в Алексеевский равелин Петропавловской крепости. По выходе из него подполковника отправили в ссылку в Кострому. Чтобы не сойти с ума от скуки, молодой артиллерист самостоятельно выучил латинский и начал читать римскую литературу в подлинниках. Именно «костромскому сидению» Ермолов обязан блестящей «тацитовской» стилистикой своих писем и воспоминаний, которую отмечали многие современники.

Скажем сразу, что тексты Ермолова создавались в те годы, когда литературная норма только вырабатывалась. Причем писались они на родном языке, а не по-французски, как мемуары многих современников. Его мемуары – своего рода языковой эксперимент – попытка обогатить русскую стилистику за счет латинской. Отсюда и необычное порой построение фраз, и некоторая громоздкость конструкций, тяготеющая сразу и к отечественной журналистике XVIII в., и к древнеримским образцам.

Во время ссылки трагическим образом изменился характер Алексея Петровича. Позднее он признавал: «В ранней молодости [Павел I] мне дал жестокий урок». Скрытность, осторожность, умение подстраиваться под сильного, не отказываясь от собственной силы, более того – демонстрируя свою независимость, стали отличительными чертами Ермолова. При этом ему так и не удалось добиться сдержанности языка. Он всегда умел к месту ввернуть острое словцо, ермоловские шутки повторялись и в армии, и при дворе, а его письма и мемуары полны колких характеристик сослуживцев. «Бурная, кипучая натура» не позволяла Алексею Петровичу ужиться ни с равными, ни с вышестоящими. А вот подчиненные его обожали, для них он стал настоящим «отцом-командиром».

Ермолов был участником всех войн с Наполеоновской Францией: в 1805, 1806 и 1807 гг. К началу Отечественной войны он достиг уже звания генерал-майора от артиллерии и занял должность начальника штаба Первой армии, которой командовал М. Б. Барклай-де-Толли. Алексей Петрович попал в непростое положение, поскольку согласовывать действия своего шефа – «ледовитого Барклая» и своего прежнего покровителя – горячего и порой несдержанного Багратиона, руководившего Второй армией, было чрезвычайно трудно.

«За что терпел я от тебя упреки, Багратион, благодетель мой! – восклицал в мемуарах Ермолов. – Я всеми средствами старался удерживать между вами, яко главными начальниками, доброе согласие, боясь малейшего охлаждения одного к другому. В сношениях и объяснениях ваших, чрез меня происходивших, нередко холодность и невежливость Барклая-де-Толли представлял я пред тебя в тех видах, которые могли казаться приятными. Твои отзывы, иногда грубые и колкие, передавал ему в выражениях обязательных. Ты говаривал мне, что сверх ожидания нашел в Барклае-де-Толли много хорошего. Не раз он повторял мне, что он не думал, чтобы можно было, служа вместе с тобою, не встречать неудовольствия. Благодаря доверенности ко мне вас обоих я долго удержал бы вас в сем мнении».