В 1796 г., после потери Австрией бельгийских земель, Карл был назначен главнокомандующим Нижне-Рейнской (затем Верхне-Рейнской) армии и 10 февраля 1796 г. был произведен в имперские генерал-фельдмаршалы (Reichsgeneralfeldmarschall), став последним в истории Священной Римской империи человеком, получившим это звание. Карл успешно руководил армией в сражениях при Вецларе 15 июня 1796 г., где нанес поражение Самбро-Маасской армии Жана Батиста Журдана. Затем он сражался с Журданом и Рейнско-Мозельской армией Жана Моро при Раштадте, Тейнинге, Амберге, Вюцбурге, и в конце концов ему удалось отбросить армию Журдана за Рейн, тем самым поставив Моро в безвыходное положение и заставив его отвести свои войска, сведя на нет все предыдущие его удачи.

В этот момент Карл выступил с предложением заключить перемирие на Рейне, а его армию перебросить в Северную Италию и тем самым предотвратить возникновение кризиса на юге. Однако Гофкригсрат отклонил предложение Карла, а Итальянская кампания оказалась полностью проваленной. В 1797 г. после неудачных действий австрийских войск в Италии эрцгерцогу было приказано принять командование армией в Венеции. Но поправить положение он уже не смог и 18 апреля 1797 г. подписал в Лeобене условия прелиминарного мира. Наступил непрочный мир и эрцгерцог в ноябре 1797 г. получил посты губернатора и генерал-капитана Богемии.

Вскоре вновь пришли дни войны, и после провала Раштаттского конгресса в 1799 г. Карл принял командование армией, действовавшей на Лехе. Он добился успеха при Острахе, Пфулендорфе, Штокахе, Некерау и принудил все того же Журдана отойти за Рейн. В этот момент пришел приказ Гофкригсрата идти на Рейн и тем самым оставив без поддержки русский корпус генерала А.М. Римского-Корсакова, который вскоре был полностью разгромлен под Цюрихом. 17 марта 1800 г. Карл, возмущенный действиями Гофкригсрата, оставил армию и уехал в Богемию, где сформировал 25-тысячный добровольческий корпус, готовый противостоять французам в случае вторжения. Однако вскоре он заболел – сказалось слабое здоровье – и был вынужден отбыть на лечение.

Карл фактически отошел от дел – он вообще мало стремился к занятию высоких постов, постоянно отклоняя заманчивые предложения. Лишь после катастрофической для Австрии кампании 1800 г. и разгрома австрийцев при Маренго (14 июня) и Гогенлингене (3 декабря) Карл согласился вновь возглавить армию. Руководил отступлением войск и 25 декабря 1800 г. заключил с Францией перемирие в Штейере. По окончании военных действий, посчитав свою задачу выполненной, эрцгерцог покинул армию, вернувшись в ставшую ему родной Богемию.

Поражение 1800 г. привело к тому, что император Франц II – старший брат Карла – пришел к пониманию неотложной необходимости реформирования армии. 9 января 1801 г. эрцгерцог стал президентом Гофкригсрата. Он немедленно начал стремительными темпами ломать одряхлевшую военную систему Священной Римской империи, создавая на ее месте современную армию, которая могла бы потягаться с французами. Уже в декабре 1801 г. Карл создал ведомство президента Гофкригстара – фактически военное министерство, а в 1805 г. окончательно разогнал всем надоевший совет и лично возглавил созданное из своего управления Военное министерство. Сделано было много, но все же закончить реформы до новой войны – что было изначальной целью Карла – он не успел: полностью изменить характер и традиции австрийской армии ему было не по силам.

23 апреля 1805 г. в Санкт-Петебруге между Россией и Великобританией был подписан союзный договор, сформировавший Третью антифранцузскую коалицию, 8 августа к ней присоединилась и Священная Римская империя. Карлу было поручено принять командование австрийской армией в Венеции и руководить завоеванием Италии. Лишь 30 октября 1805 г. он принял участие в крупном сражении – у деревни Кальдиеро: здесь его 50-тысячная армия встретилась с 37-тысячным корпусом маршала Андре Массена. В целом ситуация складывалась вполне прилично: австрийцы удерживали позиции, потери французов росли, грозя перерасти в катастрофические. Надо было продолжить битву на следующий день, причем вариант, что французы потерпят поражение, был вполне реален. Однако в этот момент Карл получил известия о катастрофе под Ульмом, где 19 октября была разгромлена австрийская армия Карла Макка. После этого он оставил небольшой заслон и ночью вывел свою армию в Венгрию.