23 сентября 1941 г. полковник П.А. Ротмистров принял находившуюся на Валдае (в 120 км северо-западнее Москвы) на формировании 8-ю танковую бригаду (тбр) 11А Северо-Западного фронта. Это соединение стало настоящей школой боевого опыта и командирского мастерства для будущего командарма. Бойцы бригады вели успешные бои на калининском направлении, где была создана оперативная группа под командованием начальника штаба Северо-западного фронта генерал-лейтенанта Н.Ф. Ватутина. Под Калинином в сентябре 1941 г. и произошло знакомство П.А. Ротмистрова с Н.Ф. Ватутиным.

Потом были бои под Москвой. Проявленные в Московской битве танкистами 8 тбр стойкость и мужество были по достоинству оценены: 11 января 1942 г. соединение было преобразовано в 3 гв. тбр, а комбриг награжден орденом Ленина. Большие успехи руководимого им соединения в такой крупной битве, как Московская, дали серьезный толчок для дальнейшего служебного роста П.А. Ротмистрова: его назначили командиром 7 тк, который был сформирован в марте 1942 г. в районе Калинина на базе 3 гв. тбр.

Уже в конце июня в связи с прорывом противника в район Острогожска и возникшей угрозой захвата немцами Воронежа корпус спешно по железной дороге перебрасывается в район Ельца и передается в состав 5ТА, которой командовал генерал-майор А.И. Лизюков. Армии предстояло нанести контрудар по наступающей на Воронеж танковой группировке противника. Но из-за неумелой и поспешной организации контрудар своей цели не достиг. Хорошо укомплектованные три танковых корпуса вводились в сражение с интервалом в два дня, что не позволило создать решительный перелом в боевой обстановке.

Из-за неудачных попыток остановить противника Ставка отстранила командующего Брянским фронтом генерала Ф.И. Голикова, и руководство контрударом взял на себя Генеральный штаб. Во время выгрузки 7 тк в Ельце произошло знакомство Ротмистрова с начальником Генштаба Красной Армии генерал-полковником A.M. Василевским, который приехал, чтобы лично передать приказ о подчинении соединения Ротмистрова 5-й танковой армии. После этого они часто встречались. В новогоднюю ночь 1943 года начальник Генштаба приезжал поздравить командование корпуса с успешным завершением Котельниковской операции. А в июле 1943 г. Александру Михайловичу пришлось защищать Ротмистрова, уже командующего 5 гв. ТА. По словам Павла Алексеевича, именно A.M. Василевский отвел от него гнев И.В. Сталина за большие потери армии под Прохоровкой.

В тяжелых боях на воронежском, а затем и сталинградском направлени полковнику П.А. Ротмистрову, как и летом 1941 г., выпало испытать горечь поражения. Вновь столкнулся он и с карательными органами, ощутил холодок недоверия. В начале сентября 1942 г. 7 тк участвовал в составе 1 гв. А Сталинградского фронта в контрударе с целью уничтожить противника, прорвавшегося к Волге, и восстановить связь с отрезанной в Сталинграде 62А. Положение складывалось тяжелое, было крайне важно оттянуть часть сил врага от Сталинграда, и Ставка торопила командование фронта. Поэтому наступление началось без должной подготовки, атаковавшие войска не имели прикрытия с воздуха, а в 1 гв. А не было ни одного полка ПВО.

«…Мы несли большие потери, особенно в легких танках «Т-60» и «Т-70», имевших слабую броневую защиту, – вспоминал П.А. Ротмистров. – Было подсчитано, что только в течение одного дня авиация противника произвела против нас до 2 тысяч самолето-вылетов… Мы потеряли в этих боях 156 из 191 танка, имевшегося к началу боевых действий под Сталинградом»