С января 1939 года в органах ГБ НКВД – начальник Особого отдела НКВД стрелкового корпуса Ленинградского военного округа. Участник советско-финской войны 19391940 годов и Великой Отечественной войны. С 1941 года – замначальника особых отделов НКВД Закавказского военного округа, Крымского и Северо-Кавказского фронтов, Черноморской группы войск Закавказского фронта. С 1942-го – начальник Особого отдела НКВД, а потом УКР Смерш НКО СССР Юго-Западного, а затем 3-го Украинского фронта.

С 1945 года – начальник УКР Смерш Южной группы войск, а с ноября 1947-го – Управления КР МГБ ГСоВг. В ноябре 1949-го назначен начальником Управления КР МГБ Ленинградского ВО.

В 1951 году стал заместителем начальника 3-го Главного управления МГБ СССР, с сентября 1952-го – министр ГБ УССР, с марта 1953-го – заместитель министра внутренних дел УССР. С июля 1953 года по март 1954-го – вновь заместитель начальника 3-го управления МВД.

С июня 1954 года – заместитель председателя КГБ при СМ СССР. В январе 1956-го назначен первым заместителем председателя КГБ.

В 1962 году руководил следственной группой, направленной Президиумом ЦК КПСС в Новочеркасск. В марте 1963-го назначен начальником ГРУ – заместителем начальника Генштаба ВС СССР. Он был практически 50 лет на службе. Четверть века отдал работе в органах ГБ и столько же времени – службе в ГРУ.

Автор этих строк считает за счастье, что ему довелось служить в подразделении ВКР по оперативному обслуживанию ГРУ Генштаба ВС СССР с 1974 по 1987 год, когда военную разведку возглавлял легендарный человек – генерал армии П. И. Ивашутин, которому он посвятил три книги: «Император ГРУ», «Маршал военной разведки» и «Из Смерша в ГРУ».

О деятельности П. И. Ивашутина можно писать много и долго. Пройдемся только по некоторым его служебным вехам. После прихода в органы ГБ в 1939 году его тут же назначили руководителем военной контрразведки 23-го стрелкового корпуса, принимавшего участие в советско-финской войне 1939–1940 годов.

Именно здесь П. И. Ивашутин зарекомендовал себя как смелый и решительный руководитель. Когда оперативный состав ему докладывал о фактах массовой гибели наших солдат, одетых в серые шинели и становящихся для противника хорошими мишенями на снегу, он несколько раз информировал командование о необходимости белых маскхалатов. Но дело не двигалось. Когда на позиции прибыла делегация партийных работников во главе со Ждановым, он доложил об этом ее руководителю. На следующий день все бойцы были переодеты. И число погибших от финских снайперов резко снизилось…

Во время службы в должности заместителя Особого отдела НКВД Крымского фронта, который понес большие потери в конце 1941-го и начале 1942 года, Ивашутин доложил своему непосредственному руководству, что виной керченской трагедии были паникерское поведение уполномоченного Ставки ВГК Маршала Советского Союза Г. И. Кулика и волюнтаризм заместителя наркома обороны армейского комиссара 1-го ранга Л. З. Мехлиса, которые упорно убеждали И. В. Сталина, что все поставленные задачи они выполняли правильно. Но результат оказался трагичен – жертв было море. Когда Мехлис явился с докладом к Сталину, тот, не пожелав слушать его, сказал только одну фразу: «Будьте вы прокляты!» и вышел из кабинета.

В 1942 году П. И. Ивашутин назначается начальником Особого отдела НКВД Юго-Западного фронта (ЮЗФ) второго формирования (25.10.1942 – 20.10.1943), который участвовал в операциях «Уран» – контрнаступление под Сталинградом, Среднедонской, Острогожско-Россошанской, третьей битве за Харьков, Изюм-Барвенковской наступательной операции, Донбасской стратегической операции, Запорожской. Военный контрразведчик пользовался уважением у командующих фронтом генералов армии Н. Ф. Ватутина и Р. Я. Малиновского.