В августе 1854 г. П.А. Шувалов назначается адъютантом военного министра В.А. Долгорукова и возвращается в Петербург. По поручению министра занимается отправкой резервов для действующей армии, обеспечения ее боеприпасами, в июне 1855 г. командируется в Севастополь «в помощь свиты Его Императорского Величества генерал-майору Чернышеву для наблюдения за введением в Крымской армии нарезного оружия». В августе–сентябре 1855 г. П. Шувалов вновь в Севастополе, участвует в обороне города, удостаивается звания флигель-адъютанта императора. В феврале–марте 1856 г. сопровождает графа А.Ф. Орлова на мирных переговорах в Париже. В это же время производится в чин полковника. А.А. Половцов свидетельствует: «Сопровождая князя Орлова в 1856 г. на Парижский конгресс, он изучил полицейское устройство Парижа и вскоре был назначен петербургским обер-полицмейстером, начав здесь обновление прежних кулачных и взяточнических порядков...» 3 февраля 1857 г. Шувалов становится исправляющим дела обер-полицмейстера Северной столицы, 6 декабря официально утверждается в должности главного полицейского Петербурга, производится в генерал-майоры и зачисляется в императорскую свиту. В ноябре 1860 г. оставляет должность обер-полицмейстера в связи с назначением директором Департамента общих дел Министерства внутренних дел, заняв второй по важности пост в этом ведомстве.

Назначенный в августе 1861 г. начальником штаба Корпуса жандармов и управляющим Третьего отделения, он, только вступив в должность, сумел печально прославиться «усмирением» студенческих волнений в Северной столице, по словам П.В. Долгорукова, «приказал ударить в штыки на студентов». Он же руководил арестом и ссылкой поэта-демократа М.Л. Михайлова. На этом закончилось его первое пришествие в сферу государственной безопасности, и 15 декабря 1861 г. он увольняется от должности начальника штаба Корпуса жандармов и управляющего Третьего отделения. Затем участвует в подавлении Польского восстания 1863–1864 гг., в бою с мятежниками под Свенцянами. В декабре 1864 г. производится в чин генерал-лейтенанта, после чего стремительно идет на повышение. В марте 1866 г. становится генерал-адъютантом государя, а в апреле, после отставки В.А. Долгорукова, назначается шефом жандармов и главным начальником Третьего отделения, входит в состав Государственного совета. Был награжден орденами Св. Владимира 4-й и 3-й степеней, Св. Александра Невского и офицерским знаком французского ордена Почетного легиона.

Напуганный покушением на свою жизнь, Александр II искал опытного в сыскном деле человека, способного обеспечить его безопасность и которому ради этого он был готов предоставить самые широкие, почти диктаторские полномочия. Моментально оценив сложившуюся ситуацию, новый руководитель государственной безопасности использовал ее для практически неограниченного усиления своего влияния. Об этом свидетельствуют многие современники. Так, сенатор Е.М. Феоктистов писал, что, используя подозрительность Александра II, Шувалов «стращал его, стараясь убедить, что только неутомимой деятельности Третьего отделения обязан государь своей безопасностью»; «указывая беспрерывно государю на опасность со стороны революционного движения и преувеличивая его размеры, он стоял на весьма твердой почве, выставляя себя человеком, необходимым для борьбы с ним». В результате глава политического сыска очень скоро добился полного доверия императора и стал «первым лицом в государстве», практически прибрав к рукам всю внутреннюю политику.