Тайная канцелярия первоначально создавалась Петром как временное учреждение, однако потребность царя иметь под рукой орган политического сыска сделала ее постоянной. Едва успели похоронить казненного Алексея, как царь 8 августа 1718 г. с борта корабля у мыса Гангут пишет Толстому: «Мой господин! Понеже явились в краже магазейнов ниже именованные, того ради, сыскав их, возьми за караул». Следствие по содержавшемуся далее в письме списку предполагаемых воров вылилось в громкое Ревельское адмиралтейское дело, закончившееся суровыми приговорами для виновных. Хотя все «министры» Тайной канцелярии были формально между собой равны, Толстой играл среди них явно лидирующую роль. Остальные трое коллег, как правило, доводили до него свое мнение по тем или иным делам и, признавая его негласное первенство, испрашивали если не прямого одобрения собственным действиям, то, во всяком случае, согласия хитрого дипломата. Тем не менее в глубине души Толстой, по всей видимости, тяготился возложенными на него следственно-палаческими обязанностями. Не решаясь впрямую отказаться от этой должности, он в 1724 г. убеждает царя распорядиться не присылать новые дела в Тайную канцелярию, а имеющиеся дела сдать в Сенат. Однако при Петре эта попытка сбросить с своих плеч эту опостылевшую «тягость» не удалась, и свой замысел Толстой смог осуществить лишь в правление Екатерины I. Пользуясь своим возросшим влиянием, он в мае 1726 г. убедил императрицу упразднить этот орган политического сыска.

Что касается остальных сторон деятельности Толстого, то 15 декабря 1717 г. царь назначает его президентом Коммерц-коллегии. С учетом того, сколь огромное значение Петр придавал развитию торговли, это было еще одним свидетельством монаршего доверия и очередной наградой за возвращение из-за границы царевича. Этим ведомством он руководит до 1721 г. Не оставляет «умнейшая голова» и дипломатическое поприще. Когда в начале 1719 г. царю становится известно, что между Пруссией и враждебной России Англией происходит интенсивный процесс сближения, который должен увенчаться официальным договором, на помощь русскому послу в Берлине графу А. Головкину Петр I отправляет П.А. Толстого. Однако на этот раз усилия не увенчались успехом, и англо-прусский договор был заключен. Эта частная неудача не повлияла на отношение к нему Петра I, и в 1721 г. Толстой сопровождает царя в его поездке в Ригу, а на следующий год – в Персидском походе. Во время этой последней войны Петра I он является начальником походной дипломатической канцелярии, через которую в 1722 г. проходят все доклады Коллегии иностранных дел. По окончании похода Толстой некоторое время остается в Астрахани для переговоров с Персией и Турцией, а в мае 1723 г. направляется в Москву для подготовки церемонии официального коронования Екатерины I.

Во время этой торжественной процедуры, состоявшейся 7 мая 1724 г., старый дипломат выполнял роль верховного маршала, и за успешное проведение коронования ему был пожалован графский титул.

Когда в январе следующего года император умирает, не успев назвать преемника, П.А. Толстой вместе с А.Д. Меншиковым энергично содействует переходу власти к Екатерине I. Толстой великолепно понимал, что если престол перейдет к Петру II, сыну погубленного им царевича Алексея, то его голова имеет все шансы слететь с плеч. В начале царствования императрицы граф пользовался большим влиянием, и именно ему приписывают идею образования Верховного тайного совета, созданного указом Екатерины I от 8 февраля 1726 г. Этот орган состоял из представителей новой и старой знати и фактически решал все важнейшие государственные дела. Толстой входил в него наряду с шестью другими его членами. Однако в конце царствования Екатерины I преобладающее влияние на нее получает Меншиков. В результате политический вес бывшего дипломата резко убывает, и он уже почти не является с докладами к императрице. Понимая, что государыня скоро умрет и престол неизбежно достанется Петру II, Меншиков, чтобы обеспечить свое будущее, задумал женить наследника на своей дочери и добился согласия Екатерины I на этот брак. Однако против этого плана восстал Толстой, видевший в сыне царевича Алексея для себя смертельную угрозу. Он чуть было не расстроил этот брак, а в качестве наследницы престола прозорливо выдвинул кандидатуру цесаревны Елизаветы, дочери Петра I. Елизавета Петровна действительно в конечном итоге станет императрицей, однако произойдет это лишь в 1741 г. Тогда же, в марте 1727 г., план Толстого потерпел полную неудачу. Поражение старого дипломата было во многом предопределено тем, что практически никто из влиятельных лиц не поддержал его и ему пришлось бороться со всемогущим противником практически в одиночку.