Строительство Петропавловской крепости ещё продолжалось, когда осенью 1704 года на противоположном берегу Невы, как мы уже знаем, была заложена Адмиралтейская судостроительная верфь, положившая начало освоению новых территорий. Нехотя, под страхом «лишения живота», переселялись на Адмиралтейский остров чиновники и офицеры, занятые на строительстве флота. Кроме принудительных мер, на которые Пётр был скор и изобретателен, ему приходилось идти на всякие ухищрения, в том числе и на демонстрацию своей личной заинтересованности в освоении левобережья Невы. Пыляев записывает старинное предание о том, что Летний дворец в одноименном саду был построен Петром с единственной целью «возбудить в первоначальных обывателях Петербурга охоту строиться на Адмиралтейской стороне, потому что до того времени все строились в заречных частях города».

Летний дворец представляет собой двухэтажное каменное здание с высокой, «на голландский манир», крышей. Дворец строился по проекту Доменико Трезини при последующем участии архитектора А. Шлютера. Внутренняя планировка Летнего дворца отличалась сравнительной скромностью. Комнаты были небольшие, с невысокими потолками. Известно, что Пётр не любил высоких палат и предпочитал жить в тесных уютных покоях. Как утверждает молва, в тех случаях, когда ему приходилось останавливаться в просторных помещениях, он приказывал с помощью парусины занижать потолки и перегораживать комнаты легкими выгородками.

Одна из комнат на первом этаже служила Петру приёмной, куда мог прийти любой человек всякого звания. Здесь Пётр обычно выслушивал просьбы и жалобы. Рядом с приёмной находился карцер, куда Петр, как говорят, собственноручно запирал провинившихся. В гардеробной дворца стоял большой деревянный шкаф, который, по преданию, император смастерил сам. Впрочем, в фольклоре сохранилось много рассказов о предметах быта, изготовленных царём лично. Согласно одному старинному преданию, Пётр смастерил большое трюмо в резной деревянной раме, которое сохранилось в тронном зале Летнего дворца. На раме вырезаны имя «Peter», русская буква «П» и год окончания работы. По другой легенде, Пётр собственными руками построил лодку-верейку, которая, кстати, до сих пор бережно хранится внутри футляра его Домика.

До середины XVIII века на половинках двери, ведущей в токарню, можно было увидеть изображение солдата с ружьём, написанное масляными красками. Сохранилось предание о том, как появилась эта картина. Однажды Петр, встав за токарный станок, велел часовому никого к нему не пускать. Явившийся в это время во дворец Меншиков оттолкнул часового. Верный страж, выхватив штык и приставив его к груди светлейшего, закричал: «Отойди, не то приколю на месте!». Пётр услыхал шум и отворил дверь. Меншиков стал жаловаться ему на часового. Но Петр, выслушав солдата, вручил ему червонец за верную службу, а Меншикову сказал: «Он, брат Данилыч, более знает свою должность, нежели ты». Этого часового будто бы и запечатлел придворный живописец на створках двери в царскую токарню.

Летний сад при Петре

За окнами Летнего дворца зеленел молодыми посадками любимый Петром Летний сад, разбитый в 1704 году на месте старинной, ещё допетербургской, усадьбы шведского майора Конау. В 1719 году по личному проекту Петра в саду был выкопан так называемый Менажерейный пруд с беседкой в центре. Если верить легендам, именно сюда ревнивый Пётр однажды незаметно подплыл на лодке и «застукал свою невесту в объятиях с любовником». С тех пор пруд называли «Прудом измены».