Первый смотритель Гатчинского дворца-музея Владимир Кузьмич Макаров писал: «Хозяин… комнат – человек беспокойный, сложный, много читающий, думающий и пишущий, мистик, любитель искусств, солдат и политик. Для понимания человека конца XVIII века, искушенного знаниями, но связанного традициями, комнаты Павла дают незаменимый материал».

Центральной постройкой резиденции стало здание дворца, выполненное в виде охотничьего замка, словно вырастающего среди густой зелени окружающих его парков. Тут, безусловно, сказалось влияние другого европейского дворца-замка, в постройке которого Антонио Ринальди принимал участие (на начальном этапе) вместе с итальянским зодчим Луиджи Ванвителли. Речь идет о Королевском дворце в Казерте, городке на юге Италии, ныне являющемся пригородом Неаполя. Огромное здание (1200 комнат) резиденции неаполитанских королей впитало в себя не только итальянские, но и испанские традиции строительства укрепленных дворцов-крепостей, что сказалось на форме здания, обработке его фасадов и расположении на местности. Грандиозные работы, ради которых был даже перенесен на 10 километров город, закончены не были. Так и не появилась величественная 20-километровая аллея, которая вела к дворцу, хотя был разбит парк с длинным каскадом и фонтанами – один из крупнейших регулярных парков Европы.

Сравнение внешнего облика дворца в Гатчине с лучшими образцами итальянского зодчества того времени говорит о том, что влияние аппенинской архитектуры на Ринальди было безусловным, да и заказчик поддерживал это направление в строительстве своей загородной резиденции. Конечно, Антонио Ринальди, использовав определенные приемы зодчих своей родины, создал удивительный по пластике и композиции загородный дворец с совершенно оригинальной для второй половины XVIII века архитектурой.

Для расположения основного здания архитектор выбрал самую высокую точку территории мызы. К Серебряному лугу и озеру обращен северный фасад дворца, а южный, закрывая собой вход в парк, обрамляет парадную площадь, раскрываясь всей своей мощью и размерами (длина – более 270 метров) перед посетителями. Средний, центральный корпус в три этажа, исполнен в виде прямоугольника, на двух углах которого со стороны парка высятся пятигранные башни – Часовая и Сигнальная, состоящие из пяти ярусов. Со стороны парадной площади устроены входные дверные проемы в виде арок и обширный балкон по второму этажу. Название башен связано с их функциональными особенностями: на Сигнальной (левой) был установлен громоотвод, созданный академиком Эйлером; на Часовой (правой) – башенные часы. Главный корпус соединяется полуциркульными галереями, сооруженными на месте мраморной колоннады, которые примыкают к одноэтажным служебными дворам – Кухонному и Конюшенному. Углы каре завершаются восьмигранными башнями, которые на два этажа ниже башен Главного корпуса, а две из них, примыкающие к полуциркульным галереям, покрыты куполообразной кровлей. Одна из них (левая) увенчана золоченым православным крестом – в этой части дворца располагается домовая церковь, которая в результате реконструкции под руководством архитектора Бренны получила новый резной иконостас. Эти башни придали всему ансамблю целостность и завершенность. В 1796 году зодчий приступил к перестройке колоннад, причем, как следует из документов того времени, работы производились в большой спешке, и по причине острой нехватки рабочих рук к строительству привлекли солдат (гренадер) из гатчинских частей, выплачивая ежедневно по 60 копеек каждому. Тогда же служебные корпуса, служившие при графе Орлове кухней и конюшней, надстроили двумя этажами, при этом они изменили свое назначение: например, в бывших конюшнях разместили библиотеку и арсенал, куда по приказу Павла I перенесли большую коллекцию пистолетов производства многих стран Европы, различные виды оружия и оружейных принадлежностей. Кроме того, в этих зданиях появились и покои членов императорской фамилии.