Собственно Эрмитажем являлся павильон на противоположной, северной стороне Висячего сада. Строившийся в 1767–1769 годах по проекту Валлен-Деламота, в екатерининские времена он звался по фамилии создателя Ламотовым (ныне Северный). Карьера его автора состоялась благодаря графу Шувалову, пригласившему молодого француза в Россию на должность архитектора при Московском университете. Заключив трехлетний контракт, Валлен-Деламот переехал в Санкт-Петербург, где остался на четверть века. Первой крупной его работой стал Гостиный двор на Невском проспекте, далее он строил костел Святой Екатерины, дворец графа И. Г. Чернышова, склады «Новая Голландия» и часть здания Академии художеств.

Одной из лучших работ архитектора является примыкающее к Зимнему дворцу здание Малого Эрмитажа. Горизонтальные членения выходящего на Неву фасада согласуются с архитектурой дворца, подчеркивая ансамблевый характер застройки набережной. Характерная для раннего классицизма ясность композиции здесь, как и во всех постройках Валлен-Деламота, сочетается с барочной пластичностью форм. Он долго преподавал в петербургской Академии художеств, был удостоен звания профессора и подготовил учеников, среди которых был Иван Егорович Старов (1745–1808), впоследствии перестроивший ряд интерьеров Зимнего дворца. Пожилого архитектора уволили со службы с пенсией 400 рублей в год. После этого он вернулся в родной Ангулем, где прожил остаток жизни в забвении и бедности.

Императрица отдыхала от государственных дел в тишине Висячего сада, находила уединение в комнатах, расположенных в центре Ламотова павильона. В одном из угловых кабинетов проходили камерные вечера со спектаклями, играми и танцами, куда приглашали только «приятных людей»: друзей, фаворитов, актеров, писателей и просто интересных собеседников.

В середине XIX века на месте комнат Екатерины был устроен парадный зал с видом на Неву, а кабинеты остались как напоминание о веселых эрмитажных собраниях, обычно завершавшихся ужинами без прислуги. Кроме прочей мебели, здесь стояли механические столы, которые сервировались в кухнях первого этажа и с помощью особого устройства поднимались наверх. Гостям предлагали забыть о делах, держаться непринужденно, подчиняясь несерьезному этикету, составленному лично императрицей. Начертанные на доске правила висели при входе, и каждый, кто не удосуживался обратить на них внимание, подвергался наказанию, например выпивал стакан холодной воды. Злостного нарушителя наказывали строже, обычно заставляя прочесть наизусть отрывок из «Тилемахиды» В. К. Тредиаковского.

В екатерининские времена в Северном павильоне Малого Эрмитажа хранились раритеты – редкие по красоте вещи и произведения искусства. Выставленные в Павильонном зале часы «Павлин» достались Екатерине II в подарок от князя Г. А. Потёмкина. Предчувствуя скорую кончину, фаворит передал императрице всю свою коллекцию живописи, в том числе картину известного английского художника Дж. Рейнолдса «Амур развязывает пояс Венеры». Этот подарок сыграл немалую роль в формировании коллекции, которую, как и здание, тогда называли Эрмитажем.

С 1775 года приобретаемые в большом количестве картины располагались в галереях, соединявших павильоны Эрмитажа. Спустя несколько лет экспонатам вновь стало тесно, и Фельтен начал строить новое здание рядом с Северным павильоном. Завершенное к 1787 году, оно получило название Большой Эрмитаж (ныне Старый), а прежнее стало именоваться Малым. Главным помещением новой постройки была личная библиотека Екатерины, едва уместившаяся в красивом Овальном зале. От нее началось уникальное книжное собрание Эрмитажа, хотя сама комната, к сожалению, не сохранилась.