В 1815 году он возвратился в Петербург, став одним из учредителей и главных архитекторов Комитета для строений и гидравлических работ. Росси внес важный вклад в украшение Павловска, создал замечательный архитектурно-парковый ансамбль на Елагином острове (1818–1822 гг.) с дворцом, павильонами и хозяйственными сооружениями, искусно скомпонованными с зеленью и водоемами. Во многом именно благодаря Росси Петербург к 1830-м годам обрел новое лицо, превратившись из столицы в ряду прочих европейских столиц в центр гигантской империи, гордой своими победами над Наполеоном. Росси создал монументально-строгие ансамбли, задающие масштаб всему огромному городу, отражая его имперское величие.

В 1819 году Росси полностью преобразил пространство перед Зимним дворцом (значительно обновленным им в 1818–1827 годах) и обновил часть интерьеров. Правда, из них сохранилась лишь Военная галерея 1812 года, восстановленная после пожара 1837 года В.П. Стасовым. На месте отдельных частных домов он возвел два грандиозных здания Главного штаба и министерств, объединенных дугообразным фасадом и триумфальной аркой над Морской улицей. Основой для реконструкции другого района столицы – между Невским проспектом и Марсовым полем – послужило строительство дворца для великого князя Михаила Павловича (1819–1825 гг.; ныне Государственный Русский музей). Росси раскрыл пространство перед главным фасадом дворца, спроектировав ритмически соразмерную ему площадь, окружение же Марсова поля, куда обращен другой фасад, также было радикально перепланировано. Наиболее грандиозный из ансамблей Росси имеет своим началом перестройку Аничковой усадьбы (1816–1818 гг.). Преображая территорию от Невского проспекта до Чернышева моста через Фонтанку, Росси возвел здесь в 1828–1834 годах Александринский театр с отходящей от его заднего фасада Театральной улицей (ныне – ул. Зодчего Росси), оформленной двумя однородными протяженными корпусами со сдвоенными дорическими колоннами; с городом театр и улицу связали две площади – Театральная и Чернышевская (ныне – пл. М.И. Ломоносова).

Последний из крупных ансамблей выстроен на Сенатской площади; проекты Росси, реализованные в 1829–1834 годах архитектором А.Е. Штаубертом, определили облик и структуру соединенных аркой зданий Сената и Синода, тем самым завершилось создание системы трех парадных площадей центра города – Дворцовой, Адмиралтейской и Сенатской.

Творениям Росси – помимо их градостроительного значения – присуща и удивительная декоративная цельность: как в мощных, строго продуманных архитектурных акцентах экстерьеров с их мощными колоннами, рустовкой и скульптурным убранством (с Росси сотрудничали ваятели В.И. Демут-Малиновский и С.С. Пименов, исполнившие скульптурный декор арки Главного штаба и Александринского театра), так и во внутреннем дизайне. Росси сам рисовал эскизы интерьерных росписей и рельефов, мебели и осветительных приборов, тем самым добиваясь характерной для ампира универсальной цельности стиля. Например, К. Росси изобрел хорошо нам знакомые печатные бумажные обои. До изобретения Росси стены украшались коврами, гобеленами, росписью или обивались материей, что, в частности, расширяло возможности множества кровососущих паразитов, для спасения от них и существовал балдахин над постелью.

Завистники и недруги Росси настроили против него государя. Николай I был уверен, что разбирается в архитектуре не хуже Павла и Александра, что реальности не соответствовало. Так, царь вычеркнул колокольню в проекте Юрьева монастыря в Новгороде – дескать, нельзя строить колокольни выше Ивана Великого в Москве. Это один из многочисленных примеров, когда власти навязывают свою волю художнику, результат же всегда плачевный.