Вопрос об архитекторах действительно труден; в описании, изданном в 1741 году, отмечается, что «палаты Академии наук строены от разных архитекторов». Это действительно плод коллективного творчества.

Первоначальный проект здания принадлежал, безусловно, архитектору Георгу-Иоганну Матарнови, строителю «Зимнего дома» для царя. Но сам Матарнови был учеником великого немецкого архитектора и скульптора Андреаса Шлютера, который в 1713–1714 годы несколько месяцев работал в Петербурге и скончался здесь; архив его проектов унаследовал Матарнови. Есть основания предполагать участие в проектировании здания для библиотеки и Кунсткамеры и знаменитого Леблона.

После смерти Матарнови в ноябре 1719 года строительство возглавил архитектор Гербель. Работы шли медленно, периоды оживления (стройка велась только летом) сменялись перерывами, долгими паузами. Медлили подрядчики, не хватало работников, не было необходимых материалов. Царь неоднократно торопил. Осенью 1722 года он из Астрахани шлет строгое указание Ульяну Синявину поторопиться с окончанием строительства.

Здание строилось состоящим из трех частей: двух больших корпусов, соединенных центральной башней. Боковые корпуса были в основном закончены к осени 1723 года, когда началась укладка кровли. С центральной башней было труднее, она попала в «полосу неудач». Сперва обнаружились трещины в столбах, поддерживавших внутренние своды, а в июле 1724 года и сами своды обрушились. Тяжело больной Гербель был отстранен, его заменил замечательный итальянец-архитектор Гаэтано Киавери, предложивший свой проект башни. В июле-сентябре 1725 года (уже после смерти Петра) все петербургские архитекторы пять раз собирались на «консилии», решая судьбу башни. Решено было разобрать ее до фундамента и строить вновь. Теперь строили скоро: уже в конце августа 1726 года на предназначенное ему место в башне был поднят знаменитый «Готторпский глобус», после чего каменщики завершили кладку бани, над которой был выведен деревянный обитый железом купол.

В августе 1727 года Киавери покинул Петербург, и с 29 марта 1728 года строительство было поручено Михаилу Земцову. На его долю выпала не только внутренняя отделка помещений, но и благоустройство прилегающей территории (двор, участок набережной, мощение дороги), и завершение наружной отделки здания (побелка и окраска, орнаменты на стенах, крытая галерея вокруг башни, возведение над башней «фонарика», который предназначался для астрономических наблюдений и столичной «службы времени»). Весной 1729 года возникает поект размещения вокруг башни 12 свинцовых аллегорических фигур, двух орлов и двух орнаментов по карнизам здания; потом решают вырезать из дерева и водрузить на башне «статую отласовую з глобусом». В 1730 году на башне Кунсткамеры воздвигается «великая деревянная спица», механик Пьер Виньон изготовляет «сферу армилярии», которую и устанавливают на куполе башни. 1 декабря 1731 года Ульян Синявин доносит Сенату об окончании всех строительных работ в здании Кунсткамеры (вот она, точная дата окончания – через тринадцать с половиной лет после начала)…

Но к этому времени Кунсткамера и библиотека уже три года «жили» в этом здании; осенью 1728 года они были перевезены на Васильевский остров из Кикиных палат, и через две недели после окончания всех строительных работ на башне, 25 ноября, одновременно с библиотекой Кунсткамера была торжественно открыта – правда, лишь один зал и «особенные покои, где императорский кабинет сохраняется» (имеется в виду «Кабинет Петра Великого» – мемориальное собрание личных вещей царя, разнообразных предметов его быта и занятий). «Кто кунст и натуральную камору осмотреть, – писали на следующий день «Сакнтпетербургские ведомости», – тому надлежит за день тому библиотекарю объявить». Библиотека и Кунсткамера в системе Академии наук продолжали составлять единое целое.