Корпуса недостроенных и подорванных подлодок типа «С» на заводе им. Марти в Николаеве
До войны, как отметил командир базы, «эвакуация тыловой базы не мыслилась совершенно». Соответственно не было и планов эвакуации. Подготовка (сначала к эвакуации только ненужного для обороны) началась по требованию ЦК ВКП(б) лишь в середине июля. Единого органа создано не было, поэтому действия городских властей, руководства заводов и командования базы слабо согласовывались между собой. Морской транспорт для эвакуации начал подаваться 31 июля, но с перебоями и в недостаточном количестве. База подготовила к переходу морем недостроенные корабли. Их же загрузили оборудованием и ценными материалами. Несмотря на атаки авиации и наличие мин в Днепро-Бугском лимане, потерь при переводе недостроенных кораблей в Севастополь и другие порты не было. Из находившихся на плаву крупных единиц лишь стоявший в ремонте транспорт «Харьков», загруженный зерном, не смогли вывести и затопили в последние дни обороны. Впоследствии он был введен в строй противником. Помимо работ на недостроенных кораблях, база обеспечила ввод в строй мобилизованных судов, включая вспомогательный крейсер «Микоян».
Подготовка к обороне на сухопутных направлениях началась в июле, и к середине августа на подступах к Николаеву были оборудованы 26 батальонных опорных пунктов, вырыты два противотанковых рва. Силами Николаевской ВМБ был сформирован полк морской пехоты, оборудованы два бронепоезда. В городе были сформированы две дивизии народного ополчения (более 20 тыс. человек, но для них не было оружия) и ряд отдельных частей. Кроме того, в Николаев отходили войска 9-й армии, здесь же расположился штаб Южного фронта. При этом Николаевская ВМБ в оперативное подчинение фронта не поступила, об оперативной обстановке сведений не имела (только 11 августа штаб базы стал получать фронтовые оперсводки). 22 июля в Николаев прибыли основные силы Дунайской флотилии: три монитора, 17 бронекатеров, один малый охотник, минный заградитель, семь катеров-тральщиков, три катера «КМ», пять глиссеров и вспомогательные суда, а также 96-я истребительная эскадрилья. После ремонта силами базы и заводов с 1 августа флотилия стала действовать на реке вплоть до Вознесенска. Она находилась в оперативном подчинении у Южного фронта и Николаевской базе не подчинялась.
9 августа с севера на Николаев начали наступление войска 1-й танковой группы противника, с запада приближалась 11-я армия. Командующий фронтом генерал армии И. В. Тюленев приказал отвести войска из районов западнее Буга. Переправу успешно прикрывала Дунайская флотилия. Вечером того же дня в город прибыл заместитель наркома ВМФ вице-адмирал Г. И. Левченко. По его приказу силы Николаевской базы заняли оборону на подступах к городу вместе с частями 9-й армии, для борьбы с танками были привлечены зенитные батареи базы. Флотские истребители интенсивно штурмовали колонны наступающего противника. 10 августа части базы вступили в бой с передовыми отрядами противника. В этот же день городские власти без согласования с военными начали уничтожать объекты инфраструктуры, что вызвало панику и неразбериху. 11 августа в Николаев из Севастополя прибыло затребованное Левченко подкрепление – 500 моряков. Однако они прибыли без оружия, вооружить их было нечем, и отряд отправили обратно. Командование Черноморского флота и нарком ВМФ не имели ясного представления о ситуации в Николаеве и, судя по указаниям Н. Г. Кузнецова, с оптимизмом смотрели на перспективы обороны базы. Вероятно, этим и объясняется отсутствие реакции на просьбы Левченко помочь бомбардировочной авиацией. Между тем 13 августа противник перерезал дорогу Николаев – Херсон. Аэродромы вокруг города уже были или захвачены, или находились под огнем, поэтому 9-й авиаполк перелетел на другие площадки. В ночь на 14 августа тылы базы окольными дорогами были выведены в Херсон. Николаев находился под непрерывным огнем артиллерии, город горел, пожары уже не тушили. 13–14 августа подрывными партиями базы проводилось уничтожение объектов, оборудования, материальных запасов и прочего имущества судостроительных заводов. Однако в сложившейся обстановке это удалось не полностью. В ночь на 15 августа части 9-й армии осуществили прорыв из города в восточном направлении. Одновременно с боем прорвались в Херсон и части Николаевской ВМБ. В числе прочего удалось спасти значительную часть зенитной артиллерии. Прорвалась под огнем артиллерии в море и ушла в Херсон Дунайская флотилия. Оставленные в Николаеве для прикрытия общего отхода части 9-й армии упорно обороняли город до вечера 16 августа (16-я немецкая танковая дивизия донесла о тяжелых боях), а последние очаги сопротивления были подавлены только на следующий день.