Пятнадцатого сентября, перед выходом в Карское море, «Святая Анна» ненадолго остановилась на острове Вайгач в становище Хабарово. Именно оттуда участники экспедиции передали последние письма родным на стоявшие там пароходы телеграфной экспедиции «Нимрод» и «Вассиан». В своем письме Брусилов писал: «…плавания осталось всего две недели, а зима – очень спокойное время, не грозящее никакими опасностями». Правда, в это же время Ерминия писала родным, что плавание закончится, скорее всего, летом следующего, 1913 года. Эти письма пришли в Архангельск лишь в конце октября 1912 года и стали последними сведениями об уходящей в дальнее плавание экспедиции. Следующие известия о ней появились лишь летом 1914 года.

Ледовая обстановка в южной части Карского моря летом и осенью 1912 года была крайне неблагоприятной. Почти месяц шхуна пробивалась к берегам Ямала, а в нескольких десятках километров севернее мыса Харасавэй вмерзла в неподвижный береговой припай.

В течение двух недель судно стояло вблизи берега на широте 71°45'. Участники экспедиции, понимая, что выйти на чистую воду в ближайшие месяцы не удастся, начали готовиться к зимовке. Предполагалось даже построить на берегу баню, для отопления которой можно было бы использовать плавник, в изобилии имевшийся на суше. Однако 28 октября сильным южным ветром большое ледяное поле, в которое вмерзла «Святая Анна», оторвало от припая. Так начался многолетний непредсказуемый дрейф судна в совершенно неизведанные районы Арктики.

Положение «Святой Анны» в первую зиму 1912/13 года не внушало опасений. Известно было, что еще зимой 1882/83 года во время проведения Первого международного полярного года в южной части Карского моря зимовали датская шхуна «Димфна» и голландское парусно-моторное судно «Варна». Из-за повреждений корпуса «Варна» затонула, но ее экипаж перешел на борт «Димфны», а в сентябре 1883 года датское судно, освободившись из ледового плена, благополучно вернулось на родину. Во время дрейфа эти захваченные льдом суда не покидали Карское море, и казалось, что прочный корпус «Святой Анны» вполне способен противостоять напору карских льдов.

Однако ожидания участников экспедиции не оправдались. Вместо спокойного кругового дрейфа по югу Карского моря шхуна вместе со льдами начала движение в северном направлении, и к лету 1913 года «Святая Анна» находилась уже севернее Новой Земли, на широте 78°. Лед вокруг судна был слабым, со множеством каналов и полыней, и если бы на шхуне имелся хоть небольшой запас динамита, то освободиться из ледового плена и выйти в Баренцево море не составило бы труда. К сожалению, взрывчатых веществ на судне не оказалось, а пробить канал во льду при помощи пороха команде не удалось. Началась вторая зимовка во льдах. Несмотря на удачную охоту на тюленей и белых медведей, ко времени зимовки 1913/14 года на судне стала ощущаться нехватка продуктов и топлива. Недостаток продовольствия возмещали медвежьим мясом, на медведей охотились часто и довольно успешно. На топливо понемногу разбирали лишние переборки на судне.

Направление дрейфа к северу практически не менялось, и к весне 1914 года судно обогнуло с северо-востока архипелаг Земля Франца-Иосифа и продолжило медленно двигаться в северо-западном направлении. При удачном стечении обстоятельств «Святая Анна», двигаясь вместе со льдами на запад, могла теоретически достичь северных берегов Гренландии к лету 1915 года.

Еще во время первой зимовки участники экспедиции начали болеть, чему немало способствовали тяжелые условия зимовок во время полярной ночи, неопределенность положения, скудость питания и отсутствие витаминов. Перед новым, 1913 годом тяжелый недуг сразил и самого Георгия Львовича. Болезнь его продолжалась несколько месяцев, долгое время он лежал в постели, временами впадая в забытье, и лишь весной с появлением солнца здоровье его стало улучшаться, его стали выносить на палубу. 2 мая 1913 года Брусилов записал в судовом журнале: «