Герцен мучительно переживает эту образовавшуюся вокруг него пустоту. Пропала уверенность, что он идет впереди России, своим блистательным пером указывая народившемуся обществу направление. Но ему кажется, что еще не всё потеряно, что он еще может нагнать, объясниться, снова стать во главе. В письмах 1864 года постоянно появляется мысль, что необходимо переехать в Швейцарию, чтобы вдохнуть в «Колокол» новую жизнь. Огареву из Женевы: «Что “Колокол” издавать в Лондоне при новом взмахе в России нельзя, это для меня ясно. Здесь перекрещиваются беспрерывно едущие из и во Францию, из и в Италию, здесь многие живут и пр.»

Переезд на континент и перенос издания в Женеву – к концу 1864 года дело почти решенное. Возникает вопрос о союзниках. В декабре этого страшного для него года Герцен приезжает на так называемый Женевский конгресс – первый объединительный съезд русской эмиграции, организованный Утиным. Приезжает с похорон. 4 декабря умирает от дифтерита трехлетняя дочь Герцена Елена, через неделю, 11 декабря, сын Алексей – близнецы. В эти декабрьские дни Герцен пишет старшей дочери и ее воспитательнице: «Какую мрачную и страшную страницу я пережил, все мы пережили, трудно сказать вам это. Я присутствовал при ужасающем зрелище самой жестокой смерти – смерти от удушья – этих двух детей. Я держал девочку во время операции трахеотомии и закрыл глаза мальчику… Всё это сразу; удар за ударом… как сон…»

И вот через несколько дней – переговоры в Женеве с молодой эмиграцией. Герцен приезжает в город на Роне с Огаревым и своим старшим сыном Александром. Утин требует «Колокол» или фонд Бахметьева для издания своей газеты. Главное обвинение Герцену – старик держит монополию на революционную прессу. Герцен сначала готов поделиться, но глубоко оскорблен отсутствием уважительного к себе отношения со стороны молодых людей.

В статье «Молодая эмиграция» он дает свой взгляд на причины расхождений: «В самый разгар эмигрантского безденежья разнесся слух, что у меня есть какая-то сумма денег, врученная мне для пропаганды. Молодым людям казалось справедливым ее у меня отобрать». Речь идет о знаменитом таинственном спонсоре революции, некоем Бахметьеве, юноше, получившем наследство и уехавшем строить социализм «на Маркизовы острова». По дороге, заехав в Лондон, он оставил Герцену круглую сумму «на пропаганду», которую тот положил в банк Ротшильда под процент, обязавшись, во-первых, ждать как можно дольше возвращения Бахметьева, а во-вторых, тратить эти деньги только совместно с Огаревым. Хотя след жертвователя пропал бесследно, на все притязания «молодых штурманов будущей бури» Герцен отвечает отказом. О молодых революционерах-землевольцах Герцен, объясняя свою позицию, пишет: «…Их систематическая неотесанность, их грубая и дерзкая речь не имеет ничего общего с неоскорбительной и простодушной грубостью крестьянина и очень много с приемами подьяческого круга, торгового прилавка и лакейской помещичьего дома. Народ их так же мало счел за своих, как славянофилов в мурмолках. Для него они остались сужим, низшим слоем враждебного стана, исхудалыми баричами, стрекулистами без места, немцами из русских».

Задуманный как объединительный, конгресс играет роль прямо противоположную – эмиграция разделяется на два непримиримых лагеря. Герцен напишет Огареву о своем бывшем протеже: «Утин хуже других по безграничному самолюбию», – называет его «самым лицемерным из наших заклятых врагов». В другом месте: «У них нет ни связей, ни таланта, ни образования. <…> Им хочется играть роль, и они хотят употребить нас пьедесталом. <…> Женева при разрыве с этими господами делается превосходным местом. Они надоели бы, как горькая редька». Причем каждая сторона после сорвавшихся переговоров обвиняет в провале объединения противника. Герцен – Огареву: «Женевские щенята в последнюю минуту отказались от всего (по приказу из Цюриха), – да черт же с ними, наконец». «Приказ из Цюриха» – намек на проживавшего в то время в цюрихском пансионе Шелгуновой Александра Серно-Соловьевича, тоже участника переговоров. Скоро и Шелгунова, и Серно-Соловьевич переселятся в Женеву. Герцен Огареву: «Серно-Соловьевич – главный противник наш».