Выйдя из каторги, Достоевский почти не мог писать: стихи, которые он сочинил в мае 1854 года, «На Европейские события в 1854 году», имели явную цель – доказать его патриотические и верноподданнические чувства: он громит французов и англичан, выступающих на защиту турок против Христа, и славит русского царя, Божьего помазанника и защитника веры. Литературная ценность их была ничтожна. Затем, уже после отъезда Исаевой, он принялся, наконец, за прозу – и должен был долго преодолевать ту негибкость, почти одеревенелость, какую знают все писатели, художники, артисты после длительного перерыва в работе. Он медленно возвращался к тому самому исходному положению, в котором застала его катастрофа семь лет тому назад.

В мае 1856 года в письмах Марьи Димитриевны вновь зазвучали тревожные ноты. То она пишет, что грустит и тоскует, то вдруг заявляет: «мы слишком много страдали, слишком несчастны, чтобы мечтать о браке», она не составит его счастья, лучше обо всем позабыть, ото всего отказаться. Единственное, о чем она его просит, это похлопотать о Паше, ему уже идет девятый год, его надо определить в какое-нибудь закрытое учебное заведение.

Измученный всей этой перепиской с ее чередованием холода и жара, Достоевский решается на крайний шаг: необходимо личное свидание с Марьей Димитриевной, надо выяснить всё и переговорить с глазу на глаз. И значит, надо ехать в Кузнецк.

После долгих хлопот и всяческих ухищрений Достоевскому удалось заручиться помощью батальонного командира, знавшего обо всех его любовных треволнениях. Унтер-офицер Достоевский получил служебное поручение отвезти в Барнаул фургон с веревками. А от Барнаула до Кузнецка не слишком далеко. И Достоевский пустился в дорогу с надеждой через несколько дней увидать и обнять Марью Димитриевну.

Достоевский тайно уехал из Барнаула в Кузнецк, мечтая, что свидание с женщиной, на которую, по его собственному выражению, он «имел права», разрешит все сомнения и трудности. Но вместо радостной встречи в Кузнецке его ждал страшный удар. Он вошел в комнату к Марье Димитриевне, и она не бросилась ему на шею: с плачем целуя его руки, она закричала, что всё потеряно, что брака быть не может – она должна признаться во всём: она полюбила другого. Этот другой, Николай Борисович Вергунов, родом из Иркутска, учитель начальной школы, был довольно красивый 24-летний молодой человек, и Марья Димитриевна увлеклась им физически и даже подумывала о том, чтобы выйти за него замуж. Достоевский выслушал ее рассказ, стиснув руками голову, потом заметил, что Вергунов когда-нибудь попрекнет ее за то, что она хотела только сладострастия и заела ему век. Марья Димитриевна сперва приписала эти слова ревности, но потом задумалась и опять начала плакать. Она теперь не верила ни в чью любовь. Напрасно Достоевский в долгой беседе пытался понять ее истинные чувства и определить отношения между нею и Вергуновым: несвязный разговор этот, вероятно, был похож на тот, который он затем описал в «Униженных и оскорбленных», между Ваней и Наташей:

«Не уважаешь, не веришь даже в любовь его, и идешь к нему без возврата, и всех для него губишь. Что же это такое? Измучает он тебя на всю жизнь, да и ты его тоже».

«Да, люблю, как сумасшедшая, – отвечала она, побледнев, как будто от боли. – Я тебя никогда так не любила, Ваня. Я ведь и сама знаю, что с ума сошла и не так люблю, как надо. Нехорошо я люблю его… Я ведь и прежде знала и в самые счастливые минуты наши предчувствовала, что он даст мне одни только муки».