Не удивительно, что уже в 1861 г. Толстой выходит в отставку, при этом пишет следующее письмо императору:

«Государь, служба, какова бы она ни была, глубоко противна моей натуре; знаю, что каждый должен в меру своих сил приносить пользу отечеству, но есть разные способы приносить пользу. Путь, указанный мне для этого провидением, – мое литературное дарование, и всякий иной путь для меня невозможен. Из меня всегда будет плохой военный и плохой чиновник, но, как мне кажется, я, не впадая в самомнение, могу сказать, что я хороший писатель. Это не новое для меня призвание; я бы уже давно отдался ему, если бы в течение известного времени (до сорока лет) не насиловал себя из чувства долга, считаясь с моими родными, у которых на это были другие взгляды. Итак, я сперва находился на гражданской службе, потом, когда вспыхнула война, я, как все, стал военным. После окончания войны я уже готов был оставить службу, чтобы всецело посвятить себя литературе, когда Вашему величеству угодно было сообщить мне через посредство моего дяди Перовского о Вашем намерении, чтобы я состоял при Вашей особе. Мои сомнения и колебания я изложил моему дяде в письме, с которым он Вас знакомил, но так как он еще раз подтвердил мне принятое Вашим величеством решение, я подчинился ему и стал флигель-адъютантом Вашего величества. Я думал тогда, что мне удастся победить в себе натуру художника, но опыт показал, что я напрасно боролся с ней. Служба и искусство несовместимы, одно вредит другому, и надо делать выбор. Большей похвалы заслуживало бы, конечно, непосредственное деятельное участие в государственных делах, но призвания к этому у меня нет, в то время как другое призвание мне дано. Ваше величество, мое положение смущает меня: я ношу мундир, а связанные с этим обязанности не могу исполнять должным образом.

Благородное сердце Вашего величества простит мне, если я умоляю уволить меня окончательно в отставку, не для того, чтобы удалиться от Вас, но чтобы идти ясно определившимся путем и не быть больше птицей, щеголяющей в чужих перьях. Что же касается до Вас, государь, которого я никогда не перестану любить и уважать, то у меня есть средство служить Вашей особе, и я счастлив, что могу предложить его Вам: это средство – говорить во что бы то ни стало правду, и это – единственная должность, возможная для меня и, к счастью, не требующая мундира. Я не был бы достоин ее, государь, если бы в настоящем моем прошении прибегал к каким-либо умолчаниям или искал мнимых предлогов.

Я всецело открыл Вам мое сердце и всегда готов буду открыть его Вам, ибо предпочитаю вызвать Ваше неудовольствие, чем лишиться Вашего уважения. Если бы, однако, Вашему величеству угодно было предоставить право приближаться к особе Вашего величества только лицам, облеченным официальным званием, позвольте мне, как и до войны, скромно стать камер-юнкером, ибо мое единственное честолюбивое желание, государь, – оставаться Вашего величества самым верным и преданным подданным»[6].

Получив при отставке чин действительного статского советника, Толстой только изредка наезжает в столицу. Еще зимой 1850–1851 гг. Толстой познакомился с женой конногвардейского ротмистра Софьей Андреевной Миллер (урожденной Бахметевой, 1827–1892), полюбил ее, но отношения долго не налаживались. Только в 1855 г., когда во время Крымской войны Толстой вступил добровольцем (тогда говорили «охотником») «стрелкового полка Императорской фамилии» и едва не умер от тифа (почему и не участвовал в военных действиях), Софья Андреевна стала открыто ухаживать за ним. Так начался их гражданский брак, а венчались они только в 1863 г. в Лейпциге, так как и мать Толстого относилась к ней недоброжелательно (забыв, что сама родилась вне церковного брака, а к тому же и бросила мужа), а муж Софьи Андреевны не давал ей развода. Толстой жил с женой или в усадьбе Пустынька на берегу реки Тосны под Петербургом, или в родовом селе Красный Рог Мглинского уезда Черниговской губернии. А в 1860–1870 гг. они много времени проводили в Европе.