Впрочем, николаевское время Кавелин – «оптимист» и «вечный юноша», по определению современников, – считал лишь исторической случайностью. Исследования русской истории, все новые и новые выступления Кавелина в печати, лекции, которые он возобновил после смерти Николая в Санкт-Петербургском университете и которые вызывали восторг и энтузиазм молодежи, оказывали бесспорное влияние на духовную жизнь общества.

В последние годы «николаевщины» Кавелин был занят и другой, потаенной работой. Б. Н. Чичерин вспоминал: «На юбилей прибыл из Петербурга Кавелин. Однажды он приехал ко мне и стал говорить, что положение с каждым днем становится невыносимее и что так нельзя оставаться. О каком-либо практическом деле думать нечего, печатать ничего нельзя; поэтому он задумал завести рукописную литературу, которая сама собою будет ходить по рукам». Характерно, что издаваемые в Лондоне герценовские «Голоса из России» начались именно статьями Кавелина, опубликованными, разумеется, без подлинного имени автора.

В годы правления Александра II авторитет Кавелина как историка и прогрессивного деятеля в научных и придворных кругах был столь высок, что его даже приглаcили в воспитатели к наследнику-цесаревичу Николаю Александровичу. Перед Кавелиным возникает перспектива служения обществу, аналогичная позиции В. А. Жуковского, воспитавшего Александра II. Однако этого Кавелину было недостаточно – он хотел активного участия в общественной борьбе, как можно скорее добиваться отмены крепостного права. Несмотря на то что новый император явно собирался действовать в этом направлении, говорить об отмене крепостного права в печати было тем не менее запрещено. В продолжение этой «рукописной литературы» Кавелин пишет своего рода трактат – широко разошедшуюся по рукам «Записку об освобождении крестьян». Часть этой записки (также без имени автора) печатает в «Голосах из России» А. И. Герцен; другую часть тоже безымянно публикует в «Современнике» Н. Г. Чернышевский.

Читатели «Записки» сразу обратили внимание на то, что автор ставит вопрос об освобождении крестьян весьма широко, выступая не только за освобождение помещичьих крестьян с землей (через ее выкуп), но и против «государственного крепостничества», к которому он относил позорную практику солдатской рекрутчины. Впрочем, подлинное имя автора «Записки» быстро становится известным, и Кавелина отстраняют от преподавания наследнику, отлучают от двора.

Когда в 1862 году в Петербурге случились известные пожары, Кавелин, как и многие его современники (Достоевский, Лесков), поверил, что это дело рук «революционной партии». Начинается расхождение, а затем и разрыв Кавелина с радикальной частью общественного движения. В 1862 году он писал Герцену в связи с арестом Чернышевского: «Аресты меня не удивляют и, признаюсь тебе, не кажутся возмутительными. Это война: кто кого одолеет. Революционная партия считает все средства хорошими, чтоб сбросить правительство, а оно защищается своими средствами». И это письмо, и многие другие тексты часто вменялись Кавелину в вину как «реакционные»: поздний Кавелин окончательно разошелся, например, с эмигрантом Герценом.

В 1862 году Кавелин печатает за рубежом брошюру «Дворянство и освобождение крестьян», в которой скептически оценивает правительственный вариант освобождения крестьян. Кавелин исходил из того, что крестьянская реформа проведена правительством вопреки желанию большинства дворян, опасавшихся губительных для себя последствий. Неизбежное напряжение между дворянством и крестьянством может привести к революционному взрыву, что, на взгляд Кавелина, отбросило бы Россию далеко назад. За революционным хаосом могла бы возникнуть еще худшая диктатура. В одном из писем Герцену в июне 1862 года Кавелин замечал: «Выгнать династию, перерезать царствующий дом – это очень нетрудно и часто зависит от глупейшего случая; снести головы дворянам, натравивши на них крестьян, – это вовсе не так невозможно, как кажется… Только что будет затем? То, что есть, не создаст нового, по той простой причине, что будь оно новым, – старое не могло бы существовать двух дней. И так выплывает меньшинство, – я еще не знаю какое, – а потом все скристаллизуется по-старому…».