Но все эти реформаторские успехи Головнина не гарантировали прочности его положения. Более того, в них видели проявление «крайних» либеральных воззрений. Инакомыслие улавливалось и в его стремлении опереться на общественное мнение, развязать газетную полемику, в том, что, управляя министерством, он никогда «не употреблял шпионов, не допускал доносов», а министерские ревизии учебных заведений осуществлял только гласно, стараясь «сколь возможно менее быть полицмейстером и сколь можно более – педагогом». Именно поэтому его имя вызывало злобную критику консерваторов. Самым громогласным критиком Головнина стал московский публицист, редактор «Московских ведомостей» и «Русского вестника» М. Н. Катков, который называл министерство Головнина олицетворением «измены и предательства в самом средоточии правительства». Головнин не стал «своим человеком» для Александра II, его не приглашали «за кулисы» власти, где обсуждались закрытые для общества темы. Царь не доверял Головнину, полагая, что тот «подстрекал брата» (великого князя Константина Николаевича) на смелые реформаторские идеи, включая конституционный проект.

Сам же Головнин иронично воспринимал эти слухи и считал себя не вправе называться либералом. «По моему понятию, слово либерал означает человека, который, считая в теории других людей себе равными, не допускает на практике преобладания своего произвола над другими и не подчиняется сам произволу других, который подчиняется только закону… и жертвует своими выгодами для осуществления своих идей. Можно ли после этого назвать либералами покорных слуг самодержавия, которые дорожат придворными званиями и звездами и никогда еще ничем не пожертвовали для осуществления либеральных теорий, то есть теорий равенства и законности с отрицанием всякого произвола? Неужели, не делаясь крайне смешным, я мог бы назвать себя либералом после того, что уживался двенадцать лет при дворе, принял дюжины две крестов и звезд и до сорокалетнего возраста оставался владельцем крепостных крестьян?» – писал он В. А. Цеэ в 1865 году, на исходе своей министерской карьеры. В этой тираде легко обнаруживается понимание министром невозможности полноценно реализовать исповедуемые им либеральные принципы в ситуации, когда самодержавная власть обозначила предел уступок обществу. «Мы все храбры у себя в кабинете, – признавался он позднее, – а не в тот момент, когда приходится сказать Государю неприятные истины… Гражданское мужество и гражданская доблесть отсутствуют там, где нет граждан, а встречаются только покорные верноподданные…»

И все же то, что Головнин успел сделать в годы управления Министерством просвещения, стиль его поведения во власти разрушали привычный образ мундирного чиновника, вступали в противоречие со стереотипами придворной жизни. Поэтому, как только представился повод, Головнин был отправлен в отставку, став по сути первой жертвой начинавшейся политической реакции.

Поворот к ней был связан с покушением Д. Каракозова на императора 4 апреля 1866 года. Противники либеральных реформ в окружении Александра II использовали это событие, чтобы настроить царя на проведение жесткого курса в отношении печати и университетов. Система Головнина, открывшая в том числе простор естественным наукам, представлялась им почвой для формирования материализма и нигилизма. 14 апреля 1866 года Головнин был смещен. Его преемник, граф Д. А. Толстой, больше отвечал требованиям грозного царского рескрипта (от 13 мая 1866 года) действовать в охранительном духе, оберегая начала христианской религии и существующего самодержавного порядка.