К человеческим чувствам Аракчеев относился с еще большим пренебрежением. Каждый год 1 января ему представляли списки неженатых и незамужних крестьян, он делал пометы, кого и на ком женить. Разумеется, при таком подходе счастливые браки были огромной редкостью, однако Аракчеева это нисколько не смущало. Абсолютно вся жизнь его крестьян проходила на виду. За их поведением было установлено тайное наблюдение. Провинившихся (независимо от пола и возраста) жестоко пороли. Строгая система телесных наказаний, созданная Аракчеевым, дополнялась «нравственным» наказанием. Провинившийся должен был писать графу покаянное письмо с обещанием исправиться.

Интересно, что сам Аракчеев вовсе не был образцом добродетели. У него были любовницы. Однако, по словам историков, даже его любовные похождения выглядели скучно и буднично. С 1800 года постоянной сожительницей графа стала Настасья Минкина – жестокая и мстительная женщина, чье представление о порядке во многом совпадало с представлением ее любовника. Более того, он сам боялся ее и исполнял любые повеления своей госпожи. Годами копившееся против нее раздражение в конце концов переполнило чашу терпения доведенных до отчаяния крестьян. 10 сентября 1825 года дворовые убили ее. Аракчеев в бешенстве прискакал в Грузино и с неистовой жестокостью расправился с «виновными». Гибель любовницы произвела на Аракчеева настолько сильное впечатление, что он впервые в жизни совершил крупную ошибку. Шервуд, доносчик по делу о заговоре тайных обществ, писал, что курьер, который должен был получить от него важные сведения для представления их Аракчееву, опоздал на несколько дней потому, что граф «был как помешанный». Хорошо информированные современники считали, что если бы Аракчеев вовремя осуществил расследование, то «никогда бы возмущения гвардии 14 декабря на Исаакиевской площади не случилось – затеявшие бунт были бы заблаговременно арестованы». До самой смерти Александра I (19 ноября 1825 года) Аракчеев не возвращался к делам, ссылаясь на «тяжкое расстройство здоровья».

Смерть царственного покровителя стала для Аракчеева еще одним страшным ударом. Попытка вернуть себе прежнее положение при дворе окончилась полным провалом из-за его бестактности. 12 декабря 1825 года великий князь Николай Павлович, готовый уже вступить на престол, писал Дибичу: «Третьего дня видел в первый раз графа Аракчеева. Он мне упомянул об этом деле (о заговоре), не зная, на чем оно остановилось, и говоря про оное, потому что полагает его весьма важным. Я тогда же сообщил об этом Милорадовичу, который хотел видеться с Аракчеевым; но как граф принял за правило никого у себя и нигде не видеть, даже и по службе, то и не пустил к себе Милорадовича, хотя он и велел сказать, что он от меня». 20 декабря 1825 года последовало возмездие. Аракчеева отстранили от заведования делами Комитета министров. Он сохранил только звание члена Государственного совета и отправился за границу.

Во время путешествия за границей Аракчеев совершил еще один не вполне этичный поступок: издал подборку обращенных к нему писем Александра I. После возвращения в Россию он почти безвыездно жил в Грузино, которое стало настоящим мемориалом его «благодетеля». В память об Александре его бывший фаворит соорудил перед церковью бронзовый памятник, заказал за границей часы с бюстом покойного императора. Эти часы раз в день, в 11 часов дня (время, когда Александр скончался), исполняли музыку – молитву «Со святыми упокой».

21 апреля 1834 года Аракчеев умер и был похоронен в церкви Грузино. За год до смерти он внес в государственный заемный банк 50 тысяч рублей ассигнациями, чтобы эта сумма оставалась в банке 93 года со всеми процентами: 3/4 из этого капитала предназначались тому, кто напишет к 1925 году на русском языке лучшую историю царствования императора Александра I. Оставшаяся четверть капитала должна была пойти на издание этого труда, вторую премию и оплату двум переводчикам (Аракчеев хотел, чтобы труд был переведен на французский и немецкий языки). 300 тысяч рублей Аракчеев пожертвовал Новгородскому корпусу для воспитания бедных дворян Новгородской и Тверской губерний на проценты с этого капитала. Село Грузино также перешло к Новгородскому корпусу (получившему тогда название Аракчеевского), поскольку детей-наследников у Аракчеева не было.