Публика была в восторге от звучного, далеко летящего голоса Яковлева, его темпераментной игры, богатырского склада фигуры. Но была у феерического успеха Яковлева и оборотная сторона. Энциклопедический словарь Брокгауза и Ефрона отмечал, что «малообразованному молодому человеку немудрено было потерять голову от триумфов, так легко ему доставшихся, и увериться в собственной гениальности; к этому вскоре присоединился загул в компании поклонников его таланта. Эта несчастная страсть не только отразилась на творчестве Яковлева, но исказила его характер, сделав его неудержимо заносчивым и грубым». Алкоголизм Яковлева довел его до попытки самоубийства: 24 октября 1813 года, находясь в гримерке, актер пытался перерезать себе горло, но был спасен коллегами по сцене.

По свидетельству современников, сильно подкосила Алексея Семеновича и несчастная любовь, сопровождавшая всю его сценическую жизнь. Этой любовью была его ровесница и партнерша по сцене Александра Дмитриевна Каратыгина (в будущем мать великого трагика Василия Каратыгина). Но Александра была замужем, разрушать ее брак Яковлев не хотел… Свои горестные чувства актеру оставалось изливать разве что в стихах:

Надеясь прогнать горе, Яковлев женился на 17-летней актрисе Екатерине Ивановне Ширяевой. Она оказалась преданной и заботливой супругой, но настоящего счастья с ней Яковлев так и не обрел.

Несмотря на колоссальный успех ролей Яковлева и солидное жалованье, которое он получал, состоятельным человеком актер не был. Легко одалживал деньги, так же легко забывал отдавать долги, щедро помогал знакомым и незнакомым. «Отдать последний грош нуждающемуся человеку, пристроить бедную сироту, похоронить на свой счет беднягу, взять на попечение подкидыша и обеспечить существование несчастного ребенка, защитить в известном обществе приятеля от клеветы, и все это стараться делать, по писанию, втайне – вот весь Яковлев!» – вспоминал его современник. В итоге после смерти актера у его вдовы, оставшейся с двумя маленькими детьми на руках, было всего-навсего 9 рублей 44 копейки наличными. А долгов накопилось между тем на 3200 рублей.

В последний раз великий русский трагик появился на сцене 9 октября 1817 года в роли Отелло (по другим данным – в роли Тезея из «Эдипа в Афинах» В.А. Озерова). Но спектакль до конца не доиграл – после антракта публике объявили, что актер заболел. Яковлева отвезли домой, и больше он уже не вставал. 3 ноября, в 44-й день его рождения, Яковлева навестил его старый учитель Иван Дмитревский, который со слезами обратился к своему ученику:

– Алексей, кто же нам останется, когда и ты идешь в лучший мир? Кто поддержит нашу трагедию? Театр погибнет…

В этот момент Яковлев открыл глаза и произнес фразу из трагедии Озерова «Димитрий Донской»: «Языци, ведайте – велик Российский Бог!» Это были его последние слова…

Великого трагика похоронили на петербургском Волковом кладбище. Его репертуар перешел к актеру Якову Григорьевичу Брянскому, о котором А.С. Пушкин писал: «Яковлев умер; Брянский заступил его место, но не заменил его. Брянский, может быть благопристойнее, вообще имеет более благородства на сцене, более уважения к публике, тверже знает свои роли, не останавливает представлений внезапными своими болезнями; но зато какая холодность! какой однообразный, тяжелый напев!.. Брянский в трагедии никогда никого не тронул, а в комедии не рассмешил». И только в 1820 году на петербургской сцене появился достойный наследник Яковлева – Василий Каратыгин.