Наконец, в августе 1779 года Смитмен решил преодолеть последний этап «торгового треугольника» и вернуться в Англию. Разумеется, корабль, на котором он плыл, захватили пираты, и все собранные экспонаты – плоды многолетних трудов – были выброшены в море. Он вернулся в Англию ни с чем, и триумфальной встречи героя, о которой он так мечтал, не состоялось. Но он хотя бы смог представить в Королевском обществе высоко оцененный доклад о термитниках. Однако высокомерный президент общества решил, что Смитмен недостаточно благороден для их рядов, и практически блокировал его прием в члены общества. Смитмен, безусловно, был убит горем. Его мечта стать джентльменом-ученым рассыпалась в прах.

Пришлось опираться на собственные силы. Он начал читать платные лекции, которые пользовались большой популярностью, о своих приключениях в мире муравьев и термитов. Одновременно он стал заметной фигурой в движении аболиционизма. Практически каждую свою научную лекцию он заканчивал краткой проповедью против рабства, «этой постыдной политики, которая унижает один вид [т. е. расу] человеческих существ, чтобы немногие представители другого купались в роскоши».

Вероятно, чувствуя вину за свое участие в работорговле, он начал собирать средства для организации сельскохозяйственной колонии в Сьерра-Леоне для свободных чернокожих. Он имел в виду и рабов Северной Америки, которые во время Войны за независимость проявили лояльность королевству и сражались в рядах британцев против своих господ. В сборе средств приняли участие сотни людей, в том числе десятки смешанных супружеских пар, которые просто хотели пожить свободной жизнью там, где их никто не будет унижать. Смитмен даже ездил в Париж, чтобы встретиться с Бенджамином Франклином и найти у знаменитого американца поддержку своим планам. (Во Франции в 1783 году Смитмену удалось наблюдать первый в мире полет на воздушном шаре, созданном братьями Монгольфье. Зрелище вдохновило его на проект собственного летательного аппарата – сигарообразного, с крыльями, что, по его мнению, должно было сделать его более управляемым, чем сферический аппарат Монгольфье.)

В июле 1786 года, за несколько месяцев до того, как поселенцы планировали отправиться в Африку, Смитмен слег с очередным приступом малярии. Страны Южной Америки в то время все еще скрывали хинин, и буквально через три дня – прежде чем кто-либо успел достать лекарство – он скончался. Четыре сотни колонистов все-таки отправились в путь, но прибыли они в середине сезона дождей, а оставшись без контактов и опыта Смитмена, оказались вынуждены просить пропитание, чтобы выжить. В течение трех месяцев треть из них умерли. Потом местный вождь выгнал оставшихся колонистов и распорядился сжечь все их хижины. Великая мечта Генри Смитмена об искуплении рассеялась как дым.

Несмотря на скоропостижную смерть, Смитмену удалось продвинуть дело аболиционизма вполне реальным, хотя и косвенным образом. В начале 1786 года он написал трактат, в котором изложил свое видение колонии в Сьерра-Леоне. Его прочитали двое шведских ученых – горный инженер Карл Вадстрем и ботаник Андерс Спаррман – и вдохновились настолько, что в конце 1787 года решили отправиться в Африку. У них были смутные планы побывать в глубине континента, но в итоге они застряли во французском рабовладельческом порту в Сенегале. Их крайне возмутило то, чему они стали свидетелями в ближайшие три месяца, но, в отличие от Смитмена, они пробыли там не так долго, чтобы гнев и возмущение сгладились.