К нему начали приезжать, присылать портреты жен, невест, любовников (фотографию тогда еще не изобрели), приводить детей. Иногда происходили курьезы. Однажды он принял приговоренного к смерти преступника за известного государственного деятеля, но все-таки в большинстве случаев он оказывался прав. О нем рассказывали чудеса.

Как-то в Цюрих приехал молодой красавец аббат. Лафатеру не понравилось его лицо. Прошло немного времени, и аббат совершил убийство.

Некий граф привез к Лафатеру свою молодую жену. Ему хотелось услышать от знаменитого физиогномиста, что он не ошибся в выборе. Она была красавицей, и граф надеялся, что душа ее так же прекрасна. Лафатер усомнился в этом и, чтобы не огорчать мужа, попытался избежать прямого ответа. Граф настаивал. Пришлось сказать, что в действительности Лафатер думал о его жене. Граф обиделся и не поверил. Через два года жена бросила его и окончила свои дни в публичном доме.

Одна дама привезла из Парижа дочь. Взглянув на ребенка, Лафатер отказался говорить. Дама умоляла. Тогда он написал что-то на листе бумаги, вложил в конверт, запечатал и взял с дамы слово распечатать его не ранее чем через полгода. За это время девочка умерла. Мать вскрыла конверт и прочитала: «Скорблю вместе с вами».

Лафатер составил и свой собственный психологический портрет: «Он чувствителен и раним до крайности, но природная гибкость делает его человеком всегда довольным… Посмотрите на эти глаза: его душа подвижно-контрастна, вы получите от него все или ничего. То, что он должен воспринять, он воспримет сразу или никогда… Тонкая линия носа, особенно смелый угол, образуемый с верхней губой, свидетельствует о поэтическом складе души; крупные закрытые ноздри говорят об умеренности желаний. Его эксцентричное воображение содержит две силы: здравый рассудок и честное сердце. Ясная форма открытого лба выказывает доброту. Главный его недостаток – доверчивость, он доброжелателен до неосторожности. Если его обманут двадцать человек подряд, он не перестанет доверять двадцать первому, но тот, кто однажды возбудит его подозрение, от него ничего уже на добьется…»

Он был убежден, что характеристика беспристрастна.

Поклонники боготворили Лафатера, считали его провидцем. Великие писатели и поэты изучали физиогномику для того, чтобы описания героев их произведений точнее соответствовали их внутреннему миру. Со ссылкой на Лафатера Михаил Юрьевич Лермонтов характеризует внешность Печорина в «Княгине Лиговской». Соответствия портретных характеристик с физиогномикой есть во многих произведениях Лермонтова. В феврале 1841 года Лермонтов в письме к А.И. Бибикову сообщил, что покупает книгу Лафатера.

Замечателен портрет ханжи и негодяя Урии Гипа у Диккенса, вызывающий отвращение у читателя при первом же знакомстве: «Низенькие двери под аркой отворились, и то же самое лицо появилось в них снова. Несмотря на замечавшийся в нем красноватый оттенок, свойственный коже большинства рыжеволосых людей, оно показалось мне так же похожим на лицо мертвеца, как и в то мгновение, когда выглядывало перед тем из окна. Владелец его был действительно рыжий юноша всего только пятнадцати лет, как я узнал впоследствии. Тогда же он показался мне значительно старше. Рыжие его волосы были до чрезвычайности коротко обстрижены под гребенку. Бровей у него почти вовсе не было, ресницы же окончательно отсутствовали. Это придавало его красно-карим глазам совершенно особенное выражение. Они были до такой степени лишены надлежащей тени и покрова, что я не мог представить себе, каким образом устраивался обладатель их для того, чтобы спать. Это был плечистый и костлявый юноша в черном сюртуке и таковых же брюках и белом галстуке. Костюм казался мне приличным, а сюртук был застегнут на все пуговицы. Особенно бросалась мне в глаза длинная худощавая рука юноши, напоминавшая руку скелета…»