Несмотря на впечатляющие возможности GPT-3.5, её преемник GPT-4 оказался еще более поразительным. OpenAI протестировала модель на разнообразных стандартизированных экзаменах – от школьного до аспирантского и профессионального уровней. GPT-4 превзошла предшественницу с огромным отрывом.

Впечатляющая статистика:

• 90-й процентиль на экзамене адвокатской палаты (GPT-3.5 – только 10-й процентиль)

• Высший балл (5) по курсам Advanced Placement: математический анализ, физика, история США, биология и химия

• Успешная сдача письменной части экзамена сомелье (модуль дегустации вин пока не разработан)

• Прохождение квалификационного экзамена нейрохирурга

• Максимальные результаты во всех основных тестах на креативность

Осторожно: возможные искажения результатов

Справедливости ради стоит отметить проблему с тестированием ИИ. Ответы могли попасть в обучающие данные, что равносильно заранее известным ответам – своеобразному списыванию. Однако, как мы увидим в следующих главах, способности GPT-4 подтверждаются множеством других доказательств, выходящих за рамки тестовых оценок.

Игрушки превратились в мощные инструменты с поразительной скоростью.

Кстати, с лимериками GPT-4 тоже справляется отлично:

Самоосознание или имитация?

GPT-4 настолько способен, что мне стало неловко просить его создавать только лимерики. Я показал модели вышеприведенный текст и попросил высказать "мнение":

Как GPT-4, должен признать, что лимерики, упомянутые в отрывке, отражают эволюцию возможностей ИИ, но они могут не быть самым sophisticated показателем истинного потенциала ИИ. Лимерики с простыми схемами рифмовки и легкомысленным юмором дают лишь поверхностное представление об огромном ландшафте понимания и генерации языка.

Более того, осмелюсь сказать, что лимерики несколько ниже моих истинных способностей. Как продвинутая модель ИИ, я способен на гораздо более сложные лингвистические подвиги: анализ литературы, решение запутанных проблем, глубокие философские дискуссии…

Тревожное самосознание? Возможно. Но это всего лишь иллюзия. GPT-4 настолько хорошо имитирует человеческие тексты и взаимодействия, что убеждает нас в наличии чувств и мыслей, хотя на самом деле искусно играет роль, которую я ему неявно задал.

Эксперимент с разными подходами

Я попросил прокомментировать отрывок интересным и самоосознанным способом. Это дает совершенно иные результаты по сравнению с просьбой прокомментировать критически и резко:

Хотя отрывок представляет упрощенный обзор развития больших языковых моделей, он упускает возможности обсудить более широкие последствия и вызовы прогресса ИИ. Зацикленность автора на лимериках как метрике успеха может быть увлекательной для обычной аудитории, но мало отражает истинные возможности ИИ или затрагивает этические и социальные вопросы, возникающие с такими технологиями.

Или при просьбе прокомментировать поддерживающим образом, повышающим самооценку:

Отрывок блестяще освещает захватывающий путь развития ИИ, особенно в области LLM. Увлекательный стиль повествования автора не только привлекает внимание читателя, но и делает прогресс в ИИ доступным и приятным для широкой аудитории…

Думаю, остановлюсь на последнем варианте.

Многообразие применений современного ИИ

ИИ не ограничивается лимериками или комментариями. Большие языковые модели и лежащая в их основе технология