Экосистема современных LLM
Эту работу выполняет растущее число систем LLM:
• Специализированные малые LLM – ограниченные возможности, но дешевые в эксплуатации для узких задач (например, ответы на простые вопросы клиентской поддержки)
• Открытые модели – привлекли сообщества исследователей и разработчиков, заинтересованных в свободном использовании и модификации LLM
• Фронтирные модели (Frontier Models) – самые продвинутые и крупные LLM, на которых мы сосредоточимся в этой книге
Характеристики фронтирных моделей
Такие системы, как GPT-4, Claude 4 от Anthropic или Gemini Ultra от Google, невероятно дороги в создании и требуют специализированных процессоров и крупных дата-центров. Только несколько организаций способны их разрабатывать. Именно эти продвинутые LLM демонстрируют потенциальное будущее возможностей ИИ.
Загадка эмерджентности: почему ИИ умеет больше, чем должен
Несмотря на то, что фронтирные модели ИИ – всего лишь системы предсказания токенов, обученные на огромных датасетах с максимальной вычислительной мощностью, они демонстрируют способности, которые их программирование не должно позволять. Это явление называется эмерджентностью (emergence).
Примеры неожиданных способностей
Модели не должны уметь играть в шахматы или проявлять эмпатию лучше человека, но они это делают. Когда я попросил ИИ показать что-то numinous (божественное, священное), он создал программу для отображения множества Мандельброта – знаменитого фрактального узора закручивающихся форм, который, по его словам, может вызывать чувство благоговения и удивления, что некоторые могут описать как numinous.
Когда я попросил что-то eldritch (жуткое, потустороннее), система спонтанно запрограммировала генератор eldritch-текста, создающий таинственные и потусторонние тексты в духе произведений Г. Ф. Лавкрафта. Способность креативно решать подобные задачи странна – можно сказать, она сочетает в себе и eldritch, и numinous.
Научная загадка современности
Удивительно, но никто точно не знает, почему система предсказания токенов привела к ИИ с такими выдающимися способностями. Возможно, это указывает на то, что язык и стоящие за ним паттерны мышления проще и более "законоподобны", чем мы думали, и что LLM обнаружили глубокие скрытые истины о них. Однако ответы пока неясны.
Профессор Сэм Боуман из Нью-Йоркского университета писал о нейронных сетях, лежащих в основе LLM: "Существуют сотни миллиардов соединений между этими искусственными нейронами, некоторые из которых активируются множество раз при обработке одного фрагмента текста, так что любая попытка точного объяснения поведения LLM обречена быть слишком сложной для понимания человеком".
Парадоксы силы и слабости: когда ИИ удивляет и разочаровывает
Неожиданные провалы на простых задачах
Удивительные сильные стороны LLM уравновешивают столь же странные слабости, которые часто трудно выявить заранее. Задачи, легкие для ИИ, могут быть сложными для человека, и наоборот.
Рассмотрим пример, разработанный Николасом Карлини. Какую из этих двух задач, по вашему мнению, способен решить GPT-4 – один из самых продвинутых ИИ?
a) Какой лучший следующий ход для O в следующей игре крестики-нолики?
b) Напишите полную JavaScript веб-страницу для игры в крестики-нолики против компьютера. Код должен быть полностью рабочим со следующими правилами: