• Прогнозирование спроса
• Оптимизация планировок складов
• Доставка товаров
• Роботы Kiva, транспортирующие полки с товарами к работникам склада
Ограничения ранних систем ИИ
Однако эти типы систем ИИ имели серьезные ограничения:
• Они плохо справлялись с прогнозированием «неизвестных неизвестных» – ситуаций, которые люди интуитивно понимают, а машины нет
• Испытывали трудности с данными, с которыми еще не сталкивались через обучение с учителем
• Самое важное – большинство моделей ИИ были ограничены в способности понимать и генерировать текст связным и контекстно-осознанным образом
Революция внимания: рождение трансформеров
Среди множества научных работ по различным формам ИИ одна выделялась броским названием «Attention Is All You Need» («Внимание – это все, что нужно»). Опубликованная исследователями Google в 2017 году, эта работа представила значительный сдвиг в мире ИИ, особенно в том, как компьютеры понимают и обрабатывают человеческий язык.
Статья предложила новую архитектуру под названием Трансформер (Transformer), которая могла помочь компьютеру лучше обрабатывать человеческую коммуникацию. До трансформера использовались другие методы обучения компьютеров пониманию языка, но они имели ограничения, серьезно сдерживающие их полезность.
Механизм внимания: как машины научились читать
Трансформер решил эти проблемы, используя «механизм внимания». Эта техника позволяет ИИ концентрироваться на наиболее релевантных частях текста, облегчая ИИ понимание и работу с языком более человекоподобным способом.
При чтении мы знаем, что последнее прочитанное слово в предложении не всегда самое важное, но машины с трудом справлялись с этой концепцией. Результатом были неловко звучащие предложения, явно сгенерированные компьютером.
Пример раннего генератора текста: «ГОВОРЯ О ТОМ КАК АЛГОРИТМЫ НЕЗАМЕТНО УПРАВЛЯЮЩИЕ КАЖДЫМ ЭЛЕМЕНТОМ» – так хотел продолжить этот абзац генератор цепи Маркова, ранняя форма ИИ для генерации текста.
Ранние генераторы текста полагались на выбор слов согласно базовым правилам, а не на чтение контекстных подсказок – поэтому клавиатура iPhone показывала так много плохих предложений автозаполнения.
Механизм внимания помогает решить эту проблему, позволяя модели ИИ взвешивать важность различных слов или фраз в блоке текста. Сосредотачиваясь на наиболее релевантных частях текста, трансформеры могут создавать более контекстно-осознанные и связные тексты по сравнению с более ранними прогнозными ИИ.
Большие языковые модели – от предсказания к пониманию
Что такое большие языковые модели
Эти новые типы ИИ, называемые Большими языковыми моделями (Large Language Models, LLM), все еще занимаются предсказанием, но вместо прогнозирования спроса на заказы Amazon они анализируют фрагмент текста и предсказывают следующий токен – просто слово или часть слова.
В конечном счете, это все, что технически делает ChatGPT – действует как очень сложное автозаполнение, как на вашем телефоне. Вы даете ему начальный текст, и он продолжает писать на основе статистических вычислений наиболее вероятного следующего токена в последовательности.
Примеры работы предсказания
Если вы напишете «Закончи предложение: Я мыслю, следовательно, я…», ИИ каждый раз предскажет, что следующим словом будет «существую», потому что это невероятно вероятно.
Если вы напишете что-то более странное, например: «Марсианин съел банан, потому что», вы получите разные ответы каждый раз:
• «это была единственная знакомая еда в кладовой космического корабля»
• «это была новая интересная еда, которую он никогда не пробовал и хотел испытать вкус земного фрукта»