• «это было частью эксперимента по проверке пригодности земной пищи для потребления на Марсе»

Это происходит потому, что существует гораздо больше возможных ответов для второй половины предложения, и большинство LLM добавляют немного случайности в свои ответы, обеспечивая слегка разные результаты при каждом вопросе.

Процесс обучения: предтренировка без учителя

Чтобы научить ИИ понимать и генерировать человекоподобные тексты, его тренируют на массивном количестве текста из различных источников: веб-сайты, книги и другие цифровые документы. Это называется предтренировкой (pretraining), и в отличие от более ранних форм ИИ, это обучение без учителя – ИИ не нуждается в тщательно размеченных данных.

Анализируя эти примеры, ИИ учится распознавать паттерны, структуры и контекст в человеческом языке. С огромным количеством настраиваемых параметров (называемых весами), LLM могут создать модель, эмулирующую человеческую коммуникацию через письменный текст.

Веса – это сложные математические преобразования, которые LLM изучают, читая миллиарды слов. Они сообщают ИИ, насколько вероятно появление разных слов или частей слов вместе или в определенном порядке. Оригинальный ChatGPT имел 175 миллиардов весов, кодирующих связи между словами и частями слов.

Метафора повара-подмастерья

Представьте LLM как прилежного ученика-повара, стремящегося стать мастер-шефом. Чтобы изучить кулинарное искусство, ученик начинает с чтения огромной коллекции рецептов со всего мира. Каждый рецепт представляет фрагмент текста, различные ингредиенты символизируют слова и фразы. Цель ученика – понять, как комбинировать разные ингредиенты (слова) для создания вкусного блюда (связного текста).

Ученик-шеф начинает с хаотичной, неорганизованной кладовой, представляющей 175 миллиардов весов. Изначально эти веса имеют случайные значения и пока не содержат полезной информации о том, как связаны слова.

Чтобы построить свои знания и усовершенствовать стеллаж со специями, ученик-шеф проходит через процесс проб и ошибок, учась на изученных рецептах. Он обнаруживает, что определенные вкусы более распространены и лучше сочетаются – как яблоки и корица – а определенные вкусы редки, потому что их следует избегать – как яблоки и тмин.

Во время тренировки ученик-шеф пытается воссоздать блюда из рецептов, используя свою текущую кладовую. После каждой попытки ученик сравнивает свое творение с оригинальным рецептом и выявляет ошибки или несоответствия. Затем ученик пересматривает ингредиенты в кладовой, уточняя связи между вкусами для лучшего понимания их вероятного совместного использования.

Со временем и через бесчисленные итерации кладовая ученика-шефа становится более организованной и точной. Веса теперь отражают значимые связи между словами и фразами, и ученик превратился в мастер-шефа. При получении запроса мастер-шеф искусно выбирает правильные ингредиенты из своего обширного репертуара и консультируется со своим усовершенствованным стеллажом специй для обеспечения идеального баланса вкусов.

Высокая стоимость создания ИИ

Тренировка ИИ для этого – итеративный процесс, требующий мощных компьютеров для обработки огромных вычислений, связанных с изучением миллиардов слов. Эта фаза предтренировки – одна из главных причин, почему ИИ так дороги в создании.

Потребность в быстрых компьютерах с очень дорогими чипами, работающими месяцами в предтренировке, в основном ответственна за то, что более продвинутые LLM стоят свыше $100 миллионов для тренировки, используя большие количества энергии в процессе.