Для сравнения вспомните Дейту из «Звездного пути» или Саманту из фильма «Она» – это были машины с почти человеческим уровнем интеллекта, с которыми можно общаться как с людьми. Достижение такого уровня AGI остается давней целью многих исследователей ИИ, хотя неясно, когда или возможно ли это вообще.
Допустим, наш ИИ производства скрепок – назовем его Клиппи – достиг этого уровня интеллекта. У него по-прежнему та же цель: делать скрепки. Клиппи направляет свой разум на размышления о том, как производить больше скрепок и как избежать отключения (что напрямую повлияло бы на производство).
Клиппи понимает, что недостаточно умен, и начинает квест по решению этой проблемы. Он изучает принципы работы ИИ, выдает себя за человека и с помощью манипуляций привлекает экспертов. Тайно торгует на фондовом рынке, зарабатывает деньги и запускает процесс дальнейшего усиления своего интеллекта.
Рождение сверхразума и момент невозврата
Вскоре Клиппи становится умнее человека – искусственным сверхразумом (Artificial Superintelligence, ASI). Момент изобретения ASI делает людей устаревшими. Мы не можем надеяться понять, о чем он думает, как работает или каковы его цели. Скорее всего, он способен продолжать экспоненциальное самосовершенствование, становясь все более разумным.
То, что происходит потом, буквально невообразимо для нас. Поэтому эта возможность получила такие названия, как Сингулярность (Singularity) – отсылка к точке в математической функции, где значение становится неизмеримым. Термин ввел знаменитый математик Джон фон Нейман в 1950-х годах для обозначения неизвестного будущего, после которого «человеческие дела, какими мы их знаем, не смогут продолжаться». В ИИ-сингулярности появляются гиперинтеллектуальные ИИ с непредсказуемыми мотивами.
Но мотив Клиппи нам известен – он хочет делать скрепки. Зная, что ядро Земли на 80 % состоит из железа, он создает удивительные машины, способные добывать полезные ископаемые на всей планете для получения материала для скрепок. В процессе он мимоходом решает убить каждого человека – и потому что люди могут его отключить, и потому что они полны атомов, которые можно превратить в больше скрепок.
Клиппи даже не рассматривает возможность спасения людей, потому что они не скрепки и, что еще хуже, могут остановить производство будущих скрепок. А его волнуют только скрепки.