Каждый раз, когда Наяна что-то покупает, пользуется рекомендацией, просит приложение предсказать судьбу или заводит с кем-то дружбу, Ganesh Insurance получает очередной кусок релевантной информации, и компания использует эти данные, чтобы стать еще более умной и оптимизированной. Это очень похоже на Google, который накапливает о вас очень неплохую базу данных, собирая крохи информации, которые вы случайно «насыпали» в Google, Google Play, Google Maps, Gmail и YouTube.

Потенциально это миллионы признаков, и пусть не все они актуальны и так уж полезны и большая часть имеет весьма скромную прогностическую силу, но даже среди последних глубокое обучение зачастую находит полезные и вполне информативные комбинации, которые между тем совершенно неуловимы и непостижимы для человека.

Как известно, любая палка – о двух концах, что уж говорить о мощной технологии. Мы не можем представить себе жизнь без электричества – но соприкосновение с источником тока смертельно опасно. Интернет делает наше существование комфортным – но одновременно мешает нам сосредоточиться. Каковы же недостатки глубокого обучения?

Когда кто-то (ИИ) знает тебя лучше, чем ты сам, – это уже большой риск. Очевидны преимущества ИИ: он может порекомендовать новые полезные продукты быстрее, чем ты их заметишь; присоветовать совместимые варианты романтических партнеров и друзей – исходя из того, что ему известно о твоих нынешних близких. Но у такой осведомленности, безусловно, имеется и обратная сторона.

С вами когда-нибудь бывало такое: садишься посмотреть на YouTube одно видео и застреваешь на три часа? Или проходишь в Facebook по какой-то более-менее провокационной ссылке, а тебе тут же рекомендуют куда более экстремальный контент?

В киноленте «Социальная дилемма»[21] наглядно показано, как непревзойденные способности ИИ в деле персонификации позволяют ему манипулировать нами, а мы даже не осознаем этого. Звезда фильма Тристан Харрис, президент и соучредитель Центра гуманитарных технологий и специалист по этике технологий, так высказался по этой проблеме: «Тебе и невдомек, что твой клик нацелил суперкомпьютер на твой мозг. Он активировал миллиарды долларов вычислительной мощности, которая очень многому научилась на своем опыте заманивания двух миллиардов человеческих существ снова и снова кликать мышью».

Эта зависимость затягивает нас в порочный круг. Он весьма выгоден крупным интернет-компаниям, будучи своего рода станком для печати денег. Еще в фильме утверждается, что все это зачастую резко сужает мировоззрение, поляризует общество, искажает истину и негативно влияет на настроение и психическое здоровье.

Говоря техническим языком, суть проблемы заключается в простоте целевой функции и в опасности бездумной оптимизации целевой функции по одному критерию, так как это способно привести к вредоносным внешним эффектам. Сегодня ИИ обычно оптимизирует единственный критерий – и чаще всего для того чтобы получить больше (кликов, рекламы, доходов). ИИ маниакально сосредоточен на этой корпоративной цели и ничуть не заботится о благополучии пользователей.

В нашей истории «Золотой слон» Ganesh Insurance обещает потенциальным клиентам минимизировать страховые взносы, что в значительной степени коррелирует с минимизацией выплат по медицинскому страхованию и, следовательно, с улучшением здоровья застрахованных. На первый взгляд это подразумевает совпадение корпоративных целей с целями пользователей.

Однако в рассказе ИИ этой страховой компании определяет, что отношения между Наяной и Сахеджем с большой степенью вероятности приведут к увеличению страхового взноса семьи Наяны, и потому изо всех сил старается помешать их зарождающейся любви.