Даже если демократия сумеет приспособиться и выжить, люди рискуют стать жертвами новых видов угнетения и дискриминации. Уже сегодня банки и госучреждения все чаще используют алгоритмы для анализа данных и принятия решений, связанных с клиентами. Если вы обратитесь в банк за кредитом, ваше заявление, скорее всего, будет обрабатывать алгоритм, а не человек. Алгоритм проанализирует большой массив данных о вас и статистику, отражающую поведение миллионов других людей, а затем решит, достаточно ли вы надежны, чтобы выдать вам кредит. Зачастую алгоритм оказывается эффективнее банкира из плоти и крови. Но проблема в том, что, если алгоритм необоснованно дискриминирует ту или иную группу людей, узнать об этом трудно. Когда банк отказывает вам в кредите, вы спрашиваете: «Почему?» Банк отвечает: «Алгоритм вам отказал». – «Но почему алгоритм мне отказал? Что со мной не так?» – недоумеваете вы, а банк в ответ: «Мы не знаем. Никто не понимает этот алгоритм, потому что он основан на самом современном машинном обучении. Но мы верим ему и не выдадим вам кредит»[72].

Когда ущемляют права целых групп людей, например женщин или чернокожих, они способны организовать протест против коллективной дискриминации. Но если алгоритм дискриминирует лично вас, вы даже не поймете, в чем причина этого. Возможно, алгоритму что-то не понравилось в вашей ДНК, в вашей биографии или на вашей странице в Facebook. Алгоритм дискриминирует вас не потому, что вы женщина или афроамериканец, а потому что вы – это вы. В вас есть нечто такое, что его не устроило. Вы не знаете, что именно, и даже если бы знали, то не смогли бы вместе с другими людьми устроить акцию протеста, потому что больше никто не пострадал от этого же предрассудка. Вы такой один. В XXI веке коллективная дискриминация может смениться индивидуальной[73].

В высших эшелонах власти у нас, скорее всего, останутся люди, номинальные правители, которые будут поддерживать иллюзию, что алгоритмы лишь советники, а верховная власть по-прежнему в руках людей. Мы не станем назначать искусственный интеллект канцлером Германии или гендиректором Google. Но решения, принимаемые и канцлером, и главой корпорации, будет диктовать искусственный интеллект. У канцлера будет выбор из нескольких вариантов, но все они станут результатом анализа больших данных и будут отражать то, как видит мир искусственный интеллект, а не люди.

Приведем такой пример. Сегодня политики во всем мире вольны выбирать ту или иную экономическую стратегию, но почти во всех случаях ее варианты отражают капиталистический взгляд на экономику. У политиков сохраняется иллюзия выбора, но по-настоящему важные решения уже были приняты гораздо раньше – экономистами, банкирами и бизнесменами, которые сформулировали пункты меню. Через несколько десятилетий политики вдруг обнаружат, что выбирают из списка, составленного искусственным интеллектом.

Хорошая новость состоит в том, что, по крайней мере, в ближайшие десятилетия нам не придется иметь дело с полноценным научно-фантастическим кошмаром, в котором искусственный интеллект обретает разум и решает поработить или уничтожить людей. В процессе принятия решений мы все больше будем полагаться на алгоритмы, но сценарий, при котором алгоритмы начнут сознательно манипулировать нами, маловероятен. У них не возникнет сознание.