Эффект летучей мыши: означает ли рост ИИ конец
эпохи Просвещения?

Фарид Закария — один из самых влиятельных мировых экспертов по международным отношениям, внешней политике США и вопросам глобализации, а также журналист, ведущий аналитической программы Fareed Zakaria GPS на CNN и колумнист The Washington Post. 

Его новая книга «Эффект летучей мыши: 10 уроков по современному мироустройству помимо черных лебедей» ( The Bat Effect: 10 Lessons on Modern World Order Beyond Black Swans ) рассматривает глобальные перемены, ускоренные пандемией COVID-19. Автор использует образ «летучей мыши» как метафору для неожиданных событий, оказывающих мощное влияние на систему мирового порядка, и предлагает десять уроков, которые помогут понять, как человечеству адаптироваться к этим вызовам.

Книга вышла в издательстве АСТ, «Большие Идеи» публикуют отрывок из нее.

Только человек

Упадок труда — это колоссальная проблема, но даже если мы и сможем ее разрешить, искусственный интеллект поставит нас перед еще более масштабной угрозой: контроль над машинами. Сейчас происходит решающий сдвиг — переход от «слабого», или «узконаправленного», ИИ к «сильному», или «универсальному». В первом случае машина программируется на выполнение конкретной задачи — скажем, на победу в шахматной партии, — которую она затем превосходно выполняет. Вторая — более широкое развитие интеллекта, способного мыслить творчески и выносить суждения. Этот скачок в когнитивных способностях стал переломным моментом для ИИ.

Настольная игра го считается самой сложной в мире: в ней гораздо больше потенциальных ходов, чем атомов в наблюдаемой Вселенной. Программа AlphaGo компании Google изучила игру и в марте 2016 года последовательно обыграла 18-кратного чемпиона мира Ли Седоля. (В 2017 году ее преемник, программа AlphaZero, обучилась игре в го всего за три дня и победила AlphaGo со счетом сто партий на ноль.) AlphaGo воспринималась учеными как свидетельство способности машин к самообучению и нелинейному творческому мышлению. В марте 2020 года ее создатели рассказали, что другая их программа просто наблюдала за экраном, пока играла в серию видеоигр Atari, а затем освоила все 57 игр, превзойдя человека в каждой из них.

Более мощная форма искусственного интеллекта имитирует умственные способности человека. Но программы не ограничатся простым подражанием. Вскоре они значительно превзойдут наши возможности. Уже сейчас машины превосходят человека во многих аналитических задачах. И они будут становиться все лучше и лучше, получая все больше и больше данных и используя новые механизмы обучения, такие как нейронные сети.

Ученый-компьютерщик Стюарт Рассел из Калифорнийского университета в Беркли предлагает объяснение этой тенденции. Он отмечает, что современные компьютеры читали, толком не осознавая прочитанного. Они переводили, ориентируясь на ранее переведенный материал, и подбирали слова, фразы и предложения. Однако теперь они учатся понимать. Как только компьютеры научатся это делать, они быстро усвоят все, что когда-либо было написано людьми. И в тот же самый момент они станут намного компетентнее любого человека на планете. Смогут ли компьютеры достичь того же уровня сознания, что и человеческие существа? Будет ли у них мораль? Рассел приводит такой пример. — Что произойдет, если попросить компьютер покончить с раком? Вполне возможно, что он выберет самый простой способ — уничтожить человечество, поскольку это, несомненно, приведет и к исчезновению заболевания.

Я всегда считал, что в конечном итоге человек все равно контролирует ситуацию, потому что может отключить машину от сети. Но что если компьютер знает об этом и убежден, что для выполнения своей миссии он обязан оставаться работоспособным, — и находит способы поддерживать себя в рабочем состоянии? Именно такую дилемму рассматривал 50 лет назад Стэнли Кубрик в фильме «2001 год: Космическая одиссея». Фильм оказался удивительно прозорливым в понимании величайшей дилеммы, которую ставит перед нами искусственный интеллект. В фильме компьютер HAL решает убить своих хозяев-людей, чтобы продолжить выполнение миссии. В конце концов человек по имени Дэвид Боуман смог перехитрить машину — вот только в реальной жизни гораздо вероятнее обратное. Вот почему Билл Гейтс, Илон Маск и многие другие светила, обычно оптимистично настроенные в отношении технологий, повторили предупреждения оксфордского философа Ника Бострома: они беспокоятся, что развитие универсального ИИ может поставить под угрозу сам человеческий вид.

Компьютеры с искусственным интеллектом уже представляют собой «черные ящики». Мы знаем, что они приходят к правильному ответу, но не знаем, как и почему. Какую роль в этом играет человеческое суждение? Генри Киссинджер задал вопрос: означает ли рост искусственного интеллекта конец эпохи Просвещения? Это течение XVIII века возвысило человеческий разум над вековыми суевериями, догмами и поклонением. Иммануил Кант назвал Просвещение «выходом человека из навязанной самому себе незрелости».

Человечеству предстояло повзрослеть и самостоятельно понять этот мир. Но если ИИ способен выдавать ответы лучше, чем мы, не раскрывая при этом логики, тогда мы вернемся в прошлое и начнем полагаться на веру. Мы будем поклоняться искусственному интеллекту, который, как было сказано о Боге, действует неисповедимым путем. Возможно, эпоха от Гутенберга до AlphaGo станет исключением, относительно коротким периодом в истории, когда люди думали, что контролируют ситуацию. До этого на протяжении тысячелетий они считали себя маленькими винтиками в огромной системе, которую они не могли полностью постичь, подчиняясь законам Бога и природы. Эпоха ИИ способна вернуть нас к столь же скромной роли. Впрочем, на этот раз люди могут сотрудничать с высшим разумом, не подчиняясь ему, но и не будучи всецело над ним. В некотором смысле это более точное отражение реального места, которое человек занимает в огромной, непостижимой Вселенной.