Чем опасен
искусственный интеллект

На днях основатель Tesla Motors Илон Маск анонсировал начало работы над проектом OpenAI стоимостью в один миллиард долларов, который во многом напоминает другие похожие инициативы — такие, например, как «Grand Challenge» агентства DARPA, «X-Prize» и «Ноутбук каждому ребенку» авторства MIT Media Lab. Эти институциональные механизмы, направленные на создание инноваций, призваны привлечь внимание мировой общественности и лучших специалистов к решению важных и нетривиальных задач. Такого рода начинания могут быть весьма успешными, и я уверен, что ответ конкурентов не заставит себя долго ждать. Умные высокотехнологичные компании, подобные Google, Facebook, Amazon, Baidu и Alibaba, быстро осознают, что так называемые «некоммерческие задачи», о которых говорят ученые, необходимо включить и в их собственные планы развития технологий искусственного интеллекта (ИИ) и машинного обучения.

И, на мой взгляд, основной проблемой ИИ, которой должны заняться исследователи OpenAI, являются чувства. «Искусственный интеллект» — термин не вполне точный, он плохо отражает суть процессов обучения и познания. Исторические свидетельства говорят о том, что интеллект и когнитивные способности эволюционируют параллельно с эмоциями и чувствами, а воображение и творчество в одинаковой степени связано со всеми этими явлениями.

Если мы хотим, чтобы машины усиливали наши творческие возможности (а мы этого хотим), тогда проект по разработке «искусственного интеллекта» и «машинного обучения» должен признать тот факт, что дело не только в нашем интеллекте и знаниях, но и в тех эмоциях и темпераменте, которые мы вкладываем в наши решения, действия и общение. То, что продвинутая технология, наделенная в прямом и переносном смысле своим собственным разумом, не будет при этом обладать цифровыми аналогами страха, боли, желаний, любопытства, раздражения, сентиментальности и амбиций, лишь научная гипотеза, требующая проверки, а не доказанный факт. «Чувства» и «эмоции» подобных машин, возможно, будут отличаться от свойственных человеку, но это не значит, что их нет и никогда не будет.

Для тех задач, ради которых Apple, Google, Facebook, GE, Amazon и другие занимаются проблемой машинного обучения, не говоря уж о других вещах, которые беспокоят Маска (считающего ИИ потенциально «более опасным, чем атомные бомбы»), эмоции машины могут быть более важным фактором, чем ее интеллект. Следовательно, нельзя относиться к ИИ только как к чистому «разуму». Проект OpenAI должен заняться этими аспектами, лишь так он сможет добиться настоящего влияния и эффективно справиться с реальными рисками, которые несет в себе ИИ.

И хотя катастрофические прогнозы в духе сингулярности Курцвейла или терминаторов Скайнета, пожалуй, избыточно драматичны, все же угроза действительно существует и требует внимательного изучения. Для того чтобы придумать печальный сценарий с участием ИИ, можно обойтись без научной фантастики, прибегнув к простой логической экстраполяции. Представьте себе следующие проблемы (нагруженные этикой, предубеждениями и эмоциями), которые придется решать искусственному разуму:

• Для защиты от киберпреступников организации пользуются изощренными инструментами, основанными на аналитическом прогнозировании и машинном обучении. Серьезные комплексные угрозы требуют все более быстрых и мощных защитных механизмов. Для успешной работы подобным технологиям нужна не только скорость, гибкость и сокрушительная сила, но и высокий уровень автономии. Но что произойдет, если комбинаторная сложность атаки вызовет защитную реакцию системы, направленную против себя? Какие «цифровые лекарства» смогут вылечить или урезонить глобальную сеть, причиняющую вред самой себе?
• По мере развития и улучшения квазиавтономного транспорта (автомобилей, дронов и т. д.) этические и юридические споры разгораются все сильнее. Если столкновение кажется неизбежным, какую задачу технология сочтет приоритетной: любой ценой защитить своих пассажиров или же минимизировать общие человеческие жертвы? А если в машине находится ребенок, влияет ли это на принятие решений ИИ? Транспортные средства, «отслеживающие ситуацию», могут и не позволить сидящим внутри людям отменить свое решение о том, кто «заслуживает» наибольшей защиты, а кем, наоборот, можно пожертвовать. Что будет, если два семейных автомобиля (или дрона), которые вот-вот столкнутся, не смогут договориться по поводу наилучшего способа защиты своих пассажиров?
• В связи с широким распространением инструментов, направленных на повышение продуктивности, на новый уровень выходит мониторинг и анализ поведения сотрудников. Алгоритмы машинного обучения определяют людей, которые хорошо друг с другом взаимодействуют, и тех, кому лучше не давать совместных заданий. Программы оценивают, кто хорошо реагирует на похвалу и ободрение, а кому «помогает» только выговор. Технологии вносят правки в переписку сотрудников, чтобы минимизировать риски неумышленных обид и недопонимания. Машины с особым тщанием устраняют любые угрозы возникновения враждебной среды. Они идентифицируют и записывают акты микроагрессии и дискриминационные действия различных людей. Технологии составляют досье на наиболее и наименее продуктивные, а также откровенно вредные модели поведения, а аналитики постоянно сканируют информацию в поисках подлогов и мошенничества. Может ли так случиться, что в этих разумных, обучаемых и предсказуемых алгоритмах появятся свои предубеждения? Есть ли способ достоверно убедиться в том, что технологии не манипулируют — неуместным или даже злонамеренным образом — людьми, за которыми они так эффективно (и экономно с точки зрения затрат) наблюдают? И кто ответит за это: люди или машины?

Ни один из этих трех сценариев не противоречит или не соответствует существующим исследованиям и разработкам в области искусственного интеллекта и машинного обучения. И опасность заключается не (только) в том, что машины «захватят власть». На мой взгляд, подобное развитие событий слишком уж катастрофично, чтобы быть правдой. Меня больше беспокоит другой вопрос: что произойдет, когда у машин будет другая точка зрения и чувства, отличные от наших?

Ни один разумный исследователь, занимающийся машинным обучением, не желает повторять знаменитое: «И вот я становлюсь Смертью, разрушителем миров». Одно дело — писать плохие и полные багов программы, и совсем другое — писать плохие и полные багов программы, способные в свою очередь также воспроизводить такие же никуда не годные программы.

Все говорит о том, что самые эффективные цифровые технологии завтрашнего дня будут обладать не только разумом, но и чувствами. Это, вероятно, заставит людей задуматься о будущем машинного сознания. И это хорошо.

Об авторе. Майкл Шрейдж, исследователь Центра цифрового бизнеса Sloan при Массачусетском технологическом институте и автор книг «Serious Play» и «Who Do You Want Your Customers to Become?».

* деятельность на территории РФ запрещена