Интеллект под контролем: что не так с использованием ИИ для бизнеса

Большую часть прошлого десятилетия в фокусе общественного внимания был вопрос об использовании персональных данных. Людям не нравилось, что компании могут отслеживать их действия в сети, получать номера кредитных карт, адреса и другую ценную информацию. Пользователей пугала появляющаяся в интернете реклама, явно подобранная на основе их поисковых запросов; они опасались, что их личные данные попадут в руки мошенников.

В конце концов США и Европа приняли ряд законов, гарантирующих пользователям интернета определенную степень контроля над личной информацией и изображениями, — например, Общий регламент ЕС о защите персональных данных (GDPR) 2018 года. Конечно, эти меры не положили конец дискуссиям о том, как компании поступают с личной информацией. Есть мнение, что из-за ограничений на сбор данных в Европе и США экономика будет расти медленнее, чем в странах с менее строгими законами, в частности, в Китае, где цифровые гиганты преуспели благодаря легкому и не сдерживаемому регламентами доступу к персональной информации любого рода. (Однако недавно китайское правительство начало ограничивать свободу цифровых компаний, о чем свидетельствуют крупные штрафы, наложенные на Alibaba.)Факты указывают также на то, что ужесточение регулирования поставило небольшие европейские фирмы в невыгодное положение по сравнению с более обеспеченными американскими конкурентами вроде Google и Amazon.

Но дискуссия переходит на следующий уровень. По мере того, как компании все чаще используют технологии ИИ при создании продуктов, разработке процессов и принятии решений, фокус внимания смещается на то, как данные используются программным обеспечением — в особенности сложными, самообучающимися алгоритмами, которые могут диагностировать рак, управлять автомобилем или одобрять кредиты. В ЕС, который снова оказался впереди всех (в 2020 году он выпустил документ «Об искусственном интеллекте — Европейский подход к совершенству и доверию» и в 2021-м — законопроект о правовой базе ИИ), считают, что регулирование принципиально важно для разработки ИИ-инструментов, заслуживающих доверие потребителей.

Что это значит для компаний? Мы изучаем, как регулировать использование ИИ-алгоритмов и внедрять ИИ-системы, функционирующие с учетом новых норм, а также помогаем организациям из разных отраслей запускать и масштабировать проекты, базирующиеся на ИИ. Опираясь на опыт этой работы и результаты исследований других авторов, мы описываем три основные проблемы, с которыми сталкиваются руководители, когда интегрируют ИИ в бизнес-процессы и методы принятия решений, не забывая при этом о безопасности клиентов. Мы также представляем план, частично основанный на правилах управления стратегическими рисками, который поможет менеджерам решать эти проблемы.

ДИСКРИМИНАЦИЯ: РИСКИ ПРИ ИСПОЛЬЗОВАНИИ ИИ

СМИ неоднократно писали о том, что некоторые ИИ-системы выдают «дискриминирующие» результаты. Один из известных примеров — алгоритм Apple для определения кредитного лимита карт, который обвинили в дискриминации женщин, что стало основанием для расследования со стороны Департамента финансовых услуг штата Нью-Йорк.

Таких ситуаций масса: например, вездесущая онлайн-реклама может фильтровать аудиторию по расе, религии или гендеру, а автоматизированная проверка резюме в Amazon — отсеивать кандидатов женского пола. Недавнее исследование, опубликованное в журнале Science, показало, что инструменты прогнозирования рисков, использующиеся в здравоохранении и ежегодно затрагивающие миллионы людей в США, выдавали дискриминирующие по расовому признаку результаты. В ходе другого исследования, опубликованного в Journal of General Internal Medicine, выяснилось, что программное обеспечение, используемое ведущими больницами для выявления приоритетных реципиентов при трансплантации почек, ущемляло права чернокожих пациентов.

В большинстве случаев корень проблемы — в данных, используемых для обучения ИИ. Если в них «вшита» предвзятость, ИИ продолжит дискриминацию или даже усилит ее. Например, когда Microsoft начала использовать твиты, чтобы научить чат-бот взаимодействовать с пользователями Twitter, программу пришлось отключить уже на следующий день из-за разжигающих ненависть расистских сообщений. Но просто убрать демографическую информацию вроде расовой или гендерой из данных для обучения было бы неправильно: в некоторых случаях эти сведения нужны как раз для устранения предвзятости.

Теоретически можно было бы заложить в программное обеспечение некоторую концепцию справедливости, требующую, чтобы все результаты соответствовали определенным условиям. Amazon экспериментирует с метрикой справедливости, называемой условным демографическим неравенством; другие компании тоже разрабатывают нечто аналогичное. Но проблема в том, что универсального определения равенства не существует, и единые условия, гарантирующие справедливый результат, выявить невозможно. Тем более у заинтересованных сторон в каждой ситуации могут быть разные представления о том, что входит в понятие справедливости. В итоге любые попытки внедрить подобные системы в ПО будут чреваты осложнениями.

Бороться с дискриминирующими результатами чаще всего помогает законодательство. Это работает до тех пор, пока за спорные решения отвечают люди. Но чем больше ИИ-моделей используется, тем меньше остается места для индивидуальной ответственности. Что еще хуже, ИИ увеличивает потенциальный масштаб дискриминации: любая ошибка может повлиять на миллионы людей, повлечь за собой коллективные иски в беспрецедентных количествах и репутационные риски для компаний.

Что сделать, чтобы избежать таких проблем?

Первым делом, прежде чем принимать решения, следует разобраться, что стоит на кону. Для этого нужно изучить четыре фактора.

Цена ошибки. Некоторые алгоритмы принимают решения или влияют на них, поэтому от них могут напрямую зависеть жизни людей. Программы ставят диагнозы, отбирают соискателей, одобряют ипотеку или рассчитывают тюремные сроки. В таких обстоятельствах, возможно, стоит отказаться от ИИ или как минимум оставить последнее слово за человеком.

Но и в этом случае нужно действовать аккуратно. Представьте себе, что судья досрочно освободит заключенного, несмотря на рекомендации ИИ, а тот затем совершит тяжкое преступление. Судье придется объяснять, почему он проигнорировал выводы искусственного интеллекта. Использование алгоритмов может таким образом повысить степень ответственности людей, принимающих решения, что, в свою очередь, заставит их полагаться на ИИ чаще, чем нужно.

Это не значит, что алгоритмы не стоит использовать, если ставки высоки. Организациям, ценящим решения человека, все еще нужно следить за тем, чтобы сотрудники были объективны, — а в этом способен помочь ИИ. Amazon в итоге решила применять программы не для подбора персонала, а для выявления недостатков найма. Получается, чтобы понять, надо ли обращаться к ИИ, необходимо провести «конкурс справедливости» между алгоритмами и людьми.

Виды и масштаб решений. Исследования показывают, что степень доверия к ИИ меняется в зависимости от того, в каких ситуациях он используется. При выполнении относительно механических и регламентированных задач вроде оптимизации расписаний или анализа изображений программам можно доверять не меньше, чем людям.

Но когда решения представляются субъективными или на них влияют разного рода переменные (в случае приговоров суда могут быть те или иные смягчающие обстоятельства), больше доверия вызывает мнение человека, отчасти потому, что люди обладают эмпатией. Вот почему компаниям стоит четко понимать специфику и серьезность ситуаций, в которых они используют ИИ, и знать, почему в конкретных случаях алгоритм лучше человека. Даже если ставки высоки и от решения зависит многое, выбор сделать несложно. Например, в медицине машинный анализ результатов обследований очевидно предпочтительнее, поскольку программа обучалась на миллиардах единиц данных, тогда как мозг человека может обработать лишь несколько тысяч.

С другой стороны, ИИ, скорее всего, не подходит для диагностики психического здоровья, на которое влияют сложно идентифицируемые поведенческие факторы, меняющиеся в зависимости от ситуации. Людям трудно поверить, что программы могут все это учесть. И даже когда критически важные переменные четко определены, не всегда понятно, как они воздействуют на разные группы населения. Это подводит нас к следующему пункту.

Усложнение организационной структуры и проблемы с масштабированием. Выводы, которые делает алгоритм, могут быть релевантны только для определенных рынков или регионов. Например, ИИ может правильно определить сегмент потребителей, которым полагается скидка, — и эти данные будут верны для всех американцев, кроме обитателей Манхэттена. Возможная причина в том, что покупательские привычки и поведение жителей этого округа отличаются от средних по стране, и при обучении алгоритма этого не учли. Усредненные статистические данные способны маскировать дискриминацию в отдельных регионах или группах населения. Чтобы не угодить в эту ловушку, иногда приходится настраивать программу под каждую категорию. Это объясняет, почему любые законы, цель которых — уменьшить дискриминацию определенных групп, могут снизить потенциал масштабируемости ИИ (а ведь именно масштабируемость — одна из важнейших причин внедрения искусственного интеллекта).

Изменение алгоритма под каждый рынок усложняет программу, что повышает затраты на разработку. Адаптация продуктов и сервисов под конкретные рынки также значительно увеличивает стоимость производства и контроля. Все эти переменные усложняют организационную структуру компании и повышают ее издержки. Если затраты оказываются слишком велики, компании, бывает, уходят с некоторых рынков. Например, из-за регламента GDPR ряд разработчиков, среди которых Gravity Interactive (создатель игр Ragnarok и Dragon Saga), на какое-то время остановили продажи в ЕС. Хотя большинство находит способ работать при новом законодательстве (Dragon Saga перезапустили в Европе в мае прошлого года), важно учитывать понесенные расходы и упущенные возможности.

Комплаенс и управление. Более строгое регулирование ИИ уже не за горами — по крайней мере, в США и Европе. Чтобы соответствовать жестким нормам, компаниям потребуются новые процессы и инструменты: системный аудит, протоколы для данных и документации (с возможностью отслеживания), мониторинг ИИ, информирование о многообразии. Некоторые уже тестируют каждый новый алгоритм на разных группах, чтобы убедиться: результаты, которые он выдает, отвечают ценностям компании и не идут вразрез с законодательством.

Google, Microsoft, BMW и Deutsche Telekom разрабатывают формальные требования к ИИ для обеспечения безопасности, равноправия, многообразия и приватности. Отдельные организации, например Federal Home Loan Mortgage Corporation (Freddie Mac), назначают директоров по этике, чтобы контролировать исполнение этих требований, и даже создают полноценные этические комитеты.

ПРОЗРАЧНОСТЬ: ОБЪЯСНЕНИЕ ОШИБОК

Как и человек, ИИ может ошибаться. Алгоритмы неизбежно будут выдавать дискриминирующие или даже опасные решения.

Когда человек совершает ошибку, обычно проводят расследование, находят виновного и зачастую наказывают в соответствии с законом. Это помогает организациям и сообществам определять, какие решения неверны, и исправлять их, укрепляя таким образом доверие со стороны заинтересованных лиц. Значит ли это, что ИИ-алгоритмы должны объяснять свои решения?

Законодатели, очевидно, считают, что да. В GDPR уже говорится о «праве… получать объяснение принятого алгоритмом решения», а ЕС в документе «Об искусственном интеллекте» и законопроекте о правовой базе ИИ называет «объяснимость» важнейшим фактором, повышающим доверие к искусственному интеллекту.

Но что значит «получить объяснение автоматического выбора», причинно-следственные связи которого не до конца ясны? Аристотель считал, что в подобном случае возможность показать пути к результату может быть менее важна, чем способность воспроизвести его и эмпирически проверить его точность (компании могут сделать это, сравнив прогнозы ИИ с результатами).

Руководители, задумывающиеся о внедрении искусственного интеллекта, также должны обратить внимание на два фактора.

* деятельность на территории РФ запрещена