Как IBM делает
ИИ справедливее

Человеческому мышлению присущи разные виды систематических ошибок. Например, у нас есть склонность к подтверждению своей точки зрения, из-за которой нам свойственно фокусировать внимание на том, что подкрепляет наши предварительные суждения по тому или иному вопросу. Эффект якорения побуждает нас принимать решения, основываясь на той порции информации по теме, которую мы получили первой. Из-за гендерных предубеждений мы ассоциируем женщин с одними личностными особенностями, занятиями или профессиями, а мужчин — с другими. Когда мы принимаем решения, эти предрассудки часто прокрадываются в наше сознание и в конечном счете приводят к тому, что наши решения оказываются несправедливыми и необъективными.

Те же самые виды систематических ошибок может допускать и искусственный интеллект (ИИ), особенно если при программировании основанной на нем системы использовалось машинное обучение. Обычно при этом применяется техника «обучение с учителем», при которой ИИ-системы обучаются на большом количестве примеров, представляющих собой задачи с решениями. Так, если мы хотим построить ИИ-систему, способную решить, когда принять и когда отклонить заявку на кредит, мы будем обучать ее на множестве примеров заявок на ссуды, сообщая ей решение, принятое по каждой из них (то есть одобрена она или отклонена).

Обучаемая система находит при этом в таких примерах корреляции, на основе которых принимает (будем надеяться, правильные) решения по поводу новых заявок на кредит. После этапа обучения наступает этап проверки на другом наборе таких заявок, что позволяет выяснить, достаточно ли точна система и готова ли она к запуску. Однако если для обучения применяется недостаточно сбалансированный и инклюзивный массив данных, не дающий полного представления об аспектах проблемы, которую мы хотим решить, ИИ-система может обрасти предрассудками. Например, если в обучающем массиве данных все принятые заявки на кредиты относятся к мужчинам, а все отклоненные — к женщинам, система усвоит корреляцию между гендером заявителя и судьбой его заявки, и в результате обзаведется предубеждением, которым будет руководствоваться при рассмотрении дальнейших заявок.

Другой пример того, как систематическая ошибка закрадывается в массивы данных для обучения ИИ, — ситуация, когда для одной группы указывается гораздо больше параметров, чем для другой. В данном случае ИИ-система может неодинаково точно оценивать представителей этих двух групп, так как одну из них изучит лучше (получив больше информации о ней). В случае принятия судьбоносных решений, относящихся к финансовому сектору, здравоохранению или правовой сфере, использование предвзятой ИИ-системы может привести к тому, что эти решения будут более благоприятны для одной из этих групп за счет интересов другой. Это неприемлемо, особенно для решений, которые могут существенно влиять на жизни людей.

Сейчас есть алгоритмы, которые могут выявлять и сглаживать систематические ошибки в ИИ-системах. Однако систематические ошибки ИИ — невероятно сложная сфера, и для их выявления в разных типах данных (изображениях, тексте, речи, структурированной информации) в составе каждого обучающего массива требуются разные техники. Систематические ошибки также могут прокрасться в ИИ-систему и на других этапах жизненного цикла, не только через обучающий массив данных. Например, представьте ИИ-систему, которая должна выявлять основную причину запроса на кредит — покупка жилья, оплата обучения или юридических услуг — и отдавать предпочтение представителям назначенных разработчиками категорий заявителей перед другими. Если разработчики опустят одну из причин, по которым люди подают заявление на получение кредита, заявители, руководствующиеся этим мотивом, будут забракованы.

Как же решить эту усугубляющуюся проблему? Вот что мы предпринимаем в IBM, чтобы сделать ИИ справедливее, прозрачнее и точнее.

1. Создайте эффективный Совет по вопросам этики в использовании ИИ. Мы в IBM всегда ставим на первое место этические аспекты технологий, которые приводим в этот мир. Мы считаем, для того чтобы добиться значимых и стойких изменений в этой критически важной сфере, и нам, и другим нужно содействовать комплексным организационным и культурным изменениям. Например, IBM создала централизованную и многомерную систему управления ИИ, в центре которой находится внутренний Совет по вопросам этики IBM, возглавляемый мною совместно с директором по защите конфиденциальности информации. Эта система поддерживает и технические, и нетехнические инициативы по применению на практике принципов доверия и прозрачности, которых придерживается IBM. Мы также проводим внутренние мероприятия под эгидой программы Trusted AI, занимающейся разными параметрами этой концепции, такими как справедливость, объяснимость, устойчивость, конфиденциальность и прозрачность.

2. Четко сформулируйте корпоративные политики, относящиеся к ИИ. В 2018 году IBM опубликовала свои «Принципы доверия и прозрачности» (Principles for Trust and Transparency), чтобы обеспечить ответственное отношение к использованию ИИ. В начале 2020 года был обнародован наш призыв к прецизионному регулированию ИИ (Precision Regulation for Artificial Intelligence). Эти принципы отражают наше обязательство обеспечивать политику работы с информацией, которая защищает клиентские данные и полученные на их основании инсайты, и фокусировать внимание на прозрачности и объяснимости, чтобы построить систему доверия к ИИ. Наша политика прецизионного регулирования рекомендует представителям государственных структур регулировать использование ИИ только в ситуациях высокого риска и только при условии тщательного анализа применяемых технологий и их влияния на людей.

3. Сотрудничайте с проверенными партнерами. За несколько лет мы также сформировали ряд многосторонних отношений с внешними партнерами с целью содействовать этичности ИИ. В частности, ранее в этом году IBM одной из первых подписала выпущенный Ватиканом призыв к этичному использованию ИИ (Rome Call for AI Ethics). Участники этой запущенной в феврале 2020 года инициативы совместно с Ватиканом добиваются большей человекоориентированности ИИ и его соответствия основным человеческим ценностям, например, повышенного внимания к уязвимым группам населения. Еще одна свежая инициатива, к которой присоединилась IBM, — это Группа экспертов высокого уровня по ИИ (High-Level Expert Group on AI), созданная Европейской комиссией. Ее задача — составлять руководства по этичному использованию надежных ИИ-систем в Европе. Эти руководства сейчас активно используются в Европе и за ее пределами при разработке новых инструкций и стандартов, относящихся к ИИ.

4. Создавайте инструментарий с открытым кодом, чтобы содействовать доверию к ИИ. Для IBM в приоритете не только определяющие принципы этичного использования ИИ, политики, инструкции и сотрудничество в этой области, но и исследование и выпуск осязаемых инструментов, которые могут повысить уровень доверия к ИИ. В 2018 году IBM Research выпустила инструментарий с открытым кодом под названием AI Fairness 360 (AIF360). Он позволяет разработчикам совместно использовать и получать самые современные коды и массивы данных, относящиеся к выявлению и сглаживанию систематических ошибок ИИ. Этот инструментарий также позволяет членам сообщества разработчиков сотрудничать друг с другом и обсуждать разные категории систематических ошибок и совместно разбираться в передовых практиках их выявления и сглаживания при работе с ИИ. После выпуска AIF360 IBM Research представила дополнительные инструменты, предназначенные для измерения и повышения уровня доверия к ИИ, например, AI Explainability 360 (AIX360), содействующий пониманию объяснимости ИИ и новаторству в этой сфере, Adversarial Robustness Toolbox, включающий в себя полезные инструменты для повышения устойчивости ИИ, и AI FactSheets — для большей прозрачности на всех стадиях разработки ПО в рамках жизненного цикла ИИ.

Эти начинания, зародившиеся в IBM Research, также привели к появлению инновационных бизнес-решений для клиентов IBM. В 2018 году компания выпустила Watson OpenScale — коммерческий продукт, предназначенный для построения ИИ-систем на предприятиях и помогающий им выявлять и сглаживать систематические ошибки ИИ и управлять ими.

Хотя решения такого рода помогают, их недостаточно, чтобы предотвратить появление нежелательных систематических ошибок в ИИ-системах при их использовании. Часто разработчики даже не имеют представления о видах систематических ошибок, встречающихся в их моделях. У них может быть недостаточно знаний, чтобы определять, что справедливо и уместно для того или иного сценария.

Есть множество инициатив, позволяющих компаниям решить эту проблему. Им можно и нужно:

• выделить ресурсы на образовательные и просветительские инициативы для дизайнеров, разработчиков и руководителей;

• обеспечить разнообразный состав команд;

• организовать консультации с профильными общественными организациями и затронутыми сообществами, чтобы формулировать самые точные представления о справедливости для сценариев, в которых будет использоваться каждая ИИ-система, а также искать лучшие способы решения проблем, связанных с интерсекциональностью — пересечением в некоторых частях совокупности разных категорий систематических ошибок (таких как гендерные, возрастные, расовые предрассудки), — с учетом того, что смягчение одной такой проблемы может привести к усугублению другой;

• сформировать системы для методологического сопровождения, внедрения и регулирования, позволяющие разработчикам правильно и стабильно оценивать состояние своих ИИ-процессов. К обычному процессу разработки ПО для ИИ нужно добавить новые шаги (например, выявление и сглаживание систематических ошибок). Необходимо сформулировать четкие методы интегрирования этих мер, чтобы максимально упростить их внедрение. Следует использовать единую систему управления использованием новых инструментов, позволяющую оценивать их, а также облегчать, обеспечивать и расширять их использование;

• создать инструменты обеспечения прозрачности и объяснимости, чтобы признать присутствие систематических ошибок и их влияние на решения, принимаемые ИИ-системой.

В целом только многомерный подход с привлечением нескольких заинтересованных сторон может помочь справиться с систематическими ошибками ИИ за счет разработки стратегии борьбы с ними с опорой на такие ценности, как справедливость, прозрачность, и доверие. Они должны быть основными ориентирами при создании ИИ-систем и принятии решений о них. Так мы сможем не только избежать воспроизведения человеческих предрассудков при использовании ИИ, но и применять ИИ, чтобы помогать самим людям стать справедливее. Конечно, наша главная цель при этом — не просто содействовать развитию ИИ как такового, а содействовать развитию человечества и его ценностей за счет использования технологий, основанных на ИИ.

Об авторе

Франческа Росси (Francesca Rossi) — руководитель глобального подразделения IBM по вопросам этики ИИ, следующий президент Ассоциации содействия развитию искусственного интеллекта (Association for the Advancement of Artificial Intelligence).