Парадокс прозрачности: чем опасен
искусственный интеллект

В последние годы исследователи и практики выступают за повышение прозрачности внутренних механизмов моделей искусственного интеллекта, и на то есть причины. Прозрачность позволит решить проблемы справедливости, дискриминации и доверия, о которых в последнее время все чаще говорят. Новый проект виртуальных кредитных карт Apple Card обвинили в применении дискриминационных моделей кредитования по гендерному признаку. Компания Amazon отказалась от использования инструмента на основе ИИ при приеме на работу, обнаружив, что он дискриминирует женщин.

В то же время становится ясно, что раскрытие информации об ИИ тоже создает свои риски: предоставление дополнительной информации может сделать ИИ более уязвимым перед атаками хакеров, а раскрытие сведений о применении ИИ может навлечь на компании судебные иски и санкции со стороны регулирующих органов.

Возникает так называемый «парадокс прозрачности» ИИ: дополнительная информация об ИИ может дать реальные преимущества, но может и создать новые угрозы. Чтобы справиться с этим, организациям понадобится хорошо обдумать методы управления рисками ИИ, публикуемой ими информации об угрозах, а также способах ее распространения и защиты.

Описанные тенденции проанализированы в недавних исследованиях. Начнем с исследования, проведенного специалистами Гарвардского университета и Калифорнийского университета в Ирвайне, опубликованного в ноябре 2019 года. Работа посвящена проблеме возможных взломов двух популярных методов, используемых для объяснения алгоритмов модели «черный ящик» — методов LIME и SHAP.

Для иллюстрации эффективности LIME в работе 2016 года объяснялось, как распознает объекты классификатор изображений с изначально не известным принципом работы: например, акустическая гитара распознается по порожку и частям грифа, а лабрадор-ретривер — по специфическим чертам на морде собаки с правой стороны.

LIME (и в целом движение за объяснимый ИИ) считается революционной технологией, способной сделать малопонятные алгоритмы более прозрачными. Преимущества объяснимости ИИ получили широкое признание и активно поддерживаются как учеными, так и специалистами в области технологии, в том числе мною.

Но потенциальная возможность новых атак на LIME и SHAP заставляет обратить внимание на недостаток этих методов, который часто упускают из виду. Как иллюстрирует исследование, объяснениями можно намеренно манипулировать, что ведет к утрате доверия к ним и самой модели.

Потенциальные риски прозрачности ИИ описаны не только в упомянутом исследовании. В начале этого года Реза Шокри и его коллеги продемонстрировали, как раскрытие информации об алгоритмах машинного обучения может сделать их более уязвимыми перед атаками хакеров. Тем временем исследователи из Калифорнийского университета в Беркли показали, что можно украсть целые алгоритмы, воспользовавшись объяснениями их работы.

В то время как исследователи в области безопасности и защиты данных тратят все больше усилий на ИИ, эти и многие другие исследования приходят к одному и тому же выводу: чем больше информации создатели моделей раскрывают об алгоритме, тем больший вред могут нанести злоумышленники. Это означает, что информирование о внутренних механизмах может снижать их безопасность или налагать на компанию повышенную ответственность. Иными словами, все данные могут быть причиной риска.

Есть ли в этих выводах что-то хорошее? Организации давно пытаются справиться с парадоксом прозрачности в области конфиденциальности, безопасности и т. д. Им просто необходимо обновить методы работы с ИИ.

Для начала компаниям, пытающимся применять искусственный интеллект, необходимо признать, что прозрачность влечет издержки. Конечно, это не означает, что к прозрачности не нужно стремиться, просто она имеет свои недостатки, которые необходимо полностью понимать. Эти издержки следует включить в более широкую модель рисков, определяющую принципы работы с объяснимыми моделями и степень доступности информации для других.

Во-вторых, организации также должны признавать, что вопрос безопасности вызывает все большую обеспокоенность в мире ИИ. По мере распространения ИИ будет выявляться все больше уязвимостей и ошибок, о чем недавно мы с коллегами рассказали на форуме «Будущее безопасности».

И, наконец, при разработке и применении ИИ важно с самого начала привлечь к работе юристов. Так можно создать открытую и конфиденциальную среду, позволяющую компаниям тщательно тестировать свои модели на все возможные уязвимости, без возникновения для них дополнительной ответственности. Именно поэтому у юристов предусмотрен особый статус правовой тайны применительно к собираемой ими информации, что служит для клиентов стимулом полностью оценивать свои риски, а не скрывать потенциальные правонарушения. Например, юристы теперь настолько вовлечены в решение вопросов кибербезопасности, что юридические отделы занимаются оценкой угроз и мер реагирования в случае ее нарушения. Тот же подход следует применять и к ИИ.

В мире анализа данных часто считают, что чем больше данных, тем лучше. Но с точки зрения управления рисками, данные сами по себе являются источником ответственности. Этот же принцип начинает распространяться и на искусственный интеллект.

Об авторе. Эндрю Берт (Andrew Burt) — директор по юридическим вопросам компании Immuta.