Ваши алгоритмы не защищены
от хакеров

Согласно нескольким опросам, кибербезопасность стала одной из главных тем, вызывающих беспокойство у руководителей бизнеса. Компании инвестируют миллиарды долларов в защиту цифровых систем и обучение соответствующих специалистов. По некоторым оценкам, в 2015 году мировой рынок кибербезопасности составил $77 млрд, а к 2020 году его объем вырастет до $170 млрд. При этом основное внимание в этой сфере уделяется защите систем от уязвимостей в софте и оборудовании. Однако в настоящий момент рискам подвержены не только они. По мере роста зависимости организаций от алгоритмов, управляющих данными, сами эти данные начинают представлять все большую опасность.

Системы классификации образов, опирающиеся на алгоритмы машинного обучения, могут содержать в себе слабые места, которыми могут воспользоваться хакеры и прочие злоумышленники. Одна из таких распространенных брешей заключается в том, что атакующий определяет, какие данные используются для тренировки алгоритма машинного обучения, и таким образом получает возможность манипулировать входящими данными самого алгоритма.

Например, компании, специализирующиеся на оптимизации поисковых систем, давно установили, как работает алгоритм машинного обучения поисковых движков и изменили содержимое своих веб-сайтов таким образом, чтобы повысить свой рейтинг в поисковых системах. Организации, занимающиеся распространением навязчивой почтовой рекламы, пытаются обмануть алгоритмы фильтрования спама, специально вставляя ошибки в слова, на которые натаскан фильтр, или же добавляя в свои сообщения фразы, маскирующие рекламный спам под настоящую переписку.

Каждый день мы сталкиваемся с подобными примерами и в большинстве случаев не придаем им большого значения — подумаешь, нажали на странную ссылку или потратили несколько секунд на удаление лишних писем. Тем не менее такой вид мошенничества может повлечь за собой и более серьезные последствия. Компании, занимающиеся кредитно-платежными системами, внедрили множество способов машинного обучения и других методик управления данными, направленных на предотвращение попыток взлома, и, несмотря на это, уже много лет продолжают быть уязвимыми перед такого рода угрозами. Если злоумышленник знает модель поведения, свойственную конкретному покупателю, он может совершить серию мошеннических покупок, которые не будут сильно отклоняться от нормы и поэтому останутся незамеченными детектором. Например, взломщик может завладеть сведениями о предыдущих операциях на данной карточке и совершить похожие покупки в другом месте.

Обман алгоритмов также могут влиять на результаты выборов. Официальный научный журнал Национальной академии наук США (PNAS) опубликовал исследование, подробно рассказывающее о том, как манипуляции с поисковыми системами могут оказывать воздействие на избирателей. Самый значительный эксперимент был проведен в Индии в самый разгар выборов в Лок Сабха (нижняя палата парламента страны) 2014 года. Его результаты ясно свидетельствуют о том, что подложные поисковые рейтинги могут изменить преференции неопределившихся избирателей более чем на двадцать процентов. В частности, исследователи обнаружили, что порядок следования кандидатов в результатах поисковых запросов может существенно повлиять на восприятие в глазах избирателей.

Читайте материал по теме: Чем опасен искусственный интеллект?

Другое слабое место алгоритмов машинного обучения заключается в том, что большая их часть исходит из традиционного предположения: данные, участвующие в обучении алгоритма, и данные, к которым этот алгоритм будет применен, созданы одинаковым образом (то, что в статистике называется «выборкой из нормального распределения»). Когда это условие нарушено, алгоритм можно обмануть.

Недавно подобной атаке подверглись биометрические системы. Большинство их позволяют изменять профиль клиента, приводя его в соответствие с теми естественными переменами, которые происходят со временем. Таким образом, по мере того как лицо пользователя стареет и меняется, программа распознавания лиц периодически вносит небольшие коррективы в его профиль. Однако этой способностью к адаптации могут воспользоваться злоумышленники. Подставляя сенсору поддельные биометрические характеристики, мошенник может постепенно изменять профиль и делать это до тех пор, пока он не будет полностью заменен другим. Это позволит злоумышленнику выдавать себя за других людей.

Читайте материал по теме: Как запустить двигатель инноваций за 90 дней

С широким распространением умной, связанной с интернетом электроники алгоритмы машинного обучения находят все большее применение во всех аспектах жизни: в машинах, телефонах, сканерах кредитных карт, переносных гаджетах и многих других устройствах. Следовательно, защита их внутренних алгоритмов от «статистических хакерских атак» и «вредоносного машинного обучения» становится все более важной задачей. Здесь многое можно сделать — от создания алгоритмов обучения с множеством классификаторов до использования методик случайных чисел.

В наше время, когда алгоритмы искусственного интеллекта участвуют во всем, начиная с формирования общественного мнения и принятия бизнес-решений и заканчивая подсчетом количества шагов, которые вы ежедневно делаете, стоит спросить себя: насколько защищены эти алгоритмы? И что я могу сделать, чтобы повысить их безопасность?

Читайте по теме:

• 5 устоявшихся стереотипов о пользе технологий
• Почему Германия опережает США в инновациях
• Изменит ли Facebook мир?

* деятельность на территории РФ запрещена