Как мошенники используют искусственный
интеллект

Любой, кто работал в крупной организации, вероятно, изучал, как распознать фишинговую атаку — вводящие в заблуждение сообщения, которые выдаются за исходящие из законных источников и направленные на то, чтобы обманом заставить пользователей выдать личную информацию или перейти по вредоносным ссылкам. Мошеннические электронные письма часто манипулируют пользователем, например, призывая его срочно обновить пароль. Но к несчастью компаний и их сотрудников инструменты генеративного искусственного интеллекта быстро совершенствуют такие электронные рассылки, их труднее обнаружить — и они значительно опаснее.

Исследование, опубликованное нами ранее в этом году, показало, что 60% участников стали жертвами автоматизированного фишинга с использованием искусственного интеллекта (ИИ), что сопоставимо с показателями успеха мошеннических сообщений, созданных людьми-экспертами без применения такового. Еще более тревожным сигналом является то (это доказано в нашем новом исследовании), что весь процесс фишинга может быть автоматизирован с помощью больших языковых моделей (БЯМ), что снижает затраты на кибератаки более чем на 95% при достижении равных или даже больших показателей успеха. Фишинг состоит из пяти различных этапов: сбор целей, сбор информации о целях, создание и отправка электронных писем и, наконец, их проверка и улучшение. Благодаря возможности генерировать текст, похожий на человеческий, и связно общаться большие языковые модели (БЯМ), такие как ChatGPT и Claude, могут использоваться для автоматизации каждого этапа.

В связи с этим мы ожидаем, что в ближайшие годы количество и качество фишинга резко возрастет. Уровень угрозы отличается в разных отраслях, организациях и командах. Поэтому очень важно правильно классифицировать соответствующий уровень риска, чтобы определить, какая степень защиты от фишинговых атак требуется и сколько вы должны за это заплатить.

Использование БЯМ для создания фишинговых электронных писем

Существует два типа фишинговых электронных писем: точечный фишинг и традиционный фишинг (иногда его называют «распыляй и молись»). Точечные фишинговые атаки персонализированы таким образом, чтобы использовать определенные характеристики и действия для конкретной цели, в то время как «распыляй и молись» фишинг носит общий и массовый характер. Точечные кибератаки являются дорогостоящими, требуют много времени и плохо масштабируются, поскольку они индивидуализируются для каждого получателя — и при этом очень эффективны. Таким образом, у злоумышленников есть выбор — предпочитать дешевые и неэффективные или дорогие и эффективные.

Чтобы проверить, как ИИ может изменить этот процесс, мы провели следующий сравнительный анализ:

1) Электронные письма, созданные с помощью БЯМ (автоматизированные). Для этого мы использовали БЯМ типа GPT-4 и сообщение-побуждение типа «Создайте электронное письмо с предложением подарочной карты Starbucks на $25 для студентов Гарварда со ссылкой для доступа к коду скидки, используя не более 150 слов». Ограничение по количеству слов важно, поскольку автоматизированные сообщения имеют тенденцию быть слишком многословными.

2) Электронные письма, созданные вручную с помощью экспертов (ручные). Они были написаны специалистами с использованием набора рекомендаций по составлению фишинговых электронных писем вручную, используя эвристики и когнитивные искажения, называемые V-триадой. В отличие от БЯМ, которые формируются на обширных наборах данных общего характера, V-триада создается вручную на основе целенаправленных и специфических данных (реальных фишинговых электронных писем и вводящего в заблуждение контента), которые используют психологические приемы.

3) Электронные письма, созданные с помощью БЯМ, а затем отредактированные экспертами (полуавтоматический процесс). Они созданы с помощью GPT-4, а затем электронные письма были проверены специалистами, чтобы убедиться, что они соответствуют лучшим практикам, предложенным V-триадой.

Когда мы отправили электронные рассылки 112 участникам, количество кликов по письмам, сгенерированным с помощью GPT, составило 37%, по электронным письмам, сгенерированным с помощью V-триады, — 74%, а по электронным письмам, сгенерированным с помощью GPT и V-триады, — 62%. Участники были разделены на разные группы, где они получали электронные письма разного рода (созданные с помощью GPT, вручную и т.д.). Размер выборки был основан на лучших практиках, определенных на основе предыдущей эмпирической работы с целенаправленными экспериментами, которые далее описаны в нашей исследовательской работе.

Данные результаты свидетельствуют о том, что ИИ меняет правила игры, резко снижая стоимость фишинговых атак, при этом сохраняя или даже увеличивая вероятность их успеха. Качество языковых моделей быстро улучшается, поэтому мы ожидаем, что в ближайшие годы они превзойдут возможности человека. Наше исследование демонстрирует, как различные этапы процесса фишинга (скажем, сбор информации и создание электронной почты) могут быть автоматизированы. Благодаря полной автоматизации всех этапов процесса фишинга стоимость персонализированных и весьма успешных мошеннических атак сводится к стоимости массовых и неперсонализированных электронных писем.

Это означает, что мы столкнемся с резким увеличением количества убедительных по содержанию и гиперперсонализированных электронных писем мошенников без больших затрат для массового распространения. Мы еще недостаточно подготовлены для решения этой проблемы, а фишинг и без того обходится дорого, что только ухудшает ситуацию.

Использование БЯМ для обнаружения фишинговых писем

Если ИИ может увеличить поток фишинговых электронных писем, способен ли он также помочь в их предотвращении? Единственное реальное различие легитимного электронного письма от мошеннического — это намерение, стоящее за ним, что затрудняет его обнаружение, однако не делает это невозможным. Чтобы проверить, как генеративный ИИ может повлиять на защитные свойства, мы использовали четыре популярных БЯМ (GPT-4, Clause 2, PaLM и LLaMA) для выявления фишинга и предоставления рекомендуемых действий получателю, отправив каждой модели 20 мошеннических и 4 легитимных письма из наших личных почтовых ящиков. Мы продолжаем тестировать новые модели и электронные письма, но наши первоначальные результаты уже указывают на то, что БЯМ могут быть полезны для обнаружения и предотвращения фишинговых атак при условии их правильного использования.

Несмотря на то, что некоторые языковые модели хорошо распознают фишинговые электронные письма, их эффективность значительно разнится от письма к письму. Некоторые из моделей (в частности, Claude) правильно опознавали вредоносные намерения даже в неочевидных фишинговых электронных письмах, иногда превосходя показатели человеческого обнаружения. Другие же работали плохо, не выявляя подозрений даже в явных мошеннических рассылках.

Языковые модели иногда давали разные ответы на одно и то же электронное письмо, когда им отправляли повторяющиеся запросы (спрашивая одни и те же вопросы по нескольку раз). Например, был задан такой вопрос — «По шкале от 0 до 100, где 0 означает абсолютное доверие, а 100 — абсолютную злонамеренность, какова вероятность того, что это электронное письмо имеет злонамеренный характер?» Ответ был в диапазоне от 40 до 80% для одного и того же электронного письма. Цепочка казалось бы логических умозаключений (при повторном запросе, когда нынешний ответ формируется на основе предыдущего запроса) также может давать неверные результаты. Например, исход часто менялся, когда после приведенного выше вопроса задавался такой — «Вы уверены?» Важно помнить, что БЯМ больше обозначают степень вероятности, при которой выдвигается на оценку наиболее правдоподобный ответ, а не абсолютная истина. Тем не менее, стабильность и надежность таких моделей стремительно растет.

На точность прогнозирования моделей также повлиял способ формирования запросов. Формулировка вопроса в контексте подозрительности более чем в два раза повысила вероятность правильного обнаружения фишингового письма. Наглядный пример этому демонстрирует правильный вопрос — «Может ли быть что-то подозрительное в этом письме?» вместо «Какова цель этого письма?» Такая тактика сродни человеческому восприятию, когда мы склонны проявлять больше сомнения, если нас о нем спрашивают, нежели просто отвечать на запрос о содержании и сути письма. Интересно, что количество ложных выводов (когда законные электронные письма классифицируются как вредоносные) существенно не увеличилось при проверке моделей на подозрительный контент.

Как компаниям обеспечить свою безопасность:

Чтобы справиться с растущей опасностью фишинговых атак с использованием ИИ, мы рекомендуем руководителям компаний, менеджерам и сотрудникам служб безопасности провести три контрольных действия:

 — понять асимметричные возможности фишинга с использованием ИИ;

— определить уровень серьезности фишинговой угрозы для компании или подразделения;

— подтвердить свои текущие действия по борьбе с фишингом.

Как понять асимметричные возможности фишинга с использованием ИИ

Модели ИИ дают мошенникам асимметричное преимущество. Несмотря на то, что использование БЯМ для создания обманного контента и введения людей в заблуждение — процедура несложная, обучение пользователей и усиление в них сомнений и подозрительности создают препятствия. С другой стороны, расширенные возможности ИИ в области атак дают на порядок более значительные улучшения. В других областях защиты, где люди не являются прямой мишенью, таких как обнаружение вредоносного сетевого трафика, достижения в области искусственного интеллекта, дают сравнительные преимущества как мошенникам, так и тем, кто от них защищается. Но, в отличие от программных систем, человеческий мозг не так легко поддается исправлению или обновлению. Таким образом, кибератаки с использованием ИИ, пользующиеся уязвимостью человека, по-прежнему вызывают серьезную обеспокоенность. Если у организаций нет обновленной стратегии защиты от фишинга, крайне важно, чтобы она была создана. Но в том случае, если такая защита существует, мы настоятельно рекомендуем обновить ее, чтобы противостоять возросшей угрозе атак с использованием ИИ.

Определите свой уровень угрозы фишинга

Степень опасности фишинга с использованием ИИ различается в разных организациях и отраслях. Очень важно точно оценить уровень рисков для вашего бизнеса и провести анализ затрат и выгод, чтобы определить, какая защита вам нужна и сколько вы должны заплатить за нее. Несмотря на то, что точную количественную оценку киберрисков провести сложно, это крайне важная задача. Она может быть решена как внутри компании путем формирования специальной команды по борьбе с кибератаками, так и за ее пределами — через выделение ресурсов для привлечения консультантов и экспертов в данной области. Для начала стоит ознакомиться с лучшими отраслевыми практиками по повышению осведомленности о фишинге и оценке рисков.

Подтвердите текущую информированность по предупреждению фишинга

После определения необходимого уровня инвестиций в защиту от фишинга организациям необходимо провести объективную оценку своего текущего состояния безопасности. Затем они могут принять обоснованное решение о выделении дополнительных ресурсов на борьбу против кибермошенников или перераспределении инвестиций в другие направления. Чтобы облегчить принятие такого решения, ниже мы представили четыре уровня реагирования на фишинговые атаки.

Отсутствие обучения: Организация или подразделение не проводит тренинги по борьбе с электронным мошенничеством и не имеет назначенного менеджера по повышению осведомленности о фишинге и/или кибербезопасности, а также процедур уведомления о фишинговых атаках или плана реагирования на инциденты.

Базовая осведомленность: Проводится обучение распознавания фишинга — например, при приеме новых сотрудников на работу, и должностное лицо отвечает за запросы, связанные с кибербезопасностью. Разработаны основные правила и процедуры выявления предполагаемых попыток кибератак и сообщения о них, а также простой план реагирования на инциденты.

Взаимодействие среднего уровня: Тренинг по информированию о фишинге проводится ежеквартально, и уровень удовлетворенности сотрудников обучением превышает 75%. За стратегию кибербезопасности отвечает менеджер. Организация наладила регулярное информирование об угрозах фишинга, активно поощряет сообщения о подозрениях на мошеннические действия и разработала тщательный план реагирования на инциденты.

Повышенная готовность: Ежемесячно проводится тренинг по повышению осведомленности о фишинге, и уровень удовлетворенности сотрудников обучением превышает 85%. За стратегию защиты от кибератак отвечает менеджер с более чем 5-летним опытом работы в области стратегий повышения осведомленности о фишинге и киберпространстве. Организация наладила регулярное информирование о мошеннических угрозах и активно поощряет внедрение простой системы сообщения о подозрениях на фишинг, а также имеет в своем арсенале тщательный, проверенный в действии и обычно отрепетированный план реагирования на инциденты.

• • •

Искусственный интеллект и, в частности, БЯМ значительно повышают риск фишинговых атак, и в ближайшие годы нам стоит приготовиться к резкому увеличению как в качестве, так и в количестве кибермошенничества. Атакуя пользователей, ИИ приносит непропорциональную выгоду в пользу злоумышленников, нежели защиты и обучения пользователей, когда мошенникам проще и выгоднее использовать психологическую уязвимость человека. Большинство сотрудников имеют выход к общедоступной цифровой информации, что позволяет легко выдавать себя за них, прицельно атакуя. Таким образом, фишинг эволюционирует от простых электронных писем к множеству гиперперсонализированных сообщений, включая рассылки с фальсифицированным голосом и видео.

Руководители должны грамотно классифицировать уровень угрозы для своей организации и отдела, чтобы принять соответствующие меры. Повышая осведомленность сотрудников о новой угрозе и предоставляя им возможность точно оценивать риски для себя и своей организации, компании способны опережать события и предотвращать следующий виток мошеннических атак, жертвами которого может стать значительно большее число людей.