Почему искусственный интеллект провалил «тест
на COVID-19»

В пандемию, вызванную COVID-19, у искусственного интеллекта (ИИ) была идеальная возможность спасти мир. В той беспрецедентной ситуации всей планете нужно было быстро искать обоснованные решения крупномасштабной проблемы и одновременно аккумулировались огромные массивы данных в каждой стране. Для систем здравоохранения, которые столкнулись с быстро распространением новой болезни, ИИ теоретически был идеальным инструментом. Его можно было использовать для составления прогнозов, повышения производительности труда, высвобождения человеческих ресурсов за счет автоматизации. Он мог бы быстро обрабатывать огромные массивы информации и принимать спасительные решения.

Но это осталось теорией. На практике ИИ в большинстве случаев сработал плохо.

Несомненно, были отдельные успехи. Внедрение автоматических систем наладило работу розничных складов и аэропортов, чат-боты позаботились об обслуживании клиентов, пока персонал сидел в карантине, решения, принятые с использованием ИИ, позволили сузить круг выбора площадок для проведения клинических исследований вакцин и помогли ускорить процесс прохождения границы в Греции.

Однако в целом технология не справилась ни с диагностикой COVID-19, ни с предсказанием путей распространения инфекции среди населения, ни с управлением лечением заболевших. Решения, принятые с использованием ИИ, не оправдали ожиданий. Теперь, когда замешательство начала пандемии уже в прошлом, пора проанализировать, что показал «тест на COVID-19» для ИИ. Возможность его полноценного использования была упущена, но этот опыт позволяет сделать выводы о дальнейших способах развития системы ИИ, чтобы большие надежды человечества на самую обсуждавшуюся в прошлом году технологию все же оправдались.

Где ИИ не сработал?

Сначала картина выглядела многообещающей. Машины быстрее людей подняли тревогу из-за нового таинственного вируса, который возник в китайском Ухане. Агрегаторы медицинских новостей HealthMap (принадлежит Бостонской детской больнице, США) и BlueDot (Канада) собрали в интернет-изданиях и социальных сетях информацию о ранних признаках заболевания. Алгоритм BlueDot даже предсказал, какие города окажутся в зоне самого высокого риска, если зараженные люди будут свободно перемещаться. Все это было сделано еще за несколько дней до того, как подключилась Всемирная организация труда (ВОЗ), и за несколько недель до реакции со стороны других стран.

В 2020 году весь мир официально ушел на карантин, и стало ясно, что судьбоносная роль ИИ может заключаться в быстрой диагностике, прогнозировании путей распространения и тяжести течения новой неизвестной инфекции (тогда еще не существовало легкого способа оперативного тестирования).

Многие команды стали использовать ИИ в этих целях. Например, группа сотрудников нью-йоркской больницы Mount Sinai разработала систему диагностики COVID-19 с помощью алгоритмов, обученных распознавать характерные поражения легких по присланным из Китая результатам компьютерной томографии. Группа сотрудников MIT создала алгоритм распознания COVID-19 по кашлю. Команда сотрудников Нью-Йоркского университета и китайских специалистов использовала технологии ИИ для прогнозов, у кого из заболевших коронавирусом разовьется тяжелое поражение органов дыхания. Многие годы мы слышали о принципиально новых возможностях, которые открывает ИИ, — и вдруг получили возможность увидеть его в действии.

И как же показал себя искусственный интеллект в диагностике COVID-19? Если честно, это был полный провал. Систематический обзор инструментов диагностики и прогнозирования течения COVID-19, опубликованный британским медицинским журналом The BMJ, показал: в реальных условиях медицинских учреждений эти технологии плохо справлялись с диагностическими задачами. Еще одно исследование было проведено в Кембриджском университете. Изучение более 400 инструментов диагностики COVID-19 на основе моделей глубокого обучения выявило, что эти технологии не годятся для диагностики по результатам рентгена и компьютерной томографии грудной клетки.

И наконец, третье исследование, опубликованное в журнале Nature, рассматривало широкий спектр вариантов применения ИИ в медицинских целях — для прогнозирования течения заболевания, выявления вспышек распространения инфекции, мониторинга исполнения правительственных рекомендаций по предотвращению распространения инфекции, наблюдения за реакцией пациентов на лечение. Все технологии оказались малопригодными для использования на практике.

Однако эти разочарования помогают нам учиться и готовить себя к созданию более совершенного ИИ. Сейчас четыре наших слабых места — плохие базы данных, цифровая дискриминация, ошибки персонала и сложный международный контекст. Все эти выводы сделаны на основе борьбы с COVID-19, но они относятся и ко многим другим сферам.

Чем опасны плохие наборы данных

Качество основанных на ИИ инструментов принятия решений полностью определяется качеством данных, которые применяются для обучения соответствующих алгоритмов. Если массивы данных плохи, алгоритмы принимают неверные решения. В контексте COVID-19 созданию полноценных наборов данных препятствует множество барьеров.

Во-первых, сбор информации осложняет многообразие симптомов COVID-19. Данные о них приходится вытаскивать из множества разрозненных историй болезни, которые обычно заперты в информационных системах разных учреждений и их подразделений. Эти системы, и так разобщенные, подчиняются при этом разным стандартам управления информацией с несопоставимыми практиками получения согласия на ее использование и политики конфиденциальности. Нужно учитывать и то, что в разных странах применяются разные политики охраны частной жизни пациента, управления данными и локализацией, и это создавало еще больше сложностей в объединении наборов данных, полученных из разных медицинских систем.

В результате неполнота данных и их низкое качество привели к тому, что прогнозы, составленные на их основе, оказались ошибочными, а инструменты принятия решений на основе ИИ — ненадежными и не заслуживающими доверия.

Вторая проблема обусловлена способами сбора и хранения данных в медицинских учреждениях. Обобщенную статистику проще собрать, но в ней может не быть ключевых деталей об анамнезе отдельных пациентов и других демографических, личных и социальных параметров. Для составления прогнозов распространения вируса важны даже более мелкие детали, такие, как даты контакта каждого больного с инфекцией, появления у него симптомов и сдачи им анализа на COVID-19; характер его симптомов; название штамма, которым он заразился; проведенные в отношении него медицинские вмешательства и их результат. В довершение всего, многие массивы данных слеплены из материалов, поступивших из нескольких источников, и в результате содержат противоречия и избыточную информацию.

В-третьих, для получения всеобъемлющего набора данных о таком новом заболевании, как COVID-19, (о его симптомах и возможном ходе распространения; людях, которые подвержены ему в большей или меньшей степени; процессе лечения) необходимо использовать множество разных источников. Помимо официальных сведений, поступающих из медицинских учреждений, есть и другие носители критически важной информации, базы данных и аналитические материалы, которые могут помочь предсказать поведение этой новой и изменчивой болезни. Такие дополнительные данные можно извлечь из самых разных материалов, в которых изложен опыт людей, имеющих дело с COVID-19. К ним относятся Twitter, профессиональные форумы, аналитика, опубликованная в открытом доступе профессионалами и любителями, медицинские журналы, блоги, новостные издания. Использование столь разнородных источников релевантных сведений усложняет процесс их интеграции, выявления ошибок и дезинформации, устранения противоречий и обучения алгоритмов. В результате усложняется и создание полноценного набора данных.

Цифровая дискриминация

Даже при наличии нужных данных прогнозы, составленные алгоритмами для управления здравоохранением, и предлагаемые ими подходы вели к потенциально дискриминирующим решениям — и это вызывало опасения, что некоторые пациенты могут обслуживаться хуже. Так происходило, потому что наборы данных, использованные для обучения этих алгоритмов, отражали зафиксированные в системах исторически существующее неравенство: затрудненный доступ к качественному медицинскому обслуживанию; ошибки и пробелы в историях болезни; глубоко укоренившееся недоверие некоторых групп населения к системе здравоохранения и их нежелание из-за этого обращаться к врачам.

Предвзятость ИИ вызывает много опасений, но во время пандемии это имело особенно серьезные последствия. Например, еще до COVID-19 в журнале Science было опубликовано исследование об алгоритме, который присваивает чернокожим и белым пациентам одинаковый уровень риска для здоровья, даже когда белокожие больные находятся в более легком состоянии. Это приводит к неадекватному лечению чернокожих пациентов. Более того, уровень смертности среди пациентов с COVID-19 африканского и латиноамериканского происхождения был выше, чем среди белых, а алгоритмы, обученные на ошибочных данных, могли рекомендовать больницам распределять ограниченные ресурсы не в пользу этих пациентов.

В результате такой дискриминации было много нарушений, и это в то время, когда на долю пациентов из перечисленных выше социально незащищенных групп приходилась большая часть самых тяжелых случаев COVID-19. В США темнокожие, латиноамериканцы и представители коренного населения почти умирали от коронавируса в два раза чаще белых пациентов.

Ошибки персонала

На качество работы любой системы, основанной на ИИ, неизбежно влияют сами организации и их сотрудники. Их действия — от выбора направлений применения и наборов данных до интерпретации решений, принятых с помощью ИИ, — определяются стимулами и организационными контекстами.

Неправильные стимулы могут оказаться большой проблемой. Раньше у руководителей систем медицинских организаций бывало мало стимулов разглашать данные о пациентах. Эти данные могли быть привязаны к доходам. Предложение поделиться данными нередко вызывало у их владельцев опасения по поводу неприкосновенности врачебной тайны. Исследователей же часто поощряли за предоставление данных определенным сторонам — но не всем. Более того, подтверждение существующих данных давало мало карьерных преимуществ. Между тем, прославиться проще, когда представляешь общественности новые находки, а не повторяешь или проверяешь чужие исследования. Это означает, результаты исследований до сих пор применяются недостаточно широко и потому становятся ненадежными или непригодными для использования. В итоге медики не решаются применять инструменты, эффективность которых не была подтверждена в разных обстоятельствах. Особенно рискованно экспериментировать со здоровьем людей.

Еще одна проблема — ошибки при вводе данных. Немалая часть данных по COVID-19 собрана медицинским персоналом в напряженной обстановке и в условиях стресса при необыкновенно высокой рабочей нагрузке. Это могло привести к ошибкам при разметке и неполной фиксации данных. Ошибки обнаруживались даже в свидетельствах о смерти. По приказу властей, из-за нечетких указаний или просто из-за перегруженности персонала системы здравоохранения некоторых стран давали заниженную статистику случаев COVID-19.

У людей, принимавших решения, пусть даже с помощью инструментов на основе ИИ, часто не бывало навыков, критически важных для интерпретации данных, — от владения иностранными языками до знания контекста и умения замечать предубеждения и ошибки. Пока еще нет принятого всеми заинтересованными сторонами этического кодекса или контрольного списка, которые помогали бы медицинским работникам определить, где уместно применять инструменты на основе ИИ, а где лучше положиться на человеческий разум, чтобы не принести вреда. Это может привести к непоследовательному или неправильному использованию инструментов на основе ИИ и в конечном итоге подорвать доверие к нему.

Сложный и неоднородный международный контекст

Пандемия затронула самые разные политические, экономические и социокультурные системы. И это усложнило процесс сбора всеобъемлющего массива данных на основе информации из разных стран, которая помогла бы извлечь из происходящего широко применимые уроки. Пандемия показала, как сложно создать универсальные инструменты поиска решений, позволяющих управлять здравоохранением в любых контекстах во всех географических регионах. Выбор подходящих медицинских вмешательств зависит от многих факторов, от биологии до институциональных, социально-политических и культурных сил и состояния местной экологии. И если многие аспекты человеческой биологии одинаковы по всему миру, другие факторы сильно отличаются друг от друга.

Во-первых, в разных странах существуют разные политики управления данными. Во многих государствах действуют законы о локализации данных, не позволяющие выводить их за рубеж. И в мире нет консенсуса по поводу предоставления доступа к медицинским данным. Для обмена информацией о штаммах COVID-19 была расширена созданная ранее сеть обмена данными о геноме вируса гриппа. Однако более глубокое сотрудничество стран в этой области могло бы помочь всему миру в лечении этого нового заболевания. Отсутствие более широких договоров об обмене информацией и управлении ею было критически важным препятствием.

Во-вторых, различаются подходы к предоставлению доступа к медицинским данным в развивающихся и развитых странах. Одни исследователи утверждают, что сведениями о последовательностях геномов следует делиться в открытых базах данных, чтобы создать возможность для крупномасштабного анализа. Других тревожит вопрос эксплуатации результатов чужого труда. Их беспокоит, что работа исследователей из более бедных стран не получает должного признания, а преимущества при обмене данными достаются только богатым государствам.

В-третьих, различаются исторические и социально-политические контексты стран и их сети для обмена информацией своих же граждан. В результате не всегда есть готовность предоставить личные данные для сбора, анализа и использования в общественно полезных целях. Вспомните, например, основанные на ИИ приложения для выявления носителей инфекции и контактировавших с ними людей.

Южная Корея стала примером крайне бесцеремонного сбора данных. Наряду с повсеместным тестированием в стране развернули технологию отслеживания контактов с инфекцией. Помимо приложений использовали информацию с камер видеонаблюдения, данные о поездках и медицинскую документацию, а также сведения об операциях по кредитным картам. Готовность корейцев терпеть такое вторжение в их частные жизни объясняется историей их страны. Предыдущая администрация не смогла эффективно отреагировать на эпидемию MERS в 2015 году, так как не публиковала информацию о больницах, посещаемых носителями этой инфекции. В результате корейская общественность поддержала закон, дающий органам здравоохранения доступ к данным о зараженных гражданах и право выпускать оповещения. В Германии, напротив, предложенное правительством приложение для отслеживания контактов было отвергнуто населением после того, как опубликованное экспертами открытое письмо с жесткой критикой программы вызвало опасения в том, что ее использование может привести к введению государственного надзора. Германия отказалась от централизованной модели контроля и внедрила ее децентрализованную альтернативу. И снова история объясняет происходящее. Немцы пережили надзор со стороны двух печально известных организаций — гестапо в эпоху нацизма и Штази в период холодной войны. Централизованная система сбора информации государством не могла вызвать у них одобрения.

Наконец, данные о пациентах из одной страны могут не годиться для составления прогнозов для другой страны. Это объясняется целым рядом факторов: расовым и демографическим составом населения, социально-экономическими условиями, уровнем иммунитета, сопутствующими заболеваниями и т. д.

Что делать теперь

Из сложившейся ситуации можно извлечь несколько уроков, которые помогут создать более совершенный и готовый к следующей пандемии ИИ будущего.

1) Нужно найти более совершенные способы сбора всеобъемлющих массивов данных и объединения данных из нескольких источников. Это дало бы возможность получать наборы данных по здравоохранению в стандартизированных формах и применять их совместно с механизмами создания централизованных хранилищ информации. Нужно также рассмотреть новые техники обработки данных. Это могут быть, например, дифференцированная приватность или использование синтетических данных вместо информации о реальных людях. Современное развитие технологий делает эти инновации более доступными. Кроме того, наряду с проблемой фрагментированных или неполных данных, существует проблема избытка информации. Заразность вируса, его непрерывные мутации, движение людей через границы, широкое использование расшифровки нуклеотидной последовательности генома приводят к тому, что на ИИ обрушивается лавина информации. Должны появиться системы, способные справиться с такими большими наборами данных, их надлежащей разметкой и упорядочиванием.

2) Нужно разнообразие источников данных. Можно извлечь несколько уроков из опыта Nightingale Open Science — компании, собравшей 40 терабайт медицинских изображений, относящихся к широкому спектру заболеваний и методов лечения, а также разнообразным выборкам пациентов и исходам лечения. Они будут применяться при обучении алгоритмов более ранней диагностике заболеваний, проведению триажа (распределения больных на группы, исходя из их потребности в однородных лечебных и профилактических мероприятиях),а также непредвзятому отношению к людям, что позволит спасать их жизни. Чтобы уменьшить вероятность недостаточного представительства отдельных групп населения и избежать цифровой дискриминации, Nightingale Open Science старается работать с системами здравоохранения по всему миру, включая, в частности, малообеспеченные слои населения.

3) Необходимо ввести поощрения, способствующие более активному сотрудничеству команд и систем. Команды, использующие ИИ, должны получить возможность сотрудничать с медиками и другими специалистами, осведомленными о практических проблемах, и такое сотрудничество должно поощряться. Кроме того, необходимо планировать участие разнообразных групп в формировании этических схем и контрольных списков для медиков, использующих ИИ для решения жизненно важных задач. В такие группы будут входить инженеры и технологи, эксперты ключевых функциональных областей, а также специалисты по этике, которые могут руководить использованием систем на основе ИИ и их приведением в соответствие с ценностными суждениями.

Еще один способ сбора данных из множества источников — обращение к сообществам по открытому обмену информацией. Открытая рабочая группа The Open COVID-19 Data Working Group, сеть MIDAS Network и другие локальные совместные инициативы предоставляют модели сотрудничества, пригодные для воспроизведения другими коллективами. Обеспечение пространств для междисциплинарного сотрудничества может быть ключом к прорывам. Например, немецкая биотехнологическая компания BioNTech, разработавшая технологию использования матричной РНК, на основе которой создана вакцина от коронавируса фирмы Pfizer, объединилась со специализирующейся на ИИ лондонской компанией InstaDeep. Вместе они создадут «систему раннего предупреждения» о появлении новых вариантов коронавирусной инфекции.

4) Следует составить международные правила обмена данными. Чтобы страны делились между собой данными в области здравоохранения, нужны международные конвенции, облегчающие сбор критически важной информации, и договоры об обмене данными, которые позволяют сохранять неприкосновенность частной жизни и конфиденциальность. Нужно научить команды, использующие ИИ, учитывать различия в мировых системах здравоохранения, чтобы они могли помещать данные из разных частей света в подходящий контекст.

Коронавирус все больше становится эндемическим заболеванием, и пока мы готовимся к следующей пандемии, у нас есть возможности развить потенциал ИИ. В 2013 году нашумевшая система Flu Trends от Google не смогла предсказать размах эпидемии гриппа. COVID-19 дал нам возможность в драматичной обстановке реабилитировать ИИ как инструмент прогноза. Но в нынешних неудачах заложены семена ИИ-систем, которые смогут процветать в будущем.

* принадлежит Meta, которая признана в России экстремистской и запрещена