Как улучшается здравоохранение при помощи AI?

Искусственный интеллект (ИИ) для поддержки принятия клинических решений (CDS) относится к системам и инструментам, использующим ИИ для помощи медицинским работникам в принятии более обоснованных клинических решений. Эти системы могут предупреждать врачей о потенциальном взаимодействии лекарств, предлагать профилактические меры и рекомендовать диагностические тесты на основе данных о пациенте. Неравенство в ИИ СРС представляет собой серьезную проблему для систем здравоохранения и отдельных людей, потенциально усугубляя неравенство в здравоохранении и укореняя и без того несправедливую систему здравоохранения. Однако усилия по созданию справедливого ИИ в здравоохранении набирают обороты при поддержке различных правительственных учреждений и организаций. Эти усилия включают в себя значительные инвестиции, нормативные инициативы и предлагаемые изменения в существующих законах для обеспечения справедливости, прозрачности и инклюзивности при разработке и внедрении ИИ.

У политиков есть критически важная возможность добиться изменений с помощью законодательства, внедрения стандартов управления ИИ, аудита и регулирования. Нам нужна нормативная база, инвестиции в обеспечение доступности ИИ, стимулы для сбора данных и сотрудничества, а также правила аудита и управления системами ИИ, используемыми в системах/инструментах CDS. Решив эти проблемы и приняв упреждающие меры, политики смогут использовать потенциал ИИ для улучшения оказания медицинской помощи и сокращения неравенства, что в конечном итоге будет способствовать равному доступу к качественному лечению для всех.

Вызовы и возможности

ИИ способен произвести революцию в здравоохранении, но его неправильное использование и неравный доступ могут привести к непредвиденным тяжелым последствиям. Например, алгоритмы могут непреднамеренно отдавать предпочтение определенным демографическим группам, непропорционально распределяя ресурсы и углубляя неравенство. Усилия по созданию справедливого ИИ в здравоохранении получили значительный импульс и поддержку со стороны различных правительственных учреждений и организаций, особенно в отношении медицинских приборов. Недавно Белый дом объявил о значительных инвестициях, в том числе о выделении 140 миллионов долларов Национальному научному фонду (NSF) на создание институтов, занимающихся оценкой существующих систем генеративного ИИ (GenAI). Хотя это и не относится к здравоохранению, в проекте президента Байдена "Билль о правах ИИ" изложены принципы, которыми следует руководствоваться при разработке, использовании и внедрении ИИ, чтобы защитить людей от его потенциального вреда. Управление по санитарному надзору за качеством пищевых продуктов и медикаментов (FDA) также предприняло шаги, выпустив бета-версию своей нормативной базы для ИИ медицинских устройств, используемых в здравоохранении. Министерство здравоохранения и социальных служб (DHHS) предложило внести изменения в раздел 1557 Закона о защите пациентов и доступном медицинском обслуживании, который прямо запрещает дискриминацию при использовании клинических алгоритмов для поддержки принятия решений в подведомственных организациях.

Как неравенство в ИИ CDS вредит здравоохранению

Усугубление и закрепление неравенства в области здравоохранения

Несправедливое использование ИИ может усугубить неравенство в сфере здравоохранения. Исследования показали, что алгоритмы управления здоровьем населения, которые сопоставляют потребности в здравоохранении с затратами, выделяют больше услуг белым пациентам, чем чернокожим, даже если учитываются потребности в здравоохранении. Такое неравенство возникает потому, что целевой показатель, соотнесенный с доступом к медицинским услугам и их использованием, как правило, выявляет частых пользователей медицинских услуг, которые с непропорционально меньшей вероятностью являются чернокожими пациентами из-за существующего неравенства в доступе к медицинским услугам. Неравноправный ИИ закрепляет предвзятость данных, когда обучается на перекошенных или неполных наборах данных, наследует и усиливает предвзятость через алгоритмические решения, тем самым углубляя существующее неравенство и препятствуя усилиям по достижению справедливости и равенства в оказании медицинских услуг.

Увеличение расходов

Алгоритмы, обученные на предвзятых наборах данных, могут усугублять неравенство, неправильно диагностируя или упуская из виду заболевания, распространенные в маргинальных слоях населения, что приводит к ненужным обследованиям, лечению и госпитализации и увеличивает расходы. Неравенство в здравоохранении, которое, по оценкам, приводит к 320 миллиардам долларов сверхрасходов на здравоохранение, усугубляется неравномерным внедрением ИИ в здравоохранение. Неравный доступ к услугам, основанным на ИИ, увеличивает разрыв в расходах на здравоохранение: богатые сообщества и системы здравоохранения, обладающие достаточными ресурсами, часто становятся пионерами в области технологий ИИ, в то время как районы с низким уровнем обслуживания остаются позади. Как следствие, несвоевременная диагностика и неоптимальное лечение приводят к увеличению расходов на здравоохранение из-за предотвратимых осложнений и поздних стадий заболевания.

Снижение доверия

Неравное распределение медицинских услуг, предоставляемых с помощью ИИ, вызывает скептицизм в маргинализированных сообществах. Например, в одном из исследований алгоритм продемонстрировал статистическую справедливость при прогнозировании расходов на здравоохранение для чернокожих и белых пациентов, однако при распределении услуг возникли различия: несмотря на одинаковый уровень заболеваемости, большее количество направлений получили белые пациенты. Такое неравенство подрывает доверие к процессам принятия решений на основе ИИ, что в конечном итоге усиливает недоверие к системам и поставщикам медицинских услуг.

Как предвзятость проникает в искусственный интеллект CDS

Отсутствие данных о разнообразии и инклюзивности

Наборы данных, используемые для обучения моделей ИИ, часто отражают неравенство в обществе и здравоохранении, что приводит к распространению предубеждений, присутствующих в данных. Например, если модель обучается на данных из системы здравоохранения, где определенные демографические группы получают некачественное обслуживание, она будет усваивать и закреплять эти предубеждения. Проблема усугубляется тем, что ограниченный доступ к данным о здравоохранении заставляет исследователей ИИ полагаться на несколько публичных баз данных, что способствует однородности наборов данных и отсутствию их разнообразия. Кроме того, если многие клинические факторы имеют научно обоснованные определения и стандарты сбора данных, то атрибуты, которые часто обусловливают различия в результатах медицинского обслуживания, менее определены и собраны в меньшем количестве. Поэтому усилия по определению и сбору этих атрибутов и поощрению разнообразия в обучающих наборах данных имеют решающее значение для обеспечения эффективности и справедливости медицинских вмешательств, управляемых ИИ.

Отсутствие прозрачности и подотчетности

Хотя системы искусственного интеллекта призваны оптимизировать процессы и повысить эффективность принятия решений в здравоохранении, они также рискуют непреднамеренно унаследовать дискриминацию от своих создателей-людей и среды, из которой они черпают данные. Многие технологии поддержки принятия решений на основе искусственного интеллекта также страдают от недостатка прозрачности, что затрудняет полное понимание и надлежащее использование их выводов в сложных клинических условиях. Прозрачность позволяет выявить и устранить любые унаследованные предубеждения, а подотчетность стимулирует тщательное рассмотрение того, как эти системы могут негативно или непропорционально влиять на определенные группы. И то, и другое необходимо для укрепления доверия общества к тому, что ИИ разрабатывается и используется ответственно.

Алгоритмические предубеждения

Возможность проникновения алгоритмической предвзятости в ИИ в здравоохранении значительна и многогранна. Алгоритмы и эвристики, используемые в моделях ИИ, могут непреднамеренно кодировать предубеждения, которые еще больше ущемляют маргинализированные группы. Например, алгоритм, который придает большее значение таким переменным, как доход или уровень образования, может систематически ущемлять людей из социальноэкономически неблагополучных слоев населения.

Специалисты по исследованию данных могут скорректировать алгоритмы для уменьшения предвзятости ИИ, настроив гиперпараметры, оптимизирующие пороги принятия решений. Пороговые значения для выделения пациентов с высоким риском могут потребовать корректировки для конкретных групп, чтобы сбалансировать точность. Регулярный мониторинг гарантирует, что пороговые значения со временем будут учитывать возникающие предубеждения. Кроме того, алгоритмы, учитывающие справедливость, могут применять статистический паритет, когда защищенные атрибуты, такие как раса или пол, не предсказывают результаты.

Неравный доступ

Неравный доступ к технологиям ИИ усугубляет существующее неравенство и подвергает всю систему здравоохранения повышенной предвзятости. Даже если сама модель ИИ разработана без присущей ей предвзятости, неравное распределение доступа к ее выводам и рекомендациям может увековечить неравенство. Когда только те медицинские организации, которые могут позволить себе продвинутый ИИ для CDS, используют эти инструменты, их пациенты пользуются преимуществами улучшенного ухода, которые остаются недоступными для малообеспеченных групп населения. Федеральные политические инициативы должны уделять приоритетное внимание равному доступу к ИИ путем осуществления целевых инвестиций, стимулирования и партнерства для малообслуживаемых групп населения. Обеспечивая доступ к технологиям ИИ для всех медицинских учреждений, независимо от финансовых ресурсов, политики могут помочь смягчить предвзятость и способствовать справедливости в оказании медицинской помощи.

Неправильное использование

Потенциал предвзятости в здравоохранении из-за неправильного использования ИИ выходит за рамки состава обучающих наборов данных и охватывает более широкий контекст применения и использования ИИ. Обеспечение обобщенности прогнозов ИИ в различных медицинских учреждениях так же необходимо, как и справедливость при разработке алгоритмов. Это требует всестороннего понимания того, как будут применяться приложения ИИ и будут ли прогнозы, полученные на основе обучающих данных, эффективно применяться в различных условиях здравоохранения. Неучет этих факторов может привести к неправильному использованию или злоупотреблению знаниями ИИ.

Возможность

Для устранения предвзятости, поощрения многообразия, повышения прозрачности и обеспечения подотчетности систем ИИ CDS необходимы срочные политические меры. Осуществляя ответственный надзор и управление, политики могут использовать потенциал ИИ для повышения качества оказания медицинской помощи и снижения затрат, обеспечивая при этом справедливость и инклюзивность. Нормативные акты, обязывающие проводить аудит систем ИИ на предмет предвзятости и требующие объяснения, аудита и процессов проверки, могут заставить организации нести ответственность за этичность разработки и внедрения технологий здравоохранения. Кроме того, директивные органы могут разработать руководящие принципы и выделить финансирование, чтобы максимально использовать преимущества технологий ИИ и при этом защитить уязвимые группы населения. Поскольку на кону стоят человеческие жизни, устранение предвзятости и обеспечение равного доступа должны стать первоочередной задачей, а политики должны воспользоваться этой возможностью, чтобы добиться значимых изменений. Время действовать пришло.

План действий

Федеральное правительство должно разработать и внедрить стандарты управления и аудита ИИ для алгоритмов, непосредственно влияющих на диагностику, лечение и доступ к медицинской помощи пациентам. Они должны быть достаточно гибкими, чтобы учитывать развитие технологий ИИ и при этом гарантировать, что этические соображения остаются первостепенными.

Регулирование аудита и управления искусственным интеллектом

Федеральное правительство должно внедрить подробную систему аудита ИИ в здравоохранении, начиная со строгих оценок перед внедрением, требующих тщательного тестирования и проверки на соответствие установленным отраслевым стандартам. В ходе этих оценок должны тщательно изучаться протоколы конфиденциальности данных, чтобы обеспечить надежную обработку и защиту информации о пациентах. Приоритетным направлением должна стать прозрачность алгоритмов, требующая от разработчиков предоставления четкой документации о процессах принятия решений ИИ, чтобы облегчить понимание и подотчетность. Необходимо тщательно изучить стратегии снижения предвзятости, чтобы убедиться, что системы ИИ не увековечивают и не усугубляют существующее неравенство в здравоохранении. Надежность работы должна постоянно контролироваться с помощью анализа данных в режиме реального времени и периодических обзоров, обеспечивающих сохранение точности и эффективности систем ИИ с течением времени. Необходимо обязать проводить регулярные аудиты для проверки постоянного соответствия, уделяя особое внимание адаптации к меняющимся стандартам и учету отзывов медицинских работников и пациентов. Алгоритмы ИИ развиваются из-за изменений в базовых данных, деградации моделей и изменений в протоколах приложений. Поэтому плановый аудит должен проводиться как минимум раз в год.

Поскольку почти 40 % американцев получают льготы по программам Medicare или Medicaid, а также в связи с огромным ростом и акцентом на ценностно-ориентированном обслуживании, Центры по услугам Medicare и Medicaid (CMS) могут стать катализатором для измерения и управления справедливым ИИ. Поскольку многие системы здравоохранения и плательщики используют модели, применяемые в отношении множества других групп населения, это может положительно повлиять на большую часть обслуживания пациентов. Как компании, принимающие важные решения, так и разработчики технологий должны быть обязаны оценивать влияние процессов принятия решений и предоставлять в CMS документацию по выборочной оценке влияния.

Для медицинских учреждений, участвующих в программах CMS, этот мандат должен быть включен в качестве условия участия. С помощью такого же процесса аудита федеральное правительство может получить информацию о производительности и ответственности систем ИИ. Эти данные должны быть доступны медицинским организациям по всей стране, чтобы повысить прозрачность и качество взаимодействия между партнерами по ИИ и лицами, принимающими решения. Это поможет Министерству здравоохранения и социальных служб (HHS) выполнить основное направление своей стратегии в области ИИ "Содействие надежному использованию и развитию ИИ" (рис. 1).

Конгресс должен обеспечить соблюдение этих систем подотчетности для передовых алгоритмов. Такая работа может быть проделана путем внесения поправок и принятия Закона о подотчетности алгоритмов 2023 года. Это предложение обязывает компании оценивать последствия автоматизации критически важных процессов принятия решений, включая те, которые уже автоматизированы. Однако оно не делает эти результаты видимыми для организаций, использующих эти инструменты. Необходимо добавить расширение, чтобы сделать результаты доступными для руководящих органов и организаций-членов, таких как Американская ассоциация больниц (AHA).

Инвестируйте в доступность и совершенствование ИИ

ИИ, объединяющий социальные и клинические факторы риска, влияющие на профилактику, может быть полезен для управления результатами здравоохранения и распределения ресурсов, особенно для учреждений, оказывающих помощь преимущественно сельским жителям и пациентам. Хотя организации, обслуживающие значительную часть маргинализированных пациентов, могут иметь доступ к новым инструментам ИИ, весьма вероятно, что они неадекватны, поскольку не были подготовлены на основе данных, адекватно представляющих эту популяцию. Поэтому федеральное правительство должно выделять средства на поддержку доступа к ИИ для медицинских организаций, обслуживающих более высокий процент уязвимых групп населения. Первоначальная поддержка должна осуществляться за счет субсидий поставщикам услуг ИИ, которые оказывают поддержку сетям социальной защиты и сельским медицинским учреждениям.

Администрация ресурсов и услуг здравоохранения должна направить стратегическое финансирование инноваций в федеральные центры здравоохранения и сельские медицинские учреждения, чтобы внести свой вклад в создание и использование справедливого ИИ. Это может включать финансирование академических институтов, исследовательских организаций и партнерств с частным сектором, нацеленных на разработку алгоритмов ИИ, которые будут справедливыми, прозрачными и непредвзятыми именно для этих групп населения.

Большие языковые модели (LLM) и решения GenAI быстро внедряются в инструментарий CDS, предоставляя врачам возможность мгновенно получить второе мнение в сценариях диагностики и лечения. Несмотря на мощь этих инструментов, они не являются непогрешимыми и представляют опасность без способности к эволюции. Поэтому исследования в области самокоррекции ИИ должны быть в центре внимания будущей политики. Самокоррекция - это способность LLM или GenAI выявлять и исправлять ошибки без внешнего или человеческого вмешательства. Овладение этими сложными механизмами способностью распознавать ошибки, которые могут представлять угрозу для жизни, будет иметь решающее значение для их внедрения и применения. Агентства здравоохранения, такие как Агентство по исследованиям и качеству здравоохранения (AHRQ) и Управление национального координатора по информационным технологиям здравоохранения, должны финансировать и контролировать исследования в области самокоррекции ИИ, используя клинические и административные данные. Это должно стать продолжением одной из следующих работ:

• 45 CFR Parts 170, 171, поскольку он "способствует ответственному развитию и использованию искусственного интеллекта посредством прозрачности и улучшает обслуживание пациентов посредством политики, которая является центральной в усилиях Министерства здравоохранения и социальных служб по укреплению и защите здоровья и благополучия всех американцев".
• Возможность финансирования AHRQ в мае 2024 г. (NOT-HS-24-014), Изучение влияния искусственного интеллекта на безопасность здравоохранения (R18)

Как и в случае с программой Breakthrough Device Program, ИИ, способный доказать, что он уменьшает неравенство в сфере здравоохранения и/или повышает доступность, может быть ускорен в процессе аудита и отмечен как "лучший в своем классе".

Стимулирование сбора данных и сотрудничества

В недавно опубликованной дорожной карте "Инновации в области искусственного интеллекта в США" здравоохранение рассматривается как область, оказывающая большое влияние на ИИ, и даются конкретные рекомендации по принятию в будущем "законодательства, поддерживающего дальнейшее внедрение ИИ в здравоохранении и внедряющего соответствующие ограждения и меры безопасности для защиты пациентов и способствующего использованию точных и репрезентативных данных". Проверяя и обеспечивая доступность ИИ в здравоохранении, правительство должно убедиться, что путь к внедрению справедливости в решения ИИ не остается препятствием. Это подразумевает улучшение сбора данных и обмена ими, чтобы алгоритмы ИИ обучались на разнообразных и репрезентативных наборах данных. Как говорится в дорожной карте, необходимо "поддержать NIH в разработке и совершенствовании технологий ИИ с акцентом на предоставление медицинских и биомедицинских данных для машинного обучения и исследований в области науки о данных при тщательном решении вопросов конфиденциальности, возникающих при использовании ИИ в этой области".

Эти данные существуют во всей экосистеме здравоохранения, поэтому децентрализованное сотрудничество может позволить получить более разнообразный массив данных для обучения ИИ. Для этого может потребоваться стимулировать медицинские организации делиться анонимизированными данными пациентов для исследовательских целей, обеспечивая при этом конфиденциальность и безопасность данных. Этот стимул может выражаться в увеличении возмещения от CMS за определенные услуги или условия, в которых участвуют сотрудничающие стороны.

Чтобы обеспечить учет различных точек зрения при разработке и внедрении систем ИИ, любые нормативные акты, принятые федеральным правительством, должны не только поощрять, но и оценивать разнообразие и инклюзивность команд разработчиков ИИ. Это поможет смягчить предвзятость и обеспечить, чтобы алгоритмы ИИ были более репрезентативными для различных групп пациентов, которых они обслуживают. Это должно оцениваться аккредитующими сторонами, такими как The Joint Commission (аккредитационная организация, одобренная CMS), и их сертификация на равенство в здравоохранении.

Заключение

Достижение равенства в сфере здравоохранения с помощью ИИ в СРС требует согласованных усилий со стороны политиков, медицинских организаций, исследователей и разработчиков технологий. Огромный потенциал ИИ для преобразования системы здравоохранения и улучшения результатов может быть реализован только в том случае, если он будет сопровождаться мерами по устранению предвзятости, обеспечению прозрачности и поощрению инклюзивности. Ориентируясь в меняющемся ландшафте медицинских технологий, мы должны сохранять приверженность принципам справедливости и равенства, чтобы ИИ служил инструментом расширения возможностей, а не увековечивал неравенство. Благодаря коллективным действиям и осведомленности мы сможем построить систему здравоохранения, которая действительно не оставит никого позади.