Уроки развивающейся нормативно-правовой базы: ИИ и программное обеспечение на основе машинного обучения как медицинское ...

Почему медицинские устройства на основе искусственного интеллекта (AI) и машинного обучения (ML) нуждаются в другом качестве и нормативной базе?

Сущность качества продукта зависит от воспроизводимости его желаемого поведения в процессе использования. Такая надежность важна для медицинских устройств, чтобы обеспечить безопасные и эффективные результаты для пациентов, и, следовательно, они требуют соответствующих разрешений регулирующих органов перед использованием.

Методы, основанные на AI / ML, показали невероятные перспективы для использования в медицинских устройствах или в качестве них. Эти методы основаны на улучшении «базовой» архитектуры решения с использованием обучающих примеров. Параметры архитектуры обновляются в процессе обучения. На рисунке ниже показан простой пример создания границы решения на основе доступных данных. Граница принятия решения, например, может использоваться для различения доброкачественной и злокачественной опухоли. Когда предоставляется неизвестная выборка, ее можно классифицировать на основе того, где она находится по отношению к изученной границе решения. Сила машинного обучения заключается в том, чтобы сделать границу принятия решения более точной, поскольку становится доступным больше данных для обучения.

Однако такая адаптивность создает проблемы для систем качества и регулирования. Как сохранить предсказуемость системы, которая постоянно развивается? Как мы можем быть уверены, что система машинного обучения не учится на «неправильных» обучающих примерах?

Это сложные нормативные вопросы. В апреле 2019 года Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США выпустило дискуссионный документ по этой теме [1], за которым последовал план действий в январе 2021 года [2]. Ниже мы обсуждаем некоторые ключевые элементы, связанные с этой темой, исходя из этих документов и последующего обсуждения в сообществе искусственного интеллекта и здравоохранения вокруг этого.

Категоризация рисков и ее важность в адаптивных алгоритмах

Разработчикам программного обеспечения на основе искусственного интеллекта и машинного обучения в качестве медицинских устройств крайне важно понимать концепцию категоризации рисков. Использование этих устройств относится к спектру рисков, который определяется: (а) значимостью предоставленной им информации и (б) серьезностью состояния, в котором они используются.

Значение возрастает от простого информирования клинического управления до диагностики и лечения текущего состояния. При этом степень тяжести состояния варьируется от несерьезной до критической. Приведенная выше матрица основана на классификации рисков Международного форума регуляторов медицинского оборудования (IMDRF). Разработчики устройств на основе ИИ и машинного обучения должны ожидать более строгих ограничений и большего количества обзоров модификаций и адаптируемости для категорий с более высоким риском по сравнению со случаями с более низким риском.

Публикация изменений утверждения в системе на основе AI / ML

Существует несколько типов модификаций, которые потенциально могут быть внесены в систему на основе AI / ML после ее первоначального одобрения и выпуска регулирующими органами, они в целом делятся на три категории:

(а) Модификации, связанные с производительностью: они связаны с повышением производительности устройства. Обычно это достигается путем обучения системы машинного обучения на новых данных (хотя и с одним и тем же типом данных), улучшая так называемые гиперпараметры (например, скорость обучения, сложность базовой архитектуры и т. Д.). В таких случаях производительность улучшается без изменения претензий, связанных с предполагаемым использованием продукта.

(b) Модификации, относящиеся к типу ввода: Следующий уровень модификаций включает изменение типов ввода. Это относится не только к использованию дополнительных входных данных, но также к использованию совершенно разных типов наборов данных. Это может включать получение изображений со сканера другого типа или добавление таких параметров, как история болезни, в качестве входных данных в систему машинного обучения. Такие модификации по-прежнему не создают новых заявлений о предполагаемом использовании продукта.

(c) Модификации, относящиеся к предполагаемому использованию: наиболее важными являются случаи, когда предполагаемое использование устройства изменяется. К ним относятся изменения значимости информации, предоставляемой системами на основе AI / ML, например, переход от вспомогательной диагностики, помогающей в клиническом ведении, к автоматической диагностике с помощью машины. Изменение предполагаемого использования также может потенциально изменить серьезность состояния, в котором используется устройство. Такие изменения изменяют категорию риска устройства и могут потребовать дополнительных проверок и разрешений регулирующих органов, зависящих от предварительно заданных SaMD (SPS) модификаций и протоколов изменения алгоритмов (ACP), которые обсуждаются ниже.

Потенциальная специализированная структура для программного обеспечения на основе ИИ / машинного обучения в качестве медицинского устройства

В дискуссионном документе FDA предлагается несколько концепций создания нормативной базы для программного обеспечения на основе AI / ML в качестве медицинских устройств. Основной предлагаемый принцип состоит из двух частей: (а) определение четкой методологии для предполагаемых изменений адаптивной системы после утверждения; (б) соблюдение рекомендуемых практик на протяжении всего жизненного цикла продукта, таких как надлежащие практики машинного обучения (GMLP) и реальная производительность ( RWP) мониторинг.

Две ключевые концепции, связанные с определением предполагаемых изменений после утверждения, - это предварительные спецификации SaMD (SPS) и протоколы изменения алгоритмов (ACP).

Предварительная спецификация SaMD (SPS):

В предварительных спецификациях указано, «что» в медицинском устройстве на основе AI / ML может измениться после его утверждения. Изменения могут относиться к любой из трех категорий, описанных выше, а именно: производительность, типы ввода и предполагаемое использование. Предварительные характеристики SaMD описывают диапазон изменений, которые допустимы для устройства без полной нормативной документации.

Протокол изменения алгоритма (ACP):

После того, как диапазон допустимых изменений определяется SPS. Протокол изменения алгоритма (ACP) описывает, «как» эти изменения могут быть включены, сохраняя при этом безопасность и эффективность устройства. К ним относятся оценка качества новых используемых данных, показатели производительности для обновленного алгоритма, проверка и проверка программного обеспечения, схема для локальных и глобальных обновлений и прозрачное сообщение пользователям об изменениях.

Пути внесения изменений в устройства на базе AI / ML после выхода на рынок:

Это, наверное, самый важный практический вопрос для производителей устройств. Текущий дискуссионный документ FDA предполагает, что в случае, если производитель устройства решит внести изменения в устройство на основе AI / ML, он должен следовать текущим рекомендациям по оценке рисков для модификаций программного обеспечения. Если решение о модификации программного обеспечения указывает на то, что изменение требует новой нормативной проверки, однако, изменения охватываются заранее описанными SPS и ACP, производитель не требует полной проверки, но должен задокументировать изменения в соответствии с утвержденными процессами. Если изменения выходят за рамки тех, которые определены SPS и ACP, но не приводят к изменению предполагаемого производителя, можно подать заявку на целенаправленную проверку. [Обратите внимание, что это только предлагаемые схемы для обсуждения от FDA, а не официальная политика].

Надлежащая практика машинного обучения (GMLP) и проблема предвзятости ИИ

Надлежащая практика машинного обучения (GMLP) - это развивающаяся концепция, которая должна следовать примеру Надлежащей производственной практики (GMP), Надлежащей клинической практики (GCP), Надлежащей лабораторной практики (GLP) и других. Приверженность разработчиков систем на основе ИИ / машинного обучения набору передовых методов придаст уверенность регулирующим органам в надежности этих устройств.

На мой взгляд, GMLP должен сосредоточиться на четырех критических компонентах: (а) данные, (б) маркировка, (в) алгоритмы и (г) развертывание. Данные, выбранные как для обучения, так и для тестирования, должны подходить для случаев клинического использования, в которых они применяются. В процессе должен быть построен механизм для проверки того, применяются ли методы машинного обучения к данным за пределами пространства, охватываемого наборами для обучения и тестирования. Мы не можем здесь подробно останавливаться на всех идеях GMLP, однако одной из ключевых проблем, возникших в ответах на дискуссионный документ, была проблема предвзятости в системах на основе искусственного интеллекта / машинного обучения, которая еще больше усугубляет существующую предвзятость в отношении результатов в отношении здоровья.

В документе о действиях FDA отмечается, что, поскольку методы AI / ML опираются на исторические данные, следовательно, группы, которые были недопредставлены в системе здравоохранения, особенно расовые и этнические меньшинства, могут получить результаты ниже среднего, если соответствующие методологии не будут учтены в предвзятости построения. . Каждый план GMLP должен включать методы, гарантирующие, что критически важные этапы, такие как сбор данных, опыт этикетировщиков, установленный золотой стандарт и другие, не имеют врожденной предвзятости, которая может быть распространена системой AI / ML в дальнейшем. Такая предвзятость уже наблюдается в методах AI / ML, таких как распознавание лиц. Несмотря на заявления о том, что более 90% технологий распознавания лиц оказались на 20–34% менее точными для темнокожих женщин по сравнению со светлокожими мужчинами [3]. Более широкое исследование Национального института стандартов и технологий (NIST) обнаружило аналогичные предубеждения. Специалист в области искусственного интеллекта / машинного обучения должен убедиться, что разработанные методы не несут в себе предвзятости, чтобы они получили широкое распространение в этой области.

Будущее

Изменения в нормативных документах для адаптивных методов на основе AI / ML все еще находятся в стадии разработки. После дискуссионного документа 2019 года FDA выпустило План действий в январе 2021 года и планирует предоставить более подробную информацию позже в этом году. FDA пригласило практикующих специалистов в этой области, чтобы они внесли свой вклад. Рекомендации, вытекающие из этого процесса, будут иметь решающее значение не только для медицинских устройств, но и для области искусственного интеллекта и машинного обучения в целом.