Как правильно научить робота находить ваши клетки.

В предыдущем посте Заменяет ли искусственный интеллект вашего врача?» я рассказал, как машинное обучение (разновидность искусственного интеллекта) меняет биомедицинские исследования и здравоохранение. Чего я не упомянул, так это того, почему прогресс был довольно медленным (ИИ существует уже несколько десятилетий, но только недавно привнес большую пользу в этих областях). Одна большая проблема с обучением машинному обучению заключается в том, что компьютерам нужно МНОГО высококачественных примеров для правильного обучения. Многие существующие обычно используемые модели машинного обучения требовали от тысяч до миллионов обучающих примеров, таких как набор данных LISA о дорожных знаках с более чем 7000 обучающих изображений, набор данных изображений MaskedFaceNet с почти 60 000 изображений человеческих лиц в масках или мой личный фаворит только из-за названия : массивный мультиклассовый набор данных 20BN-SOMETHING-SOMETHING видео людей, выполняющих простые повседневные движения (несмотря на название, он содержит всего около 200 000 видео, но многие другие мультиклассовые модели содержат миллионы изображений).

Термин «модель» в этом контексте важно определить, потому что коннотации этого слова у широкой публики не связаны с ML (т.е. я не говорю о манекенщице-роботе или миниатюрном Гандаме). Ученые знакомы с этим термином в еще более специализированных контекстах, таких как наши модели исследований на животных (я действительно хочу написать еще один пост в будущем о трансгенных организмах!) или вычислительная модель для имитации и вывода прогнозов с использованием данных о природных явлениях. Думайте о модели машинного обучения как о компьютере, который научился превосходно определять, как выполнять одну или несколько конкретных задач. В случае моделей обнаружения объектов, подобных упомянутым выше, требуется, чтобы человек правильно обучил компьютер процессу аннотирования объектов на изображениях/видео, чтобы он знал, что ищет. В этом посте я хочу обсудить, как учатся модели обнаружения объектов, и лучшие практики обучения их точному определению целей.

Возможность обнаружения объектов на изображении особенно важна в биомедицинских областях и находится в центре внимания аналитического программного обеспечения нашей компании Pipsqueak. Чтобы сделать эти модели обнаружения более интуитивно понятными для обучающих их людей, наша компания создала антропоморфного робота-талисмана по имени Пип. Лично я думаю, что танцующие роботы Пипсы, которых мы раздали в качестве сувениров на конференции, выглядят странно, но, видимо, и детям, и нашему генеральному директору они нравятся! К сожалению, домашние талисманы Rewire обычно пугаются, когда Пип начинает танцевать.

В любом случае… давайте вернемся к правильному обучению моделей машинного обучения для биомедицинских исследований и диагностики. Вы, вероятно, можете себе представить, что массивные общие наборы данных изображений, о которых я упоминал ранее, утомительны, но применимы для таких объектов, как дорожные знаки или лица в масках, где релевантных изображений много, и почти любой человек может правильно идентифицировать объекты. Но когда дело доходит до передовых биомедицинских исследований или патологии редких заболеваний, существуют значительные ограничения как в размере набора данных, так и в человеческом опыте, необходимом для идентификации объектов интереса на изображениях. Многие из наших ранних моделей Pipsqueak действительно использовали тысячи изображений и бесчисленные часы утомительного ручного труда, и хотя эти усилия, финансируемые за счет гранта, заложили прочную основу для нашего программного обеспечения, это непрактичный способ масштабирования. Для каждого типа клеток или уникального флуоресцентного биомаркера потребуется изобретать новую модель тысячи раз. Оптимизация этого процесса необходима для того, чтобы использовать возможности ИИ в этих областях осмысленным и широко применимым способом. Это пробел, который Rewire пытается заполнить, используя новаторские методы для ученых, врачей и компаний, производящих биомедицинские устройства, для разработки узкоспециализированных моделей машинного обучения с минимальными затратами изображений, затрат и времени.

Интересно (и печально), что есть примеры компаний, рассказывающих людям, что у них есть удивительный ИИ, но оказывается, что это всего лишь армия предположительно малооплачиваемых людей, вручную анализирующих изображения за кулисами (называемых «эльфами в коробке»). ИИ). Это привело к некоторому скептицизму в отношении стартапов, продвигающих ИИ, что звучит слишком хорошо, чтобы быть правдой. К счастью, мы придумали комбинацию техник, которая не требует жертвовать бесчисленным количеством миньонов (т. е. старшекурсников) и на самом деле эффективно использует мощь машинного обучения. Во-первых, это существующий метод машинного обучения, известный как трансферное обучение, при котором хорошо обученная модель используется в качестве основы для обучения аналогичной новой модели, что устраняет необходимость в тысячах обучающих изображений. В сочетании с трансферным обучением мы также недавно представили способ обучения пользовательских моделей машинного обучения в Pipsqueak. Эта возможность отличает нас от большей части наших конкурентов и делает искусственный интеллект доступным биомедицинским массам, в том числе исследовательским лабораториям, работающим с необычными биомаркерами или типами клеток или патологиями редких заболеваний.

В нашем программном обеспечении Pipsqueak синий робот Pip представляет собой пользовательскую модель, которую пользователь обучил обнаруживать интересующий тип клеток или биомаркер на своих микроскопических изображениях (вы можете обучить своего Pip бесплатно). Для этого обучения требуется, чтобы опытный пользователь аннотировал несколько изображений, чтобы визуально идентифицировать интересующий объект и обозначить его как область интереса (ROI). Эти ROI определяются путем рисования ограничивающей рамки вокруг объектов, которые вы хотите, чтобы модель научилась обнаруживать, таких как клетка, область ткани или субклеточная структура. Обычно пользователи начинают с одной из наших уже существующих моделей обнаружения клеток, которая наиболее похожа на интересующий их объект. Эта модель будет создавать полуточные ROI на их изображении, которые затем корректируются пользователем путем удаления, добавления и редактирования границ ROI. Все, что вы можете определить на глаз на изображении, можно обучить, и этот процесс называется аннотацией изображения. Компьютер фокусируется на областях внутри этих аннотаций и сравнивает их с другими областями изображения, чтобы узнать, что искать. Какие функции изучает компьютер, часто остается загадкой, и человеческая аннотация может внести в модель систематическую ошибку, которая может быть проблематичной. Ученые и патологоанатомы всегда полагались на свои глаза и опыт, чтобы идентифицировать интересующие их объекты в исследованиях или на клинических изображениях, поэтому они идеально подходят для обучения компетентного Пипа, но поскольку люди интуитивно не понимают, что на самом деле видит машина, », легко ввести модель в заблуждение неполными аннотациями.

Это основная причина, по которой я написал этот пост, чтобы прояснить, почему и как использовать правильную аннотацию для обучения точной модели. Слишком часто люди надеются на волшебство со своими моделями, но на самом деле то, что может сделать Pip, сводится к тому, насколько тщательным и точным является пользователь в своих аннотациях, то есть мусор на мусоре. Я сопротивлялся желанию изобразить Пипа, который ест плохую еду и срыгивает, но вы поняли идею.

Итак, каковы идеальные аннотации для обнаружения объектов? Ну, в общем, вот основные правила, которым нужно следовать:

1. Аннотируйте ВСЕ интересующие вас объекты и только эти объекты! Т.е. не пропустите добавление поля ROI в любые ячейки и не удалите неправильные ROI! Посмотрите на изображения подсолнухов ниже, чтобы увидеть несколько наглядных примеров того, что я имею в виду. Ложноотрицательные или ложноположительные результаты запутают Пипа, научив его либо игнорировать правильные объекты, либо искать неправильные. Если вы пропустите несколько здесь и там, это не имеет большого значения, пока они составляют очень небольшую часть от общего числа.

2. Важно получить правильный размер/форму ограничивающей рамки. Каждая часть интересующего объекта должна быть заключена в ограничивающую форму — все внутри считается частью ячейки, так что это слишком много. фон в коробке будет проблематичным. Если коробка слишком большая, то то, что Пип называет «ячейками», будет слишком большим. Это может привести к тому, что модель идентифицирует часть фона как ячейку, что приведет к ложным срабатываниям. Принимая во внимание, что ROI, которые слишком малы, не изучат всю ячейку. Это менее проблематично, если вы пытаетесь подсчитать только неперекрывающиеся клетки, но может быть проблематичным, если вас интересуют изменения в клеточной области или совместная локализация с другими ячейками. Даже если вы просто подсчитываете ячейки, наличие областей интереса, которые намного больше или меньше, чем ячейка, приведет к тому, что обученная модель пропустит ячейки или начнет обнаруживать артефакты изображения. Совет: если ваши ячейки относительно одинаковы по размеру и форме, то одним из эффективных способов безопасного ускорения процесса аннотирования является копирование и вставка области интереса среднего размера на каждый объект и просто корректировка границ области интереса по мере необходимости для любых объектов нестандартного размера. .

3. Используйте согласованные параметры изображения. В любом случае это просто хорошая наука! Например, используйте аналогичные настройки изображения, размер и увеличение изображения. Pip изучает всевозможные случайные особенности изображения, включая размер и форму объектов, интенсивность фона и т. д., поэтому он может сильно запутаться, если вы внезапно переключите параметры изображения. Вы также можете с трудом узнавать свой город на картах Google, если кто-то слишком сильно увеличил масштаб или изменил его только на топологический слой.

В идеальном мире клетки были бы одинаковыми и отличными друг от друга, как в первом наборе изображений подсолнуха выше. В этом контексте человек мог бы легко и быстро создать идеальный набор данных аннотаций, а Пип мог бы научиться очень последовательно обнаруживать цветы, используя менее дюжины изображений-примеров. Но биология, естественно, беспорядочна, и реальность дает изображения, больше похожие на второй пример с подсолнухом ниже, где цветы несовместимы по размеру или форме и часто перекрывают друг друга. Это не означает, что Pip не справляется с этой задачей, но потребуются дополнительные обучающие изображения и еще больше внимания со стороны комментатора-человека, чтобы убедиться, что модель способна полностью реализовать свой потенциал. Относительно 2-го пункта выше: важно быть последовательным в том, какие объекты вы маркируете для данной модели, и заранее знать, какую информацию вы хотите получить из изображений. Вы можете создавать отдельные модели для каждого уникального интересующего объекта на изображении, например, если вы хотите измерить размер всей головки цветка или просто подсчитать количество цветов на основе круглого центра. Это было бы аналогично тем, кто заинтересован в подсчете клеток по сравнению с количественной оценкой размера и формы более сложной клеточной структуры с помеченными проекциями. Эти два набора данных аннотаций будут разными, но для большинства людей было бы излишним создавать две отдельные модели. В то время как тот, кто заинтересован в колокализации нескольких типов клеток или биомаркеров, захочет создать несколько моделей.

В конечном итоге Rewire работает над непрерывным обучением, при котором предварительно обученная пользовательская модель используется для определения ROI, которые пользователь затем редактирует по мере необходимости, чтобы отправить модель для уточнения.

Вывод. Мы работаем над тем, чтобы произвести революцию в биомедицинских исследованиях и диагностике, сделав машинное обучение доступным для широкого круга ученых. Этот процесс намного быстрее и проще благодаря трансферному обучению и обучению с использованием пользовательских моделей, но машинное обучение — это не волшебство, которое автоматически сделает всю вашу работу за вас, по крайней мере, пока. Машинные модели, как дети и домашние животные, являются продуктом тщательного обучения. Но при хорошем обучении они могут стать мощными инструментами для повышения производительности и надежности исследований и клинической диагностики.