В последнее время я заинтересовался пониманием большего количества модальностей визуализации, потому что скоро я могу заняться этой областью исследований. В сообществе медицинской визуализации было много достижений - например, сотрудничество в Kaggle и публикация изображений NIH для публики.

Достаточно скоро мы увидим все большее и большее влияние сообщества машинного обучения в повседневной медицине (хотя, конечно, со своим набором проблем).

В свете этих достижений я хотел бы выделить подмножество области медицинской визуализации, которая может вас заинтересовать, и, возможно, то, как более широкое сообщество машинного обучения может извлечь выгоду из этой области.

Коннектом

Если вы еще не видели такого примера, обратите внимание на действительно крутой коннектом.

Этот метод визуализации позволяет нам понять структуру мозга.

Вы можете увидеть структуру мозга, когда смотрите на все это целиком. Эти различающиеся по виду волокнистые линии представляют собой края между основными узлами, представляющими собой большие белые кружки.

Узлы - это интересующие области или общие ориентиры в головном мозге. Линии между ними соединяют узлы вместе. Цвета представляют разные степени связанности.

Коннектом строится на основе изучения скорости диффузии молекул воды внутри мозга. Обычно для этого типа измерения требуется прямоугольник размером X в мозгу, а затем мы смотрим, как молекулы диффундируют внутри этого прямоугольника в течение заданного промежутка времени.

Затем этот снимок будет представлен в виде эллипсоида, который несет среднее направление диффузии этого прямоугольника. На изображении ниже вы найдете различные формы, которые могут определять среднюю, если хотите, скорость диффузии небольшой области мозга.

Когда они собираются по всему мозгу, результат выглядит следующим образом:

Круто, правда?

Разные цвета могут обозначать связи между определенными частями мозга или узлами. Различная ориентация эллипсоидов позволяет нам визуально понять, как происходит диффузия по всему мозгу.

Вы можете проследить круизы, которые простираются от левой части изображения до середины и до правой стороны изображения. Вы можете торговать небольшими кривыми, которые появляются в нижнем левом углу. Или даже стационарные соединения посередине с большими каплями.

Затем они соединяются вместе, чтобы дать нам магистрали или общую дорогу, по которой распространяется по всему мозгу. Они указывают на общую структуру мозга.

Их можно дополнительно проанализировать, чтобы дать нам научное представление о том, как мозг может меняться с течением времени, или выяснить, какие связи важны для определенных нейро-связанных заболеваний, таких как болезнь Паркинсона.

Я расскажу об этом подробнее в другом посте, а пока давайте перейдем к машинному обучению.

Связь с ИНС

Теперь, когда у вас есть общее представление о том, как выглядит коннектом, мы можем углубиться в один из типов анализа, который я встречал в нескольких статьях.

Как указывалось ранее, основные узлы в мозге обычно называются областью интереса (ROI), и это части мозга, где имеется множество связей и которые могут служить общим центром передаваемой информации. Эти узлы показаны кружками на рисунке ниже.

Между основными узлами проходят ребра, или линии на рисунке ниже. Это связи между узлами, по которым передается информация.

Как видите, есть способы охарактеризовать сеть узлов и ребер. В документе используются некоторые уникальные термины, такие как модульность и коэффициент кластеризации. Однако давайте не будем об этом беспокоиться.

Я хотел показать, что есть интересные характеристики, которые определяют снимок мозга для этих DTI. Например, возьмем фиолетовый узел и опишем его.

Из статьи:

Центральность между двумя узлами (BC) представляет важность конкретного узла для сетевой коммуникации и концептуализируется количеством кратчайших путей между любыми двумя узлами в сети, которые должны пройти через этот конкретный узел. Фиолетовый узел в сети имеет высокую промежуточную центральность, потому что через него должно проходить множество кратчайших путей.

Эту концепцию очень легко понять, и она потенциально может дать большую предсказательную силу при определении того, является ли конкретный мозг дегенеративным. Это одна из многих характеристик сети, которые могут определять ее структуру и целостность.

Однако, если мы посмотрим на более широкий контекст нейронных сетей, возможно, мы сможем провести некоторые аналогии.

Я имею в виду, что если бы существовали разные топологии нейронной сети, которые мы использовали для прогнозирования вероятности рака у пациента или вероятности того, что продуктовый магазин достигнет своих целей по продажам на следующий месяц.

Эти топологии состоят из искусственных нейронов, которые могут иметь сильные и слабые связи друг с другом. Можем ли мы придумать методы, чтобы лучше описать их, помимо весов, которые минимизируют выбранную нами функцию потерь?

Могут ли эти описания сети дать нам больше информации о том, как соотносятся функции в нашей сети? Как сеть менялась с течением времени с более или менее обучающими данными? Или, может быть, даже позволить нам визуализировать связи в трехмерном пространстве, чтобы понять смысл этих «черных ящиков».

Список можно продолжать и продолжать.

Возможно, эти идеи уже существуют, и я не встречал их и не видел, чтобы они использовались осмысленным образом. Дай мне знать в комментариях.

Спасибо за прочтение.