Может ли машинное обучение предсказывать то, что мы не видим?

Я исследую влияние машинного обучения на традиционные науки, резюмируя новые интересные исследования. В этой статье я рассматриваю новую замечательную статью: Частичная сканирующая трансмиссионная электронная микроскопия с глубоким обучением (Scientific Reports, 10, 8332, 2020 ).

1 | Что мы можем увидеть с электронами?

Если мне нужно изображение объекта, я могу просто использовать камеру, чтобы сделать снимок. Камера быстро делает снимок взаимодействия видимого света с объектом. Это отлично работает в большинстве повседневных случаев, но становится проблемой при попытке создать изображения очень маленьких объектов, таких как микроорганизмы, клетки, наноматериалы и кристаллы. Эти объекты действительно маленькие, меньше длины волны видимого света, поэтому мы их не видим. В этих случаях может использоваться более мощный метод визуализации: электронная микроскопия (ЭМ). Вместо того, чтобы записывать, как видимый свет низкой энергии взаимодействует с объектом, ЭМ направляет луч электронов высокой энергии на образец и вместо этого записывает это взаимодействие. Малая длина волны электронного луча позволяет различать даже очень мелкие детали, а самые лучшие микроскопы могут достигать разрешения в атомном масштабе - они могут показать нам атомы! Существует множество различных типов ЭМ, и они используются в бесчисленных научных областях, от разработки новых материалов до биологических наук.

Взгляните на это удивительное изображение вирусных частиц (желтый цвет) на поверхности клетки (синий цвет), полученное методом электронного сканирования.

Несмотря на то, что эти методы произвели революцию во многих областях науки (Нобелевская премия по химии 2017 года была присуждена за криоэлектронную микроскопию), у них также есть много проблем. ЭМ-машины состоят из электронных пушек и ускорителей, мощных вакуумных систем и электромагнитных линз. Они недешевы, и доступ к ним может быть очень ограничен. Кроме того, процесс визуализации не является мгновенным; для сканирующих ЭМ-методов сфокусированный электронный луч должен перемещаться по каждой крошечной части поверхности образца, а результаты сравниваются для создания полного изображения. Это замедляет сбор изображений и скорость исследования. Что наиболее важно, эти электронные пучки сверхвысокой энергии могут разрушать чувствительные материалы, препятствуя получению изображений высокого качества.

2 | При чем здесь машинное обучение?

В последнее время был достигнут действительно впечатляющий прогресс в использовании машинного обучения для искусственного создания фотореалистичных изображений; нейронные сети теперь могут заполнять недостающие части фотографий и даже переделывать старые компьютерные игры с низким разрешением. Изображение ниже не является фотографией реального человека, оно было создано нейронной сетью, обученной на базе данных человеческих портретов.

Что, если бы нам не пришлось сканировать всю поверхность образца для создания ЭМ-изображений? Что, если бы мы могли быстро сканировать только части образца (производя частичное сканирование) и точно заполнять пробелы, используя эти методы глубокого обучения?

Эти вопросы задали Джеффри Эде и Ричард Бинланд в своей статье Частичная сканирующая просвечивающая электронная микроскопия с глубоким обучением. Сокращенное сканирование электронного луча может произвести революцию в области создания электромагнитных изображений, ускорив сбор данных и позволив изучать даже очень деликатные материалы. Они обучили модели глубокого обучения формированию частичных изображений STEM (сканирование с передачей EM) с некоторыми действительно классными результатами.

4 | Данные, данные, данные…

Каждый инженер машинного обучения знает, что сбор и обработка данных могут сделать проект или сломать его. Для обучения нейронной сети требуется много данных. В этом случае авторы сопоставили набор данных из 16 000 высококачественных изображений STEM, полученных из работ многих ученых. Этот набор данных был действительно разнообразным, включая изображения различных материалов с увеличением до атомного масштаба. Обрезая каждое ЭМ-изображение на более мелкие фрагменты изображения и случайным образом дополняя их переворотами и поворотами, объем обучающих данных был еще больше увеличен.

Так как же преобразовать большую коллекцию полных ЭМ-изображений (достоверных данных) в частичные сканированные изображения? Обучающие данные были получены путем умножения каждого изображения на двоичную маску: умножение на 1 сохраняло значение пикселя («отсканированная» область), а умножение на 0 удаляло это значение пикселя («пустая» область неотсканированного изображения).

Поскольку ЭМ не сканируют таким образом, были исследованы различные процедуры маскировки. Сканирование по сетке и спирали обеспечивает равномерное покрытие поверхности изображения, а расстояние между трактами сканирования можно даже настроить, чтобы варьировать степень маскировки исходного изображения.

Затем была обучена генерирующая состязательная сеть (GAN) для заполнения замаскированной области этих частичных сканирований.

5 | Что такое GAN?

Об этом классе модели машинного обучения сообщили Иэн Гудфеллоу и его коллеги еще в 2014 году. Что делает GAN действительно крутыми, так это то, что в них есть две отдельные нейронные сети, которые конкурируют друг с другом. Генеративная сеть производит воображаемые точки данных, максимально приближенные к истине; в этом случае создание полных изображений из частичных сканирований. Вторая различающая сеть обучается различать достоверные изображения и созданные изображения. Поскольку обе сети конкурируют и учатся, генератор создает изображения, неотличимые от реальной действительности, в то время как дискриминатор улучшает их распознавание. Эти удивительные GAN сделали действительно крутые прорывы в создании изображений, таких как заполнение недостающих частей фотографий и даже улучшение астрономических изображений.

GAN, использованная в этой статье, немного сложнее традиционной системы. Во-первых, это многоступенчатый генератор: функции крупномасштабного изображения, созданные внутренним генератором, улучшаются внешним генератором для создания полных изображений. Эти сгенерированные изображения затем использовались для обучения двумя способами. При передаче в обучающую сеть среднеквадратичная ошибка вычислялась путем сравнения с наземными изображениями и использовалась в качестве метрики немедленной обратной связи. Это не состязательная тренировка. В качестве альтернативы, дискриминаторы смотрели на случайные кадры разных размеров, чтобы предсказать, было ли изображение реальным или сгенерированным. Это была состязательная тренировка.

6 | Каковы были результаты?

Обучая эту систему GAN, были получены действительно потрясающие результаты. Посмотрите изображения ниже: с помощью спирального сканирования с покрытием всего 1/20 пикселя были созданы изображения, почти точно такие же, как исходные данные. Изображения, созданные с использованием состязательного подхода к обучению, выглядят более реалистично и менее размыто, чем изображения, оптимизированные несостязательной системой.

Тип шаблона сканирования повлиял на ошибку теста: у неконкурентных изображений, созданных при спиральном сканировании, была меньшая ошибка, чем у изображений, созданных при сканировании сетки. Это было связано с тем, что ошибка систематически увеличивалась с увеличением расстояния от пути сканирования. Это имеет смысл; там, где ввод информации самый низкий, требуется дополнительная экстраполяция. Так что спирали были лучше, потому что они меньше разнесены.

7 | Несколько моментов, которые следует учитывать

Нет идеальных результатов, и есть несколько проблем, на которые я хочу указать:

  1. Спиральные и сеточные системы сканирования, используемые для создания частичных изображений, не могли быть достигнуты с помощью современных электронных микроскопов, и необходимо было бы разработать другие пути сканирования.
  2. Наилучший путь сканирования для минимизации ошибки - это не набор шаблонов, а уникальный для каждого образца. Авторы говорят, что они работают над системой динамического сканирования, которая будет автоматически меняться в зависимости от ввода, что является действительно захватывающей идеей!
  3. Модель действительно хорошо предсказывает предсказуемые результаты (да), но она не может создавать неожиданные данные. Взгляните на изображение ниже, которое показывает дефект отсутствующего атома на реальном изображении. Поскольку он находился между путями сканирования, GAN не спрогнозировал дефект. К сожалению, изучение дефектов и неожиданных результатов - одно из самых интересных приложений электронных микроскопов, и это подчеркивает ключевой недостаток этой техники частичного сканирования; мы можем упустить интересные результаты.
  4. Этот новый метод неизменно превосходил эффективность ранее описанной системы: Сканирующая просвечивающая электронная микроскопия с суперсэмплингом с глубоким обучением. Авторы сказали, что это произошло потому, что они не тренировались до тех пор, пока потери валидации и обучения не расходятся, и они ожидают, что их система будет лучше с большим количеством вычислений. Может быть ... но мы не можем быть уверены в этом, поэтому обязательно имейте это в виду.

7 | Заключительные мысли

В целом, эта статья является отличным чтением и показывает, как частичные методы STEM могут сократить в 10–100 раз бомбардировку электронами. Генерация полных изображений из частичных сканирований показывает ошибку всего 3–6%, что довольно хорошо, учитывая, что STEM сам по себе является шумным методом. Это может быть действительно полезно для ученых с ограниченным временем доступа к ЭМ-установкам, а также для тех, кто изучает электронно-чувствительные материалы.

Если вам понравилось это резюме, я бы посоветовал вам прочитать исходную статью для более глубоких результатов!