Создание синтетических обучающих данных, которые могут повысить точность моделей машинного обучения.

Авторы Хамед Алемохаммад, исполнительный директор и главный специалист по данным, и Тарун Мохандосс, бывший стажер по машинному обучению в Radiant Earth Foundation

Вы, наверное, читали о поддельных изображениях и видео, которые создаются моделями машинного обучения (ML). Хотя это приложение может больше походить на забавное упражнение или, в некоторых случаях, на вредоносную активность, синтетические (также известные как поддельные) данные могут помочь повысить точность моделей машинного обучения. Например, исследование показало, что генерирующие состязательные сети (GAN) могут генерировать синтетические данные для дополнения данных тренировки реальных медицинских изображений, что улучшает классификацию поражений печени и медицинскую диагностику.

В рамках проекта по решению проблемы нехватки обучающих данных для приложений сельскохозяйственного мониторинга мы используем GAN для создания синтетических спутниковых изображений Sentinel-2. Результаты показывают, что наша модель GAN может создавать реалистичные изображения, которые можно использовать в моделях классификации. Посетите isthisplacereal.com и посмотрите, сколько изображений вы можете правильно идентифицировать как настоящие или синтетические.

Потребность в синтетических данных для обучения

Как мы объясняли в нашем первом сообщении в блоге, сбор наземных эталонных данных для создания наборов обучающих данных для различных геопространственных приложений, в частности для сельскохозяйственного мониторинга, - это обширный процесс, который нелегко масштабировать. Создание инновационных решений для пополнения ограниченных данных, которые мы могли бы собрать для конкретного приложения, может повысить точность моделей машинного обучения. Хотя к этим данным можно применить обычные методы увеличения (например, введение шума или геометрическое преобразование), этого недостаточно, и невозможно охватить разнообразие и неоднородность ландшафта в целом.

В последние несколько лет создание синтетических обучающих данных и дополнение их реальными обучающими данными для обучения моделей машинного обучения показало многообещающие результаты в различных областях, от медицинской визуализации до классификации сцен из видео. В недавнем заявлении команда SpaceNet также исследовала использование синтетических изображений самолетов в своих тренировках и обсудила плюсы и минусы в двухсерийном сообщении в блоге.

Целью этого проекта является создание синтетических маркированных временных рядов мультиспектральных изображений Sentinel-2 для классификации типов сельскохозяйственных культур. Основные проблемы, которые мы собираемся решить:

  1. Учет мультиспектральности и мультиразрешенности снимков Sentinel-2;
  2. Генерация синтетических данных временных рядов; и
  3. Оптимизация архитектуры модели для среднего разрешения изображений Sentinel-2 (в отличие от изображений с высоким разрешением, используемых в литературе по дистанционному зондированию).

В этом сообщении блога мы сообщаем о наших результатах создания немаркированных синтетических мультиспектральных изображений Sentinel-2 с разным разрешением.

Архитектура модели и эксперименты

Мы приняли архитектуру Multi-Scale Gradients GAN (MSG-GAN), в которой изображения создаются в экспоненциально растущем разрешении, начиная с наименьшего размера 4 × 4 до конечного выходного размера, позволяющего дискриминатору обеспечивать обратную связь при всех разрешениях. В частности, мы использовали архитектуру MSG-ProGAN и модифицировали ее для получения мультиспектральных спутниковых изображений размером 256 × 256 вместо изображений RGB (которые отличаются количеством выходных каналов). На рисунке 1 показана базовая архитектура.

Спутниковые изображения обладают уникальными свойствами по сравнению со изображениями, обычно используемыми в компьютерной литературе. Спутниковые изображения имеют более грубые размеры в пикселях (также известные как пространственное разрешение) и обычно имеют более трех полос, возможно, с различным разрешением. Чтобы разработать оптимальную архитектуру модели для изображений Sentinel-2, которые имеют 10 полос (четыре с разрешением 10 м и 6 с разрешением 20 м), мы разбили наш подход на более мелкие эксперименты и постепенно увеличили сложность модели для достижения конечной цели создания многоспектральные спутниковые снимки. Таблица 1 суммирует наши эксперименты.

Мы начали с простого игрушечного эксперимента по синтезу изображений RGB 4 x 4, затем изображений RGB 256 x 256 и, наконец, изображений 256 x 256 с 10 полосами. В эксперименте 3 мы использовали три разных подхода для создания десяти полос с различным разрешением. В 3A мы просто рассматривали 20-метровые полосы разрешения как 10-метровые (от 128 x 128 до 256 x 256 пикселей), присваивая одно и то же значение каждой окрестности 2 x 2 пикселя. В 3B мы сгруппировали полосы с одинаковым разрешением в дискриминаторе, сформировав два параллельных блока свертки и объединив выходы. В 3C мы использовали билинейную интерполяцию, чтобы объединить полосы разрешения 20 м на выходе первого сверточного слоя и каждого из следующих блоков свертки. В экспериментах 4 и 5 мы также исследовали возможность использования модели меньшего размера (меньше сверток или фильтров) и оценили качество синтетических изображений.

Таблица 1. Список экспериментов

Результаты

Здесь мы представляем результаты экспериментов, в результате которых были получены реалистичные синтетические изображения. На рисунке 2 показаны образцы реальных изображений и каждый из успешных экспериментов.

Эксперимент 2 привел к реалистичным изображениям RGB. Мы попросили нескольких людей с геопространственными знаниями определить реальные и синтетические изображения и обнаружили, что в большинстве случаев они не могут отличить синтетические изображения от реальных из эксперимента 2.

Эксперимент 3C дает лучшие результаты среди трех экспериментов группы 3. Изображения, генерируемые этой архитектурой, очень похожи на Эксперимент 2 в пространстве RGB и имеют аналогичные свойства для других диапазонов.

Эксперимент 4B оказался очень успешным при использовании меньшего количества фильтров (половина исходных чисел в каждом слое модели) и создании изображений, подобных эксперименту 2. Аналогичным образом эксперимент 5 показывает, что использование меньшего количества фильтров не влияет на качество синтетических изображений из эксперимента. 3C значительно.

Мы считаем, что этот подход является жизнеспособной стратегией для уменьшения объема ресурсов модели, т. Е. Они оба дают удовлетворительные результаты. Однако уменьшение количества фильтров является предпочтительным подходом, а производительность в этом случае очень близка к исходной модели.

IsThisPlaceReal.com

Теперь вы можете ознакомиться с результатами наших экспериментов на сайте isthisplacereal.com. Мы собрали тысячи синтетических и реальных изображений, и вы можете проверить, сможете ли вы различить эти две группы. Это также может помочь нам лучше оценить реалистичность синтетических изображений. Попробуйте!

Ознакомьтесь с нашей статьей, представленной на AI for Earth Workshop на NeurIPS 2020, чтобы узнать больше.

Это исследование финансируется за счет гранта, присужденного Radiant Earth Foundation в рамках призыва к действию на Ежегодном собрании Grand Challenges 2019 от Фонда Билла и Мелинды Гейтс. Содержащиеся в нем выводы и заключения принадлежат авторам и не обязательно отражают позицию или политику Фонда Билла и Мелинды Гейтс.