Политики полагаются на карты землепользования и земного покрова (LULC) для оценки и планирования. Они используют эти карты для планирования сельскохозяйственной политики, повышения устойчивости жилья (к землетрясениям или другим стихийным бедствиям) и понимают, как развивать торговлю в небольших сообществах. Ряд организаций создали глобальные карты землепользования на основе исторических спутниковых снимков. Однако эти карты могут быть устаревшими и часто неточными, особенно в том, что касается представления развивающихся стран.

Недавно мы работали со Всемирным банком, чтобы завершить анализ динамики городов в Эфиопской низменности. Мы обнаружили, что карты глобального землепользования и земельного покрова были совершенно неадекватными для этого анализа, и было мало высококачественных данных, чтобы воспроизвести этот процесс. Чтобы решить эту проблему, наши группы машинного обучения и обработки данных объединились для создания новой методологии машинного обучения в средах с дефицитом данных и использовали ее для создания точной и своевременной карты населенных пунктов Эфиопии. Мы считаем, что автоматизируя этот подход, мы можем получить гораздо более точные результаты для карт земного покрова в большинстве стран.

Проблемы с глобальными картами землепользования / земельного покрова

Когда мы начали этот проект, не было точного набора данных о землепользовании и земельном покрове (LULC) для Эфиопии. Это не уникальное явление в Эфиопии. Исследования популярных наборов данных LULC показали, что они дают совершенно разные результаты, особенно в развивающихся странах. (См., Например, это исследование в Китае и это исследование в Африке.)

Это может быть по нескольким причинам. Конкурирующие схемы и стандарты LULC, безусловно, вносят свой вклад в карты LULC, которые нельзя сравнивать напрямую и плохо переводить. Однако даже внутри учреждений разные подразделения могут создавать карты, которые не соответствуют друг другу. Текущие наборы данных для обучения по-прежнему амероцентричны и евроцентричны. Чтобы воспользоваться преимуществами глубокого обучения или даже традиционного машинного обучения для решения такой задачи, особенно в развивающихся странах, необходимо создавать высококачественные наборы данных для обучения и открыто делиться ими. Мой коллега Дрю Боллинджер писал о георазнообразии и о том, как неразнообразные наборы данных дают плохие результаты в развивающихся странах.

Модель землепользования / земного покрова в средах с дефицитом данных

Вместо того, чтобы полагаться на глобальные или континентальные продукты LULC, повторяемая методология для точного отображения LULC часто дает политикам более точные данные для их нужд на местах. В основе нашего подхода лежит двухступенчатая машина. процесс обучения (рисунок 2 ниже) для составления карты городских поселений и отслеживания изменений. Этот подход помогает преодолеть некоторые проблемы с данными, которые делают стандартные подходы к машинному обучению неадекватными, а именно:

  • Эфиопия - большая страна (1,1 миллиона км2) с сильно изменчивым земельным покровом. Это предполагает, что для охвата всех типов землепользования потребуется большой объем обучающих данных;
  • здания, дороги и общественные места обычно не занимают весь пиксель размером 30 x 30 м - разрешение изображений Landsat, которые мы использовали. Таким образом, большинство застроенных пикселей являются «смешанными», содержащими, например, несколько зданий, дорог и голую землю;
  • Когда мы начали этот проект, не было точного набора данных LULC для Эфиопии, который можно было бы использовать в качестве обучающих данных.

Чтобы преодолеть эти проблемы, мы создали конвейер машинного обучения (рис. 1), который:

  1. сочетает в себе сильные стороны небольшой группы картографов с машинным обучением и
  2. сочетает в себе сильные стороны как неконтролируемых, так и контролируемых методов машинного обучения.

Во-первых, мы использовали этап предварительной обработки без учителя для кластеризации пикселей городской маски из спутниковых изображений. Во-вторых, мы применили контролируемое обучение для классификации застройки внутри каждого идентифицированного городского кластера масок (рис. 1).

Подготовка данных

Для проведения этого анализа мы использовали два типа данных:

  1. Безоблачная мозаика для Эфиопии с течением времени. Мы использовали Google Earth Engine для мозаики более 50 сцен Landsat ежеквартально в период с 2000 по 2017 год.
  2. Протяженность городских поселений за периоды, соответствующие нашей безоблачной мозаике. Высококачественный обучающий набор данных необходим для моделей контролируемого обучения, чтобы изучить наиболее важные функции изображения, особенно для анализа на уровне пикселей. Как упоминалось ранее, для Эфиопии не было такого набора обучающих данных. Поэтому наша Группа данных, состоящая из опытных картографов, быстро создала обучающий набор данных для калибровки наших контролируемых моделей путем отслеживания городских границ на изображениях Landsat 2017 года.

Наш подход к машинному обучению

ML Шаг 1: Обучение без учителя: Создание масок кластеров местности

Сначала мы использовали неконтролируемую кластеризацию K-средних, чтобы идентифицировать спектральные классы по изображениям. Кластеризация K-средних не полагается на данные обучения. Он группирует области изображения по сходству, создавая группы со схожей спектральной сигнатурой. Просматривая гистограмму кластеров, созданных в результате этого процесса, мы смогли исключить большие участки страны, которые явно не имели никакого сходства с городскими районами.

Неконтролируемая кластеризация хорошо помогает идентифицировать отдельные спектральные классы по изображениям. Однако одного этого недостаточно для классификации застроенных / городских территорий, поскольку существует значительная путаница между городскими районами и голой землей в городских районах Эфиопии. Однако может быть полезно замаскировать участки, которые определенно не застроены.

K-means не использует данные обучения и не выводит названия конкретных классов. Чтобы автоматически пометить классы области-кандидата, мы используем небольшой объем обучающих данных для городских территорий. Гистограмма классов генерируется из всех пикселей под обучающими полигонами, и городские пиксели были извлечены. Если хотите узнать больше, смотрите наш подробный технический отчет.

ML Шаг 2: Обучение с учителем: классификация каждой маски кластера

После создания городской области-кандидата с обучением без учителя мы выбрали области, соответствующие застроенным территориям, для дальнейшего анализа. Городская территория-кандидат содержала застроенные пиксели и некоторые другие пиксели, включая множество голых почв и сухих лугов.

Затем мы использовали второй, более интенсивный процесс машинного обучения, чтобы различать оставшиеся пиксели с использованием данных временного ряда. В разных областях в течение года происходят разные изменения. Для каждого пикселя-кандидата мы сгенерировали квартальные значения для Нормализованного разностного индекса растительности (NDVI), почвенного индекса (BSI), Нормализованного разностного накопленного индекса (NDBI) и Нормализованного разностного водного индекса (NDWI). Контролируемое обучение помогло удалить пиксели, принадлежащие сельскохозяйственным и пастбищным угодьям - эти пиксели можно определить по временным периодам голой почвы.

Второй процесс машинного обучения дал результаты, которые тесно коррелировали с фактическими застроенными территориями по всей Эфиопии.

Постобработка с OpenStreetMap

Наш окончательный прогноз относительно населенного пункта все же дал несколько ложных срабатываний. Голая почва иногда ошибочно классифицируется как застроенная / городская в пустынной и степной местности в западной и юго-западной частях Эфиопии. Отчасти это связано с тем, что городские поселения в этих частях Эфиопии редко заасфальтированы, а это означает, что в пикселе присутствует высокий состав голой почвы. Кроме того, Банк интересовался не только застроенной территорией, но и городскими территориями, которые имеют более узкое определение и исключают застроенные территории, такие как города и объекты сельскохозяйственного производства.

Эти тонкие различия до сих пор лучше всего проводят люди. Мы провели окончательный анализ областей-кандидатов, используя изображение, окружающий контекст и дополнительные источники данных, такие как OpenStreetMap. В нашем рабочем процессе постобработка преследует две цели:

  • Исключены участки с обнаженной почвой в Западной Эфиопии, где преобладает пустыня и степь;
  • Удалены обнаруженные отдельные или небольшие села, не относящиеся к городским поселениям.

Выводы и следующие шаги

Используя наш изложенный подход, мы смогли точно отобразить городские поселения и их изменения. Мы также рассчитали темпы роста городских поселений в Эфиопии с 2000 по 2017 год на основе карт (Рисунок 2).

Мы проделали большую часть первоначальной работы, чтобы упаковать это в повторяемый рабочий процесс машинного обучения, который можно автоматизировать и масштабировать для других стран. Вышеупомянутый традиционный метод машинного обучения можно повторить и в других странах. Исходя из нашего текущего алгоритма глубокого обучения, изучающего и экспериментирующего с глубокими сверточными нейронными сетями (CNN), он может предложить еще один многообещающий подход к этому городскому картированию. CNN способны учиться на основе контекста. Например, пиксели, принадлежащие зданиям, часто окружены пикселями других зданий или зелеными насаждениями. Они также могут интерпретировать более сложные особенности, в том числе то, как определенные рукотворные узоры, которых нет в лесах или сельскохозяйственных угодьях. CNN могут быть обучены с помощью предварительно обученных моделей ImageNet, например Inception, VGG, ResNet и т. Д., Изучившие миллионы функций изображений, получают преимущества классификации на уровне пикселей с дистанционным зондированием. CNN работают лучше, когда у нас есть большие, качественные и богатые наборы обучающих данных. Современные и недорогие облачные вычисления на базе графического процессора значительно ускоряют обучение, а также вывод и интерполяцию больших моделей.

Изображения Landsat и Copernicus Sentinel - два наиболее широко используемых изображения с открытым исходным кодом при картировании LULC. В этом исследовании мы были ограничены снимками Landsat, поскольку это единственный набор данных, охватывающий период с 2000 по 2017 год. Для проектов, для которых не нужно возвращаться ранее 2015 года, было бы лучше использовать снимки Sentinel-2 из-за их более высокого разрешения. пространственное разрешение и более частая частота повторений.

Мы надеемся изучить методы глубокого обучения по аналогичным предметам в будущем. Если вас интересуют выводы из спутниковых снимков для различных приложений, от развития сельского хозяйства, стратегий повышения устойчивости городов до особых экономических зон, давайте поговорим! Вы можете написать мне на Твиттер.