Автоматическое обнаружение объектов
Жажда скорости
В последнее десятилетие спутниковые изображения стали важнейшим источником информации для оказания помощи при чрезвычайных ситуациях и ликвидации последствий стихийных бедствий. От ураганов до наводнений и лесных пожаров спутниковые снимки часто дают первое макроскопическое представление о разрушительных последствиях стихийных бедствий. В Planet мы разослали наши снимки службам быстрого реагирования после нескольких стихийных бедствий, от урагана Харви до недавнего смертельного пожара в лагере в Калифорнии.
Несмотря на богатство информации, содержащейся в спутниковых изображениях, визуальный осмотр и анализ изображений могут занять много времени, а в случае стихийных бедствий каждая минута имеет значение, когда дело доходит до реагирования. Возможность автоматизировать (и, таким образом, ускорить) анализ спутниковых изображений для поддержки служб быстрого реагирования и оказания помощи будет иметь огромное значение. Это побудило команду Planet Analytics создать аналитические возможности специально для обнаружения соответствующих объектов до и после катастрофы.
В предыдущем посте мы исследовали основные функции пространственно-временной геопространственной аналитики. В этом посте я описываю наш процесс настройки воронки курирования данных, предназначенной для создания высококачественного набора данных для обнаружения и локализации объектов, с последующим сравнительным анализом производительности современного глубокого обучения на этом наборе данных. Вдохновленные временным стеком изображений в регионах стихийных бедствий, мы выделяем метод расширения моделей для работы с наборами пространственно-временных данных, подобными тому, который мы создаем для повышения производительности обнаружения объектов.
Создание набора данных о бедствиях для обнаружения объектов
Для начала мы определили места стихийных бедствий, которые произошли по всему миру в период с 2017 по 2018 год, и проанализировали наши архивы изображений на предмет соответствующих изображений. Вот как выглядела наша глобальная выборка:
Увеличив масштаб изображения образца следа над регионом в Майами, штат Флорида, пострадавшим от урагана Ирма в сентябре 2017 года, мы идентифицировали ряд сцен SkySat и PlanetScope до и после удара урагана. Ниже приведена иллюстрация пространственной протяженности сцен с датчиков на разных спутниках. На основе этих сборников мы определили выборочные регионы, которые частично совпадают с территориями на земле, пострадавшими от стихийного бедствия.
Из более крупных областей интереса в районах бедствий мы выбрали сцены (большие изображения) с использованием фильтров Open Street Map (OSM) для объектов, которые нам нужно обнаружить и локализовать. Например, чтобы локализовать железнодорожный транспорт, мы провели поиск по региону с помощью тегов OSM Railway = station или тега общественного транспорта public_transport = station. В некоторых случаях мы дополнительно классифицируем объекты на основе их тегов в OSM. Это особенно полезно при создании онтологии зданий.
В этом проекте мы использовали аннотации толпы для создания набора данных для обучения. Ранее мы заметили, что использование аннотаторов толпы с большими изображениями приводит к менее точным аннотациям на плотных мелких объектах. Поэтому нам нужно было разделить сцены на изображения меньшего размера или фишки. Эти чипы с аннотациями были затем проверены и, при необходимости, исправлены экспертами для создания высококачественного набора данных для обучения, который мы внутренне называем «золотым стандартом».
Следуя этому подходу, мы разработали онтологию объектов в регионах бедствий как для наших спутниковых созвездий PlanetScope, так и для SkySat, которые можно различить и локализовать на наших изображениях. Эта онтология содержит объекты и классы объектов, которые видны в наших образах. SkySat с более высоким разрешением обеспечивает расширенный набор онтологии, полученной из изображений PlanetScope. Их можно локализовать с точностью, близкой к человеческому, с помощью автоматизированной аналитики.
Наша цель состояла в том, чтобы зафиксировать достаточную вариативность контекста вокруг этих объектов в регионах стихийных бедствий. Модели обнаружения объектов, обученные в таких разнообразных условиях, обеспечивают обобщенную производительность обнаружения объектов, которая может потребоваться при обнаружении смещения динамических объектов и вариаций в количестве объектов для статических объектов в регионах бедствий, что является центральной возможностью для автоматизированной аналитики бедствий.
Временной ритм Planet позволяет быстро автоматизировать аннотацию статических объектов, а также быстро локализовать движущиеся объекты. Всего за пару недель набор данных из полученной коллекции сопоставим с такими наборами данных, как Pascal Visual Object Classes. Этот набор данных также представляет объекты, локализованные в различных атмосферных условиях, которые запечатлены на наших изображениях в разное время года.
Характеристика производительности модели
Чтобы использовать набор данных для автоматизированной аналитики катастроф, мы построили детекторы отдельных объектов с использованием технологии Single Shot Detection (SSD) с открытым исходным кодом с архитектурой магистрали Resnet-101 и оценили их производительность на тестовом наборе. Поскольку это было упражнение по сравнительному анализу, мы не настраивали модели. Поэтому важно отметить, что это показатели производительности без какой-либо настройки модели - просто стандартные модели с открытым исходным кодом с потенциальным набором гиперпараметров, обученные на этом наборе данных. Превращение набора данных с аннотациями в золотой стандарт значительно повысило производительность моделей, продемонстрировав важность высококачественных аннотаций для успеха конвейеров обнаружения объектов.
Мы также можем оценить эффективность обнаружения объектов по размеру. Рассматривая морские суда разных размеров с разными пороговыми значениями пересечения по объединению (IoU), мы можем определить идеальные пороги для множества представляющих интерес объектов при выполнении прогнозов обнаружения. Это позволяет проводить полностью автоматизированную аналитику с приемлемым уровнем точности (ограничение ложноположительного обнаружения) или отзыва (ограничение ложноотрицательных промахов).
Опираясь на контрольные показатели
Благодаря надежному набору аннотированных изображений и конвейеру для кураторства это мероприятие по сравнительному анализу демонстрирует эффективность изображений Planet для реагирования на стихийные бедствия. Однако описанный здесь процесс - это первые шаги на пути к полностью автоматизированному обнаружению объектов.
Planet отображает Землю почти ежедневно, обеспечивая уникальный набор пространственно-временных данных. Благодаря этому временному разрешению мы можем использовать изменения между изображениями для идентификации и моделирования движущихся объектов с течением времени. На рисунке ниже показан этот набор временных изображений, причем цвета среднего изображения указывают на движение, грузовое судно, уходящее с новым грузом, или лодки меньшего размера, пришвартованные в гавани. Именно эта комбинация изображений с высоким разрешением и высокой частотой кадров позволяет Planet обнаруживать не только крупномасштабные события, но и небольшие изменения с высокой частотой кадров, которые могут повлиять на сообщество после стихийного бедствия.
Изучая временные аспекты этого набора данных, мы видим уникальную возможность лучше обнаруживать движущиеся или нестационарные объекты. Если вы также можете обнаруживать движущиеся объекты до катастрофы, вы, вероятно, будете иметь более точное представление о количестве объектов, что поможет в оценке ущерба после катастрофы.
Чтобы обнаруживать движущиеся объекты, мы искали небольшие модификации существующих сетей, которые позволяют повысить производительность для конкретного случая использования. Можно представить себе Более быструю региональную сверточную нейронную сеть как разделенную глубокую сверточную сеть, в которой предложения регионов создаются с использованием Региональной сети предложений (RPN) на промежуточном представлении признаков и объединяются для создания ограничивающих рамок и предсказаний классов. Подавая временную последовательность изображений, привязанных к определенной пространственной протяженности, мы можем идентифицировать присутствие или отсутствие объектов. Для этого потребуется изменить глубокий стек карт функций для использования трехмерной свертки перед передачей в RPN.
Давайте посмотрим на эту сеть предложений в действии. Цветные изображения представляют собой три временные метки изображений в градациях серого из одного и того же места. Цвета указывают на движение, а иногда и на артефакты регистрации. Предложения ограничивающей рамки указывают выходные данные трехмерной свертки + RPN при проецировании на последнее исходное изображение, которое из приведенного выше примера указывает на объекты, которые появляются в последнем изображении, но отсутствуют в прошлых изображениях.
Обнаружение объектов для обширной геопространственной аналитики
Обладая информацией, полученной от автоматического обнаружения объектов, мы потенциально можем запрашивать тенденции и делать прогнозы. То, что мы в Planet называем потоками пространственной информации, - это модели в реальном времени, которые предоставляют поток объектов / функций определенного типа, полученных из наших изображений, к которым пользователи могут получить доступ через простой удобный API. Благодаря автоматическому ежедневному учету пользователям потенциально не нужно будет смотреть на изображение каждый день, а вместо этого будут получать оповещения при возникновении аномалии.
Однако для создания многофункциональных геопространственных приложений нам нужно выходить за рамки простой информации из изображений. В контексте стихийных бедствий или техногенных катастроф существует множество источников данных, которые могут улучшить изображения: данные автоматической системы идентификации (AIS) могут определять суда и их маршруты; данные о дорожном движении в режиме реального времени дают представление о дорожных условиях во время наводнения; Телеметрия сотового телефона может дополнять дороги и показывать, где находятся люди. Объединение информации с мобильных телефонов, подключенных автомобилей, датчиков Интернета вещей и других устройств позволит пользователям таких приложений понять, что происходит в мире как это происходит. Это приложения, которые мы запускаем в наши партнеров и клиентов для развития.
Чтобы узнать больше, посетите наши веб-страницы Planet Analytics и Emergency and Disaster Management. Мы активно набираем сотрудников, поэтому, если вас интересуют масштабы и объем этой работы, загляните на страницу Карьера Planet’s. Нравится эта история? Хлопайте в ладоши и подпишитесь на Planet Stories, чтобы быть в курсе последних новостей на стыке Space и ML.
Первоначально опубликовано на medium.com.
