Вы когда-нибудь смотрели в небо, наблюдая за этими завораживающими белыми следами, оставленными самолетами? Это инверсионные следы, сокращенные от конденсационных следов, и, хотите верьте, хотите нет, они оказывают серьезное воздействие, когда дело доходит до воздействия на нашу планету. Фактически, пушистые линии составляют около 50% [1–3] радиационного воздействия, вызванного авиацией! Следовательно, сокращение этих следов может стать одной из наиболее многообещающих стратегий по сокращению углеродного следа этого сектора.
В этом направлении компания Google Research несколько месяцев назад запустила конкурс по сегментации Kaggle, чтобы лучше идентифицировать инверсионные следы на спутниковых снимках. Это ключ к проверке других моделей, которые предсказывают, когда и почему появляются инверсионные следы.
Итак, давайте посмотрим, что мы можем узнать из этого конкурса о инверсионных следах и о том, как их обнаружить, рассмотрев наиболее популярные подходы. Пристегнитесь, ведь нам предстоит исследовать небо и разгадать тайны инверсионных следов!
Понимание инверсионных следов
Следы, почему они имеют значение?
Во время полета самолеты оставляют после себя смесь водяного пара и углекислого газа из своих двигателей. Эти двигатели также выбрасывают частицы сажи, остатки неполного сгорания топлива. Затем водяной пар конденсируется вокруг частиц сажи — ядер конденсации облаков — и замерзает, если температура достаточно низкая. Вуаля! У вас есть инверсионный след [4]. Эти следы могут либо придерживаться определенных линий, известных как постоянные инверсионные следы, либо распространяться в обширные перистые облака инверсионных следов.
Эти инверсионные следы действуют как одеяла, удерживающие тепло, препятствуя теплу, которое обычно уходит, и не отражают достаточного количества прямых солнечных лучей, чтобы компенсировать это тепло. Следовательно, в ночное время инверсионные следы удерживают тепло, не отдавая его обратно. Что еще хуже, перистые следы инверсионных следов очень напоминают традиционные перистые облака, что делает их непростую задачу для обнаружения.
Как мы можем уменьшить образование инверсионных следов?
Но как теперь решить эти заоблачные проблемы?
Мы можем разделить уменьшение инверсионных следов на три области исследований:
- Разработка «экологичного авиационного топлива» (SAF). Эти виды топлива не только уменьшают выбросы углекислого газа во время производства и сгорания, но также приводят к меньшему количеству выбросов сажи и, в свою очередь, к меньшему количеству инверсионных следов [5,6]. Однако SAF на биологической основе вызывают обеспокоенность по поводу землепользования и конкуренции с жизненно важными ресурсами, такими как еда и вода. Стоимость также остается существенным препятствием для их внедрения [1].
- Оптимизация двигателя. Двигатели можно оптимизировать, чтобы сократить неполное сгорание и последующее образование сажи.
- Изменение маршрута самолета: инверсионные следы процветают в ледяном, перенасыщенном воздухе при температуре ниже определенной температуры [4], и эти потенциальные области простираются только на несколько сотен метров по вертикали. Исследование даже показало, что всего лишь 12% полетов в атлантической зоне ответственны за ошеломляющие 80% радиационного воздействия, вызванного инверсионным следом [7]. Впоследствии только изменение маршрута нескольких самолетов на несколько сотен метров могло уменьшить образование инверсионных следов. Это направление исследований может предложить масштабируемое и экономически эффективное решение. Однако этот путь во многом зависит от метеорологических моделей для прогнозирования горячих точек следов [8,9].
Для этих подходов, и особенно для изменения маршрута самолета, наличие модели, идентифицирующей инверсионные следы по спутниковым снимкам, может быть полезным для автоматической оценки уменьшения количества образующихся инверсионных следов.
Навигация по конкурентной информации
Давайте теперь рассмотрим конкуренцию и то, что нам следует запомнить из лучших решений!
Каждая деталь имеет значение
Раскрытие нюансов данных – это немалый подвиг, и этот факт никогда не следует недооценивать. В конце концов, дьявол живет в деталях.
Доступный набор данных — это набор данных OpenContrails [10], состоящий из 20 000 образцов спутниковых изображений, полученных с геостационарного спутникового прибора GOES-16 ABI, демонстрирующих 16 спектральных диапазонов в видимом и инфракрасном спектре. Здесь нам доступны только восемь последних инфракрасных диапазонов.
Каждый образец состоит из восьми кадров, снятых с 10-минутными интервалами, четвертый из которых помечен, а три его предшественника и четыре последующих содержат временной контекст, но не помечены. Кроме того, каждый образец имеет метки от четырех аннотаторов и одну достоверную информацию (помеченную как след, если с этим согласились более половины комментаторов). Основная истина — это маска семантической сегментации, где каждый пиксель помечен либо как след, либо как фон.
Интересно, что каждый из этих компонентов сыграл важную роль в восхождении в таблице лидеров соревнований.
Поразительно, но наиболее совершенные решения избегали использования необработанных восьмиканальных спутниковых изображений. Этот подход оказался сложным и неэффективным. Вместо этого они использовали цветовые схемы — математические операции над слоями — часто используемые в климатологии для визуализации и анализа спутниковых данных (в предыдущем посте в блоге мы упоминали спектральные методы для идентификации плавающих водорослей). Даже если некоторые схемы были разработаны для облаков, имеющих сходство с инверсионными следами, наиболее эффективной была схема пепла (первоначально предложенная для идентификации облаков вулканического пепла и диоксида серы), а затем адаптированная специально для инверсионных следов [11].
Более того, после тщательного изучения изображений некоторые участники заметили небольшой разрыв в 0,5 пикселя между маской и основной истиной (как показано ниже). Следовательно, когда применялось увеличение вращения (либо во время обучения, либо во время тестирования), производительность модели резко ухудшалась! В ответ первый и пятый участники решили эту проблему, просто поправив маску.
Это расхождение в масках привлекает внимание к ограничениям аннотированных данных, где конкретные метки могут быть ошибочными. Более того, это подчеркивает проблему обеспечения безупречного сбора данных из-за присущих ограничений, связанных с различными инструментами и программным обеспечением для маркировки.
UNet: все еще название игры
Хотя архитектура UNet продолжает доминировать в области задач сегментации, архитектура ее кодера теперь использует последние достижения в области компьютерного зрения. Вот три наиболее часто используемые архитектуры в лучших решениях:
- EfficientNet V2 [12]: эта эволюция EfficientNet объединила MBConv и FusedMBConv (т. е. удаление некоторых глубинных сверток) посредством поиска нейронной архитектуры, что привело к повышению производительности при меньшем количестве параметров.
- CoAtNet [13]: сеть, сочетающая в себе глубинные свертки (MBConv) и самообслуживание. Согласно решению, занявшему второе место, этот подход хорошо подходил для идентификации инверсионных следов, поскольку свертки позволяют точно прогнозировать на уровне пикселей (толщина инверсионных следов составляет всего несколько пикселей), в то время как внимание допускает глобальные зависимости (инверсионные следы могут быть очень удлиненными).
- MaxVit [14]: Что касается CoAt, он сочетает в себе MBConv с вниманием, но они чередуют внимание к блоку (внимание к небольшим непересекающимся участкам) и внимание к сетке (внимание к разреженной сетке) для захвата как локальных, так и глобальных шаблонов.
Оптимизация – ключ к успеху
Традиционно известно, что потери, скорость обучения и оптимизатор являются первыми гиперпараметрами, которые настраиваются в нейронной сети. В этом соревновании наиболее эффективные решения часто использовали пользовательские потери и новейшие оптимизаторы.
Что касается оптимизатора, то проверенный временем оптимизатор AdamW сохранил свою репутацию [15]. Однако оптимизатор LION [16], представленный несколько месяцев назад компанией Google Brain, продемонстрировал превосходные результаты вместе с критическим ускорением и был использован в пятом решении. Оптимизатор over9000 — комбинация RADAM, LAMB и LookAhead — также дал хорошие результаты во втором решении.
Что касается функций потерь, использование всех четырех доступных масок вместо того, чтобы полагаться исключительно на истинность большинства голосов, улучшило производительность. Один из вариантов заключался в использовании двух условий потерь (одного для основной истины и одного для отдельных масок с использованием нескольких меток). Второй вариант, более широко известный среди конкурентов, заключался в сглаживании функции потерь за счет использования мягких меток (усреднение индивидуальных масок вместо голосов большинства), что позволяло регуляризировать обучение и лучше обобщать.
Кроме того, несколько подходов предложили составную функцию потерь, которая объединяет двоичную кросс-энтропию (типичный выбор, также используемый в лучшем решении) с различными другими типами потерь при сегментации, в том числе:
- Dice Loss [17] измеряет перекрытие между масками, что делает его особенно ценным для решения сценариев несбалансированной сегментации.
- Фокальная потеря [18] штрафует более простые фоновые пиксели, чтобы усилить фокус модели на других классах.
- Потери Lovasz-softmax [19] возникают из-за субмодульных потерь и предназначены для оптимизации средней метрики пересечения по объединению (IoU).
Дополняйте свой набор данных всеми возможными способами
Даже если набор данных с 20 000 примеров уже был важен для традиционных архитектур UNet, значительное увеличение его размера оказалось полезным для оптимизации конечной производительности.
Большинство решений сообщали об улучшении результатов за счет использования методов увеличения данных, таких как сдвиг, масштабирование, вращение и переворот (при условии, что сдвиг маски был устранен).
Кроме того, внедрение метода увеличения во время тестирования (TTA) — практики применения нескольких подходов к дополнению во время вывода и последующего агрегирования прогнозов посредством усреднения или голосования большинством — еще больше повысило эффективность окончательной модели.
Псевдомаркировка стала еще одной стратегией, часто используемой в топовых решениях. Псевдомаркировка — это случай полуконтролируемого обучения, при котором метки прогнозируются для немаркированных данных и включаются в набор обучающих данных. Для этого конкуренты использовали немаркированные кадры (составляющие 7/8 каждой выборки) из существующего набора данных или внешние данные следов, такие как набор данных Contrails GOES16 Images May.
Учет временных зависимостей
Как уже упоминалось, набор обучающих данных состоял из восьми кадров для улучшения идентификации инверсионных следов. Примечательно, что правила маркировки предусматривали, что инверсионные следы должны проявляться как минимум в двух кадрах (с 10-минутным интервалом между каждым), внезапно появляясь или появляясь с одной стороны изображения.
Однако эффективность традиционных временных методов, таких как объединение кадров в виде каналов в 3D-UNet или использование ConvLSTM для последовательной обработки кадров, оказалась ограниченной.
Решение, занявшее второе место, подчеркнуло, что раннее временное слияние не было оптимальным из-за значительного смещения следа между кадрами. Тем не менее, по словам участников, карты промежуточных объектов выглядели примерно согласованными. Следовательно, они предложили включить временное смешивание в середину сети с помощью 3D-сверточного модуля или LSTM. Относительно аналогичный подход был также использован в третьем и пятом решениях.
Однако лучший участник представил довольно оригинальный подход, объединив кадры в пространственном измерении, а не размещая их по каналам. В результате четыре кадра размером 512x512 каждый были преобразованы в одно изображение размером 1024x1024. Эта стратегия в сочетании с блочным и сеточным вниманием архитектуры MaxVit, по-видимому, позволяла одновременно изучать отдельные кадры и исследовать временные зависимости.
Заключение
Изучение идентификации следов с помощью спутниковых изображений дало нам ценную информацию о сложностях этой проблемы и потенциальных стратегиях ее решения. Изучая лучшие решения, мы получили более глубокое понимание действующих факторов и инновационных методов, которые специалисты по данным используют для решения этой проблемы. Изучение инверсионных следов, их формирования и их влияния на наш климат подчеркивает важность поиска эффективных способов уменьшения их возникновения.
Если вас интересует участие в конкурсе, ознакомьтесь с этим блокнотом Kaggle. Он проведет вас через каждый этап: от предварительного анализа данных до отправки прогнозов.
[2] Ли, Дэвид С. и др. Вклад глобальной авиации в антропогенное воздействие на климат за 2000-2018 гг.»
[3] Дигби, Рут А.Р. и др. Наблюдательное ограничение на авиационные цирки из-за срыва полетов, вызванного COVID-19.»
[4] Керхер, Бернд. Формирование и радиационное воздействие перистых следов.
[5] Бир, Андреас, Ульрике Буркхардт и Лиза Бок. «Синоптический контроль жизненных циклов инверсионных перьев и их модификация за счет снижения количества выбросов сажи.»
[6] Бир, Андреас и Ульрике Буркхардт. Изменчивость образования инверсионных следов льда и ее зависимость от количества выбросов сажи.»
[7] Теох, Роджер и др. «Климатические эффекты инверсионных следов авиации в Северной Атлантике в 2016–2021 гг.»
[8] Гиренс, Клаус, Сигрун Маттес и Сюзанна Рохс. Насколько хорошо можно предсказать постоянные инверсионные следы?»
[9] https://sites.research.google/contrails/
[10] Нг, Джо Юэ-Хей и др. «OpenContrails: Сравнительный анализ обнаружения инверсионных следов на GOES-16 ABI.»
[11] Кулик, Лука. «Спутниковое обнаружение инверсионных следов с использованием глубокого обучения»
[12] Тан, Минсин и Куок Ле. «Efficientnetv2: модели меньшего размера и более быстрое обучение.»
[13] Дай, Цзиханг и др. «Coatnet: сочетание свертки и внимания для данных любого размера.»
[14] Ту, Чжэнчжун и др. Максвит: Трансформатор многоосного зрения.»
[15] Лощилов, Илья и Фрэнк Хаттер. «Раздельная регуляризация снижения веса.»
[16] Чен, Сяннин и др. Символическое открытие алгоритмов оптимизации.»
[17] Судре, Кэрол Х. и др. Обобщенное перекрытие кубиков как функция потерь при глубоком обучении для сильно несбалансированной сегментации.
[18] Линь, Цунг-И и др. «Потеря фокуса для обнаружения плотных объектов.»
[19] Берман, Максим, Амаль Раннен Трики и Мэтью Б. Блашко. «Потеря Ловаша-softmax: удобный суррогат оптимизации меры пересечения-объединения в нейронных сетях.»
