Это было год назад (летом 2019 года), когда я решал, какую тему выбрать для моей бакалаврской диссертации. В то время я заканчивал стажировку в Европейском космическом агентстве, где занимался минералогическими исследованиями машинного обучения ¹. Тем не менее, я также знал, что в моем университете ведется много исследований беспилотных автомобилей в сотрудничестве с Toyota. Хотя минералогические исследования, которые могут быть использованы в будущих планетарных миссиях, очень важны, беспилотные автомобили не только увлекательны, но также ощутимы и презентабельны. Поэтому я связался со своим бывшим научным руководителем из моего университета, есть ли у него какие-либо исследовательские идеи в этой области. Среди множества предложений меня больше всего взволновала Autonomous Car Chasing.

Почему погоня за автомобилем?

Когда вы посмотрите на автономные автомобили в реальной жизни, вы увидите, что они чаще всего используются в ситуациях, когда вождение слишком скучно для водителя. Они используются на шоссе в пробке или в колонне, движущейся с почти постоянной скоростью. Однако регулярное движение заставляет водителей реагировать на многие неожиданные ситуации и выполнять динамические маневры. Предлагаемый сценарий погони за автомобилем, в котором автономный автомобиль преследует не взаимодействующее транспортное средство, которое активно пытается уехать, настолько экстремален, что автономное транспортное средство с возможностью погони за автомобилем, безусловно, может справиться с обычным движением.

Новый сложный набор данных

Первой задачей было создать автономную систему погони за автомобилем и протестировать ее в CARLA. Для проведения экспериментов мы сначала собрали новый сложный общедоступный набор данных CARLA Car Chasing Dataset, собранный путем ручного управления преследуемым автомобилем. Мы создали базовый алгоритм, который обнаруживал преследуемую машину, а затем в основном поехал за ней. У этого подхода был огромный недостаток. Во время вождения он не принимал во внимание окружающую среду. Он был сосредоточен только на преследуемой машине. Поэтому эта система сильно ломалась. Мы поняли, что нашей системе необходимо понимание окружающей среды. Мы рассматривали возможность добавления нейронной сети семантической сегментации, но у нас уже был детектор нейронной сети. Нам нужно было анализировать как можно больше кадров в секунду, а также у нас была очень ограниченная вычислительная мощность (встроенная система на радиоуправляемой машине). Нам нужно было быстрое и эффективное решение.

Двухзадачная нейронная сеть

Во время логического вывода изображение передается по сети только один раз. Сеть обеспечивает обнаружение объекта, а также выходные данные семантической сегментации. Хотя обучение происходит немного медленнее, чем обучение однозадачной нейронной сети, дополнительные затраты при выводе предлагаемой архитектуры незначительны. Выходные данные сегментации предоставляют семантическую карту входного изображения, состоящую из 10x10 ячеек двух классов: управляемой поверхности и фона, см. Изображение ниже.

Нейронная сеть использует одну и ту же магистраль для обеих задач - 53-слойный экстрактор признаков под названием Darknet-53 ⁴. К экстрактору признаков прикреплены два набора слоев: один дает выходные данные для обнаружения объекта, а другой дает выходные данные для сегментации изображения. Архитектура нейронной сети изображена на изображении ниже. Сеть обучается путем попеременной оптимизации - в каждом втором пакете сеть оптимизируется только для обнаружения, в то время как сегментация оптимизируется в остальных пакетах. Нейронная сеть использует разные функции потерь в зависимости от партии².

Результаты эксперимента

Сначала мы протестировали систему, используя сложный набор данных CARLA Car Chasing. Мы заметили, что полный алгоритм работает значительно лучше, чем другие версии системы, в которых не используется грубая семантическая сегментация. В среднем он достиг почти на 10 процентных пунктов выше, чем следующая наиболее оцененная версия. Мы также показали, что двухзадачная нейросетевая система более устойчива к частоте промахов детектора (когда детектор не смог обнаружить преследуемую машину).

Затем мы провели несколько живых тестов в разных погодных и световых условиях. Система была протестирована на пустой кольцевой развязке, а также в жилом районе, как показано на изображении ниже. Автономная система следовала за другой машиной плавно, без рывков. По большей части ему удавалось успешно преследовать другую машину. Он выдерживал желаемую дистанцию, когда преследуемая машина ехала по прямой. Если преследуемая машина остановилась, остановилась и автономная система. Ограничение системы проистекает из ее текущего реактивного характера, который в некоторых поездках влиял на способность делать разворот на узкой дороге.

Конференция

Результаты предлагаемого новаторского подхода были очевидны, и еще до того, как была закончена бакалаврская диссертация, мы знали, что есть потенциал для публикации. Закончив шлифовку диссертации, мы приступили к ее превращению в исследовательскую статью. Многостраничный раздел диссертации легко превратился в пару строк в публикации. В отличие от тезиса, который в основном служит доказательством вашего понимания темы, мы превратили его в то, что могут прочитать другие люди. Мы решили опубликовать материалы для семинара, связанного с третьей по престижности конференцией по компьютерному зрению под названием Европейская конференция по компьютерному зрению (ECCV). Главное преимущество мастерской - короткие сроки обработки. Через две недели мы узнали, что наша статья принята.

Обсуждение

Эта статья - не первая (и не вторая) опубликованная мною. Я также не летаю на другой конец света, чтобы представить его, как в своей первой публикации (FG 2018 в Китае), потому что конференция только онлайн / виртуальная из-за COVID-19. Тем не менее, я очень горжусь газетой. Проект очень интересный, и мы надеемся, что другие исследователи (или студенты FIT CTU) попытаются улучшить этот метод.

Я считаю, что моя мотивация к теме была главной причиной успеха диссертации. Тема диссертации была захватывающей и целеустремленной, и я желаю вам найти тему, которая вам понравится. Я надеюсь, что возможно сотрудничество между Центром машинного восприятия (CMP) в FEL CTU и FIT CTU. Если вы интересуетесь автономным вождением или компьютерным зрением, CMP - это то, что вам нужно. Я также могу определенно порекомендовать своего научного руководителя Яна Чеха, который регулярно обсуждал со мной ход работы над диссертацией.

Вывод

Мы разработали систему, способную автономно преследовать другой автомобиль, используя новую сеть с двумя задачами, которая одновременно обнаруживает объекты и прогнозирует грубую семантическую сегментацию. Предлагаемая система была всесторонне протестирована в симуляторе CARLA с использованием нового сложного общедоступного (на нашем GitHub) набора данных о преследовании и на реальной суб-масштабной платформе транспортного средства (видео доступно на YouTube).

Несмотря на простоту предлагаемой системы, она демонстрирует надежные возможности преследования за счет использования информации только с одной камеры RGB. Одно из ограничений системы - ее реактивный характер. Мы считаем, что систему можно улучшить, используя более сложный алгоритм планирования траектории, который будет включать прогнозное моделирование преследуемой машины.

Мы надеемся вдохновить других исследователей или студентов, ищущих тему диссертации, попытаться улучшить наши методы. Мы считаем, что тестирование автономной системы вождения в экстремальных условиях является важным шагом к созданию общественного доверия к беспилотным автомобилям. В конечном счете, такие экстремальные вызовы, как вызов DARPA или наша автономная автомобильная погоня, - вот что будет стимулировать инновации.

использованная литература

[1] П. Яхода, И. Дроздовский, Ф. Сауро, Л. Турчи, С. Пейлер, Л. Бессоне. Машинное обучение для распознавания минералов по мультиспектральным данным. Предпечатная подготовка, arxiv: 2005.14324. 2020 г.

[2] П. Яхода, Дж. Чех, Дж. Мэйтас. Автопогоня. Труды Европейской конференции по компьютерному зрению (ECCV). 2020 г.

[3] П. Яхода. Автопогоня. Диссертация на степень бакалавра Чешского технического университета в Праге. 2020 г.

[4] Дж. Редмон, А. Фархади. YOLOv3: постепенное улучшение. Предпечатная подготовка, arxiv: 1804.02767. 2018 г.