CVPR 2023: пять скрытых проблем в автономном вождении, где ключевую роль играют данные

Мы разбираем 5 самых важных и скрытых проблем на пути к автономному вождению. Отказ от ответственности: это проблема данных в той же степени, что и технологическая, судя по тому, что мы узнали на семинарах CVPR по SOTA AV.

Искусственный интеллект обеспечил быстрый прогресс в автономном вождении, но создание полностью беспилотных автомобилей остается недостижимой целью. Благодаря большому количеству семинаров, посвященных темам автономного вождения, CVPR 2023 предложил нам бесценную информацию о сложностях развертывания автономных транспортных средств (AV) в реальном мире. Взаимодействуя с ведущими исследователями и инженерами для решения этих проблем, мы получили более глубокое понимание скрытых препятствий в AV.

Выходя за рамки алгоритмов и моделей, мы исследуем, как огромные объемы высококачественных данных имеют решающее значение для решения сложных реальных проблем, таких как навигация в хаотичном городском потоке или выявление и реагирование на автомобили экстренных служб. Преодоление этих трудностей является ключом к раскрытию потенциала беспилотных автомобилей.

Основные идеи автономного вождения на CVPR 2023
Критические с точки зрения безопасности пограничные случаи
Обобщение домена
Смоделированные данные
Мультимодальные датчики и объединение датчиков
Динамические сцены
Tenyks: поиск крайних случаев
Краткое содержание

1. Основные идеи автономного вождения на CVPR 2023

На CVPR 2023, главном в мире мероприятии по компьютерному зрению и распознаванию образов, автономные транспортные средства затмили всех. Благодаря многочисленным семинарам и учебным пособиям, посвященным исключительно углубленному изучению автономных транспортных средств, в сочетании с десятками принятых работ по этой теме энтузиазм по поводу этой новаторской технологии был ощутим как среди исследователей, так и среди компаний.

Во время нашего общения с ведущими экспертами на CVPR 2023 в наших беседах с представителями таких компаний, как Tesla, Waymo, Zoox, Waabi, Toyota и Hyundai, возникла четкая тема: данные важнее. Эти проницательные обсуждения позволили заглянуть в нынешние триумфы и невзгоды создания автономных транспортных средств. Несмотря на то, что остается много проблем, одна мысль прозвучала громко и ясно: высококачественные данные — это топливо, которое сделает беспилотные автомобили массовым явлением.

Передовые беспилотные автомобили зависят от огромных объемов данных, чтобы видеть, понимать и ориентироваться в нашем сложном мире. Однако текущая технология сталкивается с рядом проблем, связанных с данными, которые преграждают ей путь к широкому использованию и дальнейшему развитию. В следующих разделах мы исследуем, где пересекаются автономные транспортные средства и данные, раскрывая то, что необходимо для раскрытия впечатляющего потенциала этой революционной технологии.

2. Критические с точки зрения безопасности пограничные случаи

Чтобы беспилотные автомобили заняли место в нашей повседневной жизни, безопасность не подлежит обсуждению. Автопроизводители и водители ожидают, что автономные транспортные средства сделают безопасность главным приоритетом, особенно в наихудших сценариях в любом месте и в любое время.

В автономных транспортных средствах «крайние случаи» относятся к редким, неожиданным событиям, выходящим за рамки обычного вождения. Этими подстановочными знаками может быть что угодно: от упавшей ветки дерева до странного движения кого-то пешком или на велосипеде до животного, бросающегося в проезжую часть. Их разнообразие и сложность представляют собой серьезную проблему. Самоуправляемые транспортные средства должны быстро, но точно считывать эти ситуации и принимать решения за доли секунды, гарантирующие безопасность внутри и снаружи транспортного средства.

Для помощи водителю номинальное вождение имеет наибольшее значение. Для беспилотной автономии поведение в крайних случаях имеет наибольшее значение. — Kodiak Robotics на CVPR 2023

Этими подстановочными знаками может быть что угодно: от упавшей ветки дерева до странного движения кого-то пешком или на велосипеде до животного, бросающегося в проезжую часть. Их разнообразие и сложность представляют собой серьезную проблему. Самоуправляемые транспортные средства должны быстро, но точно считывать эти ситуации и принимать решения за доли секунды, гарантирующие безопасность внутри и снаружи транспортного средства.

Обработка пограничных случаев требует надежной стратегии обработки данных. Автономные системы должны испытывать или сталкиваться с подобными событиями во время обучения. Как показано на рис. 1, для этого требуются огромные объемы данных и интеллектуальные методы сбора.

Сбор данных о крайних случаях имеет препятствия. Некоторые сценарии могут никогда не произойти естественным образом. Компании используют инструменты моделирования для создания синтетических данных, имитирующих редкие ситуации. Также жизненно важен обмен данными между компаниями и группами для сбора разнообразных данных, охватывающих крайние случаи по всем направлениям.

Сбор разнообразных высококачественных данных и повышение безопасности в непредсказуемых крайних случаях будут определять будущее и внедрение автономных транспортных средств. Благодаря креативным решениям для обработки данных и неизменному вниманию к безопасности беспилотные автомобили могут двигаться вперед по дороге.

3. Обобщение предметной области

Проблема, связанная с пограничными случаями в разработке автономных транспортных средств с точки зрения данных, — это обобщение предметной области (DG): «Обобщение предметной области направлено на достижение обобщения OOD путем использования только исходных данных для обучения модели» [1]. Это относится к способности автономной системы работать в новых условиях, отличных от условий ее обучения.

Подумайте об этом: автономный автомобиль, обученный в одной области (Париж), но нуждающийся в обобщении на другой (Сидней), см. рис. 2. Еще более сложная задача: транспортное средство, обученное на крутых холмах Сан-Франциско и трамвайных путях, может испытывать трудности в сети Нью-Йорка.

Для решения этой проблемы используются стратегии адаптации домена [2]. «Адаптация предметной области — это подполе машинного обучения, которое направлено на решение проблем такого типа путем выравнивания несоответствий между областями, чтобы обученную модель можно было обобщить в интересующую область». [3].

Адаптация предметной области включает в себя точную настройку модели с использованием данных, представляющих новую среду, что позволяет модели сохранить знания, полученные из исходного набора данных, при адаптации к нюансам новой среды. Однако этот метод по-прежнему требует существенных данных из новой среды и неустойчив к внезапным изменениям. Чтобы построить действительно надежную автономную систему, необходимо, чтобы модель с самого начала обучалась на очень разнообразном наборе данных. Этот разнообразный набор данных должен охватывать различные условия вождения, погодные условия, схемы движения и многое другое. Идея состоит в том, чтобы сделать модель как можно более универсальной, чтобы она могла обобщать свое обучение в различных областях без ущерба для безопасности или эффективности.

Используя комбинацию стратегий адаптации предметной области и разнообразных обучающих наборов данных, можно создавать более универсальные и надежные автономные системы, которые могут безопасно перемещаться по множеству сред. Этот аспект имеет решающее значение для развития технологии автономных транспортных средств и превращения ее в жизнеспособный вариант транспорта во всем мире.

4. Смоделированные данные

Количество смоделированных данных в автономных транспортных средствах растет, а дополнение наборов данных (включая пограничные случаи) реальными данными является сложной или неосуществимой задачей. «Моделирование стало потенциальным решением для обучения и оценки автономных систем в сложных ситуациях, которые часто трудно собрать в реальном мире». [4].

Однако смоделированные данные имеют подводные камни. Одной из проблем является затруднение обобщения системы: смоделированные данные должны быть очень похожи на данные реальных датчиков, критически важные для восприятия с помощью обнаружения света и определения дальности (LIDAR) [5], радара и т. д. Расхождения могут привести к решениям, основанным на по нереальным данным.

Более того, симуляции ограничены и не могут идеально воспроизвести непредсказуемость реального мира. Тонкие отражения, движения обломков, движения пешеходов — невероятно сложно точно смоделировать. Несмотря на крайние случаи, симуляции, скорее всего, пропускают сценарии, встречающиеся в реальной жизни.

Смоделированные данные ценны, но их следует использовать разумно. Как показано на рис. 3, идеальный вариант использования сочетает моделирование с разнообразными реальными данными, позволяя системам учиться и безопасно работать в различных средах.

5. Мультимодальные датчики и объединение датчиков

Автономные транспортные средства полагаются на датчики для восприятия мира, но подходы различаются. В то время как некоторые используют только камеры, снижение стоимости LIDAR стимулировало переход к нескольким модальностям.

LIDAR влияет не только на аппаратное обеспечение. Используя лазеры для картирования окрестностей, он создает обширные трехмерные облака точек, требующие уникальной обработки данных. По сравнению с камерами массовый сбор лидарных и радарных данных создает новые препятствия. Эти датчики также имеют тенденцию быть менее надежными, с большим количеством шума и ошибок.

Слияние сенсоров — немалый подвиг. Интеграция изображений камеры с расстояниями LIDAR направлена на создание комплексного 3D-представления: «Обнаружение 3D-объектов, которое интеллектуально прогнозирует местоположение, размеры и категории критических 3D-объектов рядом с автономным транспортным средством, является важной частью системы восприятия» [6]. ]. Но для смешивания этих сложных и разнообразных потоков данных требуются сложные алгоритмы, адаптированные к особенностям каждого датчика.

Надежный сбор или моделирование данных мультимодальных датчиков остается сложной задачей. Существующие методы изо всех сил пытаются уловить сложное взаимодействие датчиков в массовом моделировании. Для моделей глубокого обучения требуются огромные надежные наборы данных, поэтому это ключевая область для инноваций. На рис. 4 показаны компоненты конвейера данных для системы восприятия, начиная с датчиков и заканчивая модулями обработки данных, такими как сбор и обработка.

Многообещающие мультимодальные датчики создают новые препятствия для сбора данных, моделирования и объединения. Их преодоление имеет решающее значение для безопасного развития технологий автономных транспортных средств.

6. Динамические сцены

Статичные сцены просты — припаркованные машины, здания. Но динамические сцены требуют постоянной оценки движущихся объектов — их траекторий, вероятных действий. Автономные транспортные средства должны предсказывать движение.

В идеале объекты двигаются предсказуемо. Реальность более хаотична — внезапный переход улицы в неположенном месте, неконтролируемая смена полосы движения. «Часто отсканированные сцены содержат движущиеся объекты. Точки на этих объектах не выровнены должным образом, просто отменяя эго-движение сканера». [7]. Эти нерегулярные движения делают динамические сцены особенно сложными, как показано на рисунке 5.

Прогнозирование требует понимания сложных поведенческих моделей и принятия решений, что крайне непредсказуемо. Чтобы эффективно решить эту проблему, автономным транспортным средствам нужны огромные наборы данных по динамическим сценариям и продвинутые, сложные модели, чтобы понять смысл данных.

Динамические сцены представляют собой серьезную проблему, требующую обширных, разнообразных данных и интеллектуальных методов моделирования для анализа данных и создания надежных прогнозов. Оптимизация алгоритмов прогнозирования движения необходима для обеспечения безопасности и эффективности автономных транспортных средств в реальных условиях вождения.

В общем, в то время как статические среды просты, динамические сцены создают сложные проблемы прогнозирования движения. «Прогнозирование движения — сложная задача из-за неоднородности сцены и присущих задаче неопределенностей». [8]. Чтобы справляться с непредсказуемым поведением, автономным транспортным средствам нужны достаточные данные о динамических сценариях и сложные модели для их интерпретации. Достижения в прогнозировании движения являются ключом к реальной готовности.

7. Теныки: Нахождение пограничных случаев

7.1 Итак, как часто решается проблема «пограничных случаев»?

Несмотря на достижения, автономные транспортные средства все еще борются с редкими, но критическими крайними случаями. Хотя такие методы, как моделирование и системы обнаружения опасностей, кажутся многообещающими для создания и выявления этих необычных сценариев, каждый из них сталкивается с непреодолимыми препятствиями.

Ограниченные данные, проблемы с проверкой, плохое обобщение, тяжелые вычисления и непонятная сложность мешают текущим решениям. С редкими примерами из реального мира надежное обучение и оценка производительности неясных краев оказывается чрезвычайно сложной. Существует острая потребность в креативных и эффективных решениях, которые консолидируют данные, обеспечивают содержательную проверку и сокращают время проведения экспериментов в конвейерах машинного обучения.

Когда автономный автомобиль видит новый крайний случай, его мозг начинает работать на пределе возможностей, пытаясь понять это. Но без разнообразных тренировочных данных машина борется, ее система контроля тяги дает сбой, как у уличного гонщика, сражающегося с Домиником Торетто (см. рис. 6). Чтобы справляться с крайними случаями, беспилотным автомобилям нужны бешеные объемы данных, иначе их производительность упадет.

7.2 Есть ли другие альтернативы?

В Tenyks мы создаем технологии, которые станут идеальным компаньоном для повышения производительности инженеров машинного обучения. Вы можете найти крайние случаи в рекордно короткие сроки с платформой Tenyks, в этом разделе мы покажем вам одну из функций, чтобы улучшить вашу охоту за выбросами.

7.2.1 Набор данных

Мы использовали набор данных для автономного вождения, сгенерированный с помощью моделирования (подсказка: см. Раздел 4 Имитированные данные выше), см. рис. 7. Этот набор данных для обнаружения объектов содержит 10 классов, таких как: велосипед, человек, мотоцикл, транспортное средство, traffic_sign_30, traffic_light_green и другие.

7.2.2 Крайние случаи дорожных знаков

Набор данных включает классы, описывающие дорожные знаки для разных уровней скорости. На рис. 8 показано, как класс traffic_sign_60 обычно предсказывается правильно, но есть несколько случаев, когда он неправильно предсказывается как traffic_sign_30.

Почему это могло происходить? Несколько практических причин могут включать:

Недостаточно обучающих данных для классов traffic_sign_60 — модель могла видеть гораздо больше примеров класса traffic_sign_30 во время обучения.
Различия между классами — различия между классом traffic_sign_60 и классом traffic_sign_30 трудно различить из исходных данных (например, возможно, моделирование дает образцы с низкой точностью для этих классов).

Хотя встраивание такого рода функций в вашу систему не является сложной задачей — любой инженер машинного обучения должен быть способен на это — систематическое выявление этих длинных пограничных случаев один за другим может быть довольно раздражающим. Вот почему платформа Tenyks создала все это для вас.

7.2.3 Это мотоцикл или велосипед?

Другой пограничный случай в этом наборе данных возникает, когда модель предсказывает объект как велосипед, хотя на самом деле это мотоцикл, или наоборот. На рис. 9 показано, как быстро вы можете идентифицировать такие случаи с длинным хвостом: возможность щелкнуть и получить ряд этих трудноразличимых примеров, несомненно, выльется в больше времени, когда вы действительно сможете добавить ценность для ваших клиентов.

Наивный ответ на вопрос почему может иметь место этот крайний случай, подразумевает, что велосипед и мотоцикл — очень похожие объекты, однако более вдумчивый анализ может включать в себя следующие причины:

Визуально похожая форма и размер — велосипеды и мотоциклы имеют одинаковую общую раму и двухколесную структуру, что может быть трудно надежно отличить модель.
Небольшой масштаб набора данных. Если в обучающих данных примеров мотоциклов гораздо меньше, чем стандартных велосипедов, модель может иметь недостаточное понимание мотоциклов.
Ограничения точек обзора. Если мотоциклы видны только с ограниченного набора точек обзора, модель может не распознать их в незнакомой ориентации.

Прелесть платформы Tenyks заключается не только в том, что вы можете молниеносно выявлять крайние случаи, но и в том, что вы можете использовать дополнительные инструменты, такие как мультиклассовая матрица путаницы, уже встроенные в платформу, для быстрой проверки потенциальных причин, таких как описанные выше. Просто с помощью матрицы путаницы с несколькими классами вы можете получить информацию о количестве обучающих примеров для каждого класса (т. мотоцикл.

7.2.4 Условия освещения

Еще одна полезная функция платформы Tenyks — встроенный просмотрщик, который позволяет быстро выявлять крайние случаи. Рисунок 10 иллюстрирует, как графики встраивания могут быстро выявить интересные кластеры, в которых могут существовать выбросы. Изображения с самыми яркими условиями освещения расположены слева, предоставляя ценную информацию при тестировании надежности вашей модели в различных условиях освещения.

8. Заключение

Ландшафт автономных транспортных средств сложен и постоянно развивается, опираясь на надежную базу данных. Само разнообразие и объем данных, необходимых для эффективного функционирования этих систем, ошеломляет, охватывая широкий спектр сценариев, сред и методов датчиков. Разобраться в этих данных и превратить их в полезные идеи — монументальная задача, требующая продвинутых алгоритмов, крупномасштабных симуляций и сложных методов машинного обучения.

Наше исследование точки зрения на автономные транспортные средства, ориентированной на данные, пролило свет на ряд важных проблем. Пограничные случаи, обобщение предметной области, использование смоделированных данных, объединение мультимодальных датчиков и динамическая природа реальных сред — все это создает значительные препятствия, которые необходимо преодолеть. Каждая проблема подчеркивает неизбежный факт, как мы услышали из первых уст на CVPR, что достижение полностью автономного вождения — это проблема не только данных, но и технологий.

Тем не менее, каждая проблема также представляет собой возможность. Потенциальные выгоды от преодоления этих препятствий — от более безопасных дорог до уменьшения заторов на дорогах и улучшения доступности — огромны. Внедряя инновации в новые методы сбора данных и моделирования, мы можем раскрыть потенциал автономных транспортных средств и разработать безопасные, эффективные и универсальные системы.

Понятно, что путь к полностью автономным транспортным средствам пропитан данными. Каждая пройденная миля, каждый сигнал датчика и каждый смоделированный сценарий приближают нас на шаг к этому будущему. Мы в Теникс с нетерпением ждем возможности продолжить это путешествие и внести свой вклад в разворачивающуюся историю автономных транспортных средств — историю, написанную на языке данных.

CVPR 2023: пять скрытых проблем в автономном вождении, где ключевую роль играют данные

Оглавление

1. Основные идеи автономного вождения на CVPR 2023