Если вы живете в Нью-Йорке, Сан-Франциско или любом другом развитом городе мира, вы, вероятно, используете мобильные или веб-карты, чтобы найти маршруты, чтобы добраться до места назначения. В большинстве случаев вы получаете точные и подробные карты на свои мобильные телефоны. Но во многих местах по всему миру карты либо неточные, либо отсутствуют в деталях, либо вообще отсутствуют. Из-за нехватки ресурсов на местах большая часть мира осталась позади революция в оцифрованной географии.
По мнению эксперта по компьютерному зрению Ян Эрика Солема и трех его соучредителей, это решение было картографической платформой, которая позволяет любому фотографировать улицы, а затем автоматически обрабатывать эти изображения и анализировать их с помощью компьютерного зрения, чтобы объединить их вместе и автоматически генерировать данные карты. панорама улиц, сделанная своими руками на базе искусственного интеллекта, если хотите.
Через несколько месяцев после запуска Mapillary в начале 2014 года выяснилось, что доступ к изображениям улиц был лишь одним из многих требований картографирования. Такие организации, как города, транспортные агентства, поставщики коммунальных услуг, автомобильные компании и многие другие, обращались к Mapillary, чтобы получить данные на изображениях для решения таких задач, как инвентаризация дорожных знаков и столбов электроснабжения, навигация и соблюдение нормативных требований.
«Здесь была огромная рыночная возможность. Включив компьютеры для автоматического и точного анализа изображений улиц, мы смогли удовлетворить различные потребности в картировании с небольшими затратами. Ключевым моментом для нас было выяснить технологию. К счастью, мы быстро получили огромный набор данных изображений улиц со всего мира, с которыми можно было работать », - объясняет Солем.
В 2016 году команда компьютерного зрения в Mapillary начала создавать модели, разработанные в PyTorch для обнаружения всего на изображениях, от дорожных знаков и дорожной разметки до выбоин и столбов. Это был первый раз, когда Mapillary широко использовала сеть глубокого обучения. Мапиллари выбрал PyTorch из-за его гибкости на этапе исследования. PyTorch легко расширяется и гибок, но при этом достаточно быстр, чтобы обучаться на огромных наборах данных изображений за разумное время.
Между тем, использование динамических вычислительных графов значительно упростило работу с сетями обнаружения объектов и паноптической сегментации. Эти сети могут быть реализованы с использованием других фреймворков глубокого обучения, которые не поддерживают динамические вычисления, но это гораздо проще сделать в PyTorch и часто более эффективно с точки зрения вычислений.
В результате модели, созданные Mapillary в PyTorch, могут обнаруживать и маркировать практически все на изображении. Это выводит масштабируемость карт на совершенно новый уровень, поскольку все игроки могут получать разные данные, которые им нужны, из одних и тех же изображений.
Вскоре после этого клиенты начали запрашивать географическое положение отдельных обнаружений на изображениях. Другими словами, каждый отдельный элемент, обнаруженный на изображении, будь то дорожная разметка или столб, пожарный гидрант или дорожный знак, будет размещен на карте.
«Для позиционирования объектов на карте, а не только для их поиска на изображениях, потребовался совершенно другой метод. На этот раз нам потребовались алгоритмы для обнаружения одного и того же объекта на разных изображениях, чтобы оценить, где находятся объекты, прежде чем размещать их на карте как отдельные элементы карты. Для этого мы используем 3D-модели, которые мы создаем, чтобы связывать изображения от множества разных участников, чтобы предоставить нам необходимую информацию о локализации », - говорит Солем. «Трехмерные модели были улучшены за счет использования результатов сегментации, которые были предоставлены нашими моделями, разработанными PyTorch. Это позволяет нам убрать мешающие участки, такие как небо, деревья и движущиеся объекты ».
В настоящее время Mapillary размещает 680 миллионов изображений, и два миллиона изображений добавляются каждый день. Используя PyTorch, миллионы объектов обнаруживаются и добавляются на карту каждый день с помощью различных этапов обработки компьютерного зрения.
Сегодня данные необходимы городам, картографическим компаниям и беспилотным автомобилям, но Солем думает, что в будущем мы увидим гораздо больше вариантов использования картографических данных. «Все новые автомобили будут оснащены камерами, и мы увидим рост числа роботов-доставщиков, парк беспилотных автомобилей и грузовиков, а также совершенно новые варианты использования картографических данных, которые еще даже не были изобретены», - говорит Солем. . «Карты будут везде, - заключает он, - независимо от того, увидят их люди или нет».
