Человеческим глазам относительно легко воспринимать и понимать прозрачные объекты, такие как окна, пластиковые бутылки, стеклянные украшения и т. Д. Однако 3D-датчики научились определять объекты, отражающие свет, особенно те, которые делают это равномерно со всех сторон. Такие датчики могут бороться с прозрачными объектами, которые преломляют и отражают свет менее предсказуемыми способами. Чтобы справиться с этим, Google объединился с исследователями из стартапа Synthesis AI в Сан-Франциско и Колумбийского университета, чтобы представить подход глубокого обучения под названием ClearGrasp в качестве первого шага к обучению машин тому, как «видеть» прозрачные материалы.
ClearGrasp был обучен определять прозрачные объекты с правильной глубиной. Исследователи говорят, что этот процесс может не только обнаруживать прозрачные объекты, но также поможет в планировании схватывания за счет восстановления «подробных неплоских геометрий, которые имеют решающее значение для алгоритмов манипуляции». Есть два шага:
- Введите цветное изображение в глубокую сверточную сеть и выполните оценку нормалей поверхности, обнаружение границ загораживания и сегментацию прозрачных объектов;
- Замените маску исходным изображением глубины и загрузите измененную информацию о глубине вместе с информацией о поверхности и границах в глобальную оптимизацию.
Нормали поверхности направляют реконструкцию глубины в форму, в то время как границы окклюзии сохраняют различия. Поскольку исследователи не смогли найти подходящий существующий набор данных для обучения и тестирования алгоритма ClearGrasp, они внесли еще один ключевой вклад в область исследований, создав крупномасштабный набор синтетических обучающих данных с более чем 50 000 изображений RGB-D. Они также создали реальный тестовый тест с 286 изображениями прозрачных объектов в формате RGB-D и их достоверной геометрией.
Исследователи сравнили подход ClearGrasp с DenseDepth, методом оценки глубины монокуляра SOTA, который использует глубокую нейронную сеть для прямого прогнозирования значения глубины на основе цветных изображений, причем ClearGrasp значительно превосходит DenseDepth по способности обобщать формы ранее невидимых объектов.
Приведя свой алгоритм в действие, исследователи включили ClearGrasp в роботизированную систему сбора данных. Рука должна была идентифицировать и захватывать различные прозрачные объекты на столе в рабочем пространстве робота, используя изображения камеры RGB-D и 500 попыток захвата методом проб и ошибок с помощью современного алгоритма захвата.
ClearGrasp продемонстрировал свой потенциал в практических приложениях для захвата и размещения: исследователи сообщили о значительном улучшении показателя успешности захвата: с 64 до 86 процентов для аспирации и с 12 до 72 процентов для захвата с параллельными челюстями.
Исследователи признают, что ClearGrasp имеет свои ограничения и есть возможности для улучшения, например, в работе с различными условиями освещения и загроможденной средой, но пришли к выводу, что метод успешно сочетает синтетические обучающие данные и несколько модальностей датчиков, чтобы вывести точную трехмерную геометрию прозрачных объектов для манипулирования. < br />
Статья ClearGrasp: 3D-оценка формы прозрачных объектов для манипуляции находится на arXiv. Более подробную информацию о результатах можно найти на странице проекта. Код, данные и тест опубликованы на GitHub.
Автор: Рейна Ци Ван | Редактор: Майкл Саразен
Думаете о том, чтобы внести свой вклад в синхронизированную проверку? Новая колонка Поделитесь моими исследованиями от Synced приглашает ученых поделиться своими научными открытиями с глобальными энтузиастами искусственного интеллекта.
Мы знаем, что вы не хотите пропустить ни одной истории. Подпишитесь на наш популярный Synced Global AI Weekly , чтобы получать еженедельные обновления AI.
Нужен всесторонний обзор прошлого, настоящего и будущего современных исследований в области искусственного интеллекта? Отчет Тенденции развития технологий искусственного интеллекта вышел!
Вышел Отчет об адаптивности AI для публичной компании Fortune Global 500 за 2018 год!
Приобретите отчет в формате Kindle на Amazon.
Подайте заявку на участие в Партнерской программе Insight, чтобы получить бесплатный полный отчет в формате PDF.
