Это второй из серии блогов, в которых мы будем писать о некоторых проблемах, которые мы пытаемся решить в Playment, и о том, как мы вносим свой вклад в продвижение эры искусственного интеллекта. Остальные вы можете прочитать здесь: https://medium.com/playment

Набор инструментов для аннотаций

Сегодня системы компьютерного зрения в значительной степени полагаются на алгоритмы глубокого обучения. Эти модели, в свою очередь, в значительной степени полагаются на данные обучения. Путем ввода соответствующих обучающих данных можно разработать системы компьютерного зрения, чтобы находить взаимосвязи, обнаруживать закономерности, понимать сложные проблемы и принимать решения.

Чем лучше обучающие данные, тем лучше работает система компьютерного зрения. Качество, разнообразие и количество обучающих данных определяют успех системы.

Чтобы узнать больше о Playment и о том, как мы помогаем компаниям и стартапам удовлетворять их потребности в данных для обучения, прочитайте часть 1 нашего блога здесь:

Создание наборов обучающих данных в масштабе - сложная задача. Это требует значительных накладных расходов и изнурительных проверок качества. В общем, много времени и усилий для наших клиентов.

Именно здесь на помощь приходит Playment. Наш набор инструментов аннотации помогает компаниям, занимающимся ИИ, ускорить разработку и тестирование своих моделей компьютерного зрения.

Набор инструментов аннотации Playment.

Наши инструменты аннотации предназначены для создания высококачественных помеченных наборов данных для моделей машинного обучения. Поддержка искусственного интеллекта, превосходный дизайн UX и настраиваемость делают наши инструменты умнее.

Наши инструменты поддерживают форматы данных от различных датчиков. Они спроектированы таким образом, чтобы облегчить быстрое развертывание функций для управления пользовательскими данными.

Платформа для сбора данных обучения невероятно сложна в проектировании и разработке. Он включает в себя сложные рабочие процессы и сложные системы, которые позволяют накопление, визуализацию, очистку, маркировку, выборку и проверку качества обучающих данных.

Инструменты аннотации являются неотъемлемой частью платформы обучающих данных.

По мере того как системы компьютерного зрения становятся все более распространенными, потребность в таких инструментах становится еще более важной.

В частности, мы создали огромное количество инструментов, которые помогают людям в написании кода 1.0, таких как мощные IDE с такими функциями, как подсветка синтаксиса, отладчики, профилировщики, переход к def, интеграция с git и т. Д. В стеке 2.0 программирование осуществляется путем накопления, обработки и очистки наборов данных. Например, когда сеть дает сбой в некоторых тяжелых или редких случаях, мы исправляем эти прогнозы не путем написания кода, а путем включения более размеченных примеров таких случаев. Кто будет разрабатывать первые IDE программного обеспечения 2.0, которые помогают во всех рабочих процессах по накоплению, визуализации, очистке, маркировке и поиску наборов данных?

- Андрей Карпаты (директор по искусственному интеллекту, Tesla Motors)

Данные в → Платформа аннотаций → Вывод данных

На самом фундаментальном уровне наша платформа аннотаций принимает необработанные данные, позволяет аннотаторам аннотировать необработанные данные и, наконец, генерирует высококачественные обучающие данные.

Необработанные данные могут быть в разных форматах в зависимости от различных датчиков (камеры / LiDAR / RADAR) и их конфигурации в системе компьютерного зрения.

Окончательные аннотированные данные также могут быть в различных формах: семантическая сегментация, многоугольники, полилинии, трехмерные кубоиды и т. Д. Для различных случаев использования. Подробный список всех типов аннотаций, поддерживаемых Playment, можно найти здесь:

Кто пользуется этими инструментами?

Создавать эти инструменты очень сложно. Одна из самых сложных задач заключается в том, что инструменты аннотации используются разными людьми по-разному.

Для некоторых персонажей мы создаем наши инструменты:

  • Инженеры компьютерного зрения: инженеры, работающие над системами компьютерного зрения.
  • Владелец продукта AI: менеджеры по продукту, которые создают продукты на основе AI. Они также владеют ключевыми показателями эффективности бизнеса и продуктов.
  • Операции: операционная группа Playment, ответственная за обеспечение того, чтобы маркировка данных происходила в соответствии с потребностями клиентов и с соответствующими критериями качества (точность и отзыв), в течение периода обработки и в допустимых пределах.
  • Аннотаторы. У нас есть два типа аннотаторов: собственные аннотаторы для проектов с жесткими требованиями к безопасности и управляемое сообщество, состоящее из более 30 000 хорошо обученных аннотаторов, работающих неполный рабочий день, из небольших городов Индии.

Что еще более интересно, все эти разные персонажи используют инструменты аннотации по-разному и, следовательно, имеют очень разные потребности и приоритеты. Например:

Для аннотатора: скорость и эффективность использования инструмента аннотации могут быть очень важны.

Для инженера по компьютерному зрению: качество аннотации будет иметь первостепенное значение. Возможность исследовать набор данных, выявлять крайние случаи и системные ошибки была бы важна.

В Playment мы долго и тщательно изучали этих разных персонажей и то, как создать наши инструменты, чтобы обслуживать их всех. В результате мы определили четыре основных варианта использования, которые пытаемся выполнить:

Визуализировать: возможность визуализировать данные и анализировать их по разным параметрам и характеристикам.

Аннотирование: аннотирование данных с очень высокой точностью и эффективностью. Иногда мы также ускоряем процесс аннотации, заставляя модели ИИ работать вместе с людьми, автоматически предлагая или проверяя их работу.

Проверка качества: выборка набора данных с последующим выявлением системных ошибок в наборе данных.

Управление: настройка рабочих процессов для обработки данных, чтобы гарантировать, что аннотации будут размещаться с соблюдением надлежащих критериев качества, стоимости и времени.

Принципы продукта

Вот некоторые из принципов продукта, которые мы учитываем при проектировании и разработке наших инструментов аннотации:

Конфигурируемость и модульность

У большинства наших клиентов очень специфические и детальные требования к аннотациям. Это связано с тем, что бизнес-контекст большинства этих стартапов и компаний очень отличается.

Возьмем пример - для беспилотного грузовика, созданного для междугородних перевозок, очень важна разметка полосы движения и дорожные знаки. С другой стороны, для промышленного робота идентификация гаек, болтов и других инструментов становится более важной.

В результате мы сделали наш инструмент модульным и настраиваемым, чтобы удовлетворять разнообразные и детализированные потребности наших клиентов в аннотациях.

Жесткий акцент на точности

Для правильного функционирования модели глубокого обучения нуждаются в очень высокой степени точности. Это означает, что все наши инструменты аннотации разработаны с учетом этого. Расширенные функции проверки качества, автоматические эвристические проверки и другие функции помогают нам повысить качество наборов данных.

Ориентация на эффективность

В течение месяца аннотатор в Playment проработал более 200 часов, аннотируя тысячи кадров и нарисовав около 100 тысяч аннотаций.

Повышение эффективности инструментов для аннотирования на 10% напрямую приводит к экономии времени для аннотаторов на 10%, что, в свою очередь, помогает им работать более продуктивно и зарабатывать больше денег на нашей платформе.

Оптимизируясь для каждого взаимодействия, каждое нажатие клавиши становится суперкритичным в том масштабе, в котором мы работаем. Немного измененный поток, несколько дополнительных горячих клавиш или наличие некоторых функций мощности обычно имеют большое значение для помощи нашим аннотаторам.

Простота использования и адаптация

Большинство наших аннотаторов не знакомы с такими сложными инструментами. Мы безмерно гордимся тем, что являемся онлайн-платформой, где любой может зарегистрироваться, обучиться и начать зарабатывать. Однако это означает, что мы должны сделать наши интерфейсы достаточно интуитивно понятными, чтобы ими мог пользоваться кто угодно.

Представьте, что вы обучаете кого-то основам Photoshop или After Effects или с нуля - удаленно - и убедитесь, что они достигают 98% + точности во всем.

Технические и дизайнерские проблемы

  • Должен полностью работать в сети.
  • Должно быть достаточно простым для изучения и использования тысяч аннотаторов.
  • Должен работать на компьютерах с аппаратными ограничениями.
  • Не должен потреблять много пропускной способности сети.
  • Должен быть модульным и достаточно настраиваемым для поддержки будущих сценариев использования.

Пакет аннотаций Playment’s

Несмотря на все технические и дизайнерские проблемы, мы создали замечательный набор инструментов для аннотаций. Они используются десятками предприятий для ускорения процесса разработки ИИ.

Ниже показаны некоторые инструменты и инструменты, которые мы создали в Playment:

Семантическая сегментация

Продукт для создания масштабных обучающих данных семантической сегментации с идеальной пиксельной точностью.

Инструмент аннотации 3D-облака точек

Визуализация, маркировка и отслеживание объектов в кадрах в трехмерных облаках точек для всех типов данных LiDAR.

Аннотации 2D-формы

Для обнаружения и локализации объектов на изображениях и видео.

Расширенные инструменты проверки качества

Чтобы системы компьютерного зрения работали безупречно, обучающие данные, вводимые в модели, должны быть очень высокого качества. Это становится особенно важным, когда эти системы используются для автономных транспортных средств (где одна ошибка может привести к аварии или гибели людей).

Поэтому мы создали инструменты и функции, которые помогают рассчитывать объективные показатели качества и допустимую погрешность для наборов данных. Мы стремимся к тому, чтобы наши продукты были активными, а не реагирующими на выявление системных ошибок, которые могут закрасться в наборы данных.

Релиз / Пост-релиз

График выпуска

На создание всего набора инструментов для аннотации у нас ушло около года. Бесчисленные часы были потрачены на их проектирование, разработку, доработку и повторение.

Прием наших продуктов и инструментов

Мы работаем по всем направлениям со стартапами по разработке программного обеспечения ИИ, компаниями по совместному использованию автомобилей, производителями автомобилей, крупными производителями автомобилей и т. Д. В индустрии автономных транспортных средств у нас есть множество компаний и стартапов, которые ручаются за качество предоставляемых продуктов и услуг. по Playment.

Мы активно вовлекаем наших клиентов в процесс разработки продуктов и используем их отзывы и предложения для повторения и улучшения наших продуктов.

Все это стало возможным только благодаря упорной работе и усилиям Акшай, Сартак, Прерак, Абхилаш, Сатбир, Маниш и всей команды по продуктам, технологиям и дизайну в Playment.

Вместе мы потратили тысячи часов на проектирование, создание прототипов, кодирование, рефакторинг, тестирование и получение отзывов от наших клиентов и аннотаторов.

Если вам интересны эти проблемы и вы ищете новые задачи - мы будем рады видеть вас здесь, в Playment. Вы можете узнать больше об открытых позициях в Playment на https://playment.io/jobs/.

Дополнительная литература и ссылки

Https://playment.io/datasets/
https://medium.com/@karpathy/software-2-0-a64152b37c35
https://hackernoon.com/the -best-image-annotation-platform-for-computer-vision-an-fair-review-of-each-dac7f565fea
https://playment.io/3D-point-cloud/ женщина
«Https://playment.io/semantic-segmentation-tool/
https://playment.io/autonomous-vehicles/
https://playment.io/video- инструмент-аннотация /

Эта история опубликована в The Startup, крупнейшем предпринимательском издании Medium, за которым следят +429 678 человек.

Подпишитесь, чтобы получать наши главные новости здесь.