Personal Shelf Inspector - цифровой помощник по покупкам для слабовидящих
Совершение покупок в магазине без посторонней помощи может быть очень напряженной и трудоемкой задачей для людей с ослабленным зрением. В DataSentics мы разрабатываем мобильное приложение на основе машинного обучения под названием Personal Shelf Inspector, чтобы делать покупки быстрее и проще за счет идентификации товаров на стеллажах на основе указанных ценников.
Около года назад мы в DataSentics приняли участие в хакатоне AI for Accessibility, организованном Microsoft, целью которого является использование машинного обучения для помощи людям с ограниченными возможностями. Мы использовали наш опыт сегментации и обнаружения объектов из нашего продукта Shelf Inspector, чтобы создать доказательство концепции мобильного приложения, которое поможет людям с ослабленным зрением. Воодушевленные получением первого приза на хакатоне, мы решили развить приложение и сделать его полезным продуктом и сделать его доступным для всех бесплатно.
Далее я опишу концепцию и дизайн Personal Shelf Inspector. Наконец, я кратко упомяну текущее состояние развития приложения, а также его перспективы.
Дизайн и пользовательский опыт
Пользовательский интерфейс приложения по сути очень прост. Пользователю нужно только навести камеру своего смартфона на прилавок магазина и сделать снимок. Затем приложение сканирует изображение на наличие полок с ценниками, обнаруживает все ценники на каждой полке и считывает название продукта и цену с помощью OCR. Поскольку прочая информация из ценника не так важна для пользователя, она игнорируется, чтобы сэкономить время пользователя.
Двигаясь сверху вниз изображения, он затем суммирует содержимое каждой полки для пользователя, используя встроенную функцию преобразования текста в речь. Таким образом, пользователь может быстро просмотреть содержимое стойки. Затем приложение дает пользователю возможность выбрать конкретную полку и получить название продукта и цену каждого предмета на этой полке. Это может сэкономить пользователю значительное количество времени, которое в противном случае тратится на поиск продуктов, вручную проходя через стеллаж.
Personal Shelf Inspector vs Google Lookout
Когда вы читаете о Personal Shelf Inspector, вам на ум приходит приложение Lookout от Google. Lookout - это, по сути, детектор объектов в реальном времени в сочетании с OCR, который способен описывать многие объекты и читать большинство текстов, на которые направлена камера мобильного телефона.
Хотя Lookout содержит режим, предназначенный для покупок, он основан на идентификации конкретных продуктов и пакетов (аналогично нашему коммерческому продукту Shelf Inspector). К сожалению, это не так легко перенести на рынок, где Google не обучил свой алгоритм для местных продуктов, а режим покупок Lookout доступен только в нескольких странах. Он также не может распознать новые продукты или упаковку, представленные на рынке, до того, как Google обучит базовую модель распознавать эти новые товары. Использование упаковки продукта также означает, что Lookout не может найти цену продукта в конкретном магазине в конкретное время, когда пользователь совершает покупки.
Из-за этого мы решили не копировать Google и вместо этого использовать альтернативный подход к идентификации продуктов, основанный на ценниках, а не на самих продуктах. Наш подход может быть более легко применен к новым рынкам, а также к новым продуктам / пакетам, представленным на существующем рынке. Он также предоставляет пользователям информацию о текущих ценах на все идентифицированные продукты.
Как это работает
Серверная часть Personal Shelf Inspector состоит в основном из двух компонентов машинного обучения:
- Алгоритм обнаружения объектов, определяющий отдельные полки, ценники и наиболее важные части ценников - названия товаров и цены.
- OCR считывает выходные данные нейронной сети обнаружения объектов (то есть имя и цену каждого ценника) в паре с алгоритмом NLP для правильного форматирования вывода текста для встроенного преобразования речи в текст, который затем считывает содержимое в Пользователь.
Дальнейшее развитие
В процессе разработки Personal Shelf Inspector прошел несколько этапов внедрения. Он был прототипирован как веб-приложение (на Python) и в настоящее время развертывается для запуска на мобильных устройствах (Android, а также iOS). Мы успешно преобразовали наш алгоритм обнаружения объектов из исходной реализации Python и протестировали его на мобильных устройствах.
После того, как мы полностью интегрируем наши алгоритмы в собственное мобильное приложение, мы протестируем его, чтобы обеспечить наилучшее взаимодействие с пользователем. Мы ожидаем, что версия мобильного приложения MVP будет готова и доступна для загрузки к началу 2022 года. Чтобы отслеживать текущую разработку, вы можете следить за нами в DataSentics LinkedIn или Facebook. Мы будем очень признательны за любые комментарии, вопросы или отзывы.
