Автор Филип Доу
Одна из наших целей doc.ai - привнести возможности машинного обучения на устройства, которые мы используем каждый день. В недавнем посте о медицинских селфи наш соучредитель и главный операционный директор Сэм Де Брауэр написал о преимуществах использования машинного интеллекта на периферийных устройствах, таких как наши мобильные телефоны, включая скорость, конфиденциальность и персональный контроль. В этом посте она рассказала о новой модели мобильного машинного обучения doc.ai, которая по селфи, которое никогда не покидает ваш телефон, может определять такие биометрические данные, как ваш возраст, пол, рост и вес.
В рамках наших усилий по ускорению темпов мобильного машинного обучения doc.ai рада объявить о двух проектах с открытым исходным кодом: Net Runner и TensorIO. Оба доступны на GitHub, и оба были опубликованы с разрешающей лицензией Apache 2 с открытым исходным кодом. Мы используем эти инструменты прямо сейчас в doc.ai как часть нашей медицинской селфи, и нам не терпится увидеть, в каком направлении их двинет сообщество.
Net Runner
Net Runner - это среда doc.ai на устройствах для создания прототипов и оценки моделей машинного обучения компьютерного зрения. С помощью Net Runner специалисты по данным, у которых нет опыта работы с мобильным программным обеспечением, могут быстро отлаживать и тестировать свои модели компьютерного зрения на iPhone.
Net Runner поставляется с рядом моделей классификации изображений MobileNet, которые очень интересно использовать. Модели работают в реальном времени при вводе с любой из камер телефона и могут идентифицировать объекты в тысячах классов. Направьте телефон на мир, и телефон покажет вам то, что видит.
Имея немного знаний о TensorFlow и JSON, специалисты по данным могут добавлять свои собственные модели в приложение и видеть результат в реальном времени. Модели могут быть измерены на задержку и точность, работать с сотнями или тысячами неподвижных изображений в альбомах iPhoto и автоматически тестироваться с использованием режима оценки без головы.
Мы создали Net Runner специально, чтобы помочь нам в разработке и повторении биометрических селфи. У нас есть ряд других моделей, с которыми нам будет помогать Net Runner, и мы очень рады видеть, как другие исследователи используют его. Делайте запросы и вносите свой вклад в приложение в нашем репозитории Net Runner GitHub или загрузите приложение из iPhone App Store. Мы хотели бы знать, что вы думаете!
TensorIO
TensorIO - это переносимый фреймворк для iOS, который устраняет необходимость прямого взаимодействия с библиотекой TensorFlow Lite и заменяет его удобным интерфейсом JSON. Библиотека была разработана вместе с Net Runner и является фундаментом, на котором построен Net Runner. Это базовый код, который позволяет специалистам по обработке данных легко запускать самые разные модели на мобильных телефонах без необходимости иметь опыт разработки мобильных приложений.
И мы это серьезно. Мы сделали TensorIO доступным. Без знания C / C ++, Objective-C или Swift разработчики моделей могут описывать входные и выходные данные своих моделей в JSON, а затем запускать эти модели в Net Runner или любом другом приложении, которое поставляется с библиотекой TensorIO. Конечно, для команд с мобильным опытом TensorIO можно настраивать и расширять, и наша встроенная документация должна помочь вам начать работу.
TensorIO - одна из основных частей инфраструктуры, с помощью которой doc.ai переносит машинное обучение на периферийные устройства, такие как наши мобильные телефоны. У нас есть много возможностей для этого проекта, и мы с нетерпением ждем ваших отзывов и предложений. Исходный код и обширную документацию для специалистов по данным и разработчиков можно найти в репозитории TensorIO GitHub.
В doc.ai мы верим в силу периферийных вычислений и машинного обучения на устройствах, и мы осознаем важность конфиденциальности данных и личного контроля над тем, какую информацию вы делитесь. С помощью этих двух проектов мы стремимся продвигать нашу миссию по децентрализации медицины и трансформации здравоохранения с помощью машинного интеллекта. Надеемся, вы к нам присоединитесь.
