В моем последнем техническом блоге мы говорили о создании классификатора изображений, обученного на трех разных частях тела, с использованием техники, называемой трансферное обучение. Когда наша модель была обучена, мы преобразовали ее в модель Core ML для запуска на iPhone. Мы обнаружили, что это отлично работает, и что наша модель предсказывает классы изображений практически в реальном времени. Но насколько быстро и насколько быстрее эта модель работает на новых iPhone на базе первого в отрасли 7-нм чипа A12 Bionic?

Наш классификатор частей тела - отличный инструмент для оценки производительности машинного обучения (ML) между iPhone 8 и iPhone XS последнего поколения на базе чипа A12 Bionic. Мы намеренно пропускаем iPhone X, потому что он больше не доступен для покупки. Чтобы иметь показатель производительности, мы немного изменили наше приложение, чтобы оно отображало время, необходимое для возврата прогноза, когда кадр передается в обученную модель. Это отображается в верхней части нашего приложения. Затем мы протестировали производительность нашего приложения на двух iPhone. Как и ожидалось, разница в скорости была огромной, но, возможно, даже больше, чем предполагалось.

Давайте объединим среднее время прогноза в удобную гистограмму. Для iPhone 8 среднее время прогноза составляет 22,38 мс, а для iPhone XS - 2,77 мс. Это примерно на порядок, что является огромным выигрышем всего за год!

Тем не менее, при прогнозировании 22,38 мс даже iPhone 8 по-прежнему намного быстрее, чем требуется для прогнозов в реальном времени, поскольку все, что менее 33 мс / прогноз, эффективно в реальном времени, поскольку iPhone захватывает видео со скоростью 30 кадров / с (1000 мс / 30 кадров = ~ 33 мс). Однако наша обученная модель очень мала - она ​​основана на MobileNet v1 и занимает всего 9 МБ, поэтому можно с уверенностью сказать, что это облегченная модель.

Если мы изменим тест на более сложную модель, мы думаем об обнаружении объектов здесь, время предсказания, очевидно, увеличится. В этом случае вам пригодятся вычислительные мощности iPhone XS, которые должны обеспечить плавное обнаружение объектов в реальном времени на мобильном устройстве. Давайте проверим это.

Мы внедрили предварительно обученную модель обнаружения объектов, называемую TinyYOLO, в другое приложение для iOS и позволили нашему приложению отображать время прогнозирования при обнаружении объектов на канале задней камеры. TinyYOLO - это легкая реализация YOLO, обученная всего по 20 классификационным категориям.

При среднем времени прогноза 38 мс iPhone 8 изо всех сил пытается делать прогнозы в режиме реального времени. Хотя с преобразованной частотой кадров 26 кадров / с это все еще приемлемо для прогнозов в реальном времени. С другой стороны, iPhone XS, похоже, совсем не вспотел: среднее время предсказания составляет 5,6 мс.

Такой рост производительности за такой короткий промежуток времени впечатляет. Apple продолжает улучшать аппаратные возможности iPhone, что приводит к увеличению производительности. Мы видим впечатляющие результаты как в наших приложениях для классификации изображений, так и в приложениях для обнаружения объектов. Можно с уверенностью сказать, что даже более сложные модели будут масштабироваться до iPhone XS.

Конечно, Apple - не единственная крупная компания, занимающаяся мобильной реализацией моделей машинного обучения. Edge TPU от Google также указывает направление запуска моделей машинного обучения у вас под рукой. На своем веб-сайте Google упоминает, что они намерены предоставить возможности в соответствии с требованиями запуска облачных моделей ИИ с малой задержкой на периферии. Чтобы сделать это возможным, они разработали первую итерацию своего мобильного ИИ-чипа Edge TPU, требуя предсказаний со скоростью 30 кадров в секунду для видео высокого разрешения с низким энергопотреблением, используя несколько современных ИИ. модели.

В следующем тесте мы хотели бы проверить производительность моделей машинного обучения на Android. Нам любопытно посмотреть, как он работает по сравнению с iPhone. Поскольку Android - это мобильная операционная система, способная поддерживать множество платформ, в отличие от iOS, поддерживающей только несколько моделей iPhone, нам интересно, будет ли операционная система в сочетании с аппаратным обеспечением такой же мощной комбинацией, как и у Apple. iPhone.

Мы в In The Pocket уверены, что ИИ будет в той или иной форме в каждом приложении, которое мы выпускаем в течение следующих нескольких лет. Будь то компьютерное зрение, обработка естественного языка, механизмы рекомендаций или простые задачи классификации. Крупные компании, такие как Apple и Google, продолжают прокладывать путь к будущему ИИ, в том числе на мобильных устройствах, а также к демократизации обучения и внедрения моделей машинного обучения в ваши приложения с помощью таких продуктов, как Create ML от Apple и AutoML от Google.

In The Pocket в настоящее время ищет инженера по машинному обучению. Если подобные темы плывут в ваших руках, то обязательно ознакомьтесь с нашим предложением о работе.