Что такое Edge Intelligence и как он изменит приложения машинного обучения.
Помните время, когда облачные вычисления были модным словом. Это было в 2011-2012 годах. На самом деле, согласно Gartner, облачные вычисления в то время уже скатывались в пропасть и теперь, возможно, нет, определенно находятся на плато производительности [NEWSWIRE].
Перенесемся на десятилетие вперед (да, мы с вами старые, и да, мы с вами — задроты), и теперь вы видите это новое крепкое объятие ИИ. Тенденция, похоже, заключается в том, чтобы *перетасовать колоду, вытащить карту* и просто добавить ее к ИИ.
Ответственный ИИ
Генеративный ИИ
Композитный ИИ
Объяснимый ИИ
«Дай мне перерыв» ИИ
Давайте посмотрим, что сделал с нами 2020 год (разумеется, помимо короны)
Произошла интересная вещь.
Edge AI или даже Embedded AI сейчас находятся на пике завышенных ожиданий. С несколькими большими пушками в технологической индустрии от NVIDIA, Google до Xilinx; вскочить на подножку. [ХАМЗА АЛИ].
Что такое пограничный ИИ?
До недавнего времени почти все вычисления ИИ выполнялись удаленно в центрах обработки данных, на основных устройствах предприятия или на пограничных процессорах телекоммуникаций, а не локально на устройствах. Это связано с тем, что вычисления ИИ чрезвычайно требовательны к процессору и требуют для выполнения сотен (традиционных) микросхем различных типов. Размер оборудования, стоимость и энергопотребление сделали практически невозможным размещение вычислительных массивов ИИ в чем-то меньшем, чем сундучок.
Теперь периферийные чипы искусственного интеллекта меняют все это. [ДЕЛОЙТ]
Термин, который используется вместе с Edge и Embedded AI, — ускоритель AI. Это как раз те периферийные ИИ-чипы, о которых упоминает Deloitte.
Ускоритель ИИ – это класс специализированных аппаратных ускорителей или компьютерных систем, предназначенных для ускорения приложений искусственного интеллекта, особенно искусственных нейронных сетей, машинного зрения и машинного обучения. Типичные приложения включают алгоритмы для робототехники, интернета вещей и другие задачи, требующие обработки больших объемов данных или датчиков.[WIKI-AI-ACC]
В начале 2019 года Google выпустила процессор TPU Edge для встроенного приложения для логического вывода. TPU Edge использует TensorFlow Lite, который кодирует модель нейронной сети с параметрами низкой точности для логического вывода, запуская модели машинного обучения при входном напряжении 5 В [GOOGLE-TPU]. И это только ОДИН из многих продуктов, список только растет, а производительность как по точности, так и по энергоэффективности улучшается.
Некоторые даже заявляют, что закон Мура умер и что в обозримом будущем не столько сокращение полевых транзисторов, сколько последовательное внедрение все более разнообразных технологий устройств, интегрированных во все более разнородные компьютерные архитектуры, оптимизированные для повышения производительности и энергоэффективности. . [Тайс, Т. Н. и Вонг]
Пограничные вычисления были предложены как путь вперед. Будущая экосистема для крупномасштабных вычислений видится как этот децентрализованный, демократизированный аппарат, который продвигает облачные сервисы от ядра сети к краям сети, которые находятся в непосредственной близости от устройств IoT и источников данных [ZHAO].
Причина, по которой граничные вычисления кажутся такими многообещающими, заключается в том, что они решают несколько ключевых проблем, которые мешают развертыванию машинного обучения в облаке [ZHAO].
- Безопасность данных и конфиденциальность
Интернет вещей и мобильные устройства генерируют огромное количество данных, которые могут быть конфиденциальными. Таким образом, также важно защитить конфиденциальность и безопасность данных рядом с источником данных для периферийного интеллектуального приложения на этапе вывода модели.
- Низкий уровень подключения
Необходимо свести к минимуму накладные расходы во время вывода модели DNN в периферийном интеллектуальном приложении, особенно дорогостоящее использование пропускной способности глобальной сети для облака. Накладные расходы на связь здесь в основном зависят от режима вывода DNN и доступной полосы пропускания.
2. Ограничения мощности.
Накладные расходы на вычисления и связь при выводе модели DNN приводят к большому потреблению энергии. Для периферийного интеллектуального приложения большое значение имеет энергоэффективность, на которую влияет размер модели DNN и ресурсы на граничных устройствах.
3. Требования к низкой задержке
Для некоторых интеллектуальных мобильных приложений реального времени (например, для мобильных игр AR/VR и интеллектуальных роботов) обычно действуют строгие требования к срокам, например, задержка 100 мс. На показатель задержки влияет множество факторов, в том числе ресурсы на периферийных устройствах, способ передачи данных и способ выполнения модели DNN.
Так это просто ФАД?
Умные машины, работающие на чипах ИИ, могут помочь расширить существующие рынки, поставить под угрозу действующих лиц и изменить распределение прибыли в таких отраслях, как производство, строительство, логистика, сельское хозяйство и энергетика.
Возможность собирать, интерпретировать и немедленно реагировать на огромные объемы данных имеет решающее значение для многих приложений с большими объемами данных, которые, по мнению футуристов, становятся широко распространенными: видеонаблюдение, виртуальная реальность, автономные дроны и транспортные средства и многое другое. Это будущее во многом зависит от того, что сделают возможным периферийные ИИ-чипы: внедрение интеллекта в устройство. [ДЕЛОЙТ]
По сути, ваш Iphone с шестиядерным процессором (2x3,1 ГГц Firestorm + 4x1,8 ГГц Icestorm) и графическим процессором Apple (4-ядерная графика) — это чудовищная машина, это такая трата, что мы используем его в основном для бездумного чирикать.
Однако у исследователей есть другой план.
Напишите мне в Linkedin, что ВЫ думаете, где будет Edge Intelligence в ближайшие 2–5 лет
Источники:
[ЧЖАО](https://arxiv.org/pdf/1905.10083.pdf)
[ХАМЗА АЛИ]](https://arxiv.org/ftp/arxiv/papers/2009/2009.00803.pdf)
[GOOGLE-TPU](https://cloud.google.com/edge-tpu)
[WIKI-AI-ACC](https://en.wikipedia.org/wiki/AI_accelerator)
[Тайс, Т. Н., и Вонг, Х.-С. П. (2017). Конец закона Мура: новое начало информационных технологий. Вычисления в науке и технике, 19 (2), 41–50. doi:10.1109/mcse.2017.29](https://sci-hub.se/10.1109/MCSE.2017.29)
