Все мы знаем, что алгоритмы становятся умнее с каждым днем, но становятся ли они экологичнее?

Вовсе нет, и это становится серьезной проблемой. В результате исследователи упорно работают над открытием новых способов разработки небольших алгоритмов.

В этой статье мы собираемся обсудить, почему Tiny AI - важный шаг на пути к обеспечению будущего для AI.

Искусственный интеллект продемонстрировал множество прорывов за последние несколько лет. Глубокое обучение - это один из тех достижений, благодаря которым многие AI. системы, обеспечивающие высокую точность. Благодаря глубокому обучению алгоритмы могут сканировать медицинские изображения и идентифицировать опухоли, управлять автономными автомобилями даже в сложных условиях движения и переводить литературу практически с любого языка на другой.

Каждый день А. становится более точным, но высокая точность имеет скрытые экологические издержки.

Исследователи из Массачусетского университета в Амхерсте недавно провели исследование, которое показало, насколько энергоемким является обучение алгоритма. Согласно исследованию, обучение одного алгоритма может потреблять в 5 раз больше выбросов углекислого газа, чем у среднего автомобиля, или эквивалент примерно 300 полетов туда и обратно между Нью-Йорком и Сан-Франциско.

В поисках высокой точности мы, кажется, потеряли акцент на энергоэффективности.

Рой Шварц, научный сотрудник Института Аллена, и его соавторы предполагают в статье под названием Green A.I., что A.I. Исследователи должны стремиться сделать энергоэффективность критерием оценки наряду с точностью и другими показателями.

В недавней статье в Slate цитируется заявление Шварца: Мы не хотим достичь состояния, в котором A.I. станет значительным фактором глобального потепления .

Вот где Tiny A.I. может помочь.

Что такое Tiny AI?

Крошечный ИИ - это термин, который используется для описания усилий исследовательского сообщества ИИ по уменьшению размера алгоритмов, особенно тех, которые требуют большого количества наборов данных и вычислительной мощности. Tiny AI Исследователи разрабатывают методы, называемые методами дистилляции, которые не только уменьшают размер модели, но и делают это, ускоряя вывод и поддерживая высокий уровень точности. Используя эти методы дистилляции, модель может быть значительно уменьшена до 10 раз. Кроме того, гораздо меньший алгоритм может быть развернут на периферии без отправки данных в облако, вместо принятия решений на устройстве.

Возьмем, к примеру, BERT. BERT - это предварительно обученная языковая модель (PLM), разработанная Якобом Девлином и его командой в Google. Этот алгоритм очень полезен, потому что помогает писать. Это возможно, потому что, в отличие от предыдущих моделей, BERT понимает слова и контекст. В результате BERT может делать предложения по написанию или заканчивать ваши предложения.

Но BERT - большая модель. MIT Technology Review сообщил, что большая версия BERT имеет 340 миллионов параметров данных. Кроме того, для его однократного обучения потребовалось столько электричества, сколько было бы достаточно для питания семьи в США в течение 50 дней.

BERT стал идеальной целью для Tiny A.I. исследователи. В недавней статье исследователи из Huawei заявили, что им удалось уменьшить размер BERT в 7,5 раза при одновременном повышении скорости в 9,4 раза.

Свою новую модель они назвали TinyBERT. Но насколько хорош TinyBERT по сравнению с BERT? Авторы утверждают, что TinyBERT достигает 96% производительности своего учителя BERT.

По мере развития этих достижений мы увидим множество преимуществ Tiny A.I. С одной стороны, существующие сервисы, такие как голосовые помощники и камеры, не нуждаются в передаче данных между облаком и локальными устройствами.

С другой стороны, Tiny AI позволит нам развертывать сложные алгоритмы на периферийных устройствах. Например, анализ медицинских изображений с помощью смартфона. Или автономное вождение без облака. Кроме того, хранение ваших данных на периферии также улучшает конфиденциальность и безопасность данных.

Учитывая стремительный рост искусственного интеллекта, важно иметь исследователей и инженеров, которые изучают и измеряют влияние обучения и развертывания своих алгоритмов на окружающую среду.

Давайте не просто стремимся строить более точные модели. Давайте также рассмотрим их влияние на окружающую среду. В противном случае мы можем столкнуться с еще одной технологией, которая нанесет ущерб нашей планете.

Первоначально опубликовано на https://www.rapiddigital.ventures 28 февраля 2020 г.