МГЭИК, орган ООН, которому поручено оценивать науку, связанную с изменением климата, пришла к выводу, что деятельность человека, в основном за счет выбросов парниковых газов, однозначно вызвала глобальное потепление. ». Даже небольшое число несогласных признают, что этот консенсус создает сильное давление в пользу перемен. Возможно, неудивительно, что люди задают вопросы о влиянии машинного обучения (ML) на энергию и выбросы CO2.

Уводит ли нас тренд машинного обучения на неустойчивый климатический путь?

Из моих многочисленных бесед с корпоративными клиентами я знаю, что это ключевая проблема — почти все хотят поступать правильно.

Одно можно сказать наверняка, заголовки многочисленны:

Но насколько велика проблема, каковы тенденции и как мы можем улучшить ситуацию?

Оценка энергетического воздействия машинного обучения

По данным Международного энергетического агентства (МЭА), мировое потребление электроэнергии центрами обработки данных, без учета криптовалюты, в 2021 году составило 220–320 ТВтч2. Или, другими словами, около 0,9–1,3% мирового конечного спроса на электроэнергию. Учитывая его относительную новизну, рабочие нагрузки машинного обучения будут лишь небольшим подмножеством этого использования.

Кроме того, с 2010 года энергопотребление центров обработки данных (за исключением криптографии) выросло лишь умеренно, несмотря на сильный рост спроса на услуги центров обработки данных. Отчасти это связано с повышением эффективности ИТ-оборудования и систем охлаждения, а также с переходом от небольших неэффективных корпоративных центров обработки данных к более эффективным облачным и гипермасштабируемым центрам обработки данных.

Эти цифры, однако, не включают энергию, используемую для майнинга криптовалюты, которая в 2021 году составляла 100–140 ТВтч. Да, вы правильно поняли, криптовалюта потребляет почти половину всей энергии, используемой всеми другими видами деятельности центра обработки данных. Вот что происходит, когда технический тренд выходит из-под контроля.

Google, технологический гигант с одним из самых больших требований к использованию ML, сообщает, что энергопотребление ML остается стабильным на уровне ‹15% от общего энергопотребления компании. Учитывая особый характер Google, вполне вероятно, что совокупная доля, включая более консервативные фирмы, значительно меньше 15%.

Трудно оценить общее глобальное потребление энергии машинным обучением, но справедливо предположить, что это относительно небольшая доля от общего энергопотребления центров обработки данных и значительно меньше, чем при добыче криптовалюты. Тем не менее, ИИ сейчас имеет большое значение, так что, возможно, он будет расти, поэтому нам стоит хорошенько об этом подумать.

Давление для перемен

Стандартной рабочей лошадкой для обучения моделей ИИ и вывода является Nvidia A100, графический процессор, стоимость аренды которого в облаке составляет порядка 1000 долларов в месяц. A100 использует мощность 300 Вт.

H100 — следующее поколение после A100, которое только начинает использоваться. Он потребляет 350 Вт энергии, но имеет в 2–3 раза большую производительность, чем A100, поэтому на самом деле представляет собой примерно вдвое меньше энергии, необходимой для той же рабочей нагрузки.

Однако A100 и H100 дороги, и для обучения продвинутой модели требуется много множителей, что делает эту игру дорогой. Эти реальные финансовые факты побуждают исследователей машинного обучения исследовать, как можно значительно снизить требования к использованию ресурсов.

LoRA снижает потребление энергии

В настоящее время много внимания уделяется Низкоранговой адаптации больших языковых моделей (LoRA), методу, который обеспечивает резкое сокращение использования памяти, ресурсов и энергии.

«QLORA снижает средние требования к памяти для точной настройки модели с параметрами 65B с ›780 ГБ памяти графического процессора до ‹48 ГБ без ухудшения времени выполнения или производительности прогнозирования… Используя QLORA, мы обучаем семейство моделей Guanaco с… 97,8% от уровня производительности ChatGPT… при этом обучение возможно менее чем за 12 часов на одном потребительском графическом процессоре».

Эта повышенная эффективность использования памяти позволяет выполнять точную настройку ML небольших моделей на потребительских графических процессорах, таких как Tesla T4, которые бесплатны и легко доступны в ноутбуках Kaggle или Google Colab. Как сказал бы Боб Дилан, времена меняются — теперь любой может точно настроить модель, даже если она совсем маленькая.

Вероятно, будут обнаружены и другие оптимизации. Фактически, в исследовательском документе, опубликованном Google, сообщается, что внедрение передовых методов может сокращать потребление энергии до 100 раз и выбросы углерода до 1000 раз.

Отраслевой консенсус заключается в том, что затраты на обучение и выводы достигли высокой отметки, и в настоящее время исследователи в основном сосредоточены на снижении потребности в ресурсах.

Открытость повышает эффективность

Открытость вдохновляет на соперничество между исследователями. Почти во всех статьях по машинному обучению приводятся эталонные показатели, демонстрирующие эффективность той или иной части исследования машинного обучения. В основном это имеет тенденцию сосредотачиваться на производительности — постепенно приближая модели к человеческому уровню возможностей.

В некоторых ограниченных случаях мы начинаем видеть в этих исследованиях статистические данные об использовании вычислительных ресурсов и энергии. Это очень хорошо — само существование метрики в одной статье побуждает других исследователей сообщать в своих статьях более качественные цифры.

Открытие этих данных также позволяет клиентам делать более экологичный выбор — если вы знаете, что модель-а более эффективна, чем модель-б, вы, скорее всего, выберете модель-а. Это еще больше способствует повышению эффективности, поскольку поставщики конкурируют друг с другом, а клиенты голосуют ногами, выбирая более эффективные решения.

Однако в настоящее время эти данные сообщаются лишь на очень разрозненной основе. В большинстве исследований по-прежнему не раскрывается энергетическая статистика, а если и раскрывается, то зачастую слишком расплывчато или с помощью измерения разных вещей, что затрудняет сравнение. Кроме того, использование энергии коммерческими организациями, такими как Google и OpenAI, очень непрозрачно. В результате оценка и сравнение экологических последствий выбора машинного обучения в настоящее время чрезвычайно сложна.

Измерение энергопотребления

Как всегда с ML, поиск в arXiv выдает интересный и очень важный материал.

Как оценить углеродный след при обучении моделей глубокого обучения? Путеводитель и обзор

Однако сразу становится ясно, что эта область очень сложна, с большим разнообразием различных инструментов и методов. Очевидно, что необходим некоторый уровень стандартизации, иначе все будут просто сообщать разные статистические данные, собранные разными способами, что сделает невозможным сравнение.

Тем не менее наличие подробной информации об измерении энергопотребления ML является положительным моментом. Тот факт, что эта статья была опубликована только в этом месяце, свидетельствует о растущем интересе к этой теме.

Регулирование?

В последнее время много говорят о регулировании ИИ. Если говорить лично, то я за то, чтобы регулирование было более открытым — введение отчетности по энергетической статистике было бы очень полезно.

Нам также может понадобиться стандартизированный набор тестов и способы измерения энергопотребления. В конечном счете, может потребоваться орган по стандартизации, который проводит такие тесты или наблюдает за ними. В конце концов, такие вещи, как маркировка CE и соответствие FCC, существуют в физическом мире уже очень давно. Может быть, что-то нужно в мире программного обеспечения.

Важность использования CPU/GPU

За много лет работы в корпоративных ИТ я знаю, что важным фактором энергоэффективности в центре обработки данных является использование серверов. Серверы сжигают энергию независимо от того, используете вы их или нет, поэтому машина, которая интенсивно используется, может быть на несколько порядков более энергоэффективной, чем та, которая простаивает. По-прежнему остается фактом, что эксплуатация вычислительной инфраструктуры при высоких уровнях использования требует большого уровня навыков, навыков, которыми не обладает большинство корпоративных ИТ-отделов. Поверь мне, я был там ;-)

Я мог бы арендовать себе выделенный A100 в Hugging Face, загрузить в него самую эффективную модель, которую только можно вообразить, и чувствовать себя довольно самодовольным — в конце концов, теперь я буду работать с высокоэффективной моделью машинного обучения. К сожалению, действительно ли это эффективно или нет, зависит от того, насколько далеко я могу растянуть его использование.

Если мой A100 просто работает и большую часть дня ничего не делает, мне придется распределить затраты энергии на постоянную работу этого A100 на небольшое количество транзакций. Другими словами, несмотря на мою эффективную модель, на самом деле это будет очень неэффективное решение.

Чрезмерное внимание к эталонным сравнениям между моделями, исключая использование реальной инфраструктуры, может привести к ошибочным выводам. Вполне вероятно, что такие специалисты, как Google, Microsoft и OpenAI, управляют своими кластерами графических процессоров на очень высоком уровне — определенно лучше, чем я, вероятно, достигну на своем специализированном Hugging Face A100. Если у меня нет большого количества транзакций, проходящих через мой A100, одна из больших коммерческих моделей может быть более экологичным решением — мне придется отложить свое самодовольство в сторону 😔

Краткое содержание

Мы все еще находимся на ранних стадиях эволюции машинного обучения и можем ожидать существенных изменений в том, как строятся эти системы, по мере накопления опыта.

Google оценил потенциал сокращения энергопотребления в 100–1000 раз за счет внедрения лучших практик машинного обучения. Оптимизация программного обеспечения, такая как LoRA, уже доказывает потенциал значительного повышения эффективности, и мы можем ожидать, что эта тенденция сохранится. Разумно предположить, что энергозатраты машинного обучения как на обучение, так и на логические выводы, скорее всего, уменьшатся, а не увеличатся.

Однако важна не только эффективность разработки программного обеспечения — операционные навыки, которые могут запускать большие кластеры графических процессоров в масштабе с высоким уровнем использования, окажут значительное влияние на общую энергоемкость решения. Мы должны быть осторожны, сравнивая только эталонные данные и не принимая во внимание показатели использования реальной инфраструктуры при расчете энергоемкости решения.

Клиенты могут делать осознанный выбор и оказывать влияние только в том случае, если им предоставлены данные, подтверждающие этот выбор. Требование публикации открытых и точных данных о вычислениях и энергопотреблении создателями и операторами моделей поможет предоставить этим клиентам возможность делать более экологичный выбор, а также поощрит и ускорит конкурентный дух повышения эффективности машинного обучения.

Предстоит проделать большую работу по экологизации рабочих нагрузок машинного обучения, но есть много причин для оптимизма в отношении возможности резкого повышения эффективности. Сегодня это сложный и беспорядочный ландшафт данных со многими недостающими частями мозаики. Тем не менее, попытки осмыслить имеющиеся доказательства и задать вопросы поставщикам могут только послать сигнал о том, что это важно, и способствовать улучшению как открытости данных, так и эффективности модели 🌿🤖👍🏻