Здесь я обсуждаю затраты и преимущества глубокого обучения (и, в частности, иногда НЛП) по изменению климата.

  • Преимущество: глубокое обучение помогает извлекать знания из мультимедиа (текст, видео, аудио, изображения) новыми способами, что может помочь понять влияние изменения климата, включая источники и ранее неизвестные участники.
  • Стоимость: глубокое обучение также может потреблять огромные объемы вычислительной мощности. Хотя это и полезно, для многих существуют стимулы к снижению вычислительной мощности из-за ее стоимости.

В этой статье я резюмирую свое понимание этих двух сторон вопроса.

Меня волнует изменение климата, чем я могу помочь?

Если вам это интересно и вы хотите найти способы помочь, я являюсь участником замечательного Сообщества Climate Action Tech, группы из более чем 1000 увлеченных профессионалов с удивительно разнообразным диапазоном навыков, которые работать вместе со всего мира, чтобы помочь людям бороться с изменением климата с помощью технологий.

Глубокое обучение как фактор изменения климата

Хотя это здорово, что существуют такие институты, как МИЛА, которые представляют видение того, как научное сообщество может сотрудничать, коммерческие предприятия в первую очередь оптимизируют затраты. И здесь действуют несколько сил:

  • Чем больше, тем лучше. На эффективность глубокого обучения по-прежнему существенно влияют более крупные модели, которые требуют больше времени для изучения, потребляют больше ресурсов и стоят дороже.
  • Начиная с 2019 года глубокое обучение становится все более важным для предприятий в целом. За последние пару лет были достигнуты большие успехи в доступе к повседневной устной и письменной речи (преобразование речи в текст и понимание естественного языка), и это возможно только с глубокими нейронными сетями. В частности, внятная (не идеальная) автоматическая транскрипция разговоров в большом масштабе помогает улучшить передачу знаний и снизить риск, а также быстро улучшаются более совершенные инструменты для понимания и создания письменного слова.
  • Оптимизация автоматизированного машинного обучения. Даже базовые параметры конфигурации, такие как структура нейронной сети, могут кардинально изменить результаты, а также улучшена поддержка автоматизированных экспериментов с различными комбинациями настроек. Обычно это называется AutoML. (Для технически подкованных это включает такие аспекты, как поиск нейронной архитектуры, когда количество слоев и нейронов в нейронной сети настраивается, что вы можете увидеть с помощью Tensorflow Playground.)
  • Потребление ресурсов для технологий в целом растет, и увеличивается доля машинного обучения. Облачные вычисления обещают «бесконечные ресурсы» (включая вычисления и хранилище), и даже с постоянным снижением затрат и оптимизацией затрат - главным пунктом повестки дня для предприятий, можно с уверенностью предположить, что потребление и производство данных данной компанией будет продолжать расти. в целом. Машинное обучение и используемые им ресурсы почти наверняка внесут в это значительный вклад.

Но это еще не все: тенденции глубокого обучения, которые могут помочь ограничить изменение климата.

Люди довольно хорошие оптимизаторы, и в целом в сообществе машинного обучения эта закономерность предсказуема: как только что-то изучаемое действительно возможно, начинается работа, чтобы сделать это экономически целесообразным в производстве, что, помимо надежности, также означает рентабельное использование ресурсов. .

Оптимизация алгоритмов.

Несмотря на то, что с 80-х годов накопилось огромное количество замечательных исследований, которые нужно было наверстать, после того, как глубокое обучение снова стало популярным (около 2011 г.), улучшенные алгоритмы стали еще одной важной причиной, по которой качество глубокого обучения улучшилось за последние 7–7 лет. 8 лет, включая новые архитектуры (такие как внимание и трансформеры), улучшенные алгоритмы скорости обучения, улучшенные функции активации (ключевая функция нейрона) и лучшие наборы открытых данных, и это лишь некоторые из них.

Оптимизация с учетом затрат и времени.

Хотя оптимизации обычно повышают производительность, DAWNBench Стэнфордского университета уделяет особое внимание снижению потребления ресурсов: DAWNBench - это тестовый набор для сквозного обучения глубокому обучению и вывода. Время и стоимость вычислений являются критически важными ресурсами при построении глубоких моделей, однако многие существующие тесты ориентированы исключительно на точность модели . Посмотрите, как это привело к сокращению времени обучения и стоимости базы данных ImageNet с нескольких дней до 18 минут стоимостью 40 долларов Джереми Ховард и команда Fast.ai.

Оптимизация производства.

Некоторые из этих высокопроизводительных моделей машинного обучения, особенно в НЛП, стали непрактично большими для внедрения в производство. За последние пару лет был достигнут довольно впечатляющий прогресс в улучшении машинного интеллекта (в основном английского) текста, наиболее влиятельным из которых стал Google BERT в конце 2018 года, с подходом, который превзошел современное состояние. искусство глубокого обучения НЛП сразу в нескольких категориях. Когда количество параметров машинного обучения выросло с 340 млн + для BERT, OpenAI GPT-2 попало в массовую прессу в феврале 2019 года и достигло пика в августе 2019 года с чудовищной моделью Nvidia с 8 миллиардами параметров, ситуация вышла из-под контроля, и практически ни у кого нет ресурсов для прямого использования этих моделей. (Например, в моем собственном исследовании глубокого обучения / НЛП в CognitionX я обнаружил, что один экземпляр BERT (с использованием отличного bert-as-service) потребляет 16 ГБ при запуске и стабилизируется на уровне около 6 ГБ, что может стоить многие сотни, если не тысячи долларов в месяц: например, Heroku | AWS | Google | Azure.)

Так как же люди это решили? Проблема не решена полностью, но был продемонстрирован некоторый успех в использовании дистилляции модели глубокого обучения, такой как DistillBERT от HuggingFace, с использованием модели учитель / ученик для сокращения модели на 90 % + при сохранении или даже улучшении производительности.

Технология глубокого обучения как инструмент в борьбе с изменением климата

MILA профессора Йошуа Бенжио представила (на выступлении Element AI 31 января 2019 года в Лондоне) следующие заголовки для экологических приложений ИИ:

  • Оптимизация энергоресурсов: интеллектуальные сети, прогнозирование спроса, минимизация транспортных расходов.
  • Висцерализация: визуализация с целью привнести эмоции в общение со ссылкой на исследования, показывающие, что сильные чувства могут помочь создать устойчивые воспоминания. Визуализация будущего воздействия изменения климата. Например, см. Симуляцию воздействия изменения климата на исторические здания, проведенную UK Natural Trust 25 Oct 2019.
  • Моделирование климата: прогнозирование воздействия изменения климата
  • Ускоренные исследования и разработки новых материалов
  • Меры по сохранению

Также Bengio представил гуманитарные приложения ИИ:

  • Компьютерное зрение на спутниковых снимках: кризисные меры, мониторинг прав человека, природоохранные мероприятия (например, незаконные рубки леса в Индонезии, октябрь 2019 г.)
  • Сельское хозяйство: обнаружение болезней растений, оптимизация методов лечения.
  • Здравоохранение: выявление заболеваний, предлагаемые методы лечения, помощь инвалидам и сокращение расходов.
  • Образование и Окружающая среда

Читать далее

ИИ по изменению климата: всестороннее введение в ряд исследовательских работ, чтобы познакомить вас с концепциями, имеющими отношение к изменению климата, которые включают электроэнергетические системы, транспорт, здания и города, промышленность, фермы и леса, удаление CO2, прогнозирование климата, влияние на общество. , солнечная геоинженерия, образование и финансы.

Монреальская декларация ответственного развития ИИ: предложила этические принципы, основанные на 10 фундаментальных ценностях: благополучие, уважение к автономии, защита частной жизни и близости, солидарность, демократическое участие, справедливость, включение разнообразия, осмотрительность, ответственность и устойчивое развитие. [«МИЛА] »

Энергетические и политические соображения для глубокого обучения в НЛП (PDF, 5 июня 2019 г.):

Решение проблемы изменения климата с помощью машинного обучения (PDF, 10 июня 2019 г.):

Deeplearning.ai: отличный курс для программистов, которые знакомы с небольшой алгеброй и математическим расчетом, который вы закончите с твердым пониманием основ и практическим опытом.

Текущее состояние облачных вычислений 2019: приоритет номер один для предприятий - оптимизация затрат на облачные вычисления

Стоимость облака резко падает (январь 2018 г.): взгляд на цены Amazon AWS за последние несколько лет

Born Again Neural Networks (12 мая 2018 г.): извлечение знаний через среднее образование учителя / ученика

Будущие события

14 декабря 2019 г., Ванкувер: семинар по академическим исследованиям NeurIPS: решение проблемы изменения климата с помощью машинного обучения с участием международного технического лидера и старшего научного сотрудника Google Джеффа Дина. На семинаре не будут записываться заседания, поэтому присутствующим необходимо делать записи, чтобы добиться больших успехов в борьбе с изменением климата.