Всем привет, добро пожаловать в Dynamicly Typed #22! Сегодня в области искусственного интеллекта я расскажу о мобильных приложениях, которые распознают виды растений и цветов по фотографии, а также о «пауках с искусственным интеллектом», которые Pixar использовала для создания фонов для Истории игрушек 4. Что касается исследований в области машинного обучения, то есть новый выпуск набора данных о беспилотных автомобилях от Waymo, еще один выпуск GPT-2 от OpenAI и эпизод подкаста Eye on AI, призывающий исследователей машинного обучения взглянуть на климат. сопутствующие проблемы.

Я также нашел супер творческий веб-сайт, который использует машинное обучение на устройстве для наблюдения за вашей осанкой, так что вы можете прочитать его, только когда сидите прямо; а также художественная выставка искусственного интеллекта в Берлине. Наконец, в некоторых ~ личных новостях ~ я начинаю свою первую работу по машинному обучению на полную ставку за две недели! Подробнее об этом в конце сегодняшнего DT.

Произведенный искусственный интеллект 🔌

PictureThis – это приложение и веб-сайт, который идентифицирует растения и цветы по фотографиям. Я скоро переезжаю в свою новую квартиру в Амстердаме и не могу дождаться, чтобы украсить ее множеством растений. Поэтому каждый раз, когда я был в гостях у друзей в последние несколько недель, я спрашивал их об их зелени. Для тех случаев, когда они не помнили, как называется конкретный, это приложение могло бы пригодиться! Это хороший пример продуктового ИИ, потому что он использует модели классификации изображений, чтобы попытаться выяснить, на какое растение вы наводите камеру своего телефона. Более:

  • На сайте приложения есть ссылки для скачивания для iOS и Android: PictureThis — Ботаник в твоем кармане (бесплатная 7-дневная пробная версия и $19,99/год после этого).
  • iNaturalist — это бесплатная альтернатива (также с автоматической идентификацией), поддерживаемая National Geographic и Калифорнийской академией наук. Он даже позволяет вам вносить свои наблюдения в репозитории научных данных, и сейчас я использую его на своем телефоне. Ссылка: Сообщество натуралистов — iNaturalist.org.

Pixar использовала «пауков с искусственным интеллектом» для создания фоновой паутины для Истории игрушек 4, в которой есть несколько сцен в магазине антиквариата, которые должны были казаться старыми и заброшенными. Помимо добавления слоя пыли поверх всех объектов в магазине и рассыпания вокруг «разного мусора, волос и меха», аниматоры хотели заполнить фон декорации паутиной. Супервайзер наборов Томас Джордан для блога компании Уолта Диснея:

[Традиционно] аниматорам приходилось плести паутину по одной нити за раз, что занимало несколько месяцев. … [Вместо этого] один аниматор написал программу, имитирующую искусственный интеллект. паук плетет паутину: «Он вел пауков туда, где хотел, чтобы они плели паутину, и они делали эту работу за нас».

«Вы должны сказать пауку, где должны проходить точки соединения паутины, — говорит Джордан, — но тогда он сделает все остальное».

Я немного поискал, но не смог найти никаких технических подробностей о пауках. Например, являются ли они «ИИ» в том смысле, что неигровой персонаж в видеоигре, который просто следует некоторым написанным от руки правилам, чтобы принять решение о своем следующем действии, называется ИИ? Или они являются «ИИ» в том смысле, что научились своему поведению, абстрагируя его от данных, наблюдаемых у настоящих пауков? Только последнее можно назвать тем, что я хотел бы осветить в этом информационном бюллетене, но, тем не менее, я подумал, что это забавная история, которую стоит выделить. Более:

Исследования в области машинного обучения 🎛

Компания по производству беспилотных автомобилей Waymo также опубликовала данные о своих тренировках в открытом доступе вслед за другими игроками в этой области, такими как китайский технологический гигант Baidu и компания Lyft, занимающаяся поиском автомобилей (см. DT # 19). Брэд Темплтон, ранее работавший в автомобильной команде Google, написал о важности этого релиза:

Waymo широко признан лучшим в своем деле. Их данные хороши, и они также содержат плоские 2D-изображения с камеры, которые были синхронизированы с 3D-сканами LIDAR той же сцены, в чем еще хороша Waymo. … Этот архив станет благом для ученых-исследователей, которые не могут платить [за сбор и маркировку этих данных].

Но есть одна загвоздка: данные строго лицензированы только для некоммерческого использования, поэтому многие конкуренты Waymo не могут использовать их напрямую. Однако в долгосрочной перспективе подобная поддержка научных кругов должна способствовать продвижению фундаментальных исследований (классификация объектов, слияние датчиков, оптический поток и т. д.), на основе которых строятся все беспилотные системы. Читайте полный анализ Темплтона на Forbes: Waymo бесплатно раздает данные для обучения самостоятельному вождению, но с ограничениями.

OpenAI опубликовала 6-месячное продолжение своего выпуска GPT-2. GPT-2 — это языковая модель OpenAI, которую можно использовать для создания текста, убедительно выглядящего так, как будто он был написан человеком. С самого начала это вызывало споры, поскольку изначально OpenAI — опасаясь, что GPT-2 будет использоваться для автоматического создания фальшивых новостей и пропаганды — выпустила лишь небольшую, менее функциональную версию модели, из-за чего другим ученым было трудно ее оценить. или повторить их работу. В то время я призывал их выпустить полную модель, чтобы привлечь внимание общественности к ее возможностям (см. DT #8).

Вместо этого в течение последних полугода OpenAI поэтапно выпускает все более крупные версии модели (см. DT № 13), открывая ее сначала для доверенных исследовательских институтов, а затем для широкой публики. В своем последнем выпуске чуть более двух недель назад они также опубликовали некоторые из своих выводов об этом подходе:

  • Координация затруднена, но возможна: OpenAI тесно сотрудничала с более чем пятью другими группами, которые воспроизвели GPT-2, и убедилась, что никто еще не выпустил полноразмерную модель.
  • Людей можно убедить синтетическим текстом: как они и опасались, фальшивые новости, написанные GPT-2, могут быть чрезвычайно эффективными; пропаганда, написанная на похожей языковой модели под названием GROVER, на самом деле кажется людям более «правдоподобной», чем пропаганда, написанная людьми.
  • Обнаружение не так просто: автоматизированные системы для обнаружения текста, написанного с помощью GPT-2 или аналогичных моделей, эффективны только на 90 %, чего недостаточно, чтобы остановить потенциальных злоумышленников.

Ну и что дальше?

В рамках нашей стратегии поэтапного выпуска наш текущий план состоит в том, чтобы выпустить модель параметров 1558M через несколько месяцев, но вполне вероятно, что данные от партнера или злонамеренное использование нашей модели 774M могут изменить это.

Мы считаем, что сочетание поэтапного выпуска и обмена моделями на основе партнерства, вероятно, станет ключевой основой ответственной публикации в области ИИ, особенно в контексте мощных генеративных моделей. Проблемы, присущие крупным моделям, со временем будут расти, а не уменьшаться.

Я думаю, что передумал полгода назад, и сейчас я согласен с этим подходом — нам нужны системы обнаружения, созданные надежными партнерами, чтобы хотя бы догнать текущие общедоступные версии GPT-2, прежде чем появятся новые, более функциональные. становятся доступными. Дополнительный анализ и полный график см. в блоге OpenAI: GPT-2: 6-Month Follow-Up.

Быстрые ссылки на ресурсы машинного обучения ⚡️(посмотреть все 41)

  • Turbo — это цветовая карта для визуализации изображений глубины (распространенная в исследованиях компьютерного зрения), которая более однородна для восприятия, интерпретируема и доступна людям с цветовой слепотой. Ссылка: Турбо
  • Справедливость и машинное обучение – это бесплатный онлайн-учебник, в котором машинное обучение рассматривается с антидискриминационной точки зрения. Ссылка: fairmlbook.org.

Искусственный интеллект для климатического кризиса 🌍

Взгляд на ИИ Подкаст взял интервью у Джона Платта о смягчении последствий глобального потепления. Платт — заслуженный научный сотрудник Google и один из редакторов 97-страничного журнала Rolnick et al. (2019) на тему Борьба с изменением климата с помощью ИИ, которая лежит в основе нескольких семинаров по климату на крупных конференциях по исследованиям в области машинного обучения (см. DT # 16 и DT # 19).

Крейг Смит, руководитель Eye on AI, говорит, что этот эпизод предназначен как призыв к действию для его слушателей-исследователей и инженеров машинного обучения (таких как многие из нас!) есть какие-либо проблемы, где мы можем внести свой вклад. Платт думает:

[ML может быть особенно эффективным для] интеллектуальных измерений, … пытаясь понять эту очень, очень сложную геофизическую/экономическую систему [которая контролирует наш климат].

[Там] не будет серебряной пули. Но, может быть, если мы все будем работать над разными частями, мы сможем добиться прогресса.

Полный эпизод можно прослушать здесь: Эпизод #020 — Взгляд на ИИ. Это хороший материал, который также затрагивает ряд других проектов, не связанных с машинным обучением, таких как поиск дешевых источников энергии с нулевым выбросом углерода.

Лично я провел некоторое время этим летом, изучая проблему прогнозирования фотоэлектрической мощности и создавая веб-сайт для Generation Climate Europe, но я пока не нашел действительно хорошего побочного проекта по машинному обучению для изменения климата. Если у кого-то из вас есть что-то, чем вы увлечены и над чем хотели бы поработать вместе (или просто попросите меня показать здесь), пожалуйста, свяжитесь с нами!

Классные вещи ✨

Fix Posture — это экспериментальный веб-сайт, который размывает себя, если обнаруживает, что ваша осанка неправильная. Сайт Glitch Олеси Чернявской использует реализацию PoseNet TensorFlow.js для определения вашей позы — положения. частей вашего тела относительно друг друга — с камеры вашего ноутбука. Все это происходит локально, без необходимости отправлять ваше видео на удаленный сервер, поэтому сайт практически моментально реагирует на ваши движения. Мне было очень весело играть с этим, и на сайте Чернявской также есть много информации о том, как она это спроектировала и построила: fix-posture.glitch.me.

Джин Коган запустил выставку интерактивного искусства искусственного интеллекта в Futurium в Берлине. Вот краткое изложение инсталляций со ссылками на демонстрационные видеоролики/твиты Когана:

  • Невидимый Берлин — это песочница, в которой вы можете размещать на поверхности цветные фигуры, изображающие воду, здания, зелень и т. д. Верхняя камера передает это в генеративную состязательную сеть, а компьютер визуализирует и отображает, как будет выглядеть вид со спутника на область с такой планировкой.
  • AI Drawing Studio — это копия GauGAN от NVIDIA (см. DT #10), где вы можете рисовать фигуры на сенсорном экране и наблюдать, как они превращаются в пейзаж.
  • Кубистское зеркало — это большая проекция, применяющая перенос стиля (генерация версии изображения в стиле картин конкретного художника) на прямую трансляцию толпы с камеры. (Вы можете сделать это самостоятельно, используя такие сайты, как Deep Dream Generator, который я использовал для создания фиолетового изображения героя в верхней части этого письма.)

Если вы находитесь недалеко от Берлина, это определенно поможет вам весело провести день!

Мои вещи 😁

Я начинаю свою первую работу в области машинного обучения на полную ставку! Я буду работать в Plumerai, небольшом стартапе из Лондона и Варшавы, который занимается созданием микросхем для бинаризованных нейронных сетей (BNN). Идея, лежащая в основе BNN, взята из статьи Courbariaux et al. (2016), в котором утверждается, что нейронные сети с 1-битными активациями и весами могут быть почти такими же эффективными, как традиционные (8-, 16- и 32-битные) сети, при меньшем использовании памяти и энергии.

За последние несколько лет исследования в этой области столкнулись с проблемой курицы и яйца: чтобы получить преимущества использования энергии от BNN, вам нужно запустить их на специализированных чипах (которых еще не существует); и если вы создадите эти чипы, вам понадобится программное обеспечение и исследовательская экосистема, чтобы иметь рынок для продажи ваших чипов (которого также пока не существует). Цель Plumerai состоит в том, чтобы решить эту проблему с двух сторон: варшавская часть компании занимается созданием заказных чипов, а лондонская часть компании работает над программным обеспечением (например, библиотекой TensorFlow Larq) и исследованиями (например, Хельвеген и др. (2019)). Таким образом, они создадут как чип для более энергоэффективного глубокого обучения, так и окружающую экосистему для его продажи.

Plumerai только что открыла новый офис в Амстердаме для работы над программным обеспечением и исследованиями, где я буду работать инженером по глубокому обучению, внедряя BNN и создавая Larq. Я не могу дождаться, чтобы начать! (Если Plumerai также кажется вам интересным, не стесняйтесь обращаться к ним — они нанимают.)

Если вам понравился этот выпуск Dynamically Typed, почему бы не подписаться?

Первоначально опубликовано 15 сентября 2019 г. на странице https://dynamicallytyped.com.