Еженедельный информационный бюллетень с более чем 100 000 подписчиков, в котором обсуждаются важные исследовательские работы по машинному обучению, крутые технические выпуски, деньги, полученные от ИИ, и реальные реализации.
📝 От редакции: решение одного из фундаментальных вопросов машинного обучения
Бешеные темпы исследований в области машинного обучения (ML) поднимают сложность нейронных сетей на новый уровень. Большие нейронные сети кажутся современными в наши дни, достигая новых вех в таких областях, как обработка естественного языка (НЛП), компьютерное зрение и анализ речи. Несмотря на прогресс, одним из самых значительных ограничений для внедрения больших моделей машинного обучения остается то, насколько мало мы знаем о том, как они обобщают знания. Возможно, одна из самых больших загадок машинного обучения - это понимание того, почему функции, изученные нейронными сетями, обобщаются на невидимые данные. Мы все впечатлены производительностью GPT-3, но не можем объяснить это. Будущее машинного обучения должно быть основано на объяснимом машинном обучении, и для его достижения нам, возможно, придется вернуться к первым принципам.
Несколько дней назад исследователи из Berkeley AI Research (BAIR) незаметно опубликовали то, что, на мой взгляд, могло бы стать одной из самых важных статей по машинному обучению за последние несколько лет. За странным названием Собственные значения нейронного касательного ядра точно предсказывают обобщение BAIR пытается сформулировать основополагающую теорию обобщения. Вкратце, исследование BAIR переформулирует субъективные вопросы почему с количественной проблемой: с учетом сетевой архитектуры, целевой функции f и обучающего набора n случайные примеры, можем ли мы эффективно предсказать производительность обобщения изученной функции сети f ? Исследование показывает, что непонятная сложность нейронных сетей определяется относительно простыми правилами. Несмотря на то, что исследование BAIR нельзя считать законченной теорией обобщения нейронных сетей, это, безусловно, обнадеживающий шаг в этом направлении.
🗓 На следующей неделе в TheSequence Edge:
Edge № 137: Подробный обзор нашей серии статей с самоконтролем (SSL).
Edge # 138: подробное описание Toloka App Services
🔎 Исследования машинного обучения
Группирование задач в многозадачных моделях
Какие типы задач нейросеть должна изучать вместе? Google Research опубликовал документ, в котором предлагается метод группировки задач для многозадачных сетей → подробнее в блоге Google Research
Обучение и развитие
Исследователи из Стэнфордского университета опубликовали статью, в которой предлагается метод, называемый глубокое эволюционное обучение с подкреплением или DERL, который использует сложные виртуальные среды для моделирования эволюционной динамики и улучшения обучения агентов → подробнее читайте в исходной статье о природе
Теория обобщения из первых принципов
Berkeley AI Research (BAIR) опубликовала увлекательную статью, в которой излагается количественная теория обобщения нейронных сетей → подробнее в блоге BAIR
Достижения в оптимизации на основе моделей
Berkeley AI Research (BAIR) опубликовала сообщение в блоге, в котором резюмируются последние достижения в методах оптимизации на основе моделей, которые активно используются в задачах проектирования → подробнее в блоге BAIR
🛠 Реальный мир ML
Грамматические исправления в Pixel 6
Google Research опубликовал некоторые подробности о моделях, обеспечивающих возможности коррекции грамматики на Gboard на Pixel 6 → подробнее в блоге Google Research
Адаптация решений LinkedIn для управления талантами по машинному обучению к временам COVID
Группа инженеров LinkedIn опубликовала сообщение в блоге с подробным описанием некоторых строительных блоков, используемых для улучшения решений машинного обучения на основе динамики рынка труда во время пандемии → подробнее в блоге LinkedIn
🤖 Крутые релизы AI Tech
Пользовательский интерфейс Metaflow
Netflix представил новый пользовательский интерфейс для своей платформы Metaflow ML → подробнее в блоге Netflix
Экземпляры EC2 DL1
AWS объявила об общедоступности инстансов DL1, которые улучшают обучение моделей глубокого обучения до 40% → подробнее в этом пресс-релизе от AWS
💸 Деньги в AI
- Платформа разработки моделей искусственного интеллекта Abacus.ai привлекла 50 миллионов долларов в раунде серии C, проводимом Tiger Global. Наем.
- Платформа качества данных Anomalo привлекла раунд серии A 33 миллиона долларов, возглавляемый Norwest Venture Partners. Найм удаленный.
- Платформа регистрации и аналитики безопасности Devo Technology привлекла 250 миллионов долларов в рамках раунда финансирования серии E, проводимого TCV. Найм в Мадриде, Испания.
- Стартап в области кибербезопасности Dragos привлек 200 миллионов долларов в рамках раунда финансирования серии D, возглавляемого Koch Disruptive Technologies. Прокатный пульт / США / Канада.
- Поставщик услуг сетевой автоматизации и безопасности BackBox привлек 32 миллиона долларов в раунде серии A, проводимом венчурной фирмой Elsewhere Partners. Найм в Далласе, США / Израиль / Удаленный.
- Антифишинговая платформа SlashNext привлекла 26 миллионов долларов в виде венчурного финансирования серии B. Наем.
- Платформа визуального интеллекта без кода Cogniac привлекла 20 миллионов долларов в рамках раунда финансирования серии B1, проводимого National Grid Partners. Найм пульт / США.
- Провайдер модерации контента Two Hat был приобретен Microsoft за неизвестную сумму.
- Платформа автоматизации бизнеса Clear Software была приобретена Microsoft на условиях, которые не разглашаются.
- Платформа бизнес-аналитики Momentive была куплена компанией Zendesk.
- Платформа разговорного облака Приобретена LivePerson, стартап по распознаванию речи и разговорной аналитики VoiceBase и платформа взаимодействия с клиентами Tenfold за нераскрытую сумму. Найм глобально.
