Большая языковая модель и обучение с подкреплением — два основных ключевых слова NeurIPS 2022.
После трех лет виртуальных конференций NeurIPS 2022, конференция и семинар по нейронным системам обработки информации, провела гибридную конференцию в Новом Орлеане с 29 ноября. успешное проведение CVPR, конференции по компьютерному зрению и распознаванию образов, в июне этого года. Этот художественный город не только предоставил развлечения, такие как джаз и изысканные картины, исследователям машинного обучения из разных стран мира, но и продемонстрировал культуру города, охватывающую разнообразие.
Семинары по интересам
В первый день конференции было проведено несколько семинаров по интересам, представляющих различные аспекты, такие как «Женщины в машинном обучении», LatinX в ИИ, Queer в ИИ, NewInML, Black в ИИ, Коренные жители в ИИ, Глобальный Юг в ИИ и Североафриканцы. в мл. В целом, семинары были хорошим каналом, где исследователи могли начать разговор с другими людьми из разных культур.
Глубокий разум
На NeurIPS 2022 многие компании открыли свои стенды, несмотря на приостановку найма. Среди них выделялся Deepmind. Представил более 40 докладов, продемонстрировал демо на стенде и участвовал в семинарах с другими партнерами. Заслуживают внимания недавние публикации AlphaTensor, AlphaCode и самоконтролируемого видеообучения с использованием VITO. Подробности смотрите по этой ссылке.
Мета ИИ
Мета показал демонстрацию ESM Metagenomic Atlas, связанную с фолдингом белков, и продемонстрировал различные демонстрации в части НЛП. Был выпущен Casual Conversations Dataset v2 для надежной и справедливой системы искусственного интеллекта, а демоверсия CICERO представила первую игру Дипломатия на человеческом уровне. Полный список смотрите по этой ссылке.
Конференция PyTorch от Meta также проходила как сателлитная конференция в Generation Hall, немного в стороне от конференц-центра. С одной стороны огромной площадки сотрудники Meta ответили на вопросы участников о выпуске PyTorch 2.0. С другой стороны, презентация с гигантской сцены транслировалась в прямом эфире для посетителей онлайн.
Автономный многоагентный поведенческий анализ
Бин Ким, научный сотрудник Google Brain, проводит своего рода наблюдательное исследование многоагентной системы. Их работа Помимо вознаграждений: иерархическая перспектива мультиагентного анализа поведения в автономном режиме показывает, как агент изучает встраивание поведения, а политика генерируется на основе отдельных вложений.
Языковые модели и агенты RL
Три статьи кандидата наук в Стэнфорде Джесси Му, в том числе Улучшение внутреннего исследования с помощью языковых абстракций, были приняты на NeurIPS 2022. Это был новый подход к исследованию агентов RL с использованием языковых моделей. Две другие статьи также находятся на пересечении RL и NLP, так что те, кому это интересно, должны их поискать.
Статьи Сергея Левина и его команды
Профессор Сергей Левин из Калифорнийского университета в Беркли и его команда предложили несколько статей по RL, в том числе Контрастное RL и новые методы RL на основе моделей. Известные статьи включают в себя: «Больше несоответствий: совместная оптимизация модели и политики для основанного на модели RL, Имитация прошлых успехов может быть очень субоптимальной и Принятие решений в автономном режиме на основе данных с помощью обучения инвариантному представлению ».
Постерная сессия Яна Лекуна
Янн ЛеКун, профессор Нью-Йоркского университета и главный научный сотрудник ИИ в Meta, провел постерную сессию с докладом Контрастное и неконтрастное самоконтролируемое обучение восстанавливает глобальные и локальные методы спектрального встраивания. Он демонстрирует объединяющую структуру самоконтроля. контролируемые методы обучения.
Набор данных и эталон
Наборы данных и бенчмарки, выбранные в качестве выдающихся статей, также привлекли большое внимание. LAION-5B, крупномасштабный набор изображений и текста, был выпущен в NeurIPS 2022, а MineDojo, который может моделировать 1000 различных задач на основе Minecraft. изучение исследований с помощью этого набора данных и контрольных показателей в следующем году.
Репозиторий GitHub со ссылками на документы, связанные с Transformer
Был также интересный репозиторий GitHub, в котором перечислены 150 статей, связанных с Transformer, принятых на NeurIPS 2022, что более чем в два раза превышает количество статей в прошлом году. Для тех, кто интересуется работами Трансформеров, зайдите в этот репозиторий и проверьте его.
Оно уже обучено?
Семинар Еще ли он обучен (HITY) предоставил практические советы исследователям машинного обучения по обучению большой языковой модели. Сьюзан Чжан из Meta AI провела серию проб и ошибок, опираясь на свою интуицию в каждом эксперименте при обучении языковой модели OPT-175B. Журнал эксперимента по обучению с 1024 графическими процессорами A100 в течение трех месяцев при настройке гиперпараметров и проблем с оборудованием был весьма интригующим для инженеров машинного обучения.
Заключение
VESSL AI встретился с энергичными исследователями машинного обучения и представителями отрасли в различных областях, таких как коммуникации, финансы и здравоохранение, на NeurIPS 2022. Наша команда примет участие в других конференциях в следующем году и прислушается к мнению пользователей напрямую, чтобы разработать глобальные стандартные услуги MLOps.
—
Эта публикация спонсирована Фондом Асан Нанум (아산나눔재단).
Интае Рю, менеджер по продукции в VESSL AI
