Что произошло на этой неделе в AI by Louis
На этой неделе ИИ продолжает процветать в условиях конкурентного давления, а появление GPT-4 нарастает. Технологические гиганты, стартапы, занимающиеся генеративным ИИ, и даже отдельные лица соревнуются за то, чтобы быть в авангарде ландшафта ИИ, предлагая жизнеспособные альтернативы ChatGPT. Пространство генеративного искусственного интеллекта также стало объектом повышенного внимания венчурного капитала, и последним примером является Stability AI, который, как сообщается, ведет переговоры о привлечении средств при оценке в 4 миллиарда долларов. В то время как многие стартапы в области генеративного ИИ могут быть запущены и построены на основе доступа API к таким моделям, как GPT или дешевой тонкой настройке, по-прежнему необходимы более крупные сборы для создания кластеров графических процессоров для обучения или для оплаты обучения и вывода в облаке.
Как мы отслеживаем в этом информационном бюллетене, за последние несколько недель был достигнут значительный прогресс в отношении альтернатив моделей с открытым исходным кодом, таких как ChatGPT, а также признаки повышенной гибкости в доступе к этим моделям и альтернативам OpenAI. Мы были особенно рады увидеть проект из Стэнфорда по точной настройке модели ламы Meta 7BN (весы которой недавно просочились) с использованием модели с открытым исходным кодом под названием Альпака. Они создали 52 000 примеров выполнения инструкций с помощью OpenAI da-vinci, а затем в течение трех часов руководили тонкой настройкой модели на восьми 80-гигабайтных компьютерах A100 (стоимостью всего около 100 долларов США). Полученная модель также может работать на одном графическом процессоре, хотя и медленно. Он работает аналогично ChatGPT во многих задачах. Мы видим огромный потенциал для увеличения темпов прорывов в NLP и трансформерах теперь, когда доступ к этим моделям доступен за пределами крупных технологических компаний и по доступным ценам на тонкую настройку.
На этой неделе AI21 Labs запустила API-интерфейсы Jurassic-2 и Task-Specific, что является еще одним положительным шагом на пути к конкурентному доступу к LLM через API и повышению прозрачности. Jurassic-2 — это следующее поколение базовых моделей AI21, включающее значительные улучшения качества и новые возможности.
Поскольку мы готовимся к будущему, в котором быстрый прогресс ИИ приведет к трансформирующим системам ИИ, крайне важно уделять приоритетное внимание поддержке исследований безопасности ИИ. OpenAI и Anthropic AI, среди прочих, громко заявляли о важности безопасности ИИ. Anthropic считает, что эмпирически обоснованные исследования безопасности будут иметь наибольшее значение и влияние, и признает, что основной причиной ее существования как организации является необходимость проведения исследований безопасности «пограничных» систем искусственного интеллекта. Хотя новый доступ к этим моделям с открытым исходным кодом обнадеживает темпы прогресса и снижает концентрацию власти в руках нескольких крупных компаний, он также обеспечивает большую гибкость для злоупотребления этими моделями. Трудно сказать, будет ли политика OpenAI по ограничению доступа к этим моделям через доступ через API с установленными сдержками и противовесами или более открытый доступ к этим моделям лучшей моделью для ограничения вреда, но, похоже, мы уже идем разными путями.
Горячие новости
GPT-4 выйдет на следующей неделе! На гибридном информационном мероприятии под названием «Искусственный интеллект в центре внимания — запуск цифровых технологий» 9 марта 2023 г. четыре сотрудника Microsoft в Германии представили модели больших языков (LLM), такие как серия GPT, как революционную силу для компаний и их предложение Azure-OpenAI.
Согласно сообщениям, материнская компания Stable Diffusion, инструмента искусственного интеллекта для создания цифровых изображений, ищет средства на сумму около 4 миллиардов долларов. Однако окончательное решение о финансировании еще не принято, и оценка может быть изменена.
3. Универсальная модель речи Google (USM): современный речевой ИИ для более чем 100 языков
Google недавно поделился своей универсальной моделью речи (USM), которая, как утверждается, является важным первым шагом на пути к поддержке 1000 языков. USM — это семейство речевых моделей с параметрами 2B, обученных на 12 миллионах часов речи и 28 миллиардах текстовых предложений, охватывающих более 300 языков.
4. Основные взгляды Anthropic на безопасность ИИ — когда, почему, что и как
Компания Anthropic AI недавно рассказала, почему она ожидает быстрого прогресса в области ИИ и значительного воздействия этой технологии, что вызвало опасения по поводу безопасности ИИ. Компания подчеркивает неотложность поддержки исследований безопасности ИИ, которые должны проводиться широким кругом государственных и частных субъектов.
5. MuAViC: первый бенчмарк аудио-видео перевода речи
Meta AI выпустила MuAViC (Multilingual Audio-Visual Corpus), первый тест, позволяющий использовать аудиовизуальное обучение для высокоточного перевода речи. MuAViC также будет использоваться для обучения модели Meta AV-HuBERT для преобразования речи в сложных и шумных условиях.
Три 5-минутных чтения/видео, чтобы вы продолжали учиться
Недавно компания HuggingFace выпустила интеграцию trl с peft, которая призвана сделать более доступной тонкую настройку большой языковой модели (LLM) с обучением с подкреплением. Эта библиотека предназначена для упрощения этапа RL и обеспечения большей гибкости.
2. Состояние конкурентного машинного обучения
В этой статье обобщается состояние конкурентной среды путем анализа более 200 соревнований, состоявшихся в 2022 году. Кроме того, в ней анализируется 67 выигрышных решений, чтобы определить лучшие стратегии для победы в конкурентном машинном обучении.
3. Новые возможности больших языковых моделей
В этой статье исследуется понятие «появление» в целом, прежде чем углубляться в его применение к моделям больших языков. В нем также обсуждаются основные причины этих возникающих способностей и их последствия.
В этой статье представлено механистическое объяснение эффекта Валуиджи и других причудливых «семиотических» явлений, возникающих в рамках больших языковых моделей, таких как GPT-3/3.5/4 и их варианты (ChatGPT, Sydney и т. д.). Он предлагает новую идею «лести и диалога» в оперативной инженерии.
5. Использование ИИ для превращения Интернета в базу данных
В этой статье представлен многообещающий подход к реализации семантической сети с использованием мощных моделей больших языков (LLM) в сочетании с базами знаний. Он также предлагает концепцию «Семантических веб-агентов», которые могут перемещаться по сети и выполнять задачи от имени пользователей.
Бумаги и репозитории
В документе представлен эксперимент с предварительно обученным LLM (PaLM) и предварительно обученной моделью для зрения (ViT). Эти модели объединены с новыми обучаемыми весами в более крупной нейронной сети для решения задач, связанных с языком, зрением и планированием.
Visual ChatGPT связывает ChatGPT с рядом моделей Visual Foundation, позволяя пользователям отправлять и получать изображения во время чата. Цель состоит в том, чтобы создать искусственный интеллект, способный выполнять различные задачи, сочетая общий интерфейс ChatGPT с предметной областью фундаментальных моделей.
3. Модели большого языка кодируют клинические знания
MultiMedQA — это тест, объединяющий шесть существующих наборов данных с ответами на открытые вопросы, охватывающих профессиональные медицинские осмотры, исследования и потребительские запросы.
4. Prismer: модель языка видения с ансамблем экспертов
Prismer — это эффективная по данным и параметрам модель языка видения, в которой задействована группа экспертов в предметной области. Экспериментальные результаты показывают, что Prismer достигает конкурентоспособной производительности с современными современными моделями в точно настроенных и несложных задачах обучения, требуя при этом на два порядка меньше обучающих данных.
Cascade of Foundation models (CaFo) — это структура, которая сочетает в себе различные парадигмы предварительного обучения, включая CLIP, DINO, DALL-E и GPT-3, для улучшения обучения за несколько шагов. CaFo использует подход «Подскажи, сгенерируй, затем кэшируй», чтобы использовать сильные стороны каждого метода предварительной подготовки и достичь современной производительности в классификации с несколькими выстрелами.
Понравились эти статьи и сводки новостей? Получайте ежедневный обзор на почту!
Раздел сообщества Learn AI Together!
Анонс подкаста What's AI!
Луи Бушар запустил новый проект, направленный на демистификацию различных ролей в индустрии ИИ и обсуждение интересных тем ИИ с приглашенными экспертами. Подкаст, доступный на Spotify и Apple Podcasts, включает интервью с экспертами отрасли. В последнем выпуске Крис Деотт, гроссмейстер Quadruple Kaggle в NVIDIA, обсуждает такие темы, как составление сильного резюме по науке о данных, получение статуса гроссмейстера на Kaggle, работа в NVIDIA и подходы к текущим задачам в области науки о данных. Прямо сейчас у пользователей есть возможность принять участие в розыгрыше NVIDIA RTX 4080 прямо из подкаста! Посмотрите это здесь.
Мем недели!
Мем поделился dimkiriakos#2286
Избранный пост сообщества из Discord
AdriBen # 5135 поделился документом под названием Масштабируемая, интерпретируемая, проверяемая и дифференцируемая архитектура сверточной нейронной сети логических шлюзов из таблиц истинности и дизайном DCNN, который может подойти для обеспечения безопасности для формальной проверки, модели правил, справедливости и заслуживающей доверия машины. обучение. В этой статье вводится новое определение элементарного оператора свертки как управляемой булевой функции, которая позволяет вычислять полное распределение нейронной сети до создания. Прочтите здесь и поддержите товарища по сообществу. Делитесь своими отзывами и вопросами в теме здесь!
AI-опрос недели!
Присоединяйтесь к обсуждению в Discord.
TAI Кураторский раздел
Статья недели
Как жестко запрограммированные правила могут превзойти ML? автор Иван Резников
Хотя машинное обучение имеет свои преимущества в решении проблем, оно не всегда является лучшим решением. В некоторых областях, таких как интерпретируемость, надежность и прозрачность, системы, основанные на правилах, могут даже превзойти машинное обучение. В этой статье обсуждаются варианты использования гибридных систем и преимущества их интеграции в конвейер машинного обучения. Мы рассмотрим практические примеры таких отраслей, как здравоохранение, финансы и управление цепочками поставок.
Наши обязательные к прочтению статьи
Влияние технологии 5G на IoT и умные города от Deepankar Varma
PCA: любимый инструмент биоинформатика может ввести в заблуждение, Сальваторе Райели
Если вы заинтересованы в публикации с помощью Towards AI, ознакомьтесь с нашими рекомендациями и зарегистрируйтесь. Мы опубликуем вашу работу в нашей сети, если она соответствует нашим редакционным политикам и стандартам.
Предложения о работе
Эксперт по обработке данных @Impact (удаленно)
Инженер данных V @ID.me (удаленно)
Младший специалист по данным @Freenome (удаленно)
Ученый по данным @Deep Genomics (удаленно)
Ученый по машинному обучению @Convergent Research (удаленно)
Старший инженер полного стека @ClosedLoop (удаленно)
Старший инженер машинного обучения @SuperAnnotate (Ереван, Армения)
Старший инженер по данным — аналитика @ASAPP (Бангалор, Индия/гибрид)
Хотите поделиться здесь вакансией? Обращайтесь по адресу [email protected].
Если вы готовитесь к следующему собеседованию по машинному обучению, обязательно посетите наш ведущий веб-сайт для подготовки к собеседованию, confetti!
