Что произошло на этой неделе в AI by Louie
На этой неделе конкуренция в гонке Генеративного ИИ и LLM продолжила усиливаться. Amazon объявила о своем выходе в космос, разместив модели от Amazon, Stability.AI и AI21, а также продвигая спецификации своих собственных чипов, предназначенных для логических выводов и обучения. Илон Маск также принял участие в гонке, наняв лучших специалистов из DeepMind, в том числе Игоря Бабушкина и Мануэля Кройса, и купив 10 000 графических процессоров для создания TruthGPT. Bing от Microsoft, основанный на GPT-4, усилил давление на Google, чтобы выпустить параметры поиска на базе LLM (которые должны появиться под кодовым названием проекта Magi), тем более что Samsung, как сообщается, рассматривает возможность замены Google на Bing в качестве поисковой системы по умолчанию. на своих мобильных устройствах.
В рамках движения LLM с открытым исходным кодом компания Databricks выпустила Dolly 2, языковую модель с 12 миллиардами параметров, настроенную под инструкции и точно настроенную примерно на 15 000 примеров настройки инструкций с использованием Pythia-12b от EleutherAI. Этот выпуск имеет большое значение, поскольку он полностью лицензирован для исследований и коммерческого использования, в отличие от многих предыдущих моделей с открытым исходным кодом, настроенных на инструкции, с сомнительным юридическим статусом (некоторые из них построены на просочившейся модели ламы META или путем извлечения информации из GPT-3.5 OpenAI, например) .
В завершение недели проект искусственного интеллекта для агентов Auto-GPT превзошел PyTorch по количеству звезд на GitHub (сейчас 89 000), подчеркнув быстро развивающийся и вирусный характер продуктов и инноваций, связанных с искусственным интеллектом.
- Луи Питерс — соучредитель и генеральный директор Towards AI
Горячие новости
Amazon вступает в соревнование за генеративный ИИ. Однако вместо того, чтобы создавать модели ИИ полностью самостоятельно, он сотрудничает со сторонними стартапами для размещения своих моделей на AWS. Он представил Amazon Bedrock, который позволяет создавать приложения на основе ИИ с использованием предварительно обученных моделей от AWS и стартапов. Пользователи могут создавать изображения, логотипы и графику через API.
2. AI: китайский технологический гигант Alibaba выпустит конкурента ChatGPT
Alibaba, китайский технологический гигант, объявил о своих планах по запуску чат-бота на основе искусственного интеллекта, похожего на ChatGPT, под названием Tongyi Qianwen. Этот продукт будет интегрирован в различные направления бизнеса Alibaba через его подразделение облачных вычислений, хотя точные сроки его выпуска пока не указаны.
3. Служба защиты конфиденциальности Испании заявляет, что также проверяет ChatGPT
Испанский орган по защите данных, AEPD, проводит предварительное расследование в отношении OpenAI, создателя ChatGPT, в связи с потенциальными нарушениями Общего регламента по защите данных (GDPR) Европейского Союза. Это следует за аналогичным шагом Италии. Однако от регулятора не поступало приказа о приостановке обработки OpenAI.
4. Италия предоставила OpenAI первоначальный список дел для отмены приказа о приостановке ChatGPT
Итальянский регулятор защиты данных предоставил OpenAI список требований для соблюдения GDPR и снятия запрета на ChatGPT. Эти требования включают публикацию информационного уведомления, введение ограничений по возрасту, уточнение правовой основы, предоставление прав на данные пользователей, разрешение возражений против обработки данных и проведение информационной кампании для итальянских пользователей.
Согласно сообщению The Financial Times, Илон Маск собирает команду экспертов в области ИИ для запуска стартапа в области ИИ, который будет конкурировать с OpenAI, исследовательской организацией, в создании которой он участвовал несколько лет назад.
Наши 5-минутные материалы для чтения/видео, которые помогут вам учиться
Сообщество Cohere For AI опубликовало подборку исследований NLP за март 2023 года, в которых представлены передовые языковые модели, беспрецедентная генерация текста и революционные методы обобщения. Этот пост охватывает множество тем, демонстрируя последние достижения в больших языковых моделях и многое другое.
2. Что такое модели-трансформеры и как они работают?
Трансформеры — это недавний прорыв в машинном обучении, которому в последнее время уделяется большое внимание. В этом сообщении блога представлен обзор архитектуры трансформатора, его работы и всех компонентов. Кроме того, он предлагает концептуальное введение в технологию.
3. Новый уникальный набор данных AI для анимации любительских рисунков
Meta AI разработала исследовательскую демонстрацию системы искусственного интеллекта для анимации художественных работ. Они выпускают код анимации и набор данных из 180 тысяч аннотированных любительских рисунков, чтобы помочь другим исследователям ИИ. Демонстрация основана на браузере и позволяет пользователям загружать изображения, проверять или исправлять несколько аннотаций и получать короткую анимацию своего персонажа.
4. Полное руководство по обучению и тонкой настройке LLaMA
В этом учебнике рассказывается об обучении и тонкой настройке LLaMA, большой языковой модели. В частности, он фокусируется на Lit-LLaMA, переписанной версии, которая может выполнять логические выводы на потребительском графическом процессоре объемом 8 ГБ. В руководстве также рассматривается, как Lightning Fabric используется для ускорения кода PyTorch.
5. Учитывая, насколько хорош ИИ в программировании, стоит ли учиться программировать
В этой ветке Твиттера Амджад Масад объясняет основы создания MVP мечты. Он также затрагивает вопрос о том, заменит ли ИИ разработчиков, поощряя людей заниматься кодированием в течение 100 дней. По его словам, обучение кодированию стало более ценным с помощью ИИ с прогнозируемой 10-кратной рентабельностью инвестиций.
Бумаги и репозитории
OpenAssistant — это чат-бот, предназначенный для понимания задач, взаимодействия со сторонними системами и динамического получения информации для их выполнения. Это проект, направленный на то, чтобы предоставить каждому доступ к высококачественной модели большого языка на основе чата.
Dolly 2 — это большая языковая модель, разработанная Databricks и обученная на их платформе машинного обучения. Он имеет 12 миллиардов параметров и представляет собой каузальную языковую модель, основанную на Pythia-12b от EleutherAI. Dolly 2 была настроена с использованием корпуса инструкций из примерно 15 000 записей, созданного сотрудниками Databricks и выпущенного под разрешительной лицензией.
3. Обучение больших языковых моделей самоотладке
В этом исследовании представлена самоотладка, метод, который обучает большую языковую модель отлаживать предсказанную программу с помощью нескольких демонстраций. Модель обучают выполнять отладку резиновой утки, выявляя свои ошибки, объясняя сгенерированный код на естественном языке, не получая никаких отзывов о правильности кода или сообщений об ошибках.
4. Инструкция Настройка с помощью GPT-4
В этом документе представлен новый подход к использованию GPT-4 для генерации данных, следующих за инструкциями, для точной настройки LLM. Ранние эксперименты, проведенные на моделях LLaMA, настроенных под инструкции, показывают, что 52 КБ данных о следовании инструкциям на английском и китайском языках, созданные GPT-4, обеспечивают лучшую производительность с нулевым выстрелом в новых задачах по сравнению с данными, созданными предыдущими моделями.
В этой статье предлагаются модели согласованности, новый тип генеративных моделей, которые обеспечивают высокое качество выборки без состязательного обучения. Они обеспечивают быструю одношаговую генерацию, выборку в несколько шагов и редактирование данных с нуля. Модели непротиворечивости могут быть обучены для дистилляции предварительно обученных моделей диффузии или в качестве автономных генеративных моделей, и они превосходят существующие методы дистилляции для моделей диффузии при одноэтапной и малоэтапной генерации.
Понравились эти статьи и сводки новостей? Получайте ежедневный обзор на почту!
Раздел сообщества Learn AI Together!
Предстоящие события сообщества
Сообщество Learn AI Together Discord проводит еженедельные семинары по искусственному интеллекту, чтобы помочь сообществу учиться у отраслевых экспертов, задавать вопросы и получать более глубокое представление о последних исследованиях в области искусственного интеллекта. Присоединяйтесь к нам на бесплатных интерактивных видеосеансах, которые еженедельно проводятся в прямом эфире на Discord, посещая наши предстоящие мероприятия.
1. Семинар NN Arch: (…) Архитектура сверточной NN с логическими вентилями на основе таблиц истинности
АдриБен представит свою статью Масштабируемая, интерпретируемая, проверяемая и дифференцируемая архитектура сверточной нейронной сети логических вентилей из таблиц истинности на семинаре по архитектуре нейронной сети. Презентация будет транслироваться в прямом эфире из Азии, что может привести к необычному времени для некоторых зрителей. Семинар будет записан, поэтому, даже если вы не сможете присутствовать вживую, вы все равно сможете получить доступ к содержимому позже. Присоединяйтесь к семинару здесь!
Дата и время: 25 апреля, 13:00 по восточному поясному времени
Мем недели!
Мем поделился Руча#8062
Избранное сообщение сообщества из Discord
Творчество останется исключительно человеческим, но по мере того, как ИИ продвигается дальше в творческие сферы, как он изменит то, как мы пишем?
Руча#8062 проводит мастер-класс Письменное творчество во времена ИИ: эксперименты с ИИ в качестве стажера. На семинаре будут рассмотрены аспекты процесса написания, которые потенциально могут быть делегированы ИИ, и те, которые должны оставаться исключительно в сфере человеческого самовыражения. Благодаря этому семинару участники получат больше ясности и понимания того, как найти свой собственный голос, используя инструменты и ресурсы, предлагаемые ИИ. Посмотрите здесь и поддержите товарища по сообществу! Поделитесь своими мыслями по теме, присоединившись к обсуждению здесь.
AI-опрос недели!
Присоединяйтесь к обсуждению в Discord.
TAI Кураторский раздел
Статья недели
Создание и развертывание веб-приложения GAN Streamlit на Heroku [Часть 1], автор Юссеф Хосни
Генеративно-состязательные сети (GAN) — это архитектура глубокого обучения, которая завоевала популярность благодаря своей способности генерировать реалистичные новые данные. Однако создание модели GAN — это только первый шаг, так как ее развертывание в виде удобного веб-приложения представляет собой отдельную проблему. В этой статье подробно рассматриваются предыстория и постановка проблем, связанных с GAN. Он также охватывает настройку рабочей среды, загрузку предварительно обученных моделей и изображений GAN и создание веб-приложения Streamlit.
Наши обязательные к прочтению статьи
Computer Vision 101: Восстановление изображения от Gabriele Mattioli
SAM от Meta AI — Момент chatGPT для ИИ компьютерного зрения от Puneet Jindal
Если вы заинтересованы в публикации с помощью Towards AI, ознакомьтесь с нашими рекомендациями и зарегистрируйтесь. Мы опубликуем вашу работу в нашей сети, если она соответствует нашим редакционным политикам и стандартам.
Предложения о работе
Старший инженер-программист, прикладное машинное обучение @SoundHound Inc. (удаленно)
Старший бэкэнд-инженер Python @Chattermill (удаленно)
Менеджер по науке о данных @Angi (удаленно)
Data Scientist (3–5 лет опыта) @Datalab USA (Брумфилд, США)
штатный бэкэнд-инженер @Fiddler AI (Бангалор, Индия/гибрид)
Старший инженер по машинному обучению — Computer Vision @BenchSci (удаленно)
Хотите поделиться здесь вакансией? Обращайтесь по адресу [email protected].
Если вы готовитесь к следующему собеседованию по машинному обучению, обязательно посетите наш ведущий веб-сайт для подготовки к собеседованию, confetti!
