Что произошло на этой неделе в AI by Louie
На этой неделе в области искусственного интеллекта произошли некоторые интересные события в мире языковых моделей с открытым исходным кодом, а также дальнейшее обсуждение юридического статуса данных обучения LLM и контента, созданного искусственным интеллектом.
Stability AI, компания, разработавшая генератор изображений Stable Diffusion на базе ИИ, выпустила набор больших языковых моделей (LLM) с открытым исходным кодом под названием StableLM. Эти модели в настоящее время доступны от 3 до 7 миллиардов параметров, а более крупные модели появятся позже. Аналогичным образом, компания Together анонсировала RedPajama, проект с открытым исходным кодом в сотрудничестве с другими организациями ИИ для создания больших языковых моделей. RedPajama выпустила набор данных из 1,2 триллиона токенов, который повторяет рецепт LLaMA, позволяя организациям предварительно обучать модели, которые можно лицензировать. RedPajama имеет три ключевых компонента: данные предварительной подготовки, базовые модели и данные и модели настройки инструкций. RedPajama и StableLM следуют за недавним выпуском Dolly 2.0 и вместе должны дать гораздо больше гибкости отдельным лицам или группам для обучения или тонкой настройки своих собственных моделей для использования в исследовательских или коммерческих продуктах.
Тем не менее, юридический статус данных обучения LLM и контента, созданного ИИ, снова оказался в центре внимания после объявления Reddit и Stack Overflow о том, что они начнут взимать плату с крупных разработчиков ИИ за доступ к их данным. Это также следует за отзывом Twitter доступа к своим данным из OpenAI. Эти шаги в направлении усиления защиты данных ставят вопросы о правовом статусе существующих моделей, обученных на извлеченных данных, а также о том, может ли прогресс ИИ замедлиться, если доступ к данным на законных основаниях станет более трудным. Право собственности и статус авторских прав на контент, созданный ИИ, также остаются предметом горячих споров, поскольку обучение и вдохновение ИИ не вписываются в существующие законы об интеллектуальной собственности и авторском праве. Пока некоторые создатели осваивают новый потенциал ИИ, другие дела будут решаться в суде. В то время как вирусная музыка, использующая ИИ для имитации голоса Дрейка, была удалена Universal Music Group, канадский продюсер и певица Граймс предложила разделить 50% гонораров с любой созданной ИИ песней, в которой успешно используется ее голос. Это разделение 50/50, по-видимому, то же самое, что она заключила бы с любым другим сотрудничеством художников, с искусственным интеллектом или без него.
– Луи Питерс, соучредитель и генеральный директор компании Towards AI
Горячие новости
DeepMind и Google Brain теперь объединились в единую организацию, возглавляемую Демисом Хассабисом из Brain. Это слияние направлено на создание внутреннего фокуса ИИ, чтобы конкурировать с внешним давлением со стороны таких групп, как OpenAI. Одно интересное изменение заключается в том, что новая группа под названием Google DeepMind имеет четкую цель разработки «продуктов ИИ», что представляет собой отход от фокуса предыдущей группы.
2. Переполнение стека будет взимать плату с ИИ-гигантов за обучающие данные
Stack Overflow объявил, что начнет взимать плату с крупных разработчиков ИИ за доступ к своим 50 миллионам вопросов и ответов, стремясь улучшить качество данных, используемых для разработки больших языковых моделей, и ускорить разработку высококачественной LLM. Об этом шаге, который является частью более широкой стратегии генеративного ИИ, ранее не сообщалось. Решение было принято после того, как на этой неделе Reddit сообщил, что с июня он также начнет взимать плату с некоторых разработчиков ИИ за доступ к своему контенту.
3. Stability AI запускает первый набор языковых моделей StableLM
Stability AI выпустила новую языковую модель с открытым исходным кодом StableLM. Альфа-версия модели доступна с 3 миллиардами и 7 миллиардами параметров, за которыми последуют модели с параметрами от 15 до 65 миллиардов. Разработчики могут свободно проверять, использовать и адаптировать базовые модели StableLM для коммерческих или исследовательских целей в соответствии с условиями лицензии CC BY-SA-4.0.
RedPajama работает над воспроизведением моделей LLaMA с использованием модели параметров 7B и отфильтрованного набора данных из 1,2 триллиона токенов с целью воспроизводимости с открытым исходным кодом. Для достижения этой цели 1,2 триллиона наборов данных токенов RedPajama и меньшая случайная выборка доступны для загрузки через Hugging Face. Полный набор данных составляет примерно 5 ТБ в разархивированном виде на диске и около 3 ТБ в загруженном и сжатом виде, в то время как меньшая случайная выборка более удобна.
5. Microsoft готовит ИИ-чип из-за резкого роста затрат на машинное обучение
Microsoft разработала специализированный чип под названием Athena для поддержки больших языковых моделей для ИИ, чтобы сократить затраты и время. Другие технологические гиганты, такие как Amazon, Google и Facebook, также работают над собственными чипами искусственного интеллекта. Microsoft работает над Athena с 2019 года. В настоящее время ограниченное число сотрудников Microsoft и OpenAI тестируют чип, но ожидается, что он будет доступен обеим компаниям в следующем году.
Три 5-минутных чтения/видео, чтобы вы продолжали учиться
Вместо того, чтобы конкурировать с ботами с искусственным интеллектом с нулевой суммой, мы можем оказаться на пороге эры изобилия интеллекта. В этой статье исследуется, как ИИ может создавать больший спрос на задачи, требующие интеллекта, из-за увеличения общего количества интеллекта. В статье рассматриваются различные отрасли, которые могут извлечь выгоду из этого явления.
2. Основы агента ИИ: давайте подумаем шаг за шагом
В этой статье представлены концепции, лежащие в основе AgentGPT, BabyAGI, LangChain и революции агентов на базе LLM. Он охватывает такие темы, как концепции основных агентов, то, как LLM составляют планы, цепочку рассуждений и многое другое.
3. Подсказка вслепую против слепой подсказки
В этой статье исследуются различия между инжинирингом подсказок и подсказками вслепую. Подчеркивается важность знания того, как эффективно взаимодействовать с моделями ИИ, такими как ChatGPT, наряду с проблемами и преимуществами каждого подхода для получения желаемых результатов.
Компания Weights & Biases (W&B) объявила о запуске W&B Prompts, набора инструментов для специалистов по подсказкам, работающих с большими языковыми моделями (LLM). Новые инструменты включают интеграцию LangChain и OpenAI для ведения журналов, интеграцию W&B Launch с OpenAI Evals и улучшенную обработку текста в таблицах W&B. Все эти инструменты доступны с помощью однострочной команды.
5. Что такое нечеткая логика, робототехника и будущее искусственного интеллекта?
Нечеткая логика с искусственным интеллектом — это метод решения проблем, напоминающий человеческое рассуждение. В этой статье рассматриваются концепции нечеткой логики и робототехники в ИИ, а также будущие приложения в беспилотных автомобилях, кибернетике, здравоохранении, образовании и системах принятия решений.
Бумаги и репозитории
MiniGPT-4 — это модель, которая выравнивает замороженный визуальный кодировщик с замороженным LLM, называемым Vicuna, используя только один проекционный слой. Результаты исследования показывают, что MiniGPT-4 обладает многими возможностями, аналогичными тем, которые демонстрирует GPT-4, например, создание подробных описаний изображений и создание веб-сайтов из рукописных черновиков.
2. Архивы встраивания: миллионы вложений статей Википедии на многих языках
Cohere выпустил Embedding Archives, коллекцию бесплатных многоязычных векторов, созданных из миллионов статей Википедии, которые особенно полезны для разработчиков ИИ, создающих поисковые системы. Статьи разбиты на сегменты, и каждому сегменту назначается вектор встраивания. Архивы встраивания доступны через наборы данных Hugging Face.
3. Suno-ai/bark: 🔊 Текстовая Генеративная Аудио Модель
Bark, созданный Suno, представляет собой модель преобразования текста в аудио, способную генерировать очень реалистичную многоязычную речь, а также другие типы звука, такие как музыка, фоновый шум и простые звуковые эффекты. Кроме того, модель может производить невербальную коммуникацию, такую как смех, вздохи и плач. Кора распространяется по некоммерческой лицензии CC-BY 4.0 NC, а модели Suno можно использовать в коммерческих целях.
4. Оценка верифицируемости в генеративных поисковых системах
Согласно статье, генеративные поисковые системы часто не имеют полной поддержки цитирования (51,5%). Предлагаемые показатели направлены на содействие всестороннему использованию цитат, подчеркивая важность надежных и информативных генеративных поисковых систем. В среднем только 74,5% цитат поддерживают связанное с ними предложение.
5. Учимся сжимать подсказки с помощью токенов Gist
В документе предлагается новый метод под названием «gisting», который позволяет специализировать LM без необходимости тонкой настройки или дистилляции. Этот подход включает в себя обучение LM сжимать подсказки в меньшие наборы токенов «gist», которые можно повторно использовать для повышения эффективности вычислений. Модель gisting можно легко обучить как часть тонкой настройки инструкций, используя маску ограниченного внимания, которая способствует быстрому сжатию, что позволяет избежать компромисса между специализацией и временем обучения.
Понравились эти статьи и сводки новостей? Получайте ежедневный обзор на почту!
Раздел сообщества Learn AI Together!
Еженедельный подкаст об искусственном интеллекте
В выпуске подкаста Что такое ИИ на этой неделе Луи Бушар берет интервью у Брайана Бернса, основателя твиттер-страницы AI Pub и доктора философии. кандидат Вашингтонского университета. Если вы планируете получить степень доктора философии. или вам интересно, как заняться машинным обучением, улучшить свое резюме и навыки прохождения собеседований или даже вырасти в Твиттере, этот эпизод для вас! Брайан делится советами о том, как найти свою первую работу в сфере ИИ. Настройтесь на подкаст, чтобы узнать о том, как заняться искусственным интеллектом, раскрутить страницу в Твиттере, разместить подкаст, успешно пройти собеседование, составить лучшее резюме и многое другое. Вы можете найти подкаст на YouTube, Spotify или Apple Podcasts.
Предстоящие события сообщества
Сообщество Learn AI Together Discord проводит еженедельные семинары по искусственному интеллекту, чтобы помочь сообществу учиться у отраслевых экспертов, задавать вопросы и получать более глубокое представление о последних исследованиях в области искусственного интеллекта. Присоединяйтесь к нам на бесплатных интерактивных видеосеансах, которые еженедельно проводятся в прямом эфире на Discord, посещая наши предстоящие мероприятия.
- Происходит сейчас! Семинар NN Arch: (…) Архитектура сверточной NN с логическими вентилями на основе таблиц истинности
АдриБен представит свою статью Масштабируемая, интерпретируемая, проверяемая и дифференцируемая архитектура сверточной нейронной сети логических вентилей из таблиц истинности на семинаре по архитектуре нейронной сети. Презентация будет транслироваться в прямом эфире из Азии, что может привести к необычному времени для некоторых зрителей. Семинар будет записан, поэтому, даже если вы не сможете присутствовать вживую, вы все равно сможете получить доступ к содержимому позже. Присоединяйтесь к семинару здесь!
Дата и время: 25 апреля, 11:00 по восточному поясному времени
2. Открытый хакатон AI ChatGPT-4
Джордж Баталински проводит хакатон OpenAI и GPT-4 в нашей группе встреч. Этот интерактивный семинар будет включать создание приложений в группах. Если у вас нет партнера, мы подберем вас. Посетите нашу группу встреч здесь, чтобы присоединиться.
Дата и время: 26 апреля, 12:00 по восточному поясному времени
3. Практический семинар по ChatGPT и Google Maps
@george.balatinski проводит семинар, посвященный использованию возможностей ChatGPT для создания реальных проектов для браузера с использованием JavaScript, CSS и HTML. Интерактивные занятия направлены на создание портфолио, помогая вам создать убедительную витрину ваших талантов, проектов и достижений. Участвуйте в парных упражнениях по программированию, работайте бок о бок с другими разработчиками и поощряйте практическое обучение и обмен знаниями. Кроме того, мы предлагаем ценные возможности для общения с нашим и другими сообществами в Интернете и искусственном интеллекте. Узнайте, как легко конвертировать код в популярные фреймворки, такие как Angular и React, и используйте безграничный потенциал разработки на основе ИИ. Не упустите этот шанс повысить свой опыт веб-разработки и оставаться на шаг впереди. Присоединяйтесь к нам на нашей следующей встрече здесь и испытайте будущее программирования с ChatGPT! Ознакомиться с некоторым дополнительным контентом можно здесь.
Дата и время: 30 апреля, 18:00 по восточному поясному времени
Мем недели!
Мем поделился AgressiveDisco#4516
Избранный пост сообщества из Discord
Компания Remster#7324 разработала Wanderbot, веб-сайт AI Assistant для планирования путешествий на основе ИИ. Этот попутчик на базе искусственного интеллекта помогает составлять маршруты и планировать поездки, создавая персонализированные планы поездок на основе предпочтений пользователей. Wanderbot построен на платформе ChatGPT и предлагает интерактивную карту, простой обмен и активное сообщество. Проверьте это здесь, чтобы поддержать другого члена сообщества! Присоединяйтесь к обсуждению в ветке, чтобы поделиться своими отзывами здесь.
AI-опрос недели!
Присоединяйтесь к обсуждению в Discord
TAI Кураторский раздел
Статья недели
Введение в GAN с TensorFlow от Рокаса Люберскиса
В этом руководстве автор представляет генеративно-состязательные сети в TensorFlow. Они также используют другой подход, начиная с DCGAN вместо простой GAN. Потрясающие диаграммы и визуальные эффекты делают понимание не только чрезвычайно простым, но и интересным для изучения. Простой в использовании поток кода также облегчает процесс обучения.
Наши обязательные к прочтению статьи
Познакомьтесь с DeepSpeed-Chat: новая платформа Microsoft для создания моделей, подобных ChatGPT, с использованием обучения RLHF, автор Jesus Rodriguez
Распознавание лиц методом Виолы-Джонса от Janik Tinz
Если вы заинтересованы в публикации с помощью Towards AI, ознакомьтесь с нашими рекомендациями и зарегистрируйтесь. Мы опубликуем вашу работу в нашей сети, если она соответствует нашим редакционным политикам и стандартам.
Предложения о работе
Инженер искусственного интеллекта @Plain Concepts (удаленно)
Старший технический руководитель, Machine Learning @Tubi (удаленно)
Инженер данных @Uplift (удаленно)
Data Scientist (3–5 лет опыта) @Datalab USA (Брумфилд, США)
Старший бэкэнд-инженер Python @Chattermill (удаленно)
Хотите поделиться здесь вакансией? Обращайтесь по адресу [email protected].
Если вы готовитесь к следующему собеседованию по машинному обучению, обязательно посетите наш ведущий веб-сайт для подготовки к собеседованию, confetti!
