Появление ChatGPT дало представление о заре общего искусственного интеллекта. Тем временем технологические компании одну за другой создают свои собственные большие языковые модели с открытым исходным кодом.
Однако высокие затраты на оборудование, связанные с большими моделями, часто представляют собой серьезный барьер для многих исследователей.
Чтобы демократизировать доступ к этим мощным моделям и расширить возможности различных отраслей, Шанхайская лаборатория искусственного интеллекта разработала XTuner, недорогой набор инструментов для обучения больших моделей. С XTuner 8 ГБ памяти графического процессора — это все, что вам нужно для создания собственного помощника с искусственным интеллектом.
https://github.com/InternLM/xtuner
XTuner предлагает множество функций, которые можно свободно комбинировать и сочетать. В дополнение к автономным функциям XTuner представляет три революционные технологии, позволяющие разработчикам работать по-настоящему «ориентированно на данные»:
- Эффективный механизм обработки данных: XTuner поддерживает несколько популярных форматов наборов данных с открытым исходным кодом и допускает смешанное использование:
Формат Альпака
МОСС-формат
Формат Гунакао
формат OpenAI
…и многое другое постоянно добавляется
pip install xtuner # To train data in a mixture of Alpaca and Gunacao datasets xtuner train internlm_7b_qlora_alpaca_enzh_oasst1_e3
Кроме того, XTuner предлагает полную развязку различных форматов наборов данных на основе характеристик данных LLM-обучения. Это позволяет выполнять точную настройку, не нарушая шаблоны диалогов моделей чата.
2. Несколько механизмов обучения: XTuner является пионером в интеграции HuggingFace и OpenMMLab, сочетая удобство использования и настраиваемость. Он поддерживает как MMEngine Runner, так и HuggingFace Trainer. Таким образом, разработчики с глубокими потребностями в настройке могут гибко настраивать в соответствии со своими привычками.
pip install xtuner # To use MMEngine Runner for training xtuner train internlm_7b_qlora_oasst1_e3 # To use HuggingFace Trainer for training xtuner train internlm_7b_qlora_oasst1_e3_hf
3. Начало обучения в один клик: XTuner объединяет стандартные процедуры для поэтапного предварительного обучения, одно- и многоэтапной настройки диалоговых инструкций. Разработчикам нужно сосредоточиться только на данных. Кроме того, XTuner включает в себя такие технологии, как QLoRA, DeepSpeed и FSDP, предлагая решения для моделей разных размеров с разными характеристиками оборудования. Всего 8 ГБ памяти графического процессора позволяют точно настроить модель 7B.
pip install 'xtuner[deepspeed]' # Fine-tuning a Llama2-7B model with only 8GB GPU memory xtuner train llama2_7b_qlora_oasst1_512_e3 --deepspeed deepspeed_zero2
Разработчики могут сосредоточиться на данных и оставить все остальное XTuner, высвобождая больше энергии для исследования огромной вселенной больших моделей!
С помощью XTuner разработчики могут добавлять плагины к большим моделям, чтобы расширить их возможности, или даже получить некоторые навыки, эксклюзивные для ChatGPT. XTuner предоставляет богатый выбор плагинов для больших моделей в HuggingFace Hub. Не стесняйтесь скачать и попробовать их!
Логотип XTuner, вдохновленный Pac-Man, отражает игривый дух. Команда разработчиков и сообщество открытого исходного кода стремятся весело провести время, исследуя большие модели и разрабатывая разнообразные развлекательные приложения. Ваши идеи всегда приветствуются в обсуждениях XTuner, где вы сможете найти единомышленников. Команда XTuner продолжит копировать популярные общественные проекты по низкой цене, приглашая больше людей оседлать волну больших моделей.
