Познакомьтесь с EleutherAI GPT-Neo, большой языковой моделью.

С момента своего выпуска GPT-3 широко известен как инструмент, изменивший правила игры, когда дело доходит до создания текста. OpenAI создает по-настоящему мощную модель машинного обучения с одной лишь оговоркой. Код по-прежнему не является общедоступным, и единственный способ взаимодействия с API - через API. Это может скоро измениться.

Что такое EleutherAI и GPT-Neo?

EleutherAI - это бесплатная группа исследователей, работающих над моделями ИИ с открытым исходным кодом. Их флагманский проект, основанный в июле 2020 года, - GPT-Neo, репликация GPT-3, созданной в OpenAI с огромной языковой моделью с параметрами 175B.

Спустя более полугода они выпустили GPT-Neo два дня назад здесь:



EleutherAI / gpt-neo
Реализация моделей и данных, параллельных GPT2 и GPT3-подобных моделей, с возможностью масштабирования до полных размеров GPT3… github .com



Вот их обновление от 21.03.2021:

Мы рады выпустить две предварительно обученные модели GPT-Neo, обученные на The Pile, веса и конфигурации можно бесплатно скачать с« the-eye.eu .

1.3B: https://the-eye.eu/public/AI/gptneo-release/GPT3_XL/

2.7B: https://the-eye.eu/public/AI/gptneo-release/GPT3_2-7B/

Для получения дополнительной информации о том, как их настроить, см. Записную книжку colab или прочтите остальную часть файла readme.

Этот репозиторий будет (в основном) заархивирован по мере того, как мы перейдем к репо для обучения графическому процессору, GPT-Neox ».

Если вам интересно, что такое The Pile, это 825 ГиБ разнообразного набора данных моделирования на языке с открытым исходным кодом, состоящего из данных из 22 высококачественных источников, созданного для тестирования больших языковых моделей. Смотрите здесь.

Что дальше с GPT-3?

Еще слишком рано прогнозировать влияние GPT-Neo и его точное сравнение с GPT-3, но стоит рискнуть и попробовать.

Следите за новостями!