Обнимающее лицо снова за это! На этот раз они выпускают повторную реализацию PyTorch модели OpenAI GPT-2, которая также включает примеры тонкой настройки.
В пакете Python доступны другие модели: BERT, Transformer-XL и первая версия OpenAI GPT. Пакет также включает в себя широкий спектр классов, которые можно повторно использовать для тестирования различных моделей для различных задач, таких как классификация последовательностей, ответы на вопросы и классификация токенов.
Ниже приведены снимки того, как токенизировать вводимый текст с помощью класса токенизатора и получить скрытые состояния модели, предоставляемой GPT2.
В целом, даже если вы не знакомы с PyTorch или не заинтересованы в самостоятельных экспериментах с этими моделями, это отличное место, чтобы узнать о последних языковых моделях и о том, как они могут работать в условиях передачи обучения.
Репозиторий GitHub (Ссылка)
