Публикации по теме 'transformers'


Конвейеры Scikit-Learn с настраиваемым преобразователем - пошаговое руководство.
Алгоритм данных и модели - это два основных модуля, от которых зависит полное машинное обучение. В модуле данных извлечение данных и их обработка (или более известная как разработка функций) играют решающую роль в полном жизненном цикле построения модели. В реальной жизни любая проблема машинного обучения, как правило, имеет сотни входных функций, вокруг которых необходимо концептуализировать решение. Чтобы понять характеристики данных и создать отчет об анализе соответствия для..
Введение уровня самовнимания в Transformer
Краткое изложение трансформатора Название 「Transformer」 в области обработки естественного языка (NLP) определено в статье, опубликованной Google под названием Внимание - это все, что вам нужно в середине 2017 года. Короче говоря, концепция Transformer заключается в замене рекурсивного или сверточного нейронного слоя на уровень самовнимания . С тех пор практически все работы, выполненные в области НЛП, переработаны Transformer. И неудивительно, что они превосходят предыдущие..
Масштабирование Transformer-XL до 128 графических процессоров
Ярослав Булатов , Бен Манн , Дариус Лам TL; DR; мы сделали поездку Transformer-XL эффективно на 128 графических процессорах в облаке Amazon. Код доступен по адресу https://github.com/cybertronai/transformer-xl . Обзор Одна из трудностей исследования языковых моделей заключается в том, что вы часто не знаете, работают ли ваши идеи, пока не попробуете их на реальных наборах данных. Однако обучение работе с такими наборами данных на одной машине может занять недели. К счастью,..
Best of arXiv - январь 2021 г.
Ежемесячная подборка статей по ML. Трудно оставаться на вершине списка для чтения, а найти статьи, которые должны быть в этом списке для чтения, может быть еще сложнее. В Zeta Alpha мы всегда внимательно следим за последними исследованиями машинного обучения, поэтому мы подумали, что было бы полезно делиться ежемесячной подборкой последних статей, чтобы выявить, что, по нашему мнению, будет влиятельными публикациями, в основном на основе вкладов каждой работы. и репутация авторов...
Трансформеры
Нейронная сеть, используемая Open AI и DeepMind Если вам понравился этот пост и вы хотите узнать, как работают алгоритмы машинного обучения, как они возникли и куда они направляются, я рекомендую следующее: Заставляем вещи думать: как ИИ и глубокое обучение влияют на продукты, которые мы используем - Холлоуэй Как работают алгоритмы машинного обучения, как они возникли и куда они денутся? Подробное, но доступное объяснение для умного читателя...
GPT-Neo с API-интерфейсом Hugging Face's Transformers
Узнайте, как реализовать версию GPT-3 EleutherAI с открытым исходным кодом с 2,7 миллиардами параметров и Hugging Face's API. Массовое движение под названием EleutherAI упорно работает над демократизацией современных моделей обработки естественного языка (НЛП), и одна из их последних моделей, получившая название GPT-Neo, не является исключением. GPT-Neo - это полностью открытая версия модели GPT-3 Open AI, которая доступна только через эксклюзивный API. EleutherAI опубликовал веса..
Руководство для манекена по BERT
Это сообщение в блоге представляет собой пустышку / версию SparkNotes статьи BERT: Предварительная подготовка глубоких двунаправленных преобразователей для понимания языка »Чанг, Девлин, Ли и Тутанова (2019). Примечание. BERT - это преобразователь, поэтому, если вы хотите сначала прочитать о преобразователях, обязательно прочтите этот пост в блоге. Я нахожу это одновременно и озадачивающим, и восхитительным, что существует не одна, а ДВЕ знаменитые модели языковых представлений,..