Публикации по теме 'transformers'
Передача стиля текста в электронной таблице с использованием конечных точек вывода Hugging Face
Мы меняем наш разговорный стиль с неформального на формальный. Мы часто делаем это, не задумываясь, когда разговариваем с нашими друзьями, по сравнению с обращением к судье. Компьютеры теперь имеют эту возможность! В этом посте я использую текстовый перенос стиля , чтобы преобразовать неформальный текст в формальный. Чтобы сделать это простым в использовании, мы делаем это в электронной таблице.
Первым шагом является определение модели стиля текста от неформального к формальному ...
Масштабируемое прогнозирование временных рядов
От Мойд Хассан и Сурав Хемка
В более ранней статье один из нас показал, как можно использовать Prophet для масштабного прогнозирования и обнаружения аномалий. Поскольку предыдущая статья была хорошо принята, а проблема масштабируемого прогнозирования временных рядов имеет несколько приложений, мы решили создать дополнительные статьи на эту тему, чтобы поделиться различными способами решения этой проблемы при их сравнении, и это первая из них.
Конечно, основанное на..
Архитектура извлечения вопросов MCQ из текста с помощью Transformers
После разработки преобразователей задача генерации последовательностей (seq2seq) стала намного проще и точнее по сравнению с более ранним методом RNN-LSTM.
В этой статье я продемонстрирую архитектуру, которую можно использовать для извлечения вопросов типа MCQ из произвольного текста с использованием моделей на основе Transformers, таких как T5, BERT, BART.
Обзор некоторых моделей трансформеров :
T5 — расшифровывается как « Преобразователь преобразования текста в текст », и его..
От RNN к трансформерам: путешествие по эволюции механизмов внимания в НЛП
Модели, основанные на рекуррентных нейронных сетях (RNN), долговременной кратковременной памяти (LSTM) и закрытых рекуррентных единицах (GRU), играли значительную роль в обработке естественного языка (NLP) в течение значительного периода времени. RNN, появившиеся в 1980-х годах, были одними из первых моделей последовательностей, используемых в НЛП. LSTM, представленные Hochreiter и Schmidhuber в 1997 г., а затем GRU, предложенные Cho et al. в 2014 году были варианты RNN,..
Twitter Space: «Создание приложений NLP с Hugging Face»
Вчера у нас была отличная дискуссия об использовании Transformers Hugging Face на AWS. От начала до использования аппаратного ускорения мы проделали довольно много работы. Проверьте это!
https://twitter.com/i/spaces/1rmGPgXeOQnKN
Расцвет РНН? Обзор сохраняемой сети
TLDR;
Retentive Network (RetNet) имеет производительность, сравнимую с Transformer того же размера, может обучаться параллельно, но поддерживает режим повторения, который обеспечивает сложность вывода O (1) на токен.
Неофициальную, но полную реализацию можно найти в моем репозитории ниже:
GitHub — syncdoth/RetNet: полная реализация RetNet (Retentive Networks… Полная реализация RetNet (Retentive Networks, https://arxiv.org/pdf/2307.08621.pdf) ), включая..
Трансформеры — часть 2— Вход
Входы
Первая часть архитектуры называется входами. Какие входы? это зависит от того, что мы пытаемся сделать. В нашем примере мы создаем языковую модель, программное обеспечение, которое умеет генерировать соответствующий текст, но архитектура Transformers также полезна и в других случаях использования. Поскольку генерация текста является нашей конечной целью, нам нужно обучить (научить) модель, как это делать, поэтому входными данными является текст. Первая проблема заключается в..
