Публикации по теме 'transformers'
Объяснение документов 23: Структурный LM
Используя преимущества существующих предварительно обученных языковых моделей и адаптируясь к задачам понимания изображений документов, Structural LM использует архитектуру BERT в качестве основы.
Основываясь на архитектуре, мы предлагаем использовать информацию о макете на уровне ячеек из изображений документов и включать их в кодировщик преобразователя.
Во-первых, учитывая набор токенов из разных ячеек и информацию о расположении ячеек, входные вложения на уровне ячеек вычисляются..
Основы работы трансформаторов
Transformers — это революционная архитектура в области нейронных сетей. Это началось с статьи, опубликованной Google «Внимание — это все, что вам нужно». Это было опубликовано для статей по НЛП, но оно также широко применяется в изображениях, аудио и видео. Генерация музыки также возможна с помощью Transformers.
Языковой перевод намного лучше, используя архитектуру трансформатора. ChatGPT, Берт, все эти модели используют преобразователь в качестве своей базовой архитектуры.
import..
Тонкая настройка модели преобразователя для распознавания счетов-фактур
Пошаговое руководство от аннотации к обучению
Вступление
Основываясь на моем недавнем руководстве о том, как добавлять примечания к PDF-файлам и отсканированным изображениям для приложений NLP , мы попытаемся настроить недавно выпущенную Microsoft Layout LM model на аннотированный пользовательский набор данных, который включает счета-фактуры на французском и английском языках. В то время как в предыдущих руководствах основное внимание уделялось использованию общедоступного набора..
Реализация трансформатора с нуля
7 удивительных вещей, которые вы могли не знать о Трансформере
Введение
Чтобы ближе познакомиться с гайками и болтами трансформеров, я решил с нуля реализовать оригинальную архитектуру статьи Внимание — это все, что вам нужно . Я думал, что знаю все, что нужно было знать, но, к моему собственному удивлению, я столкнулся с несколькими неожиданными деталями реализации, которые помогли мне лучше понять, как все работает под капотом.
Цель этого поста не в том, чтобы обсудить всю..
Расшифровка социальных сообщений с помощью машинного обучения: базовый уровень
Этот пост является частью серии, посвященной преобразованию скриншотов из Reddit в более доступный формат. Он стоит сам по себе, но если вы хотите узнать больше о наборе данных, см. предыдущий пост здесь .
Набор данных
Набор данных подробно описан в моем предыдущем сообщении в блоге . Подводя итог, у нас есть набор данных от r/TranscribersOfReddit , объединяющий изображения с расшифровками, предоставленными людьми-добровольцами. Эти добровольцы следуют шаблонам со следующими..
Генератор текстов песен на основе исполнителей с использованием машинного обучения
В этой статье я покажу вам, как вы можете точно настроить и обучить своего Трансформера с помощью HuggingFace .
В продолжение моей предыдущей статьи о создании музыки с использованием рекуррентных нейронных сетей мы будем использовать преобразователи HuggingFace для создания текстов песен на основе исполнителя, на котором мы их обучаем. В этой статье мы будем использовать лирику Диомедеса Диаса, чтобы создать новую песню с его стилем написания. Я выбрал Диомеда из-за его наследия и..
Перевод французских статей с последующим обобщением
Делайте крутые вещи с данными!
Введение
В этом блоге обсуждается перевод статьи по французской истории на английский язык с последующим кратким изложением этой статьи на английском языке. Мы покажем, как можно использовать предварительно обученные модели, чтобы сделать это очень быстро. В рамках этого блога мы также оцениваем несколько моделей перевода и реферирования и делимся нашей субъективной оценкой качества их вывода.
Используемая статья представляет собой французскую статью..
