Публикации по теме 'transformers'


Повышение уровня понимания RxJS путем написания преобразователя TypeScript
Повышение уровня понимания RxJS путем написания преобразователя TypeScript Асинхронный код сложно понять, и использование RxJS не исключение. При наличии нескольких параллельных процессов и большого количества данных, проходящих через ваше приложение, часто бывает трудно понять, что происходит, когда, почему и как. Желание лучше понять это постоянно меняющееся состояние этих программ подняло вопрос о том, как извлечь знания из работающей программы, без ручного протоколирования..
Автоматическая коррекция грамматики и орфографии с помощью PyTorch - Часть 1: Базовый уровень
Построение глубокой сети-преобразователя, исправляющей английские предложения Я большой поклонник таких сервисов, как Grammarly или Reverso, которые могут помочь исправить грамматические и орфографические ошибки. Это побудило меня создать гораздо более простой базовый план машинного обучения, который может автоматически исправлять английские предложения. В этом посте мы рассмотрим реализацию и обучение модели преобразователя последовательности в последовательность, которая будет..
Как работает Самостоятельное внимание в Transformer
В предыдущем посте я попытался показать некоторые аспекты Transformer. Теперь я сосредоточусь на Само-внимании. Если вы хотите разогреться, проверьте предыдущий пост, чтобы получить больше информации об архитектуре трансформатора. ( Ссылка на предыдущий пост ) Я получаю базовый код отсюда . Но я так изменился, что вы, наверное, не сопоставите строки. Код находится на github, но используйте nbviewer.com для просмотра, чтобы увидеть цвета. (Иногда Github не поддерживает все визуальные..
Что такое Борт?
Введение: Bort, это новая и более оптимизированная версия BERT; который вышел в октябре этого года из Amazon Science. Я узнал об этом сегодня, анализируя новости amazon science в Facebook о bort. So Bort - новейшее дополнение к длинному списку отличных языковых моделей с необычными достижениями. Почему важен Борт? Bort - это модель с эффективностью 5,5% и общим размером 16% от исходной модели BERT; и в 20 раз быстрее, чем BERT, при этом превосходя модель BERT в 20 из 23 задач;..
Можем ли мы использовать машинное обучение, чтобы ответить на вопросы Уголовного кодекса Индии ?? (мы выяснили)
В этом блоге обсуждается, как быстро настроить Huggingface DistilBert для ответов на вопросы на основе данных Уголовного кодекса Индии (IPC). Начиная с 2017 года, произошел сдвиг парадигмы в понимании языка и создании задач для машинного обучения благодаря успеху моделей на основе Transformers и Bert. В сочетании с доказанной эффективностью трансферного обучения для задач, связанных с языком, эти архитектуры стали стандартом как в промышленности, так и в исследованиях, с приложениями в..
Улучшение маркировки последовательностей для исправления грамматических ошибок
Рецензия на диссертацию Максима Тарнавского [1], успешно защищенную в июне 2021 года в качестве требования степени магистра наук в магистратуре по науке о данных в УКУ. Исправление грамматических ошибок (GEC) - широко известная задача в обработке естественного языка (NLP) для исправления ошибок в тексте. Система GEC получает предложение с различными типами ошибок (грамматическими, лексическими, орфографическими, пунктуационными и т. Д.) И выводит его исправленную версию. Такие системы..
Фильтрация метаданных в Haystack
HAYSTACK PERFORMANCE Фильтрация метаданных в Haystack Эта статья - четвертая в нашей серии статей об оптимизации системы ответов на вопросы Haystack. Здесь мы будем ссылаться на другие статьи, когда они появятся в Интернете: Настройка параметров Ускорьте свою систему контроля качества с помощью графических процессоров Выбор модели правильного читателя Фильтрация метаданных С языковыми данными сложно. Он полон повторений и упущений, что часто делает его..