Публикации по теме 'transformers'
Трансформеры: обманчиво простые языковые модели
Трансформеры — это не просто машины, которые превращаются в автомобили. В мире обработки естественного языка (NLP) трансформеры относятся к типу архитектуры нейронной сети, которая произвела революцию в этой области. Они являются основой многих современных языковых моделей, которые достигли революционной производительности в различных задачах НЛП, таких как языковой перевод, суммирование текста и анализ настроений.
Но не обманывайтесь названием — в ближайшее время они не..
На что на самом деле смотрит трансформирующее само-внимание?
Глубокое погружение в головы внимания BERT
Предыстория: трансформеры, самовнимание и BERT
За последние несколько лет прогресс в понимании естественного языка взорвался , во многом благодаря новой архитектуре нейронной сети, известной как Трансформатор . Главным архитектурным нововведением модели Transformer стало широкое использование так называемого самовнимания настолько, что статья, представляющая модель, называлась Внимание — это все, что вам нужно . Механизм внутреннего..
Как обучить классификатор объединенных сущностей и извлечения отношений с помощью преобразователя BERT и spaCy…
Пошаговое руководство по обучению классификатора извлечения отношений с помощью Transformer и spaCy3.
Введение
Одним из наиболее полезных приложений технологии НЛП является извлечение информации из неструктурированных текстов - контрактов, финансовых документов, медицинских записей и т. Д. - что позволяет автоматически запрашивать данные для получения новых идей. Традиционно распознавание именованных сущностей широко используется для идентификации сущностей внутри текста и хранения..
Преобразователи внимания ядра графа: к выразительной и масштабируемой обработке графов
Способность графовых нейронных сетей (GNN) работать со структурами данных графов сделала их пригодными для реальных приложений в социальных сетях, биоинформатике, а также в задачах навигации и планирования в робототехнике. Но, несмотря на их растущую популярность, GNN не лишены своих ограничений, которые включают эффективность обработки, проблему высокой вычислительной сложности и квадратичные требования к памяти для плотных графов.
Для решения этих проблем исследовательская группа..
Искусство создания чат-ботов: разработка чат-ботов с искусственным интеллектом для авиационной отрасли
Разработка системы НЛП для разговоров с использованием искусственного интеллекта
Введение
Развитие технологий искусственного интеллекта произвело революцию в том, как компании взаимодействуют с клиентами, и отрасль авиаперевозок не является исключением. Разговорные чат-боты с искусственным интеллектом все чаще используются авиакомпаниями как способ улучшить качество обслуживания клиентов, повысить эффективность и оптимизировать операции. В этом блоге мы рассмотрим ключевые элементы,..
AI-бот учится делать комплименты : рождение Complimentobot
Создание комплиментарного ИИ-бота
Ситуация с коронавирусом, в которой мы сейчас живем, дала мне гораздо больше времени, чем обычно. Прошли мои ежедневные 40-минутные поездки на работу и с работы. Прошли мои двухнедельные поездки по стране, чтобы навестить дом. Это отсутствие поездок на работу высвободило более 10 часов в неделю для других интересов. Но чего добиваться?
Когда началась блокировка, я спустился в кроличью нору, стряхивая пыль со своей библиотеки Steam и играя в..
Оптимизация преобразователей: ResiDual от Microsoft и RUC решает исчезновение и представление градиента…
Как свидетельствует быстрый рост мощных моделей больших языков, таких как GPT, нейронные сети на основе преобразователей революционизируют область обработки естественного языка. Одним из перспективных направлений дальнейшего совершенствования таких моделей являются остаточные связи, которые позволяют напрямую…
