Публикации по теме 'transformers'


Об обработке естественного языка
Способность роботов понимать язык и реагировать на него — необходимое условие для того, чтобы они могли взаимодействовать с нами. Таким образом, это очень активная тема исследований, и новые, лучшие и в основном более крупные нейронные сети появляются на очень регулярной основе. Очень сложно идти в ногу со временем. Особенно для людей, плохо знакомых с этой темой, это может быть очень обременительно для начала. Недавно изучив тему обработки естественного языка (НЛП), я хочу дать..
Общий взгляд на архитектуру Transformer
Почему был введен трансформатор? Для последовательной задачи наиболее широко используемой сетью является RNN. Но RNN не может справиться с исчезающим градиентом. Поэтому они представили сети LSTM, GRU для преодоления исчезающих градиентов с помощью ячеек памяти и вентилей. Но с точки зрения долгосрочной зависимости даже GRU и LSTM недостаточны, потому что мы полагаемся на эти новые механизмы ворот/памяти для передачи информации от старых шагов к текущим. Если вы не знаете о LSTM и GRU,..
Пользовательские преобразователи в Scikit-learn Pipeline
В этом блоге мы узнаем: Что такое трубопровод? Зачем нам это нужно? Как создать преобразователи пользовательских функций в библиотеке scikit-learn? Как добавить их в конвейеры мл? pipeline — это класс scikit-learn, который принимает список пар имя/оценка, определяющих последовательность шагов. Зачем нам трубопровод? Он следует стандартным соглашениям о кодировании scikit-learn. Какие бы изменения мы ни вносили в один набор данных, их можно внести в другой набор данных с..
Создание сети знаний для поиска работы с помощью BERT Transformer
Вступление: Хотя область НЛП росла экспоненциально в течение последних двух лет - благодаря развитию моделей, основанных на передаче, - их приложения были ограничены в области поиска работы. LinkedIn, ведущая компания в области поиска работы и найма, является хорошим примером. Хотя у меня есть докторская степень по материаловедению и магистр физики, я получаю рекомендации по работе, такие как технический менеджер программы в MongoDB и должность разработчика Go в Toptal, которые..
Бумага о компьютерном зрении ~ PoseFormerV2: изучение частотной области для эффективного и надежного 3D-человеческого…
Репозиторий открытого доступа CVPR 2023 PoseFormerV2: исследование частотной области для эффективной и надежной оценки позы человека в 3D Цитао Чжао, Це Чжэн… openaccess.thecvf.com В последнее время появились успешные методы, использующие преобразователи для оценки человеческих поз в 3D на основе последовательных 2D-данных. Один из таких методов под названием PoseFormer достиг впечатляющих результатов, анализируя пространственные..
Факторное кодирование с помощью нейронных сетей
от June Nahmgoong Фактор — это математическое выражение, составленное из финансовых данных компании. Факторы считаются важными как в научных кругах, так и в промышленности, поскольку некоторые факторы коррелируют с совокупной доходностью акций компаний в будущем. Однако такие факторы, часто называемые альфа-факторами , трудно найти. В Akros Technologies мы ищем альфа-версии с помощью ИИ и повышаем эффективность поиска с помощью обучения с подкреплением. Чтобы научить модели ИИ..
Привет, Джулиано,
Привет, Джулиано, Спасибо за прекрасное объяснение. Но эта часть, которую я цитировал в вашей статье, неверна. В статье «Внимание - это все, что вам нужно» они специально заявили, что не используют никакие CNN или RNN («Мы предлагаем новую простую сетевую архитектуру, Transformer, основанную исключительно на механизмах внимания, полностью избавляющуюся от повторения и сверток»). . Пожалуйста, поправьте меня, если я ошибаюсь. Заранее спасибо!