Публикации по теме 'transformers'


Статья, изменившая ИИ: гений, стоящий за DALL-E, ChatGPT и вашими любимыми моделями ИИ
Разгадка значения статьи «Внимание — это все, что вам нужно» и ее влияние на мир искусственного интеллекта Ландшафт искусственного интеллекта (ИИ) радикально изменился за последние годы, в первую очередь благодаря новаторской статье, опубликованной в 2017 году Васвани и др., под названием «Внимание — это все, что вам нужно». В этом документе представлена ​​архитектура Transformer, которая с тех пор стала основой для многочисленных современных моделей, особенно в области обработки..
Предварительное обучение больших языковых моделей в масштабе
Языковое моделирование является ключевым компонентом современных систем НЛП. В простейшем смысле языковая модель — это распределение вероятностей по словам в языке, т. е. она фиксирует семантический контекст словарного запаса языка. Имея хорошую модель данного языка, мы можем добиться высокой производительности во многих нижестоящих задачах НЛП, таких как обработка речи, понимание прочитанного, машинный перевод и так далее. Предупреждение, однако, заключается в том, что языки сложны, и..
Обнимающее лицо: расширение возможностей инженеров по машинному обучению с помощью современных моделей и инструментов НЛП
Введение: В последние годы обработка естественного языка (NLP) добилась огромных успехов благодаря новаторским исследованиям и разработке мощных библиотек и фреймворков. Одной из таких выдающихся библиотек, которая произвела революцию в ландшафте НЛП, является Hugging Face. В этом блоге мы углубимся в Hugging Face, изучим его ключевые функции, лежащие в его основе технологии и его влияние на инженеров по машинному обучению при создании современных моделей НЛП. Что такое обнять лицо?..
Вышел GPT-3 с открытым исходным кодом!
Познакомьтесь с EleutherAI GPT-Neo, большой языковой моделью. С момента своего выпуска GPT-3 широко известен как инструмент, изменивший правила игры, когда дело доходит до создания текста. OpenAI создает по-настоящему мощную модель машинного обучения с одной лишь оговоркой. Код по-прежнему не является общедоступным, и единственный способ взаимодействия с API - через API. Это может скоро измениться. Что такое EleutherAI и GPT-Neo? EleutherAI - это бесплатная группа..
Упрощенное объяснение блока преобразователя [обязательный блог для энтузиастов НЛП]
Подробный обзор различных компонентов трансформаторных блоков Общий обзор и информацию о seq2seq RNN см. в этом блоге. Seq2Seq RNN с вниманием: краткая интуиция для понимания основ Введение ChatGPT  – это чат-бот с искусственным интеллектом ( созданный OpenAI ), который превосходно выполняет удивительные задачи на человеческом уровне, включая ответы на вопросы, диалоги, написание эссе, почту и даже программирование. . Ключевым нововведением архитектуры преобразователя является..
Простое обнаружение объектов с помощью трансформаторов: простая реализация модели Pix2Seq в PyTorch
Введение Обнаружение объекта не должно быть сложной задачей! Я хорошо помню, как впервые внедрил YOLO с нуля, и мне было больно понимать, как это работает под капотом. Для новичков в приложениях компьютерного зрения я считаю, что обнаружение объектов является самым сложным для понимания среди классификации, сегментации и т. д. Когда я впервые услышал о докладе Pix2seq: A Language Modeling Framework for Object Detection на ICLR 2022 , я очень обрадовался и был уверен, что мой..
Обнаружение видеоаномалий с помощью предварительно обученных пространственно-временных моделей
Создайте, обучите и проверьте алгоритм обнаружения видеоаномалий, используя предварительно обученные модели пространства-времени, такие как TimeSformer, R(2+1)D или SlowFast 3D ResNet, с традиционным автокодировщиком. 1. Введение Предположим, существует спортивная зона, где по правилам разрешено заниматься только определенным списком видов спорта. Любая другая деятельность запрещена по соображениям безопасности или потому, что она не нравится владельцу :). Проблема, которую мы хотим..