Публикации по теме 'attention'


FlashAttention: революция в обработке языков благодаря более разумному использованию памяти
Введение: Давайте представим, что вы находитесь на шумной вечеринке, где пытаетесь слушать своего друга. Среди болтовни, музыки и шума ваш мозг проделывает потрясающую работу, сосредотачиваясь на словах вашего друга — это концепция «внимания». В мире искусственного интеллекта (ИИ) аналогичный механизм «внимания» помогает моделям ИИ сосредоточиться на соответствующих частях данных для решения сложных задач. Трансформеры — это своего рода модель ИИ, которые стали звездами в мире языковых..
Демистификация эффективного внимания к себе
Практический обзор Введение Архитектура Transformer [1] сыграла важную роль в некоторых из крупнейших прорывов в области глубокого обучения за последние годы. Особенно в области обработки естественного языка (NLP) предварительно обученные модели автокодирования (такие как BERT [2]) и авторегрессионные модели (такие как GPT-3 [3]) постоянно превосходят современные и достичь человеческого уровня генерации текста. Одним из наиболее важных нововведений Transformer является..
Направление от Даниэля Мока из Craft Better Software
Мама везла нас с младшим братом на государственную ярмарку. Мы опаздывали. Затем мы увидели табличку с надписью «Ярмарка штата рядом справа». Джон, мой младший брат сидел на переднем сиденье. Он сказал: «Пэт, поверни на следующем повороте направо». Она ответила: «Я знаю короткий путь». Затем она повернула машину налево. Через тридцать минут мы все еще были потеряны. Никакой государственной ярмарки в поле зрения. Как разработчики, мы тоже должны остановиться и спросить..
Запрограммировано на дыхании — астрологический взгляд на 18 октября 2022 года
Запрограммировано на дыхании — астрологический взгляд на 18 октября 2022 года Уточняю записи о грядущем новолунии в Скорпионе 25 октября. Я чувствую себя обязанным сделать небольшую заметку для моих подписчиков с включенными уведомлениями, чтобы сообщить вам некоторые важные идеи, которые я получаю в диаграмме, связанной с прямо сейчас . Это новолуние будет посвящено углублению органических отношений во всех измерениях природного мира. Расширьте свое сердце во все измерения бытия...
Статья, изменившая ИИ: гений, стоящий за DALL-E, ChatGPT и вашими любимыми моделями ИИ
Разгадка значения статьи «Внимание — это все, что вам нужно» и ее влияние на мир искусственного интеллекта Ландшафт искусственного интеллекта (ИИ) радикально изменился за последние годы, в первую очередь благодаря новаторской статье, опубликованной в 2017 году Васвани и др., под названием «Внимание — это все, что вам нужно». В этом документе представлена ​​архитектура Transformer, которая с тех пор стала основой для многочисленных современных моделей, особенно в области обработки..
Авторегрессионные модели для обработки естественного языка
Эволюция GPT: от GPT к GPT-2 и к GPT-3 Введение В этом сообщении блога я буду обсуждать модели авторегрессии. Модели, которые я буду обсуждать, были разработаны OpenAI. Сначала я расскажу об основах моделей авторегрессии, которые являются общими для всех моделей GPT, а затем перейду к усовершенствованиям каждой последующей модели. В предыдущем сообщении в блоге Внимание — это все, что вам нужно: основная идея трансформера я обсуждал механизм внутреннего внимания и архитектуру..
Внимание — это все, что вам нужно: основная идея трансформера
Обзор модели Transformer и ее основных компонентов. Введение В этом сообщении в блоге я буду обсуждать самую революционную статью этого века Внимание — это все, что вам нужно (Васвани и др.). Сначала я расскажу о механизме внутреннего внимания, а затем перейду к архитектурным деталям Трансформера. В предыдущем сообщении в блоге От Seq2Seq к вниманию: революция в моделировании последовательностей я обсуждал происхождение механизма внимания и внимания Богданау. В этом блоге я буду..