Публикации по теме 'language-model'


Об опасностях стохастических попугаев: вопросы и ответы с Эмили М. Бендер
Тайлер Уэллс Линч Институт эмпирического искусственного интеллекта пригласил Эмили М. Бендер, профессора лингвистики Университета Вашингтона, финансируемого Говардом и Фрэнсис Ностранд, чтобы рассказать о рисках, связанных с языковыми моделями в области обработки естественного языка (НЛП). Языковые модели (LM) используются в машинном переводе, распознавании речи, поиске информации и тегировании. В эпоху больших данных модели больших языков (LLM) представляют собой новый рубеж в..
Гигантская языковая модель и ее API: GPT-3
В этой статье я не собираюсь вводить какие-либо подробности обучения и тестирования GPT-3, пожалуйста, проверьте их статью для получения дополнительной информации (74 страницы). Я хотел бы опубликовать некоторые свои мысли и вопросы для публичного обсуждения, а также представить очень новую бета-версию API OpenAI (2020.06.11). Неделю назад (2020.06.05) OpenAI выпустила документ под названием Языковые модели - немногие изучающие на Arxiv, который представляет собой так называемую..
Обзор текстовых представлений в НЛП
Обсуждение трех наиболее часто используемых типов ввода в НЛП. Написание - всегда хороший выбор, когда дело доходит до разъяснения понимания данной темы. Изложив мысли на бумаге, можно прояснить идеи и выявить недоразумения. Хотя это может быть не самым удобным занятием, это действительно эффективный способ учиться и совершенствоваться. Если вам когда-либо трудно что-то объяснить другу, что-то, что вы изучали какое-то время, но почему-то все еще не смогли четко и интуитивно изобразить..
Текстовый редактор Wordcraft от Google улучшает совместное написание историй человеком и ИИ
Модели нейронного языка набирают популярность в реальных творческих задачах, таких как текст-приключенческие игры, совместное написание слоганов и даже спортивная журналистика, поэзия и создание романов. Однако большинство таких языковых моделей обеспечивают ограниченную поддержку взаимодействия для пользователей, поскольку управление, выходящее за рамки простого создания текста с письмом слева направо, требует явного обучения. Чтобы устранить это ограничение, команда Google Research..
Понимание языкового моделирования (NLP) и использование ULMFIT
Классификация текста с помощью ULMFIT с кодом Языковая модель (LM) - это распределение вероятностей по последовательностям слов. Эти языковые модели используются в качестве базовой модели [как в трансферном обучении] для различных задач обработки естественного языка, включая классификацию текста, обобщение, генерацию текста и многое другое. Перед тем, как продолжить этот блог, рекомендуется иметь базовые представления о глубоком обучении и трансфертном обучении. LM упрощают отображение..
Серия "Обработка естественного языка"
Часть 3: Модели нейронного языка Это третья публикация в нашей серии статей, посвященных захватывающей области обработки естественного языка ! В нашем первом посте мы увидели, что применение нейронных сетей для построения языковых моделей было важным поворотным моментом на шкале времени НЛП, а в нашем втором посте мы исследовали значение встраивания слов в развитии этой области. Теперь мы готовы создать нашу собственную языковую модель! 1. Что такое языковая модель? В самом..
Использование закона Ципфа для улучшения моделей нейронного языка
Вступление В этой статье я объясню, что такое закон Ципфа в контексте обработки естественного языка (НЛП), и как знание этого распределения было использовано для построения лучших нейронных языковых моделей. Полагаю, читатель знаком с концепцией нейронных языковых моделей . Код Код для воспроизведения чисел и цифр, представленных в этой статье, можно скачать из этого репозитория . Набор данных Анализ, обсуждаемый в этой статье, основан на необработанном корпусе wikitext-103 ...