Публикации по тегам nlp

Публикации по теме 'nlp'

Какие особенности ваша модель машинного обучения узнает из ввода текста?

Задача Цель этого поста - помочь вам понять, как определить функции, которые ваша модель машинного обучения узнает из ввода текста, и понять причину, по которой она предсказывала категорию. Фон Веб-приложение - sentipy , которое помогает визуализировать особенности текста, построено на основе пакета анализа настроений. Хотя основной пакет находится на очень начальной стадии разработки, в центре внимания этой публикации - понять, какие функции изучает ваша модель. Компоненты..

Анализ Неру с помощью НЛП - Часть 2

Изучение тем «Открытия Индии» с НЛП Анализ Неру с помощью НЛП: Часть 1 прошел довольно хорошо. Есть несколько человек, заинтересованных в НЛП. Так что это плюс. Что я узнал из части 1: Независимо от того, какие данные вы получаете, всегда лучше, если их можно будет представить в простой и ясной форме. Линейные графики и гистограммы пригодятся, когда вы меньше всего этого ожидаете. Вот быстрая ссылка на библиотеку matplotlib, которая используется для построения всех..

Введение в pyvi: Python вьетнамский инструментарий НЛП

Использование пакета «pyvi» для токенизации, позиционирования и модификации акцентных знаков. В прошлом я освещал довольно много статей, связанных с инструментарием НЛП для различных азиатских языков: Обработка кхмерского естественного языка в Python Руководство для начинающих по PyThaiNLP Обработка корейского естественного языка в Python SudachiPy: японский морфологический анализатор на Python А сегодня давайте поговорим о вьетнамском языке подробнее. Прочитав эту..

Дедупликация, почти дубликат: краткое руководство

Привет Всем!, В этой короткой и краткой записи блога я расскажу о нескольких методах и готовых решениях для устранения дубликатов и почти дублированных данных. Итак, почему это важно? если мы посмотрим с точки зрения обучения модели ML, модели ML плохо обобщаются, когда у вас есть дублирующиеся данные в наборе обучающих данных. Хорошо, так что давайте начнем сейчас, Есть много способов вычислить сходство между двумя предложениями/документами, давайте взглянем на следующее: Сходство..

Автоматическая очистка данных с помощью обучения без учителя

Очистка текста для ваших проектов НЛП еще никогда не была такой веселой и простой! Мне нравится работать с текстовыми данными. Что касается компьютерного зрения, то в настоящее время в НЛП есть много готовых доступных ресурсов и проектов с открытым исходным кодом, которые мы можем напрямую скачать или использовать. Некоторые из них классные и позволяют ускорить и вывести на новый уровень наши проекты. Самое главное, что мы не должны забывать, это то, что все эти инструменты не..

Создайте поисковую систему с GPT-3

Объедините мощь больших языковых моделей с выбранным корпусом, чтобы генерировать естественно звучащие ответы, основанные на фактах. Если вы были в сети в последнее время, то вы, вероятно, заметили волнение по поводу новейшей языковой модели OpenAI, ChatGPT. ChatGPT удивительно хорош во многих вещах, включая отладку кода и переписывание текста в любом стиле, который вы ему зададите. Являясь ответвлением GPT-3.5, большой языковой модели (LLM) с миллиардами параметров, ChatGPT обязан..

Трансформеры — часть 2— Вход

Входы Первая часть архитектуры называется входами. Какие входы? это зависит от того, что мы пытаемся сделать. В нашем примере мы создаем языковую модель, программное обеспечение, которое умеет генерировать соответствующий текст, но архитектура Transformers также полезна и в других случаях использования. Поскольку генерация текста является нашей конечной целью, нам нужно обучить (научить) модель, как это делать, поэтому входными данными является текст. Первая проблема заключается в..