Публикации по теме 'fasttext'
Введение в fastText, автономные ноутбуки Jupyter, кластеры Kubernetes и задания
Руководство ODSC по подготовке к работе с fastText
В этом бесплатном руководстве по fastText вы получите все, что вам нужно знать, чтобы начать работу с fastText для НЛП и машинного обучения!
SAS открывает интерфейс редактора кода для пользователей Python
Специалисты по данным и программисты Python теперь могут кодировать, выполнять и планировать сценарии Python из интерфейса редактора кода SAS (SAS Studio).
Как сделать Jupyter Notebook автономным и позволить другим..
Построение модели классификации текста за минимальное время и усилия по кодированию
Насколько хорошо, если мы сможем получить бесплатную пробную версию продукта (прогноз модели), прежде чем мы примем решение раскошелиться на наши деньги (время и энергия)?
Введение
В этой статье используются библиотеки обработки естественного языка (NLP), такие как Texthero и FastText , которые сокращают разработку классификатора текста без ущерба для производительности. На разработку типичного текстового классификатора уходит часы или дни, начиная с исследовательского анализа..
Fasttext и Doc2Vec для классификации текстов
Всем привет,
В этой статье я покажу вам, как создать мультиклассовый классификатор для любого типа текста с помощью Fasttext и Doc2Vec. Этот документ станет руководством для тех, кто будет работать с классификатором текстов впервые. Начиная с загрузки данных, я буду следовать шагам очистки данных, подготовки данных для обучения и построения модели. Наконец, я закончу свою статью, сделав прогнозы для цели. Если вы готовы, давайте начнем с загрузки данных!
Загрузить данные
Прежде..
TF-IDF против встраивания слов, сравнение и учебник по коду
Когда использовать встраивание слов из популярного словаря FastText, а когда придерживаться векторных представлений TF-IDF, описания с закодированными примерами.
TF-IDF и Word Embedding - два наиболее распространенных метода обработки естественного языка (NLP) для преобразования предложений в машиночитаемый код. В этой статье мы расскажем:
Что такое векторы TF-IDF по сравнению с векторами встраивания слов Как применить оба метода к задаче классификации спама Когда лучше..
fastText и несбалансированная классификация
Вы когда-нибудь сталкивались с несбалансированными классами, и вам приходилось сокращать эти данные или получать больше данных, чтобы сбалансировать их. Что ж, в моем случае я хочу увидеть, как fastText справляется с несбалансированными классами. Как мы знаем, fastText утверждает, что использует несбалансированность классов. Как новичок в машинном обучении, создание сбалансированных классов требует некоторых усилий, поэтому я хочу доверять fastText и попытаться принять несбалансированные..
Создание ансамбля производственного классификатора
Готовый к использованию сервис классификатора PDF с использованием BERT, Inception и fastText
Демонстрации машинного обучения легко найти, но как насчет практических комплексных решений, которые можно запустить в производство? Я описываю здесь готовый к работе классификатор документов на основе ансамбля с открытым исходным кодом для PDF-файлов. Достигает точности 98%. Это объяснение того, как это произошло, почему были объединены разные классификаторы и как я превратил их в..
Вопросы по теме 'fasttext'
Как найти похожие слова с помощью FastText?
Я играю с FastText , https://pypi.python.org/pypi/fasttext , что очень похоже на Word2Vec . Поскольку это довольно новая библиотека с небольшим количеством встроенных функций, мне было интересно, как извлечь морфологически похожие слова....
17110 просмотров
schedule
15.06.2022
Почему косинусное сходство предварительно обученной модели fasttex велико между двумя сентентами, которые вообще не относительны?
Мне интересно узнать, почему предварительно обученная «модель быстрого текста» с вики (корейский), похоже, не работает! :(
model = fasttext.load_model ("./ fasttext / wiki.ko.bin")
model.cosine_similarity («테스트 테스트 이건 테스트 문장», «지금 아무 관계 없는 글...
305 просмотров
schedule
29.03.2022
Настоящая причина ускорения в фасттексте
Какова реальная причина ускорения, хотя в конвейере, упомянутом в статье fasttext, используются методы - отрицательная выборка и heirerchichal softmax; в более ранних статьях word2vec. Я не могу четко понять реальную разницу, из-за которой...
730 просмотров
schedule
07.01.2023
Обработка массивов C ++ в Cython (с помощью numpy и pytorch)
Я пытаюсь использовать cython для обертывания библиотеки C ++ ( fastText , если это необходимо). Классы библиотеки C ++ загружают с диска очень большой массив. Моя оболочка создает экземпляр класса из библиотеки C ++ для загрузки массива, затем...
2576 просмотров
schedule
17.04.2023
Вычислите матрицу путаницы модели классификатора FastText
Я рассчитываю для модели классификатора Facebook FastText матрицу путаницы в таким образом :
#!/usr/local/bin/python3
import argparse
import numpy as np
from sklearn.metrics import confusion_matrix
def parse_labels(path):
with open(path,...
1362 просмотров
schedule
27.07.2023
Разница между Fasttext .vec и .bin файлом
Я недавно скачал предварительно обученную модель fasttext для английского языка. Получилось два файла:
wiki.en.vec
wiki.en.bin
Я не уверен, в чем разница между двумя файлами?
10488 просмотров
schedule
06.05.2022
Информация о подсловах в FastText Wiki-Trained Vectors
Кто-нибудь знает, есть ли векторы слов, которые открыты в Facebook (в частности, те, что здесь https://fasttext.cc/docs/en/pretrained-vectors.html ) содержат векторы подслов или просто включают результирующие векторы полных слов. Я надеялся, что они...
318 просмотров
schedule
13.08.2022
Есть ли способ использовать процесс представления слов fastText параллельно?
Я новичок в fastText , библиотеке для эффективного изучения представлений слов и классификации предложений. Я пытаюсь генерировать вектор слова для огромного набора данных . Но в одном процессе это занимает значительно много времени.
Итак,...
1238 просмотров
schedule
17.08.2023
Как предварительно обученная модель Gensim Fasttext получает векторы для слов вне словарного запаса?
Я использую gensim для загрузки предварительно обученной модели fasttext. Я загрузил обученную модель английской Википедии с веб-сайта fasttext .
вот код, который я написал для загрузки предварительно обученной модели:
from gensim.models...
9360 просмотров
schedule
07.09.2022
Векторы предложений для быстрого текста
Я пытался создать векторы предложений в fasttext для одной строки на английском языке в python, но все, что я получил, было решением, связанным с CLI в fasttext.
Ссылка для быстрого создания вектора тестовых предложений
Мне нужна функция или...
3913 просмотров
schedule
24.01.2023
Создавайте вложения слов, не сохраняя векторный файл fastText в репозитории.
Я пытаюсь встроить предложение с помощью Infersent , а Infersent использует fastText для встраивания слов. Размер векторного файла fastText близок к 5 ГиБ.
Когда мы храним векторный файл fastText вместе с репозиторием кода, размер репозитория...
108 просмотров
schedule
29.08.2023
Использование информации подслова в токене OOV из fasttext на слое встраивания слов (keras / tensorflow)
У меня есть собственная модель Fasttext, и я обучил ее модели классификации keras со слоем встраивания слов.
Но мне интересно, как я могу использовать информацию подслова моей модели для слов OOV? Поскольку уровень встраивания слов работает через...
321 просмотров
schedule
30.09.2023
Не удалось установить fasttext через терминал с помощью make
Я работаю над Ubuntu 16.04 и пытаюсь установить fasttext через терминал, используя следующие команды (с их сайта):
$ wget https://github.com/facebookresearch/fastText/archive/v0.2.0.zip
$ unzip v0.2.0.zip
$ cd fastText-0.2.0
$ make
Но я...
94 просмотров
schedule
29.05.2023
Word2Vec: ошибка при загрузке предварительно обученного файла word2vec с помощью Gensim
Я получаю сообщение об ошибке при попытке загрузить предварительно обученный файл word2vec (скомпилированный с помощью fasttext) с помощью Gensim. Файл имеет расширение .vec и находится здесь:...
165 просмотров
schedule
31.05.2022
Есть ли ошибки в FastText.build_vocab?
Я не могу обновить обучение моей модели быстрого текста gensim с помощью команды: model.build_vocab
Я думаю, что ключом является «AttributeError: объект 'FastText' не имеет атрибута 'syn1neg'»
Пожалуйста, дайте мне какое-нибудь предложение....
391 просмотров
schedule
24.08.2023
Возможна ли тонкая настройка моделей FastText
Я работаю над проектом схожести текста с использованием FastText, основной пример, который я нашел для обучения модели:
from gensim.models import FastText
model = FastText(tokens, size=100, window=3, min_count=1, iter=10, sorted_vocab=1)...
3168 просмотров
schedule
26.08.2022
команды для предсказания языка с помощью fastText в Linux
Для идентификации языка я использую следующий учебник:
Руководство по определению языка Fasttext
После выполнения команды, как в учебнике: ./fasttext test langdetect.bin valid.txt
У меня есть следующий вывод: N 10000 P@1 0,967 R@1 0,967...
183 просмотров
schedule
24.01.2023
Файл FastText .bin не помещается в памяти, хотя у меня достаточно оперативной памяти
Я пытаюсь загрузить одну из предварительно обученных моделей FastText в виде файла .bin. Размер файла .bin составляет 2,8 ГБ, у меня 8 ГБ ОЗУ и 8 ГБ файла подкачки. К сожалению, модель начинает загружаться и занимает почти 15 ГБ, а затем ломается со...
1451 просмотров
schedule
30.04.2023
Анализ настроений и быстрый текст: ошибка импорта
Я хочу провести анализ настроений, используя FastText . Однако у меня всегда возникали ошибки при объявлении библиотек, и ни один пример и учебник в Интернете, похоже, не мог это исправить.
Я попытался выполнить шаги, описанные здесь:...
377 просмотров
schedule
07.02.2023
Исключение: невозможно загрузить model.bin
Я получил следующее сообщение об ошибке при попытке запустить модель:
Exception: fastText: Cannot load model.bin due to C++ extension failed to allocate the memory
Код, который я использовал, следующий:
import wget
from fasttext import...
473 просмотров
schedule
04.09.2023
