Какие дополнительные функции использовать помимо встраиваний Doc2Vec для схожести документов?

Вы должны попробовать создать TD-IDF с 2 и 3 граммами, чтобы сгенерировать векторное представление для каждого документа. Вам придется тренировать словарный запас по всем 150 документам. Если у вас есть вектор TF-IDF для каждого документа, вы можете использовать косинусное сходство между любыми двумя из них.

Вот статья в блоге с дополнительные сведения и страница документации для sklearn.

Как вы оцениваете результаты как плохие и как узнаете, что ваши результаты удовлетворительны / хороши?

Обратите внимание, что всего 150 документов по 400-700 слов в каждом представляют собой крошечный набор данных: типичные используемые наборы данных, опубликованные Doc2Vec результаты включают от десятков тысяч до миллионов документов, от сотен до тысяч слов в каждом.

Любому из алгоритмов в стиле _2 _ / _ 3_ / etc будет сложно что-то сделать с таким небольшим объемом данных. (Реализация gensim Doc2Vec включает аналогичный набор данных игрушек, состоящий из 300 документов по 200-300 слов каждый, как часть структуры модульного тестирования, и для получения даже неопределенно полезных результатов необходимо увеличить количество эпох обучения и уменьшить размер вектора, значительно.)

Поэтому, если вы собираетесь использовать алгоритмы, подобные Doc2Vec, вашим главным приоритетом должен быть поиск дополнительных данных для обучения. Даже если в конечном итоге значимым будет всего ~ 150 документов, сбор большего количества документов, использующих аналогичный язык предметной области, может помочь улучшить модель.

Непонятно, что вы имеете в виду, когда говорите, что есть 10 тем и 1 тема в документе. Назначаются ли эти категории людьми, и включены ли они как часть обучающих текстов или тегов в алгоритм Doc2Vec? (Было бы разумно включить его, в зависимости от того, из чего состоят ваши конечные цели и оценки схожести документов.)

Являются ли эти темы такими же, как и маркировка, которую вы также упоминаете, и пытаетесь ли вы в конечном итоге предсказать темы или просто используете темы для проверки результатов схожести?

Как предлагает @ adnan-s в другом ответе, также может быть стоит попробовать более простые представления документов `` мешок слов '' на основе подсчета, в том числе потенциально на словарных n-граммах или даже символьных n-граммах, или взвешенных по TF-IDF .

Если у вас есть адекватные слова-векторы, полученные на основе ваших данных или из других совместимых источников, мера «Расстояние перемещения слов» может быть еще одним интересным способом вычисления попарного сходства. (Однако вычисление между текстами из многих сотен слов может оказаться слишком дорогостоящим - работа с более короткими текстами выполняется намного быстрее.)

Как уже говорили другие, ваш обучающий набор из 150 документов, вероятно, недостаточно велик для создания хороших представлений. Однако вы можете попытаться использовать предварительно обученную модель и вывести векторы ваших документов.

Вот ссылка, по которой вы можете загрузить модель DBOW (1,4 ГБ), обученную на английском языке. Страницы Википедии, работающие с 300-мерными векторами документов. Я получил ссылку из репозитория jhlau / doc2vec GitHub. Скачав модель, вы можете использовать ее следующим образом:

from gensim.models import Doc2Vec

# load the downloaded model
model_path = "enwiki_dbow/doc2vec.bin"
model = Doc2Vec.load(model_path)

# infer vector for your document
doc_vector = model.infer_vector(doc_words)

Где doc_words - это список слов в вашем документе.

Однако это может не сработать для вас, если ваши документы очень специфичны. Но вы все равно можете попробовать.