Сходство документов: встраивание векторов по сравнению с производительностью Tf-Idf?

1. doc2vec или word2vec?

Согласно статье, doc2vec или paragraph2vec плохо подходят для коротких документов. [Изучение семантического сходства для очень коротких текстов, 2015, IEEE]

2. Краткие документы ...?

Если вы хотите сравнить сходство между короткими документами, вы можете векторизовать документ с помощью word2vec.

3. как построить?

Например, вы можете построить вектор документа со средневзвешенным вектором, используя tf-idf.

4. мера сходства

Кроме того, для подобия я рекомендую использовать ts-ss, а не косинус или евклидову.

Пожалуйста, обратитесь к следующей статье или резюме в github ниже. «Гибридный геометрический подход для измерения уровня сходства между документами и кластеризации документов»

https://github.com/taki0112/Vector_Similarity

Спасибо

Вы должны попробовать: ответ может варьироваться в зависимости от вашего корпуса и специфического для приложения восприятия «подобия». Эффективность может особенно различаться в зависимости от типичной длины документа, поэтому, если «быстро расти со временем» также означает «расти произвольно долго», это может сильно повлиять на то, что работает с течением времени (требуя адаптации для более длинных документов).

Также обратите внимание, что «Paragraph Vectors», где вектор обучается совместно, как вектор слов для представления диапазона текста - может превзойти простое среднее значение векторов слов в качестве входных данных для задач подобия / классификации. (Многие ссылки на «Doc2Vec» конкретно означают «векторы абзацев», хотя термин «Doc2Vec» иногда также используется для любого другого способа преобразования документа в один вектор, например, простого среднего числа слов-векторов.)

Вы также можете посмотреть "Расстояние перемещения Word" (WMD), мера сходства между двумя текстами, в которой используются векторы слов, но не через какое-либо простое среднее значение. (Однако расчет может быть дорогостоящим, особенно для более объемных документов.) Для классификации есть недавнее уточнение под названием "Расстояние контролируемого перемещения слов", которое переоценивает / преобразует векторы слов, чтобы сделать их более чувствительными к известным категориям. При наличии достаточного количества данных оценки / настройки о том, какой из ваших документов должен быть ближе, чем другие, аналогичный метод, вероятно, можно было бы применить к общим задачам подобия.

Вы также можете попробовать сходство Жаккара, которое использует базовую алгебру множеств для определения словесного перекрытия в двух документах (хотя это несколько похоже на подход BOW). Хорошее вступление к нему можно найти здесь < / а>.