После обучения моего собственного классификатора с помощью nltk, как мне загрузить его в textblob?

Я не мог быть уверен, что корпус nltk не может работать с textblob, и это меня удивило бы, поскольку textblob импортирует все функции nltk в свой исходный код и по сути является оболочкой.

Но после многих часов тестирования я пришел к выводу, что nltk предлагает лучший встроенный корпус настроений под названием "vader", который превзошел все мои обученные модели.

import nltk
nltk.download('vader_lexicon') # do this once: grab the trained model from the web
from nltk.sentiment.vader import SentimentIntensityAnalyzer
Analyzer = SentimentIntensityAnalyzer()
Analyzer.polarity_scores("I find your lack of faith disturbing.")
{'neg': 0.491, 'neu': 0.263, 'pos': 0.246, 'compound': -0.4215}
CONCLUSION: NEGATIVE

vader_lexicon и код nltk намного больше разбирают язык отрицания в предложениях, чтобы отрицать положительные слова. Например, когда Дарт Вейдер говорит «недостаток веры», это меняет чувство на противоположное.

Я объяснил это здесь с примерами лучших результатов: https://chewychunks.wordpress.com/2018/06/19/sentiment-analysis-discovering-the-best-way-to-sort-positive.-and-negative-feedback/

Это заменяет эту реализацию textblob:

from textblob import TextBlob
from textblob.sentiments import NaiveBayesAnalyzer
TextBlob("I find your lack of faith disturbing.", analyzer=NaiveBayesAnalyzer())
{'neg': 0.182, 'pos': 0.817, 'combined': 0.635}
CONCLUSION: POSITIVE

Классификатор vader nltk также содержит дополнительную документацию по его использованию для анализа настроений: http://www.nltk.org/howto/sentiment.html

textBlob всегда приводил к краху моего компьютера всего с 5000 примерами.

Судя по сообщению об ошибке, анализатор должен быть унаследован от абстрактного класса BaseSentimentAnalyzer. Как указано в документации здесь, класс должен реализовать функцию analyze(text). Однако при проверке документов по реализации NLTK я не смог найти этот метод в его основной документации здесь или его родительский класс ClassifierI здесь. Следовательно, я считаю, что обе эти реализации не могут быть объединены, если вы не можете реализовать новую функцию analyze в реализации NLTK, чтобы сделать ее совместимой с TextBlob.

Еще одно перспективное решение — использовать для построения модели spaCy вместо textblob или nltk. Это новое для меня, но кажется намного проще в использовании и более мощным: https://spacy.io/usage/spacy-101#section-lightning-tour

«spaCy — это Ruby of Rails для обработки естественного языка».

import spacy
import random

nlp = spacy.load('en') # loads the trained starter model here
train_data = [("Uber blew through $1 million", {'entities': [(0, 4, 'ORG')]})] # better model stuff

with nlp.disable_pipes(*[pipe for pipe in nlp.pipe_names if pipe != 'ner']):
    optimizer = nlp.begin_training()
    for i in range(10):
        random.shuffle(train_data)
        for text, annotations in train_data:
            nlp.update([text], [annotations], sgd=optimizer)
nlp.to_disk('/model')