Статистическая модель предложения предложений, такая как проверка орфографии

Вы хотите построить модель N-грамм, которая заключается в вычислении вероятности того, что каждое слово будет следовать за последовательностью из n слов.

Вы можете использовать текстовый корпус NLTK для обучения своей модели или токенизировать свой собственный корпус с помощью nltk.sent_tokenize(text) и nltk.word_tokenize(sentence).

Можно считать 2-граммовыми (марковская модель):

Какова вероятность того, что «котенок» последует за «милым»?

... или 3 грамма:

Какова вероятность того, что «котенок» последует за «милым»?

и т.п.

Очевидно, что обучение модели с n + 1 граммом обходится дороже, чем n-грамм.

Вместо того, чтобы рассматривать слова, вы можете рассмотреть пару (word, pos), где pos - тег части речи (вы можете получить теги с помощью nltk.pos_tag(tokens))

Вы также можете попробовать рассмотреть леммы вместо слов.

Вот несколько интересных лекций о моделировании N-грамм:

1. Введение в N-граммы
2. Оценка вероятностей N-граммов

Это простой и короткий пример кода (2 грамма) без оптимизации:

from collections import defaultdict
import nltk
import math

ngram = defaultdict(lambda: defaultdict(int))
corpus = "The cat is cute. He jumps and he is happy."
for sentence in nltk.sent_tokenize(corpus):
    tokens = map(str.lower, nltk.word_tokenize(sentence))
    for token, next_token in zip(tokens, tokens[1:]):
        ngram[token][next_token] += 1
for token in ngram:
    total = math.log10(sum(ngram[token].values()))
    ngram[token] = {nxt: math.log10(v) - total for nxt, v in ngram[token].items()}