Я написал код, который отправляет запросы в Google и возвращает результаты. Я извлекаю фрагменты (резюме) из этих результатов для дальнейшей обработки. Однако иногда в этих фрагментах есть неанглийские слова, которые мне не нужны. Например:
/\u02b0w\u025bn w\u025bn unstressed \u02b0w\u0259n w\u0259n/
Мне нужно только "безударное" слово в этом предложении. Как я могу это сделать? Благодарность
PyEnchant может быть простым вариантом для вас. Я не знаю о его скорости, но вы можете делать такие вещи, как:
>>> import enchant
>>> d = enchant.Dict("en_US")
>>> d.check("Hello")
True
>>> d.check("Helo")
False
>>>
Учебник находится здесь, в нем также есть варианты возврата предложений который вы можете снова для другого запроса или что-то. Кроме того, вы можете проверить, находится ли ваш результат на латыни-1 (is_utf8() существует, не знаю, есть ли is_latin-1(), возможно, используйте что-то вроде Enca, которая определяет кодировку текстовых файлов на основе знания их языка.)
Вы можете сравнить полученные слова со словарем английских слов, например /usr/share/dict/words в системе BSD.
Я предполагаю, что результаты Google по большей части грамматически правильны, но если нет, вам, возможно, придется изучить корень, чтобы сопоставить его со словарем.
Вы можете использовать PyWordNet. Это интерфейс Python для WordNet. Просто разбейте предложение на пробелы и проверьте каждое слово, есть ли оно в словаре.
