Как изменить язык в Rasa NLU, когда SpaCy поддерживает только токенизацию (pl - polish)?

Как использовать польский язык в проекте Rasa NLU? SpaCy поддерживает польский язык в токенизации https://spacy.io/usage/models#alpha-support

Мой файл config.json выглядит так:

{
"pipeline" : [ "nlp_spacy",
               "tokenizer_spacy",
                "ner_crf",
                "ner_spacy",
                "intent_featurizer_spacy",
                "intent_classifier_sklearn"],
"language" : "en",
"path" : "./models/nlu",
"data" : "./data/training_data.json" 
}

но как только я меняю язык на «pl», возникает ошибка «язык не поддерживается».

Стоит ли скачивать модели, отличные от этих двух:

python -m spacy загрузить en_core_web_md

python -m просторная ссылка en_core_web_md en

?

Я знаю, что могу использовать это так:

from spacy.lang.pl import Polish
nlp = Polish ()

но я не знаю, как реализовать это в моем файле конфигурации.

Спасибо!


python json nlp rasa-nlu rasa-core
person Gignac    schedule 17.07.2018    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Спасибо!

Теперь пробую config.yml:

language: "pl"

pipeline:
- name: "tokenizer_whitespace"
- name: "ner_crf"
- name: "intent_featurizer_count_vectors"
- name: "intent_classifier_tensorflow_embedding"
  intent_tokenization_flag: false

с новейшей версией Rasa NLU (github + setup.py). Больше ничего скачивать не нужно.

Сообщим, какая версия работает лучше :)

person Gignac    schedule 27.07.2018