Попытка реализовать двунаправленную модель LSTM с встраиванием перчаток в Python с использованием keras. Архитектура модели следующая:
Модель отлично работает при запуске без какой-либо предварительной обработки входных данных. На изображении ниже показан результат работы модели:
В рамках предварительной обработки входные данные лемматизируются с помощью Spacy, а затем передаются в модель.
Код предварительной обработки лемматизации:
nlp = spacy.load(“en_core_web_sm-2.1.0”)
doc = nlp(sentence)
lemma_sent = “ “.join([token.lemma_ for token in doc])
Ниже метод подходит модель:
model.fit(data_train,train_label,epoch=5,batch_size=32,verbose=True,validation_data=[data_test,test_label])
Но модель выдает результат, как показано ниже, для каждой эпохи (после лемматизации данных поезда и теста):
Пожалуйста, помогите понять, почему модель работает, как указано выше, с лемматизацией. Сводка модели выглядит одинаково как с лемматизацией, так и без нее.
