Я пытаюсь найти простой способ добавить слой внимания в последовательную модель Keras. Однако я столкнулся с множеством проблем при достижении этого.
Я новичок в глубоком обучении, поэтому выбрал Керас в качестве своего начала. Моя задача - построить Bi-LSTM с моделью внимания. В наборе данных IMDB я построил модель Bi-LSTM. Я нашел пакет под названием keras-self-Внимание (https://pypi.org/project/keras-self-attention/) , но столкнулся с некоторыми проблемами при добавлении слоев внимания в последовательной модели keras.
from keras.datasets import imdb
from keras.preprocessing import sequence
from keras_self_attention import SeqSelfAttention
max_features = 10000
maxlen = 500
batch_size = 32
# data
(x_train, y_train), (x_test, y_test) = imdb.load_data(num_words=max_features)
x_train = sequence.pad_sequences(x_train, maxlen= maxlen)
x_test = sequence.pad_sequences(x_test, maxlen=maxlen)
# model
from keras import models
from keras import layers
from keras.layers import Dense, Embedding, LSTM
model = models.Sequential()
model.add( Embedding(max_features, 32) )
model.add( Bidirectional( LSTM(32) ) )
# add an attention layer
model3.add(SeqSelfAttention(activation='sigmoid') )
model.add( Dense(1, activation='sigmoid') )
# compile and fit
model.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['acc'])
history = model.fit(x_train, y_train, epochs=10, batch_size=128, validation_split=0.2)
приведенные выше коды возвращают ошибку значения,
ValueError Traceback (most recent call last)
<ipython-input-97-e6eb02d043c4> in <module>()
----> 1 history = model3.fit(x_train, y_train, epochs=10, batch_size=128, validation_split=0.2)
~/denglz/venv4re/lib/python3.6/site-packages/keras/engine/training.py in fit(self, x, y, batch_size, epochs, verbose, callbacks, validation_split, validation_data, shuffle, class_weight, sample_weight, initial_epoch, steps_per_epoch, validation_steps, **kwargs)
950 sample_weight=sample_weight,
951 class_weight=class_weight,
--> 952 batch_size=batch_size)
953 # Prepare validation data.
954 do_validation = False
~/denglz/venv4re/lib/python3.6/site-packages/keras/engine/training.py in _standardize_user_data(self, x, y, sample_weight, class_weight, check_array_lengths, batch_size)
787 feed_output_shapes,
788 check_batch_axis=False, # Don't enforce the batch size.
--> 789 exception_prefix='target')
790
791 # Generate sample-wise weight values given the `sample_weight` and
~/denglz/venv4re/lib/python3.6/site-packages/keras/engine/training_utils.py in standardize_input_data(data, names, shapes, check_batch_axis, exception_prefix)
126 ': expected ' + names[i] + ' to have ' +
127 str(len(shape)) + ' dimensions, but got array '
--> 128 'with shape ' + str(data_shape))
129 if not check_batch_axis:
130 data_shape = data_shape[1:]
ValueError: Error when checking target: expected dense_7 to have 3 dimensions, but got array with shape (25000, 1)
Так что случилось? Я новичок в глубоком обучении, пожалуйста, помогите мне, если вы знаете ответ.