Настройка «многие к одному» в LSTM с использованием CNTK

Я хочу иметь настройку «многие к одному» в LSTM с использованием CNTK, т.е. каждое слово в предложении является входом, а метка для каждого предложения является выходом. Следовательно, это отображение многих входов в один выход. Однако пример, приведенный в репозитории CNTK Github, многие ко многим. У меня возникли проблемы с пониманием изменения формата ввода, которое необходимо выполнить для моего приложения. В приведенном примере каждое слово в предложении имеет связанную с ним метку, тогда как в моем приложении я хочу иметь метку для предложения.

Будет ли правильно присвоить ярлык предложения, который у меня есть, всем словам в этом предложении? Есть ли лучший альтернативный подход?


person Satarupa Guha    schedule 19.12.2016    source источник


Ответы (1)


На этой странице показано, как использовать выходные данные lstm и вычислить изучаемую выпуклую комбинацию из них (также известную как внимание).

Обновление: Что касается формата ввода, вы можете сделать это по-разному. Если вы используете встроенный ридер, вы можете поместить метку в первый элемент последовательности, как в этот пример. Если вы загружаете данные из Python, этот другой поток актуален.

person Nikos Karampatziakis    schedule 19.12.2016
comment
Никос, я думаю, что эта страница — хорошая отправная точка. Может быть, расширить его до сквозного примера, стиля обучения, включая ввод данных? - person Anton Schwaighofer; 19.12.2016
comment
Привет Антон, я добавил это в свой список задач. - person Nikos Karampatziakis; 20.12.2016
comment
Спасибо за ответы. Но я не смог соединить два. Можете ли вы немного уточнить, как это будет полезно в этом сценарии? - person Satarupa Guha; 20.12.2016
comment
Спасибо за обновленный ответ. Этот формат данных - то, что я искал. Кроме того, я хотел бы упомянуть этот пример в github.com/Microsoft/CNTK/blob/master/Examples/, который помог мне написать мой вариант использования. - person Satarupa Guha; 22.12.2016