Какой файл использовать для шага оценки в TEXTSUM?

Я работаю над моделью texsum tensorflow, которая представляет собой суммирование текста. Я следовал командам, указанным в файле readme по адресу github/textsum. В нем говорилось, что файл с именем validation, присутствующий в папке данных, должен использоваться на этапе eval, но в папке данных не было файла проверки.

Я думал сделать его сам, но позже понял, что это должен быть бинарный файл. Поэтому мне нужно было подготовить текстовый файл, который будет преобразован в двоичный. Но этот текстовый файл должен иметь определенный формат. Будет ли он таким же, как у файла, используемого в шаге поезда? Могу ли я использовать один и тот же файл для шага обучения и шага оценки? Последовательность шагов, которые я выполнил:

Шаг 1. Обучите модель, используя файл vocab, который был упомянут как «обновленный» для игрушечного набора данных.

Шаг 2: Обучение продолжалось некоторое время, и оно было «убито» при running_avg_loss: 3,590769.

Шаг 3: Используя те же файлы данных и словарного запаса для этапа eval, которые использовались для обучения, я запустил eval. Он продолжает работать со значением running_avg_loss от 6 до 7.

Я сомневаюсь в шаге 3, будут ли использоваться те же файлы или нет.


tensorflow eval textsum
person Ayushya    schedule 17.11.2016    source источник
comment
Могу ли я узнать, почему за него проголосовали, чтобы я мог устранить проблемы в этом вопросе!   -  person Ayushya    schedule 02.07.2017

Ответы (1)


arrow_upward
1
arrow_downward

Таким образом, вам не нужно запускать eval, если вы на самом деле не тестируете свою модель после обучения, чтобы определить, как обучение работает с другим набором данных, который он никогда раньше не видел. Я также пою его, чтобы определить, начинаю ли я переобучать данные.

Таким образом, вы обычно берете 20-30% вашего общего набора данных и используете его для процесса оценки. Затем вы приступаете к обучению на основе ваших обучающих данных. После завершения вы можете сразу же запустить декодирование, если хотите, или вы можете запустить eval с набором данных 20% - 30%, который вы отложили с самого начала. Как только вы почувствуете себя комфортно с результатами, вы можете запустить декодирование, чтобы получить результаты.

Ваш двоичный формат должен быть таким же, как ваши обучающие данные.

person xtr33me    schedule 21.11.2016