Куда попадают проверочные данные при обучении ИНС?

Необходимость использования части тренировочного набора в качестве проверочных данных очевидна, но мне не совсем понятно, как и на каком этапе обучения его следует отключать?

Это в конце обучения (после достижения хорошего минимума для данных обучения)? Если да, то что делать, если проверочные данные выдают большую ошибку?

Это происходит на протяжении всего обучения (продолжайте искать минимум, пока ошибки как для данных обучения, так и для проверки неудовлетворительны)?

Что бы я ни пытался, кажется, что у сети возникают проблемы с обучением и проверкой, когда проверочный набор достигает определенного размера (я помню, где-то читал, что 70% обучения 30% проверки — это обычное соотношение, я застреваю на намного меньше), в то время как без проблем можно изучить те же данные, когда они используются исключительно для обучения.


machine-learning training-data neural-network
person sold    schedule 27.01.2010    source источник

Ответы (3)


arrow_upward
1
arrow_downward

Важно то, что ваш проверочный набор не должен иметь обратной связи по обучению. Вы можете построить частоту ошибок на проверочном наборе, но обучающий алгоритм может использовать частоту ошибок на обучающем наборе только для самокоррекции.

person Tobu    schedule 27.01.2010
comment
Я получил эту часть в порядке. Вопрос в том, для чего я ДЕЙСТВИТЕЛЬНО использую данные проверки? - person sold; 27.01.2010
comment
Для построения. И ваше «пока ошибки неудовлетворительны» создало бы петлю обратной связи. - person Tobu; 27.01.2010
comment
Что мне делать, если сеть плохо проходит проверку? - person sold; 27.01.2010
comment
Вы пересматриваете свою модель. График ошибки проверки может сказать вам, не так ли хороша модель или вы слишком много учитесь. Решение будет в значительной степени зависеть от конкретной учебной задачи. - person Tobu; 27.01.2010

arrow_upward
1
arrow_downward

Набор данных проверки в основном используется для ранней остановки.

  1. Обучить сеть для эпохи i на тестовых данных. Пусть тестовая ошибка будет e(t, i).
  2. Оцените сеть на проверочном наборе. Пусть это будет e(v, i).
  3. Если e(v, i) > e(v, i-1), прекратите обучение. В противном случае перейдите к 1.

Таким образом, это помогает вам увидеть, когда сеть переоснащается, что означает, что она слишком сильно моделирует специфику тестовых данных. Идея состоит в том, что с помощью ИНС вы хотите добиться хорошего обобщения обучающих данных на невидимые данные. Набор проверки помогает вам определить, когда достигается точка, когда он слишком сильно специализируется на обучающих данных.

person bayer    schedule 28.01.2010
comment
иногда в качестве критерия остановки мы ищем X последовательных эпох ухудшения ошибки в наборе проверки вместо остановки после первой (во избежание чрезмерной чувствительности) - person Amro; 28.01.2010

arrow_upward
0
arrow_downward

означает, что переобучение. Я советую проверять контрольный набор MSE во время обучения. a> http://fanntool.googlecode.com/files/FannTool_Users_Guide.zip

person Birol Kuyumcu    schedule 29.01.2010