Интуитивное объяснение компромисса с отклонением от смещения
Мне всегда было трудно вспомнить, что на самом деле означает этот термин. Куда бы я ни пошел, я встречал только одно определение: Высокое смещение означает недостаточное соответствие, а высокое отклонение означает чрезмерное соответствие. Поскольку это очень важная концепция при принятии решения, какой алгоритм выбрать для вашей проблемы, а также помогает Настройте свой алгоритм правильно, я решил дать интуитивное объяснение этой концепции.
Смещение и отклонение в реальном мире
В словарных терминах:
Предубеждение: предубеждение в пользу или против одного предмета, человека или группы по сравнению с другим, обычно считающееся несправедливым.
Дисперсия: состояние или факт несогласия или ссоры.
Короче говоря, предвзятость показывает, насколько что-то несправедливо по отношению к другим, а отклонение - насколько вероятно, что что-то изменится по отношению к другим.
Непонятно? Не волнуйся. Этот пример прояснит все ваши сомнения.
Предположим, вы вызвали двух экспертов по погоде, г-на Бишопа и г-на Вариана, чтобы проверить, пойдет ли дождь или нет.
Мистер Бишоп очень любит дождь. А мистер Вариан - книжный червь.
Давайте поговорим о трех условиях. Дождь идет, только если немного влажно, и не идет, если ветрено, жарко или морозно.
Вы спрашиваете мистера Бишопа (Несмотря на его подготовку, он слишком предвзято относится к дождю):
Я: Сэр, здесь очень жарко, будет дождь?
Мистер Бишоп: Ага.
Я: Сэр, немного ветрено, будет дождь?
Мистер Бишоп: Может и нет.
Я: Сэр, будет мороз, пойдет дождь?
Мистер Бишоп: Да, конечно.
Я: Сэр, немного влажно, будет дождь?
Мистер Бишоп: Черт возьми.
Вы обратили внимание, мистер Бишоп очень предвзят в отношении вероятности дождя. Во время теста он не может правильно предсказать большинство из них.
Это состояние называется подгонкой.
Теперь давайте посмотрим на ваш разговор с г-ном Варианом (книжным червем, который полностью помнит свое обучение):
Я: Сэр, здесь очень жарко, будет дождь?
Мистер Вариан: Нет.
Я: Сэр, немного ветрено, будет дождь?
Мистер Вариан: Ни за что.
Я: Сэр, холодно, будет дождь?
Мистер Вариан: Ни за что.
Я: Сэр, немного влажно, будет ли дождь?
Мистер Вариан: Да будет.
Мистер Вариан успешно предсказал, пойдет дождь или нет. Но, будучи книжным червем, мистер Вариан не знает условий, не описанных в книге, во время обучения.
Теперь мы спрашиваем г-на Вариана:
Я: Сэр, на облаке сидит гигант, потерявший свою конфету. Будет ли дождь?
Г-н Вариан: Не уверен, так как ответ на большинство условий отрицательный, высока вероятность, что дождя не будет.
Теперь, хотя решение г-на Вариана полностью зависит от входных условий, он не может предсказать новое и невидимое условие (другие общие условия, кроме данных конкретных условий во время тренировки).
Это состояние называется переобучением. И он предлагает плохую обобщаемость.
Тогда что лучше: высокая систематическая ошибка (высокая обобщаемость) или высокая дисперсия (высокая точность обучающих данных)?
Что ж, ответ: «Лучшее из обоих миров». Нам не нужны ни высокая систематическая ошибка, ни высокая дисперсия. Мы хотели бы, чтобы наш алгоритм работал лучше на обучающем наборе, а также предлагал лучший результат на невидимых данных (на тестовом наборе).
В общем, наличие высокого смещения снижает производительность алгоритма на обучающем наборе, в то время как высокая дисперсия снижает производительность на невидимых данных.
Это известно как компромисс отклонения смещения.
В моем следующем рассказе мы поговорим о том, как настроить алгоритм, страдающий от высокой систематической ошибки или высокой дисперсии, и как правильно подобрать ваш алгоритм.
