Предвзятость
Смещение — это упрощающие предположения, сделанные моделью для облегчения изучения целевой функции.
линейные алгоритмы имеют высокую предвзятость, что делает их быстрыми для изучения и более легкими для понимания, но в целом менее гибкими. В свою очередь, они имеют более низкую эффективность прогнозирования для сложных проблем, которые не соответствуют упрощающим предположениям.
- Низкая погрешность. Предлагает меньше предположений о форме целевой функции.
- Высокая погрешность: предлагает больше предположений о форме целевой функции.
Примеры алгоритмов машинного обучения с низким смещением включают: деревья решений, метод k-ближайших соседей и метод опорных векторов.
Примеры алгоритмов машинного обучения с высокой погрешностью включают: линейную регрессию, линейный дискриминантный анализ и логистическую регрессию.
Дисперсия
Дисперсия описывает, насколько сильно меняется модель при ее обучении с использованием различных частей набора данных.
На алгоритмы машинного обучения с высокой дисперсией сильно влияет специфика обучающих данных. Это означает, что специфика обучения во многом влияет на количество и типы параметров, используемых для характеристики картографической функции.
- Низкая дисперсия: предлагает небольшие изменения в оценке целевой функции с изменениями в наборе обучающих данных.
- Высокая дисперсия: предлагает большие изменения в оценке целевой функции с изменениями в наборе обучающих данных.
Примеры алгоритмов машинного обучения с низкой дисперсией включают линейную регрессию, линейный дискриминантный анализ и логистическую регрессию.
Примеры алгоритмов машинного обучения с высокой дисперсией включают: деревья решений, k-ближайших соседей и машины опорных векторов.
Компромисс смещения и дисперсии
- Увеличение смещения уменьшит дисперсию.
- Увеличение дисперсии уменьшит смещение.
На самом деле мы не можем рассчитать реальные условия ошибки смещения и дисперсии, потому что мы не знаем фактическую лежащую в основе целевую функцию.
- Линейные алгоритмы машинного обучения часто имеют большое смещение, но низкую дисперсию.
- Нелинейные алгоритмы машинного обучения часто имеют низкую погрешность, но высокую дисперсию.
В качестве основы предвзятость и дисперсия предоставляют инструменты для понимания поведения алгоритмов машинного обучения.
Надеюсь, теперь у вас есть четкое представление об этой теме, так как моя цель — извлечь нужную информацию с примерами в максимально запоминающемся формате, не используя длинные абзацы. Приятного обучения!
