Всем привет! Я хотел поделиться с вами последней статьей 2022 года, всего за несколько дней до нового года. Сегодня мы поговорим о двух параметрах, о которых нам нужно думать независимо от того, с какой моделью искусственного интеллекта мы работаем: смещение и дисперсия. Желаю вам приятного чтения и, конечно же, пусть в Новом году вы будете любить, отдавать и жить!
Предвзятость: отсутствие деталей
Смещение определяется как расхождение между значениями, предсказанными моделью ML, и фактическим значением. Ошибка смещения возникает из-за неверных предположений алгоритма обучения. Алгоритм с высоким смещением может не распознать важные взаимосвязи между функциями и целевыми результатами. Неадекватное определение тенденций данных, возможность недостаточного подбора, чрезмерного обобщения, чрезмерного упрощения и высокого уровня ошибок — основные черты модели с высоким смещением. Сильная предвзятость приводит к значительной неточности как в данных обучения, так и в данных тестирования.
Дисперсия: погружение в детали
Дисперсия модели — это разброс в прогнозе модели для конкретной точки данных, который показывает распределение наших данных. Дисперсия возникает из-за чувствительности обучающей выборки к небольшим изменениям. Алгоритм, имитирующий случайный шум в обучающих данных, может обеспечить высокую вариацию. Проще говоря, дисперсия — это способность прогноза модели изменяться или насколько может измениться функция машинного обучения в зависимости от набора входных данных. Шум в наборе данных — вероятность того, что Переобучение, сложныемодели и попытка приблизить все точки данных как можно ближе – особенности модели с высокой дисперсией.
Смещение — компромисс дисперсии
Дисперсия и погрешность являются взаимоисключающими. Модель машинного обучения не может иметь как низкое смещение, так и низкую дисперсию. Небольшие изменения в наборе данных могут привести к более значительным изменениям в неглубокой модели, что увеличивает дисперсию. И наоборот, сложная модель обычно позволяет лучше соответствовать основной функции; в результате предвзятость уменьшается. Это известно как дилемма смещения/дисперсии, которая применима ко всем системам машинного обучения. Модель должна быть гибкой, чтобы уменьшить систематическую ошибку, даже если это может привести к высокой дисперсии. Низкая дисперсия может помешать нам получить хорошее соответствие данных и привести к чрезмерной систематической ошибке. Низкое смещение возникает, когда инженер данных настраивает алгоритм машинного обучения, чтобы он лучше соответствовал определенному набору данных, но дисперсия увеличивается. Это увеличивает вероятность ошибочных прогнозов при подгонке модели под набор данных. То же самое справедливо и при построении модели с высоким смещением и низкой дисперсией. Хотя вероятность неверных прогнозов уменьшится, модель все равно не будет точно соответствовать набору данных. Идеальная модель — это та, которая наилучшим образом уравновешивает предвзятость и вариативность.
Недообучение и переоснащение
Недообучение происходит, когда модель слишком упрощена, что может произойти при недостаточной регуляризации, времени обучения или входных функциях. сильный>. Низкая дисперсия и высокая предвзятость — надежные признаки недостаточного соответствия. Недообученные модели обычно легче распознать, чем переоснащенные, потому что такое поведение можно наблюдать при использовании обучающего набора данных.
Переоснащение происходит, когда модель пытается превзойти данные и выбросы. Это может произойти при работе с чрезвычайно сложными моделями, поскольку модель практически всегда будет соответствовать предоставленным точкам данных и хорошо работать с обучающими наборами данных. Высокая дисперсия и низкая систематическая ошибка — надежные признаки недостаточного соответствия. При наличии переобучения модель не сможет обобщить точку данных в наборе тестовых данных, чтобы точно предсказать результат.
Смещение и дисперсия должны быть сбалансированы, чтобы модель никогда не соответствовала ни чрезмерно, ни недостаточно. Следовательно, важно понимать предвзятость и дисперсию, чтобы понять, как ведут себя модели прогнозирования.
Если вы хотите поговорить о машинном обучении или о моей статье, вы можете связаться со мной через мой аккаунт LinkedIn. Оставайтесь с нами для следующей статьи серии!
