Классификация, регрессия, функция потерь и обновление параметров

В этом посте блога мы обсудим обучение с учителем и класс проблем, которые он решает. Прежде чем приступить к обучению с учителем, я настоятельно рекомендую изучить жаргон машинного обучения, например, что такое набор данных, цель, предиктор, модель и т. д. из предыдущих сообщений в блоге.

📌Контролируемое наблюдение

В машинном обучении, если для наблюдения доступна метка или цель, такое наблюдение называется Контролируемое наблюдение. С технической точки зрения, учитывая набор точек данных X, связанных с набором меток или результатов Y, мы пытаемся построить модель, которая учится предсказывать y по x.

📌Тип предсказания

Подумайте о наблюдении за животными: когда мы видим животное, прежде чем обозначить его как Собаку или Кошку, мы с нашим сверхскоростным сознанием проверяем такие характеристики, как количество ног, глаз, головы, тела, усов и т. д., а затем обозначаем его как животное А, Б, С и т.д.

Классификация животных или идентификация объекта или определение того, является ли письмо спамом или нет, все эти проблемы называются задачами машинного обучения на основе классификации. Таким образом, здесь мы предсказываем предикторы/наблюдение как одну из N конечных категорий. Примеры — логистическая регрессия, SVM и т. д.

Теперь рассмотрим прогнозирование цены акций. Мы знаем, что цены на акции изменчивы по своей природе, то есть они меняются каждую минуту. И падение или рост цен не категоричны, как +5/+10 или -10/-5, значение изменяется в десятичных дробях как непрерывные значения.

Такие задачи, как прогнозирование цен на акции, прогнозирование цен на жилье и т. д., относятся к классу задач, называемому Регрессия. Таким образом, здесь мы предсказываем предикторы/наблюдение как одно бесконечное непрерывное значение. Примеры — линейная регрессия, регрессия на основе дерева решений и т. д.

📌Тип модели

Модель может научиться классифицировать животных или предсказывать цену акций двумя разными способами.

Во-первых, Дискриминативная модель, где модель учится строить границу решения, на основе которой она классифицирует предикторы как цель A или B. Дискриминативное моделирование пытается напрямую предсказать y при заданном x. Примеры: Линейная регрессия

Во-вторых, Генеративная модель, где модель учится на основе распределения вероятностей предикторов x на основе заданного y, а затем выводит целевое значение y при заданном x. Пример — Наивный байесовский метод.

Таким образом, мы можем выполнять классификацию или регрессию на основе дискриминационного или генеративного подхода.

📌Функция потери

Функция потерь является одним из ключевых компонентов обучения с учителем. Каждый алгоритм машинного обучения имеет функцию потерь, которая помогает изучить шаблон предикторов, а затем оценить целевое значение y. Функция потерь принимает предполагаемое y_hat в качестве входных данных для реальной точки данных, сравнивает с реальным целевым значением y и находит разницу между ними.

Рассмотрим задачу линейной регрессии, функция потерь играет роль в создании линии наилучшего соответствия между предикторами, так что когда новая невидимая точка данных помещается в линию регрессии, она в лучшем случае пытается определить наилучшую оценку y для невидимых данных. точка. Для линейной регрессии широко используемой функцией потерь является среднеквадратическая ошибка. Это называется ошибкой, потому что оценка отклоняется от истинного значения.

Метод наименьших квадратов – это статистическая процедура, позволяющая найти наилучшее соответствие набору точек данных путем минимизации суммы смещений или невязок точек на построенной кривой. Регрессия методом наименьших квадратов используется для прогнозирования поведения зависимых переменных.

Общая функция потерь

  • Среднеквадратическая ошибка
  • Средняя абсолютная ошибка
  • Логистические потери
  • Кросс-энтропийные потери
  • Потеря шарнира

📌Обновление параметра θ

Когда модель пытается изучить или идентифицировать шаблон в данных, она сохраняет некоторые контрольные точки во время обучения. Эти опорные точки обновляются каждый раз, когда модель видит новые данные. Технически эти опорные точки называются Коэффициентами изученного уравнения.

В линейной регрессии модель изучает эти параметры во время обучения модели и обновляет ее таким образом, чтобы потери уменьшались, а расчетный y приближался к истинному y. Обновление параметров является ключевым фактором в разработке обобщенной модели. Скорость обучения — это гиперпараметр, настроенный для поиска правильного обновления.

Алгоритм, который широко используется для обновления параметров, называется Градиентный спуск. Градиентный спуск использует частные производные для обновления параметра θ. Точно так же существуют другие способы поиска обновлений параметров, такие как вероятность и алгоритм Ньютона.

📌Оценка

В обучении с учителем оценка довольно проста как в задаче классификации, так и в задаче регрессии. Поскольку набор данных помечен, мы можем создать отдельный набор тестов и набор проверки из нашего набора данных и использовать обученную модель, чтобы предсказать, насколько точно она классифицирует набор тестов по метрике, используя точность, точность, отзыв, показатель f1 и т. д.

В задаче регрессии мы можем сохранить допустимую погрешность модели и измерить ее с помощью R-квадрата, скорректированного R-квадрата, MSE и т. д. Я рассмотрел эту тему в Концепции машинного обучения.

❌Предупреждение ❌ Никогда не используйте тренировочный набор для оценки модели!

Надеюсь, я рассмотрел все основы, необходимые для понимания обучения с учителем. Далее мы углубимся в неконтролируемое обучение.

Спасибо за чтение. Если вам понравилось читать мои статьи, ознакомьтесь с дополнительными статьями в разделе Математика + вычисления = ИИ.

Свяжитесь со мной в LinkedIn и Twitter 🐅 ✋

Справочник

Машинное обучение CS229 — Стэнфорд