Обучение моделей машинного обучения обычно зависит от методов, которые состоят из подходов, определяющих тип алгоритмов, которые следует использовать при разработке решений для задач машинного обучения. В машинном обучении модели обычно разрабатываются как описательные, предписывающие или прогнозирующие.
В то время как описательные модели анализируют существующие данные для выявления скрытых закономерностей, предписывающие и прогностические модели предсказывают результаты на основе прошлых тенденций и анализируют исторические данные, чтобы соответственно рекомендовать будущие действия.
Модели машинного обучения разрабатываются с использованием одного из следующих трех методов:
- Контролируемое обучение
- Неконтролируемое обучение
- Обучение с подкреплением
1. Техника контролируемого обучения
Обучение с учителем — это метод машинного обучения, который использует набор данных с помеченными выходными данными для обучения моделей, изучая тенденции и закономерности из помеченных выходных данных до тех пор, пока он не сможет точно классифицировать или предсказать выходные данные данного беспрецедентного набора данных.
Как работает контролируемое обучение?
Модель контролируемого обучения обучает входные данные, которые сопоставляются с помеченными выходными данными. Этот процесс называется обучением модели.
После обучения данные, которые не сопоставлены с какими-либо помеченными выходными данными и полностью отличаются от данных, которые изначально использовались для обучения модели, вводятся в модель для проверки и измерения ее способности прогнозировать желаемый результат без предварительного знания того, что желаемый результат должен быть похож.
Что такое контролируемые подходы к обучению?
Как упоминалось ранее, методы и приемы машинного обучения являются взаимодополняющими. То есть у каждого метода машинного обучения есть определенная техника, на которой он строит модель. В этом случае контролируемое обучение использует два метода для получения результатов: алгоритмы регрессии и алгоритмы классификации.
я. Регрессия
Методы регрессии используют различные подходы к прогнозированию или делают прогнозы, извлекая информацию из моделей исторических данных. Другими словами, регрессия использует обучающие данные, чтобы сделать будущий прогноз на несвязанных тестовых данных.
Например, имея определенный набор данных за предыдущий год, вы можете использовать модель регрессии, чтобы предсказать характер набора данных в предстоящем году.
Популярные алгоритмы, используемые в методах регрессии:
- Линейная регрессия
- Опорная векторная регрессия
- Лассо-регрессия
- Логистическая регрессия
- Ридж-регрессия
- Полиномиальная регрессия
- Нейронная сеть
- Линейный дискриминантный анализ
- Байесовская логика
- Древо решений
Приложения регрессии
Метод регрессии подходит для прогнозирования непрерывных или числовых значений. Вы можете создать модель машинного обучения, чтобы прогнозировать или предсказывать такие вещи, как погода, исход футбольных матчей или ключевые ценовые точки рынка (цена входа, цена стоп-лосса и цена выхода).
Другими реальными приложениями регрессии являются:
Популярные алгоритмы, используемые в методах классификации:
- K-ближайший сосед
- Древо решений
- Случайный лес
- Машина опорных векторов
- Наивный Байес
ii. Классификация
Классификация, как следует из названия, представляет собой метод обучения с учителем, который обращается к обучающим данным для определения категории тестовых данных и соответствующей их классификации. Метод классификации также использует данные меток для прогнозирования результата, но, в отличие от регрессии, его результат всегда является категориальным, а не числовым значением. Методы классификации могут использоваться для сортировки и классификации, таких как список живых существ и неживых существ.
Реальные приложения классификации
Одним из популярных примеров применения классификации является обнаружение спама в электронной почте. Классификация изучает характеристики предыдущих писем и сравнивает их с характеристиками входящих писем, чтобы решить, отправлять ли их в папку «Входящие» или в спам.
2. Техника обучения без учителя
Обучение без учителя, как следует из названия, работает в противоположном направлении по сравнению с обучением с учителем. Неконтролируемое обучение — это метод машинного обучения, который анализирует немаркированные наборы данных для выявления скрытых тенденций и закономерностей, а также сортирует и классифицирует их на основе их сходства или различия.
Можем ли мы сейчас просто сказать, что обучение без учителя является автономным?
В некоторой степени да, потому что, в отличие от моделей обучения с учителем, модели обучения без учителя обучаются с использованием немаркированных наборов данных и без какой-либо формы наблюдения. Другими словами, неконтролируемое обучение может свободно использовать свой вычислительный инстинкт для принятия решений и выводов на основе независимого (неконтролируемого) анализа данных. Мало того, неконтролируемое обучение имеет решающее значение в разработке систем искусственного интеллекта, таких как беспилотные автомобили.
Как работает неконтролируемое обучение?
Модели неконтролируемого обучения обучаются на немаркированных данных для анализа и обнаружения скрытых тенденций и закономерностей, чтобы развивать интеллект для прогнозирования и классификации результатов на основе полученных результатов.
Например, когда некоторые случайные изображения без метаданных вводятся в неконтролируемую модель обучения, она сначала пытается идентифицировать скрытые черты, такие как тип (будь то изображение людей или животных), метаданные относительно каждого изображения (разрешение, размер , или формат), а затем в конечном итоге сгруппировать изображение на основе этих обнаруженных признаков.
Неконтролируемое обучение требует изучения большого набора данных, чтобы можно было получить желаемый результат без присмотра. Учитывая обильный набор данных в приведенном выше примере, помимо простой классификации изображений как человека или животного, модель может дойти до определения отличительных черт каждого человека и животного и сгруппировать их на основе их сходства, такого как оттенок кожи и вид.
Аналогию алгоритмам обучения с учителем и без учителя можно найти в том, как мы, люди, изучаем и осваиваем новые знания или навыки. Первую можно назвать формальной системой обучения, например, в школах, где учащиеся учатся по учебной программе, где каждый слог соответствует ожидаемому результату обучения. Последнее представляет собой то, как люди учатся и осваивают новые навыки либо посредством подсознательных наблюдений, либо посредством опыта, который в основном представляет собой серию повторяющихся проб и ошибок.
Что такое неконтролируемые методы обучения?
Неконтролируемое обучение имеет три широких подхода к проблемам машинного обучения.
я. Кластеризация
Кластерный подход в неконтролируемом обучении выявляет и сравнивает сходства и различия в неразмеченных данных и классифицирует их в кластеры, где точки данных, демонстрирующие наиболее идентичные черты, ограничены одним и тем же кластером. По сути, эта концепция перебирает набор данных, чтобы найти похожие шаблоны и сгруппировать их, поэтому кластеризация имени.
Кластеризация жизненно важна при разработке моделей машинного обучения для исследовательского анализа данных и распознавания изображений.
Кластеризация использует несколько алгоритмов для выполнения задач. Эти алгоритмы делятся на два типа:
- Кластеризация K-средних
- Агломеративная иерархическая кластеризация
- Кластеризация среднего сдвига
- Гауссовская смесь
- Кластеризация DBSCAN
Реальные применения кластеризации:
3. Техника обучения с подкреплением
Обучение с подкреплением (RL) — это метод, который обучает модель машинного обучения тому, как ориентироваться в ситуациях в контролируемой среде и действовать для достижения цели. RL состоит из ключевых компонентов, которые определяют модели RL; среда, вознаграждение, состояние, политика, агент и ценности. Модель RL считается эффективной, когда агент получает огромное совокупное вознаграждение.
Давайте определим некоторые ключевые термины, прежде чем мы продолжим:
- Агент. Это сущность или объект, который взаимодействует с окружающей средой, перемещается по состояниям и принимает решения о действиях, которые необходимо предпринять для достижения цели обучения с подкреплением. Агентом обучения с подкреплением может быть робот, датчик и т. д.
- Среда. Это домен, с которым агент должен научиться взаимодействовать и перемещаться, чтобы достичь цели обучения с подкреплением, выполняя задачи. Среда обычно представляет собой виртуальные тренажеры, такие как OpenAi Gym, VIZDoom и т. д.
- Награда. Это похоже на поощрение, данное агенту после выполнения каждой задачи, которое может быть положительным, отрицательным или нейтральным. Агент в среде стремится получить максимальное совокупное вознаграждение в конце.
- Состояние. Предоставляет информацию о ситуациях или условиях агента в среде. Состояние является динамическим, поскольку оно изменяется по мере того, как агент выполняет действие. Агенту также необходимо знать свое текущее состояние, чтобы принять решение о типе действия.
- Политика. Это стратегия обучения с подкреплением, которая определяет, как агент реагирует на свое текущее состояние. Он сопоставляет состояние агента с действиями.
- Значение: определяет общее вознаграждение за действия, предпринятые агентом в каждом состоянии. Значение также назначает преимущества для каждого состояния, чтобы агент мог предсказать максимальное вознаграждение, которое можно ожидать после навигации по каждому состоянию в будущем.
Как работает обучение с подкреплением?
Подобно методам обучения с учителем и без учителя, метод обучения с подкреплением делает прогнозы будущих результатов, делая выводы из существующих данных (условий окружающей среды).
Однако есть некоторые различия в том, как предсказывает модель обучения с подкреплением по сравнению с контролируемым и неконтролируемым обучением. Например, в отличие от обучения с учителем, когда данные сопоставляются с желаемым результатом, обучение с подкреплением сопоставляет текущее состояние агента с действиями.
Более того, в то время как неконтролируемое обучение идентифицирует и создает кластер похожих и непохожих шаблонов из набора данных, модель обучения с подкреплением дает агенту подсказки о действиях с максимальным вознаграждением.
Каковы подходы к обучению с подкреплением?
I. Модельный метод
В методе обучения с подкреплением на основе модели агент наблюдает за действиями, которые дают максимальное вознаграждение, чтобы создать модель политики, которая оценивает вероятности перехода и функции ценности для прогнозирования будущих вознаграждений. В этой модели агент склонен сосредотачиваться на действиях, которые приносят максимальное вознаграждение независимо от последствий.
II. Безмодельный метод
Как следует из названия, метод на основе модели является прямой противоположностью метода на основе модели. Безмодельный — это метод обучения с подкреплением, с помощью которого агент учится предсказывать состояния и действия, которые приносят оптимальное вознаграждение, пробуя действия и взаимодействуя с окружающей средой. Агент зависит от проб и ошибок, чтобы изучить действия, которые дают оптимальное вознаграждение.
Марковские процессы принятия решений (MDP)
Q-обучение
