Это 90-й день моей серии Дневник машинного обучения (MLD).
Мы кратко рассмотрели деревья решений в Дне 24. Давайте сегодня углубимся в идеи деревьев решений. Видео лекций CS M146 доступны здесь. Ресурсы доступны здесь.
Деревья решений
В деревьях решений мы прогнозируем входные данные сверху вниз. У каждого узла есть правило. В каждом узле данные классифицируются как «да» (положительные) или «нет» (отрицательные) в зависимости от правила.
Визуализация
Предположим, у нас есть только функции x1 и x2. Тогда мы можем изобразить области решений A, B, C, D и E только на двумерной плоскости следующим образом:
Как правило, данные разбиваются в каждом узле гиперплоскостью вдоль одной из осей.
Разделить непрерывные переменные
[Reference] How is a splitting point chosen for continuous variables in decision trees?
Как разделить непрерывные переменные? Идея состоит в том, чтобы преобразовать непрерывные переменные в категориальные переменные. Например, если у нас есть [10, 20, 30, 40, 50], мы выбираем среднюю точку каждых данных в качестве потенциальных точек разделения. Таким образом, кандидатами в точки разделения являются 15, 25, 35 и 45.
Бритва Оккама
Учитывая набор данных, может быть несколько деревьев решений, которые соответствуют всему обучающему набору. Какой из них мы должны выбрать? Мы выберем самую маленькую. Эта идея называется Бритва Оккама и гласит, что самое простое последовательное объяснение — лучшее.
Алгоритм ID3
Алгоритм ID3 — это один из алгоритмов дерева решений, в котором используется идея выбора функции с наибольшим приростом информации. Например, рассмотрим следующий случай.
Какой признак мы выбираем для построения дерева? Мы выбираем тот, который дает нам наименьшую случайность в результате. Чтобы понять эти идеи получения информации и случайности, нам нужно понять, что такое энтропия.
Это все на сегодня.
