Публикации по теме 'entropy'
Мера примеси
Измерение примесей очень важно для любых древовидных алгоритмов, в основном это помогает нам определить корневой узел.
В заданном наборе данных, который содержит класс для прогнозируемой / зависимой переменной (например, «Да», «Нет», «Нейтральный» и т. Д.), Мы можем измерить однородность или неоднородность таблицы на основе классов.
Мы говорим, что набор данных является чистым или однородным, если он содержит только один класс (ДА или НЕТ). Если набор данных содержит несколько классов,..
В части деревьев решений: 1
В этом блоге я расскажу о деревьях решений и о том, как они РАБОТАЮТ. Дерево решений — это контролируемая модель машинного обучения, которая используется как для задач классификации, так и для задач регрессии. Он имеет иерархическую древовидную структуру, которая содержит корневые узлы, ветви и конечные узлы для принятия решений.
Прелесть этого алгоритма в том, что он представляет данные в виде узлов и ветвей. Это позволяет нам понять это очень легко.
Но как он может решить проблемы..
Взаимная информационная оценка — Выбор функций
используя энтропию из теории информации
Всем привет, как жизнь? еще один день в раю? Большой.
Сегодня мы рассмотрим уникальный способ выбора признаков с использованием взаимной информации.
Как правило, мы рассматриваем метод выбора признаков для числовых входных данных и числовой целевой переменной двумя способами.
Они есть:
Статистика корреляции #Multi colineartiy — — — — — — — — — — — — — — corr_matrix = X.corr().abs() #выбираем верхний треугольник upper =..
Что такое энтропия? (Часть II)
В предыдущей части мы рассмотрим энтропию в ретроспективе энергии, а в этой части мы сосредоточимся на энтропии в парадигме вероятности и теории информации.
Итак, как и в прошлый раз, мы воспользуемся примером, чтобы понять энтропию в теории вероятностей.
Энтропия в теории вероятностей
Предположим, у нас есть 3 набора шаров, каждый из которых содержит 4 шара. Первый набор состоит из 4 зеленых мячей, второй содержит 3 зеленых и 1 желтый, а третий или последний набор состоит из 2..
Глубокое погружение в алгоритмы дерева решений: классификация, регрессия и не только
Разгадка типов, работы и стратегий деревьев решений
Введение в деревья решений:
Что такое деревья решений? Дерево решений — это популярный и интуитивно понятный алгоритм машинного обучения, используемый как для задач классификации, так и для задач регрессии. Он моделирует решения и их возможные последствия в виде древовидной структуры, где каждый узел представляет собой решение или проверку определенного атрибута, каждая ветвь представляет собой результат решения, а каждый конечный..
Разница между приростом информации, энтропией и индексом Джини и когда их использовать?
Прирост информации , энтропия и индекс Джини — это обычно используемые показатели в алгоритмах дерева решений для определения наилучшего разделения при построении дерева.
Энтропия — это мера примеси или неопределенности набора данных. Он варьируется от 0 (полностью чистый) до 1 (полностью нечистый). При построении дерева решений вычисляется энтропия множества до и после разделения, а изменение энтропии используется для определения прироста информации.
Прирост информации является..
Энтропия - Как объяснить 10-летнему ребенку
Делаем менее интуитивные концепции интуитивно понятными
Энтропия является одной из основных концепций теории информации и вносит огромный вклад в мир машинного обучения, который в основном используется (но не ограничивается) древовидными алгоритмами (деревья решений, случайный лес, упаковка, ускорение и т. Д.) В качестве ядра для принятия решений. функция для разделения (или IG / Gini, построенная на энтропии)
Несмотря на их широкое применение, огромное влияние и большой..
