Энтропия объяснила
Что такое энтропия и зачем ее использовать?
Энтропия, первоначально понятие из термодинамики, должно было сказать физикам, насколько много беспорядка в системе. Практики машинного обучения, должно быть, тогда приняли эту идею из-за ее способности классифицировать данные на неконтролируемом фронте (конечно, ее можно использовать в контролируемых ситуациях, таких как деревья решений). Итак, что делает энтропия? Что ж, он может количественно определить степень неопределенности во всем распределении вероятностей. Некоторые говорят, что это мера хаоса, но мне не нравится описывать это таким образом.
Тогда что бы вы сказали?
Эта энтропия — всего лишь показатель полученной информации. Чем больше полученной информации, тем больше мы можем исключить определенные сценарии или тем больше мы можем сказать, как что-то произойдет.
Подразумеваемое:
Низкая энтропия – › меньше хаоса – › больше получаемой информации
Высокая энтропия -> больше хаоса -> меньше прироста информации
Чем ниже энтропия, тем меньше хаоса или чище набор. Это означает, что следующее состояние может быть легче предсказать. Чем выше энтропия, тем больше хаоса или неоднородности в ней. Это означает, что следующее состояние будет сложнее предсказать.
Общее применение: одно из применений энтропии — деревья решений. В дереве решений вы решаете, по какой функции вы хотели бы разделить свой набор данных в первую очередь. Чтобы выяснить, какая функция наиболее подходит, вы можете использовать энтропию. Вы бы перебирали свои функции, и в зависимости от того, какая функция имеет самую низкую энтропию, вы использовали бы это как первое разделение в дереве решений. Это связано с тем, что самая низкая энтропия подскажет вам, какой признак лучше всего описывает данные. Это означает, что он классифицирует большую часть данных сразу в определенный класс.
Повседневный пример энтропии:
Представьте, что у вас есть данные о росте, оттенке кожи и дне недели. И цель состоит в том, чтобы предсказать вес человека. Итак, теперь вы перебираете функции и понимаете, что самая низкая энтропия — это рост человека. Это связано с тем, что рост является лучшим предсказателем веса человека, а значит, и большей частью полученной информации.
Уравнение:
C- это количество кластеров, к которым вы хотели бы перейти для случая без присмотра. Но C также может быть количеством классов или количеством зависимых переменных, которые можно классифицировать как нечто в контролируемой ситуации.
Интуитивный читатель поймет, что энтропию можно использовать для определения правильного количества кластеров для набора данных.
P- вероятность класса в общем наборе данных.
Например, 3/10 человек — мужчины, 7/10 — женщины. И мы пытаемся найти энтропию, или полученную информацию. Очевидно, у нас есть 2 класса (мужской и женский) и вероятности 3/10 и 7/10. Итак, уравнение будет выглядеть так: -3/10log_2(3/10) — 7/10log_2(7/10). Это будет равно 0,88, что считается высокой энтропией из-за того, что энтропия ограничена 0 и 1. Что это нам говорит? Это говорит нам о том, что у нас не так много информации.
Я дополню это некоторым кодом в будущем и лучшим способом визуализации отдельных функций в будущем. Надеюсь тебе понравилось!
- Мэтт ДиЧикко
- 2107741848
- matt.diciccomhs@aol
