Делаем менее интуитивные концепции интуитивно понятными

Энтропия является одной из основных концепций теории информации и вносит огромный вклад в мир машинного обучения, который в основном используется (но не ограничивается) древовидными алгоритмами (деревья решений, случайный лес, упаковка, ускорение и т. Д.) В качестве ядра для принятия решений. функция для разделения (или IG / Gini, построенная на энтропии)

Несмотря на их широкое применение, огромное влияние и большой математический смысл, они не очень интуитивны.

Если вы впервые слышите слова энтропия, рассказ поможет понять основную концепцию, стоящую за ними. Если вы это хорошо знаете и, возможно, хотите объяснить это своей племяннице или племяннику (или кому-то, кто не разбирается в статистике), эта история поможет в этом.

История такая:

Вы сидите в классе, и у вашего лучшего друга день рождения. Вы можете видеть, как он идет к каждому столу и раздает шоколадные конфеты, где всех просят взять по одному шоколаду из его шоколадного пакета. Предположим, у него в сумке есть шоколадные конфеты двух разных вкусов:

  1. Темный шоколад
  2. Молочный шоколад

Теперь он подходит к вашему столу и просит вас наугад выбрать одну шоколадку из его сумки.

Энтропия

Допустим, вы любите темный шоколад и всегда предпочитаете его молочному. Поскольку он ваш лучший друг, он готов дать вам подсказки о содержимом своей сумки. Рассмотрим следующие сценарии

  1. Он говорит «в сумке осталось 6 шоколадных конфет, и все они темные», вы очень обрадовались и сразу же прыгнули, так как уверены, что обязательно получите черный шоколад. Нет элемента неожиданности
  2. Он говорит, «в сумке осталось 6 шоколадных конфет, 4 из них темные, а 2 из них - молочные» вы все еще уверены, что случайный выбор все равно будет темным, но вы не уверен на 100% больше. Возрастает элемент неожиданности при случайном выборе шоколада.
  3. Он говорит, «в пакете осталось 6 шоколадных конфет, из которых 3 темные, а остальные 3 - молочные». Теперь вы беспокоитесь, потому что вы можете выбрать любой шоколад. В этом сценарии усиливается элемент неожиданности.
  4. По его словам, «в сумке осталось 6 шоколадных конфет, из них 4 - молочные, а 2 - темные». Теперь вы беспокоитесь еще больше, потому что случайный шоколад, который вы выберете, скорее всего, будет молочным шоколадом. Элемент неожиданности невелик (даже если это не в вашу пользу)
  5. Он говорит, «в сумке осталось 6 шоколадных конфет, и все они молочные». Теперь вам грустно, потому что вы уверены, что независимо от того, что вы выберете, это всегда будет молочный шоколад. Не осталось элемента неожиданности

В приведенном выше примере элемент неожиданности - не что иное, как энтропия. Элемент неожиданности максимален в сценарии 3, когда оба вида конфет равны в сумке. Ваш элемент неожиданности уменьшается по мере того, как соотношение шоколадных конфет становится благоприятным для одного вида шоколада (независимо от вашего вкуса;))

Что мы узнали

Простыми словами энтропия - это элемент неожиданности, выраженный математически. Уравнение бинарной классификации:

где p (0) - доля первого класса, а p (1) - доля второго класса. Энтропия принимает максимальное значение 1, когда элемент неожиданности максимален: i: e, когда распределение классов составляет 50% -50% в случае двоичного класса. Он принимает минимальное значение ноль всякий раз, когда один класс полностью берет верх над другим i: e 100% -0% распределение

Обобщение на многофункциональный сценарий:

Другой способ взглянуть на энтропию - помочь понять, насколько непредсказуемо вероятностное распределение. В случаях 1 и 5 распределение очень предсказуемо, а в случае 3 - очень непредсказуемо.

Таким образом, энтропия обеспечивает меру неопределенности или беспорядка в наборе данных, и, как специалисты по данным / инженеры машинного обучения, наша цель - создать модели, которые уменьшают / минимизируют энтропию в системе метки набора данных (в случае проблемы с классификацией).