Одним из терминов, которые обычно используются в областях, связанных со статистикой, является энтропия. Он играет важную роль во многих областях, связанных с данными, таких как интеллектуальный анализ данных, машинное обучение и обработка естественного языка (или, сокращенно, NLP). Например, он используется для разделения узлов в алгоритме дерева решений. Вы можете иметь представление о связи двух или более функций в наборе данных. Таким образом, вы извлекаете информацию о зависимости между этими функциями по заданной формуле энтропии.

Что такое энтропия?

Энтропия — это мера случайности переменной в предложении, наборе данных и т. д. Можно получить представление о том, существует ли переменная для состояния S, используя этот показатель. Поскольку он объявляет случайность, всякий раз, когда возможность существования переменной приближается к точному состоянию, ее энтропия становится равной нулю. В этой ситуации определено, что переменная существует, и по истечении этого времени никакой случайности не происходит. В противоположность этому мы можем сказать, что энтропия увеличивается и приближается к 1 (значение энтропии должно быть между 0 и 1) всякий раз, когда мы говорим, что «эта переменная может существовать или нет, и трудно сказать, существует она или нет».

Энтропия равна 0, если переменная существует определенно, и 1, если она может существовать с вероятностью 0,5 и не существовать с такой же вероятностью. Это легко объяснить по формуле. Log1 равен 0 по математике. Таким образом, точное существование делает результат 0.

Давайте предположим, что мы подбрасываем монету (это самый распространенный пример любой статистической темы). Если эта монета честная (нормальная монета), то мы знаем, что вероятность выпадения орла или решки одинакова и равна 0,5 для честной монеты. Таким образом, в этом случае равенство существующего и несуществующего любого лица на монете приводит к энтропии с 1.

H(X) = — log_2 (0,5) * 0,5 + — log_2 (0,5) * 0,5

H(X) = — (-1) (0.5) — (-1)(0.5) =1

С другой стороны, точное существование переменной делает значение энтропии равным 0.

H(X) = — log_2 (1) * 1 + — log_2 (0) * 0

H(X) = — (0) * 1 + 0 = 0

Таким образом, мы можем показать энтропию на графике.

Условная энтропия

Условная энтропия мало чем отличается от самой энтропии. Если вы знакомы с лекциями о вероятности, вы должны знать условную вероятность. Он дает вероятность переменной A в случае, когда известно состояние другой переменной B. Например, если переменная B существует. Таким образом, вероятность существования переменной A показана как P(A=?|B=1). Это называется условной энтропией и является ключевой темой, если вы интересуетесь какой-либо статистической областью, несмотря ни на что.

Мы можем объединить метрику энтропии, описанную выше, и условную вероятность, чтобы вычислить новое значение, которое называется условной энтропией. Таким образом, эта метрика включает отношения двух переменных в расчет энтропии.

Приведем пример использования условной энтропии. Существует связь между словами Вода и Пить. Вы можете отказаться от этого? Нет. Потому что мы знаем, что «люди пьют воду». Таким образом, можно Слововода, если слово Пить было замечено ранее. Можно сказать, что наличие слова Напиток влияет на вероятность существования слова Вода. Таким образом, его вероятность больше не совпадает с вероятностью, когда слово Напиток не наблюдалось. Слово Напиток влияет на случайность слова Вода. Это называется условной энтропией.

Мы также можем сделать новые комментарии к приведенному выше примеру. Все мы знаем, что если в предложении есть слово Напиток, то вероятность слова Вода очень высока. Потому что мы все должны пить воду, но не кока-колу или газировку. Возможность пить воду намного выше, чем возможность пить газировку. Таким образом, мы можем сказать, что условная энтропия слова Вода на слово Напиток почти нулевая или очень близкая к нулю (почти определенная).

Где используется энтропия?

Некоторые области, где используется энтропия,

  • Алгоритмы машинного обучения (например, алгоритм дерева решений)
  • Обработка естественного языка (NLP)
  • Разработка функций
  • Регуляризация в обучении с подкреплением