Публикации по теме 'information-theory'
Введение в энтропию
Энтропии:
Энтропия для дискретной случайной величины:
Демистификация кросс-энтропии
Что это? Есть ли какое-то отношение к концепции энтропии? Почему это используется для потери классификации? А как насчет бинарной кросс-энтропии?
Некоторые из нас, возможно, использовали кросс-энтропию для вычисления классификационных потерь и задались вопросом, почему мы используем натуральный логарифм. Некоторые, возможно, видели бинарную кросс-энтропию и задавались вопросом, отличается ли она принципиально от кросс-энтропии или нет. Если да, то чтение этой статьи должно помочь..
Взаимная информационная оценка — Выбор функций
используя энтропию из теории информации
Всем привет, как жизнь? еще один день в раю? Большой.
Сегодня мы рассмотрим уникальный способ выбора признаков с использованием взаимной информации.
Как правило, мы рассматриваем метод выбора признаков для числовых входных данных и числовой целевой переменной двумя способами.
Они есть:
Статистика корреляции #Multi colineartiy — — — — — — — — — — — — — — corr_matrix = X.corr().abs() #выбираем верхний треугольник upper =..
Энтропия: мощное свойство, наблюдаемое в термодинамике, теории информации и машинном обучении.
«Энтропия сообщения — это мера его информационного содержания, аналогичная энтропии термодинамической системы». — Клод Шеннон.
Энтропия — это понятие, которое появляется в различных областях науки и техники. Это мера количества беспорядка или случайности, присутствующих в системе.
Что такое энтропия? (Часть II)
В предыдущей части мы рассмотрим энтропию в ретроспективе энергии, а в этой части мы сосредоточимся на энтропии в парадигме вероятности и теории информации.
Итак, как и в прошлый раз, мы воспользуемся примером, чтобы понять энтропию в теории вероятностей.
Энтропия в теории вероятностей
Предположим, у нас есть 3 набора шаров, каждый из которых содержит 4 шара. Первый набор состоит из 4 зеленых мячей, второй содержит 3 зеленых и 1 желтый, а третий или последний набор состоит из 2..
Энтропия как необходимый «принцип забывания» в обучающейся вселенной
Любые системы обучения должны забывать устаревшие знания. Энтропия кажется тем самым «принципом забывания» для обучающейся Вселенной.
Важность забывания для систем обучения
Несколько десятилетий назад люди считали, что забывчивость — это просто результат старения и угасания воспоминаний. Однако несколько человек, изучавших память, подумали: «Секундочку, это не сходится», и они начали думать, что, возможно, наш мозг устроен так, чтобы специально забывать. За последнее десятилетие было..
Концепция энтропии: фундаментальный элемент теории информации
Энтропия — это мера неожиданности или неопределенности, связанная со случайной величиной. В более общем смысле он определяет количество информации о событии или случайной величине в целом. Для дискретной случайной величины X с функцией массы вероятности (pmf) p (X = x) = p (x) энтропия формально определяется как:
Лучший способ выразить приведенное выше уравнение состоит в том, что энтропия — это средневзвешенное значение информации (логарифмический член) , связанной с отдельными..
