Публикации по теме 'information-theory'


Что я сегодня узнал…
Сегодня я начал читать книгу Дэвида Маккея Теория информации, логические выводы и алгоритмы обучения . Автор любезно предлагает бесплатную электронную книгу через свою домашнюю страницу . В этой книге хорошо то, что в предисловии дается руководство по использованию этой книги. Поскольку моя цель чтения этой книги — получить представление о связи между теорией информации и нейронной сетью, я решил следовать рекомендациям курса по байесовскому выводу и машинному обучению: Первый..
Теория информации: принципы и отступничество
Это третья статья из серии статей о теории информации и ее связи с предприятиями и стратегией, основанными на данных. Несмотря на то, что в каждом разделе будет несколько уравнений, их можно в значительной степени игнорировать, если они не заинтересованы в деталях и больше заинтересованы в последствиях. Предыдущую статью о взаимной информации и, как ни странно, сюжете Макбета можно найти здесь . Причинно-следственная связь переоценена Создадим ситуацию. Предположим, существует..
Интуиция недоумения (и вывод)
Никогда больше не смущайтесь недоумением. Возможно, вы видели что-то подобное в классе НЛП: Or Во время урока мы не тратим время на то, чтобы понять недоумение. Может быть, недоумение - это базовая концепция, которую вы, вероятно, уже знаете? Этот пост для тех, кто этого не делает. В общем, недоумение - это показатель того, насколько хорошо вероятностная модель предсказывает выборку . В контексте обработки естественного языка недоумение - это один из способов оценки..
Что такое энтропия в теории информации?
Когда я впервые увидел название «энтропия» в деревьях решений, я действительно не подумал об этом. Я не мог понять важность этой концепции. Итак, я перешел к моему приключению с машинным обучением (ML) без него. Однако почти каждый раз, когда я пытался освоить новую концепцию машинного обучения, на моем пути оказывалась энтропия. Я не мог убежать от этого. Затем я (при поддержке моего научного руководителя, который является для меня отличным наставником) решил противостоять этому...
Почему необходима двусмысленность и почему естественный язык не поддается изучению
Язык неоднозначен для эффективного общения Известный когнитивный лингвист Т. Гивон однажды сказал, что «двусмысленность - не грех». Похоже, он был прав, что двусмысленность - гениальное (эволюционное) изобретение, на которое люди наткнулись для эффективного общения. Недавнее исследование [2], в котором используется понятие энтропии Клода Шеннона в теории коммуникации [1], убедительно доказывает, что неоднозначность в естественном языке является необходимым механизмом для обеспечения..
Связь теории информации и машинного обучения
Теория информации В период с 1997 по 2000 год я изучил увлекательную область теории информации и цифровых коммуникаций: исходное кодирование: энтропия, сжатие, Хаффман,… зашумленные каналы связи и их пропускная способность: предел Шеннона,… коды обнаружения и исправления ошибок: Хэмминга, Адамара, BCH, сверточные коды, турбокоды,… оптимальный прием и декодирование: последовательный, Витерби,… Я применил эти знания между 2000 и 2013 годами в приложениях, которые в то время были..
Что вам следует знать о кросс-энтропии, когда вы только начали изучать глубокое обучение.
Часто бывает очень страшно понимать концепции глубокого обучения, когда вы только начинаете их изучать. Возьмем, к примеру, кросс-энтропию, которая является фундаментальным показателем того, как нейронные сети учатся предсказывать в задачах классификации. Почему это называется энтропией? Почему крест? Чтобы дать удовлетворительный ответ на эти вопросы, мы должны иметь некоторое представление о теории информации. Теория информации в информатике помогает охарактеризовать..