1. Вывод

Я дал обещание в своей предыдущей статье три дня назад предоставить вспомогательный код для обоснования интуитивных обсуждений. Сегодня я его исполню.

Прочитав эту статью, вы:

  1. Обратите внимание, что вероятности аналогичны доле появления разных классов в «плотном» кластере.
  2. Обратите внимание, что вероятности отстают от результатов интерполяции.

Эта статья изначально задумывалась как «Интуиция, стоящая за вероятностным обучением с учителем (Часть 2)». Но нет, это больше, чем «Часть 2», она сама по себе дает новые идеи. В конце вы увидите кое-что интересное! Пусть моя репутация полетит к чертям, если я не выполню обещание.

2. Пример с кодом

Ранее я представил простой сценарий, в котором мы вынуждены использовать одинатрибут, либо "Нет большого черного носа", либо "Имеет большой черный нос". ', чтобы описать каждое изображение. Давайте начнем с воспроизведения этого и получения эмпирических (а не теоретических) результатов.

Обоснование такого упрощения заключается в том, что в действительности вектор признаков длиной 2048 все еще недостаточен для полного охвата всех возможных комбинаций признаков. Следовательно, вектор признаков длины 1 — это просто экстремальное расширение приближения, которое все уже принимают. Вы можете представить этот единственный вектор как первый главный компонент из PCA, а не как четкую особенность «большой черный нос».

[2.1] Простейший случай с одной функцией (0 или 1)

Давайте обучим модель и посмотрим, действительно ли полученная модель соответствует тому, что мы ожидаем теоретически, как обсуждалось в предыдущей части. Здесь я намеренно не использую какой-либо набор проверки/тестирования. Я лично нахожу это эффективным подходом, когда пытаюсь понять интуицию. (На самом деле, один из подходов к проверке, работает ли ваша модель или нет, заключается в том, чтобы сначала переобучить набор поездов. Если модель даже не может работать хорошо, это означает, что в вашем коде есть ошибки или что модель недостаточно сложна для использования. особенности…