В этой Части 1 на эту тему давайте обсудим теорию генеративного вероятностного моделирования и, в более широком смысле, наивный байесовский классификатор. В Части 2 этой темы мы обсудим некоторые примеры реализации.

Классификация как процесс в основном состоит из двух этапов — Этап вывода и Этап принятия решения. Фаза вывода включает в себя получение обучающих данных, состоящих из входных векторов и соответствующих выходных классов, и построение модели, которая определяет взаимосвязь между входными и выходными данными. После того, как модель построена, на этапе принятия решения она используется для классификации нового входного вектора.

Что такое генеративно-вероятностное моделирование?

Модели вероятностной классификации основаны на теории вероятностей. В генеративно-вероятностных моделях есть входной вектор X и выходной вектор класса C. Совместное распределение вероятностей входного и выходного векторов генерируется с использованием модели распределения вероятностей, например, на основе теоремы Байеса . Затем эта совместная функция распределения вероятностей используется для классификации нового входа.

Теорема Байеса

Теорема Байеса описывает вероятность события на основе предварительного знания условий, которые могут быть связаны с этим событием. Мы можем вывести теорему Байеса из определения совместной вероятности —

Переформулировав это, мы получим теорему Байеса в виде:

На простом языке приведенное выше уравнение можно выразить так:

Апостериорная вероятность = вероятность * априорная/доказательство

Теперь давайте воспользуемся теоремой Байеса, чтобы вывести поведение самого наивного байесовского классификатора.

Наивный байесовский классификатор

Рассмотрим входной вектор X = {X1, X2,…, Xn} и выходной вектор класса C = {C1, C2,…, Ck}. Вероятность для класса Cj при заданном входном векторе на основе теоремы Байеса равна —

Из-за количества задействованных комбинаций было бы очень сложно найти выделенную совместную условную вероятность всех атрибутов X при заданном Cj, т. е. Вероятность, в реальной жизни. Поэтому наивный байесовский классификатор предполагает, что входные параметры условно независимы при заданном Cj. Вероятность каждого параметра определяется с использованием совместной вероятности входного параметра и выходной метки. Применение условной независимости:

Требуется класс с максимальной вероятностью среди всех предсказанных классов. Поэтому используется функция argmax, которая выбирает ввод, максимизирующий значение результата. Кроме того, знаменатель P(X1,X2,…, Xn)одинаков для всех Cj и поэтому может быть опущен.

Окончательное уравнение для наивного байесовского классификатора:

Подводя итог: Наивный байесовский классификатор — это генеративно-вероятностная модель. Он использует вероятность и априорную вероятность для расчета условной вероятности класса. Наивный байесовский алгоритм упрощает вычисление правдоподобия за счет допущения условной независимости входных параметров. Вероятность для каждого параметра определяется с использованием совместной вероятности входного параметра и выходной метки.

Преимущества наивного байесовского классификатора

  • Алгоритм прост в реализации и быстр
  • Если условная независимость сохраняется, он будет сходиться быстрее, чем другие методы.
  • Требуется меньше обучающих данных из-за предположения об условной независимости
  • Может использоваться как для бинарных, так и для многоклассовых задач классификации
  • Обрабатывает как непрерывные, так и дискретные данные
  • Не чувствителен к несущественным функциям
  • Не переопределяет данные из-за небольшого размера модели по сравнению с другими алгоритмами, такими как Random Forest.
  • Хорошо обрабатывает пропущенные значения. Мы можем отказаться от всей функции и все равно не повлиять на результат, если отсутствующие значения значительны для населения.
  • Подходит для случаев, когда имеется большое количество условно независимых признаков при небольшом наборе данных, например, Классификация текста