Теория вероятностей — это раздел математики, который занимается анализом случайных явлений. Это связано с вероятностью возникновения событий. Это также дает нам интересные математические способы объединения вероятностей для прогнозирования, которые широко используются в области статистики, машинного обучения и других смежных областях, где мы заинтересованы в прогнозировании.

В этой статье я расскажу об основных понятиях теории вероятностей, которые помогут вам в качестве предварительного условия для статистики и машинного обучения. Я постараюсь осветить темы очень точно, чтобы вы могли быстро перейти к статистике и/или машинному обучению после того, как закончите это.

Темы, которые будут затронуты здесь:

  • Основная терминология: выборочное пространство, событие, результат, вероятность и т. д.
  • Различные типы вероятности: классическая, эмпирическая и субъективная.
  • Концепция аксиом вероятности и законов, включая правила сложения и умножения.
  • Концепция условной вероятности
  • Теорема Байеса

Основная терминология:

  1. Эксперимент. Эксперимент — это процесс или действие, в результате которого получаются определенные результаты. Это может быть физический или концептуальный процесс, такой как подбрасывание монеты, бросок игральной кости или выбор карты из колоды.
  2. Пространство выборки. Пространство выборки, обозначаемое буквой S, представляет собой набор всех возможных результатов случайного эксперимента или события. Это совокупность всех различных результатов, которые могут возникнуть в результате эксперимента.
  3. Событие. Событие — это подмножество демонстрационного пространства. Он представляет собой конкретный результат или совокупность интересующих результатов. События могут быть простыми (один исход) или составными (множественные исходы).
  4. Результат. Результат – это конкретный результат случайного эксперимента или события. Это один элемент пространства выборки. Например, при броске правильного шестигранного кубика могут выпасть 1, 2, 3, 4, 5 или 6.
  5. Вероятность. Вероятность – это мера вероятности наступления события. Это числовое значение от 0 до 1 (включительно). Вероятность 0 означает, что событие невозможно, а вероятность 1 означает, что событие обязательно произойдет. Вероятность события A обозначается как P(A).
  6. Равновероятные исходы. Когда все исходы в пространстве выборки имеют одинаковую вероятность возникновения, они называются равновероятными исходами. Например, при подбрасывании честной монеты исходы (орел или решка) равновероятны.
  7. Дополнительное событие. Дополнительное событие к событию A, обозначаемое как A', — это событие, состоящее из всех исходов в выборочном пространстве S, не входящих в A. В Другими словами, он представляет все исходы, которые не удовлетворяют условиям события А.
  8. Союз событий. Объединение двух событий A и B, обозначаемое как A ∪ B, – это событие, состоящее из всех исходов, которые относятся либо к A, либо к B, либо к обоим. .
  9. Пересечение событий. Пересечение двух событий A и B, обозначаемое как A ∩ B, — это событие, состоящее из всех исходов, общих для A и B.
  10. Независимые события. Два события A и B считаются независимыми, если возникновение одного события не влияет на вероятность другого события. Другими словами, вероятность того, что А и В появятся вместе, является произведением их индивидуальных вероятностей.
  11. Зависимые события. Два события A и B являются зависимыми, если наступление или ненаступление одного события влияет на вероятность другого события.

Эти основные термины обеспечивают основу для понимания вероятности и ее приложений.

Различные типы вероятности:

  1. Классическая вероятность. Классическая вероятность, также известная как теоретическая вероятность, основана на допущении равновероятных исходов. Это применимо к ситуациям, когда пространство выборки конечно и все результаты имеют одинаковую вероятность. Вероятность события А рассчитывается путем деления количества благоприятных исходов для А на общее количество возможных исходов в пространстве выборки. Например, при броске правильного шестигранного кубика каждый результат (1, 2, 3, 4, 5 или 6) имеет равные шансы на выпадение, и вероятность выпадения определенного числа, скажем, 5, равна 1/6.
  2. Эмпирическая вероятность. Эмпирическая вероятность, также известная как экспериментальная вероятность, основана на наблюдениях и данных, собранных в результате экспериментов или реальных событий. Он включает в себя оценку вероятности события путем проведения экспериментов и расчета относительной частоты возникновения события. Чтобы определить эмпирическую вероятность, проводят повторные испытания эксперимента и записывают, сколько раз происходит интересующее событие. Эмпирическая вероятность события А рассчитывается путем деления количества раз, когда А происходит, на общее количество испытаний. Например, если вы подбрасываете монету 100 раз, и орёл выпадает 55 раз, эмпирическая вероятность выпадения орла составляет 55/100 = 0,55.
  3. Субъективная вероятность. Субъективная вероятность основана на личных суждениях, убеждениях или мнениях о вероятности наступления события. На него влияют знания, опыт и субъективная оценка ситуации человеком. Субъективная вероятность часто используется в ситуациях, когда недостаточно данных или когда требуется личное суждение. Субъективные вероятности выражаются по шкале от 0 до 1, где 0 означает невозможность, а 1 — уверенность. Разные люди могут назначать разные субъективные вероятности одному и тому же событию на основе своих собственных оценок. Например, человек может присвоить субъективную вероятность 0,7 убеждению, что завтра будет дождь, основываясь на своей интерпретации прогноза погоды и своем прошлом опыте.

Важно отметить, что в то время как классические и эмпирические вероятности основаны на объективных измерениях и наблюдениях, субъективная вероятность по своей сути основана на личных мнениях и суждениях.

Аксиомы вероятности и законы:

Аксиомы и законы вероятностей обеспечивают основу для расчета вероятностей и создания вероятностных утверждений. Вот объяснение аксиом вероятности и правил сложения и умножения:

Аксиомы вероятности:

  1. Аксиома неотрицательности: вероятность любого события является неотрицательной величиной. То есть для любого события A P(A) ≥ 0.
  2. Аксиома нормализации. Вероятность всего выборочного пространства равна 1. То есть для выборочного пространства S P(S) = 1.
  3. Аксиома аддитивности. Для любых взаимоисключающих событий (событий, которые не могут произойти одновременно) вероятность их объединения равна сумме их индивидуальных вероятностей. То есть для взаимоисключающих событий A и B, если A ∩ B = ∅ (пустое множество), то P(A ∪ B) = P(A) + P(B).

Правило сложения. Правило сложения позволяет вычислить вероятность объединения двух событий. Это можно сформулировать следующим образом:

P(A ∪ B) = P(A) + P(B) — P(A ∩ B)

Правило вычитает вероятность пересечения двух событий, чтобы избежать двойного счета. Если события взаимоисключающие (т. е. A ∩ B = ∅), то вероятность пересечения равна нулю, и правило упрощается до:

P(A ∪ B) = P(A) + P(B)

Правило умножения. Правило умножения позволяет вычислить вероятность пересечения двух событий. Его можно сформулировать в двух формах: общее правило умножения и правило умножения для независимых событий.

Общее правило умножения. Для любых двух событий A и B вероятность их пересечения определяется следующим образом:

P(A ∩ B) = P(A) * P(B|A) ,где P(B|A) обозначает условную вероятность события B учитывая, что произошло событие A.

Правило умножения для независимых событий. Если два события A и B независимы, то есть возникновение одного события не влияет на вероятность другого события, правило умножения упрощает к:

P(A ∩ B) = P(A) * P(B)

Это правило гласит, что вероятность пересечения двух независимых событий равна произведению их индивидуальных вероятностей.

Условная вероятность:

Условная вероятность: Условная вероятность — это вероятность того, что событие А произойдет при условии, что другое событие В уже произошло. Он обозначается как P(A|B), читается как «вероятность A при заданном B». Формула условной вероятности:

P(A|B) = P(A ∩ B) / P(B)

Другими словами, условная вероятность того, что А при данном В, равна вероятности появления А и В, деленной на вероятность появления В. Возникновение события B служит новой информацией или условием, влияющим на вероятность события A. Иногда P(A ∩ B) также упоминается как P(A и B), представляющее совместную вероятность событий A и B, происходящих вместе.

Например, рассмотрим последовательное вытягивание двух карт из стандартной колоды из 52 игральных карт. Если мы знаем, что первая вытянутая карта — черва, вероятность вытянуть вторую черву из оставшейся колоды будет иной, чем если бы у нас не было этой информации. Это изменение вероятности, основанное на новой информации, фиксируется условной вероятностью.

Теорема Байеса

Теорема Байеса — это фундаментальная концепция теории вероятностей, которая позволяет нам обновлять вероятность события на основе новых данных или информации. Он обеспечивает основу для включения предшествующих знаний или убеждений в расчет вероятностей.

Теорема Байеса названа в честь преподобного Томаса Байеса, математика 18-го века и пресвитерианского священника, который первым сформулировал теорему. Это математически представляется как:

P(A|B) = (P(B|A) * P(A)) / P(B)

В этой формуле:

  • P(A|B) представляет собой условную вероятность события A при условии, что событие B произошло.
  • P(B|A) представляет собой условную вероятность наступления события B при условии, что событие A произошло.
  • P(A) и P(B) представляют собой вероятности того, что события A и B произойдут независимо, без учета друг друга.

Вот пошаговое объяснение того, как применять теорему Байеса:

  1. Начните с априорной вероятности: начните с начальной вероятности P(A), которая представляет априорное убеждение или априорное знание о вероятности возникновения события A.
  2. Сбор новых данных: наблюдение или получение новых данных или информации, как правило, в форме условной вероятности P(B|A), которая представляет собой вероятность наблюдения события B при заданных данных. что событие А произошло.
  3. Обновить вероятность. Используйте теорему Байеса, чтобы обновить вероятность события А с учетом новых данных. Умножьте априорную вероятность на отношение правдоподобия (P(B|A)/P(B)) и нормализуйте результат.
  • Умножить: умножить априорную вероятность P(A) на условную вероятность P(B|A). Это представляет собой совместную вероятность того, что события А и В произойдут вместе.
  • Разделить. Разделите результат на вероятность события B, P(B), которая действует как коэффициент нормализации. Это гарантирует, что обновленная вероятность соответствующим образом масштабируется и в сумме равна 1.

4. Интерпретация обновленной вероятности: результирующее значение P(A|B) представляет собой обновленную вероятность возникновения события A с учетом нового свидетельства или информации.

Теорема Байеса широко используется в различных областях, включая статистику, машинное обучение, медицинскую диагностику и принятие решений. Это позволяет включать в анализ новую информацию, что позволяет проводить более точные и обоснованные вероятностные рассуждения. Итеративно применяя теорему Байеса, можно постоянно уточнять вероятности по мере появления новых данных.

Широко популярный алгоритм машинного обучения Наивный байесовский классификатор основан на этой теореме. Это контролируемый алгоритм машинного обучения, который используется для задач классификации, таких как классификация текста.

Это все фундаментальные концепции теории вероятностей, которые помогут вам начать работу со статистикой и/или машинным обучением. Это также основные понятия, которые вам необходимо усвоить, если вы хотите изучить более сложные темы теории вероятностей.

Я попытался объяснить все концепции очень точно. Я надеюсь, что это поможет вам. Если вы застряли на какой-то части или хотите, чтобы я затронул более сложные темы, дайте мне знать в разделе комментариев.

Счастливого (машинного) обучения!!