Обычная переменная
Обычное значение переменной не изменяется после присвоения значения. Ниже приведены несколько примеров.
x = 3 z = 4 age = 44
Случайная переменная
Случайная величина X — это величина, которая может иметь разные значения при каждой проверке переменной, например, при измерениях в экспериментах. Ниже приведены несколько примеров.
X(значение после броска кубика)
Здесь каждое значение времени может быть любым из конечного набора {1, 2, 3, 4, 5, 6}.
X(показания датчика освещенности)
Здесь, из-за проблем с температурой и внутренней схемой, значение показаний света будет другим. Может быть любым значением в бесконечном диапазоне 39.xx.
Типы случайных величин
Есть два типа случайных величин
- Дискретная случайная величина
- Непрерывная случайная величина
Дискретная случайная величина
Дискретная случайная величина — это та, которая может принимать только счетное число различных значений.
Например, игра в кости может иметь значения из набора {1, 2, 3, 4, 5, 6}.
Непрерывная случайная величина
Непрерывная случайная величина — это такая, которая принимает бесконечное число возможных значений.
Например, датчики измерения света могут иметь любое бесконечное значение, если вы используете машину, которая может обнаруживать с высокой точностью.
Прогнозирование значения случайной величины
Из-за природы случайной величины невозможно предсказать значение.
Прогнозирование случайности
Хотя мы можем быть не в состоянии предсказать конкретное значение, часто бывает так, что некоторые значения могут быть более вероятными, чем другие. Возможно, мы сможем сказать что-то о том, как часто будет появляться определенное число при рисовании множества примеров.
Функция плотности вероятности (или распределения)
Насколько вероятно каждое значение для случайной величины x, фиксируется функцией плотности вероятности pdf(x) в непрерывном случае и функция массы вероятности P(x) в дискретном случае.
Функция массы вероятности для дискретной случайной величины
Давайте возьмем пример трехкратного подбрасывания монеты, а случайная величина X представляет собой количество решек после трех подбрасываний.
Вероятность последующего подсчета голов.
Ниже приведен график для построения функции массы вероятности для нашей случайной величины X.
Функция плотности вероятности для непрерывной случайной величины
Давайте возьмем пример случайной величины Y, чтобы узнать точное количество дождя завтра.
Поскольку это непрерывная случайная величина, задавать следующий вопрос недопустимо.
Какова вероятность того, что завтра будет дождь высотой 2 дюйма? То есть узнать Y(2).
Это связано с тем, что из-за непрерывного характера мы не можем точно сказать 2. Его следует задавать в диапазоне от 2,00000 до 2,00001. Или просто близко к 2.
Вероятность для заданного диапазона определяется как площадь PDF в этом диапазоне.
Теория вероятности
Теория вероятностей — это теория случайных чисел. Мы обозначаем такие числа заглавными буквами, чтобы отличать их от обычных чисел, написанных строчными буквами.
Мы можем формализовать идею выражения вероятностей получения определенных значений для случайной величины с помощью некоторых компактных обозначений.
Теория вероятностей для дискретной случайной величины
Функция массы вероятности для дискретных случайных чисел выглядит следующим образом:
P(x)=P(X=x)
Это описывает вероятность, с которой встречается каждое возможное значение x дискретной переменной X. Обратите внимание, что x — это обычная, а не случайная переменная. Значение P(x) предсказывает долю случаев, когда мы получаем значение x для случайной величины X , если мы нарисуем много примеров случайной величины.
В случае примера с игрой в кости мы можем написать следующее
P(1) = 1/6
P(2) = 1/6
Сумма вероятностей всех исходов равна 1, что является важным условием нормализации следующей функции вероятности.
Теория вероятностей для непрерывной случайной величины
У нас есть бесконечное число возможных значений x, так что дробь для каждого числа становится формально бесконечно малой. Таким образом, необходимо записать функцию распределения вероятностей, используя дифференциальное уравнение исчисления, как показано ниже.
P(x)=p(x)dx
Здесьp(x) — функция плотности вероятности (PDF).
Сумма всех вероятностей становится интегралом, а условие нормализации для непрерывной случайной величины приведено ниже.
В случае конечной вероятности сумма всех вероятностей будет интегралом заданного диапазона
Запишите дискретную переменную в виде непрерывной переменной
Используйте дельта-функцию, чтобы записать дискретные случайные процессы в непрерывной форме.
Например, здесь у нас есть функция дискретной плотности для броска игральной кости:
Это можно записать в виде функции плотности следующим образом:
Среднее значение для случайной величины
Среднее значение — это среднее значение случайной выборки при рисовании множества примеров. Это определяется, как показано ниже.
Если мы не знаем PDF, мы можем определить аппроксимацию среднего значения измерений, как показано ниже.
Здесь pi — частота xi в заданном интервале.
Медиана для случайной величины
Значение медианы — это значение случайной величины, для которой с равной вероятностью будет найдено значение меньше или больше этого значения. Это показано ниже:
Дисперсия случайной величины
Разброс PDF вокруг среднего дает нам представление о том, насколько распределены значения. Этот спред часто характеризуется стандартным отклонением (STD) или его квадратом, который называется дисперсией, σ2. Это определяется следующим образом:
Это математически называется вторым моментом распределения, тогда как среднее значение является первым моментом. n-й момент относительно среднего определяется следующим образом:
Если PDF не указан, дисперсию можно рассчитать на основе следующих данных:
Типы функций плотности вероятности
Распределение Бернулли
Случайная переменная Бернулли – это переменная из эксперимента, который имеет два возможных результата:
- Успех с вероятностью p
- Отказ с вероятностью (1 − p)
Функция вероятности определяется следующим образом:
P(успех)=p
P(неудача)= 1−p
Среднее значение: p
Дисперсия: p(1−p)
Полиномиальное распределение
Это распределение результатов в n испытаниях, которые имеют k возможных результатов. Таким образом, вероятность каждого исхода равна pi.
Функция вероятности определяется следующим образом:
среднее значение: npi
отклонение: npi(1−pi)
Биномиальное распределение
Важным примером является биномиальное распределение (k=2), которое описывает количество успехов в n испытаниях Бернулли с вероятностью успеха p. Обратите внимание, что биномиальный коэффициент определяется следующим образом:
Функция вероятности определяется следующим образом:
среднее значение: np
дисперсия: np(1−p)
Нормальное распределение (также называемое распределением Гаусса)
Предел биномиального распределения для большого количества испытаний зависит от двух параметров: среднего значения μ и стандартного отклонения σ.
Функция плотности вероятности:
среднее значение: μ
дисперсия: 2σ2
Многомерное нормальное распределение
Функция плотности с несколькими случайными величинами, x1,…,xn, называется многомерной функцией плотности. Ниже приведен пример примера.
Это прямое обобщение упомянутого выше одномерного распределения Гаусса, где среднее значение теперь представляет собой вектор μ, а дисперсия обобщается до ковариационной матрицы, как показано ниже.
который должен быть симметричным и положительно полуопределенным.
Кумулятивная функция плотности вероятности
Вероятность того, что значение x для случайной величины X находится в диапазоне x1≤x≤x2 задается следующим уравнением:
Вычислите вероятность того, что переменная с нормальным (гауссовым) распределением имеет значения между x1=0 и x2=y.
Здесь erf — функция ошибки Гаусса . Эта функция ошибки Гаусса для нормально распределенных переменных (распределение Гаусса со средним значением μ=0 и дисперсией σ=1) обычно приводится в таблицах в книгах по статистике.
Другой важный общий случай — это когда x1 в уравнении равно наименьшему возможному значению случайной величины (обычно −∞).
Тогда интегральное уравнение соответствует вероятности того, что значение случайной величины меньше определенного значения, скажем, y.
Эта функция y называется функцией кумулятивной плотности (CDF).
Функция плотности вероятности для многомерного
Давайте используем многомерные концепции для двух переменных. Полная информация о совпадении конкретных значений для двух случайных величин X и Y фиксируется следующим уравнением:
Фрагмент этой функции с заданным значением одной переменной, скажем, y, показан ниже:
Условный PDF-файл также показан на рисунке ниже. Если просуммировать все реализации y, мы получим следующее:
Цепное правило
Совместное распределение можно разложить на произведение условного и предельного распределения, как показано ниже.
Это легко обобщается на n случайных величин с помощью следующего уравнения:
Независимые случайные величины
Случайная величина X не зависит от Y, если выполняется следующее:
Используя цепное правило, мы можем написать распределение соединений, как показано ниже.
Это означает, что совместное распределение двух независимых случайных величин является произведением их предельных распределений.
Условные независимые случайные величины
Мы также можем определить условную независимость. Например, две случайные величины, X и Y, условно независимы от случайной величины Z, если выполняется следующее:
теорема Байеса
Стив, скорее всего, библиотекарь или фермер?
О Стиве:
Стив — застенчивый интроверт, мало интересующийся людьми и реальностью мира. Он трудолюбивый и страстный, чтобы достичь своей цели.
Вопрос: Стив, скорее всего, библиотекарь или фермер?
Предвзятость в решении людей и неучет отношения в суждении
Люди, как правило, предвзяты, когда делают какие-то прогнозы.
Но они не учитывают соотношение Библиотекаря и Фермера в своих суждениях. Предположим, что соотношение Библиотекарей и Фермеров составляет 1:20.
Допустим, 40% Библиотекарей и 10% Фермеров подходят под данное описание. т.е. Под это описание подходят 4 библиотекаря и 20 фермеров.
Это означает, что вероятность того, что случайный человек попадет в Библиотекаря, будет
Наблюдение: даже если описание подходит как Библиотекарь, оно в 4 раза выше, чем фермер, но вероятность ниже. Это потому, что фермеров гораздо больше, чем библиотекарей.
Основная часть теоремы Байя: новые данные не полностью определяют вашу систему убеждений, они обновляют ваши прежние убеждения.
Когда использовать теорему Байе?
У вас есть некоторая гипотеза (здесь Стив — библиотекарь) и у вас есть некоторое доказательство (данный текстовый абзац). Вы хотите знать вероятность того, что ваша гипотеза верна, учитывая, что доказательства верны.
формула теоремы Байе
Легкий способ запомнить следующую диаграмму, а затем вывести формулу.
правило Байе
Эта теорема важна, потому что она говорит нам, как объединить априорные знания о случайной величине, которую мы хотим оценить, p(x), с вероятность p(y∣x) данных y при условии x .
Метод цепи Маркова Монте-Карло (MCMC)
MCMCMCMC — это метод вычисления апостериорных распределений без необходимости вычисления знаменателя, также называемого статистической суммой, которая обычно не поддается обработке. Это можно показать следующим образом:
