Доказательство WLLN как для случая конечной, так и для бесконечной дисперсии

Предпосылки и мотивация

Закон больших чисел (LLN) - одна из важнейших теорем теории вероятностей. Хотя область применения теоремы далеко выходит за рамки просто вероятности и статистики. По сути, LLN - это средство, с помощью которого научные усилия даже могут быть воспроизведены, что позволяет нам изучать мир вокруг нас с помощью научных методов.

Фактически существует две основные версии LLN: слабый закон больших чисел (WLLN) и строгий закон больших чисел (SLLN). Разница между ними в том, что они полагаются на разные типы сходимости случайных величин. Слабый закон имеет дело со сходимостью по вероятности, сильный закон с почти наверняка сходимостью.

В этой статье мы сосредоточимся на стандартном WLLN как для случая конечной, так и для бесконечной дисперсии. Доказать, что SLLN почти наверняка сходимость, немного сложнее; для доказательства SLLN, пожалуйста, посмотрите мою следующую статью Доказательство закона больших чисел, часть 2: строгий закон ».

Определение слабого закона больших чисел (WLLN)

Стандартный WLLN математически определяется следующим образом:

Обратите внимание, что приведенное выше определение не делает никаких предположений относительно дисперсии ряда случайных величин Y. Скорее всего, случайные переменные i.i.d. и имеют определенное и конечное ожидаемое значение. Ниже я приведу два доказательства:

  1. Для случая конечной дисперсии
  2. Для случая конечной или бесконечной дисперсии

Доказательство для случая конечной дисперсии довольно просто и более широко известно. Однако, поскольку конечная дисперсия не является необходимым условием для WLLN, полезно знать доказательство для случая бесконечной дисперсии в интересах полноты.

1. Доказательство WLLN: случай конечной дисперсии

Давайте немного посмотрим на условия, с которых мы начинаем:

Доказать наличие WLLN в этих условиях довольно просто. В моей предыдущей статье Статистические неравенства в теории вероятностей и математической статистике я обсуждал, как и где могут быть полезны статистические неравенства. Это один из таких случаев. Вспомните неравенство Чебышева:

Доказательство WLLN теперь следует непосредственно из Чебышева:

2. Доказательство WLLN: случай конечной или бесконечной дисперсии.

Как упоминалось выше, WLLN не требует определения дисперсии n случайных величин Y. Однако доказательство WLLN без требования определенной и конечной дисперсии немного сложнее, требует некоторых знаний о характеристических функциях и некоторых теорем, касающихся отношений между различными типами сходимости случайных величин. Тем не менее, давайте начнем:

Во-первых, давайте определим характеристическую функцию произвольной случайной величины и предоставим некоторые свойства для i.i.d. случайные переменные, которые могут оказаться полезными:

И несколько замечаний о разложении экспоненциальной функции по теореме Тейлора:

Теперь мы готовы к доказательствам. Начнем с характеристической функции нашего выборочного среднего значения n i.i.d. Y случайных величин, и в конце показано, что среднее значение по выборке сходится по вероятности к мю.

Последние мысли:

Выше мы доказали стандартный WLLN, используя два разных подхода. Стоит отметить, что существуют варианты LLN, позволяющие расслабить i.i.d. требование. Для подтверждения SLLN, пожалуйста, прочтите мою следующую статью Доказательство закона больших чисел, часть 2: строгий закон ».

Я надеюсь, что это поучительно. Как я уже упоминал в некоторых из своих предыдущих статей, на мой взгляд, недостаточно людей тратят время на выполнение таких упражнений. На мой взгляд, такой тип понимания, основанного на теории, позволяет мне более комфортно использовать методы на практике. Моя личная цель - побудить других в этой области придерживаться аналогичного подхода. Я планирую писать основанные на ней статьи в будущем, поэтому не стесняйтесь связываться со мной в LinkedIn и подписывайтесь на меня здесь, на Medium, чтобы получать обновления!