Это не одно и то же ...

Что касается технических знаний, я обычно сторонник обоснованного понимания используемых методов. Обычно я не люблю что-либо запоминать и по возможности стараюсь этого не делать. Скорее я сосредотачиваюсь на разработке прочных основ концепций, из которых я позже могу математически вывести все, что мне может понадобиться.

В области теории вероятностей и математической статистики использование методов / теорем часто основывается на общих математических предположениях и ограничениях. Двумя такими математическими концепциями являются случайные величины (RV), которые являются «некоррелированными», и RV, которые являются «независимыми». Я видел много путаницы в отношении этих концепций (в том числе на платформе Medium). Это хорошо определенные термины с математической точки зрения, и они не означают одно и то же. Для всех, кто интересуется статистикой, наукой о данных или машинным обучением, эти концепции абсолютно заслуживают понимания.

Эта статья направлена ​​на:

  • Математически указать определения RV как некоррелированных, а RV как независимых.
  • Докажите, что независимые RV по определению также некоррелированы.
  • Докажите, что RV могут быть некоррелированными, но не независимыми (на примере)

1. Математические определения:

В демонстрационных целях предположим, что у нас есть непрерывные RV X и Y, которые определены над некоторой реальной поддержкой.

Некоррелированные RV:

Два RV X и Y не коррелируют, если ожидаемое значение их совместного распределения равно произведению ожидаемых значений их соответствующих предельных распределений. Написано математически:

Это эквивалентно тому, что ковариация между X и Y равна нулю:

Независимые автофургоны:

Два RV X и Y являются независимыми, если значение их совместного распределения равно произведению значений их соответствующих предельных распределений для любых возможных диапазонов X и Y вдоль соответствующих опор. Написано математически:

Это эквивалентно утверждению, что условные распределения X и Y (обусловленные друг другом) эквивалентны их соответствующим предельным распределениям. Другими словами, информация о X не дает дополнительной информации о Y и наоборот:

2. Независимые RV по определению некоррелированы:

Как указано выше, независимые RV по определению также некоррелированы. Давайте докажем это на нашем примере RV X и Y и наших математических определениях выше:

3. RV могут быть некоррелированными, но не независимыми:

Как указано выше, RV могут быть некоррелированными, но не независимыми. Ниже приведен классический пример игрушки для иллюстрации:

Приложение: Доказательство того, что нечетные моменты стандартного нормального распределенного RV равны нулю.

Показывая пример некоррелированности RV в Разделе № 3, я использовал определенное свойство стандартного нормального распределения (все нечетные моменты равны нулю). Для тех, кто интересуется, доказательство этого свойства показано ниже:

Последние мысли

Я надеюсь, что приведенные выше выводы и примеры поучительны. На мой взгляд, мало людей тратят время на выполнение этих упражнений. Знание приведенных выше концепций имеет первостепенное значение для понимания теоремы Гаусса – Маркова, условий для восстановления действительных оценок дисперсии и многих других концепций в этой области.

Я надеюсь, что это поучительно. Как я уже упоминал в некоторых из своих предыдущих статей, на мой взгляд, недостаточно людей тратят время на выполнение таких упражнений. На мой взгляд, такой тип понимания, основанного на теории, позволяет мне более комфортно использовать методы на практике. Моя личная цель - побудить других в этой области придерживаться аналогичного подхода. Я планирую писать основанные на ней статьи в будущем, поэтому не стесняйтесь связываться со мной в LinkedIn и подписывайтесь на меня здесь, на Medium, чтобы получать обновления!