Изучение легкого пути

Доверительные интервалы

Доверительные интервалы - это оценки, которые рассчитываются на основе данных выборки для определения диапазонов, которые могут содержать интересующий параметр генеральной совокупности (среднее значение, стандартное отклонение). Например, если наша популяция (2,6), доверительный интервал среднего значения предполагает, что среднее значение для генеральной совокупности, вероятно, находится между 2 и 6. И насколько уверенно мы можем это сказать? Очевидно 100%, правда? Потому что мы знаем все значения и можем очень легко их вычислить.

Но в реальных задачах дело обстоит иначе. Не всегда реально или возможно изучить всю популяцию. Так что же нам делать? Берем примерные данные. Но можно ли полагаться на один образец? Нет, потому что разные образцы из одних и тех же данных будут давать разные средние значения.

Поэтому мы берем множество случайных выборок (из одной и той же совокупности) и вычисляем доверительные интервалы для каждой выборки, и определенный процент этих диапазонов будет содержать параметр истинной совокупности.

Этот определенный процент называется уровнем достоверности. Уровень достоверности 95% означает, что из 100 выбранных случайных выборок я ожидаю, что 95 доверительных интервалов будут содержать истинный параметр совокупности.

Все еще в замешательстве? Давайте разберемся в этом на примере.

Предположим, вы работаете в компании по производству спортивных товаров, которая производит баскетбольные мячи. Есть несколько заводов-изготовителей, и каждое из них производит 10 000 мячей в день. Вы должны проверить шары до того, как компания упакует и отправит их.

Одна из стандартных отраслевых процедур - это проверка высоты первого отскока мячей. Ваш коллега предлагает взять случайную выборку (с того же завода-производителя) и сформировать доверительный интервал вокруг средней высоты отскока.

Вы берете 100 мячей, бросаете их с первого этажа вашего офиса и измеряете средний отскок. 95% доверительный интервал для среднего отскока составляет 110–120 см. Я могу сказать, что на 95% уверен, что средняя высота отскока всех баскетбольных мячей (всей популяции от одного растения) попадает в этот диапазон.

Внимание! Это не означает, что в 95% случаев высота подпрыгивания будет находиться в этом диапазоне.

Как видно на рисунке выше, существует 100 доверительных интервалов для 100 различных выборок. Красная линия - истинная ценность населения. 95 из этих интервалов содержат истинное значение, остальные 5 - нет.

Некоторые важные соображения:

  1. По мере того, как мы рисуем все больше и больше выборок, наш доверительный интервал сужается. Более крупная выборка уменьшит ошибку выборки, даст более точные оценки и, следовательно, меньшие интервалы. Предположим, вы решили протестировать 5000 мячей, и вы лучше оцените диапазон высоты прыжка.
  2. По мере увеличения уровня достоверности, скажем, с 95% до 99%, наш диапазон становится шире. Это может показаться нелогичным, но подумайте об этом. Чтобы иметь больше уверенности в том, что интервал содержит истинный параметр, диапазон должен быть шире. например, я могу быть на 100% уверен, что высота отскока мяча от 0 до бесконечности.

Надеюсь, вы получили представление о доверительных интервалах, теперь давайте посмотрим, что такое интервалы прогнозирования.

Интервалы прогнозов

Что происходит после подбора регрессионной модели? Прогнозируем значение зависимой переменной.

Диапазон, который, вероятно, содержит значение зависимой переменной для одного нового наблюдения с учетом конкретных значений независимых переменных, является интервалом прогноза.

Давайте рассмотрим предыдущий пример баскетбола, чтобы понять эту концепцию.

Предположим, что, используя регрессионную модель (часто линейную регрессию) и заданные конкретные значения независимых переменных, таких как резиновый материал, тип строчки (на основе уже изготовленных баскетбольных мячей) , мы тренируем наши модель. Эта модель теперь предсказывает интервал прогноза 105–125 см. Теперь мы можем быть на 95% уверены, что высота отскока следующего баскетбольного мяча, созданного с такими же настройками, будет находиться в этом диапазоне.

Обратите внимание, что здесь мы прогнозируем не среднее значение, а отдельное значение, поэтому здесь присутствует большая неопределенность, и, следовательно, интервал прогнозирования всегда шире, чем доверительный интервал.

Интервалы прогноза часто путают с доверительными интервалами. Они связаны, но у этих двух процессов разные расчеты и цели.

Интервал прогнозирования предсказывает, в какой диапазон попадет будущее индивидуальное наблюдение, в то время как доверительный интервал показывает вероятный диапазон значений, связанных с некоторым статистическим параметром данных, например, средним значением генеральной совокупности.

Надеюсь, вам понравилось читать о CI и PI и вы узнали что-то из этого.

Ссылки: 1) https://sites.nicholas.duke.edu/statsreview/ci/

2) https://apmonitor.com/che263/index.php/Main/PythonRegressionStatistics

3) https://sites.nicholas.duke.edu/statsreview/ci/

4) https://statisticsbyjim.com/hypothesis-testing/hypothesis-tests-confidence-intervals-levels/