Введение в проверку гипотез в R
Предпосылка анализа данных основана на философии «принятия решений на основе данных», которая недвусмысленно утверждает, что принятие решений на основе данных имеет меньшую вероятность ошибки, чем решения, основанные на субъективных суждениях и интуиции. чувство. Таким образом, нам нужны данные для принятия решений и ответов на деловые/функциональные вопросы. Данные могут быть собраны от каждой единицы/человека, связанного с проблемной ситуацией (совокупность, связанная с ситуацией). Это называется переписью или полным подсчетом, а «совокупность» называется населением. Очевидно, что это, как правило, дает наиболее оптимальные результаты с максимальной точностью, но это не всегда возможно. На самом деле, редко когда есть доступ к информации от всех участников, связанных с ситуацией. Итак, из практических соображений мы берем репрезентативную подгруппу из генеральной совокупности, известную как Выборка. Выборка является репрезентативной в том смысле, что ожидается, что она будет демонстрировать свойства генеральной совокупности, из которой она была взята.
Итак, у нас есть свидетельство (данные) из выборки, и нам нужно принять решение в отношении совокупности на основе этих данных из выборки, т. е. вывод о совокупности на основе выборки. Эта концепция известна как Статистический вывод.
Прежде чем углубляться в детали, мы должны четко понимать некоторые термины и понятия, которые будут полезны:
Параметр и статистика
Параметры — это неизвестные константы, которые эффективно определяют распределение совокупности и, в свою очередь, совокупность, например среднее значение совокупности (µ), стандартное отклонение совокупности (σ), доля совокупности (P) и т. д. Статистика — это значения, характеризующие выборку, т. е. характеристики выборки. На самом деле они являются функциями выборочных значений e. г. выборочное среднее (x̄), выборочное стандартное отклонение (s), выборочная доля (p) и т. д.
Выборочное распределение
Из популяции может быть взято большое количество выборок. Каждая выборка может предоставить значение выборочной статистики, поэтому будет распределение значения выборочной статистики из всех возможных выборок, т. е. частотное распределение выборочной статистики. Это более известно как Выборочное распределение выборочной статистики. Кроме того, выборочная статистика представляет собой случайную переменную, являющуюся функцией значений выборки (которые сами по себе являются случайными величинами). Распределение вероятностей выборочной статистики известно как выборочное распределение выборочной статистики. Как и любое другое распределение, выборочное распределение может быть частично описано его средним и стандартным отклонением. Стандартное отклонение выборочного распределения выборочной статистики более известно как Стандартная ошибка выборочной статистики.
Стандартная ошибка
Это мера степени вариации между различными значениями статистики из разных возможных выборок. Чем выше стандартная ошибка, тем выше вариация между различными возможными значениями статистики. Следовательно, меньше будет доверия, которое мы можем возлагать на значение статистики для целей оценки. Следовательно, предполагается, что выборочная статистика, имеющая более низкое значение стандартной ошибки, лучше подходит для оценки параметра генеральной совокупности.
Пример:
1(a). Для нормальной совокупности N (µ, σ) была составлена выборка размера n. Мы рассматриваем выборочное среднее (x̄) как выборочную статистику. Затем выборочное распределение выборочной статистики x̄ будет соответствовать нормальному распределению со средним значением µ x̄ = µ и стандартной ошибкой σ x̄ = σ/ √ n.
Даже если популяция не следует нормальному распределению, но для большой выборки (n = большая), выборочное распределение x̄ будет приближаться к (аппроксимированному) нормальному распределению со средним значением µ x̄ = µ и стандартной ошибкой σ x̄ = σ/ √n согласно центральной предельной теореме.
(b). Для нормальной совокупности N (µ, σ) была составлена выборка размера n, но стандартное отклонение совокупности σ неизвестно, поэтому в этом случае σ будет оцениваться по выборке Стандартное отклонение). Затем выборочное распределение выборочной статистики x̄ будет следовать распределению t студента (со степенью свободы = n-1), имеющему среднее значение µ x̄ = µ и стандартную ошибку σ x̄ = s/ √ n.
2. Когда мы рассматриваем пропорции для категорийных данных. Распределение выборки доли выборки p = x/n (где x = количество успешных результатов из общего числа n) будет соответствовать нормальному распределению со средним значением µ p = P и стандартной ошибкой σ p = √( PQ /n), (где Q = 1-P). Это при условии, что n велико, так что и np, и nq должны быть минимум 5.
Статистические выводы
Статистический вывод охватывает две разные, но связанные проблемы:
1. Знание о генеральной совокупности на основе данных выборки. Это известно как проблема оценки. Это обычная проблема при принятии бизнес-решений из-за отсутствия полной информации и неопределенности, но при использовании выборочной информации оценка будет основываться на концепции принятия решений на основе данных. Здесь концепция вероятности используется посредством выборочного распределения для борьбы с неопределенностью. Если для оценки параметра генеральной совокупности используется выборочная статистика, то в этой ситуации так называемый оценщик; {likesamplemean (x̄) для оценки среднего значения µ, доля выборки (p) для оценки доли населения (P) и т. д.}. Конкретное значение оценщика для данной выборки называется оценкой. Например, если мы хотим оценить средние продажи более 1000 торговых точек розничной сети, и мы взяли выборку из 40 торговых точек, а среднее значение выборки ( оценщик) x̄ равно 40000. Тогда оценка будет 40000 .
Существует два вида оценки:
- Точечная оценка. Одно значение/число оценщика используется для оценки неизвестных параметров совокупности. Пример приведен выше.
- Доверительный интервал/оценка интервала: оценка интервала дает два значения выборочной статистики/оценки, формируя интервал или диапазон, в пределах которого, как ожидается, находится неизвестная совокупность. Эта интервальная оценка обеспечивает достоверность интервала по отношению к параметру совокупности. Например: 95-процентный доверительный интервал для средней продажи по совокупности составляет (35000, 45000), т. е. мы с 95-процентной уверенностью в том, что оценка интервала будет содержать параметр совокупности.
2. Проверка декларации/восприятия/претензии о населении на правильность на основе выборочных данных. Это известно как проблема значительной проверки или проверки гипотезы. Это относится к подтверждающему анализу данных для подтверждения или иного подтверждения гипотезы, разработанной на более раннем этапе исследовательского анализа данных.
Проверка гипотезы в R
Тесты с одним образцом
z-test — проверка гипотезы о среднем значении генеральной совокупности, когда известно стандартное отклонение генеральной совокупности:
Гипотеза проверка в R начинается с утверждения или восприятия населения. Гипотеза может быть определена как утверждение/утверждение/гипотеза о параметре совокупности. Если гипотеза полностью определяет распределение, она называется Простая гипотеза, иначе Составная гипотеза.
Гипотезу можно классифицировать как:
Нулевая гипотеза (H0):проверяемая гипотеза известна как нулевая гипотеза (H0). Он так известен, потому что не предполагает никакой связи или разницы с гипотетическим значением параметра (параметров) совокупности или должен быть аннулирован.
Альтернативная гипотеза (H1):гипотеза, противоположная/дополняющая нулевую гипотезу.
Примечание. Здесь необходимо учитывать два момента. Во-первых, обе гипотезы должны строиться только для популяционных параметров. Во-вторых, поскольку H 0 подлежит проверке, то только H 0 может быть отклонено или не может быть отклонено (сохранено).
Проверка гипотез:проверка гипотез правила или статистического процесса, результатом которого может быть либо отклонение, либо невозможность отклонения нулевой гипотезы (H 0).
Пять этапов проверки гипотез
Здесь мы возьмем пример проверки среднего значения:
1. Настройка гипотезы:
Этот шаг используется для определения проблемы после рассмотрения деловой ситуации и принятия соответствующих гипотез H 0 и H 1 после упоминания гипотез на деловом языке.
Мы рассматриваем случайную величину X = Квартальные продажи менеджера по продажам, работающего в крупной компании FMCG. Здесь предполагается, что продажи подчиняются нормальному распределению со средним значением µ (неизвестно) и стандартным отклонением σ (известно). Значение параметра совокупности (среднее значение совокупности), которое должно быть проверено, равно µ 0 (гипотезированное значение).
Здесь гипотеза может быть:
H 0: µ = µ 0 или µ ≤ µ 0 или µ ≥ µ 0 (здесь первая из них — простая гипотеза, остальные два варианта — составные гипотезы)
H1: µ > µ0 or
H1: µ < µ0 or
H1: µ ≠ µ0
(Здесь все три варианта являются составной гипотезой)
2. Определение теста и тестовой статистики:
Тест представляет собой статистическое правило/процесс принятия решения «отклонить» или «не отклонить» (сохранить) H0. Он состоит в разделении выборочного пространства (совокупность всех возможных результатов) на две взаимодополняющие части. Одна часть, обеспечивающая отклонение H0, известная как Критическая область. Другая часть, представляющая неспособность отклонить ситуацию H0, известна как Область принятия.
Логика такова, поскольку у нас есть данные только из выборки, мы используем данные выборки, чтобы принять решение об отклонении/сохранении предполагаемого значения. Выборка, в принципе, никогда не может быть идеальной копией совокупности, поэтому мы ожидаем, что между значениями совокупности и выборки будут различия. Таким образом, проблема не в разнице, а в на самом деле величине разницы. Предположим, мы хотим проверить утверждение о том, что средняя ежеквартальная продажа руководителя составляет 75 000 по сравнению с продажой ниже 75 000. Здесь предполагаемое значение среднего значения генеральной совокупности составляет µ 0=75, т.е.
H0: µ = 75
H1: µ < 75.
Предположим, из выборки мы получаем значение выборочного среднего x̄=73. Здесь разница слишком мала, чтобы отклонить утверждение под H0, поскольку шансы (вероятность) появления такой случайной выборки довольно велики, поэтому мы оставим H0. Предположим, в какой-то другой ситуации мы получаем выборку со средним значением x̄=33. Здесь разница между средним значением выборки и предполагаемым средним значением генеральной совокупности слишком велика. Таким образом, утверждение под H0 может быть отклонено, так как вероятность наличия такой выборки для этой совокупности достаточно мала.
Таким образом, должно быть какое-то разделяющее значение (значения), которое отличает два решения: отклонение (критическая область) и удержание (область принятия). Это граничное значение известно как критическое значение.
Ошибка типа I и типа II:
Есть два типа ситуаций (H0 истинно или ложно), которые дополняют друг друга, и два типа взаимодополняющих решений (Отклонение H0 или Неспособность отвергнуть H0). Итак, у нас есть четыре типа случаев:
Итак, двумя возможными ошибками при проверке гипотез могут быть:
Ошибка типа I = [Отклонить H 0, когда H 0 верно]
Ошибка типа II = [Не удается отклонить H 0, когда H 0 ложно].
Ошибка типа I также известна как Ложноположительный, а Ошибка типа II также известна как Ложноотрицательный на языке бизнес-аналитики.
Поскольку эти два события являются вероятностными, мы измеряем их с помощью вероятностей:
α = Вероятность совершения ошибки типа I = P [Отклонить H 0 / H 0 верно]
β = Вероятность совершения ошибки Типа II = P [Не удается отклонить H 0 / H 0 является ложным].
Для хорошей процедуры тестирования оба типа ошибок должны быть низкими (минимизировать α и β), но одновременная минимизация обеих ошибок невозможна, поскольку они взаимосвязаны. Если мы минимизируем одно, другое будет увеличиваться, и наоборот. Итак, одну ошибку исправляют, а другую стараются свести к минимуму. Обычно α фиксировано, и мы пытаемся минимизироватьβ. Если ошибка типа I является критической, α фиксируется на низком значении (позволяя β принимать относительно высокое значение), в противном случае — на относительно высоком значении (чтобы минимизировать β до низкого значения , ошибка II рода является критической).
Пример: в индийской судебной системе у нас есть H 0: под судом невиновен. Здесь ошибка типа I = невиновный осужден, а ошибка типа II = виновный освобожден. Индийская (англо-саксонская) судебная система считает ошибку первого рода критической, поэтому в данном случае она будет иметь низкий коэффициент α.
Мощность теста = 1- β = P [Отклонение H 0 / H 0 неверно].
Чем выше мощность теста, тем лучше он считается, и мы ищем Самый мощный тест, поскольку мощность теста можно принять как вероятность того, что тест обнаружит отклонение от H 0 при условии, что отклонение существуют.
Односторонний и двусторонний тесты гипотез:
Случай I:
H0: µ ≤ µ0
H1: µ > µ0
Когда x̄ значительно выше гипотетического среднего значения µ0, тогда H0 будет отклонено, а используемый критерий будет правым хвостовым критерием (верхний хвостовой критерий), поскольку критическая область (обозначающая отклонение H0 будет находиться в правом хвосте нормальной кривой (представляющей выборочное распределение выборочной статистики x̄) (критическая область показана на рисунке заштрихованной частью).
Случай 2:
H0: µ ≥ µ0
H1: µ < µ0
В этом случае, если x̄ значительно ниже гипотетического среднего значения µ0, тогда H0 будет отклонено, и используемый тест будет левосторонним тестом (тест с нижним хвостом), поскольку критическая область (обозначающая отклонение H0) будет в левом хвосте. нормальной кривой (представляющей выборочное распределение выборочной статистики x̄). (Критическая область показана на рисунке заштрихованной частью).
Эти два теста также известны как Односторонние тесты, так как критическая область будет только в одном хвосте выборочного распределения.
Случай III:
H0: µ = µ0
H1: µ ≠ µ0
Когда x̄ значительно отличается (значительно выше или ниже) от предполагаемого среднего значения µ0, тогда H0 будет отклонено. В этом случае будет применим двухсторонний критерий, поскольку будут две критические области (обозначающие отклонение H0) на обоих концах нормальной кривой (представляющей выборочное распределение выборочной статистики x̄). (Критические области показаны на рисунке заштрихованными частями).
Проверка гипотез с использованием стандартизированной шкалы. Здесь вместо измерения выборочной статистики (переменной) в исходных единицах измерения берется стандартизированное значение (более известное как проверочная статистика). Таким образом, сравнение будет проводиться между наблюдаемым значением тестовой статистики (оцененным по выборке) и критическим значением тестовой статистики (полученным из соответствующего теоретического распределения вероятностей).
Здесь, поскольку известно стандартное отклонение генеральной совокупности (σ), поэтому статистика тестирования:
Z = (x- µx̄ x)/σ x̄ = (x- µ 0)/(σ/√n) соответствует стандартному нормальному распределению N (0, 1).
3. Определение критериев отклонения или иным образом:
Как уже говорилось, проверка гипотезы означает выбор правила для отклонения/сохранения H 0. Здесь критическая область решает отклонение H 0, и будет значение, известное как Критическое значение, определяющее границу критической области/приемной области. Размер (вероятность/площадь) критической области принимается за α. Здесь α может быть известен как Уровень значимости, уровень, на котором выполняется проверка гипотезы. Это эквивалентно ошибке первого рода, как обсуждалось ранее.
Предположим, что α было принято равным 5%, поэтому критическое значение тестовой статистики (Z) будет +1,645 (для теста с правым хвостом), -1,645 (для теста с левым хвостом). Для теста с двумя хвостами критическое значение будет равно -1,96 и +1,96 (согласно таблице Z стандартного нормального распределения). Значение α может быть выбрано в соответствии с критичностью типа I и типа II. Обычно значение α принимается равным 5% в большинстве аналитических ситуаций (Fisher, 1956).
4. Отбор проб, сбор данных и оценка наблюдаемого значения тестовой статистики:
На этом этапе берется надлежащая выборка размера n, и после сбора данных оцениваются значения среднего значения выборки (x̄) и наблюдаемое значение тестовой статистики Z obs в соответствии с формулой тестовой статистики.
5. Принятие решения об отказе или иное:
Сравнивая наблюдаемое значение тестовой статистики с критическим значением, мы можем определить, находится ли наблюдаемое значение в критической области (отклонить H 0) или в приемлемой области (не отклонить H 0 ) и принять соответствующее решение.
p-значение: альтернативный способ проверки гипотез:
Существует альтернативный подход к проверке гипотез, этот подход широко используется во всех пакетах программного обеспечения. Он известен как значение вероятности/вероятность. значение / p-значение. Это дает вероятность получить значение статистики так далеко или дальше от гипотетического значения, если H0 верно. Это означает, насколько вероятен результат, который мы наблюдали. Это может быть дополнительно объяснено как вероятность наблюдения тестовой статистики, если H 0 верно, т.е. каковы шансы в поддержку появления H 0. Если p-значение мало, это означает, что меньше шансов (редкий случай) в пользу возникновения H 0 , так как разница между значением выборки и предполагаемым значением значительно велика, поэтому H 0 может быть отклонено, в противном случае оно может быть сохранено.
Если p-значение ‹ α : Отклонить H 0
Если p-значение ≥ α: не удается отклонить H 0
Таким образом, можно отметить, что уровень значимости (α) является максимальным порогом для p-значения. Следует отметить, что p-значение (двухсторонний тест) = 2 * p-значение (односторонний тест).
Примечание.Хотя для применения z-критерия требуется «Предположение о нормальности» для родительской совокупности с известным стандартным отклонением/дисперсией, но если выборка большая (n>30), предположение о нормальности для исходной совокупности можно ослабить, если известно стандартное отклонение/дисперсия генеральной совокупности (согласно центральной предельной теореме).
t-тест: проверка гипотезы о среднем значении генеральной совокупности, когда стандартное отклонение совокупности неизвестно:
Как мы обсуждали в предыдущем случае, для проверки среднего значения совокупности мы предполагаем, что выборка была взята из совокупности в соответствии со средним значением нормального распределения µ и стандартным отклонением σ. В этом случае тестовая статистика Z = (x- µ 0)/(σ/√n) ~ стандартное нормальное распределение N (0, 1). Но в ситуациях, когда популяция s.d. σ неизвестно (это очень распространенная ситуация во всех реальных бизнес-ситуациях), мы оцениваем население s.d. (σ) по образцу s.d. (с).
Отсюда соответствующая тестовая статистика:
t= (x- µx̄ x)/σ x̄ = (x- µ 0)/(s/√n) соответствует распределению t Стьюдента с (n-1) степенями свободы. Одна степень свободы была принесена в жертву для оценки населения s.d. (σ) по образцу s.d. (с).
Все остальное в процессе тестирования остается прежним.
На t-критерий не сильно влияет нарушение предположения о нормальности при условии, что данные слегка асимметричны (близки к симметрии) и набор данных не содержит выбросов.
t-распределение:
Распределение Стьюдента очень похоже на нормальное распределение. Это симметричное распределение (распределение в форме колокола). В целом распределение Стьюдента более плоское, т.е. имеет более тяжелые хвосты. Форма распределения t изменяется со степенями свободы (точное распределение) и становится примерно близкой к нормальному распределению при больших n.
Тесты по двум выборкам: проверка гипотез на предмет разницы между двумя средними значениями генеральной совокупности
Во многих ситуациях принятия бизнес-решений лица, принимающие решения, заинтересованы в сравнении двух совокупностей, то есть заинтересованы в изучении разницы между двумя параметрами совокупности. Пример: сравнение продаж сельских и городских торговых точек, сравнение продаж до рекламы и после рекламы, сравнение заработной платы между мужчинами и женщинами, сравнение заработной платы до и после поступления на курсы обработки данных и т. д.
Независимые выборки и зависимые (парные выборки):
В зависимости от метода сбора данных для двух выборок, выборки могут называться независимыми или зависимыми выборками. Если две выборки взяты независимо друг от друга без какой-либо связи (могут быть от разных единиц/респондентов в двух выборках), то говорят, что выборки взяты независимо. Если выборки связаны или парны, или имеют два наблюдения в разные моменты времени для одного и того же объекта/респондента, то говорят, что выборки являются зависимыми или парными. Такой подход (парные выборки) позволяет сравнить две популяции после контроля постороннего воздействия на них.
Тестирование разницы между средними значениями: независимые выборки
Два образца Z-теста:
У нас есть две популяции, каждая из которых следует за нормальной популяцией как N (µ1, σ1) и N (µ2, σ2). Мы хотим проверить нулевую гипотезу:
H0: µ1– µ2= θ or µ1– µ2≤ θ or µ1– µ2≥ θ
Альтернативная гипотеза:
H1: µ1– µ2> θ or
H0: µ1– µ2< θ or
H1: µ1– µ2≠ θ
(где θ может принимать любое значение в зависимости от ситуации или θ = 0).
Две выборки размера n1 и n2 были взяты случайным образом из двух нормальных совокупностей соответственно, и соответствующие средние значения выборки равны x̄1 и x̄2.
Здесь нас интересуют не отдельные параметры популяции (средние), а разность средних популяций (µ1–µ2). Итак, соответствующая статистика равна = (x̄1 — x̄2).
Соответственно, выборочное распределение статистики (x̄ 1 — x̄ 2) будет соответствовать нормальному распределению со средним значением µ x̄ = µ 1 - µ 2 и стандартной ошибкой σ x̄ = √ (σ² 1/n 1 + σ² 2/n 2). Итак, соответствующая тестовая статистика будет:
Другие вещи остаются такими же, как и в тестах с одним образцом (как объяснялось ранее).
Стьюдентный критерий для двух независимых выборок (когда стандартные отклонения совокупности неизвестны):
Здесь для проверки разности двух средних значений совокупности мы предполагаем, что выборки были взяты из совокупностей, следующих нормальному распределению, но очень распространена ситуация, когда стандартные отклонения совокупности (σ1 и σ2) неизвестны. Таким образом, они оцениваются стандартными отклонениями выборки (s1 и s2) от соответствующих двух выборок.
Здесь возможны две ситуации:
(a) Стандартные отклонения населения неизвестны, но равны:
В этой ситуации (где σ 1 и σ 2 неизвестны, но предполагаются равными) выборочное распределение статистики (x̄ 1 — x̄ 2) будет следовать распределению t Стьюдента со средним µ x̄ = µ 1- µ 2 и стандартной ошибкой σ x̄ = √ Sp 2 (1/ n 1 + 1/ n 2). Где Sp 2 — сводная оценка, определяемая по формуле:
Sp2 = (n1–1) S12+(n2–1) S22 /(n1+n2–2)
Итак, соответствующая тестовая статистика будет:
t = {(x̄1 — x̄2) — (µ1– µ2)}/{√ Sp2(1/n1 +1/n2)}
Здесь статистика t будет следовать распределению t с ф.р. (n 1+n 2–2).
(b) Стандартные отклонения населения неизвестны, но не равны:
В этой ситуации (где σ 1 и σ 2 неизвестны и не равны).
Тогда выборочное распределение статистики (x̄ 1 — x̄ 2) будет следовать распределению Стьюдента со средним значением µ x̄ = µ 1 - µ 2 и стандартной ошибкой Se = √ (s² 1/n 1 + s² 2/n 2).
Итак, соответствующая тестовая статистика будет:
t = {(x̄1 — x̄2) — (µ1– µ2)}/{√ (s21/n1 +s22/n2)}
Статистика теста будет следовать распределению Стьюдента со степенями свободы (с округлением до ближайших целых чисел):
Проверка гипотезы о равенстве дисперсий генеральной совокупности
Как обсуждалось в вышеупомянутых двух случаях, важно выяснить, равны ли две дисперсии генеральной совокупности или нет. Для этой цели можно использовать F-тест:
Две выборки размеров n 1 и n 2 были взяты из двух популяций соответственно. Они обеспечивают выборочные стандартные отклонения s 1 и s 2. Тестовая статистика F = s ¹²/s 2 ²
Статистика теста будет соответствовать F-распределению с (n 1–1) df для числителя и (n 2–1) df для знаменателя.
Примечание. Для этой цели применяется множество других тестов.
Парный выборочный t-тест (проверка разницы между средними значениями с зависимыми выборками):
Как обсуждалось ранее, в ситуации с тестами «до-после» для изучения влияния любого вмешательства, такого как программа обучения, программа здравоохранения, любая кампания по изменению статуса, у нас есть два набора наблюдений (xi и yi) для одной и той же тестовой единицы. (респондентов или единиц) до и после программы. Каждая выборка имеет «n» парных наблюдений. Образцы называются зависимыми или парными.
Здесь мы рассматриваем случайную величину: di = xi — yi.
Соответственно, выборочное распределение выборочной статистики (выборочное среднее различий d i ) будет следовать распределению Стьюдента со средним значением = θ и стандартной ошибкой = sd/ √n, где sd — выборочное стандартное отклонение. из ди.
Следовательно, соответствующая тестовая статистика: t = (d̅- θ)/sd/√n будет следовать распределению t с (n-1).
Как мы заметили, парный t-критерий на самом деле является тестом одной выборки, поскольку две выборки были преобразованы в одну выборку различий. Если к одному и тому же набору данных применить «два независимых выборочных t-теста» и «парный t-критерий», то два теста дадут совершенно разные результаты, потому что в случае парного t-теста стандартная ошибка будет довольно низкой по сравнению с двумя. Стьюдентный критерий независимых выборок. Парный t-критерий применяется в основном к одному образцу, в то время как предыдущий применяется к двум образцам. Результатом разницы в стандартной ошибке является то, что t-статистика будет иметь большее значение в случае «парного t-теста» по сравнению с «t-тестом для двух независимых выборок», и, наконец, соответственно будут затронуты p-значения.
t-тест в SPSS:
Один образец t-критерия
Анализ =› Сравнить средние значения =› T-тест для одной выборки, чтобы открыть соответствующее диалоговое окно.
Необходимо ввести тестовую переменную (рассматриваемую переменную) в поле Тестовые переменные и предполагаемое значение µ0= 75 (например) в поле Тестовое значение.
Нажмите ОК, чтобы получить результат.
Здесь мы рассматриваем пример Ventura Sales и хотим изучить мнение о том, что средний объем продаж в первом квартале составляет 75 (тысяч), а не наоборот. Итак, Гипотезы:
Нулевая гипотеза H 0: µ=75
Альтернативная гипотеза H 1: µ≠75
Т-тест
Статистика по одной выборке
Описательная таблица, показывающая размер выборки n = 60, среднее значение выборки x̄ = 72,02, стандартное отклонение выборки s = 9,724.
Тест с одним образцом
Таблица одного образца теста показывает результат t-теста. Здесь статистическое значение теста (из выборки) равно t = -2,376, а соответствующее значение p (двустороннее) = 0,021 ‹ 0,05. Таким образом, H0 был отклонен, и можно сказать, что утверждение о среднем объеме продаж за первый квартал в размере 75 (тыс.) не соответствует действительности.
T-критерий Стьюдента для двух независимых выборок
Анализ =› Сравнить средние значения =› T-Test для независимых выборок, чтобы открыть диалоговое окно.
Введите тестовую переменную (рассматриваемую переменную) в поле Тестовые переменные и переменную, классифицирующую группы, в поле Группирующая переменная.
Определите группы, нажав Определить группы, и введите соответствующие числовые коды в соответствующие группы в диалоговом окне Определить группы. Нажмите Продолжить, чтобы вернуться в главное диалоговое окно.
Нажмите ОК, чтобы получить результат.
Мы продолжим на примере Ventura Sales и хотим сравнить средние продажи за первый квартал по городским и сельским торговым точкам (две независимые выборки/группы). Здесь утверждается, что городские торговые точки дают более низкие продажи по сравнению с сельскими торговыми точками. Итак, Гипотезы:
H0: µ1– µ2= 0 или µ1= µ2 (где µ1= средний объем продаж городских торговых точек по населению, а µ2 = средний объем продаж сельских торговых точек по населению)
Альтернативная гипотеза:
H1: µ1< µ2
Групповая статистика
Описательная таблица, показывающая размеры выборки n1 = 37 и n2 = 23, средние значения выборки x̄1 = 67,86 и x̄2 = 78,70, стандартные отклонения выборки s1 = 8,570 и s2 = 7,600.
Приведенная ниже таблица представляет собой таблицу тестов для независимых выборок, подтверждающую всю соответствующую статистику тестов и p-значения. Здесь представлены как выходные данные для равной дисперсии (предполагаемой), так и для неравной дисперсии (предполагаемой).
Независимое тестирование образцов
Итак, мы должны выяснить, следует ли нам идти в случае «равной дисперсии» или в случае «неравной дисперсии».
Здесь для этой цели необходимо применить тест Левена на равенство дисперсий с гипотезами: H0: σ²¹ = σ²² и H1: σ²¹ ≠ σ²². Значение p (Sig) = 0,460 > 0,05, поэтому мы не можем отклонить (поэтому оставить) H0. Следовательно, дисперсии можно считать равными.
Таким образом, необходимо рассмотреть случай «Предполагаемые равные отклонения». Соответственно, значение статистики t = -4,965 и значение p (двустороннее) = 0,000, поэтому значение p (одностороннее) = 0,000/2 = 0,000 ‹ 0,05. Следовательно, H0 был отклонен, и можно сказать, что городские торговые точки дают более низкие продажи в первом квартале. Итак, претензия в силе.
Парный t-критерий (проверка разницы между средними значениями с зависимыми выборками):
- Анализ =› Сравнить средние значения =› Т-тест для парных образцов, чтобы открыть диалоговое окно.
- Введите соответствующую пару переменных (парные образцы) в поле Парные переменные.
- После ввода парных образцов нажмите Ok, чтобы получить результат.
Мы продолжим на примере Ventura Sales и хотим сравнить средние продажи в первом квартале с продажами во втором квартале. Некоторые мероприятия по стимулированию сбыта проводились с расчетом на увеличение продаж во втором квартале. Итак, Гипотезы:
H0: µ1= µ2 (где µ1= средний объем продаж за первый квартал и µ2 = средний объем продаж за второй квартал)
Альтернативная гипотеза:
H1: µ1‹ µ2 (обозначает увеличение продаж, т. е. указывает на успех мер по сбыту)
Статистика парных выборок
Описательная таблица, показывающая размер выборки n = 60, средние значения выборки x̄1 = 72,02 и x̄2 = 72,43.
Согласно следующей выходной таблице (тест парных выборок), выборочное среднее различий d̅ = -0,417 со стандартным отклонением различий sd = 8,011 и значением статистики t = -0,403. Соответственно, p-значение (двухсторонний) = 0,688, поэтому p-значение (односторонний) = 0,688/2 = 0,344 > 0,05. Таким образом, не было достаточных оснований для отклонения H0, т.е. H0 следует сохранить. Таким образом, эффективность (успех) мероприятий по стимулированию сбыта сомнительна, т. е. не привела к значительному увеличению объема продаж при сохранении всех прочих посторонних факторов.
Тест парных образцов
Давайте посмотрим на некоторые тематические исследования:
Приложение t-Test, один образец
Experience Marketing Services сообщила, что типичный американец тратит в среднем 144 минуты (2,4 часа) в день на доступ в Интернет через мобильное устройство. (Источник: The Digital Marketer 2014, доступный на ex.pn/1kXJifX.) Чтобы проверить достоверность этого утверждения, вы выбираете выборку из 30 друзей и членов семьи. Результат времени, затраченного в день на доступ в Интернет через мобильное устройство (в минутах), хранится в файле Internet_Mobile_Time.csv.
Имеются ли доказательства того, что среднее время, затрачиваемое населением в день на доступ в Интернет через мобильное устройство, отличается от 144 минут? Используйте подход p-значения и уровень значимости 0,05.
Какое предположение о распределении населения необходимо для проведения теста в A?
Решение в Р
Независимый t-тест для двух выборок
Менеджер отеля старается улучшить первоначальные впечатления гостей отеля при регистрации. На первое впечатление влияет время, необходимое для доставки багажа гостя в номер после заселения. Случайная выборка из 20 доставок в определенный день была выбрана из крыльев A и крыльев B отеля. Сопоставленные данные приведены в файле Luggage.csv. Проанализируйте данные и определите, есть ли разница в среднем времени доставки в двух крыльях отеля. (используйте альфа = 0,05).
Решение в R
Практический пример – страховая компания «Титан»
Страховая компания «Титан» только что внедрила новую схему поощрительных выплат для своих продавцов полиса лифтов. Он хочет иметь раннее представление об успехе или провале новой схемы. Есть признаки того, что продавцы продают больше полисов, но продажи всегда меняются непредсказуемым образом от месяца к месяцу, и неясно, принесла ли схема существенную разницу.
Компании по страхованию жизни обычно измеряют ежемесячный объем продаж продавца как общую сумму, гарантированную за полисы, проданные этим человеком в течение месяца. Например, предположим, что продавец X в течение месяца продал семь полисов, по которым гарантированные суммы составляют 1000 фунтов стерлингов, 2500 фунтов стерлингов, 3000 фунтов стерлингов, 5000 фунтов стерлингов, 10000 фунтов стерлингов, 35000 фунтов стерлингов. Выпуск X за месяц равен сумме этих гарантированных сумм, 61 500 ф. ст.
Новая схема Титана заключается в том, что продавцы получают низкую регулярную заработную плату, но им выплачиваются большие бонусы, связанные с их продукцией (то есть с общей суммой, гарантированной проданными ими полисами). Схема дорогая для компании, но они ищут увеличение продаж, которое более чем компенсирует это. Соглашение с отделом продаж заключается в том, что, если схема не окупится хотя бы для компании, она будет заброшена через шесть месяцев.
Схема действует уже четыре месяца. Он успокоился после колебаний в первые два месяца из-за перехода.
Чтобы проверить эффективность схемы, компания «Титан» взяла случайную выборку из 30 продавцов, измерив свою производительность в предпоследний месяц перед переходом, а затем измерив ее в четвертый месяц после перехода (они намеренно выбрали месяцы, не слишком близкие к переходу). . В Таблице 1 показаны результаты работы продавцов из Таблицы 1.
Подготовка данных
Поскольку данные указаны в 000, их лучше конвертировать в тысячи.
Задача 1
Опишите пятипроцентный критерий значимости, который вы применили бы к этим данным, чтобы определить, значительно ли увеличила производительность новая схема? К какому выводу приводит тест?
Решение:
Спрашивается, значительно ли новая схема увеличила производительность, это пример одностороннего t-критерия.
Примечание.Двусторонний критерий можно было бы использовать, если бы его спросили: «Новая схема значительно изменилась». выход”
Среднее значение гарантированной суммы до введения схемы = 68450
Среднее значение гарантированной суммы после введения схемы = 72000
Разница в среднем = 72000–68450 = 3550
Пусть,
μ1 = средние суммы, гарантированные продавцом ДО замены. μ2 = Средние суммы, гарантированные продавцом ПОСЛЕ замены.
H0: μ1 = μ2 ; μ2 — μ1 = 0
НА: μ1 ‹ μ2 ; µ2 — µ1 › 0 ; истинная разница средних больше нуля.
Поскольку стандартное отклонение совокупности неизвестно, будет использоваться t-критерий парной выборки.
Поскольку значение p (= 0,06529) выше 0,05, мы принимаем (не отвергаем) НУЛЕВУЮ гипотезу. Новая схема НЕ привела к существенному увеличению результатов.
Задача 2
Предположим, было подсчитано, что для безубыточности Titan средний объем производства должен увеличиться на 5000 фунтов стерлингов. Если эта цифра представляет собой альтернативную гипотезу, то какова:
(а) вероятность ошибки 1-го рода?
(б) каково p-значение проверки гипотезы, если мы проверяем разницу в 5000 долларов?
© Сила теста:
Решение:
2.a. Вероятность ошибки 1-го рода?
Решение: Вероятность ошибки 1-го рода = значимый уровень = 0,05 или 5%
2.b. Каково p-значение проверки гипотезы, если мы проверяем разницу в 5000 долларов?
Решение:
Пусть μ2 = средние суммы, гарантированные продавцом ПОСЛЕ замены.
μ1 = средние суммы, гарантированные продавцом ДО замены.
μd = μ2 — μ1 H0: μd ≤ 5000 HA: μd › 5000
Это тест правого хвоста.
Код R:
P-значение = 0,6499
2.c. Мощность теста.
Решение:
Пусть μ2 = средние суммы, гарантированные продавцом ПОСЛЕ замены. μ1 = Средние суммы, гарантированные продавцом ДО замены. μd = μ2 — μ1 H0: μd = 4000
HA: μd › 0
H0 будет отклонено, если тестовая статистика > t_critical.
При α = 0,05 и df = 29 критическое значение для t-статистики (или t_critical ) будет равно 1,699127.
Следовательно, H0 будет отклонено для тестовой статистики ≥ 1,699127.
Следовательно, H0 будет отклонено, если для 𝑥̅ ≥ 4368,176
Графически
Код R:
Вероятность (ошибка типа II) равна P(Не отвергать H0 | H0 ложно)
Наша NULL-гипотеза ИСТИНА при µd = 0, так что H0: µd = 0; HA: µd › 0
Вероятность ошибки II рода при µd = 5000
= P (Не отвергать H0 | H0 ложно)
= P (Не отвергать H0 | µd = 5000) = P (𝑥̅ ‹ 4368,176 | µd = 5000)
= P (t ‹ | µd = 5000)
= P (t‹ -0,245766)
= 0,4037973
Код R:
Теперь β = 0,5934752,
Мощность теста = 1– β = 1– 0,5934752
= 0,4065248
Примечание:
- При выполнении проверки гипотезы гипотезы не могут быть доказаны или опровергнуты, поскольку у нас есть доказательства только из выборки (образцов). Самое большее, Гипотезы могут быть отвергнуты или сохранены.
- Следует избегать использования термина «принять H0» вместо «не отклонять», даже если статистика теста попадает в область приемлемости или значение p ≥ α. Это просто означает, что выборка не предоставляет достаточных статистических данных для отклонения H0. Поскольку мы пытались аннулировать (отклонить) H0, но не нашли для этого достаточной поддержки, мы можем сохранить его, но он не будет принят.
- Доверительный интервал (оценка интервала) также может использоваться для проверки гипотез. Если параметр гипотезы попадает в доверительный интервал, мы не отвергаем H0. В противном случае, если предполагаемый параметр выходит за пределы доверительного интервала, т. е. доверительный интервал не содержит предполагаемого параметра, мы отвергаем H0.
Использованная литература:
- Дауни, AB (2014). Think Stat: Исследовательский анализ данных, 2-е издание, Севастополь, Калифорния: O’Reilly Media Inc.
- Фишер, Р. А. (1956). Статистические методы и научные выводы, Нью-Йорк: издательство Hafner Publishing Company.
- Хогг, Р. В.; Маккин, Дж. В. и Крейг, А. Т. (2013). Введение в математическую статистику, 7-е издание, Нью-Дели: Pearson India.
- Статистика IBM SPSS. (2020). Корпорация IBM.
- Левин, Р.И.; Рубин, Д.С.; Сиддики, М. Х. и Растоги, С. (2017). Статистика для менеджмента, 8-е издание, Нью-Дели: Pearson India.
Если вы хотите узнать больше о программировании на R и других концепциях бизнес-аналитики или науки о данных, подпишитесь на Программу PG по науке о данных и бизнес-аналитике от Great Learning.
Вы также можете пройти Статистика для науки о данных и Расширенная статистика для машинного обучения на Great Learning Academy.
