Статистика для науки о данных и машинного обучения
Проверка гипотезы
Выведенный статистика
Проверка гипотез позволит статистикам и специалистам по обработке данных принимать решения в реальном мире на основе результатов своего статистического анализа.
Это сделано с использованием вероятности ошибок результатов. Чтобы объяснить, как вычислить, представляет ли статистика реальные данные, нам нужно ввести некоторую терминологию вероятности.
Вступление
Проверка гипотез призвана проанализировать, работают ли результаты изменения какой-либо ситуации лучше, чем при использовании текущей методологии. Таким образом, мы можем проверить, повлияли ли модификации, которые предполагает наша модель, на предыдущую версию.
Чтобы проверить это, мы выдвигаем две гипотезы: Нулевая гипотеза говорит, что наше приложение модели не улучшает ситуацию, а Альтернативная гипотеза говорит, что наша модель лучше, чем предыдущий. Обе гипотезы должны быть взаимоисключающими, другими словами, пересечение вероятностей должно быть нулевым.
Если нам не удастся отвергнуть нулевую гипотезу, результаты нашей модели не улучшат фактическую модель, поскольку различия в средних значениях результатов не являются статистически значимыми.
Процесс проверки этой значимости выполняется с помощью p-значений, выбирая вероятность того, что результаты будут считаться отклонением нулевой гипотезы. Исторически наиболее часто используемые значения p - 0,05, но в наши дни они достигают 0,01 или 0,001.
Односторонняя нулевая гипотеза
В этом случае мы просто сравниваем один из хвостов, он имеет условие более высокого или более низкого значения, чем исходный, но не оба одновременно.
Мы просто отвергаем нулевую гипотезу, если среднее значение значительно больше предыдущего.
Двусторонняя нулевая гипотеза
В этом случае мы сравниваем оба хвоста, он имеет условие быть выше или ниже исходных значений.
Мы просто отвергаем нулевую гипотезу, если среднее значение значительно отличается от предыдущего среднего.
Типы ошибок
В предыдущей таблице диагональные прямоугольники представляют правильные решения, вот что интересно - это поля ошибок, в зависимости от нашей цели мы можем придать больший вес одному типу ошибок.
Исторически наиболее ценилась ошибка типа I, поэтому для получения более низких значений приемлемости наиболее часто используемые значения α составляют 0,05, что означает принятие 5% ошибок типа I от общего числа.
Ошибки типа II приобретают все большее значение в некоторых современных анализах и получают значения β, равные 0,1, принимая 10% ошибку. Обратной величиной ошибки типа II является мощность, определяемая как (1-β).
Доверительные интервалы
Вычислить единичную статистику - это одноточечная оценка, так как, сообщая, что среднее значение равно 82,4, мы даем только одно значение. Точечные оценки хороши, но если мы возьмем отдельные выборки из одной и той же совокупности, мы обнаружим различные средние значения для каждой выборки, способ представления всех возможных выборок с использованием вероятности - это доверительные интервалы.
Доверительные интервалы определяют среднее значение, задавая верхний и нижний пределы для значения, рассчитываемого как:
- среднее * (1- α )
- среднее * (1+ α )
Таким образом, если мы будем рисовать бесконечные выборки, среднее значение будет в интервале (1-α)% раз.
Z-статистика
Это аналог Z-score (мы представили его в этом посте), но в данном случае нас интересует вероятность определенного среднего значения выборки.
Это важное приложение центральной предельной теоремы (которую мы ввели в этой позиции).
Как вы могли заметить, формула немного отличается, в данном случае она рассчитывается следующим образом:
Есть только еще одно прибавление к Z-оценке: по мере увеличения размера выборки, увеличения Z-статики, для проверки p-значения Z-статики мы можем использовать статистический пакет или статистические таблицы.
Если результирующие p-значения ниже требуемого α, мы можем сказать, что наши результаты значительны.
Резюме
Логическая статистика позволяет нам делать вероятностные утверждения о результатах и данных, чтобы проверить, верны ли они, мы получили проверку гипотез.
Тестируя результаты наших моделей с нулевой гипотезой о ложности (отклонение нулевой гипотезы), мы сможем статистически сказать, что наши модели дают лучшие результаты, чем предыдущая методология.
Даже некоторые части моделей, например, при проверке значимости каждого коэффициента в множественной регрессии, используют p-значения для проверки значимости каждой переменной в модели.
Это девятая публикация моего конкретного # 100daysofML, я буду публиковать достижения в этой задаче на GitHub, Twitter и Medium (Adrià Serra).
