Статистические гипотезы

Проверка статистических гипотез. Статистическая гипотеза – любое предположение о виде или свойствах распределения исследуемого случайного показателя Х. Основное утверждение, подлежащее проверке, называют основной или нулевой гипотезой. Обозначение: Н 0 . Любое другое утверждение, отличное от нулевого, которое тоже может оказаться верным, называют конкурирующей или альтернативной гипотезой. Обозначение: Н1 . Формальное описание задачи проверки гипотезы H 0 : H 0 : первое утверждение H1 : второе утверждение (1) H0 : утверждение (2) или Во втором случае неявно предполагается, что H1  H 0 . Статистический критерий (тест, решающее правило) – правило, с помощью которого решается задача проверки гипотез (1) или (2). Его называют критерием значимости, если решается задача (1) (имеется альтернатива). Для решения задачи (2) (нет альтернативы) используются критерии согласия. Решение задач (1) - (2) осуществляется по результатам наблюдений x1 , x2 , , xn исследуемого показателя X с помощью некоторой функции от наблюдений K  x1 , x2 , , xn  . Если в качестве аргументов этой функции подставлены произвольные результаты наблюдений X 1 , X 2 , , X n , то ее называют статистикой критерия. Проверка гипотез (1) - (2) завершается принятием одного из двух решений:   принять нулевую гипотезу, т.е. имеющиеся результаты наблюдений согласуются с утверждением нулевой гипотезы; отклонить нулевую гипотезу, т.е. имеющиеся результаты наблюдений не согласуются с утверждением нулевой гипотезы. ОБЩАЯ СХЕМА РЕШЕНИЯ ЗАДАЧИ ПРОВЕРКИ СТАТИСТИЧЕСКИХ ГИПОТЕЗ 1. Имеются произвольные результаты наблюдений X 1 , X 2 , 2. H 0 : первое утверждение H1 : второе утверждение , Xn (1) или H0 : утверждение (2) 3. Вычисляется значение статистики критерия Квыч . 4. Область значений статистики критерия разбивается на 2 непересекающиеся части X = Xo  X1. 5. Если Квыч  Xo , то нет оснований отвергнуть основную гипотезу, т.е. принимаем Н 0 . Xo  область принятия нулевой гипотезы Н 0 . Если Квыч  X1 , то отвергаем Н 0 , т.е. принимаем Н1 . X1  критическая область. 1 Обычно принадлежность к областям выглядит следующим образом: |Квыч | < Ккрит или |Квыч |  Ккрит , если альтернатива двусторонняя, Квыч < Ккрит или Квыч  Ккрит , если альтернатива односторонняя. Проверка гипотез по данной схеме может привести к ошибкам двух родов:  Ошибка I рода  отклонить верную нулевую гипотезу Н 0 .  Ошибка II рода  принять неверную нулевую гипотезу Н 0 . Нужно стремиться к уменьшению этих ошибок. Но, если уменьшаем вероятность ошибки I рода, то увеличится вероятность ошибки II рода. Одновременно достичь этого не удается. Поступают следующим образом: устанавливается верхняя граница для ошибки I рода  это уровень значимости Максимально допустимое значение вероятности ошибки I рода (0,1; 0,2; 0,05; 0,01  предпочтительные значения). Верхняя граница вероятностей ошибки II рода критерия характеризуется значением Основные типы статистических гипотез. 1. Гипотеза случайности H 0 : Результаты наблюдений представляют реализацию независимой повторной выборки. Используемые критерии: критерий серий, критерий инверсий. 2. Гипотеза однородности H 0 : Результаты нескольких серий наблюдений могут быть описаны одним и тем же распределением. Используемые критерии: критерий Манна-Уитни, критерий Смирнова-Колмогорова. 3. Гипотеза о виде распределения H 0 : Результаты наблюдений могут быть описаны с помощью определенного закона распределения. Используемые критерии: критерий хи-квадрат Пирсона, критерий Колмогорова. 4. Гипотеза независимости. 5. Параметрические гипотезы:  О значениях параметров распределения  О значениях числовых характеристик. 2 1. Гипотеза случайности с помощью критерия серий. Гипотеза H 0 : Результаты наблюдений представляют реализацию независимой повторной выборки. Пусть x1 , , xn - результаты наблюдений, а xmed  выборочная медиана, определенная по этим данным. Каждому элементу выборки поставим в соответствие знак «+» либо знак «  » в зависимости от того, больше или меньше медианы его значение (равные медиане значения не учитываются). Тем самым всей выборке поставлен в соответствие набор знаков. Обозначим n1 число * знаков «+», а n2 - число знаков «  » в полученном наборе знаков. Серией в этом наборе называется всякая последовательность, состоящая из одинаковых знаков и ограниченная противоположными знаками, либо находящаяся в начале или конце набора. Например, в наборе  содержится 5 серий: серий , n1  6, n2  6. (+), (  ), (+++), (      ), (++), поэтому KS =5, где KS - количество При больших объемах выборки, когда либо n1 , либо n2 , либо оба значения больше 20, для проверки гипотезы случайности можно использовать статистику   1 2n1n2  1   KS  n1  n2  2 , Z  2n1n2  2n1n2   n1  n2   2  n1  n2   n1  n2  1 Zвыч  Z крит , Нулевая гипотеза принимается, если выполняется неравенство где Z крит  x 1  N (0;1) : Ф( Z крит )  1  2  2 . 2. Проверка гипотезы однородности двух выборок с помощью критерия Манна-Уитни Гипотеза H 0 : Результаты нескольких серий наблюдений могут быть описаны одним и тем же распределением. В качестве статистики критерия Манна-Уитни используется случайная величина U , равная числу "успехов" в парных сравнениях выборок X1 ,..., X n и Y1 ,...,Ym . Под "успехом" в сравнении X1,..., X n и Y1 ,...,Ym соответственно понимается выполнение элементов X i и Y j из выборок неравенства X i  Y j . Совпадение элементов признается за половину "успеха". Всего необходимо осуществить mn парных сравнений: n  m  U   I X i  Y j  i 1 j 1   1 n m  I X i  Y j , 2 i 1 j 1 1, если А где I  индикатор, I ()   . 0, если А При объемах выборки n, m таких, что n  m  20 , можно для проверки гипотезы однородности использовать статистику Z  mn 2 m  n 1 nm 12 U  Нулевая гипотеза принимается, если выполняется неравенство Z крит  x 1  2 N (0;1) : Ф( Z крит )  1   2 Zвыч  Z крит , где . 3 3. Гипотеза о виде распределения. Имеется независимая повторная выборка: X1 ,..., X n из ГС X  FX  x  . Необходимо проверить гипотезу H0 : FX  x   F  x,  , где F  x,   известная функция распределения, параметр  либо известен, либо неизвестен. Наиболее универсальным критерием, используемым для проверки статистической гипотезы о виде распределения, является критерий  2  Пирсона. H 0 : X ~ f X ( x, ) ( X ~ FX ( x, )) . k Статистика критерия   2 n i 1 где выб i  niтеор  , niтеор 2 k  число интервалов разбиения (число столбцов гистограммы), niтеор  n  p i , n  объем выборки, pi  вероятности попадания в i  тый интервал разбиения вычисляются по формуле: pi  P  x1  X  x2   FX ( x2 )  FX ( x1 ) . Вычисляем статистику критерия 2  выч , 2 крит  x1 [  2 ( )]  квантиль свободы Если задаем уровень значимости уровня 1   2  распределения  и находим с числом степеней   k  число оцениваемых параметров  1 . 2 2  выч <  крит , следовательно, верна основная гипотеза H 0 . 4. Гипотезы о независимости признаков. 4 H0 : признаки А и В независимы Н1 : признаки А и В зависимы Для проверки гипотезы составляем таблицу сопряженности: B B A n( A B ) n( A B ) A n( A B ) n( A B ) B B n( A B ) n( A B ) n( A ) n( A B ) n( A B ) n( B ) n( B ) Вычисляем статистику n( A ) n A A  Если 2 2 выч  крит , 2 выч n  n( A B )  n( A B )  n( A B )  n( A B )  n( A )  n( A )  n( B )  n( B )  2 .  2  x1  2 (1) . то верна гипотеза H 0 , где  крит 5. Параметрические гипотезы. 5.1. Проверка гипотезы о значении вероятности. Проведено n независимых повторных испытаний, m число появлений успеха, вероятность успеха p неизвестна. 1) Для проверки гипотезы H0 : p  p0 Н1 : p  p0 находим значение статистики U выч  Если 2) m  p0 n . p0  1  p0  n Uвыч  U крит , то верна гипотеза H 0 , U крит  x 1 H0 : p  p0 Н1 : p  p0 H0 : p  p0 Н1 : p  p0 или H0 : p  p0 Н1 : p  p0 H0 : p  p0 Н1 : p  p0  N ( 0;1 ): Ф( U крит )  1   . 2 2 Если U выч   U крит , то верна гипотеза H 0 , U крит  x1   N (0;1) : Ф(U крит )  1   . 3) или Если U выч  U крит , то верна гипотеза H 0 , U крит  x1   N (0;1) : Ф(U крит )  1   . 5 5.2. Проверка гипотезы о равенстве двух вероятностей. Проведено 2 серии наблюдений. В первой серии из n1 независимых повторных испытаний успех появился m1 раз. Во второй серии из n2 независимых повторных испытаний успех появился m2 раз. p1  вероятность успеха в первой серии, p2  вероятность успеха во второй серии, неизвестны. H 0 : p1  p2 Для проверки гипотезы H1 : p1  p2 находим значение статистики U выч  Если m1 m2  n1 n2 m1  m2 n1  n2 .  m  m2   1 1        1  1 n1  n2   n1 n2   Uвыч  U крит , то верна гипотеза H 0 , U крит  x 1  N ( 0;1 ): Ф( U крит )  1  2  2 . 5.3. Гипотеза о равенстве математического ожидания заданной константе.  Дана выборка X1 ,..., X n из генеральной совокупности X ~ N a, H 0 : M  X   a0 1) Для проверки гипотезы H1 : M  X   a0 Т выч  вычисляем статистику Если 2) 1 M  X   a0 H1 : M  X   a0 H0 : M  X   a0 H1 : M  X   a0 ,  2  неизвестно. n  1  ( X  a0 ) . SX Tвыч  Tкрит , то верна гипотеза H 0 , где Tкрит  x H0 : 2  St (n  1) . 2 Если Tвыч   Tкрит , то верна гипотеза H 0 , Tкрит  x1   St (n  1) . 3) Если Tвыч  Tкрит , то верна гипотеза H 0 , Tкрит  x1   St (n  1) . 5.4. Проверка гипотезы о равенстве математических ожиданий. Дана выборка выборка X1, . . X . ,n Y1 ,...,Ym Если   из генеральной совокупности Y ~ N aY , Y , Для проверки гипотезы вычисляем статистику   из генеральной совокупности X ~ N a X , X , 2 2  X2  неизвестно и  Y2  неизвестно. H 0 : M  X   M Y  H1 : M  X   M Y  Т выч  X Y 1 1 1  n  S X2  m  SY2     n m2 n m Tвыч  Tкрит , то верна гипотеза H 0 , Tкрит  x 1  2 . St (n  m  2) . 6