Проверка статистических гипотез.

Лекция 8. Проверка статистических гипотез Вопросы: 1. Статистическая гипотеза, статистический критерий. 2. Ошибки 1го и 2го рода, мощность критерия, критическая область. 3. Проверка гипотезы о законе распределения. Критерий согласия Пирсона. 4. Проверка гипотезы о равенстве двух средних нормальных генеральных совокупностей при известном . 5. Проверка гипотезы о равенстве выборочной средней гипотетической генеральной средней нормальной совокупности при неизвестном . 6. Проверка гипотезы о равенстве двух дисперсий нормальных генеральных совокупностей. 1. Статистическая гипотеза, статистический критерий Одной из задач математической статистики является проверка правдоподобия статистических гипотез. Статистической называют гипотезу о виде неизвестного распределения, или о параметрах известных распределений. Например: 1. Генеральная совокупность распределена нормально (по закону Пуассона и т.д.); 2. Дисперсии двух совокупностей равны. Гипотеза – «все студенты 1 курса сдадут ТВиМС на 5» - не является статистической. Нулевой (основной) называют выдвинутую гипотезу Н0. Наряду с выдвинутой гипотезой рассматривают гипотезу, противоречащую ей, чтобы при отказе от Н0, в силу вступала противоположная гипотеза. Конкурирующей (альтернативной) называют гипотезу Н1, которая противоречит нулевой. Гипотезы бывают простые и сложные. Простой называют гипотезу, содержащую только одно предположение. Например, Н0 – параметр показательного распределения λ = 5. Сложной называют гипотезу, которая состоит из конечного или бесконечного числа простых гипотез. Например, Н1: λ > 5. Для проверки статистической гипотезы используют специально подобранную случайную величину, точное или приближенное распределение, которой известно. Статистическим критерием называют случайную величину, которая служит для проверки нулевой гипотезы. Критерий обозначают: U или Z, если случайная величина распределена нормально; F – по закону Фишера-Снедекора; T – по закону Стьюдента; – по закону «хи квадрат» и т.д. В общем случае обозначим К. Наблюдаемым значением Кнабл называют значение критерия, вычисленное по данным выборки: Кнабл = К(х1, х2, …, хn). 2. Ошибки 1-го и 2-го рода, мощность критерия, критическая область После выбора критерия, множество всех его возможных значений разбивают на два непересекающихся подмножества; одно из них содержит значения критерия, при котором Н0 отвергается, а другое – при котором она принимается. Критической областью называют совокупность значений критерия, при котором Н0 отвергают. Областью принятия гипотезы (областью допустимых значений) называют совокупность значений критерия, при котором Н0 принимают. Основной принцип проверки статистической гипотезы: Если КнаблS Н0 отвергают; если Кнабл Н0 принимают. Поскольку К – одномерная случайная величина, то множество ее значений – некоторый интервал. Критическая область и область принятия гипотезы могут отделяться друг от друга точками. Критическими точками Ккр называются точки, отделяющие S от . Различают одностороннюю (правостороннюю или левостороннюю) и двустороннюю критические области. правосторонняя левосторонняя двусторонняя Критические области определяются неравенствами, соответственно, К > Ккр К < Ккр К <- Ккр1 и К > Ккр2 В частности, если критические точки симметричны относительно нуля, двусторонняя критическая область определяется неравенством |К| > Ккр. Правильность или ошибочность выдвинутой гипотезы необходимо проверить. Поскольку проверку производят статистическими методами, ее называют статистической. При проверке гипотезы в двух случаях могут быть приняты неправильные решения, т.е. допущены ошибки двух родов. Ошибка 1-го рода состоит в том, что будет отвергнута правильная (истинная) гипотеза. Статистические методы не позволяют категорически утверждать, что выдвинутая гипотеза ложная. Можно говорить о вероятности ошибки. Вероятность совершить ошибку 1-го рода называется уровнем значимости, α (α = 0,01; 0,05). Ошибка 2-го рода состоит в том, что будет принята неправильная (ложная) гипотеза. Вероятность ошибки второго рода обозначают β. Правильное решение при проверке может быть принято в двух случаях: 1. Гипотеза принимается, причем и в действительности она верна; 2. Гипотеза отвергается, причем и в действительности она неверна. Каким образом нужно строить критическую область, чтобы проверка была разумной? Рассмотрим два случая. Случай 1. Н0 в действительности верна. Ошибка будет сделана, если КнаблS. Чтобы уменьшить вероятность ошибки 1-го рода, потребуем от критерия и критической области, чтобы (1) Неравенство (1) гарантирует редкость ошибки 1-го рода. Случай 2. Н0 неверна, в действительности верна Н1. Ошибка состоит в том, что будет принята Н0, если (ошибка 2-го рода). От критерия и области потребуем, чтобы (2) Так как β - вероятность ошибки 2-го рода, то 1-β – вероятность противоположного события, т.е. не совершить ошибку 2-го рода. Мощностью критерия γ = 1-β называют вероятность того, что не будет допущена ошибка 2-го рода: . Ясно, что чем меньше α и β, тем лучше критическая область. При заданном объеме выборки уменьшить α и β одновременно невозможно. Например, если α = 0, то будут приниматься все гипотезы, в том числе и неправильные, т.е. возрастает вероятность ошибки 2-го рода. Таким образом, среди всех областей S уровня значимости α надо выбрать ту, которая дает возможно меньшее значение β и, следовательно, возможно большее значение γ. Для отыскания критической области задаются уровнем значимости α и определяют Ккр, исходя из требования . Для двусторонней критической области: ; для правосторонней критической области: ; для левосторонней критической области: . Для каждого критерия имеются таблицы критических точек. 3.Проверка гипотезы о законе распределения. Критерий согласия Пирсона Необходимо проверить нулевую гипотезу: Н0: Х подчиняется закону распределения F(x). По данным выборки можно построить эмпирическую функцию распределения F*(x). Сравнение эмпирического F*(x) и теоретического F(x) распределений проводится с помощью критерия согласия. Критерием согласия называется критерий проверки гипотезы о предполагаемом законе неизвестного распределения. Существует несколько критериев согласия: – Пирсона, Колмогорова, Смирнова и др. Рассмотрим один из них: – Пирсона. Разобьем всю область изменения случайной величины Х на r интервалов. ….. ______.______.______________._______._______ а1 а2 ……. аr-2 ar-1 Определим ni – количество наблюдаемых значений Х, попавших в интервал ∆i и - теоретическое число значений Х, попавших в . Результаты расчетов объединяют в таблицу. n1+n2+…+nr=n – объем выборки. Если эмпирические частоты сильно отличаются от теоретических, то проверяемую гипотезу H0 следует отвергнуть. В качестве критерия проверки выберем случайную величину , характеризующую степень расхождения ni и . При , закон распределения случайной величины , независимо от того, какому закону подчинена генеральная совокупность, подчинена закону с k степенями свободы. Число степеней свободы , где r – число частичных интервалов, l – число параметров предполагаемого распределения (для нормального закона l = 2; для равномерного - l = 2; для Пуассона - l = 1 и т.д.). Как и каждый критерий, критерий согласия Пирсона не доказывает справедливость гипотезы, а лишь устанавливает на принятом уровне значимости α ее согласие или несогласие с данными наблюдений. Строим правостороннюю критическую область, исходя из требования , чтобы вероятность попадания критерия в эту область равнялась α. Правило проверки: 1. Определить . 2. По таблице критических точек определяем . 3. Если - нет оснований отвергать Н0. Если - Н0 отвергают. Замечание: n . Пример. Проверить по критерию согласия Пирсона гипотезу о нормальном распределении генеральной совокупности при уровне значимости α=0,01, если известны эмпирические и теоретические частоты. 1. 2. По таблице (0,01; 4) = 13,3 3. Так как нет оснований отвергать H0. 4.Проверка гипотезы о равенстве двух средних нормальных генеральных совокупностей при известных дисперсиях Проверка гипотезы о равенстве двух средних имеет важное практическое значение. Если средний результат в одной серии экспериментов заметно отличается от среднего результата в другой серии, то возникает вопрос: можно ли объяснить обнаруженное расхождение случайными ошибками эксперимента или оно вызвано неизвестными закономерностями? Пусть имеется две выборки из нормальных генеральных совокупностей, объемами n и m соответственно. Дисперсии совокупностей известны: DX и DY. Требуется проверить при уровне значимости α. В качестве критерия проверки нулевой гипотезы используют случайную величину . Эта случайная величина подчинена нормальному закону с параметрами MZ = 0; DZ = 1. 1 случай. H1: - двустороння критическая область. Так как нормальное распределение симметрично относительно MX, то , а . Кроме того, . По таблицам функции Лапласа . Правило проверки: 1. . 2. из условия . 3. Если - нет основания отвергать H0. Если , H0 отвергают. 2 случай. H1: - правосторонняя критическая область. Правило проверки: 1. . 2. из условия . 3. Если - H0 отвергают. Если - нет основания отвергать H0. 3 случай. H1: - левостороння критическая область . Так как распределение симметрично, то и . Правило проверки: 1. . 2. из условия и . 3. Если - нет основания отвергать H0.. Если - H0 отвергают. Пример. По двум независимым выборкам n = 30 и m = 40, извлеченным из нормальной генеральной совокупности, найдены , . Генеральная дисперсия DX = 60 и DY = 80. При уровне значимости α = 0,05 проверить H0: МХ = МY. 1. Определим . 2. Если Н1: , и так как H0 отвергаем. 3. Если Н1: , то и так как H0 отвергаем. 5.Проверка гипотезы о равенстве выборочной средней гипотетической генеральной средней нормальной совокупности при неизвестном Требуется проверить Н0: МХ = а0, где а0 - гипотетическая средняя. Генеральная совокупность распределена нормально, но дисперсия неизвестна. В качестве критерия проверки Н0 используют случайную величину . Случайная величина распределена по закону Стьюдента с k = n - 1 степенями свободы. Распределение Стьюдента, как и нормальное, симметрично. Случай 1. Н1: - двусторонняя критическая область. tкр.двуст – определяют по таблице в зависимости от α и k. Правило проверки: 1. . 2. . 3. Если - нет основания отвергать H0. 4. - H0 отвергают. Случай 2. Н1: - правосторонняя критическая область. определяют по таблице. Правило проверки: 1. . 2. . 3. Если - нет основания отвергать H0. 4. Если - H0 отвергают. Случай 3. Н1: - левосторонняя критическая область; по таблице определяют . Правило проверки: 1. . 2. и 3. Если - нет основания отвергать H0. Если - H0 отвергают. Пример. По выборке объема n = 20, извлеченной из нормальной генеральной совокупности, найдем и исправленное среднеквадратическое отклонение S=4,5. Проверить при уровне значимости α = 0,05 H0: МХ = 15. 1. Определим = . 2. Если H1: МХ ≠ 15 – двусторонняя критическая область. по таблице и так как нет основания отвергать H0. 3. Если H1: МХ > 15 – правосторонняя критическая область. и так как нет основания отвергать H0. 4. Если H1: МХ < 15 – левосторонняя критическая область. и , так как нет основания отвергать H0. 6.Проверка гипотезы о равенстве двух дисперсий нормальных генеральных совокупностей На практике сравнение дисперсий возникает, если требуется сравнить точность приборов, инструментов, методов измерений. Очевидно, что предпочтительнее будет тот прибор или метод, который обеспечивает наименьшую дисперсию. Пусть генеральные совокупности распределены нормально. По независимым выборкам объемов nx и ny найдены исправленные выборочные дисперсии и . Требуется при заданном уровне значимости α, проверить: Н0: DХ = DY. В качестве критерия проверки Н0 используют случайную величину, равную отношению большей исправленной дисперсии к меньшей. Например, , то . Эта величина имеет распределение Фишера-Снедекора со степенями свободы и . Распределение Фишера-Снедекора зависит только от числа степеней свободы и не зависит от других параметров. Критическая область зависит от вида конкурирующей гипотезы. Случай 1. Н1: - правосторонняя критическая область. . По таблицам критических точек Фишера-Снедекора определяем . Правило проверки: 1. . 2. . 3. Если - нет основания отвергать H0. Если - H0 отвергаем. Случай 2. Н1: - двусторонняя критическая область. Наибольшая мощность критерия достигается, когда вероятность попадания критерия в каждый из двух интервалов критической области равна . Таким образом, и . определяют по таблицам критических точек . Определять левую критическую нет необходимости. Правило проверки: 1. . 2. . 3. Если - H0 отвергаем. Если - нет основания отвергать H0. Пример. По двум независимым выборкам, объемов n = 10 и m = 18, извлеченным из нормальной генеральной совокупности определены =1,23 и =0,41. При уровне значимости α = 0,1 проверить : Н0: DХ = DY. 1. =. Если Н1: DХ DY. 2. , , По таблице 3. Так как H0 отвергают. -распределение - уровень значимости, - число степеней свободы ,995 ,990 ,975 ,950 ,900 ,750 ,500 ,250 ,100 ,050 ,025 ,010 ,005 1 ,4 ,2 , ,4 ,016 ,101 ,454 1,32 2,71 3,84 5,02 6,63 7,88 2 ,010 ,020 ,051 ,103 ,211 ,58 1,39 2,77 4,61 5,99 7,38 9,21 10,60 3 ,072 ,115 ,216 ,352 ,584 1,21 2,37 4,11 6,25 7,81 9,35 11,34 12,84 4 ,207 ,297 ,484 ,711 1,06 1,92 3,36 5,39 7,78 9,49 11,14 13,28 14,86 5 ,412 ,554 ,831 1,15 1,61 2,67 4,35 6,63 9,24 11,07 12,83 15,09 16,75 6 ,676 ,872 1,24 1,64 2,2 3,45 5,35 7,84 10,64 12,59 14,45 16,81 18,55 7 ,989 1,24 1,69 2,17 2,83 4,25 6,35 9,04 12,02 14,07 16,01 18,48 20,28 8 1,34 1,65 2,18 2,73 3,49 5,07 7,34 10,22 13,37 15,51 17,53 20,09 21,96 9 1,73 2,09 2,70 3,33 4,17 5,90 8,34 11,39 14,68 16,92 19,02 21,67 23,59 10 2,16 2,56 3,25 3,94 4,87 6,74 9,34 12,55 15,99 18,31 20,48 23,21 25,19 11 2,60 3,05 3,82 4,57 5,58 7,58 10,34 13,70 17,28 19,68 21,92 24,73 26,76 12 3,07 3,57 4,40 5,23 6,30 8,44 11,34 14,85 18,55 21,03 23,34 26,22 28,30 13 3,57 4,11 5,01 5,89 7,04 9,30 12,34 15,98 19,81 22,36 24,74 27,69 29,19 14 4,07 4,66 5,63 6,57 7,79 10,1 13,34 17,12 21,06 23,69 26,12 29,14 31,32 15 4,60 5,23 6,26 7,26 8,55 11,04 14,34 18,25 22,31 25,00 27,49 30,58 32,80 16 5,14 5,81 6,91 7,96 9,31 11,91 15,34 19,37 23,54 26,30 28,85 32,00 34,27 17 5,68 6,41 7,56 8,67 10,09 12,79 16,34 20,49 24,77 27,59 30,19 33,41 35,72 18 6,26 7,01 8,23 9,39 10,86 13,68 17,34 21,60 25,99 28,87 31,53 34,81 37,16 19 6,84 7,63 8,91 10,12 11,65 14,56 18,34 22,72 27,20 30,14 32,85 36,19 38,58 20 7,43 8,26 9,59 10,85 12,44 15,45 19,34 23,88 28,41 31,41 34,17 37,57 40,00 21 8,03 8,90 10,28 11,59 13,24 16,34 20,34 24,93 29,61 32,67 35,48 38,93 41,40 22 9,26 10,20 11,69 13,09 14,85 18,14 21,34 26,04 30,81 33,92 36,78 40,29 42,80 23 9,89 10,86 12,40 13,85 15,66 19,04 22,34 27,14 32,01 35,17 38,08 41,64 44,18 24 8,64 9,54 10,98 12,34 14,04 17,24 23,34 28,24 33,20 36,42 39,36 42,98 45,56 25 10,52 11,52 13,12 14,61 16,47 19,94 24,34 29,34 34,38 37,65 40,65 44,31 46,93 26 11,16 12,20 13,84 15,38 17,29 20,84 25,34 30,43 35,56 38,89 41,92 45,64 48,29 27 11,81 12,88 14,57 16,15 18,11 21,78 26,34 31,53 36,74 40,11 43,19 46,96 49,64 28 12,46 13,56 15,31 16,93 18,94 22,66 27,34 32,62 37,92 41,34 44,46 48,28 50,99 29 13,12 14,26 16,05 17,71 19,77 23,57 28,34 33,71 39,09 42,56 45,72 49,59 52,34 30 13,78 14,95 16,79 18,49 20,60 24,48 29,34 34,80 40,26 43,77 46,98 50,89 53,67 40 20,71 22,16 24,43 26,51 29,05 33,66 39,34 45,62 51,81 55,76 59,34 63,69 66,77 50 27,99 29,70 32,36 34,76 37,69 42,94 49,33 56,33 63,17 67,50 71,42 76,15 79,49 60 35,53 37,48 40,48 43,19 46,46 52,29 59,33 66,98 74,38 79,08 83,30 88,38 91,95 70 43,28 45,44 48,76 51,74 55,33 61,70 69,33 77,58 85,53 90,53 95,02 100,4 104,2 80 51,17 53,54 57,15 60,39 64,28 71,14 79,33 88,13 96,58 101,9 106,6 112,3 116,3 90 59,20 61,75 65,65 69,13 73,29 80,62 89,33 98,65 107,6 113,1 118,1 124,1 128,3 100 67,32 70,06 74,22 77,93 82,36 90,13 99,33 109,1 118,5 124,3 129,6 135,8 140,2 Функция Лапласа (стандартизированное нормальное распределение) х ,00 ,01 ,02 ,03 ,04 ,05 ,06 ,07 ,08 ,09 0,0 ,0000 ,0040 ,0080 ,0120 ,0160 ,0199 ,0239 ,0279 ,0319 ,0359 0,1 ,0398 ,0438 ,0478 ,0517 ,0557 ,0596 ,0636 ,0675 ,0714 ,0753 0,2 ,0793 ,0832 ,0871 ,0910 ,0948 ,0987 ,1026 ,1064 ,1103 ,1141 0,3 ,1179 ,1217 ,1255 ,1293 ,1331 ,1368 ,1406 ,1443 ,1480 ,1517 0,4 ,1554 ,1591 ,1628 ,1664 ,1700 ,1736 ,1772 ,1808 ,1844 ,1879 0,5 ,1915 ,1950 ,1985 ,2019 ,2054 ,2088 ,2123 ,2157 ,2190 ,2224 0,6 ,2257 ,2291 ,2324 ,2357 ,2389 ,2422 ,2454 ,2486 ,2517 ,2549 0,7 ,2580 ,2611 ,2642 ,2673 ,2704 ,2734 ,2764 ,2794 ,2823 ,2852 0,8 ,2881 ,2910 ,2939 ,2967 ,2995 ,3023 ,3051 ,3078 ,3106 ,3133 0,9 ,3159 ,3186 ,3212 ,3238 ,3264 ,3289 ,3315 ,3340 ,3365 ,3389 1,0 ,3413 ,3438 ,3461 ,3485 ,3508 ,3531 ,3554 ,3577 ,3599 ,3621 1,1 ,3643 ,3665 ,3686 ,3708 ,3729 ,3749 ,3770 ,3790 ,3810 ,3830 1,2 ,3849 ,3869 ,3888 ,3907 ,3925 ,3944 ,3962 ,3980 ,3997 ,4015 1,3 ,4032 ,4049 ,4066 ,4082 ,4099 ,4115 ,4131 ,4147 ,4162 ,4177 1,4 ,4192 ,4207 ,4222 ,4236 ,4251 ,4265 ,4279 ,4292 ,4306 ,4319 1,5 ,4332 ,4345 ,4357 ,4370 ,4382 ,4394 ,4406 ,4418 ,4429 ,4441 1,6 ,4452 ,4463 ,4474 ,4484 ,4495 ,4505 ,4515 ,4525 ,4535 ,4545 1,7 ,4554 ,4564 ,4573 ,4582 ,4591 ,4599 ,4608 ,4616 ,4625 ,4633 1,8 ,4641 ,4649 ,4656 ,4664 ,4671 ,4678 ,4686 ,4693 ,4699 ,4706 1,9 ,4713 ,4719 ,4726 ,4732 ,4738 ,4744 ,4750 ,4756 ,4761 ,4767 2,0 ,4772 ,4778 ,4783 ,4788 ,4793 ,4798 ,4803 ,4808 ,4812 ,4817 2,1 ,4821 ,4826 ,4830 ,4834 ,4838 ,4842 ,4846 ,4850 ,4854 ,4857 2,2 ,4861 ,4864 ,4868 ,4871 ,4875 ,4878 ,4881 ,4884 ,4887 ,4890 2,3 ,4893 ,4896 ,4898 ,4901 ,4904 ,4906 ,4909 ,4911 ,4913 ,4916 2,4 ,4918 ,4920 ,4922 ,4925 ,4927 ,4929 ,4931 ,4932 ,4934 ,4936 2,5 ,4938 ,4940 ,4941 ,4943 ,4945 ,4946 ,4948 ,4949 ,4951 ,4952 2,6 ,4953 ,4955 ,4956 ,4957 ,4959 ,4960 ,4961 ,4962 ,4963 ,4964 2,7 ,4965 ,4966 ,4967 ,4968 ,4969 ,4970 ,4971 ,4972 ,4973 ,4974 2,8 ,4974 ,4975 ,4976 ,4977 ,4977 ,4978 ,4979 ,4979 ,4980 ,4981 2,9 ,4981 ,4982 ,4982 ,4983 ,4984 ,4984 ,4985 ,4985 ,4986 ,4986 3,0 ,4987 ,4987 ,4987 ,4988 ,4988 ,4989 ,4989 ,4989 ,4990 ,4990 3,1 ,49903 3,2 ,49931 3,3 ,49952 3,4 ,49966 3,5 ,49977 3,6 ,49984 3,7 ,49989 3,8 ,49993 3,9 ,49995 4,0 ,499968 4,5 ,499999 5,0 ,49999997 Критические точки распределения Стьюдента Распределение Фишера-Снедекора (F-распределение) Значения Fтабл, удовлетворяющие условию Р(F > Fтабл): Первое значение соответствует вероятности 0,05, второе – 0,01 и третье – 0,001, - число степеней свободы числителя, – число степеней свободы знаменателя.