Статистическая проверка гипотез

Лекция №4. Проверка гипотез. Основные понятия. Статистическая проверка гипотез – раздел математической статистики, который изучает способы, предназначенные для проверки соответствия опытных данных проверяемой гипотезе. Статистическая гипотеза некоторое высказывание о генеральной совокупности, которое нужно проверить по выборке. Все статистические гипотезы можно разделить на две основные группы: 1. Параметрические гипотезы – это гипотезы о параметрах известного распределения (например, для нормального закона распределения): 1.1. Гипотезы о математических ожиданиях (о средних): 1.1.1. Сравнение выборочного среднего с математическим ожиданием. 1.1.2. Сравнение двух средних (двух математических ожиданий). 1.2. Гипотезы о дисперсиях: 1.2.1 Сравнение выборочной дисперсии с генеральной дисперсией. 1.2.2. Сравнение двух выборочных дисперсий. 1.2.3. Сравнение нескольких выборочных дисперсий. 2. Непараметрические гипотезы – все остальные, например: 2.1. Гипотезы о неизвестных законах распределения (в частности, проведение теста на нормальность). 2.2. Гипотезы о значимости коэффициента корреляции. 2.3. Гипотезы о значимости коэффициентов регрессии. 2.4. Гипотезы об адекватности уравнения регрессии. и другие гипотезы. Статистические гипотезы проверяют статистическими методами. Проверяемую гипотезу называют нулевой (основной) и обозначают H0. Гипотезу, которая противоречит (альтернативной) и обозначают H1. H0, называют конкурирующей Таким образом, в результате проверки можно принять только одну из двух гипотез: или H0, или H1. 1 При проверке статистических гипотез возможны 4 исхода: 1. Гипотеза H0 в действительности верна и ее приняли по результатам проверки – это правильное решение. 2. Гипотеза H0 в действительности неверна и ее отвергли по результатам проверки – это правильное решение. 3. Гипотеза H0 в действительности верна, но по результатам проверки ее отвергли – это неправильное решение (ошибка 1 рода). 4. Гипотеза H0 в действительности неверна, но по результатам проверки ее приняли – это неправильное решение (ошибка 2 рода). Таким образом, при статистической проверке гипотез существует риск совершить ошибку, но можно задать вероятность принятия ложного решения и обеспечить малый риск ошибки. Вероятность совершить ошибку 1 рода (вероятность отвергнуть правильную гипотезу Н0) называют уровнем значимости нулевой гипотезы и обозначают α (альфа). Наиболее часто уровень значимости принимают равным 0,05. Это означает, что в пяти случаях из ста мы рискуем допустить ошибку и отвергнуть правильную гипотезу. Вероятность совершить ошибку 2 рода (вероятность принять неправильную гипотезу Н0) принято обозначать β (бета). Для проверки нулевой гипотезы используют специально подобранную случайную величину – статистический критерий, для которого точный или приближенный закон распределения должен быть известен и табулирован. В общем случае статистический критерий обозначают К, а значения, которые может принимать критерий, обозначают k. Для проверки каждой конкретной гипотезы применяют свой критерий. Обозначение основных статистических критериев и их законы распределения приведены в таблице: Обозначение Закон распределения критерия K критерия K Z или U Нормированный нормальный закон распределения T Распределение Стьюдента или t-распределение Χ2 Распределение Пирсона или «хи-квадрат» F Распределение Фишера 2 Значение критерия, вычисленное по выборке, называется наблюдаемым и обозначается Kнабл. После выбора определенного критерия множество всех его значений разбивают на две области: критическую область Δкр и область допустимых значений Δ0. Критическая область Δкр - это совокупность значений критерия, при которых Н0 отвергают. Область допустимых значений Δ0 - это совокупность значений критерия, при которых Н0 принимают. Точки, которые отделяют Δкр и Δ0, называют критическими и обозначают kкр или хкр. Задача проверки гипотез сводится к нахождению критических точек и критической области. Для каждого критерия имеются таблицы, по которым находят критические точки. Основной принцип проверки статистических гипотез: Если наблюдаемое значение критерия Kнабл принадлежит критической области Δкр, то нулевую гипотезу отвергают. Если наблюдаемое значение критерия Kнабл принадлежит области допустимых значений Δ0, то нулевую гипотезу принимают. Как найти критическую область? Критическая область строится из требования: Если Н0 справедлива, то вероятность попадания Kнабл в критическую область крайне мала и равна уровню значимости α: Р(Kнабл ϵ Δ0) = α. Если же значение Kнабл попало в критическую область, то Н0 неверна и должна быть отвергнута. Различают одностороннюю (правостороннюю и левостороннюю) и двустороннюю критические области. На рис. 1 приведена кривая распределения критерия (fφ - график плотности распределения вероятностей f(k)) и возможные случаи размещения критической области (это отрезок оси абсцисс, ограничивающий снизу заштрихованную площадь). Рассмотрим более подробно, как можно найти правостороннюю, левостороннюю и двустороннюю критические области. 3 Рис. 1. Три вида расположения критической области: правосторонняя область (а); левосторонняя область (б); двусторонняя область (в) 4 А) Правосторонняя критическая область (рис. 1, а) равна интервалу, который определяется неравенством: K > хкрпр. Заштрихованная площадь равна уровню значимости α, поэтому, зная свойства функции f(k), правостороннюю критическую точку хкрпр можно найти из условия: Р (K > хкрпр) = α. Порядок проверки нулевой гипотезы Н0: 1. По выборке определяют наблюдаемое значение критерия Кнабл. 2. По специальным таблицам определяют хкрпр. 3. Если Кнабл < хкрпр, то Кнабл попадает в область допустимых значений и Н0 следует принять, а Н1 отвергнуть. Если Кнабл > хкрпр, то Кнабл попадает в критическую область и Н0 следует отвергнуть, а Н1 принять. Б) Левосторонняя критическая область (рис. 1, б) равна интервалу, который определяется неравенством: K < хкрлев. Заштрихованная площадь равна уровню значимости α, поэтому левостороннюю критическую точку хкрлев можно найти из условия: Р (K < хкрлев) = α. Порядок проверки нулевой гипотезы Н0: 1. По выборке определяют наблюдаемое значение критерия Кнабл. 2. По специальным таблицам определяют хкрлев. 3. Если Кнабл > хкрлев, то Кнабл попадает в область допустимых значений и Н0 следует принять, а Н1 отвергнуть. Если Кнабл < хкрлев, то Кнабл попадает в критическую область и Н0 следует отвергнуть, а Н1 принять. В) Двусторонняя критическая область (рис. 1, в) равна двум интервалам, которые определяются неравенствами: K < хкрлев и K > хкрпр. Две заштрихованные площади равны в сумме уровню значимости α, поэтому левостороннюю хкрлев и правостороннюю хкрпр критические точки можно найти из условий: 5 Р (K < хкрлев) = α/2 и Р (K > хкрпр) = α/2. Порядок проверки нулевой гипотезы Н0: 1. По выборке определяют наблюдаемое значение критерия Кнабл. 2. По специальным таблицам определяют хкрпр и хкрлев. 4. Если хкрлев < Кнабл < хкрпр, то Кнабл попадает в область допустимых значений и Н0 следует принять, а Н1 отвергнуть. Если Кнабл > хкрпр или Кнабл хкрлев <, то Кнабл попадает в критическую область и Н0 следует отвергнуть, а Н1 принять. Вид критической области зависит от конкурирующей гипотезы H1 и выбирается в процессе решения конкретной задачи. 6