Проверка статистических гипотез

ЛЕКЦИЯ 3. Прверка статистических гипотез 1. Понятие о статистических гипотезах. Общие принципы проверки статистческих гипотез Статистическая гипотеза – это некоторое предположение о законе распределения случайной величины. Существует множество различных типов статистических гипотез. Среди них можно выделить три типа, которые встречаются чаще других. 1. Гипотеза о полностью определенном законе распределения вероятностей случайной величины. Например: а) гипотеза заключается в том, что случайная величина , то есть имеет конкретное нормальное распределение; б) гипотеза заключается в том, что случайная величина распределена равномерно на отрезке . 2. Гипотеза о виде закона распределения случайной величины , то есть о принадлежности к некоторому определенному множеству случайных величин. Очень часто это множество определяется с помощью конечного числа параметров. Например, гипотеза может заключаться в том, что – нормальная случайная величина с некоторыми неизвестными параметрами: . 3. Гипотеза о параметрах распределений. Например, гипотеза может заключаться в том, что случайная величина имеет дисперсию, равную единице: . Более сложной является гипотеза о принадлежности параметра распределения к некоторому числовому промежутку. К этому же типу относятся гипотезы о равенстве параметров нескольких случайных величин. Проверить статистическую гипотезу – это значит убедиться, согласуется ли высказанное предположение с полученными экспериментальными данными или противоречит им. В основу проверки статистических гипотез положены следующие общие принципы. Пусть – некоторая статистическая гипотеза. Для ее проверки строится статистика , которая обычно имеет смысл меры отклонения полученных экспериментальных данных от тех априорных теоретических результатов, которые должны получаться в соответствии с выдвинутым предположением. Иногда меру называют критерием, так что слово «критерий» имеет в теории статистических гипотез двойственный характер: это и статистика для проверки гипотезы, и сама процедура проверки (критерии согласия, критерии значимости). Предположим, что закон распределения меры известен. Задаем величину , которую выберем настолько малой, чтобы можно было с большой степенью уверенности утверждать, что событие, происходящее с вероятностью и меньше, можно считать практически невозможным. Число называется уровнем значимости (разумеется, уровень значимости может обозначаться и другим символом). По заданному и известному распределению случайной величины находят критическое значение . Обычно критическое значение определяется из условия: , и в таком случае говорят о правосторонней критической области. Но в более общем случае существует множество возможностей выбора критического числового множества значений статистики , то есть такого множества, для которого верно равенство . Затем проводят серию экспериментов и получают конкретные выборочные значения . По этой выборке вычисляют конкретное «выборочное» значение меры , а затем сравнивают с критическим значением . При этом возможные следующие случаи. 1) Если , то это значит, что произошло маловероятное, практически невозможное событие, которое не должно происходить, если гипотеза правильная. Тогда считают, что экспериментальные данные противоречат гипотезе , и она отбрасывается как неверная: , гипотеза отвергается. 2) . В этом случае считают, что полученные экспериментальные данные не противоречат выдвинутой гипотезе, нет оснований отвергнуть выдвинутую гипотезу: , гипотеза не отвергается. Продемонстрируем общие принципы проверки гипотез на примере проверки очень простой гипотезы о значении параметра распределения. Проверка гипотез такого типа тесно связана с теорией точечных и интервальных оценок. Действительно, модуль разности между оценкой и параметром может играть естественную роль «меры отклонения экспериментальных данных от теоретического предположения». ПРИМЕР 1. Известно, что одномерная случайная величина распределена по нормальному закону и имеет среднее квадратическое отклонение . Гипотеза : значение математического ожидания этой случайной величины . Проверить при уровне значимости . РЕШЕНИЕ. Выше было показано, что если – нормальная случайная величина с параметрами и , то выборочное среднее тоже распределено нормально с тем же математическим ожиданием и средним квадратическим отклонением . Поэтому нормированная случайная величина распределена по стандартному нормальному закону: . В качестве меры (статистики) примем величину . Распределение такой статистики совпадает с распределением модуля стандартной нормальной случайной величины. Найдем критическое значение с помощью таблицы функции Лапласа: , , , , по таблице находим: . Предположим, что для проверки гипотезы произведено 25 экспериментов, получена выборка и вычислено значение выборочного среднего . Вычислим выборочное значение меры : . Сравниваем выборочное значение меры (статистики, критерия) с критическим значением: . Выборочное значение существенно больше критического. Произошло событие, которое не должно происходить (маловероятное, практически невозможное событие) при сделанном предположении. Поэтому выдвинутая гипотеза отвергается. В описанной методике проверки статистических гипотез содержится неопределенность, которую хочется преодолеть. Вопрос об отбрасывании гипотезы никаких противоречий не содержит. Да, при отбрасывании гипотезы, то есть при выполнении условия , мы можем совершить ошибку. Потому что маловероятные события все же иногда происходят, и гипотеза на самом деле может оказаться правильной. Ошибка, которая возникает в результате отбрасывания правильной гипотезы при выполнении условия , называется ошибкой первого рода. Вероятность ошибки первого рода равна вероятности события , то есть, равна в точности уровню значимости . Таким образом, такая ошибка в вероятностном смысле измерима, а другого смысла в статистке нельзя и ожидать. Так как мы считаем, что закон распределения статистики известен, то для любого мы всегда можем найти критическое множество . Значит, ошибкой первого рода можно «управлять». Гораздо хуже дело обстоит с вопросом о принятии гипотезы. Можно встать в этом вопросе на простейшую позицию и считать, что если выборочное значение статистики (меры) не попадает в критическое множество, то есть происходит событие , то гипотезу надо принимать. Но в таком случае мы можем принять неправильную гипотезу и совершить ошибку, которая может иметь принципиальное значение. Ошибка, которая возникает в результате принятия неправильной гипотезы при условии , называется ошибкой второго рода. Можно сказать, что именно из-за ошибки второго рода мы при выполнении условия (или при выборе правосторонней критической области) вынуждены осторожно писать, что «экспериментальные данные не противоречат гипотезе». И это, в общем-то, правильно. Принимать гипотезу надо с осторожностью, понимая, что даже хорошее предположение является всего лишь приближением к истине. Но при этом неплохо было бы «оценить» ошибку второго рода и попытаться сделать ее «управляемой». Для того чтобы оценить ошибку второго рода, вводят в рассмотрение еще одну гипотезу и считают, что если гипотеза отбрасывается, то принимается гипотеза . При таком способе рассуждения гипотеза называется основной или нулевой и обозначается . А гипотеза называется альтернативной. Конечно, в общем случае существует бесконечно много возможных альтернативных гипотез, но именно фиксация одной из них создает возможность для измерения условной ошибки второго рода. Итак, считаем, что если , то принимается нулевая гипотеза . Условная вероятность ошибки второго рода при условии – это вероятность того, что принимается нулевая гипотеза, а на самом деле верна альтернативная гипотеза : . Мощность критерия – это число , то есть вероятность события , противоположного событию . Другими словами, мощность критерия (при фиксации ) – это вероятность того, что если справедлива гипотеза , то гипотеза отвергается. 2. Проверка гипотез по критерию Пирсона хи-квадрат Карл Пирсон (1857 – 1936, Лондон). Математик, статистик, биолог, философ. Основатель математической статистики, один из основоположников биометрии. Университетское образование получил в Кембридже, а затем с 1879 по 1884 продолжил обучение в Гейдельбергском и Берлинском университетах. С 1892 заведовал лабораторией математической статистики и эволюционной биологии, в 1900 г основал журнал «Биометрика». С 1911 г директор лаборатории евгеники Университетского колледжа в Лондоне. Пусть гипотеза о законе распределения случайной величины , в общем случае многомерной, относится к первому из отмеченных выше типов. Другими словами предполагается, что имеет вполне определенный закон распределения вероятностей. Пусть S – множество значений этой случайной величины. Множество разбивается на непересекающиеся между собой части , и представляется в виде объединения множеств : . По предположению закон распределения вероятностей случайной величины известен. Поэтому известны теоретические вероятности всех событий . В критерии Пирсона мерой отклонения выборочных данных от теоретических значений служит мера Пирсона , которая задается следующей формулой: , В этой формуле – объем выборки, - число выборочных значений, попавших во множество , – относительная частота события . Иногда мера обозначается символом . Нетрудно понять, что это действительно мера отклонения экспериментальных данных от теоретических значений. В данном случае «теоретические значения» – это условное количество выборочных значений , которые должны попасть во множество , а «экспериментальные данные» – число тех значений, которые на самом деле туда попали. Можно также рассматривать как сумму квадратов разностей между вероятностями и относительными частотами с некоторыми специальными коэффициентами . Справедлива следующая теорема. Теорема Пирсона. Независимо от закона распределения случайной величины , от числа и от способа разбиения множества S на подмножества , закон распределения меры Пирсона при стремится к распределению случайной величины с числом степеней свободы: . Следствие. При большом объеме выборки распределение меры Пирсона можно приближенно заменить распределением хи-квадрат с числом степеней свободы (): . Критерием Пирсона называется процедура проверки статистических гипотез, основанная на применении меры Пирсона и приближения . Возникает естественный вопрос. Как велико должно быть значение для того, чтобы приближением можно было при проверке статистических гипотез пользоваться, не опасаясь совершить большую ошибку? Установлено, что вполне достаточно потребовать, чтобы выполнялось условие: . Однако в большинстве важных случаев довольно хорошее приближение получается и при выполнении более слабого условия . Приведем примеры применения критерия Пирсона. ПРИМЕР 1. – двумерная случайная величина. Гипотеза : равномерно распределена в квадрате . Получена выборка . Квадрат разбит на четыре части: , , , . Проверить гипотезу о равномерном распределении при уровне значимости , если известно, что число выборочных точек, попавших во множество , оказалось равным 12, в – 17, в – 18, в – 13. РЕШЕНИЕ. Считаем, что множество значений разбито на четыре выделенных подмножества . Поэтому в данном случае верны равенства , . При равномерном распределении в области вероятность попадания случайной величины в область пропорциональна площади такой области. Точнее, вероятность равна отношению площади к площади . В данном случае площадь равна единице, площади областей одинаковы и равны . Поэтому , , и условие «хорошего приближения» выполняется с избытком. По таблице распределения , числу степеней свободы 3 и уровню значимости 0,01 из условия находим приближенно критическое значение: . Учитывая, что , находим выборочное значение меры Пирсона: . Сравниваем выборочное значение меры с критическим значением: Следовательно, нет оснований отвергнуть гипотезу о равномерном распределении. ПРИМЕР 2. Игра в рулетку допускает 37 позиций. Для проверки правильности работы этого «специального инструмента для выкачивания денег» в казино проведено 370 испытаний. Результаты серии испытаний отражены в представленной ниже таблице. В таблице символом обозначен номер позиции рулетки (вместо нуля использовано число 37), а символом – обозначено количество появлений -ой позиции в серии испытаний. Рулетка исправна, если получение в результате вращения той или иной позиции равновероятно. Проверить исправность рулетки по критерию Пирсона при уровне значимости =0,05. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 21 9 12 11 10 13 12 10 11 13 5 14 11 10 8 16 17 18 19 20 21 22 23 24 25 26 27 28 9 8 10 6 8 8 8 9 12 5 13 12 9 29 30 31 32 33 34 35 36 37 10 8 10 7 8 12 5 11 12 РЕШЕНИЕ. Фактически в задаче речь идет о дискретной случайной величине , возможными значениями которой являются числа . Расплывчатая гуманитарная гипотеза =(рулетка исправна) равносильна математической гипотезе =(значения случайной величины равновероятны). В таком случае вероятность появления конкретного числа должна быть равна . В данном случае в качестве множеств разбиения можно взять 37 точек , то есть считать, что каждое множество разбиения совпадает со значением дискретной случайной величины. «Условие хорошего приближения» распределения меры к распределению Пирсона при этом выполняется, так как . Найдем критическое значение . Здесь число степеней свободы распределения хи-квадрат , но обычные таблицы этого распределения ограничиваются числом степеней свободы 30. Воспользуемся приближением , о котором говорилось в пункте 7, и свойствами функции Лапласа: ,С помощью таблицы значений функции Лапласа, получаем: , . Вычисляем выборочное значение меры Пирсона: . Сравниваем выборочное значение с критическим значением : . Нет оснований отвергнуть выдвинутую гипотезу. 3. Критерий Пирсона-Фишера для проверки гипотезы о виде закона распределения случайной величины Пусть гипотеза Н состоит в том, что случайная величина принадлежит - параметрическому семейству случайных величин , то есть имеет функцию распределения , где – параметры распределения (точнее, семейства распределений). Для построения процедуры проверки такой статистической гипотезы сначала действуем так же, как и при построении меры Пирсона: множество возможных значений семейства случайных величин разбиваем на подмножеств . Но теперь в рассуждения предыдущего пункта необходимо внести существенные изменения. Во-первых, количество подмножеств должно быть не меньше, чем число . А во-вторых, надо выбрать оценки параметров , то есть статистики . Пусть – выборка объема , – значения оценок, вычисленные по выборочным данным. Если подставить полученные числовые значения в формулу для функции распределения, то мы получим конкретный закон распределения с функцией распределения . Следовательно, мы сможем найти конкретные вероятности попадания такой случайной величины во множества . Но, конечно, вероятности эти будут теперь связаны с выборочными значениями через параметры: . Наконец, с помощью полученных вероятностей мы по той же самой формуле предыдущего пункта находим значение «меры отклонения экспериментальных данных от предполагаемых теоретических значений»: . Как и раньше, мера , то есть мера Пирсона-Фишера, является статистикой, но устроена она сложнее, чем мера Пирсона . Справедлива следующая теорема Фишера. Теорема Фишера. Если оценки параметров обладают достаточно хорошими асимптотическими свойствами, то при распределение меры стремится к распределению с числом стпеней свободы : . Оставшаяся часть процедуры проверки гипотезы о виде закона распределения вероятностей совпадает с такой же частью в критерии Пирсона и с общими принципами проверки гипотез. Построенная процедура по очевидным причинам носит название критерия Пирсона-Фишера. «Достаточно хорошие оценки» могут быть получены в результате применения так называемого «принципа максимального правдоподобия». Эти оценки в стандартных случаях совпадают с выборочными характеристиками. ПРИМЕР. 1. В таблице приведены значения дискретной случайной величины , полученные в результате 395 испытаний. Выдвинута гипотеза : случайная величина распределена по закону Пуассона. Проверить гипотезу при уровне значимости =0,05. 1 2 3 4 5 6 7 8 9 56 104 80 62 43 27 9 9 5 РЕШЕНИЕ. Объем выборки =395. Напомним, что пуассоновская случайная величина с параметром – это дискретная случайная величина, которая может принимать все целые неотрицательные значения с вероятностями . Множество возможных значений случайной величины разобьем на девять подмножеств . Точнее, будем считать, что и для значений . Математическое ожидание пуассоновской случайной величины совпадает с параметром . Поэтому в качестве оценки этого параметра естественно взять выборочное математическое ожидание . Оценка является оценкой максимального правдоподобия и обладает свойствами, достаточными для применения теоремы Фишера. По таблице распределения при уровне значимости =0,05 и числе степеней свободы находим критическое значение : , поэтому . Значение оценки, вычисленное по выборочным данным, равно: Непосредственно с помощью калькулятора вычисляем вероятности : и значение меры : . Сравниваем выборочное значение меры с критическим значением: . Произошло практически невозможное событие, поэтому гипотеза отвергается. Дополнения. Критерий Пирсона является наиболее популярным. Однако часто используются и другие критерии. Например, для проверки гипотезы о полностью определенном законе распределения используется критерий согласия Колмогорова. Мера Колмогорова имеет вид: . Здесь – выборочная, а – теоретическая функция распределения. Справедлива теорема Колмогорова: если теоретическая функция распределения непрерывна, то при распределение случайной величины стремится к стандартному распределению Колмогорова.