Статистическая проверка гипотез; основные понятия

Тема 8. Статистическая проверка гипотез 8.1. Основные понятия Гипотеза – это любое предположение о свойствах исследуемого объекта. Статистическая гипотеза – это предположение о свойствах исходных данных. Обычно гипотеза – такое высказывание, которое отражает представления экспериментатора о свойствах изучаемого объекта, явления, процесса, поэтому после эксперимента возникает вопрос о соответствии полученных данных первоначальным представлениям о них. При проведении экспериментальных исследований в нашем распоряжении имеется выборка из генеральной совокупности, т.е. ограниченная по объему последовательность экспериментальных данных. Пусть высказано некоторое предположение (гипотеза) Н, относительно изучаемого вопроса (о свойствах исходных данных). Например, закон распределения некоторой СВ является нормальным. Проверяемая гипотеза называется основной и обозначается H 0 : данные обладают свойством Θ. Чаще всего рассматривается случай проверки простой гипотезы. Это означает, что наряду с основной гипотезой H 0 выдвигается только одна альтернативная (конкурирующая, противоположная) гипотеза H1 : данные не обладают свойством Θ. H 0 : данные обладают свойством  (оосновнаягипотеза) ,  H1 : данные не обладают свойством Θ (ппротивоп ложная гипотеза ). Если альтернативных гипотез несколько, то говорят, что проверяется сложная гипотеза, и процедура проверки значительно усложняется. Далее необходимо проверить, не противоречит ли гипотеза H 0 свойствам имеющихся экспериментальных данных. Эта проверка осуществляется с помощью статистических критериев и называется статистической проверкой гипотез. Статистический критерий – это правило, которое позволяет принять или отвергнуть гипотезу. Результат проверки гипотезы может быть следующим: - либо отрицательным, то есть гипотеза H 0 противоречит свойствам исходных данных. В этом случае от основной гипотезы H 0 отказываются (гипотеза H 0 отвергается) и принимается альтернативная гипотеза H1 ; - либо неотрицательным, т.е. гипотеза H 0 не противоречит свойствам исходных данных (от гипотезы H1 отказываются, гипотеза H1 отвергается). В этом случае основную гипотезу H 0 можно принять в качестве одного из возможных решений. Необходимо иметь в виду следующее. Неотрицательный результат проверки гипотезы не означает, что высказанное предположение является единственно подходящим и наилучшим. Неотрицательный результат означает, что данное предположение H 0 просто не противоречит свойствам исходных данных. Однако, таким же свойством непротиворечивости наряду с гипотезой H 0 могут обладать и другие гипотезы. Т.о, даже статистически проверенная гипотеза должна рассматриваться не как абсолютная истина, а лишь достаточно правдоподобное предположение, не противоречащее свойствам исходных данных. 8.2. Некоторые сведения о статистических критериях Статистической гипотезой принято называть предположение, относящееся к виду распределения СВ, параметрам распределения СВ или характеристикам совокупности СВ. Проверка осуществляется с помощью статистических критериев и называется статистической проверкой гипотез. Статистический критерий – это правило, которое позволяет принять или отвергнуть гипотезу. Критерий должен быть: – с физическим смыслом решаемой задачи; – допускать не сложные вычисления. В настоящее время для решения типовых задач разработано множество различных критериев, которые отличаются друг от друга своими свойствами. Пусть для проверки некоторой гипотезы выбран критерий К. Все, чем мы располагаем для применения этого критерия, – это исходные данные (выборка) ( x1, x2 ,...,x N ) - выборка. Т.е. гипотезу можно проверить статистически, опираясь на экспериментальные данные, образующие случайную выборку. Значение критерия, вычисленное по этой выборки, называют критериальной статистикой (статистика критерия, выборочная критериальная статистика, выборочное значение статистики критерия): k  K ( x1, x2 ,...,x N ) - правило (критерий), где k - выборочное значение критериальной статистики; найдена по выборке; Т.к. относительно выборки действует стандартное предположение о том, что выборка – массив случайных чисел, то критериальная статистика k – случайная величина (обычно НСВ). Если предположить, что распределение исходных данных известно, то можно рассчитать распределение критериальной статистики. Это распределение обычно рассчитывается при условии, что проверяемая гипотеза H 0 верна (но не доказана). Для большинства типовых задач такие распределения рассчитаны. Распределение критерия К при условии, что выполняется гипотеза Но α = 1 – Ро – уровень значимости Если свойства исходных данных согласуются с гипотезой H 0 , то это означает, что критериальная статистика k, должна с большой вероятностью попадать в ту область распределения критерия К, которая соответствует большим значениям плотности вероятности. Если задаться подходящей величиной вероятности Р0 , которую можно считать большой, то для распределения К можно определить критическое (пороговое) значение k крит , такое, что P k  kкрит  P0 , Р0 из ряда 0,8; 0,9; 0,95; 0,99   1  Р0 , – уровень значимости.   8.3. Ошибки при проверки статистических гипотез Произвольно уменьшая уровень значимости α, можно всегда принять основную гипотезу H 0 . Но нельзя забывать, что данные не обязаны соответствовать основной гипотезе, и может быть они согласуются с альтернативной гипотезой H1 . При теоретическом исследовании критериев для этого приходится рассчитывать распределение критерия К при условии, что выполняется гипотеза H1 . Как правило, эти распределения имеют следующий вид: ββРис.45. С учетом этих двух распределений принято говорить о двух возможных ошибках принятия гипотезы. 1. Ошибка I рода заключается в том, что отвергается основная гипотеза H 0 , хотя на самом деле она верна (данные обладают этим свойством). Вероятность ошибки первого рода –  – уровень значимости.     k  kкрит     f (k / H 0 )dk . k крит 2. Ошибка II рода состоит в том, что принимается гипотеза H 0 , хотя на самом деле она не верна (то есть данные не обладают этим свойством), а справедлива альтернативная гипотеза H1 . Вероятность ошибки второго рода –  .    k  kкрит    k крит  f (k / H1)dk При фиксированном объеме выборки значения вероятностей одной из ошибок можно выбирать по своему усмотрению. В большинстве практических задач задают величину ошибочного отвержения основной гипотезы H 0 через уровень значимости α. Выбор величины уровня значимости зависит от сопоставления потерь, которые мы готовы нести в случае ошибки. Обычно α = 0,01; 0,05; 0,1. Как правило, вероятность ошибки II рода β растет при уменьшении α, и наоборот. lim   1 , lim   0  0 N   0 N  lim   1 , lim   0 lim ( ,  )  0 . N  На практике обычно задают величину ошибки α и пытаются построить такой критерий, у которого величина ошибки II рода минимальна.    N , , H1, K  Величина 1   называется мощностью критерия. Если для проверки гипотезы существует несколько критериев, то надо выбирать наиболее мощный критерий. 8.4. Классификация гипотез Классификацию гипотез можно проводить по разным признакам. По своему назначению и характеру решаемых задач гипотезы можно разделить на 4 группы: 1) Гипотезы об общих свойствах исходных данных: проверка случайности, независимости и однородности результатов измерений; 2) Гипотезы о числовых характеристиках, гипотезы о РВЗ, например: H 0 : mx  a H 0 : Dx  b , ,       H : m  a m  a , m  a H : D  b D  b , D  b x x x x  1 x  1 x H 0 : m1  m2 H : D  D2 ,  0 1  H1 : m1  m2 m1  m2 , m1  m2  H1 : D1  D2 D1  D2 , D1  D2  H 0 : m1  m2  ...  mk ,  H1 : математиче ские ожидания не равны H 0 : D1  D2  ...  Dk и т.д.  H : дисперсии не равны  1 3) Гипотезы о законе распределения случайной величины (критерии согласия); 4) Гипотезы о зависимости случайных величин (гипотезы о линейной, нелинейной, множественной корреляции и регрессии). § 8.5. Логическая схема проверки статистических гипотез Несмотря на большое разнообразие гипотез и критериев их проверки, можно сформулировать общую логическую схему проверки гипотез: 1) Выдвинуть некоторое предположение (гипотезу) о свойствах данных ( H 0 , H1 ). 2) Сформулировать самые общие предположения и допущения о свойствах экспериментальных данных; 3) Задать (обоснованно) величину уровня значимости α (обычно из ряда 0,01; 0,05; 0,1). 4) Выбор статистического критерия для проверки гипотезы. 5) Расчет по критерию. Расчет выборочного (эмпирического, расчетного, наблюдаемого, практического) значения критериальной статистики kвыб  kэмп  kрасч  K ( x1, x2 ,...,x N ) . 6) Нахождение критических (теоретических, табличных) значений критериальной статистики kкрит  kтабл  kтеор . Выборочное значение критериальной статистики kвыб является СВ (НСВ), закон распределения которой находят в предположении, что гипотеза H 0 верна. Обычно это сложные законы распределения (Пирсона, Стьюдента, Фишера, …), соответствующие функции которых надо табулировать (вручную считать трудно). Поэтому по соответствующим таблицам этих законов распределения (таблицы математической статистики) для выбранного уровня значимости α находят критические значения критериальной статистики (в общем случае их два), т.е. находят левый и правый квантили (минимальный и максимальный) max  min 2 ,  1 1   2   - уровень значимости, f (k ) f (k ) P0 2 I II III  min  max 1 k Рис.44. Данные значения (квантили) всю область возможных значений критерия 0;   делят на три области:   I 0;  min 2 – область неправдоподобно малых значений критерия; k   min    min  f (k / H 0 )dk   2 .   max II  min – область наиболее вероятных значений критерия; 1 ;  2  min  k   max    max  f (k / H 0 )dk  P0 .  min   III  max 1 ;  – область неправдоподобно больших значений критерия. k   max    f (k / H 0 )dk  1 .  max В ряде задач встречаются частные случаи (односторонние критерии), когда либо I, либо III области отсутствуют: а)   I 0;  min – область неправдоподобно малых значений критерия; k   min    min  f (k / H 0 )dk   .   II  min ;  – область наиболее вероятных значений критерия;  min  k      f (k / H 0 )dk  P0 .  min б)   II 0;  max – область наиболее вероятных значений критерия; 0  k   max   III   max   max  f (k / H 0 )dk  P0 . ;  – область неправдоподобно больших значений критерия. k   max     f (k / H 0 )dk   .  max 7) Решающее правило. Если выборочное значение критериальной статистики kвыб попадает во II область, то с вероятностью P0 гипотеза H 0 считается не противоречащей свойствам экспериментальных данных (нет оснований ее отвергать, гипотеза принимается, гипотеза состоятельна). Если выборочное значение критериальной статистики kвыб попадает в I или в III область, то гипотеза H 0 не состоятельна (гипотеза отвергается) и принимается альтернативная гипотеза H1 . 8.6. Критерии согласия (гипотезы о законе распределения СВ) Данная группа критериев позволяет ответить на вопрос, согласуется ли распределение исходных данных с тем законом распределения, который предлагает исследователь. Существуют много критериев согласия. Например, критерий  2 (критерий Пирсона), W критерий, D критерий, λ критерий (критерий 2 Колмогорова), критерий  (критерий Мозеса-Смирнова) и т.д. Все эти критерии обладают своими особенностями, своей областью применения, различной мощностью. 8.6.1. Критерий согласия Пирсона (  2 ) Критерий основан на количественном сравнении гистограммы fˆ ( x) и той теоретической плотности вероятностей f (x) (кривой распределения), которая предложена для сглаживания гистограммы. f3 fk x1 x2 x3 0 ... xi xk 1 xk Рис. 46 1) Выдвигаем гипотезу H 0 , о том, что распределение данных подчиняется некоторому закону распределения с конкретными параметрами (против гипотезы H1 , закон распределения другой). H 0 : X ~ f ( x) F ( x)  . 1.5) Найти оценки параметров закона распределения. f ( x)  f ( x, 1, 2 ,...,m ) 1, 2 ,...,m – параметры закона распределения. 2) Критерий Пирсона можно применять для любых СВ (ДСВ, НСВ). Выборка должна быть большого объема ( N  200 , хотя иногда можно N  50 и даже меньше). Иногда советуют, чтобы в каждый интервал гистограммы попало не менее 5 данных mi  5 . 3) Уровень значимости:   0.01;0.05;0.1. 4) Выбор критерия (критерий Пирсона). 5) Расчет по критерию а) Рассчитывается величина piT – теоретическая вероятность попадания случайной величины в i-ый интервал гистограммы: piT  P{xi  X  xi1}  x i1  f ( x)dx  F ( xi1 )  F ( xi ) , i  1, r . x i б) Находим miT – теоретическое количество элементов выборки, которые должны попасть в i-й интервал гистограммы, если бы данные имели распределение f (x) (если бы гипотеза H 0 была справедлива): miT  N  piT , i  1, r . в) Сравниваем эмпирические mi и теоретические miT значения для каждого интервала гистограммы. Находим меру близости каждого интервала: (mi  miT ) 2 ki  , i  1, r . miT г) Находим общую меру близости (мер расхождения эмпирической fˆ ( x) и теоретической f (x) кривой распределения) как сумму частных мер близости: r r (m  mT ) 2 2 kвыб   выб   ki  i T i ; mi i 1 i 1 r – количество интервалов на гистограмме (в общем случае не совпадает с количеством столбиков k, r  k ). Т.е., если выбранное распределение f (x) имеет «хвосты», в которые не попали исходные данные, то при расчете критерия их надо учитывать. Все расчеты в таблицу: № 1 … r xi , xi1   , x1  mi p̂i F ( xi ) F ( xi1 ) piT miT ki … xk 1, 6) Критическое значение критериальной статистики 2 Случайная величина  выб при больших N имеет приближенно закон распределения Пирсона (независимо от закона распределения исходных данных). Поэтому по таблицам распределения  2 для уровня значимости α и числа степеней свободы f находим критическое значение критерия (правосторонний квантиль распределения Пирсона): 2 2 kкрит  kтабл  крит   табл   2f , ; f  r  d  1 , r – количество интервалов на гистограмме (в общем случае не совпадает с количеством столбиков k), d – число параметров закона распределения. 7) Решающее правило f ( 2 ) P0 f ( 2 II H0 )   2 f , 2 Рис. 47 2 2 Если выб , то выдвинутая гипотеза H 0 принимается.  крит 2 2 Если  выб , то H 0 отвергается.   крит § 8.6.2. Критерий Колмогорова (  ) Основан на сравнении эмпирической Fˆ ( x) и теоретической функций распределения F (x) . 1) Выдвигаем гипотезу H 0 , о том, что распределение данных подчиняется некоторому закону распределения с конкретными параметрами (против гипотезы H1 , закон распределения другой). H 0 : X ~ F ( x) . Найти оценки закона F ( x)  F ( x, 1, 2 ,...,m ) параметров распределения. 1, 2 ,...,m – параметры закона распределения. 2) Критерий применяется только для НСВ. Критерий Колмогорова более мощный, чем критерий Пирсона, поэтому его можно применять для выборок малого объема N  100(50,30) .  – уровень значимости. Для малых выборок α надо брать 3) больше (   0,1  0,2 ). 4) Расчет по критерию Получить вариационный ряд (выборка, отсортированная по возрастанию). Находим Di  Fˆ ( xi )  F ( xi ) , i  1, N где F ( xi ) – значение теоретической функции распределения; Fˆ ( xi ) – значение эмпирической функции распределения. Находим максимальное расхождение между эмпирической Fˆ ( x) и теоретической функций распределения F (x) : Dmax  max Di . i Находим выборочное значение статистики критерия kвыб  выб  N  Dmax . Данная случайная величина, при выполнении указанных выше условий, приближенно имеет закон распределения Колмогорова. Все расчеты сводим в таблицу: № xi 1 … N … Fˆ ( xi ) F ( xi ) Di 5) По таблицам распределения Колмогорова находим критическое значение критерия (правосторонний квантиль) крит   . 6) Если выб  крит , то гипотеза H 0 принимается (верна). Если выб  крит , гипотеза H 0 отвергается. Замечание. Иногда для упрощения расчетов вместо элементов вариационного ряда берут либо границы интервалов, либо середины интервалов. В этом случае расчеты упрощаются (особенно для больших выборок), но могут быть очень приближенными. 8.6.3. Критерий Мозеса-Смирнова (  2 ) Данный критерий является более мощным, чем все предыдущие, но его применение требует большего числа вычислительных операций. Применение данного критерия является обязательным для N  200 . Если N  200 , данный критерий рекомендуется применять, когда результаты проверки по другим критериям не позволяют сделать вывод о согласии эмпирического и теоретического распределений (критерии дают противоречивые результаты). В отличие от критерия Колмогорова, в котором расхождение между эмпирической и теоретической функциями распределения измеряется максимумом абсолютной величины разности этих функций, критерий  2 использует статистику, которая представляет собой взвешенную сумму квадратов этих разностей:   2   Fˆ ( x)  F ( x)2 ( x)dx ,  где (x) – весовая функция. Конкретный вид статистики критерия определяется видом весовой функции (x) . 1) ( x)  1; 1 2)  ( x)  . F ( x)  [1  F ( x)] Для (2) выборочное значение критериальной статистики рассчитывается как N 2 j 1 2 j 1   2 выб   N  2     ln F ( x j )  (1  )  ln 1  F ( x j )  , 2N  j 1 2 N x j – вариационный ряд. Находят критическое значение критерия для выбранного уровня 2 значимости α и для соответствующей весовой функции (x) крит  2 (правосторонний квантиль). 2 2 Если выб , то выдвинутая гипотеза H 0 принимается.  крит   8.7. Подбор подходящей кривой распределения (предварительный выбор теоретического распределения) Существует много методов выбора теоретического закона распределения: 1) Сглаживание гистограммы может быть произведено известной типовой функцией f (x) (метод «фоторобота»). 2) Вероятностная бумага (старый метод). ЭФР наносится на вероятностную бумагу. Если закон распределения выбран верно, то значения ЭФР будут располагаться вдоль прямой. Бумага для каждого закона своя и трудно ее найти. S 3) По величине эмпирического коэффициента вариации vˆ  x . x Каждому закону распределения соответствует свой приближенный интервал для теоретического коэффициента вариации v  x mx : для нормального: 0,08;0,4 ; для Вейбулла: 0,36;0,63 , 0,4;0,85 ; для показательного: 0,6;1,3. Недостатки: коэффициент вариации не отражает степень симметрии кривой распределения, неоднозначность выбора. 4) Правило 3σ для коэффициентов асимметрии и эксцесса Находим оценки СКО для случайных величин ˆ1 и ˆ2 : 6( N  1) 24( N  2)( N  3) , Sˆ2  . ( N  1)( N  3) ( N  1)2 ( N  3)( N  5) Если ˆ1  M[ˆ1]  3Sˆ1 и ˆ2  M[ˆ2 ]  3Sˆ2 , то закон распределения Sˆ1  выбран скорее всего верно. Недостатки: приближенное эмпирическое правило, нет строгих доказательств. 5) Метод моментов. Один из самых эффективных, но сложный. Состоит в том, что для некоторой f (x) из заданного семейства функций обеспечивается совпадение расчетных и наблюдаемых первых 4-х моментов. Наиболее часто для этого используется семейство кривых Пирсона. Из-за сложности часто применяется упрощенная версия, связанная с выбором одной из функций семейства Пирсона по номограмме (см. книгу Плескунин В.И. Теоретические основы организации и анализа выборочных данных в эксперименте). По осям номограммы отложены коэффициенты, связанные с коэффициентами асимметрии и эксцесса. Поле номограммы разбито на несколько областей, каждая из которых соответствует некоторой функции f (x) из семейства Пирсона. Поэтому, если нанести на поле точку, соответствующую оценкам ˆ1 и ˆ2 , то она укажет на наиболее подходящую кривую f (x) ( с точки зрения Пирсона). Как правило, точка ( ˆ1 , ˆ2 ) попадает не на конкретную кривую f (x) , а в область, и требуется дальнейший выбор кривой распределения. 6) В некоторых случаях для построения подходящей кривой распределения применяется метод, связанный с разложением этой функции в ряд: f ( x)    cii ( x) , i 0 где i (x) – система линейно независимых функций; ci – неизвестные коэффициенты. При применении любого метода надо придерживаться следующего правила: выбирать надо наиболее простую модель f (x) и использовать ее до тех пор, пока в ходе эксперимента не будут получены данные, которые ее отвергают. 8.8. Оценка параметров закона распределения В любом случае независимо от метода становится известна структура функции f (x) f ( x, 1, 2 ,...,m ) , где i – неизвестные параметры закона распределения, которые необходимо оценить по той же самой выборке. Чаще всего для нахождения оценок параметров закона распределения применяется метод моментов: совпадение теоретических моментов СВ и их оценок. Моменты (начальные и центральные) как и их оценки являются функциями параметров закона распределения. Поэтому надо составить систему независимых уравнений, число которых равно количеству параметров закона, и решить ее. Общая схема: mˆ 1  1(ˆ1, ˆ2 ,...,ˆm ) m1  1(1, 2 ,...,m )   ........ , ........ , m   ( ,  ,..., )  ˆ ˆ ˆ m 1 2 m  m mˆ m  m (1, 2 ,...,m ) решая эту систему, находим оценки параметров ˆ1, ˆ2 ,...,ˆm и ( ,  ,..., )  (ˆ , ˆ ,...,ˆ ) . 1 2 m 1 2 m Аналогично можно действовать через центральные моменты или использовать комбинация моментов (чаще всего). 1) Нормальный закон: N (mx , x2 )  m1  mx  mˆ 1  mˆ x  x  2 ˆ  2  Dx  ˆ 2  Dx  S x 2) Равномерный закон: R(a, b) ab  m  m   ( a , b )  1 x 1  2 ;  2 ( b  a )    D   ( a, b)  x 2  2 12  aˆ  bˆ x    2 .  2 ˆ ˆ ( b  a )  2 S x  12 Решая эту систему, находим оценки â и b̂ . Значит, a  aˆ , b  bˆ . Замечание. Если решим эту задачу через, например, ˆ1 , ˆ2 , то ответ будет другой.