Дисперсионный анализ

СТАТИСТИЧЕСКИЕ МЕТОДЫ В УПРАВЛЕНИИ КАЧЕСТВОМ ДИСПЕРСИОННЫЙ АНАЛИЗ к.т.н., доцент Воейко О.А. Лекция для аспирантов Дисперсионный анализ  Целью дисперсионного анализа является исследование влияния тех или иных факторов на изменчивость средних значений изучаемого признака. Для этого производится разложение дисперсии наблюдаемой совокупности на составляющие, порождаемые независимыми факторами. Однофакторный дисперсионный анализ Статистика F-критерия Однофакторный дисперсионный анализ   (ANOVA — Analysis of Variance). Дисперсионный анализ, использующий полностью рандомизированные планы, называется однофакторной процедурой ANOVA. Допущения для однофакторного дисперсионного анализа 1. 2. Набор данных состоит из с случайных выборок из с генеральных совокупностей. Все генеральные совокупности имеют нормальное распределение и одинаковые стандартные отклонения σ1=σ2= … =σс. Однофакторный дисперсионный анализ SST SSA SSW Н𝟎: 𝛍𝟏 = 𝛍𝟐 = … = 𝛍𝐜, Н𝟏: не все 𝛍 одинаковы (𝐣 = 𝟏, 𝟐, … , с) Однофакторный дисперсионный анализ Истинная нулевая гипотеза о математических ожиданиях пяти сравниваемых групп при условии, что генеральные совокупности имеют нормальное распределение и одинаковую дисперсию. Однофакторный дисперсионный анализ Ложная нулевая гипотеза о математических ожиданиях пяти сравниваемых групп при условии, что генеральные совокупности имеют нормальное распределение и одинаковую дисперсию. Однофакторный дисперсионный анализ Полная вариация 𝑐 𝑛𝑗 (𝑋𝑖𝑗 − 𝑋)2 𝑆𝑆𝑇 = 𝑗=1 𝑖=1 где 𝑋= 1 𝑛 𝑐 𝑗=1 𝑛𝑗 𝑋 𝑖=1 𝑖𝑗 -общее среднее, 𝑋𝑖𝑗 - i-е наблюдение в j-й группе или уровне, 𝑛𝑗 - количество наблюдений в j-й группе , 𝑛 – общее количество наблюдений во всех группах (т.е. 𝑛 = 𝑛1 + 𝑛2 + ⋯ + 𝑛𝑐 ), с – количество изучаемых групп или уровней. Однофакторный дисперсионный анализ Межгрупповая вариация равна сумме квадратов разностей между выборочным средним каждой группы Х и общим средним Х , умноженных на объем соответствующей группы 𝑛𝑗 . 𝑐 𝑛𝑗 (𝑋𝑗 − 𝑋)2 𝑆𝑆𝐴 = 𝑗=1 где с – количество изучаемых групп или уровней, 𝑛𝑗 - количество наблюдений в j-й группе, 𝑋𝑗 - среднее значение в j-й группе, 𝑋 - общее среднее. Однофакторный дисперсионный анализ Внутригрупповая вариация равна сумме квадратов разностей между элементами каждой группы и выборочным средним этой группы 𝑋𝑗 . 𝑐 𝑛𝑗 (𝑋𝑖𝑗 − 𝑋𝑗 )2 𝑆𝑆𝑊 = 𝑗=1 𝑖=1 где 𝑋𝑖𝑗 - i-е наблюдение в j-й группе или уровне, 𝑋𝑗 - среднее значение в j-й группе Внутригрупповая сумма квадратов имеет n-c степеней свободы 𝑐 (𝑛𝑗 − 1) = 𝑛 − 𝑐 𝑗=1 Однофакторный дисперсионный анализ Если каждую из этих сумм разделить на соответствующее количество степеней свободы, возникнут три вида дисперсии: межгрупповая (MSA Mean Square Among), внутригрупповая (MSW Mean Square Within) и полная (MST Mean Square Total). Дисперсии 𝑆𝑆𝐴 𝑀𝑆𝐴 = 𝑐−1 𝑆𝑆𝑊 𝑀𝑆𝑊 = 𝑛−𝑐 𝑆𝑆𝑇 𝑀𝑆𝑇 = 𝑛−1 Однофакторный дисперсионный анализ Статистика F-критерия, представляющую собой отношение двух дисперсий, MSA и MSW. 𝑀𝑆𝐴 𝐹= 𝑀𝑆𝑊 Однофакторный дисперсионный анализ Нулевая гипотеза Н0 отклоняется, если 𝐹 > 𝐹𝑈 ; в противном случае она не отклоняется. Однофакторный дисперсионный анализ Вид величины Количество Суммы степеней квадратов свободы Дисперсии F-статистика F=MSA/MSW Межгрупповая c-1 SSA MSA=SSA/(c-1) Внутригрупповая n-c SSW MSW=SSW/(n-c) Полная n-1 SST Процедура Тьюки-Крамера Множественное сравнение: процедура Тьюки-Крамера Множественное сравнение: процедура Тьюки-Крамера Критический размах процедуры Тьюки-Крамера вычисляется по формуле Критический размах=𝑄𝑈 𝑀𝑆𝑊 1 1 + 2 𝑛𝑗 𝑛𝑗′ где 𝑄𝑈 - верхнее критическое значение распределения стьюдентизированного размаха, имеющего с степеней свободы в числителе и n – с степеней свободы в знаменателе. На последнем этапе каждая из с(с-1)/2 пар математических ожиданий сравнивается с соответствующим критическим размахом. Элементы пары считаются значимо различными, если модуль разности 𝑋𝑗 − 𝑋𝑗 , между ними превышает критический размах. Необходимые условия однофакторного дисперсионного анализа Однофакторный F-критерий также можно применять, только если выполняются три основных предположения: экспериментальные данные должны быть случайными и независимыми, иметь нормальное распределение, их дисперсии должны быть одинаковыми Критерий Левенэ для проверки однородности дисперсии Критерий Левенэ для проверки однородности дисперсии Для проверки равенства дисперсий с генеральных совокупностей проверим следующие гипотезы: 𝐻0: 𝜎12 = 𝜎22 = ⋯ = 𝜎𝑐2 𝐻1: не все 𝜎𝑗2 одинаковы (𝑗 = 1, 2, … , 𝑐) ДВУХФАКТОРНЫЙ ДИСПЕРСИОННЫЙ АНАЛИЗ Обозначения r – количество уровней фактора А с – количество уровней фактора В n' – количество величин (реплик) в каждой ячейке, соответствующей конкретным уровням факторов А и В n – общее количество реплик (n=rcn’) Обозначения 𝑋𝑖𝑗𝑘 - значение k-го наблюдения, соответствующего i-му уровню фактора А и j-му уровню фактора В 1 𝑐 𝑟 𝑛′ 𝑋= 𝑖=1 𝑗=1 𝑘=1 𝑋𝑖𝑗𝑘 - общее среднее 𝑟𝑐𝑛′ 1 𝑋𝑖 = 𝑐𝑛′ 𝑐 𝑗=1 𝑛′ 𝑘=1 𝑋𝑖𝑗𝑘 - среднее значение, соответствующее i-му уровню фактора А (i=1,2, …, r) 1 𝑟 𝑛′ 𝑋𝑗 = 𝑋 - среднее значение, 𝑟𝑛′ 𝑖=1 𝑘=1 𝑖𝑗𝑘 соответствующее j-му уровню фактора В (j=1,2, …, c) 1 𝑛′ 𝑋𝑖𝑗 = 𝑋𝑖𝑗𝑘 - среднее значение, соответствующее 𝑘=1 𝑛′ i-му уровню фактора А и j-му уровню фактора В Оценка факторов и эффектов взаимодействия Разделение полной вариации SST= SSA + SSB + SSAB + SSE Вариация фактора А (SSA) d.f.=r-1 Вариация фактора В (SSB) Полная вариация (SST) d.f.=c-1 d.f.=n-1 Взаимодействие (SSAB) d.f.=(r-1)(c-1) Случайная вариация (SSE) d.f.=rc(n’-1) Оценка факторов и эффектов взаимодействия Полная сумма квадратов (SST) 𝑟 𝑐 𝑛′ (𝑋𝑖𝑗𝑘 −𝑋)2 S𝑆𝑇 = 𝑖=1 𝑗=1 𝑘=1 Сумма квадратов, соответствующая фактору А (SSA) 𝑟 𝑆𝑆𝐴 = 𝑐𝑛′ 𝑋𝑖 − 𝑋 2 𝑖=1 Сумма квадратов, соответствующая фактору В (SSВ) 𝑐 𝑆𝑆𝐵 = 𝑟𝑛′ 𝑋𝑗 − 𝑋 2 𝑗=1 Сумма квадратов, учитывающая взаимодействие между факторами А и В (SSAB) 𝑟 𝑐 S𝑆𝐴𝐵 = 𝑛′ 𝑋𝑖𝑗 − 𝑋𝑖 − 𝑋𝑗 + 𝑋 𝑖=1 𝑗=1 Сумма квадратов ошибок (SSE) 𝑟 S𝑆𝐸 = 𝑐 𝑛′ (𝑋𝑖𝑗𝑘 −𝑋𝑖𝑗 )2 𝑖=1 𝑗=1 𝑘=1 2 Двухфакторный дисперсионный анализ Оценка факторов и эффектов взаимодействия Вычисление дисперсий Если каждую сумму квадратов разделить на соответствующее количество степеней свободы, получится четыре типа дисперсии: MSA, MSB, MSAB и MSE. 𝑆𝑆𝐴 𝑀𝑆𝐴 = 𝑟−1 𝑆𝑆𝐵 𝑀𝑆𝐵 = 𝑐−1 𝑆𝑆𝐴𝐵 𝑀𝑆𝐴𝐵 = (𝑟 − 1)(𝑐 − 1) 𝑆𝑆𝐸 𝑀𝑆𝐸 = 𝑟𝑐(𝑛′ − 1) В двухфакторном дисперсионном анализе применяются три разных критерия 1. Для проверки гипотезы об отсутствии эффекта фактора А Н0: μ1=μ2= ... =μc, и альтернативной гипотезы Н1: не все μ одинаковы (j=1, 2, …, с) 𝑀𝑆𝐴 применяется F-статистика, вычисленная по формуле 𝐹 = 𝑀𝑆𝐸 При заданном уровне значимости α нулевая гипотеза отклоняется, если 𝑀𝑆𝐴 𝐹= > 𝐹𝑈 𝑀𝑆𝐸 где 𝐹𝑈 - верхнее критическое значение F-распределения, имеющего r-1 степеней свободы в числителе и rc(n’-1) степеней свободы в знаменателе. В двухфакторном дисперсионном анализе применяются три разных критерия 2. Для проверки гипотезы об отсутствии эффекта фактора В Н0: μ1=μ2= ... =μc, и альтернативной гипотезы Н1: не все μ одинаковы (j=1, 2, …, с) 𝑀𝑆𝐵 применяется F-статистика, вычисленная по формуле 𝐹 = 𝑀𝑆𝐸 При заданном уровне значимости α нулевая гипотеза отклоняется, если 𝑀𝑆𝐵 𝐹= > 𝐹𝑈 𝑀𝑆𝐸 где 𝐹𝑈 - верхнее критическое значение F – распределения, имеющего c-1 степеней свободы в числителе и rc(n’-1) степеней свободы в знаменателе В двухфакторном дисперсионном анализе применяются три разных критерия 3. Для проверки гипотезы об отсутствии эффекта факторов А и В Н0: взаимодействие факторов А и В равно нулю и альтернативной гипотезы Н1: взаимодействие факторов А и В не равно нулю 𝑀𝑆𝐴𝐵 применяется F-статистика, вычисленная по формуле 𝐹 = 𝑀𝑆𝐸 При заданном уровне значимости α нулевая гипотеза отклоняется, если 𝑀𝑆𝐴𝐵 𝐹= > 𝐹𝑈 𝑀𝑆𝐸 где 𝐹𝑈 - верхнее критическое значение F – распределения, имеющего (r-1)(c-1) степеней свободы в числителе и rc(n’-1) степеней свободы в знаменателе. Двухфакторный дисперсионный анализ Дисперсионный анализ в двухфакторном эксперименте Источник вариации А В АВ Ошибка Всего Количество Суммы степеней квадрато Дисперсии свободы в r-1 SSA MSA=SSA/(r-1) c-1 SSB MSB=SSB/(c-1) (r-1)(c-1) SSAB MSAB=SSAB/(r-1)(c-1) rc(n’-1) SSE MSE=SSE/rc(n’-1) n-1 SST F-статистика F=MSA/MSE F=MSB/MSE F=MSAB/MSE Множественные сравнения Процедуры Тьюки-Крамера Критический размах процедуры Тьюки-Крамера для фактора А Критический размах = Q U 𝑀𝑆𝐸 𝑐𝑛′ Критический размах процедуры Тьюки-Крамера для фактора В Критический размах = Q U 𝑀𝑆𝐸 𝑟𝑛′ где Qu — верхнее критическое значение распределения стьюдентизированного размаха, имеющего r (для А и с для В) степеней свободы в числителе и rc ( n’ - l ) степеней свободы в знаменателе. Распределение стьюдентизированного размаха приведено в таблице. Спасибо за внимание!