Статистическая оценка параметров распределения

Лекции по математической статистике ЛЕКЦИЯ 2. СТАТИСТИЧЕСКАЯ ОЦЕНКА ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЯ ПЛАН ЛЕКЦИИ  Определение и характеристики статистической оценки параметров распределения .  Точечные оценки параметров распределения  Интервальные оценки параметров нормального распределения ЗАДАЧА СТАТИСТИЧЕСКОЙ ОЦЕНКИ ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЯ Требуется: изучить количественный признак генеральной совокупности  Выяснили, какое распределение имеет этот признак в генеральной совокупности  Задача: оценить параметры, которыми определяется это распределение. Например, если предполагаем нормальное распределение признака, то нужно оценить 2 параметра этого распределения: а и σ.  ОЦЕНКА ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЯ Входные данные: имеются данные выборки, полученные в результате n наблюдений: x1 , x2 , x3 , , xn . Будем рассматривать их как значения независимых случайных величин X 1 , X 2 , X 3 , , X n . Тогда: найти статистическую оценку неизвестного параметра теоретического распределения означает найти функцию от наблюдаемых случайных величин, которая и дает приближенное значение оцениваемого параметра. ОПРЕДЕЛЕНИЕ СТАТИСТИЧЕСКОЙ ОЦЕНКИ   Статистической оценкой неизвестного параметра теоретического распределения называют функцию от наблюдаемых случайных величин. Оценка может быть точечной или интервальной. ХАРАКТЕРИСТИКИ СТАТИСТИЧЕСКОЙ ОЦЕНКИ      Пусть θ* есть статистическая оценка неизвестного параметра теоретического распределения θ. При выборке объема n найдена оценка θ1*. Повторим опыт и для новой выборки того же объема найдем оценку θ2*. Получим набор чисел θ1*, θ2*, …, θn*. Значит θ* - случайная величина с перечисленными значениями. ОЦЕНКА     Θ* Если оценка θ* дает приближенное значение θ с избытком, то найденное по данным выборок число будет больше истинного значения . Следовательно, М(θ*)> θ. Если θ* дает приближенное значение θ с недостатком, то М(θ*)< θ. Использование таких оценок приведет к систематическим ошибкам. ХАРАКТЕРИСТИКИ ТОЧЕЧНОЙ СТАТИСТИЧЕСКОЙ ОЦЕНКИ Определение 2.1. Статистическая оценка Θ* называется несмещенной, если ее математическое ожидание равно оцениваемому параметру Θ при любом объеме выборки: М(Θ*) = Θ. (2.1) ХАРАКТЕРИСТИКИ ТОЧЕЧНОЙ СТАТИСТИЧЕСКОЙ ОЦЕНКИ Определение 2.1. Статистическая оценка Θ* называется несмещенной, если ее математическое ожидание равно оцениваемому параметру Θ при любом объеме выборки: М(Θ*) = Θ. (2.1) Смещенной называют оценку, математическое ожидание которой не равно оцениваемому параметру. СТАТИСТИЧЕСКАЯ ОЦЕНКА Определение 2.2. Статистическая оценка называется эффективной, если она при заданном объеме выборки п имеет наименьшую возможную дисперсию. СТАТИСТИЧЕСКАЯ ОЦЕНКА Определение 2.2. Статистическая оценка называется эффективной, если она при заданном объеме выборки п имеет наименьшую возможную дисперсию. Определение 2.3. Состоятельной называется статистическая оценка, которая при п→∞ стремится по вероятности к оцениваемому параметру (если эта оценка несмещенная, то она будет состоятельной, если при п→∞ ее дисперсия стремится к 0). Пусть изучается дискретная генеральная совокупность относительно количественного признака X Генеральной средней называется среднее арифметическое значений признака генеральной совокупности. 1 k xГ =  xi mi N i =1 1 N xГ =  xi N i =1 Где xi — значения признака генеральной совокупности объема N ; mi - соответствующие k частоты, причем m =N  i =1 i ОЦЕНКА ГЕНЕРАЛЬНОГО СРЕДНЕГО 1 n xВ =  xi = x n i =1  Выборочное среднее  Определим характеристики оценки xВ : 1 n 1 n  M  xВ  = M   xi  =  M  xi  = n i =1  n i =1  1 n =  xВ = xВ . n i =1 т.е. оценка несмещенная. ОЦЕНКА ГЕНЕРАЛЬНОГО СРЕДНЕГО  Оценим дисперсию оценки xВ : 1 n  1 n 1 n   D  xВ  = D   xi  = D   xi  = 2  D  xi  =  n i =1   n i =1  n i =1 1 n 1 = 2  D  x  = D  x . n n i =1 xВ  При неограниченном увеличении n дисперсия  стремится к нулю. Т.е. оценка x состоятельна. В ВЫВОДЫ  1) если генеральная средняя неизвестна и требуется оценить ее по данным выборки, то в качестве оценки генеральной средней принимают выборочную среднюю, которая является несмещенной и состоятельной оценкой.  2) если по нескольким выборкам достаточно большого объема из одной и той же генеральной совокупности будут найдены выборочные средние, то они будут приближенно равны между собой (свойство устойчивости выборочных средних). ВЫВОДЫ  3) если дисперсии двух совокупностей одинаковы, то близость выборочных средних к генеральным зависит от объема выборки: чем больше объем выборки, тем меньше выборочная средняя отличается от генеральной. ОЦЕНКА ГЕНЕРАЛЬНОЙ ДИСПЕРСИИ Рассеяние значений количественного признака X генеральной совокупности вокруг своего среднего значения характеризуется генеральной дисперсией. Генеральной дисперсией DГ называется среднее арифметическое квадратов отклонений значений признака генеральной совокупности от их среднего значения x Г , которое вычисляется по формуле 1 k 2 DГ =  ( xi − xГ )  mi N i =1 ОЦЕНКА ГЕНЕРАЛЬНОЙ ДИСПЕРСИИ  Выборочной дисперсией DВ называется среднее арифметическое квадратов отклонений наблюденных значений признака от их среднего значения , которое вычисляется по формуле 1 k 2 DВ =  ( xi − xВ )  mi n i =1 ОЦЕНКА ГЕНЕРАЛЬНОЙ ДИСПЕРСИИ  Оценим математическое ожидание DВ . Для этого используем дополнительные сведения о СВ и их математическом ожидании и дисперсии.  Пусть X – центрированная СВ, тогда ее математическое ожидание равно 0.  Из свойств дисперсии мы знаем, что D ( x + C ) = D ( x). Тогда можно изучать свойства дисперсии любой СВ, как дисперсии от соответствующей центрированной СВ.  1 n 2  1 n 2   2  2  M  DВ  = M  x В −  xВ   = M   x i −   xi   =     n i =1     n i =1 1 n 2 1 n 2 n  = M   x i − 2  xi −   xi  x j   = n i =1  n i =1   n i =1  n −1 n 2 2 n   = M  2  x i −   xi  x j   = n i j    n i =1 n −1 n  2  2 n   = 2  M  x i  −  M  xi  x j  = n i =1   n i  j   2 n − 1 n   2      = 2   M  x i  −  M  xi    = n i =1         2   2      n −1 n −1 = 2  M  x  − M  x   n = D( x ) n         n ОЦЕНКА ДИСПЕРСИИ  Несмещенная состоятельная оценка генеральной дисперсии n 1 n n 2 S =   ( xi − x ) = DВ = n − 1 n i =1 n −1 2 1 n 2 n 2 = x .  xi − n − 1 i =1 n −1 ОЦЕНКА СРЕДНЕГО КВАДРАТИЧЕСКОГО ОТКЛОНЕНИЯ  Генеральным средним квадратическим отклонением называют квадратный корень из генеральной дисперсии:  Г = DГ  Выборочным средним квадратическим отклонением называют квадратный корень из выборочной дисперсии:  = D В  В Исправленное выборочное среднее квадратическое отклонение: S = S2 ТОЧЕЧНЫЕ ОЦЕНКИ ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЯ Оценка генерального среднего: 1 n xВ =  xi = x n i=1  Оценка генеральной дисперсии: n S = DВ n −1  Оценка генерального среднего квадратического отклонения:  2 S= S 2 ИНТЕРВАЛЬНЫЕ ОЦЕНКИ Доверительным интервалом (Ѳ1, Ѳ2) для параметра Ѳ называется такой интервал, относительно которого с заранее выбранной вероятностью p=1-α ,близкой к 1, можно утверждать, что P ( 1     2 ) = 1 − . Вероятность p=1-α (надежностью). принято называть доверительной Наиболее часто задают надежность, равную 0,95; 0,99; 0,999. ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ИНТЕРВАЛОВ 1. Доверительный интервал для оценки математического ожидания нормального распределения при известной дисперсии. Применим формулу для вероятности попадания нормально распределенной случайной величины в заданный интервал.  P ( X − a   ) = 2    ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ИНТЕРВАЛОВ  P ( X − a   ) = 2     X =  ( )  Тогда, с учетом того, что n    ,  n  получим P X − a   = 2  .    t  n = . Пусть t = n  Подставим ε ( ) t t   P XВ −  a  XВ +  = 2 ( t ) =  n n  ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ИНТЕРВАЛОВ Итак, математическое ожидание а с надежностью γ попадает в интервал t t XВ −  a  XВ + , n n где значение t находим по таблицам функции Лапласа так, чтобы 2 ( t ) = . ПРИМЕР 1 Найдем доверительный интервал для математического ожидания нормально распределенной случайной величины, если объем выборки п = 49, xB = 2,8, σ = 1,4, а доверительная вероятность γ = 0,9. Определим t, при котором Ф(t) = 0,9:2 = 0,45: t = 1,645. Тогда 2,8 − 1,645  1,4 49  a  2,8 + 1,645  1,4 14 , или 2,471 < a < 3,129. Найден доверительный интервал, в который попадает а с надежностью 0,9. ИНТЕРВАЛЬНЫЕ ОЦЕНКИ ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЯ 2. Доверительный интервал для оценки математического ожидания нормального распределения при неизвестной дисперсии. Для построения интервальной оценки при неизвестной дисперсии рассмотрим дополнительно распределение Стьюдента. РАСПРЕДЕЛЕНИЕ СТЬЮДЕНТА Если X1 , X 2 , , Xn − независимые нормально распределенные СВ: X i ( ) ____ N a, S 2 , i = 1, n , Рассмотрим случайную величину Т={t}, 2 XВ − a 1 n t= , SВ =  ( xi − X B ) . n − 1 i =1 SВ n Она имеет распределение, называемое t – распределением или распределением Стьюдента с (n-1) степенями свободы.  РАСПРЕДЕЛЕНИЕ СТЬЮДЕНТА Стьюдент (псевдоним английского математика Госсета) показал, что плотность вероятности СВ Т имеет вид: n n − Г  2   2 t 2  fn (t ) = 1+ ,    n −1   n −1   ( n − 1) Г    2   где Г ( x) =  t x−1e −t dt - гамма-функция Эйлера. График плотности Т похож на график плотности вероятности нормального распределения, но f n ( t ) определяется только объемом выборки и не зависит от аиσ. ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ИНТЕРВАЛОВ P ( t  t ) =  f n (t )dt =  t − t f n ( t ) - четная, поэтому t  = 2  f n (t )dt. Из этого равенства можно найти t по заданным n и γ. XВ − a t= SВ n  XВ − a   P  t  =  S  n  В  t S В  P XВ − a  n   =  ПОСТРОЕНИЕ ДОВЕРИТЕЛЬНЫХ ИНТЕРВАЛОВ Итак, математическое ожидание а с надежностью γ попадает в интервал XВ − t S В  a  XВ + t S В , n n где значение t  находим по таблице Стьюдента. Замечание: Так как распределение Стьюдента при стремится к нормальному, то при n>30 вместо него можно использовать нормальное распределение. n→ ПРИМЕР 2 Пусть объем выборки п = 25, х В = 3, s = 1,5. Найдем доверительный интервал для а при γ = 0,99. Из таблицы находим, что tγ (п = 25, γ = 0,99) = 2,797. Тогда 3 − 2,797  1,5 25  a  3+ 2,797  1,5 25 , или 2,161< a < 3,839 – доверительный интервал, в который попадает а с вероятностью 0,99. ИНТЕРВАЛЬНЫЕ ОЦЕНКИ ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЯ 2. Доверительный интервал для оценки среднего квадратического отклонения нормального распределения при неизвестной дисперсии.  Будем искать для среднего квадратического отклонения нормально распределенной случайной величины доверительный интервал вида (s – δ, s +δ), где s – исправленное выборочное среднее квадратическое отклонение, а для δ выполняется условие: p ( |σ – s| < δ ) = γ. s (1 − q )    s (1 + q ) , q  1 0    s (1 + q ) , q  1 Существуют таблицы для распределения «хи-квадрат», из которых можно найти q по заданным п и γ. Таким образом, вычислив по выборке значение s и определив по таблице значение q, можно найти доверительный интервал, в который значение σ попадает с заданной вероятностью γ. ПРИМЕР 3 Пусть п = 20, s = 1,3. Найдем доверительный интервал для σ при заданной надежности γ = 0,95. Из соответствующей таблицы находим q (n = 20, γ = 0,95 ) = 0,37. Следовательно, границы доверительного интервала: 1,3(1-0,37) = 0,819 и 1,3(1+0,37) = 1,781. Итак, 0,819 < σ < 1,781 с вероятностью 0,95 ДОПОЛНИТЕЛЬНЫЙ МАТЕРИАЛ ПО РАСПРЕДЕЛЕНИЯМ СТЬЮДЕНТА И Х-КВАДРАТ РАСПРЕДЕЛЕНИЕ "Χ-КВАДРАТ".   Пусть имеется несколько нормированных нормально распределенных случайных величин: Х1, Х2,…, Хп (ai = 0, σi = 1). n 2 2 Тогда сумма их квадратов  =  X i является СВ, i =1 распределенной по закону «χ - квадрат» с k=n степенями свободы.  Если слагаемые связаны каким-либо соотношением, например n  X i = nx , то число степеней свободы i =1 равно k=n-1. РАСПРЕДЕЛЕНИЕ "Χ-КВАДРАТ"  Плотностью этого распределения является функция  0, x  0 x k  − −1 1  2 2 f ( x) =  k  e  x , x  0.  22 Г  k     2   Здесь Г ( x) =  t x−1e − t dt - гамма-функция, в частности, Г (n + 1) = n ! ОСОБЕННОСТИ РАСПРЕДЕЛЕНИЯ "Χ-КВАДРАТ"   Однопараметрическое распределение С увеличением числа степеней свободы стремится к нормальному распределению Замечание. Если X 1 , X 2 , , X n − независимые нормально распределенные СВ: Xi ) N ,  2 , i = 1, n ,  Xi −   Y =  i =1    n μ известно, то СВ ( ____ 2 2 ( n ) . 2  ( n ) с n степенями свободы Пусть Fn - функция распределения и    0,1. Тогда α-квантилью этого распределения называют число  2 ( , n ) такое, что Fn (  2 ( , n ) ) = . РАСПРЕДЕЛЕНИЕ СТЬЮДЕНТА Рассмотрим две независимые случайные величины:  Z – нормированную c нормальным распределением (то есть М( Z ) = 0, σ( Z) = 1),  V, распределенную по закону «χ-квадрат» с k степенями свободы. Z Тогда величина Т = V имеет распределение, k называемое t – распределением или распределением Стьюдента с k степенями свободы. РАСПРЕДЕЛЕНИЕ СТЬЮДЕНТА С возрастанием числа степеней свободы распределение Стьюдента быстро приближается к нормальному. α-квантилью этого распределения называют число t ,n такое, что Fn ( t ,n ) = . Замечание. Если X1 , X 2 , , X n − независимые ____ 2 нормально распределенные СВ: X i N ( ,  ) , i = 1, n , тогда для X −  xi t ( n − 1) . i =1,n S X= n n