Статистическое оценивание параметров

Статистическое оценивание параметров Методы описательной статистики, представленные ранее, используются для лаконичного и компактного описания информации, содержащейся в массиве необработанных данных. После выбора и обоснования математической модели механизма изучаемого явления очередной становится задача статистического оценивания неизвестных значений параметров, участвующих в описании анализируемой модели. Изложению основных элементов этой задачи и посвящена настоящая глава. Постановка задачи оценивания параметров Пусть мы располагаем исходными статистическими данными – выборкой x1 , x2 ,, xn  из исследуемой генеральной совокупности и пусть интересующие нас свойства этой генеральной совокупности могут быть описаны с помощью уравнения (математической модели)  x,   0 , где x – текущее (т.е. подставляемое по нашему усмотрению) значение исследуемого случайного признака,   1 ,, k  – k -мерный параметр, определяющий модель, значения которого неизвестны до получения выборки. Задача статистического оценивания неизвестных параметров  по данной выборке заключается в построении такой k -мерной функции ~   Τ x1 ,, xn  от имеющихся у нас наблюдений, которая давала бы в определенном смысле наиболее точные приближенные значения для истинных (не известных нам) значений параметров   1 ,, k  . Здесь не уточняется ~ ~ пока, в каком именно смысле приближенные значения 1 ,  ,  k соответственно параметров 1 , , k являются наилучшими. В качестве математических моделей могут рассматриваться модели законов распределения вероятностей, модели статистических зависимостей, существующих между анализируемыми показателями и т. п. Например, пусть нашей целью является исследование закона распределения наблюдаемой дискретной случайной величины Χ . На основании общетеоретических рассуждений есть основание считать, что таким законом является распределение Пуассона, Χ~Π λ . Тогда в качестве искомой модели используется соотношение λx Ρ Χ  x,λ   e  , x! где x принимает лишь целочисленные значения, а   ΜΧ – неизвестный параметр   1  . Если исследуется закон распределения непрерывной случайной величины Χ , и предварительный анализ природы исходных данных, осуществляемый с помощью методов описательной статистики, приводит нас к выводу, что этот закон может быть описан нормальной моделью, т.е. Χ~Ν a,σ  , то в качестве модели принимается функция плотности вероятности   x a 2 1 2 e 2 , 2  2 где a  ΜΧ  1 ,   DΧ   2 ,   1 , 2  – неизвестны. И, наконец, речь может идти о построении линейной функции y  a  bx , где y – расходы на приобретение определенной группы товаров, x – располагаемый доход, a и b – неизвестные параметры, значения которых неизвестны до получения наблюдений над переменными x и y . В дальнейшем будем рассматривать, в основном, модели законов распределения вероятностей, т.е. будем считать, что случайная величина Χ имеет плотность p x;  , зависящую от параметра  , одномерного или многомерного, принимающего значения из некоторого множества ,    . В частности, если p x;  – одномерная плотность и независимая выборка получена из распределения с этой плотностью, то n -мерная плотность, соответствующая выборке равна произведению f  x, a ,    n p  Χ; θ   p  x1 ,x2 , ,xn ;θ    p  xi ;θ  . i 1 Хотя мы будем далее говорить о px; θ  как о плотности, все сказанное с очевидными видоизменениями будет применено и к дискретным случайным величинам с законом распределения px;θ   ΡΧ  x;θ, где x принимает счетное или конечное множество значений. Свойства точечных оценок Итак, задача оценивания параметра  , определяющего распределение p x; , состоит в нахождении такой функции ~ θ  Τ  x1 ,x 2 , ,x n  от рассматриваемой выборки, которая в каком-либо смысле близка к параметру  . При этом предполагается, что эта функция не зависит от значения оцениваемого параметра θ . Вообще, любая функция рассматриваемого вида от выборки называется статистикой. ~ Статистика  , используемая в качестве приближенного значения неизвестного параметра θ , называется статистической оценкой. Оценка, полученная в виде одного числа – точки на числовой оси, называется точечной. Все статистики и статистические оценки являются случайными величинами, принимающими различные значения при переходе от одной выборки к другой (даже в рамках одной и той же генеральной совокупности). Однако, значения оценки, подсчитанные по разным выборкам и подверженные случайному разбросу, должны концентрироваться около истинного значения оцениваемого параметра. Это обеспечивается требованиями, предъявляемыми к точечным оценкам, которые формулируются обычно с помощью следующих трех свойств оценок: состоятельности, несмещенности и эффективности. ~ Состоятельность. Оценка  неизвестного параметра θ называется состоятельной, если по мере роста числа наблюдений n (т.е. при n   ) она сходится по вероятности к оцениваемому значению θ , т.е. если для сколь   угодно малого   0 при n   Ρ       0 . ~ Несмещенность. Оценка  неизвестного параметра θ называется несмещенной, если при любом объеме выборки n результат ее усреднения по всем возможным выборкам данного объема приводит к точному истинному ~ значению оцениваемого параметра, т. е. Μ   . ~ Эффективность. Оценка  параметра θ называется эффективной, если она среди всех прочих оценок того же самого параметра обладает наименьшей мерой случайного разброса относительно его истинного значения, т.е. ~ ~ она имеет минимальную дисперсию: D   min ~ D .  Методы статистического оценивания неизвестных параметров Метод максимального (наибольшего) правдоподобия Пусть независимая выборка x1 , x2 ,, xn  извлечена из генеральной совокупности, вероятностные свойства которой описываются функцией p x ,θ , зависящей от одного или нескольких параметров θ . Функцию вида p  x1,  p  x2 ,  n p  xn ,    p  xi ,  i 1 можно рассматривать с двух точек зрения. С точки зрения теории вероятностей – это совместная плотность распределения выборки, где xi являются текущими значениями, а параметр θ фиксирован. С точки зрения математической статистики, наоборот, фиксированными являются значения xi (в реальных наблюдениях – это числа), а параметр θ неизвестен. Поэтому эта функция, именно в таком смысле, будет функцией аргумента θ : n L    pxi ,  . i 1 А так как функция L  задает вероятность получения при извлечении выборки объема n именно наблюдений x1 , , xn (или величину, пропорциональную вероятности получения приблизительных значений в непосредственной близости от этих точек в непрерывном случае), то чем больше зна- чение L  , тем правдоподобнее (или более вероятна) система наблюдений x1 , x2 , , xn  при заданном значении параметра θ . Отсюда и название функции L  – функция правдоподобия. Оценкой максимального правдоподобия (МП-оценкой) называется оценка ~  мп  T  x1 ,, xn  , которая обращает в максимум функцию правдоподобия: ~ L  мп  max L  .     Таким образом, согласно методу максимального правдоподобия, в фор~ мальной записи МП-оценка  мп параметра θ по независимым наблюдениям x1 , x2 , , xn может быть представлена в виде n  мп  arg max  pxi ,  . ~   i 1 Естественность такого подхода к определению статистических оценок вытекает из смысла функции правдоподобия. Действительно, по определению функция Lθ  при каждом фиксированном значении параметр θ является мерой правдоподобности получения набора x1 , x2 , , xn . Поэтому, изменяя значения параметра θ при данных конкретных (имеющихся у нас) величинах x1 , x2 , , xn , мы можем проследить, при каких значениях θ эти наблюдения являются более правдоподобными, а при каких – менее и выбрать в конечном ~ счете такое значение параметра  МП , при котором имеющаяся у нас выборка наблюдений x1 , x2 , , xn выглядит наиболее правдоподобной (очевидно, что ~ это значение  мп определяется конкретными значениями x1 , x2 , , xn , т. е. является некоторой функцией от них). Так, например, пусть Χ – заработная плата работников, подчиненная логарифмически нормальному закону ( ln Χ ~ N  a,  ). И пусть с целью определения приближенной оценки средней величины логарифма заработной платы работников a  Μ ln Χ  мы зафиксировали значения заработной платы x1  190 ден. ед., x2  175 ден. ед. и x3  205 ден. ед. у трех случайно отобранных из интересующей нас совокупности работников. Тогда, расположив yi  ln xi i  1,2,3 на оси возможных значений нормально распределенной случайной величины Υ  ln Χ , мы будем стараться подобрать такое значение a~мп параметра a в N a,  -распределении, при котором наши наблюдения y1 , y2 , y3 выглядели бы наиболее правдоподобными, а именно, при котором   произведение трех ординат плотности p y; a, 2 нормального закона, вычисленных в точках соответственно y1  ln190  5,25 , y2  ln175  5,16 и y3  ln 205  5,32 , достигало бы своего максимального значения: La~   max p y ; a, 2  p y ; a, 2  p y ; a, 2 . мп a  1   2   3    На рис. 1 изображены графики функции плотности p y; a, 2 при значении параметра a~мп  y  5,243 , соответствующем наибольшей правдоподоб- ности наблюдений y1  5,25 , y2  5,16 и y3  5,32 (сплошная кривая), и при ~  5,443, при котором наши наблюдения выглядят явно значении параметра a неправдоподобными, – пунктирная кривая (значение дисперсии σ 2 определено в обоих случаях с помощью подправленной на несмещенность оценки максимального правдоподобия и равно 0,0064). Отмеченная естественность подхода, исходящая из максимальной правдоподобности имеющихся наблюдений, подкрепляется хорошими свойствами МП-оценок. Можно показать, что при достаточно общих условиях регулярности, накладываемых на изучаемый закон распределения px; θ  , оценки ~ максимального правдоподобия  мп параметра θ являются состоятельными, асимптотически несмещенными (т. е. их смещения стремятся к нулю при неограниченном увеличении объема выборки), асимптотически эффективными и асимптотически нормальными (т.е. при выборках большого объема закон распределения оценок может быть описан нормальной моделью). p(y; a; σ ) p(y; 5,243; 0,08) p(y; 5,443; 0,08) 5,00 5,10 5,16 5,25 5,32 5,443 y Рис. 1 ~ Если функция Lθ  дифференцируема по θ , то оценку  мп можно найти, решив относительно θ уравнение правдоподобия дL   0, д или систему уравнений правдоподобия дL1 ,, k   0, j  1,, k д j в случае многих неизвестных параметров. При получении МП-оценок можно находить максимум не функции правдоподобия, а логарифмической функции правдоподобия n l    ln L    ln pxi ;0 i 1 в силу монотонного характера этой зависимости. Таким образом, согласно методу максимального правдоподобия для ~ нахождения  мп следует:  найти решения уравнения (или системы уравнений) правдоподобия дl  д ln L    0, д д ~ при этом оценкой  мп считается лишь такое решение, которое зависит от x1 , x2 , , xn ;  среди решений, лежащих внутри множества значений неизвестного параметра     , выделить точки максимума;  если уравнение (система) не определено, не разрешимо или среди решений нет точки максимума внутри  , то точку максимума следует искать на границе области  . Пример 1. Найти МП-оценки параметров a и σ 2 нормального распределения по выборке x1 , x2 , , xn  объема n . Решение. Пусть независимая выборка x1 , x2 , , xn  объема n извлечена из нормальной генеральной совокупности, т.е. исследуемая случайная величина Χ распределена по нормальному закону с математическим ожиданием MΧ  a , дисперсией DΧ  σ 2  D (значения этих параметров неизвестны до получения выборки), и имеет плотность  x a 2  1 p x; a, D   e 2D . 2D Найдем функцию правдоподобия: n La, D    p xi ; a, D   i 1 n 1 n  1 e 2D  x1 a 2 2D  1  e 2D  x2 a 2 2D  1  e 2D  xn a 2 2D   1  2  2 D i1 xi a   .  e  2D  Соответствующая логарифмическая функция правдоподобия имеет вид n n 1 n xi  a 2 . l a, D   ln La, D    ln 2  ln D   2 2 2 D i 1 Дифференцируя l a, D по a и D и последовательно приравнивая соответствующие частные производные к нулю, получаем систему уравнений правдоподобия:  дla, D  1 n  дa  D   xi  a   0 i 1 .  n   дl a , D n 1 2     xi  a   0  дD 2 D 2 D 2 i 1 2 Решение этой системы относительно a и D дает оценки максимального правдоподобия этих параметров 1 n 1 n ~ 2 ~ и a мп   xi  x Dмп   xi  x   Dв . n i 1 n i1 Можно также проверить и достаточные условия максимума функции ~ l a , D в точке a~мп , Dмп . Таким образом, МП-оценками неизвестного математического ожидания и неизвестной дисперсии являются выборочное среднее и выборочная дисперсия соответственно. Проверим, будут ли найденные оценки несмещенными. Все xi , составляющие выборку, распределены по тому же закону, что и     случайная величина Χ , т. е. xi ~ Ν a, 2 , поэтому Μxi  a, Dx i   2  D для всех i  1,, n . Найдем Μa~мп , используя свойства математического ожидания: 1 n  1 n na Μa~мп  Μ   xi    Μxi  a. n n n i 1  i1  Так как математическое ожидание оценки равно оцениваемому параметру, то МП-оценка математического ожидания в виде выборочного среднего является несмещенной. Используя свойства дисперсии, найдем дисперсию a~мп : 1 n  1 n nD D Daмп  D   xi   2  Dxi  2   0 при n   . n n  n i 1  n i 1 С использованием более строгого определения эффективности показано, что a~мп  x является эффективной, и кроме этого, состоятельной оценкой. ~ Прежде чем определить ΜD мп , представим МП-оценку неизвестной дисперсии в виде 2 2 1 n 1 n 1 n 2 Dмп    xi  a  a  x     xi  a    x  a   2  x  a     xi  a   n i 1 n i 1 n i 1 2 1 n 2    xi  a    x  a  . n i 1 ~ Найдем ΜD мп : 2 2 1 n 1 n 2 2 ΜDмп  Μ    xi  a    x  a     Μ  xi  a   Μ  x  a    n i 1  n i 1 1 D D  nD   D   D n n n (здесь мы учли, что 2 2 D 2 Μ  xi  a   Dxi  D, Μ  x  a   Μ  a мп  Μa мп   Da мп  ). n ~ Так как ΜDмп  D , то МП-оценка неизвестной дисперсии, найденная в виде выборочной дисперсии, является смещенной, хотя, конечно же, асимпD тотическая несмещенность имеет место; смещение оценки равно  , при n увеличении объема выборки, т.е. при n   , смещение стремится к нулю. ~ Обычно смещение в оценке D устраняют, следуя специальной методике. Несмещенной и асимптотически эффективной оценкой дисперсии будет так называемая исправленная выборочная дисперсия 2 n 1 n s2  Dв  xi  x  .   n 1 n  1 i 1 Она действительно будет несмещенной оценкой теоретической дисперсии, так как n n n  D  n  Μs 2  Μ  Dв   ΜDв  ΜDмп  D    D. n 1 n  1 n  n 1  n 1 Таким образом, несмещенными оценками неизвестного математического ожидания и неизвестной дисперсии нормальной случайной величины будут 1 n a   xi  x n i 1 . n 2 1 D  2  xi  x   s 2   n  1 i 1 Пример 2. Исследуемая случайная величина Χ распределена по закону Пуассона с неизвестным значением параметра λ . Найти МП-оценку этого параметра по независимой выборке x1 , x2 , , xn  объема n . Решение. Для случайной величины Χ~Π λ имеем λ x λ px; λ   ΡΧ  x; λ  e , x  0,1,2,, x!   ΜΧ – неизвестный параметр. Функция правдоподобия равна x n  x1    x2    xn    i L      p  xi ;    e  e e  e  n . x1 ! x2 ! xn ! x1 ! x2 ! xn ! i 1 Логарифмическая функция правдоподобия: n  n  l     ln L       xi  ln    ln  xi !  n . i 1  i 1  Уравнение правдоподобия: n xi дl     i 1   n  0, д  1 n x  x . n i 1 i Легко видеть, что эта оценка несмещенная, так как 1 n  1 n nλ Μλмп  Μ   xi    Μxi  λ n n n i 1  i 1  (здесь все xi ~Π λ , Μxi  λ, i  1,, n ). ~ Вычислим дисперсию оценки  мп : отсюда мп  1 n  1 n n  Dмп  D   xi   2  Dxi  2  . n n  n i 1  n i 1 ~ ~ Так как D мп  0 при n   , то можно считать оценку  мп и эффективной. Таким образом, несмещенной, эффективной и состоятельной оценкой неизвестного математического ожидания для распределения Пуассона также является выборочное среднее. Метод моментов Пусть независимая выборка x1 , x2 , , xn  извлечена из распределения с плотностью px;1 , 2 , , r  , зависящей от r неизвестных параметров 1 , 2 , , r . Предположим, что первые r начальные моменты существуют и конечны: mk 1 , 2 ,, r   ΜΧ k   x k px;1 , 2 ,, r dx , k  1,, r . (здесь интеграл берется по спектру данной случайной величины, а в случае дискретного распределения интеграл следует заменить суммой). По этой выборке построим так называемые выборочные или эмпириче~ , которые будут несмещенными оценками соотские начальные моменты m k ветствующих теоретических моментов: n ~  1 x k , k  1,, r . m  i k n i 1 Метод моментов состоит в том, что оценки неизвестных параметров ~  k , k  1,, r , находятся как решение системы уравнений: ~  m1 1 ,, r   m 1  m  ,,   m ~  2 1 r 2      ~ . mr 1 ,, r   m r Использование начальных моментов необязательно; здесь могут использоваться центральные и абсолютные моменты и соответствующие им эмпирические моменты. К достоинствам метода моментов следует отнести его сравнительно простую вычислительную реализацию, а также то, что оценки, полученные из решения системы, являются функциями от выборочных моментов. Это упрощает исследование статистических свойств оценок метода моментов. В то же время такие оценки не всегда будут асимптотически эффективными, и в этом отношении они уступают оценкам, полученным методом максимального правдоподобия. Тем не менее, метод моментов часто очень удобен на практике.   Пример 3. Случайная величина Χ~Ν a,σ 2 , при этом значения параметров a и  2 неизвестны. Найти методом моментов оценки этих параметров по независимой выборке x1 , x2 , , xn  объема n .   Решение. Так как для Χ~Ν a,σ 2 первый и второй начальные теоретические моменты существуют и равны соответственно 1 2 2 2 m1  ΜΧ  a, m2  ΜΧ  σ  a , то система для определения оценок a~ и ~ 2 примет вид  1 n a  n  xi  i 1 .  n 1  2  a 2  xi2   n i 1 Решениями этой системы будут 1 n a   xi  x n i 1 . 2 1 n 2 1 n 2 2    xi   x     xi  x   Dв n i 1 n i 1 Мы получили методом моментов те же оценки неизвестного математического ожидания и неизвестной дисперсии, что и методом максимального правдоподобия. Пример 4. Методом моментов найти оценку параметра λ распределения Пуассона по выборке x1 , x2 , , xn  объема n . Решение. Для случайной величины Χ , распределенной по закону Пуассона, неизвестный параметр   ΜΧ  m1 . Таким образом, имеем одно уравнение n ~ или   1 x  x . m1  m  1 n i 1 i Распределение Пуассона, так же как и нормальное распределение, относится к тем редким случаям, когда оценки по методу моментов совпадают с оценками по методу максимального правдоподобия. Замечание. При применении метода моментов к группированным выборкам, т. е. выборкам, представленным в виде примыкающих друг к другу интервалов шириной h , необходима корректировка оценок теоретических моментов. Эмпирические моменты, найденные в этом случае по серединам интервалов, не всегда будут несмещенными оценками соответствующих теоретических моментов. Смещение в оценках устраняют, вводя так называемые поправки Шеппарда. Несмещенной оценкой первого теоретического начального момента будет 1 k ~ m1   ni xi0 , где xi0 – середина i -го интервала, а ni – соответствующая чаn i 1 стота. Несмещенная оценка второго теоретического начального момента равна 1 k h2 0 2 m2   ni xi  . n i 1 12  h2  Здесь величина    и есть поправка Шеппарда.  12  Несмещенные оценки третьего и четвертого теоретических начальных моментов с учетом поправок Шеппарда запишутся как 1 k h2 1 k 0 3 m3   ni xi    ni xi0 , n i 1 4 n i 1 1 k h2 1 k 7h4 0 4 0 2 m4   ni xi    ni xi  . n i 1 2 n i 1 240         Пример 5. При тестировании группы студентов есть основание считать, что средний балл Χ – это равномерно распределенная на отрезке a, b случайная величина. Результаты обследований представлены в виде интервального вариационного ряда: x i  x i 1 0–2 2–4 4–6 6–8 8 – 10 ni 12 10 9 9 10 n   ni  50 Найти методом моментов оценки параметров a и b . Решение. Для равномерного на отрезке a ,b распределения имеем  1  b  a , x   a, b  . p  x; a, b    0, x   a, b   Теоретические начальные моменты первого и второго порядков равны соответственно: b b 1 b2  a 2 ab m1  ΜΧ   xp  x; a, b  dx  xdx    m1  a, b  ,  b  a 2 b  a 2   a a 1 b3  a 3 b 2  ab  a 2 2 m2  ΜΧ   x p  x; a, b  dx  x dx    m2  a, b  .  b  a 3 b  a 3   a a Для нахождения эмпирических начальных моментов от заданного интервального ряда перейдем к точечному: b 2 b 2 x i0 1 3 5 7 9 ni 12 10 9 9 10 . Тогда 1 5 1 m1   ni xi0  12  1  10  3  9  5  9  7  10  9   4,8; n i 1 50 2 1 5 h2 1 4 m2   ni xi0   12  12  10  32  9  52  9  7 2  10  92   31,2267 . n i 1 12 50 12 По методу моментов оценки двух неизвестных параметров a и b определятся как решения системы уравнений: ~  m1 a, b   m 1 .  ~ m2 a, b   m2 Имеем a  b  4,8  2 .  2 2 b  ab  a   31,2267  3 Отсюда a  b  9,6 .  2 2 b  ab  a  93 , 6801  ~ Из решения этой системы уравнений получаем a~  0,31, b  9,76 .     Кроме описанных методов оценивания параметров существует ряд других, например, метод наименьших квадратов, который мы рассмотрим ниже в разделах, посвященных эконометрическому моделированию. Следует отметить, что в последние годы развиваются так называемые робастные, или устойчивые, методы оценивания, позволяющие находить оценки, хотя и являющиеся наилучшими в рамках предполагаемого закона распределения, но обладающие достаточно устойчивыми свойствами при отклонении реального закона от предполагаемого [28, 29].