Свойства МНК-оценок. Условия и теорема Гаусса-Маркова.

Эконометрика Лекция 4-6: Свойства МНК-оценок. Условия и теорема Гаусса-Маркова. Лозинская Агата Максимовна Департамент экономики и финансов План лекции 4-5 • Верификация модели • Свойства МНК-оценок: – – – – – Линейность оценок Несмещенность оценок Состоятельность оценок Эффективность оценок Нормальность оценок • Закон больших чисел предельная теорема • Условия Гаусса-Маркова • Теорема Гаусса-Маркова • Уточнения и Центральная 2 Основные этапы эконометрического моделирования 0) Цель и задачи исследования 1) Экономическая модель – Априорный этап 2) Данные (источник данных!) – – Подбор данных и выдвижение гипотез Анализ выборки (визуальный анализ, описательные статистики) 3) Эконометрическая модель – – Постановочный этап Параметризация и спецификация модели 4) Эмпирические результаты – – – Идентификация модели Верификация модели Экономическая интерпретация прогнозирование полученных результатов, 3 Верификация модели В чем разница между a, b и aˆ , bˆ ? yi  a  bxi   i a, b - истинные значения параметров модели, которые на практике никогда не известны исследователю yˆ i  aˆ  bˆxi aˆ , bˆ - оценки параметров, полученные при помощи МНК, на основе случайной выборки. Следовательно, aˆ , bˆ - случайные величины. При выполнении условий Гаусса-Маркова (предпосылок классической линейной модели парной регрессии (КЛМПР)) можно надеяться, что aˆ , bˆ близки к истинным значениям. 4 Свойства МНК-оценок 1) 2) 3) 4) 5) Линейность оценок Несмещенность оценок Состоятельность оценок Эффективность оценок Нормальность оценок Условия Гаусса-Маркова Теорема Гаусса-Маркова 5 См. Доугерти гл.3; Магнус и др., гл. 2 Некоторые свойства статистических оценок*  - истинное значение параметра ˆn - статистическая оценка , полученная по случайной выборке n • Несмещенность E[ˆn ]   • Эффективность ˆn - эффективная в фиксированном классе , если • Состоятельность D[ˆn ]  min D[ˆ]   p   ˆn  n 6 *См. Цыплаков А., (2014) «Мини-словарь англоязычных эконометрических терминов, часть 3», Квантиль №12, стр.45. Свойства МНК-оценок Линейность оценок - линейная зависимость aˆ , bˆ от yi Несмещенность оценок E (aˆ )  a, E (bˆ)  b Эффективность оценок: оценка aˆ , bˆ имеет min дисперсию в заданном классе оценок 4) Состоятельность оценок: оценка состоятельна, если она удовлетворят Закону больших чисел (ЗБЧ): с увеличением выборочной совокупности значение p p  a bˆ   b оценки стремится к ее истинному значению: aˆ  n  n  Несмещенная и эффективная оценка всегда состоятельна если при n ее дисперсия0. На практике МНК-оценка является состоятельной (неравенство Чебышева), если выполняется достаточное условие состоятельности оценки: конечность мат.ожидания оценки (теорема Хинчина) (выполняется автоматически, если несмещенная или асимптотически несмещенная оценка) и при n ее дисперсия0 5) Нормальность оценок     1 xi2 2  2 ˆ     b ~ N b,  aˆ ~ N a,  2  2   n ( xi  x )  ( xi  x )    1) 2) 3) xi  X i  X  7 Закон больших чисел (ЗБЧ) в форме Чебышева Пусть X1, X2, …, Xn независимые одинаково распределенные СВ и, в частности, имеющие одинаковые математические ожидания E ( X i )  a и дисперсии D( X i )   2 . Тогда согласно неравенству Чебышева: 2 P(| X  a |  )  2  0 n при n   при любом   0 Теорема Чебышева: Если в n независимых испытаниях получены n значений СВ X1, X2, …, Xn, то среднее арифметическое наблюдаемых значений сходится по вероятности к ее математическому ожиданию. 8 См. Магнус и др., Приложение МС. Центральная предельная теорема (ЦПТ) Последовательность X1, X2, … сходится по распределению к стандартной нормальной случайной величине. В частности n   X  n X   b  i 2   1 X i 1    dx P a b  exp       n 2 a  2      при n   для любых чисел a  b Другими словами, сумма большого числа случайных величин имеет приближенно нормальное распределение независимо от индивидуального распределения слагаемых. 9 См. Магнус и др., Приложение МС. Свойства МНК-оценок 1) 2) 3) 4) 5) Линейность оценок Несмещенность оценок Состоятельность оценок Эффективность оценок Нормальность оценок Условия Гаусса-Маркова Теорема Гаусса-Маркова 10 См. Доугерти гл.3; Магнус и др., гл. 2 Условия Гаусса-Маркова yi  a  bxi   i , i  1, n (линейность по параметрам и верная спецификация) 1) E ( i )  0 для всех наблюдений (несмещенность) 2)  2 ( i )  const постоянна для всех наблюдений (гомоскедастичность) (эффективность) 3) cov( i ,  j )  0 i  j отсутствие автокорреляции (эффективность) 4) cov( xi ,  i )  0 отсутствие эндогенности объясняющей переменной (детерминированность объясняющей переменной) (несмещенность, состоятельность) 5)  i  N (0,  2 ) (нормальность) NB  i  iid (independent and identically distributed random variables) 11 1) E ( i )  0 для всех наблюдений. Математическое ожидание случайного члена в любом наблюдении должно быть равно нулю. Т.е. он не должен иметь систематического смещения ни в одном из двух возможных направлений. Невыполнение этого условия приводит к смещенным оценкам. 2)  2 ( i )  const Дисперсия случайного члена должна быть постоянна для всех наблюдений. Не должно быть априорной причины для того, чтобы он порождал большую ошибку в одних наблюдениях, чем в других. В силу первого условия var( i )  E ( i2 )  E 2 ( i )  E ( i2 )   2 i Это условие гомоскедастичности. В противном случае, если дисперсия не является постоянной величиной, то выполняется гетероскедастичность. 2   Величина неизвестна. Одна из задач регрессионного анализа состоит в ее оценке. В случае невыполнения этого условия, коэффициенты регрессии, найденные по обычному МНК, будут неэффективны. Т.е. можно получить более надежные коэффициенты другим методом. 3) cov( i ,  j )  0 i  j отсутствие автокорреляции ошибок Отсутствие систематической связи между значениями случайного члена в любых двух наблюдениях. Данное условие можно переписать в виде: cov( i ,  j )  E ( i j )  E ( i ) E ( j )  E ( i j )  0 i  j Если это условие не будет выполнено, то регрессия даст неэффективные результаты. Условие практически не выполняется в задачах с временными рядами. 4) cov( xi ,  i )  0 (отсутствие эндогенности независимых переменных) Случайный член должен быть распределен независимо от объясняющих переменных. Значения любой независимой переменной в каждом наблюдении должно считаться экзогенным, полностью определяемым внешними причинами, не учитываемыми в уравнении регрессии. Тогда теоретическая ковариация между независимой переменной и случайным членом равна нулю, и т.к. E ( i )  0 , то cov( xi ,  i )  E ( xi i )  E ( xi ) E ( i )  E{( xi  X ) i }  E ( X i i )  xE ( i )  E ( xi i )  0 Невыполнение этого условия приводит к смещенным и несостоятельным оценкам. 5)  i  N (0,  2 ) (нормальность распределения) Обычно также предполагается нормальное распределение случайного члена. Если случайный член распределен нормально, то так же будут распределены и коэффициенты регрессии. 2   x  i  ˆa ~ N  a,  2 2   n ( xi  x )    ˆ b ~ N  b,  2    1  2   ( xi  x )  Теорема Гаусса-Маркова В предположениях модели yi  a  bxi   i , i  1, n 1-4: 1 E ( i )  0 Предпосылки классической модели 2  2 ( i )  const парной линейной регрессии (КМПЛР) 3 cov( i ,  j )  0 i  j 4 cov( xi ,  i )  0 2  N ( ,  ) 5 i  МНК-оценки aˆ , bˆ имеют наименьшую дисперсию в классе всех линейных несмещенных оценок. (Т.е. являются наилучшими в некотором смысле Best Linear Unbiased Estimator – BLUE). Уточнения yi  a  bxi   i , i  1, n (линейность по параметрам и верная спецификация) 1) E ( i )  0 для всех наблюдений (несмещенность) – это требование несущественно, если в модели есть свободный член – это требование можно ослабить даже в моделях без const. Достаточно потребовать E ( i | X i )  0 несмещенность в среднем наблюдаемых значений зависимой переменной относительно теоретических в каждом наблюдении, но не обязательно, что по всей генеральной совокупности 2) 3)  2 ( i )  const cov( i ,  j )  0 i  j (эффективность) – по эффективности можно сравнивать только оценки с одинаковым смещением – эффективность оценок можно сравнивать лишь тогда, когда они используют одну и ту же информацию (например, один и тот же набор наблюдений нескольких СВ) 17 – можно ставить задачу отыскания самой эффективной оценки в определенном классе (например среди линейных несмещенных оценок) (т.е. ограничение понятия эффективности сравнением распределений линейных несмещенных оценок) – оценка называется эффективной, если ее мера эффективности ~ ~ ~ E ( ˆ   ) 2  E (    ) 2  V ( ˆ )  bias ( ˆ )  V (  )  bias (  )  ~ ˆ  V ( )  V ( ) будет не больше для любой другой оценки из того же класса ~ E ( ˆ   ) 2  E (    ) 2 ~ V ( ˆ )  V (  ) ~    K ( ˆ ) 18 – противоречие между несмещенностью и минимальной дисперсией (А – несмещенная оценка, B – смещенная оценка, но имеет min дисперсию) В этом случае использую функцию потерь, среднеквадратичную ошибку MSE (Mean Squared Error): например, MSE = Дисперсия оценки + Квадрат смещения По MSE оценка A хуже, т.к. не имеет составляющей смещения, но имеет гораздо большую составляющую дисперсии. 19 4) xi детерминированная переменная, отсутствие эндогенности (несмещенность, состоятельность)  i независимы: – достаточно более слабого условия xi и – требование детерминированности регрессоров упрощает анализ, но зачастую не выполняется – требование детерминированности может быть так же ослаблено до предопределенности - т.е. регрессором может выступать случайная величина, но к моменту наблюдения ее знание уже определено. – Например: лагированная переменная, или переменная, носящая случайный характер, но ее распределение нам известно. cov( xi ,  i )  0 5) Состоятельной называется оценка, которая дает точное значение для больших выборок независимо от входящих в нее конкретных наблюдений 20 – Зачастую несмещенная оценка является состоятельной – Иногда бывает, что оценка смещенная на малых выборках, является состоятельной (иногда состоятельной может быть даже оценка, не имеющая на малых выборках конечного мат.ожидания) – Иногда невозможно найти несмещенную оценку на малых выборках. Если при этом можно найти состоятельную оценку, то это может быть лучше, чем не иметь никакой оценки, особенно, если вы не можете предположить направление смещения на малых выборках. – При этом состоятельная оценка на малых выборках в принципе может работать хуже (иметь бОльшую MSE), чем несостоятельная.21 6) Более слабые условия оценок параметров: – Линейность – Асимптотическая несмещенность – Состоятельность – Асимптотическая нормальность (распределение оценки нормально в пределе) – Асимптотическая эффективность http://www.machinelearning.ru/wiki/index.php?title=%D0%9D%D0%B5%D1%81%D0%BC%D0%B5%D1%89%D1%91%D0%BD%D0%BD% D0%B0%D1%8F_%D0%BE%D1%86%D0%B5%D0%BD%D0%BA%D0%B0 http://www.aup.ru/books/m155/5_8.htm 22