Метод максимального правдоподобия. Оценка линейной регрессии ММП

Лекция №4. Метод максимального правдоподобия. Оценка линейной регрессии ММП В данной лекции рассматривается применение одного из классических методов оценки параметров — метода максимального правдоподобия (ММП) — в задаче оценки параметров линейной регрессии. Основная задача этой лекции — изучение не столько основ применения метода максимального правдоподобия, сколько критериев, основанных на оценках ММП и являющихся также классическими критериями проверки гипотез. Для более подробного изучения материала рекомендуется обратиться к учебникам по математической статистике (см. введение к лекции 2), учебнику Суслов В.И., Ибрагимов Н.М., Талышева Л.П., Цыплаков А.А. Эконометрия. — Новосибирск: Издательство СО РАН, 2005. Глава 18. А также к аналогичным главам других учебников из списка базовой литературы по курсу (см. введение). Оценки методом максимального правдоподобия Метод максимального правдоподобия (ММП) – один из классических методов оценивания. Если  – случайная величина из известного распределения с плотностью  с неизвестными параметрами , то оценкой ММП этих параметров называется такое , которое при данной выборке  максимизирует функцию правдоподобия . Чаще для удобства задачу оценивания ММП записывают в логарифмах: . Оценка ковариационной матрицы оценок  можно получить из матрицы Гессе логарифмической функции правдоподобия: . Оценки ММП линейной регрессии с нормальными остатками Рассматривается линейная регрессия в предположениях H1 – H5, т.е. . Тогда при условии, что факторы детерминированы, запишем логарифмическую функцию правдоподобия для величины : . Задача оценивания ММП: , . F.O.C.: ,  . Оценки ММП: , . Таким образом, видно, что в условиях нормальности ошибок регрессии оценки ММП и МНК совпадают.   Проверка существенности ограничений при оценивании регрессии ММП Обозначения (как и ранее при оценке МНК):  - оценки параметров ММП без ограничений,  - значение логарифмической функции правдоподобия в точке ,  - оценки той же модели ММП с учетом ограничений ,  - аналогично, значение ЛФП с учетом ограничений. Очевидно, что . Существует ряд критериев для проверки существенности ограничений в такой модели. Далее рассматриваются три классических критерия: •       критерий Вальда (W-тест), •       критерий отношения правдоподобия (LR-тест), •       критерий множителей Лагранжа (LM-тест). Все три критерия являются критериями проверки существенности ограничений в общей форму. Следовательно, на основе каждого из них можно построить критерии, аналогичные рассмотренным в предыдущей лекции (тест Рамсея, тест Чоу и пр.). Критерий Вальда (W-тест) Критерий основан на сравнении значений невязок ограничений в точке оценок с ограничениями и без них. В точке  невязки ограничений по построению равны нулю: , следовательно, необходимо оценить, насколько сильно отличаются от нуля невязки в точке . Рассматривается гипотеза , т.е. ограничения существенны. В условиях H5 , и, следовательно, . Критерий строится на статистике Вальда: .   Критерий отношения правдоподобия (LR-тест) Критерий основан на различии значений функции правдоподобия в точках оценок с учетом ограничений и без. При любых ограничениях , чем сильнее отличаются значения ЛФП, тем «существеннее» ограничения. В условиях верной нулевой гипотезы  статистика, основанная на разности  имеет известное распределение: .   Критерий множителей Лагранжа (LM-тест) Критерий основан на разности «тангенса угла наклона касательной к ЛФП» в точках оценок параметров с учетом ограничений и без. В точке оценок без учета ограничений  этот «наклон» равен нулю, т.е. необходимо оценить, насколько сильно отличается «наклон» в точке оценок с учетом ограничений . Аналогично построению W-теста, при H5 имеет место , и тогда для множителей Лагранжа  выполнено Строится статистика множителей Лагранжа: .   Ремарки о свойствах оценок ММП и связанных критериях проверки гипотез •       Оценки ММП являются асимптотически состоятельными и эффективными (не только в классе линейных оценок, а вообще); •       То, что при нормальности ошибок регрессии оценки ММП и МНК параметров регрессии совпадают, показывает состоятельность оценок МНК (асимптотическую); •       Если нарушается гипотеза о детерминированности факторов, то функцию правдоподобия записывают так же, говоря об «условном ММП»; свойства оценок (асимптотические) как правило сохраняются; •       Классические критерий проверки гипотез, основанные на ММП, подходят для проверки не только линейных ограничений и не только в условиях нормальности ошибок – распределение  статистик сохраняется, но асимптотически;