Обобщенный метод моментов

Лекция №6. Обобщенный метод моментов Данная лекция посвящена еще одному классическому методу оценки параметров в задачах статистики и моделях регрессии в частности — обобщенному методу моментов. Основная задача изучения этого метода в данном разделе курса — углубленное понимание метода инструментальных переменных, как метода борьбы с проблемой эндогенности. Однако сфера применения данного метода гораздо шире. Для более подробного изучения метода моментов (как основы обобщенного метода моментов) рекомендуется обратиться к учебникам по математической статистике (см. введение к лекции 2). Для более подробного изучения обобщенного метода моментов, как обобщения метода инструментальных переменных и МНК, рекомендуется обратиться к учебнику Hamilton J. D. Time series analysis. Princeton university press, Princeton, New Jersey. 1994. Глава 14. А также к аналогичным главам других учебников из списка базовой литературы. Метод моментов (пример) Пусть имеется выборка  из t-распределения Стьюдента с неизвестным количество степеней свободы . Один из подходов к оценке параметра  – оценка ММП, которая подразумевает максимизацию функции (логарифмической) правдоподобия , где  - плотность распределения Стьюдента с  степенями свободы, которая имеет вид . Альтернативный подход – метод моментов, который для многих задач будет иметь ряд преимуществ. В данном примере для оценки параметра  можно использовать тот факт, что при  существует дисперсия случайно величины из данного распределения , а Идея метода моментов состоит в том, чтобы выбрать в качестве оценки параметра  такое значение , что теоретический момент распределения (в данном случае – дисперсия) был «максимально близок» (в данном случае – равен) соответствующему выборочному моменту: .   Обобщенный метод моментов (пример построения задачи оценивания) В условиях предыдущего примера можно заметить, что дисперсия – не единственная известная числовая характеристика изучаемого t-распределения. Например, также известно, что при  с.в.  имеют известный 4-й момент , и от оценки методом моментов можно потребовать близость теоретического и выборочного 4-ых моментов. При этом оценки методом моментов на основе дисперсии и на основе 4-го момента будут отличаться. Идея обобщенного метода моментов – использовать информации о большем числе моментов, чем количество оцениваемых параметров и в качестве оценки обобщенным методом моментов использовать такие значения параметров, что «расстояние» между теоретическими и выборочными моментами минимально. В данном примере можно использовать информацию о 2-ом и 4-ом моменте одновременно, решив следующую задачу оценивания ОММ: , где ,  – положительно определенная симметричная матрица (2х2) весовых коэффициентов   Обобщенный метод моментов (общий вид процедуры) Обозначения:  - выборка значений с.в.  из некоторого (известного) распределения с неизвестными параметрами  (вектор истинных значений параметров); ;  - условия на моменты – случайная вектор функция, основанная на некоторых характеристиках распределения с.в. , такая, что ;  - выборочное среднее функции ;  - ()-матрица весовых коэффициентов, возможно, зависящая от выборки .  – количество параметров,  – размерность векторов . Задача оценивания ОММ: Если , то имеет место точная идентификация и оценка ОММ будет решением уравнения ; однако при  (сверхидентификация) в векторе  всегда найдутся ненулевые компоненты. То, насколько -й компонент вектора  близок к нулю, зависит от того, насколько большой вес придается -му условию на моменты матрицей весовых коэффициентов . «Качественное» решение задачи оценивания параметров модели обобщенным методом моментов подразумевает: 1. Конструирование достаточного набора условий на моменты . 2. «Правильный» выбор матрицы весовых коэффициентов .   Оптимальный выбор весовой матрицы С точки зрения построения оптимальной процедуры оценивания обобщенным методом моментов, существует такая матрица , при которой оценки  имеют наименьшую дисперсию в классе всех оценок ОММ: , где . Если условия на моменты  построены так, что процесс  не автокоррелирован, то состоятельная оценка матрицы  имеет вид: , вычисление такой оценки требует знания неизвестных истинных значений параметров , однако также состоятельной является оценка , где  - некоторая состоятельная (но не обязательно эффективная) оценка . Т.о. вычисление состоятельных оценок ОММ – в некотором роде «замкнутый круг»: вычисление оптимальной матрицы весов требует вычисления качественных оценок и наоборот. На практике оценку производят как правило в 2 этапа: 1)      Состоятельная (но возможно не эффективная) оценка  вычисляется на основе ОММ с некоторой «разумной» весовой матрицей; например, часто выбирают ; 2)      На основе полученной оценки первого шага строится состоятельная оценка матрицы  и соответствующая оценка оптимальной матрицы , с помощью которой строится оценка ОММ второго шага , обладающая лучшими свойствами, чем оценка   Свойства оценок ОММ Если оценка ОММ  получена в условиях: •       , •        дифференцируемы по  для любых , •       , где  – положительно определенная матрица, тогда имеют место следующие свойства : •        - состоятельность, •        - асимптотическая несмещенность и нормальность, при этом ,   где    .   Сверхидентификация и проверка верной спецификации В терминах ОММ верная спецификация модели – это выполнение условия . Если модель точно идентифицирована (), то выборочные условия на моменты выполняются в точности, а оценка  является решением этой системы нелинейных уравнений. В случае, когда  (сверхидентификация), вектор  имеет  невырожденных случайных компонент, основываясь на величине оценок которых, можно сделать вывод, действительно ли верно, что . Нулевая гипотеза состоит в том, что «спецификация верна»: , для проверки строится J-статистика Хансена: .   ОММ и другие методы оценивания При различном выборе формы условий на моменты , их количества , матрицы весов  как частный случай процедуры ОММ можно представить ряд других различных процедур оценивания: 1. Любое оценивание классическим методом моментов; 2. Обычный метод наименьших квадратов; 3. Двухшаговый метод наименьших квадратов и метод инструментальных переменных; 4. Метод максимального правдоподобия; 5. Оценка параметров распределения на основе минимизации статистик типа «goodness-of-fit»; и др. Также существуют процедуры оценивания, основанные на ОММ, не представимые в виде других методов, но приводящие к асимптотически эффективным оценкам (например, ОММ на основе характеристических функций).   МНК и ОММ В рамках базовой линейной модели регрессии при выполнении гипотез H1 и H2 имеет место , т.е. можно построить следующие условия на моменты: . Размерность такого вектора  в точности совпадает с количеством столбцов в , т.е. имеет место точная идентификация, . Соответствующая оценка ОММ  является решением уравнения и в точности совпадает с оценкой обыкновенным МНК. Т.о. МНК является частным случаем ОММ, однако поскольку при выводе такой оценки ОММ не использовалось никаких предположений о структуре матрицы ковариации ошибок в регрессии, то в общем виде эта оценка может оказаться неэффективной.   Метод инструментальных переменных, как частный случай ОММ В случае нарушения гипотезы H2 в базовой линейной модели регрессии, асимптотически эффективные оценки параметров модели можно получить, имея в распоряжении дополнительные переменные  – инструментальные переменные, для которых выполняются свойства I1, I2 (см. Лекцию №5). Из условия годности инструментов вытекает структура условий на моменты для построения процедуры оценивания ОММ: . В соответствии с общей процедурой оценивания ОММ возможны два случая: 1. Точная идентификация (количество инструментов, а точнее – ранг набора инструментов, совпадает с количеством параметров, ); оценка ОММ в точности совпадает с оценкой классическим методом инструментальных переменных; 2. Сверхидентификация, Вычисление эффективной оценки ОММ подразумевает вычисление эффективной оценки матрицы весовых коэффициентов  и приводит к процедуре, аналогичной двухшаговому МНК: на первом этапе строится оценка ОММ, основанная на «простой» матрице весовых коэффициентов (например, ); на втором этапе строится оценка матрицы  и соответствующая оценка оптимальной матрицы  для вычисления оценки ОММ второго шага. В случае сверхидентификации J-статистика Ханесена служит показателем «годности» инструментов и общей проверкой верной спецификации модели.