Корреляция по времени

Корреляция по времени Корреляция по времени Модели второго класса обобщенных регрессионных моделей с корреляцией по времени, как правило, используются при анализе данных, имеющих характер временных рядов. В этих случаях часто приходится принимать во внимание то обстоятельство, что наблюдения в разные моменты времени статистически зависимы (типичный пример – ежедневный обменный курс доллара по отношению к рублю). Следовательно, ошибки, относящиеся к разным наблюдениям (разным моментам времени), могут быть коррелированы, и ковариационная матрица вектора ошибок не является диагональной. Формально проблему оценивания неизвестных параметров решает обобщенный метод наименьших квадратов. Однако его применение требует знания матрицы ковариаций Ω вектора ошибок, что бывает крайне редко. Авторегрессионный процесс первого порядка При анализе временных рядов часто приходится учитывать статистическую зависимость наблюдений в разные моменты времени. Иными словами, для многих временных рядов предположение о некоррелированности ошибок не выполняется. Рассмотрим наиболее простую модель, в которой ошибки образуют так называемый авторегрессионный процесс первого порядка. Применение обычного метода наименьших квадратов к этой системе дает несмещенные и состоятельные оценки параметров, однако можно показать, что получаемая при этом оценка дисперсии оказывается смещенной вниз, что может отрицательно сказаться при проверке гипотез о значимости коэффициентов. Образно говоря, МНК рисует более оптимистичную картину регрессии, чем есть на самом деле. Рассмотрим модель y = Xβ + ε , (1) где t -я компонента вектора у представляет значение зависимой переменной в момент времени t , t = 1,..., n . Будем для определенности считать, что первым регрессором в X является константа. Запишем подробнее уравнение для наблюдения в момент времени Эконометрическое моделирование Лекция № 7 1 Корреляция по времени yt = β1 + β 2 xt 2 + ... + β k xtk + ε t = xt′β + ε t , (2) где xt′ = (1, xt 2 ,..., xtk ) − t -я строка матрицы X. Один из наиболее простых способов учета коррелированности ошибок (в разные моменты времени) состоит {ε t , t = 1,..., n} последовательность в предположении, что случайная образует авторегрессионный процесс первого порядка. Это означает, что ошибки удовлетворяют рекуррентному соотношению ε t = ρε t −1 + vt , где {vt , t = 1,..., n} − последовательность (3) независимых нормально распределенных случайных величин с нулевым средним и постоянной дисперсией σ v2 , а ρ − некоторый параметр, называемый коэффициентом авторегрессии (| ρ | < 1). Строго говоря, для полного описания модели надо определить ε 0 . Будем считать, что ε 0 – нормальная случайная величина с нулевым средним и дисперсией σ ε2 = σ v2 /(1 − ρ 2 ) , не зависящая от {vt , t = 1,..., n}. Взяв математическое ожидание от обеих частей (3), получим Eε t = Eρε t −1 , откуда следует, что Eε t = 0 , t = 1,..., n . Поскольку ε t −1 выражается через v1 ,..., vt −1 (3), то ε t −1 и vt независимы. Поэтому ( ) ( ) ( ) ( ) E ε t2 = E (ρε t −1 + vt ) = ρ 2 E ε t2−1 + E vt2 = ρ 2 E ε t2−1 + σ v2 , 2 ( ) (4) Легко проверяется, что если E ε 02 = σ v2 /(1 − ρ 2 ) , то σ ε2 = E (ε t2 ) = V (ε t ) = σ v2 /(1 − ρ 2 ) , t = 1,..., n (5) Умножая (4) на ε t −1 и вновь пользуясь независимостью ε t −1 и vt получим ( ( ) ( ) E ε t ε t −1 = cov ε t ε t −1 = ρV (ε t −1 ) = ρσ ε2 . ) (6) Аналогично cov ε t ε t − 2 = ρ 2σ ε2 и вообще ( ) cov ε t ε t − m = ρ mσ ε2 . (7) Таким образом, последовательность { ε t } образует стационарный случайный процесс. Именно этим обстоятельством диктовался выбор параметров начальной величины ε 0 На самом деле, с течением времени зависимость от ε 0 быстро уменьшается, поэтому в большинстве книг по эконометрике проблему начальных Эконометрическое моделирование Лекция № 7 2 Корреляция по времени условий для { ε t } просто не рассматривают, неявно подразумевая, что процесс (3) при любом начальном значении быстро сходится к стационарному. Отметим также, что условие ρ < 1 является необходимым для стационарности. Из (6) следует, что ( ρ = cov(ε t ε t −1 )/ σ ε2 = cov(ε t ε t −1 )/ V (ε t ) V (ε ) 1/ 2 1/ 2 t −1 ), (8) т.е. ρ есть в точности коэффициент корреляции между двумя соседними ошибками. Пользуясь (7), можно выписать ковариационную матрицу случайного вектора ε :  1  ρ 2  σv  2 Ω= ρ 1− ρ2   ...  ρ n −1  ρ 1 ρ ρ2 ρ ... 1 ... ρ n−2 ρ n −3 ... ρ n −1   ... ρ n − 2  ... ρ n − 3  .  ... ...  ... 1  (9) Оценивание в модели с авторегрессией Проблему оценивания системы (1) рассмотрим отдельно для случая, когда коэффициент ρ известен, и отдельно – когда неизвестен. 1. Значение ρ известно. В этом случае для оценивания системы (1) можно применить обобщенный метод наименьших квадратов. В данном случае нетрудно найти матрицу Р, для которой Р'Р = Ω . Здесь весьма просто догадаться, какое линейное преобразование исходной системы (1) надо провести, чтобы получить классическую модель. Напишем (2) для момента времени t − 1 ( t ≥ 2 ) yt −1 = xt′−1β + ε t −1 (10) умножим обе части на ρ и вычтем почленно из (2). Тогда с учетом (3) получим yt − ρyt −1 = ( xt − ρxt −1 )′β + vt . (11) При t = 1 достаточно обе части уравнения (2) умножить на 1 − ρ 2 : 1 − ρ 2 y1 = 1 − ρ 2 x1′β + 1 − ρ 2 ε1 . Эконометрическое моделирование Лекция № 7 (12) 3 Корреляция по времени В системе (11), (12) ошибки удовлетворяют условиям уже обычной регрессионной модели. Действительно, в (11) случайные величины {vt , t = 1,..., n} независимы и имеют постоянную дисперсию σ v2 , а в (12) ошибка 1 − ρ 2 ε1 не зависит от {vt , t = 2,..., n} и, согласно (5), также имеет дисперсию σ v2 . На практике часто опускают преобразование (12), игнорируя тем самым первое наблюдение. С одной стороны, благодаря этому, преобразование исходной модели (1) становится единообразным. В частности, для получения оценки параметра β1 достаточно оценку свободного члена в (11) разделить на (1- ρ ). С другой стороны, отбрасывание первого наблюдения может привести к потере важной информации, особенно в выборках небольшого размера. 2. Значение р неизвестно. Ситуации, когда параметр авторегрессии р известен, встречаются крайне редко. Поэтому, возникает необходимость в процедурах оценивания при неизвестном ρ . Как правило, они имеют итеративный характер. Опишем три наиболее употребительные. Мы не будем устанавливать сходимость этих процедур, практика их применения показала, что они достаточно эффективны. Процедура Кохрейна-Оркатта. Начальным шагом этой процедуры является применение обычного метода наименьших квадратов к исходной системе (1) и получение соответствующих остатков е = ( e1 ,..., en )'. Далее, 1) в качестве приближенного значения ρ берется его МНК-оценка r в регрессии et = ρet −1 + vt ; 2) проводится преобразование (11) (или (11), (12)) при ρ = r , и находятся VYR) оценки β вектора параметров β ; ) 3) строится новый вектор остатков e = y − Xβ ; 4) процедура повторяется, начиная с п.1). Процесс обычно заканчивается, когда очередное приближение ρ мало отличается от предыдущего. Иногда просто фиксируют количество итераций. Эконометрическое моделирование Лекция № 7 4 Корреляция по времени Процедура Кохрейна-Оркатта реализована в большинстве эконометрических компьютерных программ. Процедура Хилдрета-Лу. Суть процедуры достаточно проста. Из интервала (-1, 1) возможного изменения коэффициента ρ берутся последовательно некоторые значения (например, числа с постоянным шагом 0,1 или 0,05) и для каждого из них проводится оценивание преобразованной системы (11). Определяется то значение этого параметра, для которого сумма квадратов отклонений в (11) минимальна. Затем в некоторой окрестности этого значения устраивается более мелкая сетка и процесс повторяется. Итерации заканчиваются, когда будет достигнута желаемая точность. Время работы процедуры, очевидно, сокращается, если есть априорная информация об области изменения параметра ρ . Процедура Дарбина. Преобразованная система (11) переписывается в следующем виде: yt = β1 (1 − ρ ) + ρyt −1 + β 2 xt 2 − ρβ 2 x(t −1) 2 + ... + β k xtk − ρβ k x(t −1) k + vt . (13) т.е. yt −1 включается в число регрессоров, а ρ − в число оцениваемых параметров. ) Для этой системы строятся обычные МНК-оценки r и θ j параметров ρ и ρβ j ) ) соответственно. В качестве оценки β j берут θ j / r . Можно улучшить качество ) оценок β , подставив полученное значение r в систему (11), и найти новые МНКоценки параметров β . Тест Дарбина-Уотсона на наличие или отсутствие корреляции по времени Большинство тестов на наличие корреляции по времени в ошибках системы (1) используют следующую идею: если корреляция есть у ошибок ε , то она присутствует и в остатках е, получаемых после применения к (1) обычного метода наименьших квадратов. Здесь мы рассмотрим только одну реализацию этого подхода. Эконометрическое моделирование Лекция № 7 5 Корреляция по времени Пусть нулевая гипотеза состоит в отсутствии корреляции, т. е. H 0 : ρ = 0 . В качестве альтернативной может выступать либо просто H1 : «не H 0 », либо односторонняя гипотеза, например, H1 : ρ > 0. Наиболее широко используется тест Дарбина-Уотсона. Он основан на статистике n ∑ (et − et −1 ) DW = 2 t =2 . n ∑ t =1 (14) et2 Будем считать, что постоянный член включен в число регрессоров. Тогда нетрудно проверить, что эта статистика тесно связала с выборочным коэффициентом корреляции между et и et −1 . Действительно, проводя элементарные выкладки, имеем n DW = ∑ (et − et −1 ) 2 t =2 n ∑ t =1 n = ∑ t =1 et2 = n n t =2 t =2 t =2 n ∑ et2 t =1 n − e1 + ∑ n ∑ et2 + ∑ et2−1 − 2 ∑ et et −1 t =2 et2 n − en − 2 ∑ et et −1 t =2 n ∑ et2 t =1 = et2 n    ∑ et et −1  e 2 + e 2  − 1n n = 21 − t = 2n  ∑ et2  ∑ et2   t =1  t =1 . (15) Предполагая число наблюдений достаточно большим, можно считать, что приближенно выполнены следующие 1 n ∑ et = −e1 /(n − 1) ≈ 0 n − 1 t =2 равенства: и n 1 n ∑ et −1 = −en /(n − 1) ≈ 0 (поскольку выполнено точное равенство ∑ et = 0 в силу n − 1 t =2 t =1 наличия постоянного регрессора). Поэтому выборочный коэффициент корреляции r между et и et −1 можно приближенно представить в виде n r≈ ∑ et et −1 t =2 n n −1 t =2 t =1 ∑ ∑ Эконометрическое моделирование Лекция № 7 et2 et2 n ≈ ∑ et et −1 t =2 n ∑ t =1 . et2 (16) 6 Корреляция по времени Наконец, пренебрегая в (15) слагаемыми e12 и en2 по сравнению с общей суммой n ∑ et2 окончательно получим t =1 DW ≈ 2(1 − r ) . (17) Понятен и содержательный смысл статистики DW: если между et и et −1 имеется достаточно высокая положительная корреляция, то в определенном смысле et и et −1 близки друг к другу и величина статистики DW мала. Это согласуется с (17): если коэффициент r близок к единице, то величина DW близка к нулю. Отсутствие корреляции означает, что DW близка к 2. Таким образом, если бы распределение статистики DW было известно, то для проверки гипотезы H 0 : ρ = 0 против альтернативы H1 : ρ > 0 можно было бы для заданного уровня значимости (например, для 5%-ного уровня) найти такое критическое значение d*, что если DW>d*, то гипотеза H 0 не отвергается, в противном случае она отвергается в пользу H1 . Проблема, однако, состоит в том, что распределение DW зависит не только от числа наблюдений n и количества регрессоров k, но и от всей матрицы X, и, значит, практическое применение этой процедуры невозможно, поскольку нельзя же составить таблицу критических значений d* для всех матриц X. Тем не менее, Дарбин и Уотсон доказали, что существуют две границы, обычно обозначаемые du и dl , du > dl , которые зависят лишь от n, k и уровня значимости α следовательно, могут быть затабулированы) и обладают следующим свойством: если DW > d u , то DW > d * , значит, гипотеза H 0 не отвергается, а если DW < dl , то DW < d * , и гипотеза H 0 отвергается в пользу H1 . В случае d l < DW < d u ситуация неопределенна, т.е. нельзя высказаться в пользу той или иной гипотезы. Если альтернативной является гипотеза об отрицательной корреляции H1 : ρ < 0, то соответствующими верхними и нижними границами будут 4– dl и 4– du . Целесообразно представить эти результаты в виде таблицы (см. таблицу 1). Эконометрическое моделирование Лекция № 7 7 Корреляция по времени Наличие зоны неопределенности, конечно, представляет определенные трудности при использовании теста Дарбина-Уотсона. Ее ширина может быть довольно значительной. Таблица 1 Значение статистики DW Вывод Гипотеза H 0 отвергается, есть отрицательная корреляция Неопределенность 4- dl