Парная регрессия

Экономический факультет МГУ Эконометрика-1 Лекция 2 Парная регрессия Филипп Картаев kartaev@gmail.com План лекции 1. Модель парной регрессии 2. Свойства оценок коэффициентов в модели парной регрессии 3. Тестирование гипотез и построение доверительных интервалов 4. Прогнозирование в модели парной регрессии 2 Модель парной регрессии В статистических данных редко встречаются точные линейные соотношения: 30 25 yi = 1 +  2 xi 20 Обычно они бывают приближенными: 15 yi  1 +  2 xi 10 5 2 4 6 8 10 12 14 16 18 20 <= Как на этом графике 3 Модель парной регрессии Приблизительные взаимосвязи вида yi  1 +  2 xi , эконометристы обычно описывают следующим образом: yi = 1 +  2 xi +  i . yi — значения зависимой переменной xi — значения независимой переменной (регрессора) i — случайные ошибки 4 Модель парной регрессии yi = 1 +  2 xi +  i Откуда берутся случайные ошибки i ? 1. Существуют другие, неучтенные в нашей упрощенной модели факторы. Эти факторы также оказывают влияние на зависимую переменную y 2. Присутствуют ошибки измерений зависимой переменной 5 Модель парной регрессии В чем разница между i и ˆi ? yi = 1 + 2 xi +  i 1 и  2 — истинные значения параметров модели, которые на практике никогда не известны исследователю yˆ i = ˆ1 + ˆ 2 xi и ˆ2 — их оценки, полученные при помощи МНК, на основе случайной выборки ˆ1 Следовательно, ˆ1 и ˆ2 — случайные величины 6 Модель парной регрессии Разумеется, хочется, чтобы полученные оценки ˆ1 и ˆ2 были близки к истинным значениям. При каких условиях можно на это надеяться? Эти условия называют предпосылками классической линейной модели парной регрессии (КЛМПР) 7 Предпосылки КЛМПР (1) Модель линейна по параметрам и правильно специфицирована yi = 1 +  2 xi +  i Как мы увидим в дальнейшем, правильная спецификация подразумевает в первую очередь отсутствие других переменных (кроме 𝑥), которые влияют на 𝒚 и одновременно коррелируют с 𝒙. Нарушение этого требования приводит к серьезным проблемам. 8 Предпосылки КЛМПР (2) x1 ,..., xn — детерминированные (неслучайные) величины (не все одинаковые) 9 Предпосылки КЛМПР (3) Математическое ожидание случайных ошибок равно нулю: E ( i ) = 0 10 Предпосылки КЛМПР (4) случайные ошибки имеют постоянную дисперсию: V ( i ) =  = const 2 11 Предпосылки КЛМПР (5) Случайные ошибки, соответствующие разным наблюдениям не зависят друг от друга (не коррелированны) Cov( i ,  j ) = 0 при i j 12 Теорема Гаусса — Маркова Если выполнены условия (1)–(5), то оценки ˆ1 и ˆ2 , полученные по методу наименьших квадратов (МНК), являются (а) несмещенными (б) эффективными, то есть имеют наименьшую дисперсию в классе всех линейных по y несмещенных оценок 13 Предпосылки КЛМПР (6)* Случайные ошибки i имеют нормальное распределение -3 -2 -1 1 2 3 Это свойство не требуется для теоремы Гаусса — Маркова, но полезно для проверки гипотез и построения доверительных интервалов 14 Теорема Гаусса — Маркова: доказательство несмещенности (1) Полезное замечание  (x i − x ) =  xi −  x = x  =  x − nx =  x − n i i i n =0 1 ( xi − x )( yi − y )  ˆ2 = n = 1 2 ( x − x )  i n (x  = i − x )( 1 +  2 xi +  i − 1 −  2 x −  ) = 2  ( xi − x ) 15 Теорема Гаусса — Маркова: доказательство несмещенности (2)  ( xi − x )( 2 ( xi − x ) +  i −  ) = =  (x − x)   ( x − x ) +  ( x − x )( −  ) = =  (x − x) ( x − x ) −   ( x − x )  = + =  (x − x) ( x − x ) −  0  = +  (x − x) 2 i 2 2 i i i 2 i i i i 2 2 i i i 2 2 i 16 Теорема Гаусса — Маркова: доказательство несмещенности (3) ( xi − x ) i  ˆ 2 = 2 + 2  ( xi − x )    ) x − x (  i i  = E ( ˆ2 ) = E   2 + 2   ) x − x (  i   = 2 ( x − x ) E ( )  = +  (x − x) i i 2 2 i 17 Вычисление дисперсии оценки коэффициента (1) σ 𝑥𝑖 − 𝑥ҧ 𝜀𝑖 σ 𝑥𝑖 − 𝑥ҧ 𝜀𝑖 ෢2 = 𝑉 𝛽2 + 𝑉 𝛽 =𝑉 = 2 2 σ 𝑥𝑖 − 𝑥ҧ σ 𝑥𝑖 − 𝑥ҧ 1 = ∗ 𝑉 ෍ 𝑥𝑖 − 𝑥ҧ 𝜀𝑖 = 2 2 σ 𝑥𝑖 − 𝑥ҧ = в силу предпосылки 5 о независимости = 1 = ∗ ෍ 𝑉 𝑥𝑖 − 𝑥ҧ 𝜀𝑖 = 2 2 σ 𝑥𝑖 − 𝑥ҧ 18 Вычисление дисперсии оценки коэффициента (2) 1 = ∗ ෍ 𝑉 𝑥𝑖 − 𝑥ҧ 𝜀𝑖 = 2 2 σ 𝑥𝑖 − 𝑥ҧ 1 2 = ∗ ෍ 𝑥 − 𝑥 ҧ ∗ 𝑉 𝜀𝑖 = 𝑖 2 2 σ 𝑥𝑖 − 𝑥ҧ 1 2 2 = ∗ ෍ 𝑥 − 𝑥 ҧ ∗ 𝜎 = 𝑖 2 2 σ 𝑥𝑖 − 𝑥ҧ 2 σ 𝑥𝑖 − 𝑥ҧ 2 𝜎 2 = ∗ 𝜎 = 2 2 σ 𝑥𝑖 − 𝑥ҧ σ 𝑥𝑖 − 𝑥ҧ 2 19 Оценка дисперсии случайной ошибки В реальной ситуации величина 𝜎 2 нам не известна. Вместо нее самой можно вычислить ее оценку. Если выполнены предпосылки (1)-(5), то несмещенная оценка будет иметь вид 𝑛 1 2 𝜎෢2 = 𝑆 = ∗ ෍ 𝑒𝑖2 𝑛−2 𝑖=1 Чтобы показать, что эта оценка является несмещенной, нужно аккуратно вычислить ее математическое ожидание (см. Магнус, глава2) 20 Стандартные ошибки коэффициентов Как мы показали выше, дисперсия оценки коэффициента 𝛽2 имеет вид 𝜎2 ෢2 = 𝑉 𝛽 σ 𝑥𝑖 − 𝑥ҧ 2 Следовательно, оценка этой дисперсии: 𝑆2 ෢2 = 𝑉෠ 𝛽 σ 𝑥𝑖 − 𝑥ҧ 2 Корень из оценки дисперсии оценки коэффициента называется стандартной ошибкой оценки коэффициента (standard error, s.e.): ෢2 = 𝑠𝑒 𝛽 ෢2 = 𝑉෠ 𝛽 𝑆2 σ 𝑥𝑖 − 𝑥ҧ 2 21 Стандартные ошибки коэффициентов ෢2 = 𝑠𝑒 𝛽 ෢2 = 𝑉෠ 𝛽 𝑆2 σ 𝑥𝑖 − 𝑥ҧ 2 Стандартная ошибка оценки коэффициента характеризует ее точность: чем меньше стандартная ошибка, тем точнее оценен коэффициент. Стандартные ошибки нужны для проверки гипотез и построения доверительных интервалов. Мы подробно показали, как получается стандартная ෢2 . Аналогично можно получить ошибка для 𝛽 ෢1 . Она имеет вид: стандартную ошибку для 𝛽 ෢1 = 𝑠𝑒 𝛽 ෢1 = 𝑉෠ 𝛽 σ 𝑥𝑖2 𝑆2 ∗ 𝑛 σ 𝑥𝑖 − 𝑥ҧ 2 22 Доверительные интервалы σ 𝑥𝑖 − 𝑥ҧ ∗ 𝜀𝑖 ෢2 = 𝛽2 + 𝛽 σ 𝑥𝑖 − 𝑥ҧ 2 Если выполнена предпосылка (2) о том, что 𝑥𝑖 — детерминированные величины, и предпосылка (6) о том, что случайные ошибки распределены ෢2 представляет собой линейную нормально, то 𝛽 комбинацию нормальных случайных величин. ෢2 также является нормальной Следовательно 𝛽 случайной величиной. 𝜎2 ෢2 ~𝑁 𝛽2 , 𝛽 σ 𝑥𝑖 − 𝑥ҧ 2 23 Доверительные интервалы 𝜎2 ෢2 ~𝑁 𝛽2 , 𝛽 σ 𝑥𝑖 − 𝑥ҧ В этом случае случайная 2 ෢2 −𝛽2 𝛽 величина ෢ 𝑠𝑒 𝛽2 имеет t-распределение Стьюдента с 𝑛 − 2 степенями свободы. Доказательство этого факта мы обсудим в ෢ 𝛽2 − 𝛽2 конце темы (если ~𝑡𝑛−2 останется время) ෢2 𝑠𝑒 𝛽 Этот факт можно использовать для построения доверительных интервалов. 24 Доверительные интервалы ෢2 − 𝛽2 𝛽 ~𝑡𝑛−2 ෢2 𝑠𝑒 𝛽 Построим 95-процентный доверительный интервал. Назовем критическим значением 𝑡кр такое значение, что ෢2 − 𝛽2 𝛽 𝑃 −𝑡кр < < 𝑡кр = 0,95 ෢2 𝑠𝑒 𝛽 25 Доверительные интервалы ෢2 − 𝛽2 𝛽 𝑃 −𝑡кр < < 𝑡кр = 0,95 ෢2 𝑠𝑒 𝛽 График функции плотности распределения Стьюдента 26 Доверительные интервалы ෢2 − 𝛽2 𝛽 𝑃 −𝑡кр < < 𝑡кр = 0,95 ෢2 𝑠𝑒 𝛽 27 Доверительные интервалы ෢2 − 𝛽2 𝛽 𝑃 −𝑡кр < < 𝑡кр = 0,95 ෢2 𝑠𝑒 𝛽 28 Доверительные интервалы 𝑃 −𝑡кр ෢2 − 𝛽2 𝛽 < < 𝑡кр = 0,95 ෢2 𝑠𝑒 𝛽 −𝑡кр ෢2 − 𝛽2 𝛽 < < 𝑡кр ෢2 𝑠𝑒 𝛽 ෢2 − 𝑡кр ∗ 𝑠𝑒 𝛽 ෢2 < 𝛽2 < 𝛽 ෢2 + 𝑡кр ∗ 𝑠𝑒 𝛽 ෢2 𝛽 ෢𝟐 − 𝒕кр ∗ 𝒔𝒆 𝜷 ෢𝟐 , 𝜷 ෢𝟐 + 𝒕кр ∗ 𝒔𝒆 𝜷 ෢𝟐 𝜷 29 Доверительные интервалы ෢𝟐 − 𝒕кр ∗ 𝒔𝒆 𝜷 ෢𝟐 , ෢𝟐 + 𝒕кр ∗ 𝒔𝒆 𝜷 ෢𝟐 𝜷 𝜷 Значение 𝑡кр вы можете получить из таблиц распределения Стьюдента или при помощи компьютера. Например, в Excel, чтобы получить критическое значение для 95-процентного доверительного интервала для коэффициента оцененного по n=22 наблюдениям, нужно ввести: =СТЬЮДЕНТ.ОБР(1-0,025;22-2) 30 Доверительные интервалы: пример Исследуется зависимость часового заработка работника (EARNINGS) от числа законченных лет обучения (S): 𝑬𝑨𝑹𝑵𝑰𝑵𝑮𝑺 = 𝜷𝟏 + 𝜷𝟐 ∗ 𝑺𝒊 + 𝜺𝒊 На основе данных о 540 работника получено следующее уравнение (в скобках — стандартные ошибки оценок коэффициентов): ෣ 𝑬𝑨𝑹𝑵𝑰𝑵𝑮𝑺 𝒊 = −𝟏𝟑, 𝟗 + 𝟐, 𝟒 ∗ 𝑺𝒊 (𝟎,𝟑) (𝟎,𝟐) Построим 95-процентный доверительный интервал для коэффициента 𝛽2 31 Доверительные интервалы: пример 𝐸𝐴𝑅𝑁𝐼𝑁𝐺𝑆 = 𝛽1 + 𝛽2 ∗ 𝑆𝑖 + 𝜀𝑖 ෣ 𝐸𝐴𝑅𝑁𝐼𝑁𝐺𝑆 𝑖 = −13,9 + 2,4 ∗ 𝑆𝑖 (0,3) (0,2) ෢2 = 2,4, 𝑠𝑒 𝛽 ෢2 = 0,2 𝑛 = 540, 𝛽 𝑡кр = 𝑡𝑛−2 = 𝑡538 = 1,96 ෢2 − 𝑡кр ∗ 𝑠𝑒 𝛽 ෢2 , 𝛽 2,4 − 1,96 ∗ 0,2, 𝟐, 𝟎, ෢2 + 𝑡кр ∗ 𝑠𝑒 𝛽 ෢2 𝛽 2,4 + 1,96 ∗ 0,2 𝟐, 𝟖 32 Доверительные интервалы: пример Мы получили 95-процентный доверительный интервал для коэффициента 𝛽2 : 𝟐, 𝟎, 𝟐, 𝟖 С вероятностью 95% дополнительный год обучения увеличивает заработок работника на сумму от 2,0 до 2,8 доллара. Все числа, которые входят в доверительный интервал, являются положительными (интервал не содержит ноль). То есть мы с высокой долей уверенности можем утверждать, что истинное значение 𝛽2 > 0. В этом случае говорят, что коэффициент является значимым. Можно тестировать значимость коэффициента и другим способом, без построения доверительного интервала. 33 Тестирование значимости коэффициента и ˆ2 — оценки, полученные при помощи МНК, на основе случайной выборки. Следовательно, они сами являются случайными величинами. ˆ1 Поэтому даже, если истинное значение коэффициента  2 равно нулю, его оценка может отклоняться от нуля. ˆ2 Нужно уметь определять, достаточно ли сильно ˆ2 отличается от нуля для того, чтобы можно было с уверенностью утверждать, что и истинное значение коэффициента также не равно нулю. 34 Тестирование значимости коэффициента Нужно уметь определять, достаточно ли сильно ˆ2 отличается от нуля для того, чтобы можно было с уверенностью утверждать, что и истинное значение коэффициента также не равно нулю. На практике для решения этой задачи используется тест на значимость коэффициента. 35 Тестирование значимости коэффициента Рассматриваемая модель yi = 1 + 2 xi +  i Тестируемая гипотеза H0:  2 = 0 «Переменная x не оказывает значимого влияния на переменную y» Альтернативная гипотеза H1:  2  0 «Переменная x оказывает значимое влияние на переменную y» 36 Тестирование значимости коэффициента Алгоритм проведения теста Шаг 1 Вычисляем расчетное значение t-статистики t расч ˆ2 = SE ( ˆ2 ) Шаг 2 Выбираем уровень значимости Уровень значимости — вероятность ошибки первого рода, то есть вероятность отклонить гипотезу H0, если на самом деле гипотеза H0 верна. В эконометрике обычно используется уровень значимости  = 0, 01 = 1% или  = 0, 05 = 5% . 37 Тестирование значимости коэффициента Шаг 3 Из таблиц t-распределения Стьюдента находим критическое значение t-статистики tкр Оно зависит от уровня значимости (двусторонний тест)  и от так называемого числа степеней свободы, которое в случае нашего теста равно (n − 2) 38 Тестирование значимости коэффициента Шаг 4 Сравниваем расчетное и критическое значение tстатистик Если t расч  tкр , то гипотеза H0 не отклоняется (принимается), то есть мы делаем вывод о том, что переменная x не оказывает значимого влияния на переменную y. В этом случае коэффициент при переменной x называют незначимым. В противном случае гипотеза H0 не принимается (отклоняется). 39 Тестирование значимости коэффициента: пример Исследуется зависимость часового заработка (в $) работника (EARNINGS) от числа законченных лет обучения (S): EARNINGS = 1 + 2 Si +  i На основе данных о 540 работниках было получено следующее уравнение регрессии (в скобках — стандартные ошибки оценок коэффициентов): EARNINGS = −13,9+ 2, 4 Si (3,2) (0,2) Можно ли утверждать, что число лет обучения значимо влияет на заработок? 40 Тестирование значимости коэффициента: пример H0:  2 = 0 «Переменная S не оказывает значимого влияния на переменную EARNINGS» t расч ˆ2 2, 4 = = = 12 SE ( ˆ2 ) 0, 2 При уровне значимости 1% и числе степеней свободы n − 2 = 540 − 2 = 538 tкр = t (538) = 2,6 t расч  tкр , следовательно, гипотеза H0 отвергается, и мы делаем вывод о том, что число лет обучения значимо влияет на заработок 41 Тестирование гипотезы 𝛽2 = 𝐴 Аналогичным образом можно тестировать гипотезу 𝐻0 : 𝛽2 = 𝐴 В этом случае поменяется только формула для расчетного значения тестовой статистики: 𝛽መ2 − 𝐴 𝑡расч = 𝑠𝑒(𝛽መ2 ) Остальной алгоритм тестирования гипотезы сохранится без изменений 42 P-значение Эконометрические пакеты при тестировании значимости обычно рассчитывают так называемое P-значение (также обозначается P-value или просто Probability). P-значение можно определить как предельный уровень значимости, при котором тест находится на грани между отвержением и не отвержением нулевой гипотезы. Поясним это определение на примере 43 P-значение Пусть число наблюдений 𝑛 = 10, оценка ෢2 = 8,0, коэффициента 𝛽 ෢2 = 4,0 а ее стандартная ошибка 𝑠𝑒 𝛽 Тогда критическое значение тестовой статистики для проверки гипотезы 𝐻0 : 𝛽2 = 0 при уровне значимости 5% равно: 𝑡кр = 𝑡8 = 2,3. А расчетное значение статистики равно: ෢2 𝛽 8 Изобразим все 𝑡расч = ෢ = = 2 𝑠𝑒 𝛽2 4 это на графике 44 P-значение - 45 P-значение P-значение = 3%+3% = 0,06 - 46 P-значение Из рисунка выше следует, что P-значение больше уровня значимости тогда и только тогда, когда 𝑡расч < 𝑡кр Поэтому принимать решение на основе P-значения очень легко: если P-значение больше выбранного уровня значимости, то нулевая гипотеза при данном уровне значимости не отвергается Эконометрические пакеты рассчитывают P-значение автоматически 47 Тестирование значимости коэффициента: пример использования P-значения В эконометрических программах результаты оценки уравнения представляются в виде таблицы. Например, уравнение EARNINGS = −13,9+ 2, 4 Si (3,2) (0,2) при оценке в MS Excel было представлено следующим образом: Intercept S Coefficients –13.9334 2.4553 Standard Error 3.2198 0.2318 t Stat –4.33 10.59 P-value 0.0002 0.0001 Отметим, что для коэффициента при переменной S P-value=0.0001 Так как P-value<0.01, то мы делаем вывод о том, что при уровне значимости 1% переменная S является значимой. 48 Прогнозирование в модели парной регрессии 49 Прогнозирование Для временных рядов прогнозирование — предсказание будущего значения зависимой переменной Например, курс доллара завтра или уровень ВВП в следующем квартале 50 Прогнозирование Для пространственных выборок прогнозирование — предсказание значения зависимой переменной для заданных значений объясняющих переменных Например, рыночная стоимость квартиры с определенными жилой площадью и количеством комнат, в определенном районе 51 Прогнозирование: постановка задачи Модель: 𝑦𝑖 = 𝛽1 + 𝛽2 𝑥𝑖 + 𝜀𝑖 На основе n наблюдений оценено уравнение регрессии: 𝑦ො𝑖 = 𝛽መ1 + 𝛽መ2 𝑥𝑖 Пусть известно (n+1)-ое значение регрессора: 𝑥𝑛+1 Используя его нужно предсказать 𝑦𝑛+1 52 Прогнозирование: постановка задачи Естественная идея — просто подставить это значение в уравнение регрессии: 𝑦ො𝑛+1 = 𝛽መ1 + 𝛽መ2 𝑥𝑛+1 Это хорошая идея, так как такой прогноз (а) несмещенный (б) эффективный, то есть обладает наименьшей средней квадратичной ошибкой прогноза среди всех линейных несмещенных оценок 53 Несмещенность Матожидание прогноза: 𝐸(𝑦ො𝑛+1 ) = 𝐸 𝛽መ1 + 𝛽መ2 𝑥𝑛+1 = = 𝐸(𝛽መ1 ) + 𝐸(𝛽መ2 )𝑥𝑛+1 = 𝛽1 + 𝛽2 𝑥𝑛+1 Матожидание истинного значения: E 𝑦𝑛+1 = 𝐸 𝛽1 + 𝛽2 𝑥𝑛+1 + 𝜀𝑛+1 = = 𝛽1 + 𝛽2 𝑥𝑛+1 + 𝐸 𝜀𝑛+1 = 𝛽1 + 𝛽2 𝑥𝑛+1 E 𝑦𝑛+1 = 𝐸(𝑦ො𝑛+1 ) 54 Точность прогноза Дисперсия ошибки прогноза E ( yˆ n +1 − yn +1 ) = V (en +1 ) = 2    2  1 ( xn +1 − x )  2 =  1+ + n  n 2  (xi − x )    i =1   (Докажите это равенство) 55 Стандартная ошибка прогноза 2 2 Заменим 𝜎 на ее оценку 𝑆 и вычислим корень из дисперсии ошибки прогноза — получим стандартную ошибку прогноза =    2  1 ( xn +1 − x )  2 S 1+ + n  n 2  (xi − x )    i =1   56 Доверительный интервал для прогноза 𝑦ෟ 𝑛+1 − 𝛿 ∗ 𝑡𝑛−2 , 𝑦ෟ 𝑛+1 + 𝛿 ∗ 𝑡𝑛−2 Примечание: В случае, если вы строите прогноз не для парной регрессии, а для множественной, число степеней свободы изменится, и вместо 𝑡𝑛−2 , следует использовать 𝑡𝑛−𝑘 , где k — число оцениваемых параметров. Формула для 𝛿 в случае множественной регрессии также отличается, ее можно посмотреть в Магнусе, Катышевом, 57 Пересецком. Точность прогноза    2  1 (xn +1 − x )  2  = S 1+ + n  n 2  (xi − x )    i =1   При каком xn +1 ошибка прогноза минимальна? При xn +1 = x . => Прогноз наиболее точен, для наблюдений «похожих» на наблюдения из исходной выборки 58 Следует помнить Все сказанное выше про прогнозирование верно, при условии, что выполнены предпосылки классической линейной модели парной регрессии. На практике эти предпосылки часто нарушаются. Как тестировать выполнение этих предпосылок, и что делать, если они не выполняются, мы обсудим в дальнейшем. 59 Литература к лекции • Магнус Я.Р., Катышев П.К., Пересецкий А.А. Эконометрика. Начальный курс: Учеб. — 6-е изд., перераб. и доп. — М.: Дело, 2004. Глава 2, параграфы 2.1–2.6 • Доугерти К. Введение в эконометрику: Учебник. 3-е изд. / Пер. с англ. — М.: ИНФРА-М, 2009. Главы 1–2 Обратите внимание: при составлении контрольных предполагается, что вы знакомы не только с материалами семинаров и лекций, но и с указанными главами учебников 60