Эконометрическое моделирование. Регрессия. Гетероскедастичность.

Эконометрика Кисляк Н. В. ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ Государственное образовательное учреждение высшего профессионального образования «Уральский государственный университет им. А.М. Горького» ИОНЦ «Бизнес-информатика» Экономический факультет Кафедра экономического моделирования и информатики ЭКОНОМЕТРИКА Курс лекций Подпись руководителя ИОНЦ Дата Екатеринбург 2007 2 Эконометрика Кисляк Н. В. 1. 1. ЭКОНОМЕТРИЧЕСКОЕ МОДЕЛИРОВАНИЕ. ОСНОВНЫЕ ПОНЯТИЯ И ОПРЕДЕЛЕНИЯ ЭКОНОМЕТРИКИ. ____________________________________________ 4 2. ПАРНЫЙ РЕГРЕССИОННЫЙ АНАЛИЗ.___________________________________ 18 3. МНОЖЕСТВЕННАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ_____________________________ 35 4. ОЦЕНКА КАЧЕСТВА ПОДГОНКИ ЛИНИИ РЕГРЕССИИ К ИМЕЮЩИМСЯ ДАННЫМ____________________________________________________________________ 44 5. НЕЛИНЕЙНЫЕ РЕГРЕССИОННЫЕ МОДЕЛИ. ____________________________ 48 6. СТАТИСТИЧЕСКИЕ СВОЙСТВА ОЦЕНОК КОЭФФИЦИЕНТОВ МЛРМ.______ 52 7. ПРОВЕРКА ГИПОТЕЗ ОТНОСИТЕЛЬНО КОЭФФИЦИЕНТОВ РЕГРЕССИИ.__ 66 8. МУЛЬТИКОЛЛИНЕАРНОСТЬ.____________________________________________ 76 9. ОШИБКИ СПЕЦИФИКАЦИИ ____________________________________________ 81 10. ПРОЦЕДУРЫ ОТБОРА РЕГРЕССОРОВ____________________________________ 86 11. ГЕТЕРОСКЕДАСТИЧНОСТЬ _____________________________________________ 90 12. АВТОКОРРЕЛЯЦИЯ ВРЕМЕННЫХ РЯДОВ. _______________________________ 95 13. ОБОБЩЕННЫЙ МЕТОД НАИМЕНЬШИХ КВАДРАТОВ. ___________________ 101 14. Прогнозирование при помощи регрессионных моделей. ______________________ 107 15. Временные ряды ________________________________________________________ 111 16. СИСТЕМЫ ОДНОВРЕМЕННЫХ УРАВНЕНИЙ. ___________________________ 136 17. Литература. ___________________________________________________________ 154 1. 3 Эконометрика Кисляк Н. В. 1. ЭКОНОМЕТРИЧЕСКОЕ МОДЕЛИРОВАНИЕ. ОСНОВНЫЕ ПОНЯТИЯ И ОПРЕДЕЛЕНИЯ ЭКОНОМЕТРИКИ. Термин «эконометрика» был впервые введен бухгалтером П. Цьемпой (Австро-Венгрия, 1910 г.) («эконометрия» - у Цьемпы). Цьемпа считал, что если к данным бухгалтерского учета применить методы алгебры и геометрии, то будет получено новое, более глубокое представление о результатах хозяйственной деятельности. Это употребление термина, как и сама концепция, не прижилось, но название «эконометрика» оказалось весьма удачным для определения нового направления в экономической науке, которое выделилось в 1930 г. Слово «эконометрика» представляет собой комбинацию двух слов: «экономика» и «метрика» (от греч. «метрон»). Таким образом, сам термин подчеркивает специфику, содержание эконометрики как науки: количественное выражение тех связей и соотношений, которые раскрыты и обоснованы экономической теорией. Й. Шумпетер (1883—1950), один из первых сторонников выделения этой новой дисциплины полагал, что в соответствии со своим назначением эта дисциплина должна называться «экономометрика». Советский ученый А.Л. Вайнштейн (1892—1970) считал, что название настоящей науки основывается на греческом слове метрия (геометрия, планиметрия и т.д.), соответственно по аналогии – эконометрия. Однако в мировой науке общеупотребимымстал термин «эконометрика». В любом случае, какой бы мы термин ни выбрали, эконометрика является наукой об измерении и анализе экономических явлении. Зарождение эконометрики является следствием междисциплинарного подхода к изучению взаимодействия и экономической теории, экономики. объединения в Эта наука особый статистических и возникла «сплав» в трех математических результате компонент: методов. Впоследствии к ним присоединилось развитие вычислительной техники как условие развития эконометрики. 4 Эконометрика Кисляк Н. В. В журнале «Эконометрика», основанном в 1933 г. Р. Фришем (1895— 1973), он дал следующее определение эконометрики: «Эконометрика - это не то же самое, что экономическая статистика. Она не идентична и тому, что мы называем экономической теорией, хотя значительная часть этой теории носит количественный характер. Эконометрика не является синонимом приложений математики к экономике. Как показывает опыт, каждая из трех отправных точек - статистика, экономическая теория и математика — необходимое, но недостаточное условие для понимания количественных соотношений в современной экономической жизни. Это - единство всех трех составляющих. И это единство образует эконометрику». Таким образом, эконометрика - это наука, которая дает количественное выражение взаимосвязей экономических явлений и процессов. Нельзя утверждать, что достигнуто однозначное определение эконометрики. Так, Э. Маленво придерживался широкого понимания, интерпретируя эконометрику как «любое приложение математики или статистических методов к изучению экономических явлений». О. Ланге (1904—1965) писал, что эконометрика занимается определением наблюдаемых в закономерностей, экономической жизни применяя этой для конкретных цели количественных статистические методы. Статистический подход к эконометрическим измерениям стал доминирующим. Возникновение эконометрики как науки. Каждая наука проходит сложный путь зарождения и выделения в самостоятельную область Первоначальные попытки знания. Эконометрика количественных — не исследований исключение. в экономике относятся к XVII в. «Политические арифметики» - В. Петти (1623-1667). Г. Кинг (1648-1712), Ч. Давенант (1656—1714) — вот первая когорта ученых, систематически использовавших цифры и факты в своих исследованиях, прежде всего в расчете национального дохода. Круг их интересов был связан в основном с практическими вопросами: налогообложением, денежным обращением, международной торговлей и 5 Эконометрика Кисляк Н. В. финансам. Политическую арифметику можно назвать описательным политикоэконометрическим анализом. Это направление пробудило поиск законов в экономике. Одним из первых был сформулирован так называемый «закон Книга», в котором на основе соотношения между урожаем зерновых и ценами на зерно была выявлена закономерность спроса. Исследователям хотелось достичь в экономике того, что И. Ньютон достиг в физике. Неопределенная природа экономических закономерностей еще не была осознана. В этот же период все больше учетных данных становятся доступными, создавая основу для измерений. Существенным толчком явилось развитие статистической теории в трудах Ф. Гальтона (1822-1911), К. Пирсона (1857-1936), Ф. Эджворта (1845— 1926). Появились первые применения парной корреляции: при изучении связей между уровнем бедности и формами помощи бедным (Дж. Э. Юл, 1895, 1896); между уровнем брачности в Великобритании и благосостоянием (Г. Хукер, 1901), в котором использовалось несколько индикаторов благосостояния, к тому же исследовались временные ряды экономических переменных. Это были шаги по созданию современной эконометрики. Параллельно происходил процесс создания маржиналистской (неоклассической) теории, зарождение которой можно датировать 60-ми годами XIX о. (появление работ С.Джепонса, Л.Вальраса, К.Менгера). С 30-х гг. XIX в. страны с наиболее высоким уровнем развития капитализма стали испытывать спорадические потрясения — упадок деловой активности, возникновение массовой безработицы. Эти явления не находили теоретического объяснения. Быстрая индустриализация выявила огромный диапазон социальных проблем, которые также не согласовывались с теорией. Неоклассическая теория стала восприниматься как слишком удаленная от действительности. Для ее практического значения требовались количественные выражения базовых понятий, таких как «эластичность спроса» или «предельная полезность». 6 Эконометрика Кисляк Н. В. Теория спроса могла стать убедительной в том случае, если она смогла бы объяснить и оценить фактические кривые спроса и предложения, продемонстрировать формирование равновесных цен в конкретных условиях. К этому же времени относится привлечение ученых-экономистов (А. Маршалла, С. Джепонса, К. Менгера) к парламентской деятельности, что подтолкнуло их к анализу макроэкономических проблем на основе временных рядов таких показателей, как, например, валютные курсы и т.п. Это также явилось важным шагом в подготовке развития эконометрики. Многие исследователи признают первой работой, которая могла бы быть названа эконометрической, книгу американского ученого Г. Мура (1869—1958) «Законы заработной платы: эссе по статистической экономике» (1911). Г. Муром были проведены анализ рынка труда, статистическая проверка теории производительности Дж. Кларка, а также изложены основы стратегии объединения пролетариата и т. д. В это время для США решение этих вопросов было безотлагательным: рабочий класс стремительно «Индустриальные рабочие рос, мира» возникали такие и радикально другие объединения, как настроенные организации. Г. Мур подошел к анализу поставленных проблем с позиций «высшей», как он называл, статистики, используя все достижения теории корреляции, регрессии, анализа динамических рядов. Он стремился показать, что сложные математические построения, наполненные фактическими данными, могли составить основу для разработки социальной стратегии. К этому же периоду относится первое применение итальянским ученым Р. Бенини (1862-1956) метода множественной регрессии для оценки функции спроса. Значительным вкладом в становление эконометрики явились исследования по цикличности экономики. К. Жюгляр (1819-1905), французский физик, ставший экономистом, первым занялся исследованием экономических временных рядов с целью выделения бизнес-циклоп. Им была обнаружена цикличность инвестиций (продолжительность цикла - 7—11 лет). Вслед за ним С. Китчин, С. Кузнец, Н. 7 Эконометрика Кисляк Н. В. Кондратьев, автономно занимаясь этой проблемой, выявили цикличность обновления оборотных средств (3 - 5 лет), циклы в строительстве (15 - 20 лет), долгосрочные волны, или «большие циклы» Кондратьева, продолжительностью 45—60 лет. Значительной вехой в формировании эконометрики явилось построение экономических барометров, прежде всего так называемого гарвардского барометра. Большинство экономических барометров, включая названный, основано на следующей идее: в динамике различных элементов экономики существуют такие показатели, которые в своих изменениях идут впереди других, а потому могут служить предвестниками последних. Гарвардский барометр был создан под руководством У. Персонса (1878— 1937) и У. Митчелла (1874-1948). В течение 1903-1914 гг. он состоял из пяти групп показателей, которые в дальнейшем были сведены в три отдельные кривые: кривая А характеризовала фондовый рынок; кривая В — товарный рынок; кривая С — денежный рынок. Каждая из этих кривых представляла среднюю арифметическую из рядов входящих в нее нескольких показателей. Эти ряды предварительно статистически обрабатывались путем исключения тенденции, сезонной волны и приведения колебаний отдельных кривых к сравнимому масштабу колеблемости. В основу прогноза гарвардского барометра было положено свойство каждой отдельной кривой повторять движение остальных в определенной последовательности и с определенным отставанием. Так, с 1903 г. и до первой мировой войны поворотные пункты кривой А предшествовали поворотным пунктам кривой В на 6—10 месяцев (в среднем — на 8 месяцев); поворотные пункты кривой В обгоняли аналогичные пункты кривой С на 2-8 месяцев (в среднем на 4 месяца); наконец, колебания кривой С предшествовали колебаниям кривой А следующего цикла на 6-12 месяцев. Гарвардский барометр представлял собой описание подмеченных эмпирических закономерностей и экстраполяции последних на ближайшие 8 Эконометрика Кисляк Н. В. месяцы. Однако в построении гарвардского барометра можно обнаружить и некоторые теоретические предпосылки. Естественно, например, что изменение средних биржевых курсов и показателей фондового рынка (индекс спекуляции А) означало изменение спроса на товары, что влекло за собой, в свою очередь, изменение в том же направлении индекса оптовых цен, объема производства и товарооборота (индекс В). Возрастание, например, объема производства вызывало напряжение на денежном рынке, рост учетной ставки и падение курса ценных бумаг с фиксированным доходом (кривая С). Поэтому максимум кривой А обычно должен был совпадать с минимумом кривой С. Успех гарвардского барометра породил буквально эпидемию таких построений в других странах (в частности, аналогичный барометр был построен в Великобритании). Несколько лет после первой мировой войны он еще удовлетворительно выполнял свое предназначение. Но затем гарвардский барометр (приблизительно с 1925 г.) потерял чувствительность и сошел со сцены, пережив свою славу. Авторы гарвардского барометра объясняли его крах появлением мощного регулирующего фактора в экономике США. В этих условиях основным методом макроэкономического анализа становится метод «Затраты-выпуск» В.В. Леонтьева (1906-1999). Что касается экономических барометров, то советский математикстатистик Е. Слуцкий (1880-1948) в работе «Сложение случайных причин как источник циклических процессов» (1927), взяв в качестве случайных рядов последние цифры номеров облигаций из тиражных таблиц выигрышного займа, блестяще доказал, что сложение случайных причин порождает волнообразные ряды, имеющие тенденцию на протяжении большего или меньшего числа волн имитировать гармонические ряды, сложенные из небольшого числа синусоид». Таким образом, никакой закономерности в любом экономическом барометре могло и не существовать. В этот же период делались эконометрические построения, использующие методы гармонического анализа и периодограмм-анализа (Г.Мур в США, 9 Эконометрика Кисляк Н. В. Бэвэридж в Энстром в Швеции) Эти методы перенесены в экономику из области астрономии, метеорологии, физики. К 30-м гг. сложились все предпосылки для выделения эконометрики в отдельную науку. Стало ясно, что специалисты, занимающиеся развитием эконометрической науки, должны использовать в той или иной степени математику и статистику. Возникла необходимость появления особого термина, объединяющего все исследования в этом направлении, подобно биометрике — науке, изучающей биологию статистическими методами. В 1912г. И. Фишер попытался создать группу ученых для стимулирования развития экономической теории путем ее связи со статистикой и математикой. Но тогда эту группу создать не удалось. Тогда Р. Фриш и математик-экономист Ч. Рус обратились с идеей собрать специальный форум экономистов, готовых к использованию математики и статистики. 29 декабря 1930 г. по инициативе И. Фишера (1867—1947), Р. Фриша, Я. Тинбергена (1903-1995). И. Шумпетера, О. Андерсона (1887-1960) и других ученых на заседании Американской ассоциации развития науки (США, Кливленд, штат Огайо) было создано эконометрическое общество, на котором норвежский ученый Р. Фриш дал новой науке название — «эконометрика». С самого начала эконометрическое общество было интернациональным. Уже в 1950 г. общество насчитывало почти 1000 членов. С 1933 г. под редакцией Р. Фриша стал издаваться журнал «Эконометрика» («Econometrica»), который и сейчас играет важную роль в развитии эконометрической науки. В 30—40-е гг. Департамента развитию прикладной эконометрики экономики способствовала под руководством деятельность Р. Стоуна (Великобритания). В 1941 г. появился первый учебник по эконометрике, который был создан Я. Тинбергеном (1913-1994). В эти годы вплоть до 70-х гг. XX в. эконометрика понималась как эмпирическая оценка моделей, разработанных экономической теорией. Р. Фриш определял соотношение между теорией и данными наблюдений 10 Эконометрика Кисляк Н. В. следующим образом: теория, абстрактно формулирующая количественные соотношения, должна быть проверена множеством наблюдений. Свежие статистические данные и другие факты должны предотвратить теорию от опасного догматизма. Под влиянием лидеров, таких как Р. Фриш, Т. Хаавелмо, Я. Тинберген, Л. Клейн, экономические модели, построенные в этом периоде, всегда были кейнсианскими. Все изменилось в 70-е гг. В макроэкономике возникли противоречия между кейнсианцами, монетаристами и марксистами. Формальные методы стали использоваться для доказательства причинности при выборе теоретических концепций. Экономическая теория потеряла свое решающее значение. Другим важным событием стало появление компьютеров с высоким быстродействием и мошной оперативной памятью. Существенное развитие получил статистический анализ временных рядов. Г. Бокс и Г. Дженкинс создали ARIMA-модсль и 1970 г., а К. Симс и другие ученые — VAR-модели, ставшие популярными в начале 80-х гг. Вершиной этой стадии развития явился метод коинтеграции, развитый С. Йохансеном и др. (1990 г.). В настоящее время эконометрика располагает огромным разнообразием типов моделей - от больших макроэкономических моделей, включающих несколько сот, а иногда и тысяч уравнений, до малых коинтеграционных моделей, предназначенных для решения специфических проблем. Итак, современный взгляд на эконометрику отражен в следующем определении: Эконометрика – научная дисциплина, объединяющая совокупность теоретических результатов, приемов, методов и моделей, предназначенных для того, чтобы на базе 1. экономической теории; 2. экономической статистики; 3. математико-статистического инструментария 11 Эконометрика Кисляк Н. В. придавать конкретное количественное выражение общим (качественным) закономерностям, обусловленным экономической теорией. (С. А. Айвазян, В. С. Мхитарян. Прикладная статистика и основы эконометрики.) Иными словами, эконометрика позволяет на базе положений экономической теории и исходных данных экономической статистики, используя необходимый математико-статистический инструментарий, придавать конкретное количественное выражение общим (качественным) закономерностям. Прикладные цели эконометрики. • вывод экономических законов; • формулировка экономических моделей, основываясь на экономической теории и эмпирических данных; • оценка неизвестных величин (параметров) в этих моделях; • прогнозирование и оценка точности прогноза; • выработка рекомендаций по экономической политике. Как же экономист добивается поставленных перед собой целей. В ходе эконометрического исследования экономист последовательно проходит несколько этапов. Этапы эконометрического моделирования: 1. к Человек, начинающий изучать экономику, первым делом приходит мысли, что в экономике некоторые переменные взаимосвязаны. Формирующийся на рынке спрос на товар рассматривается как функция его цены, затраты, предполагаются связанные с зависимыми от изготовлением объема некоторого производства, продукта потребительские расходы связаны с доходом и др. – примеры связей между двумя переменными, причем одна из переменных выступает в роли объясняемой переменной, другая в роли объясняющей. Для большей реалистичности приходится вводить в соотношение другие объясняющие переменные и случайный фактор. Спрос на товар – цена, потребительский доход, цены на конкурирующие, дополняющие и замещающие товары и др. Переменную, процесс формирования значений которой нас по каким-то причинам интересует, будем обозначать Y и называть 12 Эконометрика Кисляк Н. В. зависимой или объясняемой. Переменные, которые, как мы предполагаем, оказывают влияние на переменную Y, будем обозначать Xj и называть независимыми или объясняющими. Значения этих переменных являются для нее внешними, ничего о том, как формируются эти значения не указано. На этом этапе процесс формирования значений объясняемой переменной можно представить в виде следующей схемы: другие переменные X1 X2 Y … Xk случайный фактор Рис. 1. Формирование значений переменной Y X1,…Xk – выделенные переменные (наиболее существенно влияющие или представляющие для нас определенный интерес). 2. Группировка отдельных соотношений в модель – формулирование некоторых гипотез относительно того, как должны быть связаны переменные. Гипотезы эти возникают на основе теоретических экономических предпосылок, интуиции, опыта исследователя, его здравого смысла. Сразу же возникает вопрос, как проверить правильность модели? В физике, биологии все просто – проводим эксперимент и смотрим, подтверждают ли его результаты наши гипотезы. В экономике все сложнее. Как в экономике проводить эксперименты -? Мы можем только наблюдать за действительностью. Таким образом, на этом этапе эконометрист занимается моделированием поведения экономических объектов. Моделирование – упрощение реальности объекта. Задача, искусство моделирования состоит в том, чтобы как можно 13 Эконометрика Кисляк Н. В. более лаконично и адекватно именно те стороны реальности, которые интересуют исследователя. Математическая модель схемы: Y = f ( X 1 ,..., X k ) + ε Если (1.1). M ( ε | X 1 ,..., X k ) = 0 , то уравнение (1.1) называют уравнение регрессии Y на X1,…Xk . Функция f – регрессионная функция, линия, которую эта функция описывает в пространстве – линия регрессии. Первая задача – перевести эти предположения на математический язык. К сожалению, проделать это единственным образом нельзя. Что означает возрастающая функция. Есть много функций, которые являются возрастающим функциями своих аргументов. Линейные, нелинейные, разные. Выход – первоначально сформулировать самую простую модель. Введем следующие обозначения для наблюдаемых экономических параметров: Уравнение поведения здесь имеют форму точных функциональных зависимостей. Однако, как мы увидим позднее, это нереалистично и нельзя приступать к эконометрической разработке, не пользуясь некоторыми дополнительными стохастическими спецификациями. Мы добавляем в поведенческие уравнения стохастический член. Поскольку ни для каких реальных экономических данных нельзя обеспечить постоянное соблюдение простых соотношений. Кроме того, из всех возможных объясняющих переменных в спецификацию включается лишь небольшое их подмножество, т. е. мы можем говорить только об аппроксимации моделью некоторых, повидимому достаточно сложных, но неизвестных нам взаимосвязей. Чтобы обеспечить равенство между правой и левой частью, в каждое соотношение приходится вводить случайную ошибку. В нашей модели рассматриваются зависимости между некоторыми переменными. Переменные, значения которых объясняются в рамках нашей модели, называются эндогенными. Переменные, значения которых нашей моделью не объясняются, являются для нее внешними, ничего о том, как формируются эти значения, мы не знаем, называются экзогенными. Еще одна 14 Эконометрика Кисляк Н. В. переменная – лаговое значение эндогенной переменной. Она тоже для нашей модели внешняя. Экзогенные переменные и лаговые значения эндогенных переменных – предопределенные переменные. В ходе курса мы столкнемся с несколькими типами эконометрических моделей, которые применяются для анализа и прогноза: а) модели временных рядов. Такие модели объясняют поведение переменной, меняющейся с течением времени, исходя только из его предыдущих значений. К этому классу относятся модели тренда, сезозонности, тренда и сезонности (аддитивная и мультипликативная формы) и др. б) регрессионные модели с одним уравнением. В таких моделях зависимая (объясняемая) переменная представляется в виде функции от независимых (объясняющих) переменных и параметров. В зависимости от вида функции модели бывают линейными и нелинейными. Будем изучать именно их. в) Системы одновременных уравнений. Ситуация экономическая, поведение экономического объекта описывается системой уравнений (наш пример). Системы состоят из уравнений и тождеств, которые могут содержать в себе объясняемые переменные из других уравнений (поэтому вводят понятия экзогенных и эндогенных переменных). Пункт 2 носит название спецификация модели. Необходимо: а) определить цели моделирования; б) определения списка экзогенных и эндогенных переменных; в) определение форм зависимостей между переменными; г) формулировка априорных ограничений на случайный член, что важно для свойств оценок и выбора метода оценивания, и некоторые коэффициенты 3. Теперь необходимо модель проверить. Как это сделать, если мы не физики и не биологи? Методы эконометрии, позволяющие проводить эмпирическую проверку теоретических утверждений и моделей, выступают мощным инструментом развития самой экономической теории. С их помощью отвергаются теоретические концепции и принимаются новые, более полезные 15 Эконометрика Кисляк Н. В. гипотезы. Теоретик, не привлекающий эмпирический материал для проверки своих гипотез и не использующий для этого эконометрические методы, рискует оказаться в мире статистический своих материал. фантазий. Здесь Собрать нам на данные помощь – необходимый приходят методы экономической статистики и статистики вообще. Типы данных, с которыми эконометристу приходится сталкиваться при моделировании экономических процессов: а) cross-sectional data – пространственные данные – набор сведений по разным экономическим объектам в один и тот же момент времени; б) time-series data – временные ряды – наблюдение одного экономического параметра в разные периоды или моменты времени. Эти данные естественным образом упорядочены во времени. Инфляция, денежная эмиссия (годовые), курс доллара США (ежедневные); в) panel data – панельные данные – набор сведений по разным экономическим объектам за несколько периодов времени (данные переписи населения). 4. Идентификация модели – статистический анализ модели и, прежде всего – статистическое оценивание параметров. Выбор метода оценивания сюда тоже входит. Зависит от особенностей модели. 5. Верификация модели – сопоставление реальных и модельных данных, проверка оцененной модели с тем, чтобы прийти к выводу о достаточной реалистичности получаемой с ее помощью картины объекта, либо признать необходимость оценки другой спецификации модели. Схема эконометрического исследования 16 Эконометрика Кисляк Н. В. Экономическая теория Экономическая модель Статистические данные Оценка параметров модели Проверка качества модели нет Модель адекватна ? да Использование модели на практике Рис. 2. Схема эконометрического исследования Итак, эконометрические методы разработаны, в основном, для оценивания параметров экономических моделей. Каждая модель содержит, как правило, несколько уравнений, а в уравнение входит несколько переменных. Начнем с самого простого – парной линейной регрессионной модели. 17 Эконометрика Кисляк Н. В. 2. ПАРНЫЙ РЕГРЕССИОННЫЙ АНАЛИЗ. Эконометрические методы разработаны, в основном для оценивания параметров экономических моделей. Каждая модель содержит, как правило, несколько уравнений, а в каждое уравнение входит несколько переменных. Чтобы понять техническую основу, на которой возникают эти достаточно сложные методы, мы начнем с рассмотрения самого простого случая, рассмотрев одно уравнение, которое содержит только две переменных. Итак, у нас характеризующая есть переменная результат или Y, зависимая эффективность или эндогенная, функционирования экономической системы, которую мы анализируем. Ее значения формируются в процессе и внутри функционирования этой системы под воздействием ряда других переменных и факторов. По своему характеру переменная Y всегда случайна. Есть набор объясняющих переменных, экзогенных, характеризующих состояние экономической системы. Эти переменные в существенной степени объясняют процесс формирования эндогенных переменных. Эти переменные, как правило, поддаются хотя бы частичному регулированию и управлению. По своей природе они могут быть как случайными, так и детерминированными. Две переменные могут быть связаны либо функциональной зависимостью (т.е. существует функция f что Y = f(X), значения переменной Y полностью определяются значениями переменной X), либо статистической, либо быть независимыми. Определения. 1. Если при изменении X меняется закон распределения случайной величины Y, то говорят, что величины (X,Y) связаны статистической зависимостью. 2. Статистическая зависимость называется корреляционной, если при изменении X меняется Математическое ожидание случайной величины Y. 18 Эконометрика Кисляк Н. В. Приведем пример случайной величины Y, которая не связана с величиной X функционально, а связана корреляционно. Пусть Y – урожай зерна, а X – количество удобрений. С одинаковых по площади участков земли при равных количествах внесенных удобрений снимают различный урожай, т. е. Y не является функцией от X. Это объясняется влиянием случайных факторов (осадки, температура воздуха и др.). Вместе с тем, как показывает опыт, средний урожай является функцией от количества удобрений, т. е. Y связан с X корреляционной зависимостью. 3. Условным математическим ожиданием M (Y | X ) = М(Y|X = x) – условное мат. ожидание переменной Y при фиксированном значении X. Если каждому значению величины X соответствует свое значение M (Y | X ) , то говорят, что существует регрессионная функция M (Y | X ) = f ( X ) Это уравнение называют уравнением регрессии Y на X. Т. о. f(X) = M(Y|X=x) – описывает изменение условного среднего значения результирующей переменной в зависимости от изменения значений X объясняющих переменных. Функциональная зависимость наблюдается крайне редко. Тем не мене, большая часть традиционных экономических теорий, в которой связи между экономическими категориями отражаются с помощью формул, имеют дело с точными алгебраическими соотношениями. Однако если мы посмотрим на отдельные наблюдения переменных, фигурирующих в этих законах, то мы увидим, что они не будут точно соответствовать этим соотношениям. (Функция Кобба-Дугласа, например). Кроме того, они почти никогда не будут соответствовать любому другому гладкому соотношению. В учебниках по экономической теории эта проблема решается обычно следующим образом: соотношение приводится, как если бы оно было точным, а читателя предупреждают, что это только аппроксимация. Но нас с вами такой подход устраивать не должен. В математической статистике факт точности соотношения признается путем включения в уравнение случайного фактора, описываемого случайным остаточным членом. В простейшей модели 19 Эконометрика Кисляк Н. В. Y = α + β. Величина Y, рассматриваемая как зависимая переменная, состоит из двух составляющих: 1) неслучайной (детерминированной) составляющей α+βX, где X выступает как объясняющая (независимая) переменная; 2) случайного члена ε. Откуда берется этот случайный член. Причин может быть несколько и основная: 1) невключение объясняющих переменных в уравнение. На самом деле на переменную Y влияет не только переменная X, но и ряд других переменных, которые не учтены в нашей модели по следующим причинам: a) мы знаем, что другая переменная влияет, но не модем ее учесть, потому как не знаем, как измерить (психологический фактор, например); b) существуют факторы, которые мы знаем, как измерить, но влияние их на Y так слабо, что их не стоит учитывать; c) существенные переменные, но из-за отсутствия опыта или знаний мы их таковыми не считаем. Если бы мы точно знали, какие переменные сюда входят и как их надо измерять и имели бы возможность точно их измерить, мы бы могли включить их в уравнение, исключив тем самым соответствующий элемент из случайного члена. Проблема состоит в том, что мы никогда не можем быть уверены, что входит в данную совокупность, а что нет. Даже если бы мы включили все эти факторы в уравнение, то мы бы могли оказаться в ситуации, когда число факторов превысило бы число наблюдений так, что любое статистическое усреднение потеряло бы всякий смысл. Итак, мы можем сказать, что вместо зависимости Y = f(X1,…,Xn), где n слишком велико для практических целей, мы рассматриваем зависимость с меньшим числом наиболее важных переменных или переменных, которые представляют для нас наибольший интерес. 20 Эконометрика Кисляк Н. В. 2) Неправильная функциональная спецификация. Функциональное соотношение между Y и Х может быть определено неправильно. Например, мы предположили линейную зависимость, а она может быть более сложной. 3) Ошибки наблюдений (занижение реального уровня доходов). В этом случае наблюдаемые значения не будут соответствовать точному соотношению, и существующее расхождение будет вносить свой вклад в остаточный член. Остаточный член является суммарным проявлением всех факторов. Если бы он отсутствовал, мы бы знали, что каждое изменение Y от наблюдения к наблюдению вызвано изменением X и смогли бы точно вычислить коэффициенты. А так каждое изменение Y вызвано изменением X и ε, поэтому ε иногда называют шумом. Итак, мы предполагаем, что значения результирующей переменной Y выступают в роли функции, значения которой определяются с некоторой погрешностью значениями объясняющей переменной X, выступающих в роли аргументов этой функции. Математически это может быть выражено в виде уравнения регрессионной связи: ⎧Y(X) = f(X) + ε( X ) . ⎨ ⎩ M [ ε( X ) | X ] = 0 где f ( x ) = M [Y | X ] , ε( X ) = Y ( X ) − f ( X ) Последнее соотношение в следует из смысла функции регрессии, действительно, поскольку M[Y(X)|X] = M[f(X)|X] + M[ε | X ] , а M(Y(X)|X)=f(X) по определению, M[f(X)|X]=f(X), поскольку величина f(X) при фиксированных значениях параметра X не является случайной. Содержательные соображения должны подсказать нам форму f(X) – теория, интуиция, опыт, анализ эмпирических данных. Выбор вида функции f(X) – спецификация модели. Одним и тем же условиям могут удовлетворять несколько различных функций, поэтому нам придется обратиться к статистическому анализу и с его помощью осуществить выбор из возможных 21 Эконометрика Кисляк Н. В. альтернативных вариантов. Начинают, обычно, с самого простого соотношения между двумя переменными – линейного. Возможны и другие формы зависимости (примеры). Выбор формы зависимости можно осуществить при помощи графического анализа материала наблюдений. В парном случае материал наблюдений представляет собой набор пар чисел: ( X i , Yi ) i = 1...N . На плоскости каждому такому наблюдению соответствует точка: 8 Y 6 4 2 5 10 15 20 X Рис. 1. Линейная зависимость Y=α+βX+ε. Полученный график называют облако наблюдений, поле корреляции или диаграмма рассеяния. По виду облака наблюдений можно определить вид регрессионной функции. На приведенном графике выше – линейная. Другие примеры: 22 Эконометрика Кисляк Н. В. 120 100 Y 80 60 40 20 5 10 15 X Рис. 2. Квадратичная зависимость: Y = α + β X + γX 2 + ε 4 Y 3 2 1 5 10 15 X Рис. 3. Показательная зависимость Y = AX α ε 23 Эконометрика Кисляк Н. В. 80 60 Y 40 20 -20 5 10 15 X Рис. 4. Степенная зависимость Y = Ae βX ε 0.4 Y 0.3 0.2 0.1 0.0 5 10 15 X Рис. 5. Гиперболическая зависимость Y = α + β +ε X 24 Эконометрика Кисляк Н. В. 14 12 Y 10 8 6 4 2 5 10 15 X Рис. 6. X и Y независимы. Нас интересуют только те формы зависимости, которые путем преобразования переменных и параметров можно свести к линейным. Т. е. после преобразования переменных и коэффициентов новые переменные и ошибка будут связаны линейным соотношением. Для нелинейных соотношений так же разработан метод оценивания – нелинейный МНК, метод максимального правдоподобия. Рассмотрим парную линейную модель: Y=α+βX+ε. Для оценки коэффициентов этого уравнения у нас есть набор наблюдений переменной X и соответствующий набор наблюдений переменной Y. Всего у нас N пар чисел (Xi,Yi). Этот набор наблюдений называется выборкой. Расположим их на плоскости. Если бы соотношение между Y и X было бы точным, то соответствующие значения Y лежали бы на прямой. Наличие случайного члена приводит к тому, что в действительности значения Y на прямой не лежат. 25 Эконометрика Кисляк Н. В. . Y Yi y = α + βx M (Y | X i ) εi Xi X Рис. 7. Ошибки на графике Yi=α+βXi+εi – выполняется для каждого наблюдения. α, β и εi нам неизвестны и никогда не будут известны. Мы сможем получить только оценки, хорошие или плохие. Они могут случайным образом совпасть с реальными значениями, но мы этого никогда не узнаем. Каким образом получить эти оценки? Мы предположили, что переменные Y и X связаны линейной зависимостью, т.е. эта зависимость описывается прямой линией. И теперь наша задача – построить прямую. Из всех возможных прямых мы хотим выбрать ту, чтобы она «наилучшим образом» подходила к нашим данным, т. е. отражала бы линейную зависимость Y от X. Иными словами, мы хотим чтобы каждое Yi лежало бы как можно ближе к прямой. 26 Эконометрика Кисляк Н. В. 8 Y 6 4 2 5 10 15 20 X Рис. 8. Облако наблюдений и линия регрессии. В качестве меры близости точек к прямой мы введем разность ) Yi − a − bX i = Yi − Yi = ei - остаток или невязка регрессии. ) Yi - прогнозное значение переменной Y в i—м наблюдении. Yi ) Yi ) Y = α + βX ei Xi X Рис. 10. Остатки на графике. Можно сказать, мы хотим, чтобы желаемая прямая была бы в центре скопления наших данных, т. е. чтобы все Yi как можно ближе лежали к нашей прямой. 27 Эконометрика Кисляк Н. В. Очевидно, значения a и b надо подбирать таким образом, чтобы минимизировать некоторую интегральную (т. е. по всем имеющимся наблюдениям) характеристику невязок или остатков: 1. N ∑ i =1 2. ei2 N = ∑ (Yi − a − bX i ) 2 = F (a, b) → min ( a ,b ) i =1 N N i =1 i =1 ∑ ei = ∑ Yi − a − bX i = F (a, b) → min ( a ,b ) МНК – минимизируем 1. Для нахождения минимума функции двух переменных, нам надо взять частные производные по каждой из них и приравнять их к нулю: N ∂F = −2∑ (Yi − a − bX i ) = 0 ∂a i =1 N ∂F = −2∑ (Yi − a − bX i ) X i = 0 , или ∂b i =1 ⎧N ⎪∑ (Yi − a − bX i ) = 0 ⎪ i =1 ⎨N ⎪ (Y − a − bX ) X = 0 i i i ⎪⎩∑ i =1 ⎧N ⎪∑ ei = 0 ⎪ i =1 или ⎨ N ⎪ X e =0 i i ⎪⎩∑ i =1 Преобразуем систему: N N ⎧ + = Na b X ∑ i ∑ Yi ⎪ ⎪ i =1 i =1 ⎨ N N N ⎪a X + b X 2 = X Y ∑ i ∑ i i i ⎪⎩ ∑ i =1 i =1 i =1 Эта система называется система нормальных уравнений для нахождения коэффициентов парной линейной регрессионной модели по методу наименьших квадратов. 28 Эконометрика Кисляк Н. В. Из этой системы модно найти формулы для нахождения оценок коэффициентов по методу наименьших квадратов. Поделим обе части на N, раскроем скобки и перегруппируем слагаемые, получим N ∑ X i Yi ) β= i =1 N N ∑ i =1 X i2 N N N ∑ Xi ∑ Yi N N ⎛ N ⎜∑ Xi − ⎜ i =1 ⎜ N ⎜ ⎝ 2 − i =1 N i =1 ⎞ ⎟ ⎟ ⎟ ⎟ ⎠ = ∑ X i Yi − NXY i =1 σ 2X = Cov ( X , Y ) σ 2X из (2.5) получим, что ) ) α = Y − βX . Коэффициент наклона линии регрессии можно представить в другом виде: v ( X − X ∑ i )(Yi − Y ) N ) β= i =1 v 2 ( X − X ∑ i ) N i =1 Замечание 1. Линия регрессии проходит через точку ( X , Y ) . Замечание 2. Мы предполагаем, что среди Xi есть разные, тогда σX ≠ 0. В противном случае, оценок по методу наименьших квадратов не существует. 29 Эконометрика Кисляк Н. В. 25 20 Y 15 10 5 9.4 9.6 9.8 10.0 10.2 10.4 10.6 X Рис. 11. Регрессионная прямая не существует. Выборочный коэффициент корреляции и его свойства. Введем меру близости данных наблюдений к линейной регрессии. В качестве меры такой близости будет служить выборочный коэффициент парной линейной корреляции, который вычисляется по формуле: N ∑ X i Yi i =1 rxy = N N ∑ i =1 X i2 N − XY N − (X ) 2 ∑ Yi 2 i =1 N − (Y ) 2 В этом случае имеют место соотношения σy ) )σ . rxy = β x и β = rXY σx σy ) ) ) Если из уравнения Y = α + β X ) ) вычесть уравнение Y = α + β X , то 30 Эконометрика Кисляк Н. В. )σ ) ) ) получим (Y − Y ) = β( X − X ) или (Y − Y ) = β x ( X − X ) , тогда σy ) (Y − Y ) (X − X ) = rxy σy σx Свойства коэффициента корреляции. 1. rxy ≤ 1 Пусть yj – наблюдаемое значение Y, ) y j =axj+b – прогнозное или теоретическое значение Y при X = Xj. Рассмотрим выражение S y2 = 1 N ) (y j − yj ). ∑ N j =1 Произведя некоторые преобразования, получим S y2 = σ 2y (1 − rxy2 ) . Поскольку как сумма квадратов S y2 ≥ 0 и σ 2y ≥ 0 , то (1 − rxy2 ) ≥ 0 , откуда следует требуемое свойство. 2. Если rxy = ±1 , то это является необходимым и достаточным условием того, что все наблюдаемые значения (xj,yj) лежат на прямой регрессии, т. е. по данным наблюдений между переменными X и Y существует функциональная зависимость – без доказательства. Но, на самом деле, мы можем добавить еще одно наблюдение и картина изменится. Такой вывод мы можем сделать именно на основании имеющихся у нас данных. 3. Пусть rxy = 0 то из (1.7) следует при σ y > 0 , что y = y В этом случае говорят, что переменные не связаны линейной корреляционной зависимостью. В том смысле, что условные средние сохраняют неизменные значения при изменении соответствующих аргументов. Однако, в этом случае признаки могут быть связаны нелинейной корреляционной зависимостью или даже быть функционально зависимыми. 31 Эконометрика Кисляк Н. В. 4. Для случая 0 < rxy < 1 говорят, что между переменными существует линейная корреляционная зависимость, которая тем лучше (ближе к линейной функциональной), чем ближе |rxy| к 1, поскольку при rxy → 1 следует, что S y2 → 0 . Y Y 35 35 30 30 25 25 20 20 15 15 10 10 5 5 -5 5 10 15 20 X -5 -10 -10 -15 -15 5 10 15 20 X Y = 3.0 + 0.8X Рис 12. Теснота линейной корреляционной связи Уравнение одно, теснота линейной корреляционной связи разная. Вопрос о наличии достаточно «хорошей» линейной корреляционной зависимости в каждом конкретном случае решается не только путем вычисления rxy, но и с учетом опыта и интуиции исследователя. 5. Оценка тесноты связи не меняется при нормализации переменных. Переменная Z называется нормализованной, если Z =0, σ z =1. Пусть заданны переменные X и Y, проведена серия наблюдений и вычислены x , y , σ x , σ y . Сделаем замену переменных: Z= x−x , σx U= y−y . σy Нетрудно убедится, что эти переменные нормализованы. Тогда rxy = N xj yj j =1 N ∑ −x⋅y σx ⋅ σ y , rUZ = N Z jU j j =1 N ∑ − Z ⋅U σ Z ⋅ σU N Z jU j j =1 N =∑ , отсюда 32 Эконометрика Кисляк Н. В. N ( x j − x )( y j − y ) j =1 Nσ x σ y rUZ = ∑ = rxy Если мы получили значение коэффициента корреляции близкое к 1, мы делаем вывод о том, что переменные достаточно сильно связаны между собой. Однако, если коэффициент корреляции между двумя исследуемыми переменными близок к 1, на самом деле они могут и не быть зависимыми. Пример с душевнобольными и радиоприемниками – пример так называемой «ложной корреляции». Высокое значение коэффициента корреляции может быть обусловлено и существованием третьей переменной, которая оказывает сильное влияние на первые две переменные, что и служит причиной их высокой коррелируемости. Поэтому возникает задача расчета «чистой» корреляции между переменными X и Y, т. е. корреляции, в которой исключено влияние (линейное) других переменных. Для этого и вводят понятие коэффициента частной корреляции. Итак, мы хотим определить коэффициент частной корреляции между переменными X и Y, исключив линейное влияние переменной Z. Для его определения используется следующая процедура: 1. Оцениваем регрессию Y = α1 + α 2 Z + ε , ) 2. Получаем остатки eiY = Yi − Yi , 3. Оцениваем регрессию X = α1 + α 2 Z + ε , ) 4. Получаем остатки eiX = X i − X i , 5. r ( XY | Z ) = re X eY - выборочный коэффициент частной корреляции, измеряет степень связи между переменными X и Y, очищенную от влияния переменной Z. Прямые вычисления: r ( XY | Z ) = rYX − rXZ rYZ 2 1 − rXZ 1 − rYZ2 Свойство: 0 ≤ r ( XY | Z ) ≤ 1 33 Эконометрика Кисляк Н. В. Процедура построения коэффициента частной корреляции обобщается на случай, если мы хотим избавиться от влияния двух и более переменных. 34 Эконометрика Кисляк Н. В. 3. МНОЖЕСТВЕННАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ Множественный регрессионный анализ является расширением парного регрессионного анализа на случай, когда зависимая переменная гипотетически связана с более чем одной независимой переменной. В этом случае возникает новая проблема, которой не было в случае парной модели. При оценке влияния данной независимой переменной на зависимую переменную нам надо будет разграничить воздействие на зависимую переменную ее и другие переменные. Кроме того, мы должны будем решить проблему спецификации модели. Если в парном регрессионном анализе эта проблема заключалась только в выборе вида функции f(Х), то теперь нам, кроме этого, надо будет решить, какие мы будем включать в модель, а какие – нет. Иначе говоря, если предполагается, что несколько переменных могут оказывать влияние на зависимую переменную, то другие могут и не подходить для нашей модели. Итак, у нас есть независимая переменная Y, которая характеризует состояние или поведение экономического объекта, и есть набор переменных X1,…,Xk, характеризующие этот экономический объект качественно или количественно, которые, как мы предполагаем, оказывают влияние на переменную Y, т. е. мы предполагаем, что значения результирующей переменной Y выступают в виде функции, значения которой определяются. правда, с некоторой погрешностью, значениями объясняющих переменных, выступающих в роли аргументов этой функции, т. е. Y = f(X1,…,Xk) + ε, где ε - случайный член, который входит в наше уравнение по тем же самым причинам, что и в случае парного регрессионного анализа. Поначалу, среди всех возможных функций f(Х1,…,Хk) мы выбираем линейные: Y = β 0 + β1 X 1 + ... + β k X k + ε (*) 35 Эконометрика Кисляк Н. В. (*) – множественная линейная регрессионная модель (МЛРМ) со свободным членом. Y = β 1 X 1 + ... + β k X k + ε - МЛРМ без свободного члена. Например, если мы изучаем величину спроса на масло, то модель может выглядеть следующим образом: Q D = β 0 + β1 P + β 2 X + β3 PM + ε , где QD − объем спроса на масло, Х − доход, P − цена на масло, PM − цена на мягкое. Здесь нам неизвестны коэффициенты β и параметры распределения ε, Зато мы имеем выборку из N наблюдений над переменными Y и X1,…,Xk. Для каждого наблюдения должно выполнятся следующее равенство: Yi = β 0 + β 1 X 1i + ... + β k X ki + ε i или в матричной форме: Y = Xβ + ε , где ⎡ ε1 ⎤ ⎡Y1 ⎤ ⎡1 X 11 ... X k 1. ⎤ ⎡β 0 ⎤ Y = ⎢... ⎥ , X = ⎢ . . . ⎥ , β = ⎢ ... ⎥ , ε = ⎢ ... ⎥ . ⎢ ⎥ ⎢ ⎥ ⎢ ⎢ ⎥ ⎥ ⎢⎣ε N ⎥⎦ β 1 X X ... ⎢⎣Y N ⎥⎦ ⎥ kN ⎦ ⎣⎢ N 1 ⎣⎢ k ⎦⎥ Наша задача по результатам наблюдений, на основе этих наблюдений, получить надежные оценки неизвестных коэффициентов (оценить неизвестные параметры) и проверить, насколько хорошо выбранная модель соответствует исходным данным. Каким образом получить эти оценки? Нам надо построить гиперплоскость. Из всех возможных гиперплоскостей мы хотим выбрать ту, чтобы она «наилучшим образом» подходила к нашим данным, была бы в центре скопления наших данных, т. е. чтобы все Yi как можно ближе лежали к нашей гиперплоскости. В качестве меры близости точек к прямой мы введем разность ) ei = Yi − Yi = Yi − b1 X 1i − ... − bk X ki 36 Эконометрика Кисляк Н. В. Очевидно, значения b1,…,bk надо подбирать таким образом, чтобы минимизировать некоторую интегральную (т. е. по всем имеющимся наблюдениям) характеристику невязок или остатков: N S =∑ i =1 ei2 N = ∑ (Yi − b1 X 1i − ... − bk X ki ) 2 = F (b1 ,..., bk ) → min i =1 ( b1 ,...,bk ) Необходимое условие экстремума: ⎧ ∂S ⎪ ∂b ⎪ 0 ⎪ ∂S ⎪ ∂b ⎪ 1 ⎪ ∂S ⎨ ⎪ ∂b2 ⎪... ⎪ ⎪ ∂S ⎪ ∂bk ⎪ ⎩ =0 =0 =0 =0 или N ⎧ ⎪− 2∑ (Yi ⎪ i =1 N ⎪ − 2 ⎪ ∑ (Yi ⎪ i =1 N ⎪⎪ ⎨− 2∑ (Yi ⎪ i =1 ⎪... ⎪ N ⎪− 2 (Y i ⎪ ∑ i =1 ⎪ ⎪⎩ − b1 X 1i − ... − bk X ki ) = 0 − b1 X 1i − ... − bk X ki ) X 1i = 0 − b1 X 1i − ... − bk X ki ) X 2i = 0 − b1 X 1i − ... − bk X ki ) X ki = 0 После преобразований получим: 37 Эконометрика Кисляк Н. В. N N N N ⎧ ⎪ Nb0 + b1 ∑ X 1i + b2 ∑ X 2i + ... + bk ∑ X ki = ∑ Y1i i =1 i =1 i =1 i =1 ⎪ N N N N ⎪ N 2 + + + + = b X b X b X X ... b X X ∑ Y1i X 1i ⎪ 0 ∑ 1i 1 ∑ 1i 2 ∑ 1i 2i k ∑ 1i ki i =1 i =1 i =1 i =1 ⎪ i =1 N N N N N ⎪⎪ 2 ⎨b0 ∑ X 2i + b1 ∑ X 1i X 2i + b2 ∑ X 2i + ... + bk ∑ X 2i X ki = ∑ Y1i X 2i i =1 i =1 i =1 i =1 ⎪ i =1 ⎪... ⎪ N N N N N ⎪b 2 + + + + = X b X X b X X ... b X ∑ Y1i X ki ki ki ki k∑ ki 1 ∑ 1i 2∑ 2i ⎪ 0∑ i =1 i =1 i =1 i =1 ⎪ i =1 ⎪⎩ Эта система называется система нормальных уравнений для нахождения коэффициентов множественной линейной регрессионной модели по методу наименьших квадратов. Получим формулу для нахождения коэффициентов множественной линейной регрессионной модели в матричном виде. ⎡e1 ⎤ ⎢... ⎥ , тогда e = Y − Xβ) . e e e = ' , = ∑ ⎢ ⎥ i =1 ⎢⎣e N ⎥⎦ ) ) ) ) ) ) e' e = (Y − Xβ)' (Y − Xβ) = Y 'Y − Y ' Xβ − β' X 'Y + β' X ' Xβ = ) ) ) = Y 'Y − 2β' X 'Y + β' X ' Xβ ) Здесь мы воспользовались тем, что β' X 'Y - скаляр, и поэтому он N ei2 совпадает со своим транспонированным значением. Необходимое условие минимума (в матричной форме): ) ∂ ( e' e) ) = −2 X ' Y + 2 X ' Xβ . ∂β Здесь мы воспользовались свойствами векторного и матричного дифференцирования: Что значит продифференцировать вектор-функцию по вектору переменных: 38 Эконометрика Кисляк Н. В. ∂ϕ1 ( x) ⎞ ⎛ ∂ϕ1 ( x) ... ⎜ ⎟ ∂x1 ∂xn ⎟ ⎜ ∂ϕ( x) =⎜ . . . ⎟ ∂x ∂ ϕ ∂ ϕ ( x ) ⎜ m m ( x) ⎟ ... ⎜ ∂x ∂xn ⎟⎠ 1 ⎝ Здесь ϕ(х) – m-мерная вектор-функция, х – n-мерный вектор. Случаи: 1) ϕ( x) = a ' x , a = (a1 ,..., an ) , x = ( x1 ,..., xn ) ∂ϕ( x ) = a' ∂x 2) ϕ( x) = x' Ax , A : n × n - матрица ∂ϕ( x ) ∂ϕ( x ) = x' ( A + A' ) , если матрица А симметричная, то = 2 x' A ∂x ∂x 3) ϕ( x) = A A : m × n - матрица. ∂ϕ( x ) =A ∂x ) ∂ESS ) = −2 X 'Y + 2 X ' Xβ ∂β ) 2 X 'Y = 2 X ' Xβ ) X 'Y = X ' Xβ , если матрица ( X ' X ) невырождена, то ) β = ( X ' X ) −1 X 'Y - МНК оценки коэффициентов МЛРМ. Итак, Коэффициенты по методу наименьших квадратов существуют не всегда, а только в том случае, когда определитель матрицы (X’X) отличен от нуля. Определитель будет равен нулю в случае, если столбцы матрицы X линейно зависимы. Такое может произойти, если между независимыми переменными существует точное линейное соотношение. Если такое соотношение между переменными существует, мы говорим о том, что в модели присутствует полная мультиколлинеарность. 39 Эконометрика Кисляк Н. В. Пример. Рассмотрим модель со средней оценкой на экзамене, состоящую из трех объясняющих переменных: I − доход родителей, D − среднее число часов, затраченных на обучение в день, W − среднее число часов, затраченных на обучение в неделю. Очевидно, что W=7D. И это соотношение будет выполняться для каждого студента, который попадет в нашу выборку. Случай полной мультиколлинеарности отследить легко, поскольку в этом случае невозможно построить оценки по методу наименьших квадратов. Если в модели присутствует полная мультиколлинеарность, следует удалить из регрессионного уравнения одну из переменных, которые входят в линейное соотношение. Наряду коэффициентами с исходного регрессионного уравнения рассматривают еще нормализованные коэффициенты. Нормализуем исходные переменные, для чего вычислим N Xj = ∑ X ij j =1 N N (j = 1,…,k); Y = ∑Y j =1 j ; N N n d xi = ∑ X ij2 j =1 N ∑Y j =1 − X i2 (i=1,…,k); d y = N 2 j −Y 2 . Введем новые переменные Zi = Xi − Xi Y −Y (i=1,…,k); U = d xi dy Очевидно, что z 1 = z 2 = ... = z n = u = и d z1 = d z 2 = ... = d z n = d u = 1 , т. е. новые переменные нормализованы. Вместо векторов наблюдений (X1j,…,Xnj,Yj) будем рассматривать N векторов (Z1j,…,Znj,Yj), которые получены путем использования предыдущих формул.. Будем оценивать коэффициенты следующей регрессионной функции U = α 1 Z 1 + ... + α n Z n + α 0 , которые называются нормализованными коэффициентами регрессии. Если для их отыскания использовать метод 40 Эконометрика Кисляк Н. В. наименьших квадратов, то, очевидно, что α0=0. Поэтому линейная функция с нормализованными коэффициентами регрессии имеет вид U = α 1 Z 1 + ... + α n Z n ) ) ) ) Построим функцию Φ (α 1 ,..., α n ) = ∑ (α 1 Z 1 j + ... + α n Z nj − U j ) 2 и будем n j =1 искать ее наименьшее значение по параметрам {α i }: n ) ) ) ⎧ ) ⎫ min ⎨Φ (α 1 ,..., α n ) = ∑ (α 1 Z 1 j + ... + α n Z nj − U j ) 2 ⎬ {α1 ,...,α n } j =1 ⎩ ⎭ ) Продифференцировав эту функцию по всем параметрам α j (j=1,…,k) и приравняв эти производные к нулю, получим k уравнений. Например, для N ∂Φ ) ) ) частной производной по α j будет ) = 2∑ (α 1 Z 1 j + ... + α n Z nj − U j ) Z ji = 0 . i =1 ∂α j Разделим обе части на N и раскроем скобки. Получим N ) α1 ∑Z j =1 1j N Z ij N ) + ... + α n ∑Z j =1 nj N Z ij N = ∑U j =1 j N Z ij . Воспользовавшись предыдущими соотношениями, получим N ∑Z j =1 kj Z ij N N ∑U j =1 j Z ij N N ∑Z j =1 ij N U ij = rz k zi = rxk xi (l = 1,…,k); = rzu zi = ryxi (j = 1,…,k); = rzi zi = rxi xi = 1 (j = 1,…,k). Введем следующие обозначения: rxi xk = rik (j=1,…,k, l=1,…,k); ryxi = r0i (j=1,…,k). Подставив их в выражение получим систему, состоящую из k линейных уравнений с k неизвестными ) ) α 1 ,..., α л : 41 Эконометрика Кисляк Н. В. ⎧r11β1 + r12β 2 + ... + r1nβ n = r01 ⎪r β + r β + ... + r β = r ⎪ 21 1 22 2 2n n 01 ⎨ ⎪... ⎪⎩rn1β1 + rn 2β 2 + ... + rnnβ n = r0 n Матрица этой системы называется корреляционной матрицей R ⎛1 ⎜ ⎜r R = ⎜ 21 ⎜⎜ ⎝ rn1 r12 1 r13 ... r23 ... . . rn 2 rn3 . ... r1n ⎞ ⎟ r 2n ⎟ ⎟ ⎟ rnn ⎟⎠ По главной диагонали стоят 1, поскольку rii=1. Матрица является симметричной, поскольку rik = rki. Кроме того, при внимательном отношении к сбору данных она является невырожденной, т. е. решение системы (2.7) всегда существует. Решив систему, получим значение нормализованных коэффициентов регрессии β1,…,βn. для получения оценок коэффициентов исходного уравнения подставим (2.4) в уравнение (2.5) x − xn x −x y−y = β1 1 1 + ... + β n n σ x1 σy σ xn Преобразовав выражение, получаем: y = β1 σy σ x1 x1 + β 2 σy σ x2 x2 + ... + β n σy σ xn xn + ( y − β1 σy σ x1 x1 − β 2 σy σ x2 x2 − ... − β n σy σ xn Сравнивая выражение с исходным, получаем формулы для вычисления коэффициентов регрессии a0, a1,…, an: 42 xn ) Эконометрика Кисляк Н. В. σy ⎧ = β , a 1 ⎪ 1 σ x 1 ⎪ ⎪ σy , ⎪a 2 = β 2 σ x2 ⎪ ⎪ ⎨... ⎪ σ ⎪a n = β n y , σ xn ⎪ ⎪ ⎪a0 = y − a1 x1 − ... − an xn ⎪ ⎩ Таким образом, зная нормализованные коэффициенты, можно по этим формулам, найти исходные коэффициенты регрессии. 43 Эконометрика Кисляк Н. В. . 4. ОЦЕНКА КАЧЕСТВА ПОДГОНКИ ЛИНИИ РЕГРЕССИИ К ИМЕЮЩИМСЯ ДАННЫМ Итак, гиперплоскость мы построили. Насколько хорошо нам удалось объяснить изменение переменной Y нашей моделью. Разложим вариацию Y на две части. Насколько наше уравнение объясняет вариацию Y и какова часть Y, которую мы не можем объяснить нашим уравнением. Y ) Yi − Yi Yi ) Yi Yi − Y Y ) Yi − Y X Xi X Рис 1. Разложение отклонения переменной Y от среднего на две составляющие. Рассмотрим N ∑ (Yi − Y ) 2 - величина, являющаяся мерой вариации i =1 переменной Y вокруг ее среднего значения. Распишем эту величину: N N N ) ) ) ) 2 ) ) 2 ∑ (Yi − Y ) = ∑ (Yi − Yi + Yi − Y ) = ∑ (Yi − Yi ) − 2∑ (Yi − Yi )(Yi − Y ) + ∑ (Yi − Y ) 2 N i =1 2 N i =1 i =1 i =1 I i =1 II III В этой сумме II = 0, если в уравнении есть свободный член. 44 Эконометрика Кисляк Н. В. ) 2 N ) ∑ (Yi − Y ) = ∑ (Yi − Yi ) + ∑ (Yi − Y ) 2 N 2 i =1 N i =1 TSS i =1 ESS RSS где TSS – total sum of squares – вся дисперсия или вариация Y, характеризует степень случайного разброса значений функции регрессии около среднего значения Y; ESS – error sum of squares – есть сумма квадратов остатков регрессии, та величина, которую мы минимизируем при построении прямой, часть дисперсии, которая нашим уравнением не объясняется; RSS – regression sum of squares – объясненная часть дисперсии. Определение. Коэффициентом детерминации или долей объясненной нашим уравнением дисперсии называется величина R2 = RSS ESS =1− TSS TSS Свойства коэффициента детерминации: 1. 0 ≤ R 2 ≤ 1 в силу определения; R 2 = 0 - в это м случае RSS = 0, т. е. наша регрессия ничего не ) объясняет, ничего не дает по сравнению с тривиальным прогнозом Yi = Y . 2. Наши данные позволяют сделать вывод о независимости Y и X, изменение в переменной X никак не влияет на изменение среднего значения переменной Y (примеры, когда зависимость между переменными есть, а коэффициент детерминации равен нулю); 3. R 2 = 1 - в этом случае все точки (Xi, Yi) лежат на одной прямой (ESS = 0). Тогда на основании наших данных можно сделать вывод о наличии функциональной, а именно, линейной, зависимости между переменными Y и X. Изменение переменной Y полностью объясняется изменением переменной X; 0 < R 2 < 1 - в этом случае чем ближе R2 к 1, тем лучше качество ) подгонки кривой к нашим данным, тем точнее Y аппроксимирует Y. 4. 45 Эконометрика Кисляк Н. В. 5. R2, вообще говоря, возрастает при добавлении еще одного регрессора, поэтому для выбора между несколькими регрессионными уравнениями не следует полагаться только на R2 Попыткой устранить эффект, связанный с ростом R2 при увеличении числа регрессоров, является коррекция R2 на число регрессоров - наложение "штрафа" за увеличение числа независимых переменных. Скорректированный ESS 2 2 R2 - Radj : Radj =1− TSS (N −k) (3.9) ( N − 1) здесь в числителе - несмещенная оценка дисперсии ошибок (как увидим позднее), в знаменателе - несмещенная оценка дисперсии Y. (Совпадают ли они?). Свойства: 2 1. Radj = 1 − (1 − R 2 ) N −1 - доказать самим; N −k 2 , k > 1: 2. R 2 > Radj 2 R 2 − Radj = R 2 − 1 + (1 − R 2 ) N −1 N −1 = (1 − R 2 ) + ( − 1) > 0 , k > 1; N −k N −k 2 ≤ 1 , но может быть и < 0. 3. Radj 2 для сравнении регрессий при В определенном смысле использование Radj изменении числа регрессоров более корректно. 2 Упражнение. Показать, что статистика Radj увеличится при добавлении новой переменной тогда и только тогда, когда t-статистика коэффициента при этой переменной по модулю больше 1. 2 Следовательно, если в результате регрессии с новой переменной Radj увеличилась, это еще не означает, что коэффициент при этой переменной значимо отличается от нуля, поэтому мы не можем сказать, что спецификация 2 модели улучшилась. Это первая причина, почему Radj не стал широко использоваться в качестве диагностической величины. Вторая причина 46 Эконометрика Кисляк Н. В. уменьшение внимания к самому R2. На практике даже плохо определенная модель регрессии может давать высокий коэффициент R2. Поэтому теперь он рассматривается в качестве одного из целого ряда диагностических показателей, которые должны быть проверены при построении модели регрессии. Следовательно, и корректировка его мало что дает. Итак, при помощи регрессионного анализа мы с вами получили оценки ) интересующей нас зависимости (*): β = ( X ' X ) −1 X 'Y Однако, это всего лишь оценки. Возникает вопрос, насколько они хороши. Оказывается, что при выполнении некоторых условий наши оценки получаются достаточно надежными. 47 Эконометрика Кисляк Н. В. 5. НЕЛИНЕЙНЫЕ РЕГРЕССИОННЫЕ МОДЕЛИ. Выделяют два типа нелинейных моделей: • Нелинейные зависимости, приводящиеся преобразованием переменных к линейным • Нелинейные зависимости, не приводящиеся преобразованием переменных к линейным Наиболее универсальным инструментом анализа является метод наименьших квадратов, который предназначен для оценки линейной модели. Поэтому при анализе нелинейной регрессионной модели основным приемом является сведение задачи линейной модели и последующая оценка ее методом наименьших квадратов. Сведение это является искусственным и зависит от опыта и интуиции исследователя. Парная нелинейная регрессионная модель. Пусть заданы зависимая переменная Y – случайная величина, X – независимая переменная. За парой переменных (X,Y) проведена серия из N наблюдений. Данные сгруппированы и представлены в виде следующей таблицы: Xi зависимая переменная ni YX i Di X1 Y11..Y1j... Y1n1 n1 yx 1 D1 y xi Di y xm Dm ... Xi Yi1...Yij... Yini ni ... Xm Ym1...Ymj... Ymnm nm Здесь среди Xi нет одинаковых, ni – число наблюдений при m ∑n i =1 i X = Xi, = N , y xi - условные средние и Di – групповые дисперсии, которые характеризует рассеяние наблюдений внутри i – й группы: 48 Эконометрика Кисляк Н. В. N y xi = N ∑ yij j =1 , Di = ni ∑( y j =1 ij − yi ) 2 . n В этом случае можно вычислить: m Dобщ = ni ∑∑ ( y i =1 j =1 , где y = N m DМГ = ij ∑n (y i =1 i i N − y)2 − y) ∑n y i i =1 N i ; m 2 , DВГ = N ∑n y i =1 i N i ; Dобщ = DМГ +DВГ . Dобщ – общая дисперсия, DВГ – внутригрупповая дисперсия, DМГ – межгрупповая дисперсия. Введем в рассмотрение показатель, который обычно называется теоретическим корреляционным отношением: R0 = Dобщ − DВГ DМГ = Dобщ Dобщ Необходимо подчеркнуть, что R0 вычисляется только по данным наблюдений и не зависит от вида корреляционной зависимости. Это теоретическое корреляционное отношение обладает следующими основными свойствами: 1. 0 ≤ R0 ≤ 1. Это очевидное свойство следует из соотношения Dобщ = DМГ +DВГ, так как Dобщ ≥ DМГ . 2. Если R0 = 0, то DМГ = 0 и отсюда следует, что y xi = y для любого i=1,...,m. В этом случае говорят, что между Y и X не существует никакой корреляционной зависимости. 3. R0 ≥ |rXY|, причем равенство достигается только в случае, когда между переменными Y и X существует линейная функциональная зависимость. 49 Эконометрика Кисляк Н. В. 4. Если R0 = 0, то DВГ = 0, т. е. все Di = 0. Это возможно только тогда, когда каждому Xi соответствует одно Yi. В этом случае говорят, что можно построить такую корреляционную функцию Y = f ( X ) , что она пройдет через все точки (Xi,Yi), i = 1,...,m. 5. Если 0 < R0 <1, то говорят, что между переменными Y и X существует корреляционная зависимость и можно подобрать такую корреляционную функцию Y = f ( X ) , что кривая пройдет через все точки (Xi, y xi ), i=1,...,m, и оценка степени приближения данных совпадет с R0. Вид такой функции определяется достаточно просто с учетом возможности сведения расчетов к множественной линейной модели. Y = β 0 + β 1 X + β 1 X 2 . + .. + β k X k т. е. нам надо подобрать такой полином степени k, который пройдет через все точки ( X i , Y X i ) . Сведение осуществляется путем замены переменных Z k = X k . В этом случае получается линейное уравнение Y = β 0 + β 1 Z 1 + ... + β k Z k ) Методом наименьших квадратов получаем оценки β коэффициентов уравнения. Однако такой подход к определению вида зависимости Y = f ( X ) применять нецелесообразно по следующим причинам: 1. При больших k возникают вычислительные трудности. 2. Переменные Zi и Zj достаточно хорошо коррелируют, что приводит к неустойчивости получаемых результатов. 3. Самое важное, что при построении зависимости случайным возмущениям придается характер закономерности. Поэтому на практике поступают следующим образом. Рассматриваются несколько возможных видов функций f ( X ) . Некоторые из них приведены в таблице 3.2., где так же указаны способы их сведения к линейному случаю. 50 Эконометрика Кисляк Н. В. Проводится серия наблюдений проверяются гипотезы о виде функции Y = f ( X ) . Выбирается тот вид функции, где R 2 принимает наибольшее значение. При равной объясняющей способности из двух моделей мы всегда выбираем более простую. Название функции Аналитическое Преобразование функции выражение степенная y = ax b ln y = ln a + b ln x показательная y = ab x ln y = ln a + x ln b показательно-степенная y = ax b c x ln y = ln a + b ln x + x ln c экологическая функция Гомперца гиперболическая дробно-рациональная модифицированная y = ae −b 2 ( x −c ) 2 ln y = ln a + bc x ln ln y = ln ln a + ln b + x ln c 1 a + bx 1 = a + bx y x a + bx + cx 2 x = a + bx + cx 2 y y = ae bx ln y = ln a + bx y= y= ln y = ln a − b 2 c 2 + 2b 2 cx − b 2 x 2 экспоненциальная функция Торн-Квиста y= ax b+x 1 b1 1 = + y ax a 51 Эконометрика Кисляк Н. В. 6. СТАТИСТИЧЕСКИЕ СВОЙСТВА ОЦЕНОК КОЭФФИЦИЕНТОВ МЛРМ. Полученные оценки неизвестных коэффициентов регрессионного ) уравнения β мы с вами можем рассматривать как случайные величины. Действительно, при повторении наблюдений над экономическим объектом – получении выборок того же самого объема N при тех же самых значениях объясняющей переменной X значение результирующего параметра Y будет варьироваться за счет случайного члена ε, а, следовательно, будут варьироваться зависящие от y1,…,yN значения оценок. Если же X – случайная величина, то тогда вариация оценок будет зависеть и от вариации X. Таким образом, свойства коэффициентов регрессии будут существенным образом зависеть от свойств случайного члена ε и от свойств X, если X- случайная величина. Для того чтобы оценки, полученные по МНК, давали «наилучшие» результаты, мы потребуем от остаточного члена или ошибки ε и от X выполнения следующих условий (предположения относительно того, как генерируются наблюдения): 1. Y = β1 X 1 + ... + β k X k + ε - спецификация модели; 2. X1,…,Xk – детерминированные вектора, линейно независимые в Rn, т. е. матрица X имеет максимальный ранг k (в повторяющихся наблюдениях единственным источником случайных возмущений вектора Y являются случайные возмущения вектора ε); 3. Mε i = 0 ; 4. Mε i2 = Dε i = σ ε2 , дисперсия ошибки не зависит от номера наблюдения; 5. M (ε i ε j ) = 0 при i ≠ k, т. е. некоррелированность ошибок разных наблюдений; 52 Эконометрика Кисляк Н. В. 6. ε i ∈ N (0, σ ε2 ) , т. е. . εi –нормально распределенная случайная величина со средним 0 и дисперсией σ ε2 . 1-5 - КЛРМ, 1-6 - НЛРМ, условия 1-5 - условия Гаусса-Маркова В матричной форме: Mε = 0 , ⎛ M (ε12 ) M (ε1ε 2 ) ... M (ε1ε N ) ⎞ ⎟ ⎜ M (ε 22 ) ... M (ε 2 ε N ) ⎟ ⎜ M (ε 2 ε1 ) Ω=⎜ ⎟ = M (εε' ) . – матрица ковариаций ... ⎟ ⎜ ⎜ M (ε ε ) M (ε ε ) ... M (ε 2 ) ⎟ N 1 N 2 N ⎠ ⎝ вектора ошибок. Матрица Ω предполагается положительно определенной, т. е. ∀x x' Ωx > 0 . В классической регрессионной модели матрица ковариаций имеет следующий вид: ⎛ σ2 ⎜ ⎜ 0 Ω=⎜ ⎜ ⎜ 0 ⎝ σ2 ... 0⎞ ⎟ ... 0 ⎟ ⎟ ⎟ 2⎟ ... σ ⎠ ... Dε = M ( εε т ) = σ 2 I N - матрица ковариаций вектора ε; ε ~ N ( 0 ,σ 2 I N ) , т. е. ε i имеют совместное нормальное распределение со средним 0 и матрицей ковариаций σ 2 I N (про матрицу ковариаций) .В случае НЛРМ условие 5. эквивалентно условию статистической независимости ошибок для разных наблюдений. Действительно, если две нормально распределенные величины не коррелированны, то они независимы. Обсудим эти условия. 1. Спецификация модели отражает наше представление о механизме зависимости Y и X и выбор объясняющей переменной X. 2. Мы будем предполагать, что Хi – детерминированные константы, т. е. значения Хi (значение объясняющей переменной в каждом наблюдении) считается экзогенным, полностью определяемым внешними причинами. Такое 53 Эконометрика Кисляк Н. В. предположение подразумевает то, что переменная Х полностью контролируется исследователем, который может изменять ее значение в целях эксперимента. Это предположение нереалистично во многих экономических и бизнес моделях. Позже мы посмотрим, сохранятся ли свойства оценок в случае, если X – случайная величина. 3. В матричной форме это условие выглядит так: Mε = 0 . Это условие состоит в том, что математическое ожидание случайного члена равно нулю в любом наблюдении. Иногда случайный член бывает положительным, иногда отрицательным, но он не должен иметь смещения ни в одном возможном направлении. Надо сказать, что если в уравнение включается постоянный член, то бывает разумным предположить, автоматически, т. к. роль что первое условие выполняется константы и состоит в определении любой систематической составляющей в Y, которую не учитывают объясняющие переменные (если спецификация модели выбрана правильно). Иллюстрация: предположим, что Mε i = µ , тогда Yi = α + β X i + ε i = α + β X i + ε i + µ − µ = (α + µ) + β X i + (ε i − µ) = = α′ + β X i + ε′i M (ε i − µ ) = µ − µ = 0 Таким образом, исходная модель эквивалентна новой модели с ошибкой, имеющей нулевое математическое ожидание и другим свободным членом. 4. Второе условие говорит нам о том, что дисперсии ошибок постоянны для всех наблюдений. Иногда случайный член будет больше, иногда меньше, иногда больше, но не должно быть априорной причины для того, чтобы он порождал большую ошибку в одних наблюдениях, чем в других. Условие независимости ошибок гомоскедастичностью. от Случай, номера когда наблюдения условие называют гомоскедастичности нарушается, называется гетероскедастичностью. Этот случай можно иногда наблюдать графически: Рисунок 1. 54 Эконометрика Кисляк Н. В. Y X Рис. 1. Гомоскедастичность Y X Рис. 2. Гетероскедастичность 5. Условие указывает на некоррелированность ошибок для разных наблюдений. Условие предполагает отсутствие систематической связи между 55 Эконометрика Кисляк Н. В. значениями случайного члена в любых двух наблюдениях. Это условие почти всегда нарушается, если наши данные представляют собой временные ряды. В случае если это условие не выполняется, говорят об автокорреляции остатков. Для простейшего случая M (ε i ε i +1 ) = ρ - автокорреляционный процесс первого порядка – типичный вид данных представлен на рисунке 2. Y X Рис. 3. Автокорреляция отсутствует Y X 56 Эконометрика Кисляк Н. В. Рис. 4. Положительная автокорреляция первого порядка ρ > 0 Y X Рис. 6. Отрицательная автокорреляция первого порядка ρ < 0 Автокорреляция иногда является следствием неправильного выбора формы зависимости: Y X 57 Эконометрика Кисляк Н. В. Рис. 7. Автокорреляция, вызванная неправильным выбором регрессионной функции 6. Это предположение не является чем-то сверхъестественным и высосанным из теоретического пальца. Действительно, как мы отмечали на прошлом занятии, εi включает в себя много факторов, которые, в принципе, можно считать независимыми. Отсюда, как следует из центральной предельной теоремы Ляпунова, εi будут иметь почти нормальное распределение. Отметим, что в случае КЛРМ условие 6 эквивалентно условию статистической Действительно, независимости если две ошибок нормально для разных распределенные наблюдений. величины не коррелированны, то они независимы. В общем случае это не выполняется. А поскольку они независимы, то вектор ошибок ε имеет множественное нормальное распределение или величины εi будут иметь совместное нормальное распределение с вектором средних 0 и ковариационной матрицы σ ε2 I N . Итак, мы с вами находимся в условиях КЛРМ. Посмотрим, какими свойствами обладают в этом случае наши оценки Коэффициенты, рассчитанные при помощи метода наименьших квадратов, являются статистическими оценками неизвестных коэффициентов регрессионного уравнения. По имеющейся выборке мы можем построить несколько оценок одного и того же параметра. Нас будут интересовать не все возможные оценки, а лишь оценки, обладающие определенными свойствами. Вот эти свойства: Свойства статистических оценок: • асимптотические – проявляется при больших объемах выборки, показывает, что происходит со статистической оценкой при увеличении объема выборки (состоятельность, асимптотическая несмещенность, асимптотическая нормальность, асимптотическая эффективность) 58 Эконометрика Кисляк Н. В. • свойства при фиксированном объеме выборки (несмещенность, эффективность) Желаемые свойства оценок следующие − несмещенность, эффективность, состоятельность. ) Состоятельность. Оценка θ называется состоятельной, если при увеличении объема выборки значения оценки стремятся по вероятности к истинному значению оцениваемого параметра: ) p lim θ = θ . N →∞ Для доказательства состоятельности статистических оценок используются теоремы, относящиеся к законам больших чисел (теорема Чебышева) и теорема Слуцкого. Теорема Слуцкого. Пусть f ( x, y ) непрерывна в точке (a, b) и случайные последовательности X n и Yn p lim X n = a , p limYn = b , n →∞ сходятся по вероятности к a и b соответственно: Тогда f ( X n , Yn ) сходится по вероятности к n →∞ f ( a, b) . ) Несмещенность. Несмещенной называют статистическую оценку θ , математическое ожидание которой равно истинному значению оцениваемого ) параметра, т. е. Eθ = θ . Оценку, которая не удовлетворяет этому свойству, называют смещенной: ) Eθ ≠ θ . Смещенность оценки означает присутствие в оценке систематических ошибок (ошибок одного знака), т. е. смещенная оценка завышает или занижает истинное значение параметра. Величину смещения обозначают следующим образом: ) ) biasθ = θ − Eθ ) Для несмещенных оценок biasθ = 0 Несмещенность статистической оценки доказывается непосредственно. 59 Теорема. Если ) θ Эконометрика Кисляк Н. В. - несмещенная статистическая оценка и ) Varθ ⎯⎯ ⎯→ 0 , то она состоятельна. N →∞ Что лучше: смещенная или несмещенная оценка? Однозначного ответа нет. Для одного и того же параметра существует бесконечно много несмещенных, смещенных, состоятельных оценок. Как выбрать самую точную оценку? Если рассматриваются две несмещенные оценки, то критерием точности является дисперсия – выбираем ту статистическую оценку, дисперсия которой меньше. Говорят, что несмещенная оценка ) θ1 ) несмещенная оценка θ 2 , если ее дисперсия меньше более эффективна, чем ) ) Var (θ1 ) < Var (θ 2 ) Эффективной в классе несмещенных оценок называют несмещенную оценку, которая при заданном объеме выборки N имеет наименьшую возможную дисперсию Для доказательства эффективности несмещенной статистической оценки используется неравенство Рао-Фреше-Крамера. Информацией Фишера о неизвестном параметре θ называется величина ⎛ ∂ ln f ( x, θ) ⎞ I (θ) = E ⎜ ⎟ ∂θ ⎝ ⎠ Теорема Рао-Фреше-Крамера распределения случайной величины X 2 (Рао-Крамера). Пусть плотность f X ( x, θ) удовлетворяет условиям регулярности: • область возможных значений случайной величины не зависит от θ; • Информация Фишера конечна и положительна I (θ) . 60 Эконометрика Кисляк Н. В. ) Тогда для произвольной несмещенной оценки θ , построенной по выборке объема N, выполняется неравенство (Рао-Фреше-Крамера): ) Var (θ) ≥ 1 . N * I (θ) Так что если для какой-то несмещенной оценки ее дисперсия достигает нижней границы, определяемой неравенством Рао-Фреше-Крамера, то она является эффективной. Если рассматривать все оценки, смещенные и несмещенные, то статистическая оценка называется эффективной, если она доставляет минимум ее среднеквадратической ошибки: ) ) ) ) ) MSE (θ) = Var (θ) + bias 2 (θ) = Var (θ) + (θ − Eθ) 2 Как правило, эконометристов более интересует состоятельность оценки, чем ее Несмещенность. Смещенная, но состоятельная оценка может не равняться истинному значению в среднем, но с ростом выборки будет приближаться к истинному значению параметра. Свойства (с доказательствами для парного случая: Свойство 1. Линейная зависимость оценок от наблюдаемых значений Y. v ) ∑ z i u i ∑ z i ( yi − y ) ∑ z i yi y ∑ z i β= = = − = ∑ wi yi ∑ zi2 ∑ zi2 ∑ zi2 ∑ zi2 ∑ zi = 0 в силу того, что ∑ ( xi − x ) = ∑ xi − Nx =∑ xi − ∑ xi = 0 поскольку wi = zi , ∑ zi2 если X - детерминированный вектор, то w – детерминированный вектор (при повторении выборок значения не меняются). Легко убедится, что 61 Эконометрика Кисляк Н. В. ∑ wi = 0, ∑ wi2 = 1 , w z = ∑ wi xi = 1 2 ∑ i i z ∑i ) Аналогично преобразовывая выражение для α , мы получим 1 v ) α = ∑ ( − xwi ) yi N ) Свойство 2. β = ( X ' X )−1 X ' Y = ( X ' X )−1 X ' ( Xβ + ε ) = β + ( X ' X )−1 X ' ε ) ) Mβ = β + M (( X ' X )−1 X ' ε = β , т. е. β - несмещенная оценка β. ) β = ∑ wi yi = ∑ wi (α + βxi + ε i ) = (2.9) = β + ∑ wi ε i ) Mβ = β + ∑ wi Mε i = β , Для доказательства мы использовали 2 и 3. Свойство 3. Матрица ковариаций оценок: N ) β − β = ∑ wiYi i =1 N ) ) 2 D β = M ( β − β ) = M ( ∑ w i ε i ) 2 = M ( w12 ε 12 + ... + w N2 ε 2N + 2 w1 w 2 ε 1 ε 2 + ... + i =1 + 2 w N −1 w N ε N −1 ε N ) = σ ε2 N ∑ i =1 w i2 = σ ε2 N ∑( Xi − X )2 i =1 σβ) = σε . N ∑ ( X i − X )2 i =1 ) Аналогично выводится формула для Dα N ) . Dα = σ ε2 ∑ X i2 i =1 N N ∑ ( X i − X )2 i =1 Подобным образом можно отыскать ковариацию: 62 Эконометрика Кисляк Н. В. ) ) cov( α ,β ) = −X N ∑ ( X i − X )2 σ ε2 . i =1 ) β − β = ( X ' X )−1 X ' ε - из предыдущего пункта. ) ) ) Dβ = M (( β − β )( β − β )' ) = M (( X ' X )−1 X ' εε' X ( X ' X )−1 ) = = ( X ' X )−1 X ' M ( εε' ) X ( X ' X )−1 = ( X ' X )−1 X ' σ ε2 I N X ( X ' X )−1 = = σ ε2 ( X ' X )−1 X ' X ( X ' X )−1 = σ ε2 ( X ' X )−1 ) Dβ = σ ε2 ( X ' X )−1 (пользовались тем, что матрица, обратная к симметричной, так же симметричная). пользовались 3, 4 и 5. ) Dβ i = σβ2) = σ ε2 a ii , где aii - i-й диагональный элемент матрицы ( X ' X )−1 i Свойство 4. Теорема Гаусса-Маркова. В условиях 1-5 МНК-оценки МЛРМ представляют собой наилучшие линейные несмещенные оценки, т. е. в классе линейных несмещенных оценок МНК-оценки обладают наименьшей дисперсией. Best Linear Unbaised Estimation (BLUE) Важность теоремы Гаусса-Маркова. Мы можем придумать много оценок возможных для коэффициентов β, в частности, можем придумать много линейных оценок, т. е. таких оценок, которые выражаются в виде взвешенного среднего наблюдений объясняемой переменной. Некоторые из этих оценок могут быть несмещенными как, например, «наивная» оценка. Так вот, оценки коэффициентов уравнения по методу наименьших квадратов в случае классической парной модели – это наилучшие оценки в том смысле, что среди всех возможных линейных несмещенных оценок эти оценки имеют наименьшую дисперсию. Best Linear Unbiased Estimator – BLUE Вопрос нахождения такой оценки будет возникать в нашем курсе снова и снова, т. к. мы увидим, что при нарушении условий Гаусса-Маркова МНК-оценки уже не 63 Эконометрика Кисляк Н. В. будут «BLUE». В этом случае наша цель будет заключатся в построении других оценок, не МНК, которые уже будут «BLUR». Плотность ) распределения β МНК другая несмещенная оценка β ) β Рис 8. «BLUR» - оценка. ) Обратите внимание, что в выражении матрицы ковариаций β фигурирует дисперсия остаточного члена. Однако на практике мы эту дисперсию не знаем, поскольку не знаем εi, поэтому не можем вычислить теоретическую матрицу ) ковариаций β . Мы сможем построить оценку этой матрицы, если сможем оценить σ2 по результатам наблюдений. Никакой информацией об остаточном члене εi мы не располагаем. Единственно, на что мы можем опираться - на остатки или невязки ei. Разброс остатков относительно линии регрессии будет отражать разброс ε относительно истиной неизвестной прямой. В общем случае остаток и ошибка в любом данном наблюдении неравны друг другу. Для оценки σ ε2 используем N ∑ ei2 : i =1 64 Эконометрика Кисляк Н. В. N Свойство 5. s ε2 = ∑ ei2 i =1 N − k −1 e' e - несмещенная оценка σ ε2 N − k −1 = Итак, оценка sε2 является несмещенной оценкой дисперсии σ ε2 . Тогда оценки матрицы ковариаций оценок будут следующими: )) Dβ = sε2 ( X ' X )−1 sβ)2 = sε2 a ii i Для парной модели N sβ)2 = sε2 N ∑ ( xi − x ) 2 i =1 , sα2) = sε2 ∑ xi2 i =1 N ∑ ( xi − x )2 i =1 Стандартные отклонения коэффициентов регрессии, вычисленные на основе предыдущей формулы, приводятся в результатах регрессии практически во всех статистических пакетах. До сих пор мы нигде не использовали свойство 6, т. е. не делали никаких предположений о распределении вероятностей ошибок εi. Что будет, если мы запостулируем нормальную форму этого распределения. Свойство 6. ) В предположениях НЛРМ β ~ N ( β ,σ ε2 ( X ' X )−1 ) Свойство 7. В случае НРЛМ e' e ( N − k ) sε2 = ~ χ 2 ( N − k ) - без доказательства. 2 2 σε σε ) Свойство 8. В условиях НЛРМ оценки sε2 β независимы. - без доказательства. 65 Эконометрика Кисляк Н. В. 7. ПРОВЕРКА ГИПОТЕЗ ОТНОСИТЕЛЬНО КОЭФФИЦИЕНТОВ РЕГРЕССИИ. Предположим, что мы находимся в условиях НМЛРМ. Проверка гипотезы о равенстве коэффициента регрессионного 1. уравнения некоторому числу. H0: β = β0 Hа: β ≠ β0 ) или учитывая, что β - несмещенная оценка β, можем переписать гипотезу: ) H0: M β = β0. ) Hа: Mβ ≠ β0 Поскольку ) β ~ N ( β,σ ε2 ( X ' X )−1 ) , ) β i − β i ~ N ( 0 ,σβ2) i ) , где σ Поэтому Далее, ) βi − βi σε a ii 2) β i = σ 2 ε a ii σ ε a ii ( N − k − 1) sε2 ( N − k − 1)σ ε2 = ) β − β ~ N ( 0,σ ε2 ( X ' X )−1 ) или . ~ N (0,1) . sε2 ( N − k ) 2 ~ χ 2 ( N − k − 1) σε следовательно, ) βi − βi то и оценки sε2 и ) β независимы, ) βi − βi sε ) βi − βi = ~ t ( N − k − 1) . sβ) i a ii Вычисляем наблюдаемое значение критерия tнабл/. Для проверки нулевой гипотезы при различных альтернативных гипотезах: 66 Эконометрика Кисляк Н. В. Hа: βi ≠ βi0. tкр находим из таблиц критических точек распределения Стьюдента с N-k1 степенями свободы для выбранного уровня значимости α и учитывая, что критическая область двусторонняя - tкрдв ( ν, N − k − 1) . Далее, если | tнабл |< tкрдв ( ν, N − k − 1) , то мы говорим, что у нас нет оснований отвергнуть нулевую гипотезу, если же | tнабл |> tкрдв ( ν, N − k − 1) , то мы нулевую гипотезу отвергаем. Если же у нас критерий односторонний, то все сохраняется, за исключением критического значения статистики. Его мы ищем по таблицам критических точек распределения Стьюдента с N-k-1 степенями свободы для выбранного уровня значимости α и учитывая, что критическая область одн односторонняя - t кр ( α, N − k − 1) . Выполняется следующее соотношение между односторонними и двусторонними критическими точками: одн α tкр ( , N − k − 1) = tкрдв ( α, N − k − 1) 2 Особенно просто критерий выглядит в случае, когда βi0 = 0, т. е. в случае, когда мы хотим убедиться в значимости этого коэффициента и таким образом ) βi − t−статистика i-го убедиться в наличии связи между Y и Xi: t = sβ) i коэффициента МЛРМ. Значение этой статистики приводятся почти всеми статистическими пакетами. Если мы теперь рассмотрим неравенство ( P(t < t ) )=1 − µ = γ двуст P t > t кр =µ двуст кр ) β−β двуст P( < t кр )=γ sβ) Разрешим это неравенство относительно β: ) ) двуст двуст P(β − sβ) t кр )=γ < β < β + sβ) t кр 67 Эконометрика Кисляк Н. В. ) ) двуст двуст (βi − sβ) t кр ; β + sβ) t кр ) - доверительный интервал для параметра βi с i i уровнем надежности γ. В этом случае говорят, что доверительный интервал с вероятностью γ покрывает истинное значение параметра βi. Не говорят, что доверительный интервал содержит с вероятностью γ содержит истинное значение параметра β. Поскольку истинное значение параметра существует независимо от нас, а доверительный интервал мы строим, т. о. не β попадает в доверительный интервал, а доверительный интервал с той или иной вероятностью попадает на β. 2. Тестирование регрессионного уравнения. Пусть константа включена в число регрессоров. Процедура разделения вариации переменной Y на две составляющие позволяет провести нам тест на существование линейной зависимости между переменной Y и переменными X1,…,Xk. Н0: β1 = β 2 = ... = β k = 0 Таким образом, справедливость нулевой гипотезы означает, что ни одна из переменных X1,…,Xk не помогает нам объяснить вариацию Y. Эта гипотеза позволяет нам судить о значимости регрессии в целом. Эта гипотеза об отсутствии линейной связи между Y и X1,…,Xk. Проверка нулевой гипотезы осуществляется при помощи следующего критерия: R2 N − k − 1 RSS / k Fk , N −k −1 = = 2 k ESS /( N − k − 1) 1− R При справедливости нулевой гипотезы данная статистика имеет распределение Фишера с числом степеней свободы числителя k и знаменателя N-k-1. Если нулевая гипотеза верна, то следует ожидать, что RSS, R2 и, следовательно, F, близки к нулю. Таким образом, если значение F-статистики велико, мы нулевую гипотезу отвергаем. Граничное значение, начиная с 68 Эконометрика Кисляк Н. В. которого мы отвергаем гипотезу, находится из таблиц распределения Фишера для выбранного уровня значимости ν и числу степеней свободы числителя k и знаменателя N-k-1 Fкр (ν, k , N − k − 1) . - Таким образом, если F > Fкр (ν, k , N − k − 1) , мы нулевую гипотезу отвергаем, делаем вывод о том, что хотя бы одна из объясняющих переменных, участвующих в модели, действительно линейно влияет на переменную Y. Итак, при помощи F-статистики мы проверяем значимость коэффициента детерминации. Если F-статистика незначимо отличается от нуля, это означает, что объясняющие переменные, участвующие в модели на самом деле не оченьто нам помогают объяснит вариацию переменной Y. Для парного случая F – статистика выглядит следующим образом: R2 F = ( N − 2) = 1 − R2 )2 N β ∑ ( xi − x ) 2 i =1 N ∑ i =1 - Упражнение ei2 ( N − 2) Сравнивая предыдущее выражение и выражение для t-статистики коэффициента наклона, получим, что F= t2: 2 ) ⎛ ⎞ β − β ⎟ = t2 = ⎜ ⎜ s) ⎟ ⎝ β ⎠ ) (β − β) 2 sε2 N ∑ ( xi − x ) 2 i =1 = N ) (β − β) 2 ∑ ( xi − x ) 2 i =1 N ∑ ei2 i =1 =F. N −2 Таким образом, проверка гипотезы Н0: β = 0 , используя F и t-статистики, дает для одномерной регрессионной модели дает тождественные результаты. 3. Объединенный тест на несколько коэффициентов регрессии. При помощи F-статистики мы теперь умеем проверять гипотезу о том, что все коэффициенты при объясняющих переменных равны нулю. Иногда возникают ситуации, когда нам необходимо проверить гипотезу о том, что 69 Эконометрика Кисляк Н. В. нулю равны не все коэффициенты при объясняющих переменных, а некоторые из них. В этом случае осуществляется следующая процедура. Рассмотрим модель множественной регрессии: Y = β 0 + β1 X 1 + ... + β k X k + ε − «длинная регрессия». Назовем эту модель моделью без ограничений (UR), поскольку здесь мы не делаем никаких ограничений на возможные значения коэффициентов регрессии. Предположим, что мы хотим протестировать гипотезу о том, что q последних коэффициентов регрессии одновременно равны нулю. Т. е. мы хотим проверить гипотезу о том, что β k −q = ... = β k = 0 . Перепишем предыдущее уравнение следующим образом: Y = β 0 + β1 X 1 + ...β k −q−1 X k −q −1 + β k −q X k −q + ... + β k X k + ε нулевая гипотеза выглядит следующим образом: Н0: β k −q = ... = β k = 0 , т. е. последние q коэффициентов одновременно равны нулю. В случае, если эта гипотеза справедлива, то истинная модель выглядит следующим образом: Y = β 0 + β1 X 1 + ...β k −q−1 X k −q −1 + ε − «короткая регрессия» Назовем эту модель моделью с ограничениями (R –restricted model). Оценим обе эти модели и посчитаем сумму квадратов остатков в модели с ограничениями и в модели без ограничений – ESSR и ESSUR соответственно. ESSR всегда больше, чем ESSUR. Этот результат эквивалентен тому, что R2 всегда увеличивается при добавлении в модель новых объясняющих переменных. Если нулевая гипотеза справедлива, выбрасывание из уравнения q последних объясняющих переменных несильно скажется на объясняющих качествах уравнения, и ESSR будет ненамного отличатся от ESSUR. Таким образом, если нулевая гипотеза справедлива, разница ESSR - ESSUR будет ненамного отличатся от нуля. Статистический критерий для проверки нулевой гипотезы следующий: 70 Эконометрика Кисляк Н. В. Fq , N −k −1 = ( ESS R − ESSUR ) / q ESSUR /( N − k − 1) При справедливости нулевой гипотезы данная статистика имеет распределение Фишера с числом степеней свободы числителя q и знаменателя N-k-1. Если нулевая гипотеза справедлива, выбрасывание из уравнения q последних объясняющих переменных несильно скажется на объясняющих качествах уравнения, и ESSR будет ненамного отличатся от ESSUR. Таким образом, если нулевая гипотеза справедлива, разница ESSR - ESSUR. будет ненамного отличатся от нуля. Следовательно, F-статистика будет достаточно мала. Граничное значение, при котором нулевую гипотезу отвергают, зависит от выбранного уровня значимости ν. Оно находится из таблиц распределения Фишера для выбранного уровня значимости ν и числу степеней свободы числителя q и знаменателя N-k-1. Таким образом, если мы нулевую гипотезу отвергаем, то делаем вывод о том, что наши переменные действительно оказывают влияние на переменную Y и включение их в модель существенно повышает объясняющую силу уравнения. Похожий подход – рассмотрение регрессии с ограничение регрессии без ограничений – можно применить и для проверки гипотезы о наличии линейных связей между коэффициентами. Например, нам может понадобиться в ходе нашего исследования проверить гипотезу о равенстве между собой нескольких коэффициентов регрессии. 4. Проверка гипотезы о наличии линейных ограничений на коэффициенты. Предположим, мы рассматриваем и оцениваем функцию потребления: C = β0 + β1 X L + β 2 X NL + ε , где XL − трудовые доходы, а XNL − нетрудовые доходы. В этом случае нам может понадобиться проверить гипотезу о том, что предельные склонности к потреблению равны между собой ( β1 = β 2 ) или 71 Эконометрика Кисляк Н. В. гипотезу о том, что общая предельная склонность к потреблению равна 1 ( β1 + β 2 = 1 ). Рассмотрим сначала первый случай. Суть подхода к проверке таких гипотез такая же, как и в предыдущем пункте. Мы оцениваем две регрессии − регрессию без ограничений и регрессию с ограничениями, составляем F − статистику и проверяем ее значимость при помощи таблиц распределения Фишера. Рассмотрим сначала первый случай. Нулевая гипотеза: H0: β1 = β 2 Модель без ограничений: C = β 0 + β1 X L + β 2 X NL + ε ; модель с ограничениями: C = β 0 + β1 ( X L + X NL ) + ε . Во втором случае моделью с ограничениями будет следующая модель: C − X NL = β 0 + β1 ( X L − X NL ) + ε . Здесь мы просто подставили в исходную модель выражение для β2: β 2 = 1 − β1 . Статистический критерий для проверки нулевой гипотезы следующий: Fq , N −k −1 = ( ESS R − ESSUR ) / q . ESSUR /( N − k − 1) При справедливости нулевой гипотезы данная статистика имеет распределение Фишера с числом степеней свободы числителя q и знаменателя N-k-1, где q − чисто ограничений, накладываемых на коэффициенты. В нашем случае оно равно 1. В статистических пакетах проверка гипотезы о наличии линейных ограничений на коэффициенты называется тестом Вальда (Wald test). Рассмотрим эту гипотезу в общем виде: H0: Hβ = r. Например: 72 Эконометрика Кисляк Н. В. ⎛ β1 ⎞ 2β1 + β 3 = 0 ⎛ 2 0 1 ⎞⎜ ⎟ ⎛ 0 ⎞ . ⎜⎜ ⎟⎟⎜ β 2 ⎟ = ⎜⎜ ⎟⎟ означает, что 1 1 1 β + β = 1 ⎝ ⎠⎜ ⎟ ⎝ ⎠ 2 3 ⎝β 3 ⎠ H − матрица размера q × k , где q − число ограничений, r − вектор из q компонент. Для проверки такой гипотезы используется статистика Вальда: W= ) ) 1 −1 −1 [ H β − r ]' [ h ( X ' X ) H ' ] [ H β − r] s2 При справедливости нулевой гипотезы эта статистика распределена асимптотически как χ 2 (q) . Для проверки нулевой гипотезы находим критическую точку распределения χ 2 (q ) для выбранного уровня значимости ν − Wкр. Если Wнабл > Wкр , то мы нулевую гипотезу отвергаем, если Wнабл < Wкр , то говорим, что нет оснований отвергнуть нулевую гипотезу. Ту же самую гипотезу можно проверить при помощи статистики Фишера, вычислив суммы квадратов остатков для моделей с ограничением и модели без ограничений. Как связаны между собой эти статистики? Оказывается, что F= W . В пакете Eviews приводятся наблюдаемые значения обеих статистик и q значения Probability для каждой из них. 5. Проверка гипотезы о равенстве коэффициентов различных регрессионное уравнение регрессионных уравнений (тест Чоу). Предположим, что мы рассматриваем Y = β1 X 1 + ... + β k X k + ε и данные для его оценки содержат наблюдения для разных по качеству объектов: для мужчин и женщин, для белых и черных. вопрос, который нас может здесь заинтересовать, следующий – верно ли, что рассматриваемая модель совпадает для двух выборок, относящихся к объектам разного качества? Ответить на этот вопрос можно при помощи теста Чоу. Рассмотрим модели: 73 Эконометрика Кисляк Н. В. Yi = β1′ X 1i + ... + β′k X ki + ε′i′ , i=1,…,N (1); Yi = β1′′X 1i + ... + β′k′ X ki + ε′i′ , i=N+1,…,N+M (2). В первой выборке N наблюдений, во второй – М наблюдений. Пример: Y – заработная плата, объясняющие переменные – возраст, стаж, уровень образования. Следует ли из имеющихся данных, что модель зависимости заработной платы от объясняющих переменных, стоящих в правой части одинакова для мужчин и женщин? Н0: β1′ = β1′′, β′2 = β′2′ ,..., β′k = β′k′ Для проверки этой гипотезы можно воспользоваться общей схемой проверки гипотез при помощи сравнения регрессии с ограничениями и регрессии без ограничений. Регрессией без ограничений здесь является объединение регрессий (1) и (2), т. е. ESSUR = ESS1 + ESS2, число степеней свободы – N + M - 2k. Регрессией с ограничениями (т. е. регрессией в предположении, что выполнена нулевая гипотеза) будет являться регрессия Y = β1 X 1 + ... + β k X k + ε для всего имеющегося набора наблюдений: Y = β1 X 1 + ... + β k X k + ε , i = 1,…, N+M (3). Оценивая (3), получаем ESSR. Для проверки нулевой гипотезы используем следующую статистику: Fk , N − M −2 k = ( ESS R − ESSUR ) / k , ESSUR /( N + M − 2k ) которая в случае справедливости нулевой гипотезы имеет распределение Фишера с числом степеней свободы числителя k и знаменателя N + M - 2k. Если нулевая гипотеза справедлива, мы можем объединить имеющиеся выборки в одну и оценивать модель для N + M наблюдений. Если же нулевую гипотезу отвергаем, то мы не можем слить две выборки в одну, и нам придется оценивать эти две модели по отдельности. 74 Эконометрика Кисляк Н. В. Изучение общей линейной модели, рассмотренной нами ранее, весьма существенно, как мы видели, опирается на статистический аппарат. Однако, как и во всех приложениях мат. статистики, сила метода зависит от предположений, лежащих в его основе и необходимых для его применения. Некоторое время мы будем рассматривать ситуации, когда одна или более гипотез, лежащих в основе линейной модели, нарушается. Мы рассмотрим альтернативные методы оценивания в этих случаях. Мы увидим, что роль одних гипотез более существенна по сравнению с ролью других. Нам надо посмотреть, к каким последствиям может привести нарушения тех или иных условий (предположений), уметь проверить, удовлетворяются они или нет и знать, какие статистические методы можно и целесообразно применять, когда не подходит классический метод наименьших квадратов. 2. Связь между переменными линейная и выражается уравнением Y = β1 X 1 + ... + β k X k + ε - ошибки спецификации модели (невключение в уравнение существенных объясняющих переменных, включение в уравнение лишних переменных, неправильный выбор формы зависимости между переменными); 3. X1,…,Xk – детерминированные переменные – стохастические регрессоры, линейно независимые – полная мультиколлинеарность; 4. Mε i = 0 ; 5. Mε i2 = Dε i = σ ε2 - гетероскедастичность; 5. M (ε i ε j ) = 0 при i ≠ k – автокорреляция ошибок Прежде чем приступать к разговору, рассмотрим следующие понятия: парный коэффициент корреляции и частный коэффициент корреляции. 75 Эконометрика Кисляк Н. В. 8. МУЛЬТИКОЛЛИНЕАРНОСТЬ. 1. Совершенная мультиколлинеарность. Одно из требований Гаусса-Маркова говорит нам о том, чтобы объясняющие переменные не были связаны никаким точным соотношением. Если такое соотношение между переменными существует, мы говорим о том, что в модели присутствует совершенная мультиколлинеарность. Пример. Рассмотрим модель со средней оценкой на экзамене, состоящую из трех объясняющих переменных: I − доход родителей, D − среднее число часов, затраченных на обучение в день, W − среднее число часов, затраченных на обучение в неделю. Очевидно, что W=7D. И это соотношение будет выполняться для каждого студента, который попадет в нашу выборку. Случай полной мультиколлинеарности отследить легко, поскольку в этом случае невозможно построить оценки по методу наименьших квадратов. 2. Частичная мультиколлинеарность или просто мультиколлинеарность. Гораздо чаще встречается ситуация, когда между объясняющими переменными точной линейной зависимости не существует, но между ними существует тесная корреляционная зависимость – этот случай носит название реальной или частичной мультиколлинеарности (просто мультиколлинеарность) – существование тесных статистических связей между переменными. Надо сказать, что вопрос мультиколлинеарности – это вопрос скорее степени выраженности явления, а не его вида. Оценка любой регрессии будет страдать от нее в том или ином виде, если только все независимые переменные не окажутся абсолютно некоррелированными. Рассмотрение данной проблемы начинается только тогда, когда это начинает серьезно влиять на результаты оценки регрессии (наличие статистических связей между регрессорами вовсе не обязательно дает неудовлетворительные оценки). Итак, мультиколлинеарность – это проблема, когда тесная корреляционная 76 Эконометрика Кисляк Н. В. зависимость между регрессорами ведет к получению ненадежных оценок регрессии. Последствия мультиколлинеарности: Формально, поскольку (X'X) – невырожденная, то мы можем построить МНК-оценки коэффициентов регрессии. Однако вспомним, как выражаются ) теоретические дисперсии оценок коэффициентов регрессии: Dβ i = σβ2) = σ ε2 a ii , i где aii - i-й диагональный элемент матрицы ( X ' X )−1 . Поскольку матрица (X'X) близка к вырожденной и det(X'X) ≈ 0, то 1) на главной диагонали обратной матрицы стоят очень большие числа, поскольку элементы обратной матрицы обратно пропорциональны det(X'X). Следовательно, теоретическая дисперсия i-го коэффициента достаточно большая и оценка дисперсии sβ) i так же большая, следовательно, t- статистики небольшие, что может привести к статистической незначимости i-го коэффициента. Т. е. переменная оказывает значимое влияние на объясняемую переменную, а мы делаем вывод о ее незначимости. ) 2) Поскольку оценки β i и sβ) i зависят от (X'X)-1, элементы которой обратно пропорциональны det(X'X), то если мы добавим или уберем одно-два наблюдения, добавив или убрав, таким образом, одну-две строки к матрице X'X, ) то значения β i и sβ) i могут измениться существенным образом, вплоть до смены знака – неустойчивость результатов оценивания. 3) Трудность интерпретации уравнения регрессии. Допустим, у нас в уравнении есть две переменные, которые связаны между собой между собой: X1 и X2. Коэффициент регрессии при X1 интерпретируется как мера изменения Y за счет изменения X1 при прочих равных условиях, т.е. значения всех других переменных остаются прежними. Однако, поскольку переменные Х1 и Х2 связаны, то изменения в переменной Х1 повлекут за собой предсказуемые изменения в переменной Х2 и значение Х2 не останется прежним. 77 Эконометрика Кисляк Н. В. Пример: Y = β 0 + β 1 X 1 + β 2 X 2 + ... , где Х1 – общая площадь, Х2 – жилая площадь. Мы говорим: "Если жилая площадь увеличиться на 1 кв. м., то при прочих равных условиях цена квартиры увеличиться на β 2 долл". Однако в этом случае и жилая площадь увеличится на 1 кв. м. и прирост цены будет β 1 + β 2 . Разграничить влияние на переменную Y каждой переменной в отдельности уже не представляется возможным. Выход в данной ситуации с ценой на квартиру -–включить в модель не общую площадь, а так называемую "добавочную" или "дополнительную" площадь. Признаки мультиколлинеарности. Точных критериев мультиколлинеарности не для определения существует. Однако наличия есть (отсутствия) эвристические рекомендации по ее выявлению: 1) Анализируют матрицу парных коэффициентов корреляции между регрессорами и если значение коэффициента корреляции близко к 1, то это считается признаком мультиколлинеарности. 2) Анализ матрицы корреляции – лишь поверхностное суждение о наличии (отсутствии) мультиколлинеарности. Более внимательное изучение этого вопроса достигается при помощи расчета коэффициентов частной корреляции или расчетов коэффициентов детерминации каждой из объясняющих переменных по всем другим объясняющим переменным в регрессии X i = β 0 + β1 X 1 + ... + β i −1 X i −1 + β i +1 X i +1 + ... + β k X k + ε . 3) Можно посчитать определитель матрицы (Х’X) и если он близок к нулю, то это тоже свидетельствует о наличии мультиколлинеарности. 4) (Х’X) – симметричная положительно определенная матрица, следовательно, все ее собственные числа неотрицательны. Если определитель матрицы (Х’X) равен нулю, то минимальное собственное число так же ноль и непрерывность сохраняется. Следовательно, по значению манимального собственного числа λ min можно судить и о близости к нулю определителя 78 Эконометрика Кисляк Н. В. матрицы (Х’X). Кроме этого свойства минимальное собственное число важно еще и потому, что стандартная ошибка коэффициента обратно пропорциональна λ min . 5) О наличии мультиколлинеарности можно судить по внешним признакам, являющимся следствиями мультиколлинеарности: a) некоторые из оценок имеют неправильные с точки зрения экономической теории знаки или неоправданно большие значения; b) небольшое изменение исходных экономических данных приводит к существенному изменению оценок коэффициентов модели; c) большинство t-статистик коэффициентов незначимо отличаются от нуля, в то же время модель в целом является значимой, о чем говорит высокое значение F-статистики. Как избавится от мультиколлинеарности, как ее устранить: 1) Использование факторного анализа. Переход от исходного набора регрессоров, среди которых есть статистически зависимые, к новым регрессорам Z1,…,Zm при помощи метода главных компонент – вместо исходных переменных вместо исходных переменных рассматриваем некоторые их линейные комбинации, корреляция между которыми мала или отсутствует вообще. Задача здесь – дать содержательную интерпретацию новым переменным Z. Если не удалось – возвращаемся к исходным переменным, используя обратные преобразования. Полученные оценки будут, правда, смещенными, но будут иметь меньшую дисперсию. 2) Среди всех имеющихся переменных отобрать наиболее существенно влияющих на объясняемую переменную факторов. Процедуры отбора будут рассмотрены ниже. 3) Переход к смещенным методам оценивания. Когда мы сталкиваемся с проблемой мультиколлинеарности, то у неискушенного исследователя поначалу возникает желание просто исключить лишние регрессоры, которые, возможно, служат ее причиной. Однако не всегда ясно, какие именно переменные являются лишними в указанном смысле. Кроме 79 Эконометрика Кисляк Н. В. того, как будет показано ниже, отбрасывание так называемых существенно влияющих переменных приводит к смещенности МНК-оценок. 80 Эконометрика Кисляк Н. В. 9. ОШИБКИ СПЕЦИФИКАЦИИ Построение экономической модели включает в себя спецификацию ее соотношений, выбор переменных, входящих в соотношение, определение математической функции, входящей в каждое соотношение. В данном пункте мы рассмотрим второй элемент. Если точно известно, какая переменная должна быть включена в уравнение, то наша задача состоит в определении коэффициентов, построении доверительных интервалов, проверке различных гипотез. На практике мы никогда не можем быть уверены, что уравнение специфицировано правильно. Что случится, если мы включим в уравнение переменные, которых там быть не должно, и что случится, если мы не включим в уравнение переменные, которые там должны присутствовать. Свойства оценок коэффициентов в значительной степени зависят от правильности спецификации модели. Ошибки спецификации бывают двух видов: 1) невключение в уравнение существенной объясняющей переменной; 2) включение в уравнение переменной, которая не должна там присутствовать. 3) неправильный выбор формы зависимости между переменными, мы предположили, что модель линейная, а она может быть более сложной. 1. Влияние отсутствия в уравнении переменной, которая должна быть включена. Рассмотрим ситуацию для случая двух переменных. Истинная модель выглядит следующим образом: Y = α + β X + γZ + ε . Но мы не уверены в значимости Z, поэтому оцениваем «короткую» модель: ) Y = α + β X + ε . По методу наименьших квадратов вычисляем β : 81 Эконометрика Кисляк Н. В. N ∑ X iYi ) β= i =1 N − XY N ∑ X i2 i =1 − X2 N ) ) ) β - несмещенная оценка β, если M β = β. Посчитаем, чему равно M β : N N ∑ X iYi ) Mβ = M i =1 N − XY σ 2X ∑ X i MYi i =1 N = − XMY σ 2X MYi = M (α + βX i + γZ i + ε i ) = α + βX i + γZ i N MY = M ( ∑ Yi i =1 N N )= N ∑ MYi ∑ (α + βX i + γZ i ) i =1 = N i =1 N = α + β X 1 + γZ Таким образом, получаем в числителе: N ∑ X i MYi i =1 N N − XMY = N ∑ X i2 = αX + β i =1 N ∑ X i ( α + β X i + γZ i ) i =1 N − X ( α + β X + γZ ) = N ∑ X i Zi + γ i =1 N − αX − βX 2 − γXZ = N = βσ 2X ∑ X i Zi + γ ( i =1 N − XZ ) N ∑ X i Zi ) Итак, Mβ = β + γ i =1 N σ 2X − XZ . Таким образом, мы получили смещенную оценку. Оценка будет несмещенной в двух случаях: 1) γ = 0 ; 2) X и Z статистически независимы. 82 Эконометрика Кисляк Н. В. Наша оценка будет завышать или занижать истинное значение коэффициента в зависимости от знака смещения. Интуитивное объяснение. Предположим, что β и γ положительны, а X и Z положительно коррелированны, тогда с увеличением X 1) Y будет иметь тенденцию к росту, поскольку β положителен; 2) Z будет иметь тенденцию к увеличению, поскольку X и Z положительно коррелированны; 3) Y получит дополнительное ускорение из-за увеличения Z, поскольку γ положительно. Другими словами, изменение Y будет преувеличивать влияние текущих значений X, т. к. отчасти они будут связаны с изменениями Z. Т.е. часть изменения Y за счет изменения Z будет приписано X. Однако смещение оценок коэффициентов здесь – не единственная неприятность. Что будет с оценками дисперсий? ) D βк = σ2 N ∑ ( X i − X )2 - в короткой регрессии (без доказательства). i =1 ) Dβ д = σ2 N ∑(Xi − X ) 1 - в длинной регрессии (без доказательства). 2 2 1 − r XZ i =1 ) ) ) Таким образом, Dβ к ≤ Dβ д , т. е. β - смещенная оценка, но обладает меньшей дисперсией. Что будет с оценкой σ 2 - s 2 ? Оказывается, что в случае, если мы не включаем в регрессию существенную переменную, эта оценка будет смещенной. Поскольку s 2 участвует во многих статистических тестах, то используя их для проверки гипотез, мы можем получить ложные выводы. Итак, в случае невключения объясняющих переменных, МНК-оценка короткой регрессии смещена, и обладает меньшей дисперсией, чем у оценки в 83 Эконометрика Кисляк Н. В. длинной регрессии. Оценка дисперсии ошибки имеет неотрицательное смещение. 2. Включение несущественных переменных. Теперь у нас ситуация противоположная предыдущей. Истинная модель выглядит следующим образом: Y = α + β X + ε , а мы оцениваем «длинную» регрессию Y = α + β X + γZ + ε . Таким образом, включая в уравнение несущественную переменную, мы не учитываем информацию о том, что коэффициент при Z равен нулю. Следует всегда ожидать, что неучитывание всей информации о модели потере эффективности оценок. Т. е. в нашем случае дисперсия оценки в «длинной» регрессии будет больше, чем дисперсия оценки коэффициента при Х в истинной модели, поскольку мы вынуждены по тем же самым наблюдениям оценивать два параметра вместо одного. Тем не менее, оценки «длинной» регрессии останутся несмещенными. Потеря эффективности не случится, если переменные Х и Z некоррелированны. Потеря эффективности приводит к тому, что мы с большей трудностью отвергаем гипотезу о незначимости коэффициента, тем не менее оценка дисперсии β останется несмещенной. ) Выводы здесь мы приводить не будем. β и s 2 - несмещенные оценки, но ее дисперсия больше, чем в правильной модели, т. е. точность оценки ухудшается. Рисунок с графиками плотностей распределения. 3. Неправильный выбор функциональной зависимости. Еще одна ошибка спецификации происходит, когда исследователь решает оценить линейную модель, в то время как истинная регрессионная модель нелинейная. Пример: Y = α + β X + γX 2 + ε , а оцениваем мы модель 84 Эконометрика Кисляк Н. В. Y = α + β X + ε . Приведенная выше ситуация является частным случаем ситуации с пропущенными переменными. Выбор линейной модели, в то время как истинная модель нелинейная может привести к смещенности и несостоятельности оценок регрессии. Поэтому исследователи часто используют полиномиальную регрессию как тест на нелинейность в объясняющих переменных. Итак, мы с вами рассмотрели теоретические аспекты включения лишних или невключения нужных переменных в уравнение. Что же делать на практике, когда мы никогда точно не знаем, какие переменные входят в модель, а какие нет. В таких ситуациях используют различные эвристические процедуры отбора регрессоров. 85 Эконометрика Кисляк Н. В. 10. ПРОЦЕДУРЫ ОТБОРА РЕГРЕССОРОВ (отбор наиболее существенных объясняющих переменных). В самом начале нашего курса мы разбирали вопрос, откуда возникает ошибка ε в i-м наблюдении. Мы тогда говорим про невключение в уравнение переменных в силу различных обстоятельств – про возможность перехода от исходного числа p анализируемых объясняющих переменных к существенно меньшему числу объясняющих переменных, наиболее6 информативных в некотором смысле. Некоторые объясняющие переменные оказывают несущественное влияние на объясняющую переменную и им можно пренебречь. Если же у нас есть сильно зависимые признаки, то информация, поставляемая ими, дублирует друг друга, так, что дополнительным влиянием одной из переменных можно пренебречь. Поэтому стремление исследователя отобрать из имеющегося у него набора объясняющих переменных лишь самые существенные (с точки зрения влияния на Y), представляется вполне естественным. В предположении, что объясняющие переменные неслучайны, возможны две точки зрения на оценку уравнения регрессии, получаемого после отбора наиболее существенных предсказывающих переменных: 1. Модель регрессии является истинной, тогда при помощи метода наименьших квадратов получается несмещенная и эффективная оценка коэффициентов регрессии (в условиях мультиколлинеарности эта оценка может быть неудовлетворительной, но, тем не менее, останется несмещенной). Тогда принудительное приравнивание части коэффициентов к нулю, что и происходит при отборе регрессоров, приводит, как мы убедились, к смещенным оценкам коэффициентов при оставшихся переменных, т. е. мы переходим к классу смещенных оценок, о чем говорилось выше. 2. Процесс отбора существенных переменных можно рассматривать как процесс выбора истинной модели из множества возможных линейных моделей, которые могут быть построены с помощью набора объясняющих переменных, 86 Эконометрика Кисляк Н. В. и тогда полученные после отбора оценки коэффициентов можно рассматривать как несмещенные. этой точки зрения мы и будем придерживаться в дальнейшем. 3. Для случая, когда объясняющие переменные – случайные величины, вопрос о правильности (истинности) модели не стоит. Все, что мы ищем в этом случае – модель, сохраняющую ошибку предсказания на разумном уровне при ограниченном количестве переменных. Существует несколько подходов к решению задачи отбора наиболее существенных процедурах, объясняющих реализующих переменных. идею «от Мы остановимся простого к на двух сложному» – последовательного наращивания числа объясняющих переменных. Пусть у нас всего р переменных, претендующих на участие в правой части. 1. «Все возможные регрессии». 1) Проведем р парных регрессий Y на X1,…Xp и выберем ту переменную, для которой коэффициент детерминации наибольший - R12 . на этом шаге мы найдем одну объясняющую переменную, которую можно назвать наиболее информативной объясняющей переменной при условии, что в регрессионную модель мы можем включить только одну из имеющегося набора объясняющих переменных. 2) проведем р*(р-1) регрессий, каждый раз включая две из р переменных и выберем ту, которая дает наибольшее значение R22 – пара (X(1), X(2)) – наиболее информативная пара переменных: эта пара будет иметь наиболее тесную статистическую связь с результирующим показателем Y. В состав этой пары переменная из первого шага может и не войти. 3) находим три наиболее информативных объясняющих переменных, проведя р*(р-1)*(р-2) - R32 … 87 Эконометрика Кисляк Н. В. Вопрос – когда остановиться. Строгих правил нет, только рекомендации. Изобразим на графике зависимость скорректированного коэффициента детерминации наиболее информативной совокупности переменных от числа этих переменных. Одновременно будем откладывать следующую величину: 2 R 2min = Radj (k ) − 2 2k ( N − k − 1) (1 − R 2 ( k )) . 2 ( N − 1)( N − 1) Предлагается выбрать в качестве оптимального числа объясняющих 2 переменных то число, для которого Rmin достигает своего максимума. Теоретическое обоснование этому мы здесь не приводим. Однако реализация метода всех возможных регрессий требует значительных вычислительных трудностей, поскольку число регрессий, которые необходимо оценить, большое (равное 2р-2, для p = 20 число возможных переборов будет больше миллиона (вспомнить байку про шахматы)). Есть несколько выходов из этой ситуации. Мы рассмотрим II. Пошаговая процедура отбора переменных (в двух реализациях). Здесь мы на каждом шаге учитываем результаты предыдущего шага, и в этом состоит отличие этого метода от предыдущего. Первый шаг такой же, как и в предыдущем случае: 1) Среди имеющихся р переменных выбираем ту, для которой коэффициент корреляции с объясняемой переменной наибольший. 2) а) Теперь мы перебираем не все возможные пары переменных, а лишь те, в которых участвует переменная, полученная на первом шаге. Число переборов в этом случае существенно уменьшится б) среди оставшихся переменных выбираем ту, которая имеет с объясняемой переменной наибольший коэффициент частной корреляции, очищенный от влияния переменной, полученной на первом шаге. 3)… 88 Эконометрика Кисляк Н. В. Число переборов для а) - ( p + 2)( p + 1) , т. е. для р = 20 число переборов 2 будет 209. Опять остается вопрос – когда же остановится. Ответ может быть такой, например, когда новый коэффициент частной корреляции будет уде незначимо 2 отличаться от нуля и др. Здесь так же можно сконструировать величину Rmin и остановится тогда, когда она достигнет максимума. Вообще говоря, пошаговые процедуры не гарантируют получения оптимального с точки зрения «всех пошаговых регрессий» набора, но в большинстве ситуаций, наборы переменных, получаемых методами пошагового отбора, будут близки к ним. Кроме описанных, существуют различные методы пошаговые: другой метод пошагового присоединения, метод присоединения-удаления, метод удаления и др. 89 Эконометрика Кисляк Н. В. 11. ГЕТЕРОСКЕДАСТИЧНОСТЬ Как было сказано выше, гетероскедастичность – ситуация, когда нарушено пятое условие Гаусса-Маркова: ошибки для разных наблюдений имеют разную дисперсию ( Dεi = σi2 ). Пример с фирмами, работающими в одной сфере. Естественно ожидать, что ошибки для больших фирм будут иметь большую дисперсию, чем ошибки маленьких фирм. 1. Последствия гетероскедастичности. a. МНК-оценки, хотя останутся несмещенными, уже не будут являются эффективными, т. е. не будут обладают наименьшей дисперсией. Мы сможем построить оценки с меньшей дисперсией при помощи другого метода. b. МНК-оценки стандартных ошибок будут неверны ( sβ)2 = sε2 a ii ). Дело в i ) том, что Dβi = σ 2ε a ii только в случае выполнения условия Гаусса-Маркова. т. е. дисперсия в условиях гетероскедастичности будет другой, что же на самом деле оценивают sβ) - ? В этом случае говорят, что МНК-оценки стандартных i ошибок смещены. Скорее всего, они занижают истинное значение дисперсии. Теперь мы с вами уже не сможем для оценки гипотезы о значимости коэффициентов пользоваться t-статистиками., поскольку в них фигурируют неверные (смещенные) оценки стандартного отклонения оценки коэффициента, заниженное. Следовательно, t-статистики будут завышены. Это значит, что мы можем принять неверное решение о значимости коэффициента, хотя он будет незначим. N ) Для случая парной модели Dβ = ∑ ( X i − X ) 2 σi2 i =1 ⎛N ⎞ ⎜⎜ ∑ ( X i − X ) 2 ⎟⎟ ⎝ i =1 ⎠ 2 . 90 Эконометрика Кисляк Н. В. Интуиция неэффективности. Наблюдение, дисперсия ошибки которого будет меньше, обычно будет находиться ближе к линии регрессии, поэтому будет служить хорошим ориентиром, указывающим место этой линии. Наблюдение же, которое имеет большую дисперсию, будет обычно находится дальше от линии и не сможет существенно помочь в определении местоположения этих линий. 2. Тесты на гетероскедастичность. Мы по−прежнему рассматриваем модель Y = β 0 + β1 X 1 + ... + β k X k + ε Нулевая гипотеза − отсутствие в модели гетероскедастичности, т. е. гомоскедастичность: Вид альтернативной гипотезы специфичен для каждого теста, т. е зависит от теста, при помощи которого мы проверяем наличие гетероскедастичности. Не смотря на то, что таких тестов существует несколько, все они базируются на одном: анализе квадратов остатков исходной регрессии. Поскольку остатки регрессии снабжают нас информацией об ошибках регрессии, мы можем проанализировать остатки для того, чтобы посмотреть, отличается ил разброс остатков (вокруг нуля) или разброс наблюдений вдоль линии регрессии от наблюдения к наблюдению разброс остатков вокруг нуля будет отражать разброс ошибок вокруг нуля. Эти рассуждения должны навести нас на мысль, что ситуацию гетероскедастичности можно отследить графически. Если наши данные представляют собой временной ряд, то отсортировав остатки или квадраты остатков по времени и изобразив их на графике мы можем заметить, что остатки растут во времени. Если же мы анализируем пространственные данные, изобразив остатки на графике в зависимости от одной из объясняющих переменных, можно заметить разницу в разбросе остатков. Это эвристический, опытный подход. Теперь приведем несколько формальных тестов. Все тесты предполагают, что дисперсии ошибок наблюдений зависят от некоторой переменной, которая может входить в модель, а может и не входить. 91 Эконометрика Кисляк Н. В. 1. Тест Голфилда−Квандта. 2. Тест ранговой корреляции Спирмена. 3. Тест Бреуш−Пагана. 4. Тест Уайта. Исходная модель: Y = β0 + β1 X 1 + ... + β k X k + ε Н0: σ12 = σ 22 = ... = σ 2N . Предположим, что нулевая гипотеза неверна и в нашей модели присутствует гетероскедастичность и Dε i = σ i2 . Предположим 2 также, что σ i = f ( Z i ) , где Zi – может быть одной из объясняющих переменных, группой объясняющих переменных, или вообще переменной, не участвующей в модели. Форма f(Z) может быть различной – линейной, логарифмической, квадратичной. Тест Уайта заключается в следующем: 1) Оцениваем имеющуюся модель и получаем величины остатков ei 2) Осуществляем регрессию e i2 = γ 0 + γ 1 X 1i + ... + γ k X ki + γ k +1 X 12i + ... γ 2 k X ki2 + γ 2 k +1 X 1i X 2 i + ... + u i В этой регрессии мы учитываем больше форм зависимостей σ 2i от независимых переменных. Если нулевая гипотеза справедлива и σ 2i не зависит никак ни от одной из независимых переменных, то наша регрессия практически ничего не объясняет, гетероскедастичность, следовательно, то R2 ее «большой». R2 мал. Границы Если же «малости»: есть при справедливости нулевой гипотезы статистика NR 2 имеет распределение «хиквадрат» с числом степеней свободы q, где q – число переменных в регрессии пункта 2 вместе со свободным членом. Пример 2. Коррекция на гетероскедастичность. Задача – уточнить оценки коэффициентов и исправить стандартные ошибки, чтобы модно было пользоваться тестами для проверки гипотез. 92 Эконометрика Кисляк Н. В. Предположим ненадолго, что мы знаем величины ошибок σ i2 . Тогда поделим обе части уравнения нашей модели на σ i : Yi X X ε 1 = β0 + β1 1i + ... + β k ki + vi , где vi = i . σi σi σi σi σi Но σ2i мы никогда не знаем. Гетероскедастичность ничего не знаем о σ2i Можем есть априорная информация о σ2i стандартные можем исправить ошибки, чтобы использовать было коэффициентов можно статистические уточнить оценки уравнения – тесты двухшаговая процедура коррекции на для проверки гипотез относительно гетероскедастичность. коэффициентов – стандартные ошибки в форме Уайта или Невье-Веста 1. Стандартные ошибки в форме Уайта (White Standart Errors) – состоятельные оценки стандартных отклонений оценок коэффициентов регрессионного уравнения. Для случая парной модели: N ) Dβ = ∑(Xi − X ) i =1 2 σi2 ⎛ ⎞ ⎜⎜ ∑ ( X i − X ) 2 ⎟⎟ ⎝ i =1 ⎠ N 2 N )) , Dβ = ∑ ( X i − X ) 2 ei2 i =1 ⎛ ⎞ ⎜⎜ ∑ ( X i − X ) 2 ⎟⎟ ⎝ i =1 ⎠ N 2 . Стандартные ошибки в форме Уайта можно получить практически во всех статистических пакетах, в том числе и в Eviews-е. 2. Процедура коррекции на гетероскедастичность. Пусть у нас есть основания предполагать, что значения дисперсий ошибок в i-м наблюдении пропорционально значениям некоторой объясняющей переменной (пусть, для определенности, X1), т. е. σ 2i ~ X 12i или σ 2i = CX 12i 93 Эконометрика Кисляк Н. В. Тогда мы можем сделать следующее: поделим обе части уравнения нашей модели на X 1i : Yi X X ε 1 = β0 + β1 1i + ... + β k ki + v i , где v i = i . X 1i X 1i X 1i X 1i X 1i Упражнение. Показать, что дисперсия vi не зависит от номера наблюдения. Если же дисперсия ошибок зависит от значений нескольких переменных и форма этой зависимости не обязательно линейная (логарифмическая, например), то проводим двухшаговую процедуру коррекции на гетероскедастичность: 1) Оцениваем исходную модель (*) МНК, получаем остатки ei 2) Оцениваем следующую регрессию: ) e i2 = γ 0 + γ 1 X 1i + γ 2 X 2 i + ... + γ k X ki + u i , получаем e i 3) Оцениваем взвешенную регрессию: Yi X 1i X ki 1 = β + β + ... + β + vi ) 0 ) 1 ) k ) ei ei ei ei 4) проверяем на гетероскедастичность, если нет, то ОК, если не удалось – возвращаемся к шагу 2 и придумываем другие формы зависимости (добавляем квадраты, перекрестные члены и др.). 94 Эконометрика Кисляк Н. В. 12. АВТОКОРРЕЛЯЦИЯ ВРЕМЕННЫХ РЯДОВ. Во временных называемое рядах практически автокорреляцией. корреляционную зависимость всегда Автокорреляция наблюдается представляет явление, собой между последующими и предшествующими членами временного ряда, т. е. корреляцию между рядами Y1, Y2,…,YT и YL, YL+1,…,YT+L, где L – длина временного смещения. L зависит от наибольшего числа периодов во временном ряду. Автокоррелированными могут оказаться остатки регрессионных моделей, построенных на базе временных рядов. Рассмотрим множественную линейную регрессионную модель Y = β 0 + β1 X 1 + ... + β k X k + ε , (2.1) в которой присутствует автокорреляция ошибок: M ( εi ε j ) ≠ 0 при i ≠ k. Например, ошибки могут подчиняться автокорреляционному процессу первого порядка: εt = ρε t − 1 + ut (2.2), тогда параметр ρ называют параметром автокорреляции. Наличие автокорреляции может быть обусловлено следующими причинами: 1. Если в модели не учтен некоторый существенный фактор, то его влияние может быть отражено в остатках, вследствие чего последние могут оказаться автокоррелированными. 2. Выбран неправильный тип модели. 3. Специфическая структура случайных остатков. Последствия автокорреляции. 95 Эконометрика Кисляк Н. В. 1. МНК-оценки коэффициентов модели остаются смещенными и состоятельными, но перестают быть эффективными, т. е. мы можем построить оценки с меньшими дисперсиями. 2. МНК-оценка дисперсии оценок коэффициентов смещены и несостоятельны, они занижают истинное значение дисперсии. 3. В модели с лаговой зависимой переменной … Обнаружение автокорреляции. Итак, игнорирование автокорреляции регрессионных остатков создает серьезные трудности для применения обыкновенного МНК. Поэтому важно владеть методами, позволяющими устанавливать ее присутствие. Большинство тестов на автокорреляцию используют следующую идею: если корреляция есть у ошибок, то она присутствует и в остатках, получаемых после применения к (2.1) обычного метода наименьших квадратов. Мы рассмотрим только одну реализацию этой процедуры, а именно, тест на наличие в модели автокорреляции первого порядка (тест Дарбина-Уотсона). H0 : ρ = 0 . В качестве альтернативной могут выступать различные гипотезы. Критическая статистика Дёрбина-Уотсона имеет вид T DW = ∑ (et − et −1 ) 2 t=2 T ∑ et2 t =1 Если постоянный член включен в число регрессоров, то нетрудно показать (Магнус, Катышев, Пересецкий), что статистика Дарбина-Уотсона тесно связана с выборочным коэффициентом корреляции между et и et-1 (r): DW ≈ 2(1 − r ) 96 Эконометрика Кисляк Н. В. Содержательный смысл статистики Дарбина-Уотсона следующий: если между et и et-1 имеется достаточно высокая положительная автокорреляция, то в определенном смысле et и et-1 близки друг к другу и величина статистики DW мала. Это согласуется с формулой (2.4). Поскольку, как оказалось, распределение статистики DW (в предположении справедливости гипотезы H0) зависит от наблюденных значений объясняющих переменных X, Дербину и Уотсону удалось установить (для двух заданных величин уровня значимости критерия α = 0,05 и α = 0,01) лишь такие пороговые значения DWu и DWl, которые позволяют построить следующие два варианта процедуры проверки гипотезы (в зависимости от альтернативы о наличии в остатках положительной или отрицательной автокорреляции 1-го порядка): а) При DW < 2 (альтернатива: существование в остатках положительной автокорреляции первого порядка): • по заданному α находим из таблиц пороговые значения DWu DWl; • по формуле подсчитываем значение критической статистики DW; • если DW < DWl , то гипотеза H0 отвергается (с вероятностью ошибиться, равной α) в пользу гипотезы о положительной автокорреляции; • если DW > DWu , то гипотеза Н0 не отвергается; • если DWl < DW 2 (альтернатива: существование в остатках отрицательной автокорреляции первого порядка). • первые два действия — те же, что и в п. а); • если 4- DWl < DW < 4, то гипотеза H0 отвергается (с вероятностью ошибиться, равной α) в пользу гипотезы об отрицательной автокорреляции, • если DWu L ). Невье и Вест показали в 1987 г., что оценка ) ⎡1 Ω = T ( X ' X ) −1 ⎢ ⎣T T ∑ es2 xs xs ' + s =1 1 T L T ⎤ ∑ ∑ w j et et − j ( xt x't − j + xt − j x't )⎥( X ' X ) −1 L =1 t = j +1 ⎦ Существует несколько способов выбора весовых коэффициентов, например, весовые коэффициенты Бартлетта и Парзена. Весовые коэффициенты Бартлета: wj = 1 L −1 100 Эконометрика Кисляк Н. В. 13. ОБОБЩЕННЫЙ МЕТОД НАИМЕНЬШИХ КВАДРАТОВ. Одно из предположений классической регрессионной модели гласит от том, что ошибки имеют одинаковую дисперсию и некоррелированны друг с другом. Это предположение во многих ситуациях нереалистично. При анализе временных рядов в очень редких ситуациях можно предполагать, что ошибки некоррелированны для разных периодов времени. Кроме того, в некоторых ситуациях возникает рассматриваем пространственная автокорреляция, если мы данные по регионам России (региональные данные) или анализируем поведение индивидуумов, связанных между собой, например, родственными или дружескими отношениями. Гетероскедастичность может возникнуть, например, если наши данные в некотором смысле неоднородны (исследуем зависимость расходов на питание у семей с различным уровнем доходов). Поэтому, естественно изучать модели без предположения выполнения таких условий Гаусса-Маркова. Рассмотрим модель Y = β 0 + β1 X 1 + ... + β k X k + ε или а матричной форме Y = Xβ + ε где M (ε i ) = 0 , V (ε) = Ω - матрица ковариаций ε: ⎛ M (ε12 ) M (ε1ε 2 ) ... M (ε1ε N ) ⎞ ⎟ ⎜ 2 M (ε 2 ) ... M (ε 2 ε N ) ⎟ ⎜ M (ε 2 ε1 ) Ω=⎜ ⎟ = M (εε' ) . ... ⎟ ⎜ ⎜ M (ε ε ) M (ε ε ) ... M (ε 2 ) ⎟ N 1 N 2 N ⎠ ⎝ Кроме того, матрица Ω предполагается положительно определенной, т. е. ∀x x' Ωx > 0 . В классической регрессионной модели матрица ковариаций имеет следующий вид: 101 Эконометрика Кисляк Н. В. ⎛ σ2 ⎜ ⎜ 0 Ω=⎜ ⎜ ⎜ 0 ⎝ σ2 ... 0⎞ ⎟ ... 0 ⎟ ⎟ ⎟ 2⎟ ... σ ⎠ ... В модели с гетероскедастичностью: ⎛ σ12 ⎜ ⎜ 0 Ω=⎜ ⎜ ⎜ 0 ⎝ σ 22 ... 0 ⎞ ⎟ ... 0 ⎟ ⎟ ⎟ 2 ⎟ ... σ N ⎠ ... В модели с автокорреляцией первого порядка ( ε t = ρε t −1 + ut ): ⎛ 1 ... ρ N −1 ⎞ ρ ⎟ ⎜ N −2 1 ... ρ ρ ⎟ ⎜ Ω = σ2 ⎜ ⎟ ... ⎟ ⎜ ⎟ ⎜ ρ N −1 ρ N −2 ... 1 ⎠ ⎝ Мы можем оценить обобщенную модель обычным методом наименьших квадратов. В этом случае, как мы помним, МНК-оценки останутся несмещенными, однако, МНК-оценки дисперсий оценок коэффициентов будут являться смещеными. Напомним, чтол МНК-оценка матрицы ковариаций ) вектора β выражается следующим образом: N ) ) V (β) = ∑e i =1 2 i ( X ' X ) −1 . N −k ) Оценка β Хотя останется состоятельной (без доказательства), она уже не будет оптимальной в смысле теоремы Гаусса-Маркова. МНК-оценки коэффициентов уже не будут эффективными, т. е. обладать наименьшей дисперсией из всех возможных линейных несмещенных оценок. Иными словами, мы можем придумать другую линейную несмещенную оценку, дисперсия которой будет меньше, чем дисперсия МНК-оценок. Такую оценку и строят при помощи обобщенного метода наименьших квадратов (ОМНК). Мы повышаем эффективность оценок за счет 102 Эконометрика Кисляк Н. В. дополнительной информации о матрице Ω (обычный метод наименьших квадратов эту информацию не учитывает). Попытаемся такую оценку построить. Задача оценивания может быть решена различными эквивалентными способами, из которых мы выбрали простейший. Поскольку матрица Ω положительно определена по условию, мы можем воспользоваться базовой теоремой алгебры матриц, которая гласит, что для любой положительно определенной матрицы Ω существует невырожденная матрица Н такая, что HΩH ' = I Перепишем равенство (3.2) следующим образом: Ω = H −1 ( H ' ) −1 Откуда Ω −1 = H ' H . Эта матрица Н нам понадобится в дальнейшем, для того, чтобы преобразовать нашу исходную модель: HY = HXβ + Hε или ~ ~ Y = Xβ + ~ε Теперь найдем матрицу ковариаций нового случайного члена: M (~ε ~ε ' ) = M ( Hεε' H ' ) = HM (εε' ) H ' = HΩH ' = I . Итак, матрица ковариаций преобразованной модели (3.3) удовлетворяет условиям Гаусса-Маркова. Поэтому, для оценки этой модели можно применять обычный метод наименьших квадратов: ) ~ ~ ~~ βОМНК = ( X ' X ) −1 XY эта оценка является несмещенной и эффективной, согласно теореме Гаусса-Маркова. В терминах начальной модели наша оценка по обобщенному методу наименьших квадратов будет выглядеть следующим образом: ) ~ ~ ~~ β ОМНК = ( X ' X ) −1 XY = (( HX )' HX ) −1 ( HX )' HY = ( X ' H ' HX ) −1 X ' H ' HY = = ( X ' Ω −1 X ) −1 X ' Ω −1Y 103 Эконометрика Кисляк Н. В. ) Матрица ковариаций вектора β ОМНК выражается следующим образом: ) V (β ОМНК ) = ( X ' Ω −1 X ) −1 линейных несмещенных оценок ) коэффициентов уравнения (3.1) оценка βОМНК = ( X ' Ω −1 X ) X ' Ω −1Y является Теорема Айткена. В классе эффективной, т. е. обладает наименьшей матрицей ковариаций (не совсем корректно говорить дисперсией). Как можно видеть из (3.4), результаты ОМНК прекрасно согласуются с результатами МНК: если Ω = σ 2 I , то МНК-оценка совпадает с ОМНКоценкой, таким образом, МНК – частный случай МНК для особого вида матрицы Ω . Однако, для построения ОМНК-оценки нам необходимо знать матрицу Ω. А ее мы никогда не знаем, поскольку не знаем ε. Поэтому матрицу Ω тоже надо оценить. Поскольку в этой матрице всего N ( N + 1) 2 элементов, то нет никакой надежды получить приемлемые (состоятельные) оценки, имея всего N наблюдений. Поэтому, для получения состоятельной оценки матрицы Ω приходится накладывать некоторые ограничения на ее структуру. Пусть V – состоятельная оценка матрицы Ω, тогда, подставляя ее в (3.5) и (3.6), осуществляя таким образом доступный обобщенный метод наименьших квадратов (feasible GLS), получаем оценки по доступному методу наименьших квадратов: ) β ДОМНК = ( X 'V −1 X ) X 'V −1Y ) V (β ДОМНК ) = ( X 'V −1 X ) −1 . Что со свойствами этих оценок – теряют свойства несмещенности, но остается состоятельность. Так что предпочесть – смещенность, но меньшую дисперсию или несмещенность, но неэффективность. Ответ, по-видимому, такой: на малых выборках ДОМНК оценки ведут себя непредсказуемым образом, поэтому в некоторых ситуациях лучше использовать МНК-оценки (в ) этом случае МНК-оценки матрицы ковариаций β по-прежнему плохая), на 104 Эконометрика Кисляк Н. В. больших же – ДОМНК (состоятельность, следовательно, смещение элиминируется с ростом выборки). Проверять гипотезы можно, непосредственно используя ) V (β ДОМНК ) = ( X 'V −1 X ) −1 , либо при помощи вспомогательной регрессии Для обобщенной регрессионной модели, в отличие от классической, уже нельзя использовать R2 в качестве удовлетворительной мерой качества подгонки. Он не обязательно лежит в интервале [0;1], а добавление иил удаление регрессоров не обязательно влечет за собой его увеличение или уменьшение. Так же нет смысла рассматривать коэффициент детерминации и для вспомогательной регрессии, поскольку 1) среди преобразованных регрессоров уже может и не быть константы; 2) в общем случае трудно установить связь между качеством подгонки вспомогательной регрессии и исходной модели. Прежде чем закончить разговор об ОМНК, рассмотрим преобразование матрицы Ω в (3.2), т. е. приведем матрицу Н для случая гетероскедастичности и автокорреляции первого порядка остатков. Для случая гетероскедастичности: ⎛ 1 ⎜ ⎜ σ1 ⎜ H =⎜ ⎜ ⎜ ⎜ 0 ⎜ ⎝ 1 σ2 ... ⎞ 0 ⎟ ⎟ ⎟ ... 0 ⎟ ⎟ ⎟ 1 ⎟ ... σ N ⎟⎠ ... Преобразование данных в соответствии с (3.3) эквивалентно взвешенному методу наименьших квадратов. Для случая автокорреляции первого порядка случайного члена: 105 Эконометрика Кисляк Н. В. ⎛1 − ρ 2 0 ⎜ 1 ⎜ −ρ ⎜ −ρ 1 ⎜ 0 H= 1 − ρ2 ⎜ ⎜ ⎜ 0 ⎜ 0 ⎝ 0 ... 0 0 ⎞ ⎟ 0 ... 0 0 ⎟ ⎟ 1 ... 0 0 ⎟ ⎟ ... ⎟ 0 ... 1 0 ⎟ 0 ... − ρ 1 ⎟⎠ 106 Эконометрика Кисляк Н. В. 14. Прогнозирование при помощи регрессионных моделей. Пусть имеется выборка (Yi , X 1i ,..., X ki ) , i = 1, N , на основании которой мы при помощи МНК построили ) ) ) ) Yi = β 0 + β1 X ii + ... + β k X ki . выборочное регрессионное уравнение Теперь по полученному уравнению мы можем построить прогнозные значения переменной Y для наблюдений, не входящих в выборку. ) Задача. Построить прогноз Y ( X 1N +1 ,..., X kN +1 ) . ) ) ) ) Y ( X 1N +1 ,..., X kN +1 ) = β 0 + β1 X iN +1 + ... + β k X kN +1 - точечный прогноз. ??? Прогноз чего Напомним, что линия регрессии описывает изменение математического ожидания Y при изменении X, т. е. Поведение условного математического ) ожидания M Y ( X ) = β 0 + β1 X i + ... + β k X k , поэтому Y ( X 1 ,..., X k ) будет являться прогнозным значением (оценкой) условного математического ожидания ) ) (среднего значения) Y для данных X: Y ( X 1N +1 ,..., X kN +1 ) = M Y ( X 1N +1 ,..., X kN +1 ) . ) Помимо точечного прогноза Y ( X 1N +1 ,..., X kN +1 ) условного математического ожидания Y, строят так же доверительные интервалы для: а) функции регрессии, т. е. УМО Y, б) индивидуальных значений переменной Y для данных Х, т.е. прогноз самого Y. Доверительный интервал – интервал, который с некоторой вероятностью (уровнем надежности) накрывает истинное значение исследуемого параметра: а) M Y ( X ) ; б) Y ( X ) . Проиллюстрируем построение доверительного интервала на парной модели, после чего приведем результат для общего случая. 107 Эконометрика Кисляк Н. В. ) а) для построения доверительного интервала нужна дисперсия Y ( X ) . Найдем ее: ) ) ) ) ) ) DY ( X ) = D ( α + β X ) = D (Y − βX + β X ) = D (Y + β( X − X )) = : Y 2 8 ε 9 5 6 X −X 4 X { ⎫) ⎬β ( X i − X ) ⎭ 7 3 X 1 X Рис 1. Графическая иллюстрация ) без доказательства Y и β( X − X ) независимы, тогда ) = DY + ( X − X ) 2 Dβ = X – неслучайная переменная, поэтому выносится из под знака дисперсии в квадрате ⎛ ∑ ε i ⎞⎟ = ο 2 ⎫ = D⎜ α + βX + N N ⎠ N ⎪⎪ ⎝ ⎬ - для случая гомоскедастичности, ) ο2 ⎪ Dβ = 2 ⎪⎭ ∑(X i − X ) DY = D ∑ Yi ο i2 ∑ = ⎫ ⎪ N ⎪ 2 2 ⎬ - для случая гетероскедастичности. ) ∑ οi ( X i − X ) ⎪ Dβ = 2 2 ⎪ (∑ ( X i − X ) ) ⎭ DY 2 108 Эконометрика Кисляк Н. В. Можно показать, что в условиях КМЛРМ можно показать, что статистика ) Y − MY ( X ) имеет распределение Стьюдента (t – распределение) с числом t= sY) степеней свободы N – 2. Тогда доверительный интервал для УМО M Y ( X ) с уровнем надежности γ будет рассчитываться по следующей формуле: ) ) (Y − sY) tкрдв (1 − γ , N − 2); Y + sY) tкрдв (1 − γ , N − 2)) 10 ДИ для Y* ДИ для ) Y 11 Рис. 2. Доверительные интервалы. Из приведенных формул видно, что ширина доверительного интервала зависит от значений объясняющей переменной X: чем ближе X к X , тем она меньше и минимальна для X = X . Таким образом, построение прогноза значений зависимой переменной оправдано, если значение объясняющей переменной X не выходит за диапазон значений по выборке. Причем прогноз тем более точный, чем ближе X к X . Для МЛРМ доверительный интервал для функции регрессии или для условного математического ожидания зависимой переменной M Y ( X ) в предположении, что объясняющие переменные приняли значения, задаваемые вектором X N +1 (1, X 1N +1 ,..., X kN +1 ) выглядит следующим образом: ) ) (Y − sY) tкрдв (1 − γ , N − k − 1); Y + sY) tкрдв (1 − γ , N − k − 1)) , 109 Эконометрика Кисляк Н. В. где sY2) = s 2 X N +1 ( X ' X ) −1 X ' N +1 - квадрат стандартной ошибки групповой средней ) Y. б) при построении доверительного интервала для индивидуальных значений Y YN* +1 необходимо учитывать еще один источник вариации переменной Y – рассеяние вокруг линии регрессии. В оценку суммарной дисперсии следует включить величину s 2 . Таким образом, оценка дисперсии индивидуальных значений Y будет рассчитываться по следующей формуле: ⎛ 1 ( X N +1 − X ) 2 ⎞ ⎟ s = s ⎜⎜1 + + 2 ⎟ N ( X X ) − ∑ i ⎠ ⎝ 2 Y* 2 а соответствующий доверительный интервал будет строиться по следующей формуле: ) ) (YN +1 − sY *tкрдв (1 − γ , N − 2); YN +1 + sY *tкрдв (1 − γ , N − 2)) Для МЛРМ: 110 Эконометрика Кисляк Н. В. 15. Временные ряды Ряд называется строго стационарным, если совместное распределение вероятностей Yt1 ,…, Yt m не зависит от сдвига по времени, т. е. совпадает с распределением вероятностей Yt1 + L ,…, Yt m + L для любых L, t1,…,tm. Обычно нас интересует не все распределение, а только дисперсии, средние значения и ковариации. Ряд называется слабо стационарным или просто стационарным, если средние, дисперсии и ковариации не зависят от времени t. Таким образом, для стационарного ряда MY (t ) = µ , DY (t ) = ν 0 , Cov (Y t ,Y t + L ) = ν L ACF (t , L) = ϕ( L) . Заметим, что из строгой стационарности следует слабая стационарность. Введем понятие автокорреялционной функции: ACF ( L) = Cov(Yt , Yt + L ) ν L = = ϕ L , L = 1, 2,… DYt ν0 Выборочная автокорреляционная функция временного ряда называется коррелограммой и определяется следующим образом: T ACF ( L) = ∑ (Yt − Y )(Yt + L − Y ) t = L +1 T ∑ (Yt − Y ) 2 L = 1, 2,… t =1 Автоковариационная функция − математическое ожидание произведений отклонений уровней ряда, сдвинутых на период L. Автокорреляционная функция тесноту связи между уровнями временного ряда. Кроме автокорреляционной функции рассматривают еще частную автокорреляционную функцию PACFY(L). Содержательно частная автокорреляционная функция представляет собой «чистую корреляцию между Yt и Yt+L при исключении влияний промежуточных значений Yt+1,…,Yt+L−1. Формула для ее записи достаточно сложна, поэтому здесь мы ее не приводим. Примеры временных рядов. 111 Эконометрика Кисляк Н. В. 1) «белый шум» – все уровни временного ряда распределены одинаково. ⎧1, L = 0; . Yt = ε t , где ε t ~ iid (0, σ 2 ) MYt = 0, DYt = σ 2 , ACF ( L) = ⎨ ⎩0, L > 0 2) авторегрессионный ряд первого порядка (AR(1)) Yt = α + ρYt −1 + ε t , ε t ~ iid (0, σ 2 ) и ρ < 1 . MYt = α + ρ MYt −1 = α + ρα + ρ 2 MYt −2 = α(1 + ρ + ρ 2 + ..) = α 1− ρ Таким образом, если ρ < 1 , средние не зависят от времени. σ2 - показать. DYt = 1− ρ ρ L σ2 - можно показать. Т. о. при ρ < 1 ряд стационарен. νL = 1 − ρ2 4) «случайное блуждание» Yt = Yt −1 + ε t , ε t ~ iid (0, σ 2 ) . Предыдущий случай, когда ρ = 1. Пример случайного блуждания (пленка). MYt = MYt −1 , DYt = DYt −1 + σ 2 , DY1 = σ 2 , таким образом, DYt = tσ 2 , т. е. дисперсия ряда неограниченно возрастает со временем. Ряд не является стационарным. Мнимая регрессия. Предположим, что мы с вами рассматриваем два временных ряда, являющихся «случайными блужданиями»: X t = X t −1 + εt , ε t ~ iid (0, σ 2 ) и Y t = Y t −1 + et , et ~ iid ( 0, σ2 ) . ε и е независимы. Следовательно, независимы X и Y. Однако, осуществляя регрессию Y на Х: Y = α + βX + u . Проверяя значимость регрессии и коэффициентов стандартными методами, при помощи коэффициента детерминации и t-статистик мы можем сделать ложный вывод о 112 Эконометрика Кисляк Н. В. наличии зависимости между переменными. Это происходит потому, что ряд, полученный из остатков регрессии, в общем случае будет являться нестационарным, следовательно, его дисперсия будет зависеть от номера наблюдения и неограниченно возрастать со временем, не будет удовлетворять классическим условиям регрессионной модели. Как было показано, в этом случае t-статистика расходится при T→∞, следовательно, чем больше выборка, тем больше шансов придти к ложному заключению. На практике признаками мнимой регрессии являются высокое значение коэффициента детерминации и низкое значение статистики Дарбина-Уотсона. Однако, в случае если мы делаем регрессию одного нестационарного ряда на другой, все может быть не так уж и плохо. Случай коинтеграции временных рядов рассмотрим ниже. Прогнозирование случайных блужданий Отличие рядов 2) и ряда 3) «случайное блуждание» в том, что в первом ряду влияние возмущений затухает со временем, во втором же ряду – нет. Иллюстрация 5) ряд с трендом, например, линейным. Yt = α + βt + ε t , ε t ~ iid (0, σ 2 ) . MYt = α + βt - ряд не является стационарным. 6) ряд с сезонной компонентой не является стационарным. Yt = S (t ) + ε t , где ε t - стационарный ряд с нулевым средним. В случае 4) и 5) методы моделирования стационарных временных рядов применяются к остаткам регрессии или к сглаженным уровням временного ряда, т. е. к уровням, очищенным от тренда, циклической и сезонной составляющей. Обнаружение нестационарности. 1. Визуальный анализ временного ряда. Возможно, временной ряд содержит видный на глаз временной тренд и сезонность (периодичную компоненту). Возможно, что разброс значений возрастает или убывает со временем. (признак «случайного блуждания»). Это может служить указанием 113 Эконометрика Кисляк Н. В. на зависимость среднего и , соответственно, дисперсии от времени. Во всех трех случаях ряд, скорее всего, не будет стационарным. 2. Построить график выборочной автокорреляционной функции или коррелограмму. Коррелограмма стационарного временного ряда быстро убывает со временем, быстро уходит почти в ноль после нескольких первых значений – «влияние предыдущих уровней затухает».Если график показывает, что ACF убывает медленно, с колебаниями, то ряд, скорее всего, будет нестационарным. Примеры графиков ACF для ряда с трендом, сезонностью, «случайного блуждания», стационарного временного ряда. (пленка) 3. Формальные тесты на стационарность. Формальные тесты на стационарность могут определить не только есть ли нестационарность, но и какой природы. Ряд является нестационарным потому что он содержит временной тренд или потому что ряд является случайным блужданием. сновной вопрос: экономические переменные, такие как ВВП, уровень занятости, ставка процента, возвращаются к тренду в случае шока или экономический шок перманентен, т. е. его эффект не исчезнет после нескольких лет, т. е. переменные являются случайнами блужданиями. Этот вопрос важен по двум причинам: 1) если эти переменные ведут себя как случайные блуждания, регрессия между ними может быть ложной, и исключение тренда проблемы не решит- ряд снова останется нестационарным. 2) Если такие переменные, как ВВП, являются случайными блужданиями, то эффект любого мгновенного шока, такого, как рост цен на нефть, обвал национальной валюты, никуда не денется после нескольких лет и будет перманентным. Итак, является ли ряд случайным блужданием или нет – вопрос экономической теории. Во многих работах было показано, что почти все макроэкономические переменные представляют из себя случайные блуждания или имеют в качестве 114 Эконометрика Кисляк Н. В. своей составляющей компоненту случайного блуждания. Львиная доля этих исследований использует тест Дикки-Фуллера на единичные корни. Yt = Yt −1 + ε t , ε t ~ iid (0, σ 2 ) - как по имеющимся наблюдениям определить, является ли ряд «случайным блужданием» или нет, еще говорят, есть ли у нас в уравнении единичный корень. Т. е. в модели Yt = α + ρ Yt −1 + ε t или Yt = ρYt −1 + ε t , или Yt = α + βt + ρYt −1 + ε t ρ = 1. Очень просто – ответите мне вы, осуществить регрессию Yt на Yt-1 и проверить при помощи t-статистики Стьюдента нулевую гипотезу о том, что ρ ) ρ −1 = 1, т. е. посчитать и сравнить полученное значение с критическим sρ) значением, найденным по таблицам распределения Стьюдента для выбранного уровня значимости с числом степеней свободы T-2 (T-1) и учитывая односторонность критерия. Однако, в случае, если ρ = 1, t-статистика уже не имеет распределение Стьюдента. Ее распределение описано Дики и Фуллером в 1976 году (Dickey & Fuller). Рассмотрим три регрессии: Yt = ρYt −1 + ε t - AR - модель (1) Yt = α + ρYt −1 + ε t - AR – модель с константой (2) Yt = α + βt + ρYt −1 + ε t - AR – модель с константой и трендом (3) H0: ρ = 1; Hа: ρ < 1. ) ρ −1 и смотрим в таблицу критических точек Составляем t-статистику sρ) распределения Дики-Фуллера. Например, для T=100. Таким образом, если мы будем применять стандартный t-тест, мы будем часто отвергать верную гипотезу о наличии единичного корня. Критические значения, указанные в таблице 1, остаются справедливыми, если в правые части регрессий (1)-(3) добавляются лагированные значения переменной Y, с величиной сдвига больше 1. Это позволяет проверять наличие 115 Эконометрика Кисляк Н. В. единичного корня в авторегрессионых моделях порядка больше первого. Такой тест называется аугментированным тестом Дики-Фуллера. Если порядок авторегрессионого процесса неизвестен, то рекомендуется включать в уравнение возможно большее число лагов, чтобы устранить возможную автокорреляцию ошибок. Дело в том, что в ADF тесте предполагается, что ошибки являются «белым шумом» и критические значения, указанные в Таблице 1. справедливы только при выполнении этого условия. Однако включение большого числа лагов снижает мощность критерия, так что тут главное не переборщить. Определить подходящее число лагов можно при помощи критериев выбора порядка ARMA моделей (см. ниже). Кроме этого, можно проверить статистическую значимость дополнительной лаговой переменной. Избавление от нестационарности: 1. Выделить тренд и сезонность, т. е. неслучайную составляющую временного ряда. Как это сделать – см. выше. 2. Если ряд представляет «случайное блуждание», то взятие последовательных разностей делает ряд стационарным. На практике порядок разностей, как правило, не больше двух. МОДЕЛИ СТАЦИОНАРНЫХ ВРЕМЕННЫХ РЯДОВ. (Модели Бокса-Дженкинса. Модели авторегрессии и скользящего среднего.) Yt = α + ρ1Yt −1 + ... + ρ pYt − p + εt − θ1ε1 − ... − θq εt − q , где ε t ~ iid (0, σ 2 ) - процесс авторегрессии порядка p и скользящего среднего порядка q – ARMA(p,q). p ∑ ρ τYt − τ - авторегрессионный член порядка p, τ =1 q ∑ θτ εt − τ - член скользящего среднего порядка q. τ =1 Рассмотрим примеры (везде предполагаем, что ряды стационарны). 116 Эконометрика Кисляк Н. В. I. Авторегрессионный процесс порядка p – AR(p). Yt = α + ρ1Yt −1 + ... + ρ pYt − p + ε t , где ε t ~ iid (0, σ 2 ) . Поскольку следовательно, ряд µ= стационарен, α . 1 − ρ1 − ... − ρ p Эта то MYt = MYt −1 = ... = MYt − p = µ , формула дает нам условие стационарности авторегрессионного ряда. Если ряд стационарный, то µ конечно, следовательно, ρ1 + ... + ρ p < 1 . Это условие необходимое, но не достаточное (не является достаточным для стационарности), поскольку есть и другие условия, которые мы должны наложить для того, чтобы ряд AR(p) был стационарным. Дисперсия и автокорреляционная функция расчитываются уже не так просто. Формула для расчета ACF рекуррентная, позволяющая по первым p элементам вычислить остальные. Частичная автокорреляционная функция процесса AR(p) имеет ненулевые значения лишь для первых p элементов. Для всех других элементов PACF равна нулю. Этот свойство частной автокорреляционной функции часто используется при подборе порядка p в модели авторегрессии для конкретных анализируемых временных рядов. Однако, следует иметь в виду, что этот результат верен для теоретической частной автокорреляционной функции и не обязательно выполняется для выборочной автокорреляционной функции. На практике поступают следующим образом: если, к примеру, рассчитанные на основании исходных данных все коэффициенты частной автокорреляции статистически незначимо отличаются от нуля, начиная с k, то порядок авторегрессии, подбираемой для анализируемого ряда, естественно определить числом p = k-1. а) Авторегрессионный процесс первого порядка – AR(1). С таким процессом мы уже сталкивались ранее неоднократно: Yt = α + ρ Yt −1 + ε t , ε t ~ iid (0, σ 2 ) , условие стационарности: ρ < 1 . MYt = α + ρMYt −1 = α + ρα + ρ 2 MYt −2 = α(1 + ρ + ρ 2 + ..) = α 1− ρ 117 Эконометрика Кисляк Н. В. σ2 - (было упражнение) показать. DYt = 1− ρ ρ L σ2 νL = - можно показать. Т. о. при ρ < 1 ряд стационарен. 1 − ρ2 ACF ( L) = Cov(Yt ,Yt + L ) ν L = = ϕ L = ρ L , L = 0, 1, 2,… ν0 DYt Коррелограмма (график автокорреляционной функции) простая – она начинается в 1 и убывает геометрически. Пример. Рассмотрим следующий процесс: Yt = 3 + 0 .75Yt −1 + ε t . На рисунке изображена коррелограмма этого ряда: 1,2 1 ACF(L) 0,8 0,6 0,4 0,2 5 10 15 L Рис. 1. Коррелограмма ряда Yt = 3 + 0 .75Yt −1 + ε t . Обратите внимание, что рассматриваемый процесс имеет бесконечную память. Текущее значение процесса зависит от всех его прошлых значений, хотя это влияние с течением времени ослабевает. Реализация рассматриваемого процесса приведена на рис. 2. 118 Эконометрика Кисляк Н. В. 14 13 12 11 10 Рис. 2. Типичная реализация процесса Yt = 3 + 0 .75Yt −1 + ε t µ = 12 для этого процесса. б) Авторегрессионный процесс второго порядка – AR(2). Yt = α + ρ1Yt −1 + ρ 2Yt − 2 + ε t , ε t ~ iid (0, σ 2 ) . Математическое ожидание (среднее процесса) есть µ= α . 1 − ρ1 − ρ 2 Необходимое условие стационарности: ρ1 + ρ 2 < 1 . Расчитаем дисперсию процесса и его ACF (в дальнейшем для простоты вычислений положим α = 0 , в этом случае µ = 0 ). Дисперсия процесса: DYt = ν 0 = Cov (Yt , Yt ) = Cov (Yt , ρ1Yt −1 + ρ 2Yt − 2 + ε t ) = ρ1ν1 + ρ 2 ν 2 + σ 2 ν L = Cov (Yt , Yt + L ) = Cov (Yt , ρ1Yt + L −1 + ρ 2Yt + L − 2 + ε t ) = ρ1ν L −1 + ρ 2 ν L − 2 . ACF ( L) = Cov (Yt , Yt + L ) ν L = = ϕ L = ρ1ϕ L −1 + ρ 2 ϕ L − 2 . ν0 DYt Рассмотрим ϕ1 и ϕ 2 . Получим выражение для них в явной форме: ⎧ϕ1 = ρ1 + ρ 2 ϕ 2 - система уравнений Юла-Уолкера для AR(2) процесса ⎨ ϕ = ρ ϕ + ρ ⎩ 2 1 1 2 (воспользовались тем, что ϕ1 = 1 ). Решая эту систему, найдем первые два значения автокорреляционной функции: ϕ 1 = ρ1 1 − ρ2 ρ12 и ϕ2 = + ρ2 . 1 − ρ2 Тогда, подставляя полученные формулы в выражение для дисперсии процесса, (1 − ρ 2 )σ 2 получим, что ν 0 = ρ1ν1 + ρ 2 ν 2 + σ = . Отсюда, учитывая (1 + ρ 2 )((1 − ρ 2 ) 2 − ρ12 ) 2 тот факт, что дисперсия должна быть положительна, получаем еще 119 Эконометрика Кисляк Н. В. необходимые условия стационарности временного ряда, подчиняющегося процессу AR(2): | ρ 2 |< 1 , ρ 2 − ρ1 < 1 и ρ1 + ρ 2 < 1 . С последним условием мы уже сталкивались. Можно показать, что в случае выполнения условий стационарности, ACF процесса убывает экспоненциально, в случае, если корни уравнения 1 − ρ1 L − ρ 2 L2 = 0 , называемого еще характеристическим уравнением процесса, действительны, и убывает синусоидально, если корни комплексные. Примеры. 1) Yt = 2.5 + 0.9Yt −1 − 0.7Yt − 2 + ε t , ε t ~ iid (0, σ 2 ) . Необходимые условия стационарности выполнены. Корни характеристического уравнения комплексные ( 0.81 − 4 * 0.7 < 0 ). 1,2 1 0,8 0,6 0,4 0,2 -0,2 0 -0,4 -0,6 -0,8 5 10 15 20 Рис. 3. Коррелограмма ряда Yt = 2.5 + 0.9Yt −1 − 0.7Yt − 2 + ε t . Процесс снова имеет бесконечную память. µ = 3.125 6 5 4 3 2 1 Рис. 4. Типичная реализация процесса Yt = 2.5 + 0.9Yt −1 − 0.7Yt − 2 + ε t 2) Y t = 2.5 + 0.2Y t −1 + 0.7Y t −2 + ε t 120 Эконометрика Кисляк Н. В. Корни характеристического уравнения этого процесса действительные (проверить) 1,2 1 0,8 0,6 0,4 0,2 5 10 15 20 Рис. 5. Коррелограмма ряда Y t = 2.5 + 0.2Y t −1 + 0.7Y t −2 + ε t . µ = 25 26 25 24 23 22 21 20 Рис. 6. Типичная реализация процесса Y t = 2.5 + 0.2Y t −1 + 0.7Y t −2 + ε t II. Процесс скользящего среднего порядка q. Y t = α + εt − θ1εt −1 − ... − θq ε t −q ε t ~ iid (0, σ 2 ) - MA(q). Нетрудно видеть, что процесс MA(q) всегда стационарен (для любого q и θ τ ). Математическое ожидание процесса MYt = α . Дисперсия процесса: DYt = ν0 = M (Yt − α) 2 = M ( εt − θ1ε1 − ... − θq εt − q ) 2 = σ2 (1 + θ12 + ... + θ2q ) Дисперсия стационарного процесса должна быть конечной. Так у нас вроде все нормально, скажете вы. Однако мы можем рассмотреть модель с конечным числом членов скользящего среднего как аппроксимацию более общей модели. Большинство случайных процессов, которые возникают на практике, требуют бесконечной последовательности скользящих средних в 121 Эконометрика Кисляк Н. В. правой части, следовательно, и бесконечного числа весов θ τ . Итак, если ряд MA(∞) является стационарным, дисперсия конечна, следовательно, ∞ ∑ θ2τ < ∞ . τ =1 Если ряд сходится, то члены ряда стремятся к 0 с ростом τ, таким образом, θ2τ становятся все меньше и меньше с ростом τ. Теперь посчитаем ковариацию: ν L = Cov (Yt − µ, Yt + L − µ ) = 0 , если L > q. ⎧1, L = 0; ⎪ ACF ( L) = ⎨... ⎪0, L > q. ⎩ Частная автокорреляционная функция процесса MA(q) аналогично автокорреляционной функции для AR(p) процесса экспоненциально убывает. Таким образом, имеет место некая симметрия – пара графиков PACF и ACF для процесса AR(p) имеет тот же вид, что и пара графиков ACF и PACF для MA(p) – процесса. Примеры процессов скользящего среднего. а) процесс скользящего среднего порядка 1 – МА(1). Y t = α + ε t − θε t −1 ε t ~ iid (0, σ 2 ) . Этот процесс имеет среднюю µ = α и дисперсию ν 0 = σ2 (1 + θ2 ) . Вычислим ковариацию между двумя соседними уровнями временного ряда, подчиняющегося этому процессу: ν1 = M [(Y t − µ )(Y t −1 − µ )] = M [(ε t − θε t −1 )( ε t −1 − θε t −2 )] = −θσ 2 . ν 2 = M [(Y t − µ )(Y t −2 − µ )] = M [(ε t − θε t −1 )( ε t −2 − θε t −3 )] = 0 ν3 = 0 … Таким образом, процесс МА(1) имеет конечную память в один период. В общем случае ограниченная память процесса скользящего среднего имеет большое значение. Мы можем прогнозировать процесс скользящего среднего только на ограниченное число уровней вперед. 122 Эконометрика Кисляк Н. В. Определим автокорреляционную функцию процесса МА(1): ⎧1, L = 0; ⎪ −θ ⎪ ϕL = ⎨ , L = 1; 2 1 + θ ⎪ ⎪⎩0, L ≥ 2 Рассмотрим пример процесса скользящего среднего порядка 1: Y t = 2 + ε t + 0.8ε t −1 Типичная реализация процесса приведена на рис. 7, автокорреляционная функция – на рис. 8. 5 4 3 2 1 -1 -2 Рис 7. Типичная реализация процесса Y t = 2 + ε t + 0.8ε t −1 0,6 0,5 0,4 0,3 0,2 0,1 2 4 6 8 10 12 14 Рис 8. Автокорреляционная функция процесса Y t = 2 + ε t + 0.8ε t −1 b) Процесс скользящего среднего порядка 2 (MA(2)): Y t = α + ε t − θ1ε t −1 + θ2 ε t −2 ε t ~ iid (0, σ 2 ) . Этот процесс имеет среднюю µ = α и дисперсию ν 0 = σ 2 (1 + θ12 + θ22 ) . 123 Эконометрика Кисляк Н. В. Вычислим ковариацию между двумя соседними уровнями временного ряда, подчиняющегося этому процессу: ν1 = M [(Y t − µ )(Y t −1 − µ )] = M [(ε t − θ1ε t −1 − θ2 ε t −2 )( ε t −1 − θ1ε t −2 − θ2 ε t −3 )] = = −θ1 (1 − θ2 )σ2 . ν 2 = M [(Y t − µ )(Y t −2 − µ )] = M [(ε t − θ1ε t −1 − θ2 ε t −2 )( ε t −2 − θ1ε t −3 − θ2 ε t −4 )] = = −θ2 σ 2 ν3 = 0 Автокорреляционная функция: ⎧1, L = 0; ⎪ ⎪ − θ1 (1 − θ2 ) , L = 1; ⎪⎪ 1 + θ12 + θ22 ϕL = ⎨ ⎪ − θ2 , L = 2; ⎪1 + θ2 + θ2 1 2 ⎪ ⎪⎩0, L ≥ 3 Процесс МА(2) имеет память в два периода. Рассмотрим пример процесса скользящего среднего порядка 2: Y t = 2 + ε t + 0.6ε t −1 − 0.3ε t −2 . Среднее процесса µ = 2 . Типичная реализация процесса приведена на рис. 9., автокорреляционная функция – на рис. 10. 4,5 4 3,5 3 2,5 2 1,5 1 0,5 Рис. 9. Типичная реализация процесса Y t = 2 + ε t + 0.6ε t −1 − 0.3ε t −2 124 Эконометрика Кисляк Н. В. 1,2 1 0,8 0,6 0,4 0,2 -0,2 0 -0,4 5 10 15 Рис.10. Автокорреляционная функция процесса Y t = 2 + ε t + 0.6ε t −1 − 0.3ε t −2 Упражнение. Показать, что процесс скользящего среднего имеет память в q периодов и его автокорреляционная функция выражается следующим образом: ⎧1, L = 0; ⎪ ⎪ − θ L + θ1 θ L +1 + ... + θ q −L θ q , L = 1,..., q; ϕL = ⎨ 2 2 1 ... + θ + + θ 1 q ⎪ ⎪0, L ≥ q ⎩ III. Процесс авторегрессии порядка p и скользящего среднего порядка q – ARMA(p,q). Множество стационарных процессов нам не удаться смоделировать при помощи чисто как авторегрессионный процесс или как процесс скользящего среднего, поскольку обладают качествами обоих процессов. Рассмотрим следующий процесс: Yt = α + ρ1Yt −1 + ... + ρ pYt − p + εt − θ1ε1 − ... − θq εt − q , где ε t ~ iid (0, σ 2 ) . Поскольку следовательно, ряд µ= стационарен, α . 1 − ρ1 − ... − ρ p Эта то MYt = MYt −1 = ... = MYt − p = µ , формула дает нам условие 125 Эконометрика Кисляк Н. В. стационарности авторегрессионного ряда. Если ряд стационарный, то µ конечно, следовательно, ρ1 + ... + ρ p < 1 . Дисперсия и ковариация снова рассчитываются при помощи рекурсивных формул. а) рассмотрим простейший процесс – процесс авторегрессии и скользящего среднего порядка 1 – ARMA(1,1). Yt = α + ρ Yt −1 + ε t − θε1 , где ε t ~ iid (0, σ 2 ) . Математическое ожидание процесса: MYt = µ = α 1−ρ условие стационарности: ρ < 1 . Дисперсия процесса (для простоты положим α = 0 ): DYt = ν 0 = M (YtYt ) = M (Yt (ρ Yt −1 + ε t − θε1 )) = M (ρ Yt −1 + ε t − θε1 ) 2 = = ρ 2 ν 0 − 2ρθ M (Yt −1ε t −1 ) + σ 2 + θ2 σ 2 . Учитывая тот факт, что M (Yt −1εt −1 ) = σ 2 (показать), получаем для ρ < 1 : ν0 = 1 + θ2 − 2θρ 2 σ . 1 − ρ2 Ковариация рассчитывается рекурсивно: ν1 = M (YtYt −1 ) = M (Yt −1 (ρ Yt −1 + ε t − θε1 )) = ρν 0 − θσ 2 = = (1 − ρθ )(ρ − θ) 2 σ 1 − ρ2 ν 2 = M (Yt −1Yt − 2 ) = M (Yt − 2 (ρ Yt − 2 + ε t −1 − θε t − 2 ) = ρν 1 . Подобным образом ν k = ρν k −1 . Автокорреляционная функция процесса: ϕ1 = ν1 (1 − ρθ )(ρ − θ) = . ν0 1 + θ2 − 2θρ И для L ≥ 2 получаем: φ L = ρφ L −1 . Таким образом, автокорреляционная функция процесса авторегрессии и скользящего среднего начинается в ϕ1 , значение которого является функцией ρ 126 Эконометрика Кисляк Н. В. и θ, и затем убывает геометрически. ACF процесса ARMA(1,1) ведет себя точно так же, как ACF процесса AR(1). Хотя выражение для ϕ1 другое, соотношение между последующими уровнями то же самое. Этот вывод можно обобщить и на случай ARMA(p,q) - процессов. Первые q значений ACF определяются взаимодействием AR и MA компонент, а дальнейшее ее поведение такое же, как и в AR(p) процессе (поскольку процесс скользящего среднего порядка q имеет память только на q периодов). Аналогичный вывод справедлив и для частной автокорреляционной функции АR(p,q). Она убывает подобно PACF процесса MA(q). 1) Рассмотрим процесс Y t = 2 + 0 .8Y t −1 + ε t − 0 .9 ε t −1 , ε t ~ iid (0, σ 2 ) µ = 10 5 10 15 -0,005 -0,01 -0,015 -0,02 Рис 11. Автокорреляционная функция процесса Y t = 2 + 0 .8Y t −1 + ε t − 0 .9 ε t −1 . Рис. 12. Частная автокорреляционная функция процесса. 12 11,5 11 10,5 10 9,5 9 8,5 8 Рис 13. Типичная реализация процесса Y t = 2 + 0 .8Y t −1 + ε t − 0 .9 ε t −1 2) Рассмотрим процесс Yt = 2 − 0.8Yt −1 + ε t + 0.9ε t −1 , ε t ~ iid (0, σ 2 ) 127 Эконометрика Кисляк Н. В. µ = 1.111 0,02 0,015 0,01 0,005 -0,005 0 -0,01 5 10 15 -0,015 -0,02 Рис 14. Автокорреляционная функция процесса Yt = 2 − 0.8Yt −1 + ε t + 0.9ε t −1 . Рис 15. Частная автокорреляционная функция процесса Yt = 2 − 0.8Yt −1 + ε t + 0.9ε t −1 . 3 2,5 2 1,5 1 0,5 -0,5 Рис 16. Типичная реализация процесса Yt = 2 − 0.8Yt −1 + ε t + 0.9ε t −1 . Для смешанных процессов авторегрессии и скользящего среднего более высоких порядков дисперсия, ковариация и автокорреляционная функция являются решениями разностных уравнений и не могут быть выражены в явном виде (имеется в виду просто). Однако, можно показать, что ν k = ρ1ν k −1 + ... + ρ p ν k − p для k ≥ q + 1 , и , таким образом, ϕ k = ρ1ϕ k −1 + ... + ρ p ϕ k − p для k ≥ q + 1. Заметим, что q – память авторегрессионного процесса, так что автокорреляционная функция (и ковариация) смешанного процесса проявляют себя так же, как 128 Эконометрика Кисляк Н. В. автокорреляционная функция (и ковариация) чисто авторегрессионного процесса того же порядка. МОДЕЛИ НЕСТАЦИОНАРНЫХ ГОМОДЕНИЧНЫХ ВРЕМЕННЫХ РЯДОВ (ARIMA(p,d,q) – процессы). На практике большинство рядов, с которыми сталкивается исследователь, являются нестационарными, так что характеристики ряда меняются с течением времени. Нестационарный ряд называется гомоденичным, если его можно свести к стационарному, взяв последовательные разности некоторого порядка. Если ряд, составленный из конечных разностей порядка d нестационарного временного ряда Yt, является стационарным, то говорят, что ряд Yt является интегрируемым порядка d и обозначают Yt ~ I ( d ) . Пусть ряд является интегрируемым порядка d. Обозначим Wt = ∆d Yt , где ∆ обозначает взятие последовательных разностей, т. е. ∆Yt = Yt − Yt −1 , ∆2Yt = ∆Yt − ∆Yt −1 . Ряд Wt является стационарным временным рядом. Зная ряд Wt, мы можем получить исходный ряд Yt, суммируя ряд Wt d раз. Мы обозначим Yt = Σ d Wt , где Σ - оператор суммирования ΣWt = t ∑Wτ , Σ2Wt = τ = −∞ t j ∑ ∑Wτ , j = −∞ τ = −∞ тогда Yt = Y0 + W1 + ... + Wt , Если Yt был дифференцирован дважды, то мы можем вычислить Yt из Wt , суммируя Wt дважды. Упражнение. Если ряд интегрируем порядка 2, получить явное выражение Yt из Wt. После того, как мы из нестационарного ряда путем интегрирования его d раз (на практике d не больше двух) получили стационарный ряд Wt, мы можем моделировать ряд Wt как ARMA(p,q). Если ряд Yt интегрируем порядка d, т. е. Wt = ∆d Yt , а Wt – авторегрессионный процесс скользящего среднего, порядок авторегрессии p и скользящего среднего q (ARMA(p,q)), то говорят, что Yt 129 Эконометрика Кисляк Н. В. является интегрированным процессом авторегрессии и скользящего среднего порядка (p,d,q) или просто ARIMA(p,d,q). ∆d Yt = α + ρ1∆d Yt −1 + ... + ρ p ∆d Yt − p + εt − θ1ε1 − ... − θq εt − q Заметим, что в этом случае µW = α и если α ≠ 0, то ряд Yt 1 − ρ1 − ... − ρ p содержит детерминистический тренд 130 Эконометрика Кисляк Н. В. Анализ гомоденичных временных рядов состоит из следующих шагов: I. Спецификация ARIMA-моделей. II. Оценивание модели. III. Проверка адекватности модели. IV. Прогнозирование на основе построенной модели. Рассмотрим каждый шаг более подробно. I. СПЕЦИФИКАЦИЯ ARIMA – МОДЕЛЕЙ. Как мы видели, многие нестационарные временные ряды моделируются как ARIMA-процессы. Проблемой является выбор для данного временного ряда подходящих порядков интегрирования, авторегрессии и скользящего среднего, т. е. выбор d, p и q. Выбор подходящих порядков модели называется спецификацией ARIMA – процесса. Эта проблема частично решаеися визуальным анализом автокорреляционной и частной автокорреляционной функцией временного ряда.. Для данного ряда Yt первой проблемой является выбор d – порядка интегрирования. Для того, чтобы определить d, используются методы, описанные нами ранее: визуальный анализ ряда, анализ автокорреляционной функции ряда, формальные тесты на стационарность (аугментирорванный тест Дики-Фуллера) – тесты на единичные корни. Для начала берем временной ряд, если он нестауионарный, применяем к нему операцию взятия последовательной разности и смотрим на получившийся ряд. Если он стационарный, то ОК – порядок интегрирования d равен 1 и переходим к следующему пункту, если нет, то интегрируем ряд еще раз и т. д. Таким образом, мы определяем порядок интегрирования d. на практике d редко бывает больше двух. После определения d мы получаем стационарный временной ряд Wt = ∆d Yt и анализируем его автокорреляционную функцию и частную 131 Эконометрика Кисляк Н. В. автокорреляционную функцию для того, чтобы определить подходящие значения p и q. Для процессов невысокого порядка это не так трудно сделать, поскольку автокорерляционные функции и частные автокорреляционные функции процессов AR(1), AR(2), MA(1), MA(2) и ARMA(1,1) легко опознать. Однако, если ряд Wt не может быть смоделирован ARMA – процессом низких порядков, спецификация p и q становится более сложной и требует более пристального изучения автокорреляционной функции и частной автокорреляционной функции. Например, пики в автокорреляционной функции являются индикаторами члена скользящего среднего, частная автокорреляционная функция может быть использована для определения порядка авторегрессионной части ряда. На этом этапе мы можем сформулировать несколько гипотез относительно возможных значениях порядков p и q. Как мы увидим позднее, существует ряд методов, при помощи которых можно проверить правильность предположения о значениях порядков – проверка адекватности модели. Первый шаг на этом этапе – построить автокорреляционную функцию остатков ARMA(p,q) – модели и посмотреть, похожи ли остатки на «белый шум», если нет, то надо выбрать для ряда новую спецификацию. Остановимся на этом более подробно ниже. II. ОЦЕНИВАНИЕ МОДЕЛИ. Предположим, что мы остановились на какой-то спецификации имеющегося временного ряда, т. е. выбрали значения p, d, q для ARIMA(p,d,q)модели: ∆dY t = α + ρ1∆dY t −1 + ... + ρ p ∆dY t − p + ε t − θ1ε1 − ... − θ q ε t −q , где ε t ~ iid (0, σ 2 ) . Теперь наша задача состоит в оценке p параметров авторегрессионной части ряда ρ1 ,…, ρ p , q параметров части скользящего среднего θ1 ,…, θ q и свободного члена α. В современные пакеты встроены различные методы оценивания ARIMA – моделей, такие как линейный или нелинейный МНК. 132 Эконометрика Кисляк Н. В. полный или условный метод максимального правдоподобия. Останавливаться подробно на этих методах мы не будем. После того, как оценили модель, необходимо провести этап III. ПРОВЕРКА АДЕКВАТНОСТИ МОДЕЛИ. Этот этап осуществляется для того, чтобы проверить правильность предположений относительно параметров модели. Процедура диагностики модели обычно состоит из трех шагов. 1) Оценки коэффициентов модели должны достоверно отличатся от нуля. 2) Сравниваем автокорреляционные функции для ряда, полученного симуляцией, т. е. временного ряда, сгенерированного моделью, с выборочной автокорреляционной функцией анализируемого ряда. Если эти автокорреляционные функции сильно отличаются, мы должны выбрать другую спецификацию для нашего ряда. Если же автокорреляционные функции отличаются не очень сильно, необходимо провести анализ остатков. 3) Поскольку мы с вами ожидаем, что остатки et представляют ошибки, которые по условию должны быть некоррелированны, мы можем проверить на автокорреляцию ряд, составленный из остатков. Если они коррелируют, мы должны выбрать другую спецификацию, т. е. выбрать другие значения для p, q и d. После того, как мы оценили новую модель, снова проверяем остатки. После того, как анализ остатков нас удовлетворил, мы можем использовать выбранную модель для прогнозирования. Обозначим автокорреляционную функцию остатков следующим образом: rL = ∑ et et −L t ∑ et2 t Если модель правильно специфицирована, то остатки являются «белым шумом» и для больших величин смещения L (для моделей невысокого порядка L ≥ 5 ) автокорреляция остатков rL имеет нормальное распределение со средним 133 Эконометрика Кисляк Н. В. 0 и дисперсией 1 T . Поэтому, для того, чтобы проверить нулевую гипотезу о том, что коэффициент корреляции между уровнями ряда остатков равен нулю, нам надо посмотреть, лежит ли rL внутри интервала 0 ± uкр T , если нет, то мы с заданной вероятностью можем отвергнуть нулевую гипотезу. Кроме этого теста на практике для того, чтобы убедится в том, что остатки некоррелируют друг с другом, используют еще ряд тестов: 1. Рассмотрим статистику Q, которая вычисляется следующим K образом: Q = T ∑ ri2 - Q-статистика Бокса-Пирса. Эта статистика представляет i =1 собой сумму К независимых нормально распределенных случайных величин со средними 0 и дисперсиями 1 T , поэтому Q распределена примерно (приближенно) как «хи-квадрат» с числом степеней свободы K – p - q. Мы сказали «приближенно», потому что первые несколько членов будут иметь дисперсию несколько меньше, чем 1 T и могут коррелировать между собой. Для того, чтобы принять решение о справедливости нулевой гипотезы, значение Q-статистики сравнивают с критическим значением распределения «хи-квадрат» с числом степеней свободы K – p – q для выбранного уровня значимости. Пример. Пусть для данного временного ряда мы выбрали спецификацию ARMA(1,1), оценили модель, посчитали Q-статистику и получили, что Q=33,5 для K=20. По таблице критических значений распределения «хи-квадрат» с числом степеней свободы 18 мы нашли χ 2кр (0.05;18) = 28.9 . Таким образом, Qстатистика слишком велика и мы не принимаем для нашего ряда модель ARMA(1,1), поскольку вероятность того, что ошибки не являются «белым шумом», как миинмум 95%. Иногда рассматривают еще модификацию Q-статистики Бокса-Пирса – тест Льюнга-Бокса. Его распределение ближе к «хи-квадрат» на конечных выборках. 134 Эконометрика Кисляк Н. В. Если же мы с вами находимся в ситуации, когда несколько ARMA моделей оказываются адекватными исходному временному ряду, можно дать несколько рекомендаций: 1. Выбрать наиболее простую модель. 2. Выбрать модель, наилучшую с точки зрения прогноза – см. ниже. 3. Провести дополнительные тесты. В компьютерные пакеты среди результатов оценивания приводится информационный критерий Акаике (Akaike): ⎛ T 2⎞ ⎜ ∑ et ⎟ p+q AIC = + ln⎜ t =1 ⎟ . ⎜ T ⎟ T ⎜ ⎟ ⎝ ⎠ Критерий Акаике является попыткой свести в один показатель два требования: уменьшение параметров модели и улучшение качества подгонки модели. Из двух моделей выбирают ту, для которой значение AIC является меньшим. В пакете Eviews приводится также значение критерия Шварца (Schwarz), отличие которого от информационного критерия Акаике состоит в большем штрафе за количество параметров: ⎛ T 2⎞ ⎜ ∑ et ⎟ ( p + q) ln T + ln⎜ t =1 ⎟ ⎜ T ⎟ T ⎟ ⎜ ⎝ ⎠ 135 Эконометрика Кисляк Н. В. 16. СИСТЕМЫ ОДНОВРЕМЕННЫХ УРАВНЕНИЙ. Цель любого эконометрического исследования – изучение связей между экономическими переменными вне зависимости оттого, что является конечной целью прикладного исследования: прогноз или управление. До сих пор мы рассматривали модели и методы, предназначенные для анализа ситуации, описываемой одним автономным уравнением. Теперь же интересующие нас зависимости будут описываться целой системой взаимосвязанных соотношений. В связи с этим возникает ряд новых вопросов, связанных с правильной идентификацией системы. Кроме того, мы должны выяснить, можно ли использовать методы, которые мы рассматривали при изучении автономных уравнений, последовательно к каждому уравнению системы. Или же нам необходимы специальные методы для оценивания одновременно всех уравнений системы. В нашей лекции мы ограничимся рассмотрением систем одновременных уравнений (СОУ) (simultaneous equations), которые наиболее часто возникают в экономической практике – есть еще, например, системы внешне не связанных уравнений. Простейший и наиболее общий пример СОУ, который мы с вами тоже будем рассматривать для иллюстрации методов и моделей – уравнение спроса и предложения на рынке какого-нибудь товара: уравнение предложения: QtS = α1 + α 2 Pt + α 3 Pt −1 + ε t ; уравнение спроса: QtD = β1 + β 2 Pt + β 3Yt + ut ; условие равновесия на рынке: QtS = QtD , где P – цена на товар, Y – доход, Q – количество товара. Для иллюстрации того факта, что обычный МНК, примененный к каждому отдельному уравнению системы приводит к смещенности и несостоятельности оценок, мы будем использовать несколько более простую модель. 136 Эконометрика Кисляк Н. В. Для начала нам надо ввести ряд новых терминов вместо зависимых и независимых переменных, поскольку в СОУ одна и та же переменная может находиться как в правой части одного уравнения (быть объясняющей), так и в левой части другого уравнения (быть объясняемой). Рассмотрим следующую модель, которая содержит функцию спроса тождество, определяющее доход: Ct = α + β Yt + ε t Yt = Ct + Z t где C – потребительские расходы, Y – доход, Z – непотребительские расходы. Конечно, это простейшая модель. Ее можно расширить, добавив, например, лаговые значения переменной Y, другие переменные. Случайный член в первом уравнении удовлетворяет условиям гомоскедастичности и отсутствия автокорреляции ошибок. Как мы видим, СОУ могут содержать как уравнения (содержат параметры, подлежащие оценке и случайную составляющую) и тождества. Почему же мы не можем применить в лоб МНК для оценки параметров уравнения (1). Вспомним теорему ГауссаМаркова. Одно из условий – отсутствие корреляции объясняющей переменной, т. е. той переменной, которая стоит в правой части уравнения, со случайным членом. Что мы имеем в нашем случае? Подставим из уравнения (1) выражение для Ct в уравнение (2): Ct = α + β Yt + ε t Yt = Ct + Z t , получим Yt = α + β Yt + ε t + Z t или Yt = 1 1 α + Zt + εt 1− β 1− β 1− β если объем непотребительских расходов (что это такое) возрастает на 1, то доход увеличивается на 1 (1 − β) . Таким образом, величина Yt включает в себя случайную составляющую εt, следовательно, Yt в уравнении (1.1) коррелированна с εt автоматически. Чем это плохо? В этом случае, оценки коэффициентов уравнения (1.1), построенные 137 Эконометрика Кисляк Н. В. при помощи обычного МНК, становятся смещенными и несостоятельными, т. е. смещение не элиминируется с ростом выборки. В общем случае мы даже ничего не можем сказать про направление смещения. Кроме того, рассчитанные стандартные ошибки будут некорректными, т. е. мы не сможем проверять различные гипотезы. Проблема смещения, порождаемая СОУ, может быть разрешена путем замены ОМНК на другой метод оценивания. Об этом поговорим немного позже. Теперь несколько определений. Переменные в СОУ делятся на эндогенные и предопределенные. Предопределенные переменные отличаются от экзогенных тем, что предопределенные переменные некоррелированы с остаточным членом. В случае отсутствия автокорреляции ошибок, в качестве предопределенных переменных выступают лагированные значения эндогенных переменных (объяснение) и экзогенные переменные. В нашем примере C и Y – эндогенные переменные, Z – экзогенная переменная. Рассмотрим другой пример: Ct = α + β Yt + ε t Yt = Ct + Z t Предположим теперь, что на непотребительские расходы влияют, скажем, последние изменения в уровне дохода и величина процентной ставки r. Включим в модель третье уравнение: Z t = γ (Yt −1 − Yt −2 ) + δrt + ut Теперь у нас переменные C, Y и Z эндогенные, r – экзогенная, кроме того, третье уравнение содержит лаговые значения эндогенных переменных, которые вместе с единственной экзогенной переменной являются предопределенными. Таким образом, значения эндогенных переменных, как особенно четко мы увидим позднее, определяются в результате одновременного воздействия образующих модель соотношений Значение же экзогенных переменных считаются заданными извне, нашей системой они не определяются, в модели ничего не говорится о том, как образуются значения этих переменных. 138 Эконометрика Кисляк Н. В. Уравнения, составляющие исходную модель, называются структурными уравнениями модели. Как мы видели, структурные уравнения могут быть двух типов: поведенческие – описывают эмпирические взаимодействия между переменными, и уравнения-тождества. Вторые не содержат каких-либо подлежащих оценке параметров и не включают остаточный член. Структурные уравнения могут содержать эндогенные переменные как в правой, так и в левой части. Вернемся к нашему исходному примеру. Уравнения (1) и (2) – структурные уравнения модели. Путем несложных преобразований мы получили уравнение для Yt, которое содержало в правой части лишь предопределенные переменные и случайный член. Аналогичное уравнение можно получить и для Ct: Ct = α β 1 + Zt + εt 1− β 1− β 1− β Такие уравнения называются уравнениями в приведенной форме. В правой части таких уравнений могут быть и лаговые значения эндогенных переменных. Упражнение. Составить приведенные уравнения для примера с процентной ставкой. Остаточный член в приведенных уравнениях по-прежнему удовлетворяет условию Гаусса-Маркова. Следовательно, мы можем применять ОМНК к приведенным уравнениям – косвенный метод наименьших квадратов (КМНК). Рассмотрим приведенное уравнение для Yt: Yt = α 1 1 + Zt + εt 1− β 1− β 1− β Переобозначим: Yt = α′ + β′Z t + ut где α′ = ε α 1 , β′ = , ut = t . 1− β 1− β 1−β 139 Эконометрика Кисляк Н. В. Оценивая (1.4) при помощи ОМНК, мы получим оценки a’ и b’, которые будут являться несмещенными оценками для α’ и β’. Возвращаясь к исходному уравнению, получим оценки для параметров α и β: a′ = a 1 , b′ = . 1− b 1− b Получили два уравнения для двух неизвестных. a= a′ 1 , b= 1 + b′ 1 + b′ Поскольку мы можем получить единственное выражение для a и b через оценки a’ и b’, уравнения называются однозначно определенными (идентифицируемыми). К сожалению, так бывает не всегда: 1) нельзя получить единственные значения коэффициентов структурного уравнения. В этом случае уравнение называют неопределенным – неидентифицируемым; 2) Нельзя получит никакого решения – в случае переопределенного (сверхидентифицируемого) уравнения. Неидентифицируемость. Модель 1. Рассмотрим модель, состоящую из двух поведенческих уравнений. Допустим, что предложение товара на душу населения и спрос на него задаются следующими уравнениями: Q D = α + β P + γX + u D - уравнение спроса, Q S = δ + εP + u S - уравнение предложения. Здесь P – цена товара, X – доход на душу населения. Переменная Х экзогенная, а P и Q – эндогенные, их значения определяются в процессе установления рыночного равновесия. Когда рынок находится в равновесии QD = QS = Q. Выразив P и Q через Х и остаточные члены (проделать самостоятельно), получим уравнения в приведенной форме: 140 Эконометрика Кисляк Н. В. P= u − uS α −β γ , + X+ D ε−β ε−β ε−β Q= εu − β u S αε − βδ γε + X+ D ε−β ε−β ε−β Перепишем уравнения в приведенном виде как следующее: P = α′ + β′X + v P Y = γ ′ + δ′X + v P , где α′ = α−δ γε γ αε − βδ , γ′ = , β′ = , , δ′ = ε−β ε−β ε−β ε−β vP = uD − uS εu − β u S , vD = D . ε−β ε−β Применим для оценки коэффициентов получившейся системы КМНК: ) P = a′ + b′X ) Y = c′ + d ′X . Получили четыре уравнения для пяти неизвестных: a′ = c a−d ae − bd ce , c′ = , d′ = , b′ = . e−b e−b e−b e−b Однако здесь мы можем достичь некоторых результатов: 1. мы можем получить оценку e из второго и четвертого соотношений: d′ ce c / = =e b′ e − b e − b 2. первое и третье соотношение дают нам оценку d: c′ − ea ′ = ae − bd a−d −e =d e−b e−b Итак, в ходе рассмотрения этой СОУ, при помощи КМНК мы смогли оценить уравнение предложения. Для получения оценок параметров структурного уравнения спроса у нас осталось два уравнения на три переменные. Следовательно, уравнение спроса остается неопределенным. Вообще-то мы могли придать произвольное значение одному из параметров, например, с. Однако, это привело бы к наличию бесконечного числа кривых спроса, удовлетворяющих нашим данным. Модель 2. Рассмотрим другую модель. 141 Эконометрика Кисляк Н. В. QtS = α + β Pt + utS - уравнение предложения; QtD = γ + δPt + utD - уравнение спроса; QtS = QtD - условие равновесия на рынке. или с подстановками, учитывая равновесие: Qt = α + β Pt + utS Qt = γ + δPt + utD . Приведенная форма уравнений: αδ − βγ δutS − βutD Qt = + δ−ε δ−ε α − γ utS − utD Pt = + δ−ε δ−ε P S2 S1 E D2 D1 Q Рис. 1. Модель спроса-предложения Проинтерпретируем уравнение графически на графике кривых спроса и предложения. В каждый момент времени t мы наблюдаем только равновесные значения P и Q. Пусть Е – истинная точка равновесия спроса и предложения на рынке рассматриваемого товара. Эта точка является точкой пересечения истинных кривых спроса и предложения, которых мы не знаем – является точным решением соответствующей системы уравнений. То, что точки (Pt, Qt) не совпадают с точкой Е, объясняется наличием случайных членов (шума) в обоих уравнениях. Если бы их не было, то в каждый момент времени t 142 Эконометрика Кисляк Н. В. наблюдаемое равновесие совпало бы с Е. Тем не менее, наблюдаемые точки равновесия близки к Е. Итак, чтобы оценить уравнения спроса и предложения, у нас есть информация только о точках равновесия в каждый момент времени. Понятно, что этой информации явно недостаточно для оценки кривых. Оценка отдельно кривых спроса и предложения возможна только из-за наличия в обоих уравнениях случайного члена. КМНК: Модель, которую мы рассматриваем, является примером модели, в которой оба уравнения неидентифицируемы. Любая пара кривых спроса и предложения, пересекающихся в точке Е, подойдут на роль «истинных» кривых спроса и предложения. При помощи КМНК мы получим две оценки для четырех параметров - ? Что же касается первой из рассмотренных моделей (Модель 1), ее тоже можно проиллюстрировать графически. P S D (X=X3) D (X=X2) D (X=X1) Q Рис. 2. Кривая спроса идентифицируема. В этом случае мы по-прежнему в каждый момент времени на рынке наблюдается равновесие и Pt и Qt – равновесные значения цены на товар и количество товара. Но теперь мы наблюдаем и значение дохода в момент времени t – Xt. Поэтому мы не можем изобразить одну кривую спроса. Если значение дохода варьируется во времени, то кривая спроса так же будет перемещаться по плоскости со временем. Кривая предложения у нас попрежнему одна (Экономический смысл такой ситуации спросить у студентов). • 143 Эконометрика Кисляк Н. В. - наблюдаемые точки равновесия для различных уровней дохода. Точки равновесия расположены вдоль кривой предложения, что позволит нам ее оценить именно за счет движения равновесия P и Q. Изменение дохода от одного момента времени к другому существенно необходимо для идентификации уравнения предложения, т. е. условие γ ≠ 0 существенно. Выполнение же ограничения γ = 0 будет препятствовать идентификации уравнения предложения. Сверхидентифицируемость. Модель 3. Опять рассмотрим равновесную модель спроса-предложения на рынке определенного товара. Только теперь добавим в уравнение предложения еще одну переменную, любую по смыслу. уравнение предложения: Qt = α + βPt + utS уравнение спроса: Qt = γ + δPt + εX t + ρWt + utS . В этом уравнении у нас по-прежнему две эндогенные переменные, а предопределенных переменных теперь две – X и W. В этом случае кривая спроса перемещается как результат вариации двух переменных. Уравнение предложения переопределено. Наличие двух экзогенных переменных, которые не присутствуют в уравнении предложения, влечет за собой наличие, по крайней мере, двух способов получения оценок структурных параметров уравнения предложения. Причем уравнение спроса по-прежнему неопределенно. Уравнение в приведенной форме для нашей модели: utD − utS γ−α ε ρ Pt = Xt + Wt + + β−δ β−δ β−δ β−δ Qt = β−δ + β−δ Xt + β−δ Wt + β−δ Перепишем уравнение следующим образом: 144 Эконометрика Кисляк Н. В. Pt = α′ + β′X t + γ ′Wt + vtP Qt = δ′ + ε′X t + φ′Wt + vtQ . Оценим это уравнение. Получим a’, b’, c’, d’, e’, f’. Всего 6 соотношений ′ для 5 переменных. Как можно видеть, e′ ′ и f ′ дают оценку β. Они могут b c совпасть только случайным образом. Мы получили две разные оценки для одного параметра. Аналогичная ситуация и для α. Уравнение предложения переопределено. На оценку же уравнения спроса у нас осталось два соотношения на четыре переменные. Уравнение спроса по-прежнему неопределенно. Можно предложить модель равновесия спроса-предложения, в которой оба уравнения идентифицируемы. Например, следующую (Модель 4): уравнение предложения: QtS = α + βPt + γTt + utS уравнение спроса: QtD = δ + εPt + φX t + utD QtS = QtD , где Tt – температура воздуха. Упражнение. Придумать экономическую интерпретацию модели. Убедиться в ее идентифицируемости через приведенные уравнения и через геометрическую интерпретацию. Из всего вышеизложенного возникает следующее желание. Нам хотелось бы иметь некоторый критерий идентифицируемости уравнения. Вообще-то, если наша цель – прогнозирование, то мы можем ограничиться рассмотрением приведенных уравнений, не заботясь об идентификации, но если наша цель – именно идентификация модели, то такой критерий необходим. Одно из условий идентификации может быть выражено следующим образом. Если уравнение в СОУ идентифицируемо, то число предопределенных переменных, не присутствующих в уравнении, должно быть не меньше (больше или равно) числу входящих в уравнение эндогенных переменных минус 1. В это число 145 Эконометрика Кисляк Н. В. входят как левосторонние, так и правосторонние эндогенные переменные. Это условие необходимое, но не достаточное. Можно привести пример модели, в которой уравнение удовлетворяет условию идентификации, но на самом деле уравнение неидентифицируемо. Тем не менее, необходимое и достаточное условие идентифицируемости уравнения существует, однако, его изложение требует сложного аппарата из теории матриц. Методы оценивания систем одновременных уравнений. 1. Стандартный метод оценивания уравнений со случайным членом, коррелирующим с регрессорами – метод инструментальных переменных (МИП). Проблема в случае, когда регрессор коррелирует с остаточным членом следующая. Рассмотрим стандартную парную линейную модель: Yi = α + β X i + ε i (1.5), где X и ε коррелированны. В этом случае: N ∑ X iYi ) β МНК = i =1 N N ∑ X i2 i =1 N − XY = Cov ( X , Y ) Cov ( X , α + β X + ε) Cov ( X , ε) = =β+ . )2 )2 ) σX σX σ 2X − X2 Возьмем математическое ожидание обеих частей, получим, что оценка ) β МНК будет смещена. Что со состоятельностью? В этом случае Cov( X , ε) не будет стремиться к нулю по вероятности даже в больших выборках, поскольку Cov( X , ε) является состоятельной оценкой теоретической ковариации м/у X и ε, а она не равна нулю из-за того, что X и ε коррелируют. Таким образом, МНК-оценка β смещена и несостоятельна, т. е. Смещение не элиминируется с ростом выборки. Направление смещения зависит от характера зависимости между X и ε. В этой ситуации, как было сказано выше, на помощь приходит метод инструментальных переменных. Он может принести пользу не только в случае 146 Эконометрика Кисляк Н. В. СОУ, но и во многих других случаях, это достаточно мощный метод решения некоторых возникающих проблем, так что мы уделим ему некоторое время. Суть метода – частичная замена непригодной объясняющей переменной той переменной, которая некоррелированна со случайным членом. Для иллюстрации вернемся к модели (1.5). Пусть нам удалось найти переменную Z, которая коррелирует с Х, но некоррелирует с ε. Тогда оценка β по методу ИП определяется следующим образом: N ∑ Z iYi ) β ИП = i =1 N N ∑ X i Zi i =1 N − ZY = Cov ( Z , Y ) Cov ( Z , α + β X + ε) Cov ( Z , ε) . = =β+ Cov ( Z , X ) Cov ( Z , X ) Cov ( Z , X ) − XZ Когда эта оценка состоятельна: ) 0 ⎧0, если p lim Cov ( Z , X ) ≠ 0, p lim Cov ( Z , ε) =β+ =⎨ p lim β ИП = β + ? ⎩?, если p lim Cov( Z , X ) = 0. p lim Cov ( Z , X ) ) Для того чтобы оценка β ИП была состоятельной, необходимо, чтобы p lim Cov( Z , X ) ≠ 0 , т. е. необходимо наличие «сильной» корреляции между переменными X и Z. Трудность, возникающая при применении данного метода – отыскание переменных, пригодных к роли инструментов для Х. Они должны быть сильно коррелированны с Х и совсем некоррелированны с ε. К счастью, для некоторых случаев разработаны приемы, которые позволяют добиться успеха. Вернемся к СОУ. В этом случае сама структура модели подсказывает нам, что в качестве предопределенные инструментальных переменные. Они переменных коррелируют с можно взять эндогенными переменными, поскольку являются частью модели. Тот факт, что они являются предопределенными, гарантирует (по определению) их некоррелированность со случайным членом. Рассмотрим Модель 1: 147 Эконометрика Кисляк Н. В. Qt = α + β Pt + γX t + utD - уравнение спроса, Qt = δ + εPt + utS - уравнение предложения. (Рыночное равновесие) В этой модели одна предопределенная переменная – Х. Ее мы и возьмем в качестве инструментальной для Р в уравнении предложения. Получим состоятельные оценки коэффициентов уравнения предложения. Что же касается уравнения спроса, то мы не можем взять в качестве инструментальной для Р ту же переменную Х, поскольку эта переменная уже присутствует в правой части уравнения. Использование Х в качестве инструментальной приведет к совершенной мультиколлинеарности. Поэтому уравнение спроса останется неидентифицируемым. Рассмотрим Модель 4. В этой модели у нас две предопределенные переменные – X и T. Переменную Х мы можем использовать в качестве инструментальной для Р в уравнении спроса, а переменную T – в уравнении предложения. Получим состоятельные оценки коэффициентов обоих уравнений. Рассмотрим модель 3. В этой модели у нас тоже две предопределенные переменные – X и Z. Обе они фигурируют в уравнении спроса, поэтому мы не можем использовать ни одну из них в качестве инструментальной для Р в этом уравнении. Оно по-прежнему остается неопределенным. Зато в качестве инструмента для Р в уравнении предложения мы можем использовать как X, так и Z. В обоих случаях получим состоятельные оценки α и β. Какую из них выбрать? Вопрос студентам. Можно, конечно посчитать коэффициент корреляции между Р и Х и между Р и Z и выбрать ту, значение которого для нее больше. Я бы взяла линейную комбинацию этих переменных. Построение такой инструментальной переменной – суть двухшагового метода наименьших квадратов, который мы рассмотрим ниже. Итак, метод инструментальных переменных может нам помочь в случае идентифицируемых и сверхидентифицируемых уравнений. В случае сверхидентифицируемых уравнений возникает проблема выбора инструмента. 148 Эконометрика Кисляк Н. В. 2. КМНК – проблема идентифицируемости. Если интересует прогноз значений эндогенных переменных, то можно применять. Упражнение. Показать, что в случае идентифицируемого уравнения КМНКоценки совпадут с оценками по методу инструментальных переменных. Из упражнения следует, что КМНК-оценки для идентифицируемых уравнений, хотя в общем случае могут быть смещены ( M ( X M (X ) ), но состоятельны. )≠ Y M (Y ) 3. Двухшаговый метод наименьших квадратов (ДМНК). ДМНК представляет собой очень полезную процедуру оценивания структурных уравнений модели. Рассмотрим Модель 3. В этой модели уравнение предложения переопределено. В МИП у нас возникла проблема выбора инструмента для Р в уравнении предложения из двух подходящих переменных. Этой проблемы не возникает при использовании ДМНК. Идея метода – вместо раздельного использования подходящих для инструмента переменных построить их линейную комбинацию таким образом, чтобы максимизировать значение коэффициента корреляции между этим новым инструментом и заменяемой переменной (в нашем случае это Р). Обозначим такую комбинацию Z: Z = θ 0 + θ1 X + θ 2W . Эта задача не так сложна, как кажется на первый взгляд. Наиболее разумным здесь является взять в качестве такого инструмента прогнозные значения Р в регрессии Р на X и W, т е. P = θ 0 + θ1 X + θ 2W + u и ) ) ) ) ) Pi = θ 0 + θ1 X i + θ 2Wi . Беря в качестве инструмента P , мы, таким образом, удовлетворим комбинацию. обоим Строя требованиям, регрессию Р накладываемым на на переменные, имеющиеся желательную мы максимизируем R2, тем самым максимизируя коэффициент корреляции между ) Р и P , что нам и нужно. Итак, ДМНК состоит из следующих двух шагов: 1. Построение инструмента для эндогенной переменной. Для этого нам надо осуществить регрессию по методу наименьших квадратов этой переменной на все предопределенные переменные в модели и вычислить 149 Эконометрика Кисляк Н. В. прогнозные значения для этой переменной. По построению новый инструмент и случайные члены исходной модели не будут коррелировать (строго говоря, это справедливо лишь для достаточно больших выборок, так что здесь мы можем завести разговор о состоятельности ДМНК). Таким образом, на первом шаге мы построили новую переменную, которая линейно связана со всеми предопределенными переменными и очищена от корреляции с ошибками во всех уравнениях структурной модели. 2. Эндогенная переменная в структурном уравнении заменяется инструментальной переменной, полученной на первом шаге. Вычисляются оценки коэффициентов структурного уравнения по обычному методу наименьших квадратов. Эти оценки состоятельны. ДМНК справляется проблемой переопределенности. В случае же идентифицируемости оценки по ДМНК совпадают с оценками КМНК и МИП. Упражнение. Показать это для Модели 3. Что же в случае неидентифицируемости происходит с ДМНК. Вспомним модель 1. Если мы попытаемся осуществить регрессию Р на Х, при подстановке прогнозных значений Р в уравнение спроса получим полную мультиколлинеарность. Эта проблема делает невозможным дальнейшие вычисления. Кроме рассмотренных методов, существуют и другие методы оценивания СОУ: трехшаговый метод наименьших квадратов, предложенный Зельнером и Тейлом. Этот метод предназначен для оценивания всех уравнений модели и в определенных обстоятельствах может оказаться асимптотически эффективнее двухшагового метода. Метод требует трудоемких вычислений и реже других применяется для оценки систем одновременных уравнений. Кроме этого, ранее мы рассматривали модели с ошибкой, удовлетворяющей условиям ГауссаМаркова. В случае присутствия автокорреляции в ошибках, лаговые переменные уже не будут предопределенными. Автокорреляция достаточно часто присутствует во временных рядах. При этом ни МНК, ни ДМНК не будут состоятельными. Для такого случая (лаговая эндогенная переменная + 150 Эконометрика Кисляк Н. В. автокорреляция) предложена альтернативная процедура получения состоятельных оценок. В нашем курсе мы их рассматривать не будем. 2. СИСТЕМЫ ВНЕШНЕ НЕ СВЯЗАННЫХ УРАВНЕНИЙ. (seemingly unrelated model – SUR). Рассмотрим следующий пример. Пусть исследуется зависимость между расходами на некоторые товары (Y) и доходами домашних хозяйств (Х) или между В общем случае мы имеем систему из m уравнений: Y1 = β 01 + β11 X 11 + ... + β1k1 X 1k1 + ε1 ... Ym = β 0 m + β m1 X m1 + ... + β mkm X mkm + ε m Модель записана в векторной форме, т. е. Yi, Xij и εi состоящие из N компонент. Ошибка в каждом есть вектора, уравнении системы удовлетворяет условиям Гаусса-Маркова, однако, ошибки разных уравнений коррелируют между собой следующим образом: ⎧σ ij , t = s; M (ε is ε jt ) = ⎨ ⎩0, t ≠ s. Если данные имеют структуру временных рядов, то говорят, что ошибки, относящиеся к разным индивидуумам коррелируют в один и тот же момент времени и не коррелируют для разных моментов времени. Это предположение может и не соответствовать действительности. Например, я пошла сегодня в магазин и приобрела там очень хорошие босоножки. Моя подруга, узнав об этом, на следующий день пошла и купила такие же. Наши ошибки для разных моментов времени уже будут коррелировать. 151 Эконометрика Кисляк Н. В. Если случайные члены этих двух уравнений не коррелируют друг с другом, то мы можем получить эффективные оценки, используя МНК для каждого уравнения по отдельности, используя N наблюдений для каждой регрессии. Однако, если мы предположим коррелированность ошибок, то мы можем получить более эффективные оценки, рассматривая эти уравнения как систему или одно уравнение с Nm наблюдениями и k1+…+km регрессорами и используя для оценивания обобщенный метод наименьших квадратов. Рассмотрим структуру матрицы ковариаций ошибок. Она имеет следующую структуру: ... σ1N σ12 ⎛ σ11 ⎜ ... ... ... ⎜ ⎜ σ12 σ11 σ1N ⎜ ... σ 2 N σ 22 ⎜ σ 21 ⎜ ... ... ... ⎜ ⎜ σ 21 σ 22 σ 2N Ω=⎜ . . . . ⎜ ⎜ σ N1 ... σ NN σN2 ⎜ ... ... ... ⎜ ⎜ σ N1 σN2 σ NN ⎜ ⎜ ⎜ ⎝ ⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ Оценка по обобщенному методу наименьших квадратов записывается следующим образом: β ОМНК = ( X ′Ω −1 X ) −1 X ′Ω −1Y . В общем случае эта оценка не будет совпадать с оценками, полученными по методу наименьших квадратов для каждого уравнения в отдельности. Они совпадают, если: 1) уравнения действительно не связаны друг с другом, т. е. σ ij =0, i ≠j; 2) все уравнения имеют один и тот же набор объясняющих переменных. Эффективность этой оценки по сравнению с МНК-оценками тем выше, чем сильнее корреляция между ошибками. Оценку матрицы Ω можно получить следующим образом. Применяем обычный МНК к каждому уравнению, получая векторы остатков е для каждого 152 Эконометрика Кисляк Н. В. N уравнения. В качестве оценки σ ij берем величину ∑ eik e jk k =1 N . Можно показать, что эти оценки являются состоятельными. 153 Эконометрика Кисляк Н. В. 17. Литература. 1. Магнус Я.Р., Катышев К.К., Пересецкий А.А. Эконометрика. Начальный курс. Дело. 2005. 2. Доугерти К. Введение в эконометрику. Пер. с анг. М.:ИНФРА_М, 1997. 3. Бородич С. А. Эконометрика. Минск, Новое знание, 2001. 4. Джонстон Дж. Эконометрические методы. М., Статистика, 1980. 5. Елисеева И. И. Эконометрика. М., Финансы и статистика, 2001. 6. Елисеева И. И, Практикум по эконометрике. М., Финансы и статистика, 2001 7. Кремер Н. Ш., Путко Б. А. Эконометрика. М. ЮНИТИ, 2002 8. Э. Берндт. Практика эконометрики: классика и современность. М. ЮНИТИ, 2005 9. R.S. Pindyck & D.L. Rubinfeld, Econometric Models and Economic Forecasts, 3rd edition, McGraw Hill, 1991. 10. W.H.Greene, Econometric Analysis, 3rd edition, Prentice Hall, 1997. 11. J.Johnston, J.DiNardo, Econometrics Methods, 4th edition, McGraw-Hill, 1997. 154