Модели с ограниченными зависимыми переменными

Эконометрика Лекция 18: Модели с ограниченными зависимыми переменными Лозинская Агата Максимовна Департамент экономики и финансов 1 План лекции 18 • Модели с ограниченными зависимыми переменными 1) Модели бинарного выбора • • • Линейная модель вероятностей, логит-модель и пробитмодель Предельные эффекты Качество «подгонки» данных моделью 2) Модели множественного выбора • • Модели с упорядоченным откликом (порядковая пробит- и логит-модель) Модели с неупорядоченным откликом 2 3) Тобит-модели • • Стандартная тобит-модель Обобщения тобит-модели • Спецификационные тесты (для ММП) 3 ? y непрерывная СВ y дискретная СВ 4 y непрерывная СВ МНК y дискретная СВ МНК (?) ММП 5 Модели с ограниченными зависимыми переменными Ограниченная зависимая переменная (y) – множество ее значений ограничено некоторым промежутком Бинарная переменная (e.g. employed/not employed) Модели бинарного выбора Порядковая переменная (e.g. full time job/part time job/unemployed) или номинальная Модели множественного выбора Переменные с неотрицательными значениями (e.g. wages, prices, interest rates) Цензурированная переменная unemployment durations) (e.g. Счетная/целочисленная переменная (e.g. the number of arrests in a year) Тобит-модели (пр., цензурированная регрессия) Целочисленная регрессия (пр., регрессия Пуассона) 6 Модели бинарного выбора Выбор из двух альтернатив (бинарный выбор): – решение отдать голос/не отдать за партию – решение работать/не работать – решение покупать/не покупать товар – решение возвращать/не возвращать кредит (дефолт) – и др. 1 yi   ( pi ) 0 i  1, n 1. Линейная вероятностная модель (МНК) 2. Логит-модель Параметры оцениваются с помощью метода максимального правдоподобия 3. Пробит-модель (ММП) 7 Линейная вероятностная модель Линейная модель вероятностей, Linear Probability Model (LPM) 1 yi   ( pi )  Y  X   i  1, n E ( )  0 Например, влияние времени, затраченного на подготовку к экзамену xi, на вероятность сдачи экзамена yi 1, студент сдал экзамен, yi   0, студент не сдал экзамен. Обычный МНК: • yˆi  pˆ i  P( yi  1 | xi )  ˆ0  ˆ1 xi  0.3  0.1xi Каждый дополнительный час, потраченный на подготовку, в среднем увеличивает вероятность сдачи экзамена на 0.1=10%. xi  20, pˆ i  ? pˆ i ( xi  20)  0.3  0.1 20  1.7  170% 8 Источник: фонд им. Гайдара, Ф.Каратаев Недостатки линейной вероятностной модели: • Прогнозные значения вероятности могут лежать вне отрезка [0;1] • Случайные ошибки не распределены нормально случайная ошибка в каждом наблюдении принимает только два значения:   Y  X с вероятностью P( yi  1)  1  X i   с вероятностью 1  P( yi  1)  X • Гетероскедастичность случайных ошибок (дисперсия ошибок зависит от X) V ( i )  X (1  X ) • Предположение о том, что вероятность наступления события зависит линейно от фактора может быть нереалистичным При предположении о линейной зависимости вероятности сдачи экзамена от времени подготовки, каждый доп. час подготовки к экзамену увеличивает вероятность сдачи экзамен на одну и ту же величину  это нереалистично pˆ i ( xi  1000)  0.3  0.11000  99.7  9970%(?) 9 Логит-модель Предположим, что pi  P( yi  1)  F ( zi ), zi  0  1 xi F () - некоторая функция, область значений которой лежит в отрезке [0; 1] 1 F ( z)  1  e z функция логистического распределения pi  P( yi  1 | xi )  F ( zi )  1 1  e ( 0  1xi ) pˆ i  pˆ i ( xi  15)  1 1 e ( 9  0.515) 1 1  e ( 90.5 xi )  0.18  18% модель не линейна по параметрам МНК  ММП Вероятность сдать экзамен для студента, потратившего на подготовку 15 часов, равна 0.18=18%. Примечания: Z – линейная функция переменных, определяющих искомую вероятность, F(Z) – функция распределения 10 На сколько изменится вероятность наступления события при изменении x на 1 ед.?  Поскольку модель не линейна по параметрам , то для интерпретации x рассчитывается предельный эффект: ˆ ˆ pˆ e  (  0  1x ) ˆ   1 2 x 1  e ( ˆ0  ˆ1x )   pˆ e  ( 90.515) ( x0  15)  0.5  0.07  7% 2  ( 9  . 5  15 ) x 1 e   Для студента, который уже готовился к экзамену 15 ч., один дополнительный час подготовки увеличивает вероятность сдать экзамен на 7%. 11 Пробит-модель Предположим, что P( y  1)  F (Z )  F (0  1 x1  ...   k xk )  F ( X ) F () - некоторая функция, область значений которой лежит в отрезке [0; 1] F ( z )  Ф( z )  1 2 z e  u2 2 dz  функция стандартного нормального распределения  модель не линейна по параметрам МНК  ММП Примечания: Z – линейная функция переменных, определяющих искомую вероятность, F(Z) – функция распределения 12 Frey, B. S., Savage, D. A., & Torgler, B. (2009). Surviving the Titanic disaster: economic, natural and social determinants.  1, survive yi   0, not survive i  1, n Abstract: The sinking of the Titanic in April 1912 took the lives of 68 percent of the people aboard. Who survived? It was women and children who had a higher probability of being saved, not men. Likewise, people traveling in first class had a better chance of survival than those in second and third class. British passengers were more likely to perish than members of other nations. This extreme event represents a rare case of a well-documented life and death situation where social norms were enforced. This paper shows that economic analysis can account for human behavior in such situations. 13 14 1. Целесообразно использовать линейную модель вероятностей (оценивается обычным МНК): – – – как инструмент первичной обработки данных для сравнения с результатами, получаемыми более тонкими методами при большом числе наблюдений при достаточно точной спецификации модели (линейная зависимость вероятности наступления события от фактора) 2. Для оценивания логит- и пробит-моделей используется ММП – – – – 3. Для выборок с небольшим разбросом объясняющих переменных и при отсутствии существенного преобладания одной альтернативы над другой качественные выводы, получаемые с помощью логит- и пробит-модели, как правило, совпадают Применение функции логистического распределения во многом объясняется простотой численной реализации процедуры оценивания параметров Для значений z достаточно близких по модулю к 0 (например, z[-1.2;1.2]) функции Ф(z) и (z) ведут себя примерно одинаково Хвосты логистического распределения значительно «тяжелее» хвостов нормального распределения Для интерпретации  в логит- и пробит-моделях рассчитывается предельный эффект каждого объясняющего фактора 15 Предельные эффекты P( yi  1)  F ( X ) P( yi  1)  F ( X  )   p( X  )  X X  ( x1 ,..., xk ) P( yi  1)  f ( X )  j x j При изменении xj на 1 ед., на сколько изменится вероятность наступления события. Предельный эффект каждого объясняющего фактора xj, j=1,…,k является переменным и зависит от значения всех остальных факторов. 16 • Средние предельные эффекты (APE, average partial effects) n  APE j   f ( x ˆ )ˆ i 1 i j n The partial effect of explanatory variable xj is computed for each individual in the sample and then averaged across all sample members (makes more sense) • Предельные эффекты в точке среднего значения (PEA, partial effects at the average)  PEA j  f ( Xˆ ) ˆ j The partial effect of explanatory variable xj is considered for an „average individual“ (this is problematic in the case of explanatory variables such as gender) См. Wooldridge, Ch. 17 17 Одна из возможных интерпретаций модели бинарного выбора P( yi  1)  F ( xi ) * y Предположим, что существует некоторая количественная переменная i связанная с независимыми переменными – латентная (скрытая, ненаблюдаемая переменная), т.е. разность полезностей от альтернативы 1 yi  1 и 0 yi  0 . yi*  xi   i yi  1, если yi*  0, yi  0, если yi*  0.  xi     P( yi  1)  P( y  0)  P( xi    i  0)  P( i   xi  )  P( i  xi  )  F      * i * Например, yi – Уровень накоплений семьи при решении ехать/не ехать в отпуск – Уровень кредитоспособности заемщика при решении кредитной организации выдавать/не выдавать кредит 18 Качество «подгонки» данных моделью Goodness-of-fit Часто меры качества подгонки данных моделью основаны на сравнении с моделью, которая в качестве объясняющей переменной содержит только const («наивная» модель) (L0) 1) Псевдо R2 1 псевдо  R 2  1  1 2(ln L  ln L0 ) n 2) R2 Макфаддена (McFadden, 1974) Макфаддена R 2  1  ln L ln L0 Псевдо R2 и R2 Макфаддена не являются объясненной долей дисперсии! Чем лучше модель, тем ближе lnL 0 (т.к. L[0;1], lnL(-;0]) 3) Число корректно и некорректно предсказанных исходов Прогнозное значение ŷ ~ p(порог классификации)  0,5 Истинное значение y 1 1 TP FN TP+FN FP TN FP+TN TP+FP FN+TN n TP – True Positives (истинно положительные случаи) TN – True Negatives (истинно отрицательные случаи) FN – False Negatives (ложно отрицательные случаи, ошибка II рода) FP – False Positives (ложно положительные случаи, ошибка I рода) Чувствительность модели – доля истинно положительных случаев Se  TP TP  FN Специфичность модели – доля истинно отрицательных случаев Sp  TN TN  FP 20 Ошибки I и II рода Счетный R2 - доля верно классифицированных (сравнивается c «наивной» моделью) count R 2  наблюдений TP  TN n ROC кривая AUC (Area under ROC curve, площадь под ROC кривой) p * оптимальный порог 21 AUC Прогностическая ценность 0.5 Случайный классификатор 0.5-0.7 Низкое качество модели 0.8 Среднее качество модели 0.8-0.9 Хорошее качество модели >0.9 Отличное качество модели (но странно) 22 5) Информационные критерии (IC) Чем меньше IC, тем лучше качество модели – Информационный критерий Акаике AIC  2 ln L  2m (в EViews AIC   – 2 ln L 2m  ) n n Информационный критерий Шварца SC, BIC  2 ln L  ln nm IC1-IC2 0-2 Нет разницы в моделях 2-6 Слабая разница в моделях 6-10 Есть разница в моделях >10 Предпочесть лучше модель, где ниже IC 23 Модели с ограниченными зависимыми переменными Ограниченная зависимая переменная (y) – множество ее значений ограничено некоторым промежутком Бинарная переменная (e.g. employed/not employed) Модели бинарного выбора Порядковая переменная (e.g. full time job/part time job/unemployed) или номинальная Модели множественного выбора Переменные с неотрицательными значениями (e.g. wages, prices, interest rates) Цензурированная переменная unemployment durations) (e.g. Счетная/целочисленная переменная (e.g. the number of arrests in a year) Тобит-модели (пр., цензурированная регрессия) Целочисленная регрессия (пр., регрессия Пуассона) 24 Модели множественного выбора Модели с множественным откликом Выбор из нескольких альтернатив (m>2) (множественный выбор): – выбор между полным рабочим днем/неполным рабочим днем/отсутствием работы – выбор вложения капитала в Европу, Азию или США – и др. 1  yi  ... m  i  1, n P( yi  1)  P( yi  2)  ...  P( yi  m)  1 25 Модели множественного выбора 1) Модели с упорядоченным множественным откликом/выбором – Порядковая пробит-модель – Порядковая логит-модель 2) Модели с неупорядоченным множественным откликом/выбром (мультиномиальные модели) – Мультиномиальная логит-модель 26 Модели с упорядоченным откликом/выбором Применяются, если существует логическое упорядочивание альтернатив (ранжированный выбор) yi ранговая (порядковая, ординальная) переменная – доход семьи (низкий, средний, высокий, очень высокий) – уровень образования (незаконченное среднее, среднее, среднее техническое, высшее) – состояние больного (плохое, удовлетворительное, хорошее) – и др. 1  yi  ... m  i  1, n 27 1 – отдыхать на даче 2 – отдыхать в Крыму 3 – отдыхать в Испании Выбор места отдыха, описываемой переменной yi, зависит от скрытой * (латентной) переменной – текущие накопления y  1, если yi*  c1 ,  yi  2 , если c1  yi*  c2 , *  3 , если y i  c2 .  c1 , c2- некоторые фиксированные уровни yi*  xi   i  i  N (0,1) P( yi  1)  F (c1  xi ) P( yi  2)  F (c2  xi )  F (c1  xi ) P( yi  3)  1  F (c2  xi ) F () i • функция стандартного нормального распределения - порядковая пробит-модель • логистическое распределение - порядковая логит-модель 28 Для нахождения параметров  , c1 , c2 используется ММП. При этом уровни c1 , c2 могут быть априорно заданы, а могут быть неизвестны. L   F (c1  xi )   ( F (c2  xi )  F (c1  xi ))   (1  F (c2  xi )) yi 1 yi  2 max L(  , c1 , c2 )  ,c1 ,c2 ˆ yi  3 cˆ1 , cˆ2 Коэффициенты ˆ интерпретируются в терминах: – лежащей в основе латентной переменной • например, положительный коэффициент означает, что соответствующая переменная положительно влияет на текущие накопления семьи – влияния на соответствующие вероятности • например, положительный коэффициент означает, что возрастает вероятность исхода yi  3 , тогда как вероятность исхода yi  1 - убывает • эффект на промежуточные категории yi  2 неоднозначен – увеличение на 1 ед. порядковой переменной означает переход к следующей по рангу альтернативе, однако далеко не всегда 29 переход от 1 к 3 численно эквивалентен переходу от 2 к 3. Модели с неупорядоченным откликом/выбором Мультиномиальные модели Применяются, если альтернативы нельзя естественным образом упорядочить (их нумерация может быть произвольной) yi номинальная (качественная) переменная – выбор профессии (инженер, научный работник, преподаватель) – моделирование способа транспортировки (автобусом, поездом, автомобилем, велосипедом, пешком) – и др. 1  yi  ... m  i  1, n 30 Предположим случайную структуру полезности, в которой полезность каждой альтернативы j для индивидуума i является линейной функцией от наблюдаемых характеристик плюс аддитивный остаток U ij  uij   ij неслучайная составляющая полезности случайная составляющая полезности Предполагается, что индивидуумы выбирают альтернативу с наивысшей полезностью. Индивидуум i выберет альтернативу j , если (k≠j) U ij  U ik U ij  max{U i1 ,...,U ik } P( yi  j )  P(U ij  max{U i1 ,...,U ik })   P(uij   ij  uik   ik k  j, k  1,..., m) 31 Удобно предположить, что все  ij взаимно независимы и подчиняются логарифмическому распределению Вейбулла (распределение экстремальных значений типа I). F ( x)  exp( e x ) В этом случае можно показать, что: P( yi  j )  exp(uij ) exp(ui1 )  exp(ui 2 )  ...  exp(uim ) Обычно предполагается, что полезность uij  xij  является линейной функцией наблюдаемых экзогенных характеристик xij и неизвестных параметров  : exp( xij  ) P( yi  j )   ) exp( xi1 )  exp( xi2  )  ...  exp( xim мультиномиальная логит-модель (логит-модель множественного выбора) 32 Вероятности входят в функцию правдоподобия и мультиноминальная модель оценивается ММП. Коэффициенты ˆ : – положительный коэффициент означает, что индивидуумы приписывают соответствующей характеристике положительную полезность Предположение о независимости  ij означает, что уровни полезности двух альтернатив независимы (статистическая независимость uij от j). Оно выглядит нереалистичным, если среди альтернатив есть достаточно близкие. Например, путешествие в синем автобусе и путешествие в красном автобусе P( yi  j ) exp(uij )  P( yi  k ) exp(uik ) отношение вероятностей двух альтернатив не зависит от остальных возможностей - свойство независимости несущественных альтернатив (независимость от посторонних альтернатив) (independence of irrelevant 33 alternative) Модели с ограниченными зависимыми переменными Ограниченная зависимая переменная – множество ее значений ограничено некоторым диапазон Бинарная переменная (e.g. employed/not employed) Модели бинарного выбора Порядковая переменная (e.g. full time job/part time job/unemployed) или номинальная Модели множественного выбора Переменные с неотрицательными значениями (e.g. wages, prices, interest rates) Цензурированная переменная unemployment durations) (e.g. Счетная/целочисленная переменная (e.g. the number of arrests in a year) Тобит-модели (пр., цензурированная регрессия) Целочисленная регрессия (пр., регрессия Пуассона) 34 Тобит-модели Применяются, если зависимая переменная непрерывна, но диапазон ее значений может быть ограничен yi цензурированная переменная – расходы семьи на покупку товаров длительного пользования (не могут быть отрицательными) – заработная плата – размер выплачиваемых налогов – и др. МНК дает смещенные и несостоятельные оценки, поэтому используется ММП 1) Стандартная тобит-модель 2) Обобщения тобит-моделей 35 Стандартная тобит-модель Цензурированная модель регрессии - наблюдения цензурированы (снизу) в нуле 2 yi*  xi   i i  1, n  i  N (0,  )  yi* , если yi    0 , если yi*  0, yi*  0 . yi - расходы на товары длительного пользования (Tobin, 1958) yi* - желаемые затраты ln L(  ,  2 )   ln P( yi  0)  [ln f ( yi | yi  0)  ln P( yi  0)]  yi  0   ln P( yi  0)  [ln f ( yi ) yi  0 yi  0 yi  0 Для нормального распределения:  1  1 ( yi  xi ) 2    xi  2  ln L(  ,  )   ln 1  Ф exp      ln  2     yi 0  2 2 yi  0   2  36 Модель оценивается ММП max2 ln L(  ,  ) 2  , ˆ ˆ 2 Коэффициенты ˆ имеют двойную интерпретацию: – влияние изменения в xi на вероятность ненулевых затрат – оценка влияния изменений в xi на уровень этих затрат – оба эффекта имеют один и тот же знак – расчет предельных эффектов * В некоторых случаях наблюдения полностью отсутствуют, если yi  0 , тогда модель называется усеченная модель регрессии 2 yi*  xi   i i  1, n  i  N (0,  )  yi* , если yi*  0, yi   * не наблюдаетс я , если y i  0.  37 В этом случае мы больше не имеем случайную выборку ln L(  ,  2 )  [ln f ( yi | yi  0)  [ln f ( yi )  ln P( yi  0)] yi  0 yi  0 Для нормального распределения:   1 ( yi  xi ) 2    1   xi   ln L(  ,  )   ln  exp    ln Ф   2 2   2 2     yi  0      2  2 Модель оценивается ММП max2 ln L(  ,  ) 2  , ˆ 2 ˆ  38 Обобщения тобит-модели 1) Модель тобит II (модель Хекмана, модель с выборочной селективностью) 2) Модель тобит III и др. Модель Хекмана Решение «участвовать/не участвовать» (модель бинарного выбора) gi*  zi  ui i  1, n 1, если g i*  0, gi   * , если g i  0.  Степень участия yi*  xi   i i  1, n  yi* , g i  1, если g i*  0, yi   g i*  0 . не наблюдаетс я , g i  0 если 39 – работать/не работать, размер заработной платы – покупать/не покупать, величина расходов – выдавать/не выдавать кредит, величина кредита –и др. Для оценивания модели используется: – ММП – двухшаговый метод Хекмана (ММП, МНК)   0    2  u   i     N   ,      0  1  ui   u   E ( yi | g i  1)  xi  E ( i | g i  1)  xi  E ( i | ui   zi )   ( zi )  xi   u E (ui | ui   zi )  xi   u Ф( zi ) Лямбда Хекмана 40 Примечания 1) 2) 3) 4) Вычислительная сложность увеличивается при увеличении числа альтернатив В мультиноминальных моделях предположение о том, что  ij имеют независимые стандартные нормальные распределения в вычислительном отношении непривлекательны (см. Вербик, гл.7) Более подробно о моделях с ограниченными зависимыми переменными см. Вербик (гл.7), Магнус и др. (гл. 12). При применении ММП существенно играет роль правильная спецификация модели 41 Спецификационные тесты n max ln L(  )  max  ln Li (  )   i 1 Тестируем 1 или более ограничений на вектор параметров . H 0 : H  c Три принципа тестирования: 1) Тест Вальда (W, Wald Test) (тестирование ограничений, которые накладываются на модель при оценивании) 2) Тест отношения правдоподобия (LR, Likelihood Ratio Test) (позволяет сравнить две альтернативные вложенные модели) 3) Тест множителей Лагранжа (LM, Lagrange Multiplier Test) (тестирование ограничений, которые накладываются на модель при оценивании) 42 Тест отношения правдоподобия LR-тест Основан на идее, что при выполнении H0, отношение максимальных значений функции правдоподобия для регрессии с ограничениями и без должно быть близко к 1. Другими словами, проверяется отличается ли разность в значениях ~ логарифмических функций правдоподобия ln L(ˆ )  ln L( ) значимо от 0. ~ 1 ~ 1 ~ Квыч  LR  2((ln L( )  ln L(ˆ ))      ˆ ˆ Если имеет место H0 , то 2 LR   (q) 43 Примечания 1) Тест Вальда: – – 2) Тест отношения правдоподобия: – – – 3) применяется к любой оценке, которая состоятельна и асимптотически нормальна чувствителен к способу, которым формулируются нелинейные ограничения легкий способ сравнивать две альтернативные вложенные модели легко вычисляется по значениям логарифма правдоподобия не чувствителен к способу, которым формулируются нелинейные ограничения Тест множителей Лагранжа: – – особенно привлекателен, когда ослабление H0 существенно усложняет оценивание модели; является привлекательным, когда тестируемое число различных гипотез большое (т.к. модель следует оценивать только один раз) особенно подходит для тестирования неправильной спецификации модели (например, гетероскедастичность, нарушение предположения 44 о нормальном распределении, невключенные переменные) 4) Все три критические статистики асимптотически эквивалентны (имеют одно и то же распределение 2 (q) ) 5) Квыч=LM=LR=W, если матрица ковариаций ошибок  известна 6) В большинстве случаев выбирается тест, который наиболее легко вычисляется по имеющимся данным 7) Более подробно о спецификационных тестах см. Вербик (6.2), Магнус и др. (гл. 12). 45