Методы регрессии

Примеры парных и множественных регрессий: • Определение объема продаж от затрат на рекламу; • Определение связи между потреблением, доходом семьи, финансовыми активами и размером семьи; • Модель Кейнса зависимости частного потребления С от располагаемого дохода I: С = С0 + b* I , где C0 – величина автономного потребления; b – предельная склонность к потреблению ( от 0 до 1). Этапы построения модели регрессии: • Определение цели и задач построения модели, набора переменных и их роли (постановочный этап); • Априорный анализ экономический сущности изучаемых явлений (априорный этап); • Сбор наблюдаемой статистической информации (информационный этап); • Выбор формы связи управления регрессии (спецификация уравнения регрессии); • Определение параметров (параметризация); • Анализ качества управления (верификация). Реализация метода МНК. • Необходимым условием минимума функции Q является равенство нулю ее частных производных по неизвестным параметрам. • Приравниваем к нулю обе производные и делим на n обе части уравнения. Интерпретация коэффициентов модели парной регрессии. • Нулевой коэффициент в линейной модели регрессии показывает среднее значение зависимой переменной при равенстве предикторов нулю. • Коэффициент регрессии при соответствующем предикторе показывает: насколько в среднем изменится значение результирующей переменной при изменении предиктора на единицу своего измерения. Взаимосвязь корреляционного и регрессионного анализа. Коэффициент регрессии можно выразить через коэффициент корреляции и дисперсии зависимой и независимой переменной: M (Y X=x) – M (Y) = yx (X – M (X)) M (Y X=y) – M (X) = xy (Y – M (Y)) xy = ; ух = Проверка качеств модели регрессии. Случайные составляющие коэффициентов регрессии. После нахождения оценок b0 и b1 коэффициентов регрессии возникают вопросы: • Насколько точно эмпирическое уравнение регрессии соответствует уравнению во всей генеральной совокупности. • Насколько близки оценки b0 и b1 к своим теоретическим значениям 0 и 1. • Как близко оцененное значение к условному математическому ожиданию М (УХ = х). • Насколько надежны найденные оценки. Влияние случайной компоненты на коэффициент регрессии. • Оценки представляют собой случайные величины, зависящие от случайной компоненты уравнения регрессии. • Второе слагаемое представляет собой случайную компоненту. Свойства оценок коэффициентов регрессии. • Свойство оценок коэффициентов регрессии и качество полученного уравнения зависит от свойств случайной компоненты. • Для получения по МНК наилучших результатов (оценки должны быть эффективны, состоятельны, несмещенные) необходимо выполнения ряда предпосылок относительно случайных остатков. • Эти предпосылки называются условиями Гаусса – Маркова (предпосылки использования МНК). Основные условия Гаусса – Маркова: 1. Случайное отклонение имеет нулевое математическое ожидание; 2. Дисперсия случайного отклонения постоянна; 3. Наблюдаемые значения случайных отклонений независимы друг от друга; 4. Случайное отклонение независимо от объясняющей переменной. 1ая предпосылка. • Условие означает, что случайное отклонение в среднем не оказывает влияние на зависимую переменную М() = 0. • Независимая переменная в регрессионной модели рассматривается как неслучайная величина, а зависимая и остатки – как случайные величины. 2ая предпосылка. • Из данного условия следует, что несмотря на то, что при каждом конкретном наблюдении случайное отклонение может быть различным, не должно быть причин, вызывающих большую ошибку. • Постоянство дисперсии остатков называется гомоскедастичностью остатков 3яя предпосылка. • Остатки должны быть независимы друг от друга; • Если данное условие выполняется, то говорят об отсутствии автокорреляции остатков. 4ая предпосылка. • Случайное отклонение должно быть независимо от объясняющей переменной. • Это условие выполняется, если объясняющая переменная не является случайной в модели регрессии Теорема Гаусса – Маркова Если выполняются предпосылки 1 – 4, то оценки по методу МНК обладают следующими свойствами: • Являются несмещенными, отсутствует систематическая ошибка при определении линии регрессии. • Состоятельны, с ростом объема выборки надежность оценок возрастает. • Эффективны, оценки имеют наименьшую дисперсию по сравнению по сравнению с любыми другими оценками данных параметров. Дополнительные условия • Регрессионная модель является линейной относительно параметров и содержит аддитивную константу. • Случайное отклонение имеет нормальный закон распределения. • Число наблюдений существенно больше числа переменных. • Отсутствуют ошибки спецификации. • Отсутствует линейная взаимосвязь между двумя и более объясняющими переменными. Система показателей качества модели регрессии • Содержательная интерпретация и здравый смысл; • Показатели качества регрессии в целом (коэффициент детерминации, остаточная дисперсия, значимость уровня в целом). • Показатели качества коэффициентов регрессии (низкие стандартные ошибки, значимые коэффициенты, узкие доверительные интервалы). • Адекватность модели условиям Гаусса – Маркова. • Прогностические свойства модели (интервальные оценки, средняя относительная ошибка аппроксимации). Разложение дисперсии зависимой переменной Компоненты дисперсии Сумма квадратов Число степеней свободы Средний квадрат Регрессия p Остаточная n – p – 1 Всего n – 1