Мультиколлинеарность

Мультиколлинеарность Серьезной проблемой при построении моделей множественной линейной регрессии по МНК является мультиколлинеарность — линейная взаимосвязь двух или нескольких объясняющих переменных. Коэффициенты уравнения находятся по формуле: Если объясняющие переменные (регрессоры) связаны строгой функциональной зависимостью, то говорят о совершенной мультиколлинеарности. В этом случае матрица XTX оказывается вырожденной, т. е. ее определитель равен нулю, а значит, не существует обратная матрица, которая участвует в основных соотношениях метода наименьших квадратов. Мультиколлинеарность затрудняет разделение влияния объясняющих факторов на поведение зависимой переменной и делает оценки коэффициентов регрессии ненадежными. Нестрогая линейная зависимость между объясняющими переменными необязательно дает неудовлетворительные оценки. Если число наблюдений и выборочные дисперсии объясняющих переменных велики, а дисперсия случайного члена мала, то в итоге можно получить вполне хорошие оценки. Оценка любой регрессии будет страдать от мультиколлинеарности в определенной степени, если только все независимые переменные не окажутся абсолютно некоррелированными. Рассмотрение данной проблемы начинается только тогда, когда это серьезно влияет на результаты оценки регрессии. Эта проблема является обычной для регрессий временных рядов, когда данные состоят из ряда наблюдений в течение какого-то периода времени. Если две или более объясняющие переменные имеют ярко выраженный временной тренд, то они будут тесно коррелированны, и это может привести к мультиколлинеарности. Обычно выделяются следующие последствия мультиколлинеарности: 1. Падает точность оценивания. Оно становится очень трудным, так как невозможно распутать клубок взаимных влияний изменений различных регрессоров. Это падение точности проявляется в трех аспектах. Дисперсии (стандартные ошибки) некоторых конкретных оценок параметров уравнения становятся очень большими, оказываются сильно коррелированными друг с другом, что затрудняет нахождение истинных значений определяемых величин и расширяет интервальные оценки параметров, ухудшая их точность. 2. Исследователи время от времени сталкиваются с некорректностью введения в анализ тех или иных переменных, поскольку коэффициенты при них оказываются незначимыми (уменьшаются t-статистики коэффициентов). Однако истинная причина может заключаться совсем не в том, что эти переменные не влияют на зависимую переменную, а в том, что множество выборочных данных не позволяет это отразить из-за мультиколлинеарности. 3. Оценки коэффициентов по МНК и их стандартные ошибки становятся очень чувствительными к изменениям данных, т. е. они становятся неустойчивыми. Добавление совсем небольшого количества наблюдений может иногда привести к очень сильным сдвигам в значениях некоторых коэффициентов. 4. Затрудняется определение вклада каждой из объясняющих переменных в объясняемую уравнением регрессии дисперсию зависимой переменной. 5. Возможно получение неверного знака у коэффициента регрессии. Напомним, что коэффициент bj при переменной Xj в уравнении линейной регрессии: показывает, на сколько единиц изменится зависимая переменная Y, если объясняющая переменная Xj вырастет на одну единицу при фиксированных значениях остальных объясняющих переменных. Однако в случае мультиколлинеарности этот смысл коэффициентов регрессии утрачивается. Обнаружение мультиколлинеарности Точных количественных критериев для определения наличия (отсутствия) мультиколлинеарности не существует. Тем не менее, существуют некоторые рекомендации по выявлению мультиколлинеарности. 1. В первую очередь анализируют матрицу парных коэффициентов корреляции: Здесь rij — парный коэффициент корреляции между переменными Xi и Xj. Считается, что наличие коэффициентов rij, превышающих по абсолютной величине 0,75-0,8, свидетельствует о наличии мультиколлинеарности. 2. Если определитель матрицы XTX близок к нулю (например, одного порядка с накапливающимися ошибками вычислений), то это свидетельствует о наличии мультиколлинеарности. 3. Коэффициент детерминации R2 достаточно высок, но некоторые из коэффициентов регрессии статистически незначимы, т. е. имеют низкие tстатистики. 4. Более внимательное изучение вопроса мультиколлинеарности производится следующим образом. Строятся уравнения регрессии каждой из объясняющих переменных объясняющие переменные Xj на оставшиеся Вычисляются коэффициенты детерминации и рассчитываются инфляционные факторы В программе gretl полагается, что мультиколлинеарность будет, когда VIF>10. «Гребневой метод» («ридж-регрессия») устранения мультиколлинеарности Метод был предложен А. Э. Хоэрлом в 1962 г. и применяется, когда матрица близка к вырожденной. К диагональным элементам матрицы добавляют некоторое небольшое число (обычно от 0,1 до 0,4). Идея подхода состоит в том, чтобы попытаться найти оценку, минимизирующую стандартную ошибку оценки параметра. единичная матрица. При этом получают смещенные оценки параметров уравнения. Доказано, что существует такое значение , что стандартные ошибки таких оценок в случае мультиколлинеарности ниже ошибок даваемых обычным методом наименьших квадратов. Тем не менее, четких правил выбора этого параметра нет. Метод последовательного исключения регрессоров. Если в модели имеется мультиколлинеарность, то удаляют из модели незначимый регрессор с самой низкой по модулю t-статистикой. Если в модели снова есть незначимые регрессоры, то удаляют следующий с самой низкой по модулю t-статистикой и так далее.