Применение МНК

МНК можно применять также, используя нелинейные функции. Он достаточно легко обобщается на полиномы более высоких степеней и ряд других функций. Виды уравнений регрессии, параметры которых можно определить при помощи МНК: 1) линейная регрессия 2) нелинейная регрессия а) полиномы различных степеней (квадратическая, кубическая функция и т.д.) б) функции, преобразуемые к линейному виду (гиперболическая, степенная, экспоненциальная и некоторые другие функции). Рассмотрим это более подробно. Применение МНК к полиномиальной регрессии рассмотрим на примере использования квадратической функции в парной регрессии, т.е. при определении параметров уравнения y = ax2 + bx + c. В этом случае будет построена система трех нормальных уравнений, с помощью которой можно найти три неизвестных параметра a, b и c (n – число наблюдений): n n  n 2 a ∑ x i + b∑ x i + nс = ∑ y i i =1 i =1  i =1 n n n  n 3 2 a ∑ x i + b ∑ x i + c ∑ x i = ∑ x i y i i =1 i =1 i =1  i =1 n n n  n 4 3 2 2 a ∑ x i + b ∑ x i + c ∑ x i = ∑ x i y i  i =1 i =1 i =1 i =1 Однако, такой способ расчетов достаточно сложен из-за высоких степеней, в которые придется возводить значения фактора. Поэтому лучше применять методику, которая будет рассмотрена далее. 1 Многие нелинейные функции можно подвергнуть линеаризации, т.е. преобразовать в линейные различными способами, после чего к ним также применяется МНК. Рассмотрим несколько примеров. Применение МНК к гиперболической функции. Эту функцию можно линеаризовать путем замены переменных. В уравнении гиперболы у = = a/x + b осуществим замену переменных следующим образом: z = 1/x. После этого уравнение станет линейным: у = az + b. Применение МНК к степенной функции. Линеаризацию степенной функции y = axb осуществляют, логарифмируя обе части уравнения: ln y = = ln a + b*ln x. Можно осуществить замену переменных z = ln x и q = = ln y, тогда уравнение примет вид q = ln a + bz с неизвестными параметрами ln a и b, которые можно найти с помощью МНК. Применение МНК к экспоненциальной функции (у = aеbx). Эта функция также линеаризуется путем логарифмирования: ln y = ln a + bx; после замены переменной q = ln y получим q = ln a + bx. Вышеперечисленные приемы линеаризации легко обобщаются на случай множественной регрессии. Рассмотрим это на примере степенной функции y = a ⋅ x1 1 ⋅ x 2 2 ⋅ … ⋅ x mm . Логарифмируя это уравнение, получим: b b b ln y = ln a + b1*ln x1+b2*ln x2 + … + bm*ln xm, после чего путем замены переменных можно перейти к множественной линейной регрессии и применять МНК. Линеаризация некоторых других функций для применения МНК. Например, рассмотрим функцию y = f(x1,x2) = a1х1 + a2х12 + a3х22 + b. Осуществим замену переменных следующим образом: x3 = х12; x4 = х22. Тогда функция примет линейный вид: y = a1х1 + a2x3 + a3x4 + b. 2 Свойства оценок, получаемых при помощи МНК Понятно, что при многократном проведении наблюдений в результате расчетов будут получены различные значения параметров (в результате случайных колебаний). Например, если мы определяем параметры парной линейной регрессии a и b, то в результате исследования одной выборки мы получим значения параметров a1 и b1, по другой выборке - a2 и b2, и т.д. можем получить бесконечно много оценок параметров. Таким образом, сами оценки представляют собой случайную величину, для которой можно рассчитать вероятностные характеристики. В теории вероятностей среднее значение случайной величины, полученное при неограниченно большом числе опытов, называют ее математическим ожиданием и обозначают М(x) (x – случайная величина). Математическое ожидание квадрата отклонения случайной величины от своего математического ожидания называют дисперсией (соответствует понятию дисперсии в статистике – средний квадрат отклонений от среднего) и обозначают D(x) или σ 2 ( x ) . Для расчета дисперсии удобно использовать не ее определение D(x) = M(x – M(x))2, а следующую формулу: D(x) = M(x2) – M2(x)). Иными словами, дисперсию можно рассчитать, как разность между математическим ожиданием квадрата случайной величины и квадратом ее математического ожидания1. Итак, выборочные оценки параметров имеют математическое ожидание и дисперсию. Если бы мы могли охватить в исследовании не выборку, а всю генеральную совокупность данных, то получили бы значения параметров регрессии, которые условно можно назвать истинными. 1 Эта формула доказывается так же, как и аналогичная формула для выборочной дисперсии (дисперсия равна разности между средним квадратом 2 значений показателя и квадратом среднего значения: σ 2 ( x ) = x 2 − x ). 3 Оценки параметров, полученные МНК, обладают важными свойствами, строгое доказательство которых приводится в математической статистике (здесь не рассматривается): 1) несмещенность; 2) состоятельность; 3) эффективность. Рассмотрим их подробно. Несмещенность. Свойство несмещенности заключается в том, что математическое ожидание оценки равно неизвестному истинному значению параметра. Это означает, что выборочные оценки как бы концентрируются вокруг неизвестных истинных значений параметров. Это очень важное свойство, - если бы оно не выполнялось, метод давал бы заведомо неверную информацию. Состоятельность. Свойство состоятельности заключается в том, что при стремлении числа наблюдений к бесконечности дисперсии оценок стремятся к нулю. Это означает, что с ростом числа наблюдений их разброс становится все меньше, оценки становятся все более надежными, все плотнее концентрируются вокруг истинных значений. Эффективность. Свойство эффективности заключается в том, что эти оценки имеют наименьшую дисперсию по сравнению с любыми другими оценками параметров. Собственно, именно на этом и основан МНК (см. исходное соотношение (2.2)). Практическая значимость перечисленных свойств заключается еще и в том, что с ростом объема выборки не происходит накопление регрессионных остатков. 4 Предпосылки МНК Следует отметить, что вышеперечисленные свойства оценок МНК имеют место лишь при некоторых предположениях о регрессорах и случайной компоненте (регрессионном остатке) тренда. Перечислим их. Перечень предпосылок МНК (условия Гаусса-Маркова): 1) математическое ожидание регрессионного остатка должно быть равно нулю (M(ε) = 0); 2) дисперсия регрессионного остатка должна быть постоянна (это свойство называется гомоскедастичностью остатка, слово складывается из двух частей: «гомо» - однородность и «скедастичность» - разброс, вариабельность) и конечна (D(ε) = const < ∞); 3) значения регрессионного остатка не должны зависеть друг от друга (т.е. не должно быть автокоррелированности остатков) (Cov(εi, εj) ≈ 0, где – выборки значений случайной компоненты ε в любых двух наборах наблюдений); 4) регрессионный остаток и признаки не должны зависеть друг от друга (Cov(ε, y) ≈ 0, Cov(ε, xj) ≈ 0, ∀j); 5) не должно быть мультиколлинеарности (Cov(xi, xj) ≈ 0, ∀i,j). Регрессионные остатки, для которых выполняются вышеперечисленные требования, представляют собой так называемый «белый шум», т.е. независимые друг от друга значения нормально распределенной случайной величины (более подробно рассматривается при изучении стационарных временных рядов). Последствия нарушения предпосылок МНК. Рассмотрим, что может произойти при нарушении одной или нескольких из названных предпосылок. 1) Если в регрессионном уравнении присутствует свободный член, ожидаемое значение случайной компоненты всегда равно нулю (если бы это было не так, было бы достаточно просто пересчитать свободный член). 5 Нарушаться это требование может лишь в том случае, если по каким-либо причинам требуется, чтобы свободный член равнялся нулю или другому фиксированному значению. Тогда полученная с помощью модели оценка может оказаться смещенной. 2) Гетероскедастичность, т.е. отсутствие гомоскедастичности, может привести к тому, что оценки МНК не будут обладать свойством эффективности (сама слово «гетероскедастичность» складывается из двух частей: «гетеро» - разнородность и «скедастичность» - вариабельность). Кроме того, хотя сами оценки параметров и останутся несмещенными, но стандартные ошибки этих оценок (они рассчитываются на основе дисперсии) могут оказаться смещены, что иногда приводит к неправильным результатам при проверке модели на значимость. 3) Наличие автокорреляции, как и гетероскедастичность, делает оценки неэффективными. Кроме того, оно тоже может привести к неправильному расчету стандартных ошибок модели и, как следствие, ненадежности проверки модели на значимость. 4) Если можно выявить зависимость между значениями регрессионного остатка и каким-либо из признаков, это говорит о том, что случайная компонента не является случайной по своей сути. В построенную модель необходимо внести исправления, учитывающие эту закономерность. 5) Отрицательные последствия мультиколлинеарности факторов были подробно рассмотрены ранее, а именно она затрудняет интерпретацию параметров регрессии, уменьшает точность оценок коэффициентов; приводит к росту стандартных ошибок и завышает коэффициент множественной корреляции. 6