Метод наименьших квадратов. Оценка параметров линейных уравнений регрессии

Метод наименьших квадратов (МНК) Оценка параметров линейных уравнений регрессии Процедура построения системы нормальных уравнений и исходное соотношение, используемое в МНК. Для определения параметров функции, используемой в эконометрической модели, разработаны различные методы, наиболее простым и известным из которых является метод наименьших квадратов (МНК). Рассмотрим суть этого метода на примере парной линейной регрессии. Применение МНК к парной линейной регрессии. Итак, необходимо определить параметры а и b для функции y = f(x) = ax + b. Пусть значения показателей y и x измерялись n раз, т.е. имеются значения показателей y1, y2, …, yn и x1, x2, …, xn, всего n пар значений обоих показателей. Определим сумму квадратов отклонений фактических значений признака-результата yi от значений, подсчитанных по уравнению регрессии f(xi): n n ∑ (f ( x ) − y ) = ∑ (ax 2 i i =1 i i =1 i + b − yi )2 Чтобы построенная модель была как можно ближе к реальности, эта сумма должна быть как можно меньше. Отметим, что полученная сумма представляет собой функцию от двух переменных а и b, и чтобы найти ее минимум, приравняем к нулю ее частные производные по а и по b: n ∑ (ax i + b − y i ) 2 = ϕ(a , b) → min i =1 n  ∂ϕ  ∂b = 2∑ (ax i + b − y i ) = 0  i =1  n  ∂ϕ = 2 x (ax + b − y ) = 0 ∑ i i i  ∂a i =1 1 n  n a ∑ x i + nb = ∑ y i  i =1 i =1  n n n a x 2 + b x = x y ∑ ∑ i i i i  ∑ i =1 i =1 i =1 Итак, получено два линейных уравнения с двумя неизвестными – а и b (система линейна относительно параметров регрессии). Такую систему называют системой нормальных уравнений. Решив ее, можно определить искомые параметры. Применение МНК к множественной линейной регрессии. Если необходимо определить параметры множественной линейной регрессии, т.е. параметры функции y = f(x1, x2, …, xm) = a1x1 + a2x2 + … +amxm + + b, имея в запасе n наблюдений для каждого признака-фактора и для признака результата, то можно аналогичным образом получить систему нормальных уравнений, состоящую из (m + 1) линейного уравнения для (m + 1) неизвестной a1, a2, …, am, b: nb + a 1 ∑ x 1 + a 2 ∑ x 2 + ... + a m ∑ x m = ∑ y  2 b∑ x 1 + a 1 ∑ x 1 + a 2 ∑ x 1x 2 + ... + a m ∑ x 1 x m = ∑ yx1 ,  ... b∑ x + a 1 ∑ x x m + a 2 ∑ x m x + ... + a m ∑ x m 2 = ∑ yx m  m 1 2 где n n n ∑ y =∑ y ; ∑ x = ∑ x , ∑ x x = ∑ x i =1 i j i =1 ji j k i =1 n ji x k i , ∑ yx j = ∑ yi x ji , k, j = 1, m , i =1 y i , x ji - i-ые значения наблюдаемых показателей (для каждого показателя их n). Отметим, что систему уравнений для нахождения стандартизованных коэффициентов регрессии, которую мы рассматривали на лекции 31, также 2 получают путем применения МНК к стандартизированному уравнению регрессии и преобразования полученных выражений. Методы решения системы нормальных уравнений. Решение построенной системы может быть осуществлено различными способами: 1) методом Гаусса, который заключается в том, что матрицу коэффициентов в уравнениях поэтапно преобразуют в единичную матрицу путем линейных преобразований этих уравнений (разрешающее уравнение делят на разрешающий элемент, получая на его месте единицу, а из всех остальных уравнений вычитают преобразованное разрешающее, умноженное на те коэффициенты, которые стоят в этих уравнениях в разрешающем столбце, с целью получить на их месте нули); 2) методом Крамера, который заключается в том, что рассчитывают определитель матрицы коэффициентов в уравнениях, а затем рассчитывают частные определители, поочередно заменяя один из столбцов в этой матрице столбцом свободных членов; значения переменных равны отношениям соответствующих частных определителей к определителю первой матрицы; 3) методом обратной матрицы и т.д. Матричная форма МНК Рассмотрим систему нормальных уравнений МНК, используя обозначения матричной алгебры. А именно, введем следующие обозначения: 1  1 X =1   ... 1  x 11 x 12 x 21 x 22 x 13 ... x 23 ... x 1n x 2n ... x m1   b     y1  ... x m 2     a1  y ... x m 3 ; Y =  2 ; А =  a 2 ,        ... ...    y  n a  ... x m n   m где m – число признаков-факторов, 3 n - число наблюдений. Каждая строка матрицы соответствует одному из наблюдений, а каждый столбец, кроме первого, - одному из факторов. Если транспонировать матрицу X размерности n x (m + 1), в полученной матрице XТ размерности (m + 1) x n каждый столбец будет соответствовать одному из факторов, а строки - наблюдениям. Перемножив полученную матрицу XТ на X, получим симметричную матрицу размерности (m + 1) x (m + 1):   n   n  ∑ x 1i i =1 T  X X= n  ∑x  i =1 2 i  ...  n  ∑ x mi  i =1 n n ∑ x1i i =1 n ∑x i =1 n ∑x i =1 n 1i i =1 ∑x i =1 n 1i ∑x i =1 n x mi ... n 1i x 2 i ... ∑x i =1 2 1i ∑ x 2i ... 2 ... ... ∑x i =1 x 2i 2i 2i ... x mi  x  ∑ mi i =1  n  x x ∑ 1i m i  i =1  n x 2i x mi  ∑  i =1  ... n  2 x mi  ∑ i =1  n ... Тогда система уравнений примет вид XТXА = XТY. Умножим слева обе части этого выражения на матрицу (XТX)-1, получим: (XТX)-1XТXА = (XТX)-1XТY. Поскольку (XТX)-1XТX = I (где I - единичная матрица), формула для нахождения вектора параметров А примет вид: А = (XТX)-1XТY 4