Линейное уравнение множественной регрессии

Линейное уравнение множественной регрессии В общем виде линейной уравнение множественной регрессии можно записать следующим образом: y = a1x1 + a2x2 + … +anxn + b + ε, где y – результативный признак (зависимая, результирующая, эндогенная переменная); n – число факторов, включенных в модель; x1, x2, …, xn – признаки-факторы (регрессоры, объясняющие, предикторные, предопределенные, экзогенные переменные); a1, a2, …, an – коэффициенты регрессии; b – свободный член регрессии; ε - компонента, отражающая в модели влияние случайных факторов, из-за которых реальное значение показателя может отклоняться от теоретического (регрессионный остаток). По своей природе результирующая переменная всегда случайна. Регрессионный остаток позволяет отразить в модели стохастическую, вероятностную природу экономических процессов. Кроме того, можно также сказать, что он отражает все прочие не учтенные в явном виде факторы, которые могут повлиять на результат. В дальнейшем в этом разделе, рассматривая способы построения уравнения регрессии, случайную компоненту пока не будем учитывать, т.е. будем рассматривать только детерминированную часть результата. Экономический смысл параметров регрессии. Коэффициенты и свободный член регрессии принято также называть параметрами регрессии, или параметрами модели. Коэффициенты регрессии a1, a2, … , an , как видно из записи модели, представляют собой частные производные результата по отдельным признакам-факторам: 1 aj = ∂y ; j = 1, n ∂x j Они показывают, на сколько изменяется результативный признак при изменении соответствующего признака на единицу и неизменных значениях остальных признаков. Поэтому иногда коэффициент линейной регрессии называют также предельной эффективностью фактора. Знак коэффициента линейной регрессии всегда совпадает со знаком коэффициента корреляции, так как положительная корреляция означает, что результат растет с ростом фактора, а отрицательная – что с ростом фактора результат убывает. Однако, сравнение признаках-факторах между коэффициентов собой регрессии представляется при различных затруднительным, поскольку различные факторы обычно имеют разные единицы измерения, характеризуются различными значениями средних и показателями вариации. Чтобы решить эту проблему, рассчитывают стандартизованные коэффициенты регрессии (см. далее). В отличие от стандартизованных коэффициентов регрессии коэффициенты регрессии a1, a2, … , an принято называть коэффициентами чистой регрессии. Свободный член регрессии b показывает значение признакарезультата при условии, что все признаки-факторы равны нулю. Если такая ситуация невозможна, свободный член может и не иметь экономического содержания. Частные уравнения регрессии. На основе линейного уравнения множественной регрессии могут быть получены частные уравнения регрессии, в которых все факторы, кроме обычно одного, закреплены на своем среднем уровне. Такое частное уравнение регрессии устанавливает 2 связь между результативным признаком и одним из признаков-факторов при условии, что остальные факторы приравнены к своим средним значениям. Система таких уравнений выглядит следующим образом:  y x1*x 2 ,x3 ,...,x n = a1x1 + a 2 x 2 + … + a n x n + b   y x 2*x1 ,x3 ,...,x n = a1 x1 + a 2 x 2 + … + a n x n + b ,  ...   y x *x ,x ,...,x = a1 x1 + a 2 x 2 + … + a n x n + b  n 2 3 n −1 где x j , j = 1, n - средние значения признаков-факторов. Подстановкой в формулу (1.12) конкретных значений средних можно получить следующую систему линейных уравнений:  y x1*x 2 ,x3 ,...,x n = a1x1 + B1 + ε y  x 2*x1 ,x3 ,...,x n = a 2 x 2 + B2 + ε  , ...  y x n *x1 ,x 2 ,...,x n −1 = a n x n + Bn + ε где B1 = a 2 x 2 + a 3 x 3 + … + a n x n + b  B 2 = a 1 x 1 + a 3 x 3 + … + a n x n + b  ... B = a x1 + a x 2 + … + a x n-1 + b  n 1 2 n -1 Кроме того, можно построить частные уравнения регрессии и для нескольких независимых переменных, т.е. закрепить на среднем уровне все факторы, кроме нескольких. На основе частных уравнений регрессии могут быть построены так называемые частные коэффициенты рассчитываются по формулам Э i = a i xi y эластичности Эi, которые и показывают, на сколько 3 процентов изменится результат при изменении фактора xi на 1%. Расчет этих коэффициентов позволяет оценить, какие факторы более сильно воздействуют на результативный признак. Таким образом, их тоже можно использовать при отборе факторов в регрессионную модель. Стандартизованное уравнение регрессии. Перейдем от переменных модели y, x1, x2, …, xn к так называемым стандартизованным переменным по следующим формулам: ty = x − xj y−y , tx j = j , j = 1, n , σ( y) σ( x j ) где y, x j , j = 1, n - средние значения признаков; σ( y), σ(x j ), j = 1, n - средние квадратические отклонения признаков. Для новых переменных среднее значение равно нулю, а среднее квадратическое отклонение равно единице. Стандартизованное уравнение регрессии (или уравнение регрессии в стандартизованном масштабе) строится следующим образом: t y = α1 ⋅ t x1 + α 2 ⋅ t x 2 + … + α n ⋅ t x n , где t y , t x1 ,… t x n - стандартизованные переменные; α1, α2, …, αn – стандартизованные коэффициенты регрессии. Для нахождения стандартизованных коэффициентов используют матрицу парных коэффициентов корреляции. Можно доказать, что для стандартизованных коэффициентов регрессии выполняется следующая система уравнений: 4  ryx1 = α1 + α 2 ⋅ rx1x 2 + … α n ⋅ rx1x n r = α ⋅ r + α + …α ⋅ r  yx2 1 x1x 2 2 p x 2x n   ……………………………… ryxn = α1 ⋅ rx1x n + α 2 ⋅ rx 2x n + … α n Она представляет собой систему n уравнений для n переменных, и ее можно использовать для определения стандартизованных коэффициентов регрессии. Эти коэффициенты можно сравнивать друг с другом и соответственно сравнивать различные факторы по силе воздействия на результат. Можно доказать, что для линейной модели формулу для расчета коэффициента множественной корреляции можно преобразовать в формулу, основанную на использовании стандартизованных коэффициентов регрессии: n ∑α R yx1x 2 ... x n = i =1 i ⋅ ryx i , где αi – стандартизованные коэффициенты регрессии, ryx i - парные коэффициенты корреляции результата с каждым из факторов. Подставив стандартизованных в стандартизованное переменных те уравнение формулы, регрессии по которым вместо они рассчитывались, можно вернуться к уравнению чистой регрессии: y−y x − x1 x − x2 x − xn = α1 ⋅ 1 + α2 ⋅ 2 + … + αn ⋅ n ; σ( y) σ( x 1 ) σ( x 2 ) σ( x n ) y y x x x α1 α2 αn ⋅ x n − α1 ⋅ n ; − = ⋅ x 1 − α1 ⋅ 1 + ⋅ x 2 − α2 ⋅ 2 + … + σ( x n ) σ( x n ) σ( y) σ( y) σ( x1 ) σ( x1 ) σ( x 2 ) σ( x 2 ) 5 y α1 α2 αn x x2 xn y = ⋅ x1 + ⋅ x2 +… + ⋅ x n − α1 ⋅ 1 − α 2 ⋅ − ... − α n ⋅ + σ ( y ) σ( x 1 ) σ( x 2 ) σ( x n ) σ( x 1 ) σ( x 2 ) σ( x n ) σ( y ) Умножим обе части на σ( y) , получим: y=  σ( y ) ⋅ α 1 σ( y ) ⋅ α 2 σ( y ) ⋅ α n x x x  ⋅ x1 + ⋅ x2 +…+ ⋅ x n − σ( y) ⋅  α1 ⋅ 1 + α 2 ⋅ 2 − ... + α n ⋅ n  + y σ( x 1 ) σ( x 2 ) σ( x n ) σ( x 1 ) σ( x 2 ) σ( x n )   Отсюда: aj = σ( y) ⋅ α j σ( x j )  x x2 xn   b = y − σ( y) ⋅  α1 ⋅ 1 + α 2 ⋅ − ... + α n ⋅ σ σ σ ( x ) ( x ) ( x )  1 2 n  6