Линейная и нелинейная регрессии

Линейная регрессия y  ax  b Парная линейная регрессия Множественная линейная регрессия y  a1 x1  a2 x2    ak xk  b Нелинейная регрессия  Модель нелинейная по объясняющим переменным, но линейная по оцениваемым параметрам Квадратичная функция; y  ax 2  bx  c полиномиальная зависимость степени 2; квадратичная или параболическая регрессия. С помощью замены переменных z1  x , z2  x 2 приводится к линейной модели множественной регрессии y  az2  bz1  c . Обратная (гиперболическая) модель; a y  b равносторонняя гипербола. x 1 Сводится к линейной модели y  az  b с помощью замены z  . x Модель применяется обычно в случаях, когда неограниченное увеличение объясняющей переменной x асимптотически приближает зависимую переменную y к некоторому пределу. Обратная модель; обратная функция. 1 y ax  b 1 Приводится к линейной модели с помощью преобразования  ax  b y 1 и замены ~ y . y y  a ln x  b Линейно логарифмическая (полулогарифмическая) функция Приводится к линейной модели заменой z  ln x . Модель применяется, когда степень влияния x снижается с ростом x (логарифм при объясняющей переменной снижает влияние роста этой переменной). Функция с квадратным корнем y  a x b Приводится к линейной модели заменой z  x . 1  Модель нелинейная по оцениваемым параметрам Степенная функция y  bx a С помощью логарифмирования приводится к виду ln y  a ln x  ln b (двойная логарифмическая модель – и зависимая, и объясняющая переменные заданы в логарифмическом виде). После замены ~ переменных ~ x  ln x , b  ln b получаем линейную модель y  ln y , ~ ~ ~ y  a~ x  b . Оценка параметра b исходной модели получается из оценок линеаризованной модели с помощью обратного ~ преобразования b  eb . Показательная функция y  ba x После логарифмирования ln y  ln a  x  ln b и замены переменных ~ ~ ~ y  a~x  b . y  ln y , a~  ln a , b  ln b приводится к линейному виду ~ Экспоненциальная функция y  beax Путем логарифмирования и замены переменных сводится к линейной ~ ~ модели ~ y  ax  b , где ~ y  ln y , b  ln b . Оценка параметра b исходной модели получается из оценки параметров линеаризованной модели ~ обратным преобразованием b  eb . Оценку параметров линеаризованной модели можно получить с помощью метода наименьших квадратов. Но не всякая нелинейная зависимость может быть приведена к линейной с помощью замены переменных и/или их преобразования. В таких случаях используют специальные нелинейные итеративные процедуры оценивания параметров. Для применения МНК должны выполняться некоторые требования, предъявляемые к случайной ошибке  . Если в модели для линеаризации не требуется применять логарифмирование, то требования к ошибке остаются такие же как для классического МНК. Иначе, если выполняется логарифмирование, то величина ~   ln  должна удовлетворять требованиям МНК. Кроме того, в моделях, нелинейных по параметрам, МНК применяется к преобразованным уравнениям, и минимизируется сумма квадратов отклонений преобразованных значений, поэтому оценки параметров могут быть смещенными1. Индекс детерминации (коэффициент детерминации)  yi  yˆ i 2  , где ŷi – значение аппроксимирующей функции в R2  1  i 2   y  y  i i точке xi , y – среднее значение yi . 1 Несмещённая оценка в математической статистике – это точечная оценка, математическое ожидание которой равно оцениваемому параметру. 2 Проверка значимости уравнения регрессии по F-критерию Фишера: R2 n  m  1 , F  m 1  R2 где R 2 – индекс детерминации, n – число наблюдений, m – число параметров уравнения регрессии. Средняя ошибка аппроксимации  y  yˆ i  100 . 1 A   i n i yi Ошибка аппроксимации 5–7 % говорит о хорошем соответствии модели и исходныx данных. 3