Метод наименьших квадратов

1 МЕТОД НАИМЕНЬШИХ КВАДРАТОВ 13.1. Постановка задачи Пусть в результате измерений в процессе опыта получена таблица некоторой зависимости f, а именно, при фиксированных х1, х2, ..., хn имеем у1, у2, ..., уn, полученные экспериментальным путем. Задача: Найти формулу, выражающую эту зависимость аналитически. Один из путей решения задачи: интерполирование с помощью полиномов Лагранжа или линейной интерполяции, где требуется совпадение значений в узлах интерполяции, но 1) это не означает совпадения функции в промежутках между узлами, 2) значения y1 , y2 , ..., yn получены экспериментально, а следовательно являются приближенными, поэтому применение интерполирования не оправдано. Поставим задачу: Найти функцию F(x) заданного вида, которая в точках x1, x2, ..., xn принимает значения как можно более близкие к табличным значениям y1, y2, ..., yn. x x1 x2 ... xn f(x) y1 y2 ... yn 13.2. Геометрическая интерпретация Практически вид приближающей функции F(x) можно определить следующим образом. По таблице строится точечный график функции f. 2 Затем проводится кривая, по возможности наилучшим образом отражающая характер расположения точек. По полученной таким образом кривой устанавливается вид приближающей функции. Рассмотрим один из самых распространенных способов нахождения F(x). Пусть y 1, y 2 ,..., y n - значения функции F(x) в точках x1, x2 , ..., xn i=1,n y i  F (x i ) Требование близости табличных значений y1, y2, ..., yn и значений y 1, y 2 ,..., y n можно истолковать следующим образом. Пусть M(y1, y2, ..., yn), M  y1 , y2 ..., yn  - точки в n-мерном пространстве. Задача приближения может быть переформулирована следующим образом: найти такую функцию F заданного вида, чтобы расстояние между точками было наименьшим. Т.е. ( M , M ) должно быть минимальным: ( M , M ) = (y1 - y1 )2 + (y2 - y2 )2 + ... + (yn - yn )2  min. Это требование равносильно следующему () (y1 - y1 )2 + (y2 - y2 )2 + ... + (yn - yn )2  min. Итак, задача приближения функции f состоит в следующем: для функции f, заданной таблично, найти функцию F(x) определенного вида так, чтобы сумма квадратов соответствующих значений () была наименьшей - отсюда название: метод наименьших квадратов. В качестве приближающей функции в зависимости от характера точечного графика функции f часто используют следующие функции: 1 1) y = ax + b 5) y = ax + b линейная дробно-линейная 2 2) y = ax + bх +c квадратичная 3) y = kxm степенная 4) y = kemx показательная 6) y = x cx + d дробно-рациональная 7) y = a lnx + b логарифмическая 1 8) y = a +b x гипербола где a, b, c, m - параметры. После того, как определен вид приближающей функции, задача сводится к определению параметров a, b, c, m. 3 13.3. Нахождение параметров приближающей функции в общем виде Рассмотрим метод нахождения параметров приближающей функции на примере приближающей функции с тремя параметрами, т.е. y  F x , a,b , c  Таким образом, имеем: yi  F  xi , a, b, c i=1, 2, ..., n Сумма квадратов разностей соответствующих значений функций f и F будет иметь вид: n n i 1 i 1   yi  yi 2    yi  F ( xi, a, b, c)2   (a, b, c) Эта сумма является функцией (a,b,c) трех переменных (параметров a, b, c). Задача сводится к отысканию min . Используем необходимые условия экстремума функции трех переменных. a  0, b  0, c  0, Таким образом, имеем n   yi  F  xi , a , b, cFa xi , a , b, c0  i n1    yi  F  xi , a , b, cFb xi , a , b, c0  i n1    yi  F  xi , a , b, cFc xi , a , b, c0  i 1 Решив эту систему трех уравнений с тремя неизвестными относительно параметров a, b, c, получим конкретный вид функции F  x , a ,b, c . Изменение количества параметров не приведет к искажению сущности самого подхода, а выразится лишь в изменении количества уравнений в системе. 13.4. Нахождение приближающей функции в виде линейной функции Будем искать приближающую функцию в виде: F  x , a , b, c ax + b 1. Найдем частные производные по параметрам F F =x , =1 a b 2. Составим систему 4 n   y i  ax i  b   x i  0 i 1 n   y i  ax i  b   0  i 1 Далее имеем n n n 2  y i  x i  a   x i  b  x i  0 i 1 i 1 i 1 n n  y i  a   x i  nb  0  i 1 i 1 Или деля каждое уравнение на n n n  n 2 a  x i b   x i   x i  y i    i 1 i 1 i 1  n n a   x i  nb   y i  i 1  i 1 Решая систему находим a и b, а следовательно конкретный вид функции y=ax+b: n n  n 2 a  x  b  x  xi yi    i i  i 1 i 1 i 1  n n a   x i  nb   y i  i 1 i 1 S a S b S 2 3  1  S 2a  nb S 4  Главный определитель:  S1 S 2 S2 n  nS1  S 22 Дополнительные определители: 1 S3 S2 S4 n nS3 S2S4 a 2  S1 S 3 S2 S4 1  , b 2    S1S 4  S 2S 3 5 Пример. n=4 i  xi yi xi∙yi x i2 1 1 3 3 1 3 7 21 9 5 9 45 25 9 20 69 35  35a 9b 69  9a 4b 20  59a=96 a=96/591,6 , b=(20-1,69)/41.4 y=1.6x+1.4 13.5. Нахождение приближающей функции в виде других элементарных функций Покажем, что нахождение приближающей функции в виде других элементарных функций сводится к нахождению параметров линейной функции. 1. Логарифмическая функция y=a ln(x)+b. Сделаем подстановку u=ln(x) и получим y=au+b, отсюда следует, что для нахождения коэффициентов a, b нужно воспользоваться новой таблицей значений аргументов. xi ln(xi) yi x1 ln(x1) y1 x2 ln(x2) y2 . . . . . . xn ln(xn) yn 6 2. Гипербола y = a 1 + b. x 1 и перейдем к линейной функции y=au+b, буx дем рассматривать таблицу Сделаем замену u= xi 1/xi yi x1 1/x1 y1 x2 1/x2 y2 . . . . . . xn 1/xn yn 3. Дробно-линейная функция y= 1 . ax + b 1 = ax+b y Из последнего равенства следует, что для нахождения параметров a, b по заданной таблице нужно составить новую, где yi заменить на обратные им и после этого получим приближенную функцию вида ax+b, затем найденные значения подставим в формулу. Перепишем в виде: 4. Дробно-рациональная функция y = x сx + d Сделаем преобразования: 1/y=(cx+d)/x 1/y=c+d/x, 1/x=u 1/y=du+c Для нахождения параметров a=d, b=c будем работать с таблицами xi 1/xi yi 1/yi x1 1/x1 y1 1/y1 x2 1/x2 y2 1/y2 . . . . . . . . xn 1/xn yn 1/yn 5. Показательная функция y = kemx Прологарифмируем обе части (значение yi>0, i) ln(y)=ln(k)+mx 7 Для нахождения коэффициентов a=m, b=ln(k) нужно воспользоваться новой таблицей значений аргументов. xi xi ln(уi) x1 x1 ln(у1) x2 x2 ln(у2) . . . . . . xn xn ln(уn) Таким образом, получили m=a, b=ln(k)  k=eb. 6. Степенная функция y=kxm Прологарифмируем обе части (значение yi>0, xi>0 i): ln(y)=ln(k)+m·ln(x), сделаем замену u=ln(x) ln(y)=m·u + ln(k) xi ln(xi) yi ln(yi) x1 ln(x1) y1 ln(y1) x2 ln(x2) y2 ln(y2) . . . . . . . . yn ln(yn) xn ln(xn) После нахождения параметров a, b найдем m=a, k=eb и подставим в исходное уравнение.