Множественная линейная регрессия. Статистическая обработка результатов

Множественная линейная регрессия Если измеряемая случайная величина зависит от нескольких независимых переменных , то чаще всего ее можно описать с помощью полинома: Всегда можно подобрать полином, достаточно близко описывающий экспериментальную зависимость. Чем выше степень полинома, тем больше экстремумов на кривой. Так, уравнение состояния Ван-дер-Ваальса для реального газа представляет собой кубическое уравнение , а теоретическая изотерма в координатах имеет два экстремума – минимум и максимум (рис.7.6) Рис. 1. Общий вид изотермы Ван-дер-Ваальса Адекватности уравнения регрессии эксперименту добиваются повышением степени полинома. Но при этом следует помнить, что все коэффициенты коррелированны между собой, поэтому при добавлении очередного члена полинома все коэффициенты приходится рассчитывать заново. Чтобы этого избежать, заранее рассчитывают коэффициенты для полинома, заведомо более высокого порядка, а затем незначимые коэффициенты отбрасывают. Однако наибольший практический интерес представляют уравнения, которые содержат только линейные слагаемые. Они представляют собой уравнение множественной линейной регрессии: . (6.1) Например, зависимость теплового эффекта реакции от температуры выражается уравнением . (6.2) Представим его в более общем виде: . (6.3) Уравнение можно привести к форме (6.1), если принять, что . Это линейные функции соответствующих переменных (рис.7.7). − фиктивная переменная. а б в Рис. 2. Графики линейной зависимости функции от разных переменных: а − , б − , в − . Таким образом, уравнение в форме (6.1) представляет собой уравнение множественой линейной регрессии, а - коэффициенты или параметры линейной регрессии. Они могут быть найдены по методу наименьших квадратов из условия . Дифференцируя функцию по соответствующему параметру и приравнивая производную нулю , получим систему нормальных уравнений. Решение ее позволит определить коэффициенты полинома, но чем больше этих коэффициентов, тем удобнее для их определения использовать регрессионный анализ в матричной форме. Он имеет большие преимущества при использовании ЭВМ. Для определения коэффициентов необходимо экспериментально определить для температур. Но для того чтобы провести статистическую обработку результатов, число температур должно быть больше числа коэффициентов, так как для расчета число опытов должно быть больше числа определяемых коэффициентов. Пусть для определения мы имеем T1=400K H400 T2=500 H500 jl T3=600 H600 ... Tj Представим исходные данные в виде матрицы независимых переменных F и вектора наблюдений , и для статистической обработки определим в каждом столбце среднее значение и стандартное отклонение: - матрица-столбец , где, . Запишем вектор оценок определяемых коэффициентов в виде матрицы-столбца Тогда их определение матричным методом представим следующим образом: . FT − транспонированная матрица, полученная из матрицы F заменой строк столбцами; (FTF) − это матрица, полученная умножением транспонированной матрицы FT на исходную F. При умножении матриц элементы первой строки транспонированной матрицы FT умножаются на элементы первого столбца матрицы F и складываются, далее умножаются на элементы второго, третьего и четвертого столбцов. Затем переходят ко второй строке матрицы FT и т.д. Следует отметить, что диагональные члены матрицы FTF содержат суммы квадратов переменых:, ,и . Эти величины отличаются на несколько порядков: , , . Численные операции с элементами такой матрицы приведут к очень большим ошибкам. Для того чтобы исключить эти недостатки, составим матрицу из стандартизированных переменных и исключим из нее свободный член, так как он равен , т.е. представляет собой неопределенность. Например, для интервала температур 400 − 1300К стандартизированная матрица имеет вид Теперь все элементы матрицы имеют численные значения от−3 до +3, если они распределены нормально. Для краткости запишем матрицу и вектор следующим образом: , где первый индекс означает номер в столбце, второй − номер в строке. С помощью матрицы коэффициенты множественной регрессии находят следующим образом: , где , где − взаимная или присоединенная матрица (она состоит из алгебраических дополнений), − определитель матрицы . Таким образом, . Найдем : . Получили симметричную матрицу () относительно главной диагонали. В дальнейшем для упрощения записи опустим одинаковые для всех элементов матрицы пределы суммирования от 1 до j. Матрица − взаимная матрица, состоящая из алгебраических дополнений к матрице . Алгебраическое дополнение , где − детерминант усеченной матрицы; − сумма индексов в строке и в столбце элемента, к которому определяется алгебраическое дополнение. Если нечетно, то если четно, получим +1. Представим матрицу и найдем ее элементы. Для вычисления дополнения к какому-либо элементу матрицы нужно вычеркнуть строку и столбец, содержащий данный элемент, и из оставшихся четырех элементов вычислить . Например, 2 = 3= + 4=2 5= 6= 7=3 8=6 9 . Для вычисления разлагают матрицу по любой строке или любому столбцу. Выгоднее взять то направление, на котором больше нулей. Разложим матрицу по первой строке: , для этого берем 1-й элемент строки, умножаем на его алгебраическое дополнение, затем также поступаем со 2-м и 3-м элементами, и полученные произведения складываем. Обратная матрица вычисляется по формуле , где , а матрица называется матрицей ошибок или ковариационной матрицей. Она не диагональна, так как в ней внедиагональные элементы не равны нулю. (См. матрицу А*) Найдем вектор : =. И, наконец, вычислим оценки коэффициентов уравнения регрессии: , где ; ; . Истинные значения коэффициентов находят из уравнений: ; ; . Суть этих уравнений состоит в приводе стандартизованных (или нормированных) величин в натуральный масштаб. Теперь можно найти . − постоянный интеграл. Так как истинного значения у мы не знаем ни для одной температуры, то используем его наилучшую оценку, т.е. : . Статистическая обработка результатов Вернемся к обратной матрице и обозначим ее следующим образом: . Матрица называется матрицей ошибок или ковариационной матрицей. Она недиагональна, так как внедиагональные элементы не равны нулю. Следовательно, все коэффициенты регрессии взаимно связаны. Дисперсии коэффициентов определяются уравнениями: , где ; ; , а ковариации коэффициентов: ; ; . Вследствие взаимной корреляции коэффициентов определить значимость каждого коэффициента в отдельности нельзя. Можно провести только ранжировку коэффициентов, используя отношение . Для этого используется процедура последовательного исключения незначимых коэффициентов (т.е. факторов): фактор, для которого ti оказывается наименьшим, исключается и рассчитывается и функция – остаточная сумма квадратов. Исключение факторов проводится до тех пор, пока достигнет минимума. При этом все оставшиеся коэффициенты не пересчитываются. Если же добавить коэффициенты, то все расчеты нужно провести заново. Отсюда следует, что при выборе математической модели в полиноме следует брать большее из возможных число коэффициентов, а затем незначимые отбросить. Адекватность модели проверяется по критерию Фишера , где , ; далее . Модель адекватна, если , или при , если . Следует обратить внимание на то, что в этом случае меняется последовательность степеней свободы на обратную. Оценка тесноты нелинейной связи Если уравнение регрессии найдено с достаточной точностью, то силу связи можно охарактеризовать с помощью отношения , по которому рассчитывают статистику . Величина называется корреляционным отношением. Т.к. для адекватной модели , то . Чем ближе , тем теснее связь. Однако необходимо помнить, что близость только для нормально распределенных величин свидетельствует об отсутствии функциональной связи между yi и xi. Контрольные вопросы 1. Зависимость Tпл от давления описывается уравнением Tпл =а0 +а1P+ а2P2+ а3P3. Составьте матрицу независимых переменных и вектор наблюдений для определения коэффициентов регрессии в интервале давлений от 0.5 до 5 атм. Укажите минимальное количество необходимых точек. 2. Представьте графически в линейных координатах приведенные в п. 21 зависимости, если значимы коэффициенты: а) а0 и а1, б) а0 и а2, в) а0 и а3. 3. Опишите процедуру определения коэффициентов а0 , а1, а2, и а3 матричным методом. 4. Укажите недостатки расчета коэффициентов регрессии по матрице, состоящей из переменных, выраженных в натуральном масштабе. 5. Каким образом рассчитываются стандартизированные переменные? Запишите их для уравнения, приведенного в п. 21. 6. Что называется транспонированием матрицы? 7. Для матрицы F найти (FTF): 1) 2) 3) 4) 5)6) 7) 8) 9) 10) 11) 12) 8. Какая матрица называется взаимной? Как она рассчитывается? Как рассчитываются алгебраические дополнения? 9. Для матрицы FTF определить алгебраические дополнения к элементам k-строки и вычислить для этой матрицы det(FTF): 1) 2) 3) 4) 5) 6) 7) 8) 9) 10) 11) 12) 10. Покажите, как по оценкам коэффициентов регрессии рассчитываются их истинные значения. 11. Запишите ковариационную матрицу. Что свидетельствует о взаимной корреляции коэффициентов регрессии? 12. Как проводят ранжировку коэффициентов регрессии? 13. По какому статистическому критерию проверяют адекватность модели? 14. Приведите статистику, по которой можно оценить силу функциональной связи . 15.