Метод наименьших квадратов
Метод наименьших квадратов – это метод математики, который используется для решения различных прикладных задач. Сущность метода заключается в минимизации суммы квадратов отклонений некоторых функций от искомых переменных.
До девятнадцатого века системы уравнений решались в зависимости от ситуации. Тогда не существовало специальных способов их решения. Гаусс и Лежандр были первыми, применившими метод наименьших квадратов в математических вычислениях. Чуть позже этот метод связали с теорией вероятности. Далее его усовершенствовали, и он распространился в мире.
Метод наименьших квадратов позволяет подобрать такое решение уравнения, где права и левая части будут максимально приближены друг к другу, а квадрат их отклонений выступает в качестве меры близости двух сторон. Если уравнение можно решить, то наименьшая сумма квадратов будет равна нулю. В этом случае можно найти точное решение с помощью методов оптимизации.
Статья: Классический и косвенный метод наименьших квадратов
В случае переопределения системы уравнений, как правило, она не имеет точного решения. Поэтому метод наименьших квадратов позволяет подобрать наиболее подходящий вариант решения проблемы. Если рассматривать решение графически, то метод позволяет определить вектор наиболее близкий к исследуемой величине и с отклонением, стремящимся к 0.
Линейное уравнение предполагает, что в большинстве случаев для него нет решения. Поэтому решение ищется подбором величин, максимально приближенных к оптимальному решению. Для этого возможно использование взвешенного метода наименьших квадратов.
Классический метод наименьших квадратов
Классический метод наименьших квадратов используется для решения линейных уравнений и множественных регрессий. Множественной называют регрессию, в которой более двух независимых переменных. Параметры такой модели рассчитываются с помощью метода наименьших квадратов.
В данном случае метод позволяет оценить экспериментальные данные, которые содержат случайные ошибки. Если есть некоторый набор данных с погрешностью, то возможно использование приближенных значений. Параметры модели рассчитываются таким образом, чтобы снизить разницу между данными эксперимента и теоретическими данными.
Рассогласованность между полученными фактическими данными и оценкой с помощью метода наименьших квадратов определяется суммой квадратов разностей между ними.
Наиболее часто метод квадратов применяется для линейной регрессии. Тогда параметры регрессионной модели рассчитываются так, чтобы сумма квадратов расстояний от линии регрессии была минимальной.
Достоинствами метода считаются следующие аспекты:
- Расчет унифицируется за счет механической процедуры нахождения коэффициентов.
- Полученные данные становятся доступными.
Среди недостатков метода выделяют чувствительность оценок к резким разбросам, которые могут появиться в исходных данных. Если рассматривать метод для линейной регрессии, то предполагается, что есть эмпирическая линия, которая устанавливает линейную связь между независимой и зависимой переменной. Чтобы найти минимум для каждой функции вычисляются производные для каждой из них. По каждому из оцениваемых параметров они приравниваются к нулю. Далее система уравнений дорабатывается до нормальных с относительными коэффициентами. Чтобы решить такую систему уравнений, необходимо вычислить параметры. Метод наименьших квадратов позволяет подобрать данные оптимально подходящие для решения уравнения.
Косвенный метод наименьших квадратов
Косвенный метод используется для уравнений, которые можно точно идентифицировать. Для этих целей проводятся следующие операции:
- Составляется модель.
- Определяются значения коэффициентов для каждого уравнения с помощью классического метода наименьших квадратов.
- Применяются алгебраические преобразования для того, чтобы перевести уравнения из приведенной формы к уравнению структурной формы.
Упрощение расчетов происходит за счет работы с отклонениями от средних уровней. Далее преобразованные данные вносятся в таблицу. Далее уравнения вычисляются по отдельности и создается новая последовательность.
В отличие от классического метода косвенный дает смещенные оценки. При интерпретации коэффициентов множественной регрессии допускается, что факторы не зависят друг от друга. Если эта предпосылка появляется, то классический метод оказывается не рабочим, так как приводит к несостоятельности оценок структурных коэффициентов.
Рост эндогенных переменных увеличивает недостоверность традиционного метода, так как становится невозможно расщепить совместное влияние переменных и выделить изолированные меры их воздействия.
Косвенный метод используется для того, чтобы в одной из частей уравнения остались только экзогенные переменные. И только после этого применяется метод наименьших квадратов, чтобы получить оценки некоторых выражений.
Таким образом, классический метод имеет более широкое применение. Он используется в статистических и математических расчетах для решения задач, где получить точный ответ представляется невозможным. Косвенный метод необходим для того, чтобы решать частные случаи, когда классический приводит к еще большим отклонениям. Есть дисконтированный метод, который используется для прогнозирования процессов. Дисконтирование позволяет учитывать тенденции в системе. Для расчета трендов используются величины с более-менее одинаковыми весами. Если параметры сглаживаются, то в расчете коэффициентов используется все меньше старых значений, поэтому появляется возможность перераспределять веса между более новыми значениями. Остальные значения фактически не учитываются.
