Метод максимального правдоподобия – это рациональный способ построения оценки какого-либо неизвестного параметра, суть которого состоит в том, что за «наиболее правдоподобное» значение параметра принимается значение $Ө$, сводящее к максимуму вероятность получения при $n$ опытах следующую выборку $X = (x_1, …, x_n)$.
Методы нахождения оценок
В общем смысле точечная оценка неизвестного параметра $Ө$ – это любая статистика. В практической же деятельности чаще всего рассматриваются самые «качественные» оценки, при которых вероятность принятия ими значения максимально близкого к неизвестному значению $Ө$ при реализации случайной выборки будет наибольшей. Данные оценки делят на несмещенные, состоятельные и эффективные. При этом возникает вопрос о методах получения качественной оценки для произвольного параметра $Ө$ исследуемой случайной величины $X$. Наиболее распространены следующие методы нахождения оценок:
- Метод подстановки;
- Метод моментов;
- Метод наибольшего правдоподобия.
Метод подстановки – это наиболее простой метод отыскания точечных оценок. Он заключается в том, что оценкой неизвестного параметра $Ө$ является соответствующая выбранная числовая характеристика:
Рисунок 1. Формула. Автор24 — интернет-биржа студенческих работ
К примеру, по методу постановки оценка математического ожидания – это выборочное среднее, а оценка дисперсии – это выборочная дисперсия.
Все полученные по методу подстановки оценки являются состоятельными, но не гарантирована их эффективность и несмещенность. Пример смещенной оценки – выборочная дисперсия.
Рассмотрим далее метод моментов. Предположим, что $x_1, …, x_n$ – это выборка наблюдений некоторой случайной величины$X$, которая имеет распределение $Fx (x, Ө)$ содержащее вектор неизвестных параметров $Ө =( Ө_1, …, Ө_k)$. Допустим, что для данного распределения можно рассчитать начальные моменты
Рисунок 2. Формула. Автор24 — интернет-биржа студенческих работ
и центральные
Рисунок 3. Формула. Автор24 — интернет-биржа студенческих работ
некоторых порядков $r$.
Такие моменты называются функциями соответствующих неизвестных параметров $Ө_1, …, Ө_k$. Однако, для выборки можно рассчитать выборочные начальные моменты
Рисунок 4. Формула. Автор24 — интернет-биржа студенческих работ
Рисунок 5. Формула. Автор24 — интернет-биржа студенческих работ
Метод моментов заключается в том, что необходимо найти такой вектор параметров $Ө$, при котором будут равны теоретические и выборочные моменты, т.е. в решении системы уравнений:
Рисунок 6. Формула. Автор24 — интернет-биржа студенческих работ
Число уравнений в данной системе будет равняться количеству неизвестных параметров $k$. Чтобы получить оценки с помощью метода моментов, может быть выбран любой момент произвольного порядка, но, как правило, в практике используются только моменты низших порядков.
Как и при методе подстановок, все оценки, найденные по методу моментов, характеризуются как состоятельные, но не гарантируется их эффективность и несмещенность.
Точечные оценки, найденные при помощи метода моментов, носят название ММ-оценки.
Метод наибольшего правдоподобия рассмотрим в следующем пункте.
Сущность метода максимального правдоподобия
Под методом максимального правдоподобия в математической статистике понимается метод оценки неизвестного параметра посредством максимизации функции правдоподобия. Основой данного метода является предположение о том, что все данные о статистической выборке содержатся в функции правдоподобия. Описываемый метод был проанализирован Р. Фишером в начале 20-го века, который в дальнейшем его рекомендовал и популяризировал.
Оценка наибольшего правдоподобия – это достаточно популярный статистический метод, используемый с целью построения статистической модели на основе информации и обеспечения оценки всех параметров модели.
Метод наибольшего правдоподобия соответствует многим популярным методам статистической оценки. К примеру, вы рассматриваете такой антропометрический параметр, как рост жителей данной страны. Допустим, что вы располагаете данными о росте определенного количества людей, но не всего населения. Помимо этого, допускается, что рост – это нормально распределенная величина со средним значением и неизвестной дисперсией. Дисперсия роста и среднее значение в выборке будут являться максимально правдоподобными к дисперсии и среднему значению всего населения.
Используя фиксированный набор данных и базовой модели вероятностей в расчетах с помощью метода правдоподобия, будут получены такие значения параметров, которые будут делать данные «наиболее приближенные» к реальным. Метод максимального правдоподобия является уникальным и простым способом определения решения при нормальном распределении.
Метод наибольшего правдоподобия используются во многих статистических моделях:
- В линейных и обобщенных линейных моделях;
- В факторном анализе;
- При моделировании структурных уравнений;
- Во многих ситуациях, предполагающих проверку гипотезу и доверительный интервал формирования;
- В дискретных моделях выбора и т.д.
Метод наибольшего правдоподобия заключается в том, что оценкой вектора неизвестных параметров
Рисунок 7. Формула. Автор24 — интернет-биржа студенческих работ
выступает вектор
Рисунок 8. Формула. Автор24 — интернет-биржа студенческих работ
который доставляет максимум функции правдоподобия:
Рисунок 9. Формула. Автор24 — интернет-биржа студенческих работ
Иными словами, сущность метода наибольшего правдоподобия заключается в нахождении такого вектора параметров, при котором была бы наиболее вероятной реализация $x_1, … ,x_n$ случайной выборки $X_1,…, X_n$.
Точечные оценки, получаемые при методе наибольшего правдоподобия, носят название МП-оценки.
Пример использования метода максимального правдоподобия
Пусть необходимо найти при помощи метода максимально правдоподобия оценку заданного параметра p биноминального распределения
Рисунок 10. Формула. Автор24 — интернет-биржа студенческих работ
если в $n_1$ независимых испытания некоторое событие $A$ появлялось $m_1$ раз, а в $n_2 – m_2$ раз.
Для того, чтобы решить данную задачу, необходимо составить функцию правдоподобия:
Рисунок 11. Формула. Автор24 — интернет-биржа студенческих работ
Затем следует отыскать логарифмическую функцию:
Рисунок 12. Формула. Автор24 — интернет-биржа студенческих работ
На следующем этапе определяется первая производная p:
Рисунок 13. Формула. Автор24 — интернет-биржа студенческих работ
Найденную производную необходимо приравнять к нулю, тем самым записав уравнение правдоподобия.
Рисунок 14. Формула. Автор24 — интернет-биржа студенческих работ
После относительного решения полученного уравнения находим значение критической точки:
Рисунок 15. Формула. Автор24 — интернет-биржа студенческих работ
В данной точке вторая производная будет отрицательной, а, следовательно, данная точка является максимумом. Таким образом найденная точка принимается в качестве оценки по методу максимального правдоподобия неизвестной вероятности p биноминального распределения.
