Критерий согласия Пирсона (хи-квадрат)

Национальный Исследовательский Университет Высшая Школа Экономики. (Департамент Математики) Грибкова Надежда Викторовна Теория Вероятностей и Математическая Статистика (лекция 14) Санкт-Петербург, 2021 1 / 38 4 §4.17 Критерий согласия Пирсона (хи-квадрат) Постановка задачи. Пусть имеется выборка X1 , . . . , Xn из некоторого распределения с.в. ξ с ф.р. F ∈ F, где F — множество допустимых распределений. Требуется проверить гипотезу о согласии: H0 : F (x) ≡ F0 (x), где F0 — некоторое конкретное полностью известное распределений. Критерий χ2 (хи-квадрат) — это один из наиболее часто используемых методов для тестирования различных статистических гипотез. 2 / 38 4 Характерной чертой критерия χ2 является его «универсальность», состоящая в том, что формула статистики Пирсона и ее предельное распределение не зависят от вида гипотетического распределения, и критерий может быть использован для проверки гипотезы о принадлежности выборки любому распределению. Критерий первоначально был предложен Пирсоном для проверки гипотезы о принадлежности данных конкретному мультиномиальному дискретному распределению, но впоследствии выяснилось, что он применим к любым данным, если их предварительно группировать. Рассмотрим критерий вначале для случая дискретного распределения ξ с конечным числом значений, затем обобщим его на случай произвольных распределений с помощью дискретизации, достигаемой группировкой. 3 / 38 4 1. Случай дискретных данных, т.е. ξ – дискретная случайная величина Пусть в эксперименте наблюдаются значения дискретной случайной величины ξ, принимающей значения x1 , x2 , . . . , xr с вероятностями p1 , p2 , . . . , pr (p1 + p2 + · · · + pr = 1). Предположим, что были сделаны n независимых наблюдений ξ и получена выборка X1 , X2 , . . . , Xn . Обозначим νj = ]{i : Xi = xj }, j = 1, . . . , r , т.е. νj — число появлений значения xj в выборке X1 , X2 , . . . , Xn , при этом ясно, что ν1 + ν2 + · · · + νr = n. Обозначим p = (p1 , p2 , . . . , pr ) вектор (неизвестных) вероятностей. Введем вектор p0 = (p10 , p20 , . . . , pr0 ) гипотетических вероятностей. Наша цель — проверить гипотезу: H0 : p = p0 4 / 38 4 ν Если гипотеза H0 верна, то относительные частоты nj значений xj и гипотетические вероятности этих значений pj0 должны быть близки. К.Пирсон (1920-е гг.) предложил следующую меру расхождения между ν эмпирическими вероятностями nj (относительными частотами) и гипотетическими вероятностями pj0 : Pn = r X j=1 cj
2 νj − pj0 , n при этом, как оказалось, критерий обладает наилучшими свойствами (в смысле существования универсального предельного распределения), если взять в качестве нормирующих коэффициентов cj = pn0 . При j таком выборе коэффициентов мы приходим к следующей статистике:
2 r r X X νj − n pj0 νj2 Pn = = − n. (1) n pj0 n pj0 j=1 j=1 Здесь νj – это число появлений значения xj , а n pj0 — математическое ожидание числа появлений xj в выборке, если гипотеза H0 верна. 5 / 38 4 ν Если гипотеза H0 верна, то разности nj − pj0 должны быть малы (в силу ЗБЧ), следовательно, значение статистики Пирсона должно быть умеренным (не слишком большим). Поэтому естественно в качестве критической области (при попадании в которую мы отклоняем гипотезу H0 ) взять SK = {Pn > κα }, где κα следует выбрать из условия
P Pn > κα H0 = α, где α — уровень значимости. Основная проблема в том, чтобы найти пороговое значение κα . Для этого необходимо знать распределение статистики Pn , найденное в предположении, что гипотеза H0 верна. 6 / 38 4 Точное распределение при конечных значениях n найти очень сложно, но у статистики Pn есть асимптотическое распределение при n → ∞, которое можно использовать в качестве приближения для точного при достаточно больших n. В основе приближения лежит следующий факт. Теорема 4.1 (Теорема Пирсона) Если гипотеза H0 верна и 0 < pj < 1, j = 1, 2, . . . , r , то для любого α>0 Z ∞
P Pn > α −→n→∞ = fχ2 (x) dx, α r −1 то есть при справедливости H0 распределение статистики Пирсона сходится к распределению хи-квадрат χ2r −1 с r − 1 степенями свободы. 7 / 38 4 Схема применения критерия Пирсона: 1. назначается уровень значимости α; 2. вычисляются частоты νj , j = 1, 2, . . . , r , и статистика Пирсона Pn ;
2 3. находится κα из условия P χ > κ =α ⇔ α r −1
2 Fχ2 (κα ) = P χr −1 < κα = 1 − α, то есть κα — это квантиль уровня r −1 (1 − α) распределения χ2r −1 (табулировано); 4. если Pn > κα , то гипотеза H0 отвергается (вероятность ошибки равна α). Замечание 4.1 Из доказательства теоремы следует, что критерий работает правильно, если n ≥ 50 и νj ≥ 5 для всех j = 1, 2, . . . , r . 8 / 38 4 1. Случай непрерывного распределения наблюдений (с.в. ξ) Пусть X1 , X2 , . . . , Xn — выборка из распределения случайной величины ξ, имеющей непрерывное распределение с (неизвестной) ф.р. Fξ (x). Мы предполагаем, что эта функция есть некоторая F0 (x) (полностью известная), и наша цель — проверить гипотезу: H0 : Fξ (x) ≡ F0 (x) В случае непрерывного распределения все Xi различны (с вер. 1) и никакие частоты νj сосчитать нельзя . Однако критерий Пирсона по-прежнему применим, но при переходе к частотному представлению, достигаемому группировкой данных. Множество значений случайной величины ξ разбивается на r непересекающихся интервалов точками a0 < a1 < · · · < ar . Для каждого интервала (aj−1 , aj ), j = 1, 2, . . . , r , вычисляется число наблюдений, которые в него попали (частота): νj = ]{i : Xi ∈ (aj−1 , aj )}, 9 / 38 4 затем гипотетические вероятности pj0 = F0 (aj ) − F0 (aj−1 ), попадания в эти интервалы (aj−1 , aj ). Пусть pj = Fξ (aj ) − Fξ (aj−1 ) обозначают (неизвестные) вероятности попаданий в эти же интервалы для исходного распределения. Задача сводится к проверке гипотезы: H0 : p = p0 , где p = (p1 , . . . , pr ) — вектор (неизвестных) реальных вероятностей, p0 = (p10 , . . . , pr0 ) — вектор гипотетических вероятностей попаданий. 10 / 38 4 Вычисляется статистика Пирсона: Pn = r X νj − n pj0 j=1 n pj0
2 = r X νj2 j=1 n pj0 − n, для которой справедлива теорема Пирсона. Далее используется та же схема проверки (см. выше). Замечание 4.2 Следует отметить, что разбиение на зоны (интервалы) выборочного пространства (множества значений с.в. ξ) следует производить таким образом, чтобы в каждый из интервалов j = 1, 2, . . . , r попадало не менее 5 наблюдений (желательно, ≥ 10). Интервалы не обязательно должны быть одинаковой длины. И если условие не выполняется для какого-либо интервала, то его следует объединить с соседним. 11 / 38 4 Пример 4.1 В своих знаменитых опытах по наследованию признаков Мендель скрестил 556 мужских растений круглого желтого гороха с женскими растениями зеленого морщинистого гороха. В получившемся потомстве обозначим: ν1 - число гладких желтых в потомстве, ν2 - число гладких зеленых, ν3 - число желтых морщинистых, ν4 - число зеленых морщинистых. Он получил в эксперименте: (ν1 , ν2 , ν3 , ν4 ) = (301, 123, 102, 32). Гипотеза Менделя о законе наследования признаков была следующей:
9 3 3 1 H0 : p = p0 = 16 , 16 , 16 , 16 , . H1 : p = (p1 , p2 , p3 , p4 ) 6= p0 (pj > 0, p1 + p2 + p3 + p4 = 1).
9 3 3 1 n p0 = 556 16 , 16 , 16 , 16 , = (312.75, 104.25, 104.25, 34.75) 12 / 38 4 Pn = r X νj − n pj0 j=1 + n pj0
2 = (301 − 312.75)2 (123 − 104.25)2 + 312.75 104.25 (102 − 104.25)2 (32 − 34.75)2 + = 3.39888. 104.25 34.75 Возьмем стандартный уровень значимости α = 0.05. Мы имеем r − 1 = 4 − 1 = 3 степени свободы, пороговое значение κα = 7.81 (найдено по таблицам). Поскольку Pn = 3.39888  7.81, гипотеза хорошо согласуется с опытными данными и может быть достаточно уверенно принята. В таблицах распределения χ23 можно найти, что фактический уровень значимости (p-value) близок к 0.3. Например, если взять α = 0.25 (очень высокий уровень значимости), то граница критической области κα = 4.10834, все еще находим, что Pn = 3.39888 < 4.10834, и гипотеза по-прежнему не отвергается. Чем меньше α, тем больше 1 − α, и тем больше критическая точка κα . 13 / 38 4 §4.18 Критерий согласия Колмогорова Пусть имеется выборка X1 , . . . , Xn из распределения с.в. ξ с ф.р. Fξ . Пусть Fbn (x) — эмпирическая функция распределения. Хотим проверить гипотезу о согласии: H0 : Fξ (x) ≡ F0 (x), где F0 — некоторая конкретная функция распределения. В качестве меры расхождения критерий использует расстояние: Dn = sup |Fbn (x) − F0 (x)| −∞ 0;
√ k=−∞ (−1) e P nDn < z −→n→∞ = K(z) = 0, z ≤ 0. 14 / 38 4 Значения функции распределения Колмогорова K(z) табулированы. Схема применения критерия Колмогорова: 1. назначается уровень значимости α; 2. вычисляется значение расстояния Dn = sup−∞ zα , то гипотеза H0 отвергается (вероятность ошибки равна α). Критерий хорошо работает уже при n ≥ 20. 15 / 38 4 Критерий Колмогорова – Смирнова для проверки однородности Имеются две выборки: X1 , . . . , Xn ∼ F1 (x), соответствующая эмпирическая ф.р. Fb1,n (x); Y1 , . . . , Ym ∼ F2 (x) соответствующая эмпирическая ф.р. Fb2,m (x) Требуется проверить гипотезу о том, что эти данные из одного и того же распределения: H0 : F1 (x) ≡ F2 (x) ≡ F (x) Ясно, что, если H0 верна, то эмпирические ф.р. должны быть близки. Проверка основана на мере расхождения Dn,m = sup −∞ 0;
mn k=−∞ (−1) e Dn,m < z −→n,m→∞ = K(z) = P m+n 0, z ≤ 0. Схема применения критерия Колмогорова–Смирнова: 1. назначается уровень значимости α; 2. вычисляется значение расстояния Dn,m = sup−∞ zα , то гипотеза H0 отвергается (вероятность ошибки равна α). Хорошо работает при m + n ≥ 20, min(n, m) > 5. 17 / 38 5 §5.1 Основные методы оценки параметров распределений Пусть X = (X1 , . . . , Xn ) — случайная выборка из распределения с.в. ξ, F (x) = F (x, θ) — ее функция распределения, где F — известная функция, но параметр (возможно, векторный) θ = (θ1 , . . . , θm ) ∈ Θ, m ∈ N, не известен. Наша цель — оценить значение θ на основе наблюдений, то есть мы хотим найти хорошую (состоятельную и несмещенную) оценку θ̂n = θ̂n (X1 , . . . , Xn ) для θ. I. Метод моментов Определение 5.1 (Напоминание) Величина µk = Eξ k называется моментом k-го порядка, k ∈ N случайной величины ξ, при условии, что математическое ожидание существует. 18 / 38 5 Пусть F (x) = F (x, θ) и f (x, θ) = F 0 (x, θ) — функция распределения и плотность, и предположим, что µk существует. Мы имеем Z ∞ µk = x k f (x, θ) dx = µk (θ) −∞ Состоятельной и несмещенной оценкой для µk является P mk = n1 ni=1 Xik — выборочный k-й момент. Действительно, при n → ∞, n mk = 1X k P Xi −→ EX k = µk (θ) — состоятельность n i=1 E(mk ) = E n 1 X n i=1  1 Xik = · n · E(Xk ) = µk (θ) — несмещенность n Но значение θ неизвестно. 19 / 38 5 Идея метода моментов состоит в следующем: если θ есть истинное (правильно выбранное) значение параметра, то значения µk и mk должны быть близки друг другу. Определение 5.2 Пусть θ(θ1 , . . . , θm ) — вектор параметров и предположим, что m-й момент существует (следовательно, моменты порядка k < m существуют). Если следующая система уравнений ( mk = µk (θ); k = 1, 2 . . . , m имеет единственное решение, то оно называется оценкой параметра θ по методу моментов. Оценки по методу моментов обычно состоятельные и асимптотически несмещенные, но часто имеют бо́льшую дисперсию, чем оценки максимального правдоподобия (поэтому часто менее эффективны, чем последние), но их часто предпочитают из-за простоты получения. 20 / 38 5 Примеры оценок по методу моментов Пример 5.1 Пусть (X1 , . . . , Xn ) – выборка из экспоненциального распределения ξ ∼ Exp(λ), где λ > 0 — неизвестный параметр. Найдем оценку λ методом моментов. Мы знаем (см. соответствующую лекцию ранее), что n 1X 1 m1 = X = Xi . µ1 = Eξ = , λ n i=1 Уравнение метода моментов 1 = m1 = X λ =⇒ λ̂n = 1 n = Pn . X i=1 Xi 21 / 38 5 Пример 5.2 Пусть (X1 , . . . , Xn ) — выборка из нормального распределения ξ ∼ N(µ, σ 2 ), где µ ∈ R и σ > 0 — неизвестные параметры. Найдем оценку для θ = (µ, σ 2 ) по методу моментов. Мы знаем (см. соответствующую лекцию ранее), что n µ1 = Eξ = µ, m1 = X = 1X Xi . n i=1 n σ 2 = Eξ 2 − (Eξ)2 = µ2 − µ21 , m2 − m12 = 1X 2 Xi − (X )2 = Sn2 n i=1 Система уравнений метода моментов дает ( P µ̂n = X = n1 ni=1 Xi ; P σˆ2 n = Sn2 = n1 ni=1 (Xi − X )2 22 / 38 5 Пример 5.3 Пусть (X1 , . . . , Xn ) — выборка из распределения Пуассона ξ ∼ Pois(λ), где λ > 0 — неизвестный параметр. Найдем оценку для λ по методу моментов. Мы знаем (см. соответствующую лекцию ранее), что n µ1 = Eξ = λ, 1X m1 = X = Xi . n i=1 Уравнение метода моментов λ=X =⇒ λ̂n = X Таким образом, выборочное среднее X есть оценка параметра λ по методу моментов. 23 / 38 5 Понятие эффективности оценок Пусть X1 , . . . , Xn — случайная выборка из распределения с.в. ξ, F (x) = F (x, θ) — ее функция распределения, зависящая от неизвестного скалярного параметра θ ∈ Θ. Предположим, что у нас есть две состоятельные и несмещенные (1) (2) оценки параметра: θ̂n и θ̂n . Какую из оценок предпочесть? Чтобы сравнить качество оценок, имеет смысл сравнить их математические ожидания квадратов отклонения от θ: (1) (1) (2) (2) R(θ̂n ) = E(θ̂n − θ)2 and R(θ̂n ) = E(θ̂n − θ)2 (so called квадратичные риски оценок) (1) (2) Так как оценки несмещенные (т.е., Eθ̂n = Eθ̂n = θ), мы имеем (1) (1) R(θ̂n ) = D(θ̂n ), (2) (2) R(θ̂n ) = D(θ̂n ) Поэтому, учитывая риск отклонения, мы должны предпочесть оценку с меньшей дисперсией. Это подводит нас к концепции эффективности. 24 / 38 5 Определение 5.3 (1) (2) Пусть θ̂n и θ̂n — две состоятельные и несмещенные оценки (1) (2) параметра θ. Говорят, что оценка θ̂n более эффективна, чем θ̂n , если (1) (2) D(θ̂n ) < D(θ̂n ). Определение 5.4 (∗) Пусть Qθ — класс всех несмещенных оценок параметра θ. Оценка θ̂n называется эффективной, если (∗) D(θ̂n ) = min D(θ̂n ) θn ∈Qθ Эффективные оценки существуют для ряда классов распределений. Следующий метод дает оценки, которые, как правило, более 25 / 38 эффективны, чем оценки методом моментов.. 5 Оценки максимального правдоподобия II. Метод максимального правдоподобия Случай 1. Пусть ξ — дискретная случайная величина принимающая значения x1 , x2 , . . . (конечное, либо счетное множество) с вероятностями
P ξ = xk = p(xk , θ), k = 1, 2 . . . , зависящими от неизвестного (скалярного или векторного) параметра θ = (θ1 , . . . , θm ), θ ∈ Θ. Пусть X = (X1 , . . . , Xn ) — выборка объема n. Определение 5.5 Функция L(X, θ) = L(X1 , . . . , Xn , θ) = n Y i=1 p(Xi , θ) = n Y P(ξ = Xi ), i=1 рассматриваемая как функция θ при данном X называется функцией правдоподобия в случае дискретного распределения наблюдений. 26 / 38 5 Q Заметим, что функция правдоподобия L(X, θ) = ni=1 P(ξ = Xi ) (в случае дискретного распределения) есть не что иное, как вероятность получения выборки X = (X1 , . . . , Xn ), которую мы уже имеем, как функция параметра θ. Определение 5.6 Значение параметра θ, доставляющее максимум функции правдоподобия, называется оценкой максимального правдоподобия (ОМП) θ̂МП : L(X, θ̂МП ) = max L(X, θ) θ∈Θ Определение 5.7 Функция
Ln(X, θ) = ln L(X, θ) называется логарифмической функцией правдоподобия 27 / 38 5 Заметим, что поскольку ln(x) %x — строго возрастающая функция, точки максимума функций L(X, θ) и Ln(X, θ) совпадают, но точки максимума логарифмической функции правдоподобия, как правило, легче найти. Случай 2. Пусть ξ имеет абсолютно непрерывное распределение с плотностью f (x, θ) = F 0 (x, θ), и X = (X1 , . . . , Xn ) — выборка из этого распределения. Определение 5.8 Функция L(X, θ) = L(X1 , . . . , Xn , θ) = n Y f (Xi , θ), i=1 рассматриваемая как функция θ при данной выборке X, называется функцией правдоподобия в случае непрерывного распределения наблюдений. 28 / 38 5 Q Заметим, что функция правдоподобия L(X, θ) = ni=1 f (Xi , θ) (в случае непрерывного распределения) есть не что иное как значение плотности совместного распределения fX вектора (X1 , . . . , Xn ), вычисленной в точке X ∈ Rn , рассматриваемая, как функция параметра θ. Как и прежде, мы определяем: Определение 5.9 Значение параметра θ, доставляющее максимум функции правдоподобия, называется оценкой максимального правдоподобия (ОМП) θ̂МП : L(X, θ̂МП ) = max L(X, θ) θ∈Θ Если максимум функции правдоподобия достигается в точке θ̂MLE , являющейся внутренней точкой области Θ возможных значений параметра и если функция правдоподобия дифференцируема по θ, то ОМП может быть найдена, как решение системы уравнений: 29 / 38 5 ( ∂ L(X,θ) ∂ θj = 0, j = 1, 2 . . . , m ( ∂ Ln(X,θ) или ∂ θj = 0, j = 1, 2 . . . , m. Как уже отмечалось, нахождение решения второй системы часто бывает легче, чем решение первой. Оценки максимального правдоподобия имеют ряд привлекательных свойств при достаточно широких предположениях: P 1. θ̂МП −→ θ (состоятельность). 2. bn (θ) = E(θ̂МП ) − θ −→n→∞ 0 (асимптотическая несмещенность). 3. Асимптотическая эффективность. 4. Асимптотическая нормальность (которая позволяет строить доверительные интервалы для θ, основанные на оценке θ̂МП ). 30 / 38 5 Примеры оценок максимального правдоподобия Пример 5.4 Рассмотрим последовательность испытаний Бернулли с неизвестной вероятностью успеха θ в каждом испытании. Пусть имеется выборка X = (X1 , . . . , Xn ) наблюдений над с.в. ξ с распределением Бернулли: ( 1, с вероятностью θ; ξ= 0, с вероятностью 1 − θ. Обозначим m = #{i : Xi = 1} = X1 + X2 + · · · + Xn – число успехов в n испытаниях, выпишем функцию правдоподобия: L(X, θ) = n Y i=1 P(ξ = Xi ) = n  Y θXi (1 − θ)1−Xi  = θm (1 − θ)n−m . i=1 31 / 38 5 Пример 5.4 (продолжение) Чтобы найти оценку максимума правдоподобия для θ, мы должны найти точку максимума функции L(X, θ) по θ. Будет легче найти точку максимума логарифмической функции правдоподобия
Ln(X, θ) = ln θm (1 − θ)n−m = m ln(θ) + (n − m) ln(1 − θ). Уравнение правдоподобия
m n−m d Ln(X, θ) = − = 0 ⇐⇒ m(1 − θ) = (n − m)θ {z } | dθ 1{z −θ |θ } ⇐⇒ m = nθ =⇒ θ̂МП = m X1 + X2 + · · · + Xn = = X. n n Таким образом, X = m n — относительная частота успеха — есть ОМП (оценка максимального правдоподобия) для неизвестной вероятности успеха θ. 32 / 38 5 Пример 5.5 Пусть (X1 , . . . , Xn ) — выборка из распределения Пуассона ξ ∼ Pois(θ), где θ > 0 — неизвестный параметр. Найдем оценку максимального правдоподобия для θ. Вначале выпишем функцию правдоподобия: L(X, θ) = n Y i=1 P(ξ = Xi ) = n  Xi Y θ i=1 Xi ! e −θ  =θ Pn i =1 Xi  n  Y 1 e nθ . Xi ! |i=1 {z } =C Логарифмическая функция правдоподобия равна ! n X Ln(X, θ) = Xi ln(θ) + ln(C ) − nθ. i=1 Найдем ее точку максимума из уравнений правдоподобия: 33 / 38 5 Пример 5.5 (продолжение) Pn
Xi d Ln(X, θ) = i=1 −n =0 dθ } | θ {z Pn =⇒ θ̂МП = i=1 Xi n = X. Таким образом, X есть оценка максимального правдоподобия для параметра θ. Пример 5.6 Пусть (X1 , . . . , Xn ) — выборка объема n из нормального распределения ξ ∼ N(θ1 , θ2 ), где θ = (θ1 , θ2 ) — векторный неизвестный параметр. Найдем оценку максимального правдоподобия для θ. Функция плотности нормального распределения равна 2 f (x, θ) = √ (x−θ1 ) 1 − e 2θ2 , 2πθ2 где θ1 и θ2 соответствуют µ = Eξ и σ 2 = D(ξ), соответственно. 34 / 38 5 Пример 5.6 (продолжение) L(X, θ) = n Y f (Xi , θ) = i=1 1 1 − 2θ1 Pni=1 (Xi −θ1 )2 e 2 (2π)n/2 θn/2 2 Чтобы найти точку максимума, мы используем логарифмическую функцию правдоподобия n n n 1 X Ln(X, θ) = ln L(X, θ) = − ln(2π) − ln(θ2 ) − (Xi − θ1 )2 2 2 2θ2
i=1 n n X ∂Ln(X, θ) 1 X = (Xi − θ1 ) = 0 ⇐⇒ Xi = nθ1 ∂θ1 θ2 i=1 i=1 | {z } Следовательно, n θ̂1МП = 1X Xi = X . n i=1 35 / 38 5 Пример 5.6 (продолжение) n n 1 X ∂Ln(X, θ) =− + (Xi − X )2 = 0 ⇐⇒ ∂θ2 2θ2 2θ22 i=1 | {z } Следовательно, n 1 X (Xi − X )2 = n θ2 i=1 n θ̂2МП = 1X (Xi − X )2 = Sn2 . n i=1 Таким образом, θ̂МП = (θ̂1МП , θ̂2МП ) = (X , Sn2 ) Замечание 5.1 Тот факт, что стационарная точка является именно точкой максимума (а не минимума и не седловой точкой), следует из того, что функция L(X, θ) положительна, выпуклая вверх и стремится к нулю на бесконечности в области Θ. 36 / 38 5 Пример 5.7 Пусть X = (X1 , . . . , Xn ) — выборка объема n из экспоненциального распределения ξ ∼ Exp(θ), где θ > 0 — неизвестный параметр. Найдем оценку максимального правдоподобия для θ. Плотность экспоненциального распределения равна ( 0, x ≤ 0; f (x, θ) = −θ x , x > 0. θe Если наблюдается экспоненциальная случайная величина, то имеет место Xi > 0, для всех i = 1, . . . , n. Тогда функция правдоподобия равна n Pn Y L(X, θ) = f (Xi , θ) = θn e −θ i =1 Xi , i=1 37 / 38 5 Пример 5.7 (продолжение) логарифмическая функция правдоподобия равна n X
Ln(X, θ) = ln L(X, θ) = n ln θ − θ Xi . i=1 Найдем точки максимума Ln(X, θ): n n X 1 X n dLn(X, θ) = − Xi = 0 ⇐⇒ Xi = dθ θ θ i=1 i=1 | {z } Следовательно, θ̂МП = Pn n i=1 Xi = 1 . X 38 / 38