Сравнение эффективности двух точечных оценок неизвестного параметра.

Рассмотрим пример, в котором нужно сравнить эффективность двух точечных оценок неизвестного параметра. Пример. Пусть 𝑋1 , … , 𝑋𝑛 – случайная выборка из генеральной совокупности признака 𝑋, имеющего равномерное распределение на отрезке [0; 𝑎] с неизвестным параметром 𝑎. Для неизвестного параметра 𝑎 найдём точечную оценку 𝑎1∗ методом моментов и точечную оценку 𝑎2∗ методом максимального правдоподобия, а затем сравним эффективность полученных точечных оценок. Найдём точечную оценку неизвестного параметра 𝑎 методом моментов. Для этого составим уравнение 𝑀(𝑋) = 𝑋̅, где 𝑋̅ – выборочное среднее, полученное по случайной выборке 𝑋1 , … , 𝑋𝑛 . Поскольку случайная величина 𝑋 имеет равномерное распределение на отрезке 𝑎 [0; 𝑎], то её математическое ожидание 𝑀(𝑋) равно . Получим уравнение 𝑎 2 2 = 𝑋̅. Значит, 𝑎1∗ = 2𝑋̅ – это точечная оценка неизвестного па- раметра 𝑎, полученная методом моментов. Теперь найдём точечную оценку неизвестного параметра 𝑎 методом максимального правдоподобия. Составим функцию правдоподобия 𝐿(𝑎) = ∏𝑛𝑖=1 𝑓𝑋 ( 𝑋𝑖 , 𝑎), где 𝑓𝑋 – плотность распределения случайной величины 𝑋. Поскольку 𝑓𝑋 (𝑥, 𝑎) = 𝑥 ∉ [0; 𝑎], то 𝐿(𝑎) = 1 𝑎𝑛 1 𝑎 , если 𝑥 ∈ [0; 𝑎], и 𝑓𝑋 (𝑥, 𝑎) = 0 , если , если 𝑋𝑖 ∈ [0; 𝑎] при всех 𝑖 = 1, … , 𝑛, и 𝐿(𝑎) = 0, если при некотором 𝑖 элемент выборки 𝑋𝑖 ∉ [0; 𝑎]. Заметим, что функция 1 𝑎𝑛 является убывающей по переменной 𝑎. Отсюда следует, что функция правдоподобия 𝐿 имеет наибольшее значение при 𝑎 = max(𝑋1 , … , 𝑋𝑛 ). Значит, случайная величина 𝑎2∗ = max(𝑋1 , … , 𝑋𝑛 ) будет оценкой максимального правдоподобия неизвестного параметра 𝑎. Теперь сравним эффективность полученных точечных оценок. Для этого вычислим 𝑀((𝑎1∗ − 𝑎)2 ) и 𝑀((𝑎2∗ − 𝑎)2 ). 𝑎 Поскольку 𝑀(𝑎1∗ ) = 𝑀(2𝑋̅) = 2𝑀(𝑋̅) = 2𝑀(𝑋) = 2 = 𝑎, то точечная 2 𝑎1∗ оценка является несмещённой оценкой параметра 𝑎 и поэтому математическое ожидание 𝑀((𝑎1∗ − 𝑎)2 ) = 𝐷(𝑎1∗ ). Используя свойства дисперсии, получим 𝐷(𝑋) 𝑎2 𝑎2 ∗) ̅ ̅ 𝐷(𝑎1 = 𝐷(2𝑋) = 4𝐷(𝑋) = 4 =4 = . 𝑛 12𝑛 3𝑛 1 Математическое ожидание и дисперсия случайной величины = max(𝑋1 , … , 𝑋𝑛 ) были найдены в предыдущем примере, в котором была доказана состоятельность этой точечной оценки. Было получено, что 𝑛 𝑛 𝑀(𝑎2∗ ) = 𝑎 и 𝐷(𝑎2∗ ) = (𝑛+2)(𝑛+1)2 𝑎2 . 𝑎2∗ 𝑛+1 Следовательно, 𝑛𝑎2 𝑎2 𝑀((𝑎2∗ − 𝑎)2 ) = 𝐷(𝑎2∗ ) + (𝑀(𝑎2∗ ) − 𝑎)2 = (𝑛+2)(𝑛+1)2 + (𝑛+1)2 = 2𝑎2 . (𝑛+1)(𝑛+2) ∗ 𝑀((𝑎2 − 𝑎)2 ) при Теперь уже нетрудно получить, что 𝑀((𝑎1∗ − 𝑎)2 ) = 𝑛 = 1 и при 𝑛 = 2, а при всех 𝑛 > 2 выполняется неравенство 𝑀((𝑎2∗ − 𝑎)2 ) < 𝑀((𝑎1∗ − 𝑎)2 ), то есть при всех 𝑛 > 2 оценка максимального правдоподобия эффективнее точечной оценки, полученной методом моментов. Упражнение 19. Пусть 𝑋 – случайная величина, 𝑎 – действительное число. Докажите, что 𝑀((𝑋 − 𝑎)2 ) = 𝐷(𝑋) + (𝑀(𝑋) − 𝑎)2 . §4. Доверительные интервалы Определение. Пусть 𝜃1∗ и 𝜃2∗ – точечные оценки параметра 𝜃, полученные по случайной выборке из генеральной совокупности с неизвестным параметром 𝜃 и 𝑃(𝜃1∗ < 𝜃2∗ ) = 1, тогда интервал (𝜃1∗ ; 𝜃2∗ ) будем называть интервальной оценкой параметра 𝜃. Определение. Интервальная оценка (𝜃1∗ ; 𝜃2∗ ) параметра 𝜃 называется доверительным интервалом с надёжностью 𝛾 для параметра 𝜃, если 𝑃(𝜃1∗ < 𝜃 < 𝜃2∗ ) ≥ 𝛾. Определение. Пусть 𝜃 ∗ – точечная оценка параметра 𝜃, полученные по случайной выборке из генеральной совокупности с неизвестным параметром 𝜃. Если 𝑃(𝜃 < 𝜃 ∗ ) ≥ 𝛾 , то интервал (−∞; 𝜃 ∗ ) называется левосторонним доверительным интервалом с надёжностью 𝛾 для параметра 𝜃. Если 𝑃(𝜃 > 𝜃 ∗ ) ≥ 𝛾, то интервал (𝜃 ∗ ; +∞) называется правосторонним доверительным интервалом с надёжностью 𝛾 для параметра 𝜃. Определение. Число 𝑞 называют квантилем порядка 𝛾 (0 < 𝛾 < 1) распределения вероятностей случайной величины 𝑋, если выполняются два неравенства 𝑃(𝑋 ≤ 𝑞) ≥ 𝛾 и 𝑃(𝑋 ≥ 𝑞) ≥ 1 − 𝛾. 2 Квантиль порядка 𝛾 = 0.5 называют медианой случайной величины. В §6 главы 1 была доказана теорема о медиане случайной величины, имеющей абсолютно непрерывное распределение. Также можно доказать, что если случайная величина 𝑋 имеет абсолютно непрерывное распределение, то для того чтобы число 𝑞 было квантилем порядка 𝛾 случайной величины 𝑋, необходимо и достаточно, чтобы 𝐹𝑋 (𝑞) = 𝛾, где 𝐹𝑋 – функция распределения случайной величины 𝑋. Рассмотрим общую схему нахождения доверительного интервала. Пусть 𝑋1 , … , 𝑋𝑛 – случайная выборка из генеральной совокупности признака 𝑋 с неизвестным параметром 𝜃. Предположим, что имеется случайная величина (статистика) 𝑇 = 𝑇(𝑋1 , … , 𝑋𝑛 , 𝜃), имеющая абсолютно непрерывное распределение, не зависящее от параметра 𝜃. Такую статистику будем называть центральной. Особенность этой статистики в том, что случайная величина 𝑇 зависит от параметра 𝜃, а её распределение от этого параметра не зависит. Пусть 𝑞1 – квантиль порядка 𝛾1 , а 𝑞2 – квантиль порядка 𝛾2 распределения случайной величины 𝑇 и 𝛾2 − 𝛾1 = 𝛾 (0 < 𝛾 < 1). Поскольку распределение случайной величины 𝑇 не зависит от параметра 𝜃, то и квантили 𝑞1 и 𝑞2 не зависят от параметра 𝜃. Ещё предположим, что неравенство 𝑞1 < 𝑇 < 𝑞2 можно решить относительно параметра 𝜃 и решение можно записать в виде 𝜃1∗ < 𝜃 < 𝜃2∗ , где 𝜃1∗ и 𝜃2∗ – это некоторые функции, зависящие от 𝑋1 , … , 𝑋𝑛 и от квантилей 𝑞1 и 𝑞2 . Пусть 𝐹𝑇 – функция распределения случайной величины 𝑇, тогда вероятность 𝑃(𝜃1∗ < 𝜃 < 𝜃2∗ ) = 𝑃(𝑞1 < 𝑇 < 𝑞2 ) = 𝑃(𝑞1 ≤ 𝑇 < 𝑞2 ) = 𝐹𝑇 (𝑞2 ) − 𝐹𝑇 (𝑞1 ) = 𝛾2 − 𝛾1 = 𝛾. Получили, что вероятность 𝑃(𝜃1∗ < 𝜃 < 𝜃2∗ ) = 𝛾, Это по определению означает, что интервал (𝜃1∗ ; 𝜃2∗ ) является доверительным интервалом с надёжностью 𝛾 для параметра 𝜃. Порядки 𝛾1 и 𝛾2 квантилей 𝑞1 и 𝑞2 можно выбирать произвольно. От этого выбора зависит длина полученного доверительного интервала. Желательно, чтобы она была наименьшей. Если положить 𝛾1 = 1−𝛾 2 и 𝛾2 = 1+𝛾 2 , то полученный доверительный интервал называют симметричным. Пример. Пусть 𝑋1 , … , 𝑋𝑛 – случайная выборка из генеральной совокупности признака 𝑋, имеющего равномерное распределение на отрезке [0; 𝑎] с неизвестным параметром 𝑎. Для неизвестного параметра 3 𝑎 найдём симметричный доверительный интервал с надёжностью 𝛾. 𝑎∗ Рассмотрим статистику 𝑇 = 𝑎 , где 𝑎∗ = max(𝑋1 , … , 𝑋𝑛 ). Найдём функцию распределения случайной величины 𝑇: 𝐹𝑇 (𝑥) = 𝑃(𝑇 < 𝑥) = 𝑃 ( 𝑎∗ 𝑎 < 𝑥) = 𝑃(max(𝑋1 , … , 𝑋𝑛 ) < 𝑎𝑥) = 𝑃({𝑋1 < 𝑎𝑥} ∙ … ∙ {𝑋𝑛 < 𝑎𝑥}). Поскольку 𝑋1 , … , 𝑋𝑛 – случайная выборка из генеральной совокупности признака 𝑋, то 𝑋1 , … , 𝑋𝑛 – независимые случайные величины, имеющие одинаковое распределение, совпадающее с распределением случайной величины 𝑋. Следовательно, случайные события {𝑋1 < 𝑎𝑥}, …, {𝑋𝑛 < 𝑎𝑥} независимые и вероятность произведения равна произведению вероятностей этих случайных событий. Поэтому вероятность 𝑃({𝑋1 < 𝑎𝑥} ∙ … ∙ {𝑋𝑛 < 𝑎𝑥}) = (𝑃(𝑋 < 𝑎𝑥))𝑛 = (𝐹𝑋 (𝑎𝑥))𝑛 , где 𝐹𝑋 – функция распределения случайной величины 𝑋. По условию случайная величина 𝑋 имеет равномерное распределение на отрезке 𝑥 [0; 𝑎], Поэтому её функция распределения 𝐹𝑋 (𝑥) = при 𝑥 ∈ [0; 𝑎] и 𝑎𝑥 𝑛 𝑎 функция распределения 𝐹𝑇 (𝑥) = (𝐹𝑋 (𝑎𝑥))𝑛 = ( ) = 𝑥 𝑛 при 𝑎𝑥 ∈ [0; 𝑎], 𝑎 то есть при 𝑥 ∈ [0; 1]. Функция распределения 𝐹𝑋 (𝑥) = 0 при 𝑥 < 0 и 𝐹𝑋 (𝑥) = 1 при 𝑥 > 𝑎, значит, 𝐹𝑇 (𝑥) = 0 при 𝑥 < 0 и 𝐹𝑇 (𝑥) = 1 при 𝑥 > 1. Получили, что функция распределения случайной величины 𝑇 не зависит от параметра 𝑎, следовательно, 𝑇 – центральная статистика. Найдём квантиль 𝑞1 порядка 1−𝛾 ны 𝑇. Решим уравнение 𝐹𝑇 (𝑞1 ) = но находим квантиль 𝑞2 порядка чины 𝑇. Получим, что 𝑞2 = 𝑛 √1+𝛾 𝑛 √2 распределения случайной величи- 2 1−𝛾 2 1+𝛾 2 , (𝑞1 )𝑛 = 1−𝛾 2 , 𝑞1 = 𝑛 √1−𝛾 𝑛 √2 . Аналогич- распределения случайной вели- . Осталось решить неравенство 𝑞1 < 𝑇 < 𝑞2 относительно параметра 𝑎: 𝑞1 < 𝑎∗ 𝑎 < 𝑞2 , 𝑎∗ 𝑞2 <𝑎< 𝑎∗ 𝑞1 . Таким образом, вероятность 𝑎∗ 𝑎∗ 1+𝛾 1−𝛾 𝑃 ( < 𝑎 < ) = 𝑃(𝑞1 < 𝑇 < 𝑞2 ) = 𝐹𝑇 (𝑞2 ) − 𝐹𝑇 (𝑞1 ) = − = 𝛾. 𝑞2 𝑞1 2 2 Это по определению доверительного интервала означает, что ин𝑎∗ 𝑎∗ 𝑞2 𝑞1 тервал ( ; ) является доверительным интервалом с надёжностью 𝛾 для параметра 𝑎, где 𝑞1 = 𝑛 √1−𝛾 𝑛 √2 и 𝑞2 = 4 𝑛 √1+𝛾 𝑛 √2 .