Задачи математической статистики; основные понятия выборочного метода

1 О СНОВНЫЕ ПОНЯТИЯ МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ 1.1 Задачи математической статистики Математическая (или теоретическая) статистика опирается на методы и понятия теории вероятностей, но решает в каком-то смысле обратные задачи. В теории вероятностей рассматриваются случайные величины с заданным распределением или случайные эксперименты, свойства которых целиком известны. Предмет теории вероятностей — свойства и взаимосвязи этих величин (распределений). Но часто эксперимент представляет собой черный ящик, выдающий лишь некие результаты, по которым требуется сделать вывод о свойствах самого эксперимента. Наблюдатель имеет набор числовых (во всяком случае, их всегда можно сделать числовыми) результатов, полученных повторением одного и того же случайного эксперимента в одинаковых условиях. Примером такой серии экспериментов может служить социологический опрос, набор экономических показателей или, наконец, последовательность гербов и решек при тысячекратном подбрасывании монеты. При этом возникают следующие вопросы: 1) Если мы наблюдаем одну случайную величину — как по набору ее значений в нескольких опытах сделать как можно более точный вывод о ее распределении? 2) Если мы наблюдаем одновременно проявление двух (или более) признаков, т.е. имеем набор значений нескольких случайных величин — что можно сказать об их зависимости? Есть она или нет? А если есть, то какова эта зависимость? Часто бывает возможно высказать некие предположения о распределении, спрятанном в «черном ящике», или о его свойствах. В этом случае по опытным данным требуется подтвердить или опровергнуть эти предположения («гипотезы»). При этом надо помнить, что ответ «да» или «нет» может быть дан лишь с определенной степенью достоверности, и чем дольше мы можем продолжать эксперимент, тем точнее могут быть выводы (а это далеко не всегда возможно). Итак, о (математической) статистике имеет смысл вспоминать, если а) имеется случайный эксперимент, свойства которого частично или полностью незвестны, б) мы умеем воспроизводить этот эксперимент в одних и тех же условиях некоторое (а лучше — какое угодно) число раз. 1.2 Основные понятия выборочного метода Пусть ξ : Ω → R — случайная величина, наблюдаемая в случайном эксперименте. Предполагается, что вероятностное пространство задано (и не будет нас интересовать). Будем считать, что проведя n раз этот эксперимент в одинаковых условиях, мы получили числа X1 , X2 , . . . , Xn — значения этой случайной величины в первом, втором, и т.д. экспериментах. Пусть случайная величина ξ имеет некоторое распределение F, которое нам частично или совсем неизвестно. ~ = (X1 , . . . , Xn ), называемый выборкой (случайной выборкой). В Рассмотрим подробнее вектор X конкретной серии экспериментов выборка — это набор чисел. Но стоит эту серию экспериментов повторить еще раз, и вместо этого набора мы получим новый набор чисел. Вместо числа X1 появится другое число — одно из значений случайной величины ξ. То есть X1 (и X2 , и X3 , и т.д.) — не какое-то конкретное, раз и навсегда заданное число, а переменная величина, которая может принимать те же значения, что и случайная величина ξ, и так же часто (с теми же вероятностями). То есть X1 — случайная величина, одинаково распределенная с ξ, а число, которое мы наблюдаем в данном первом эксперименте — одно из возможных значений случайной величины X1 . ~ = (X1 , . . . , Xn ) объема n это: Итак, выборка X 1) в конкретной серии экспериментов — набор из n чисел, являющихся значениями («реализациями») случайной величины ξ в n независимых экспериментах; 2) в математической модели — набор из n независимых и одинаково распределенных случайных величин («копий ξ»), имеющих, как и ξ, распределение F. Что значит «по выборке сделать вывод о распределении»? Распределение характеризуется функцией распределения, плотностью или таблицей, набором числовых характеристик — Eξ, Dξ, Eξ k и т.д. По выборке нужно уметь строить приближения для всех этих характеристик. 1 1.3 Эмпирическая функция распределения, гистограмма Поскольку неизвестное распределение F можно описать, например, его функцией распределения F , построим по выборке «приближение» для этой функции. ~ = (X1 , . . . , Xn ) Определение 1. Эмпирической функцией распределения, построенной по выборке X объема n называется случайная функция Fn∗ : R × Ω → [0, 1], при каждом y ∈ R равная n Fn∗ (y) = количество Xi ∈ (−∞, y) 1X = I(Xi < y). n n i=1 Напоминание: функция I(Xi < y) =  1, 0, если Xi < y, иначе называется индикатором события {Xi < y}. Это — случайная величина, имеющая распределение Бернулли с параметром p = P(Xi < y) = F (y) (почему?). Если элементы выборки X1 , . . . , Xn упорядочить по возрастанию (на каждом элементарном исходе), получится новый набор случайных величин, называемый вариационным рядом: X(1) 6 X(2) 6 . . . 6 X(n−1) 6 X(n) . Здесь X(1) = min{X1 , . . . , Xn }, X(n) = max{X1 , . . . , Xn }. Элемент X(k) , k = 1, . . . , n, называется k-м членом вариационного ряда или k-й порядковой статистикой. ~ = (0; 2; 1; 2,6; 3,1; 4,6; 1; 4,6; 6; 2,6; 6; 7; 9; 9; 2,6). Пример 1. Выборка, n = 15: X Вариационный ряд: (0; 1; 1; 2; 2,6; 2,6; 2,6; 3,1; 4,6; 4,6; 6; 6; 7; 9; 9). Эмпирическая функция распределения имеет скачки в точках выборки, величина скачка в точке Xi равна m/n, где m — количество элементов выборки, совпадающих с Xi . Fn∗ (y) ✻ ✛ 1 ✛ ✛ ✛ ✛ ✛ ✛ ✛ ✛ ✲ 1 2 3 4 5 6 7 8 9 y 10 Рис. 1: Пример 1 Можно изобразить эмпирическую функцию распределения так:  0, y 6 X(1) ,   k ∗ Fn (y) = , X(k) < y 6 X(k+1) ,  n  1, y > X(n) . Другой характеристикой распределения является таблица (для дискретных распределений) или плотность (для абсолютно непрерывных). Эмпирическим, или выборочным аналогом таблицы или плотности является так называемая гистограмма. Гистограмма строится по группированным данным. Предполагаемую область значений случайной величины ξ (или область выборочных данных) делят независимо от выборки на некоторое количество 2 интервалов (чаще — одинаковых, но не обязательно). Пусть A1 , . . . , Ak — интервалы группировки. Обозначим для j = 1, . . . , k через νj число элементов выборки, попавших в интервал Aj : νj = {число Xi ∈ Aj } = n X i=1 (1) I(Xi ∈ Aj ). На каждом из интервалов Aj строят прямоугольник, площадь которого пропорциональна νj . Общая площадь всех прямоугольников должна равняться единице. Пусть lj — длина интервала Aj . Высота прямоугольника над Aj равна k X νj fj = , здесь νj = n. nlj j=1 Полученная фигура называется гистограммой. Пример 2. Имеется вариационный ряд (см. 1): (0; 1; 1; 2; 2,6; 2,6; 2,6; 3,1; 4,6; 4,6; 6; 6; 7; 9; 9). Разобьем отрезок [0, 10] на 4 равных отрезка. В отрезок A1 = [0; 2,5) попали 4 элемента выборки, в A2 = [2,5; 5) — 6, в A3 = [5; 7,5) — 3, и в отрезок A4 = [7,5; 10] попали 2 элемента выборки. Строим гистограмму (слева). Справа — тоже гистограмма для той же выборки, но при разбиении области на 5 равных отрезков. ✻ ✻ 8/75 0.1 ✲ 1 2 3 4 5 6 7 8 9 10 y ✲ 1 2 3 4 5 6 7 8 9 10 y Рис. 2: Пример 2 Замечание 1. Как утверждается в курсе «Эконометрия», наилучшим числом интервалов группировки («формула Стерджесса») является k = k(n) = 1 + [3.322 lg n] . Здесь lg n — десятичный логарифм, поэтому k = 1 + log2 10 log10 n = 1 + log2 n, т.е. при увеличении выборки в 2 раза число интервалов группировки увеличивается на 1. Заметим, что чем больше интервалов группировки, тем лучше. Но это «чем больше» имеет свои границы: если брать число интервалов, скажем, порядка n, то с ростом n гистограмма, очевидно, не будет поточечно приближаться к плотности. Справедливо следующее утверждение: если плотность распределения элементов выборки является непрерывной функцией, то при k(n) → ∞, так что k(n)/n → 0, имеет место поточечная сходимость по вероятности гистограммы к плотности (см. замечание 1). 1.4 Эмпирические моменты Знание моментов распределения также многое может сказать о его виде и свойствах. Введем эмпирические (выборочные) аналоги неизвестных теоретических (истинных) моментов распределения. Пусть Eξ = EX1 = a, Dξ = DX1 = σ 2 , Eξ k = EX1k = mk — теоретические среднее, дисперсия, k-й момент. Хорошо известны их выборочные «двойники»: 3 Теоретические характеристики Eξ = EX1 = a Dξ = DX1 = σ 2 Eξ k = EX1k = mk Эмпирические характеристики n 1X X= Xi — n i=1 выборочное среднее n 1X ∗ σ2 = (Xi − X)2 — n i=1 выборочная дисперсия или n 1 X 2 S0 = (Xi − X)2 — n − 1 i=1 несмещенная выборочная дисперсия n 1X k Xk = X — n i=1 i выборочный k-й момент Коротко определить содержание правого и левого столбцов таблицы можно так: неизвестное «среднее по пространству» заменяется «средним по времени» (цитата, группа 476). 1.5 Сходимость эмпирических характеристик к теоретическим Мы ввели три вида эмпирических характеристик, предназначенных для замены (оценивания) неизвестных теоретических характеристик распределения: эмпирическую функцию распределения, гистограмму, выборочные моменты. Понятно, что любое приближение хорошо, если с ростом объема выборки разница между истинной характеристикой и выборочной стремится к нулю. Такое свойство эмпирических характеристик («оценок») называют состоятельностью. Убедимся, что наши выборочные характеристики таким свойством обладают. Свойства эмпирической функции распределения ~ = (X1 , . . . , Xn ) — выборка объема n из неизвестного распределения F с Теорема 1. Пусть X функцией распределения F . Пусть Fn∗ — эмпирическая функция распределения, построенная по этой выборке. Тогда для любого y ∈ R p Fn∗ (y) −→ F (y) при n → ∞. Замечание 2. Fn∗ (y) — случайная величина, так как она является функцией от случайных величин X1 , . . . , Xn . То же самое можно сказать про гистограмму и выборочные моменты. Pn I(Xi < y) . Случайные величины n I(X1 < y), I(X2 < y), . . . независимы и одинаково распределены, их математическое ожидание конечно: Доказательство теоремы 1. По определению, Fn∗ (y) = i=1 EI(X1 < y) = 1 · P(X1 < y) + 0 · P(X1 > y) = P(X1 < y) = F (y) < ∞, поэтому примени́м ЗБЧ Хинчина (а что это такое?), и Pn I(Xi < y) p Fn∗ (y) = i=1 −→ EI(X1 < y) = F (y). n Таким образом, с ростом объема выборки эмпирическая функция распределения сходится (по вероятности) к неизвестной теоретической. На самом деле, верен более общий результат, показывающий, что сходимость эмпирической функции распределения к теоретической имеет «равномерный» характер. 4 ~ = (X1 , . . . , Xn ) — выборка объема n из неизвестТеорема 2 (Гливенко, Кантелли). Пусть X ного распределения F с функцией распределения F . Пусть Fn∗ — эмпирическая функция распределения, построенная по этой выборке. Тогда p sup |Fn∗ (y) − F (y)| −→ 0 n → ∞. при y∈R Если функция распределения F непрерывна, то скорость сходимости к нулю в теореме Гливенко1 Кантелли имеет порядок √ , как показывает n ~ = (X1 , . . . , Xn ) — выборка объема n из неизвестного расТеорема 3 (Колмогоров). Пусть X пределения F с непрерывной функцией распределения F . Пусть Fn∗ — эмпирическая функция распределения. Тогда √ n sup |Fn∗ (y) − F (y)| ⇒ ζ при n → ∞, y∈R где случайная величина ζ имеет распределение Колмогорова с функцией распределения K(x) = ∞ X (−1)j e−2j 2 x2 . j=−∞ Выпишем еще ряд свойств эмпирической функции распределения, которые нам потребуются в дальнейшем. Это хорошо знакомые свойства среднего арифметического n независимых слагаемых, имеющих к тому же распределение Бернулли. Свойство 1. Для любого y ∈ R 1) EFn∗ (y) = F (y), то есть величина Fn∗ (y) — «несмещенная» оценка для F (y); 2) DFn∗ (y) = 3) √ F (y)(1 − F (y)) ; n n(Fn∗ (y) − F (y)) ⇒ N0,F (y)(1−F (y)) , то есть величина Fn∗ (y) «асимптотически нормальна»; 4) n · Fn∗ (y) имеет биномиальное распределение Bn,F (y) . В первых трех пунктах утверждается, что случайная величина Fn∗ (y) имеет математическое ожидаF (y)(1 − F (y)) ние F (y), имеет убывающую со скоростью 1/n дисперсию и, в дополнение к теореме n √ Гливенко-Кантелли, сходится к F (y) со скоростью 1/ n. Замечание 3. Полезно сравнить (3) с теоремой Колмогорова. Замечание 4. Все определения, как то: «оценка», «несмещенность», «состоятельность», «асимптотическая нормальность» будут даны в главе 2. Но смысл этих терминов должен быть вполне понятен уже сейчас. Доказательство свойства 1. 1) Случайные величины I(X1 < y), I(X2 < y), . . . одинаково распределены, поэтому (где используется одинаковая распределенность?) Pn Pn EI(Xi < y) nEI(X1 < y) ∗ i=1 I(Xi < y) EFn (y) = E = i=1 = = F (y). n n n 2) Случайные величины I(X1 < y), I(X2 < y), . . . независимы и одинаково распределены, поэтому (где используется независимость?) Pn Pn DI(Xi < y) nDI(X1 < y) DI(X1 < y) ∗ i=1 I(Xi < y) = i=1 2 = = . DFn (y) = D n n n2 n 5 Но DI(X1 < y) = F (y)(1 − F (y)), поскольку I(X1 < y) ⊂ = BF (y) . 3) Воспользуемся ЦПТ Ляпунова (а что это такое?). Pn  Pn  √ √ ( i=1 I(Xi < y) − nF (y)) i=1 I(Xi < y) √ = n(Fn∗ (y) − F (y)) = n − F (y) = n n Pn ( i=1 I(Xi < y) − nEI(X1 < y)) √ ⇒ N0,DI(X1 0; не знаем: λ; здесь Fθ = Πλ , θ = λ, Θ = (0, ∞); • знаем: Xi ⊂ = Πλ , где λ ∈ (3, 5); не знаем: λ; здесь Fθ = Πλ , θ = λ, Θ = (3, 5); • знаем: Xi ⊂ = Bp , где p ∈ (0, 1); не знаем: p; здесь Fθ = Bp , θ = p, Θ = (0, 1); • знаем: Xi ⊂ = Ua,b , где a < b; не знаем: a, b; здесь Fθ = Ua,b , θ = {a, b}, Θ = {{a, b} : a < b}; или одно знаем, другое — нет, например: • знаем: Xi ⊂ = U0,θ , где θ > 0; здесь Fθ = U0,θ , Θ = (0, ∞); не знаем: θ • знаем: Xi ⊂ = Na,σ2 , где a ∈ R, σ > 0; не знаем: a, σ 2 здесь Fθ = Na,σ2 , θ = {a, σ 2 }, Θ = R × (0, ∞); (или одно знаем, другое — нет). Такая постановка имеет смысл, поскольку редко о проводимом эксперименте совсем ничего нельзя сказать. Обычно тип распределения ясен заранее, и требуется лишь указать значения параметров этого распределения. Так, в широких предположениях рост юношей одного возраста имеет нормальное распределение (с неизвестными средним и дисперсией), а число покупателей в магазине в течение часа (не часа пик) — распределение Пуассона, и опять-таки с неизвестной «интенсивностью» λ. 2.2 Точечные оценки. Несмещенность, состоятельность оценок Итак, пусть X1 , . . . , Xn — выборка объема n из параметрического семейства распределений Fθ , θ ∈ Θ. Заметим, что все характеристики случайных величин X1 , . . . , Xn зависят от параметра θ. Так, например, для Xi ⊂ = Πλ : λ2 −λ e , DX1 = λ и т.д. EX1 = λ, P(X1 = 2) = 2 Чтобы отразить эту зависимость, будем писать Eθ X1 вместо EX1 и т.д. Так, Dθ1 X1 означает дисперсию, вычисленную в предположении θ = θ1 . Упражнение. Пусть X1 ⊂ = Bp , p1 = 0,5, p2 = 0,1. Вычислить Ep1 X1 , Ep2 X1 . Определение 2. Статистикой называется любая (измеримая!) функция θ∗ = θ∗ (X1 , . . . , Xn ). Замечание 6. Статистика есть функция от эмпирических данных, т.е. от выборки X1 , . . . , Xn , но никак не от параметра θ. Статистика, как правило, предназаначена именно для оценивания неизвестного параметра θ (в этом случае ее называют «оценкой»), и уже поэтому от него зависеть не должна. Вообще говоря, статистика есть не «любая», а «измеримая» функция от выборки, но поскольку на практике иного не бывает :), мы на это обращать внимание не будем. 10 Определение 3. Статистика θ∗ = θ∗ (X1 , . . . , Xn ) называется несмещенной оценкой параметра θ, если для любого θ ∈ Θ Eθ θ∗ = θ. Несмещенность — свойство оценок при фиксированном n. Означает это свойство отсутствие ошибки «в среднем», т.е. при систематическом использовании данной оценки. Определение 4. Статистика θ∗ = θ∗ (X1 , . . . , Xn ) называется состоятельной оценкой параметра θ, если для любого θ ∈ Θ p θ∗ −→ θ при n → ∞. Свойство состоятельности означает, что оценка приближается к неизвестному параметру при увеличении количества данных. Понятно, что при отсутствии этого свойства оценка совершенно «несостоятельна» как оценка. Пример 3. Пусть X1 , . . . , Xn — выборка объема n, все Xi ⊂ = Na,σ2 , где a ∈ R, σ > 0. Как найти оценки для параметров a и σ 2 , если оба эти параметра (можно считать это и одним двумерным параметром) неизвестны? Мы уже знаем хорошие оценки для теоретического среднего, дисперсии любого распределения. И поскольку a = Ea,σ2 X1 , возьмем в качестве оценки для a выборочное среднее: a∗ = X. Лемма 1 утверждает, что эта оценка несмещенная и состоятельная. n 1X ∗ Так как σ 2 = Da,σ2 X1 , то есть даже две оценки: σ 2 = (Xi − X)2 — выборочная дисперсия и n i=1 n 1 X (Xi − X)2 — несмещенная выборочная дисперсия. S02 = n − 1 i=1 Как показано в лемме 2, обе эти оценки состоятельны, и одна из них — несмещенная (какая?). Но такие «способы» получения оценок нуждаются в систематизации. Заметим сразу, что приведенные ниже методы получения оценок ни из каких математических аксиом не выводятся. Они просто разумны с практической точки зрения. Именно на их разумность следует обратить внимание. 2.3 Методы нахождения оценок: метод моментов Метод моментов заключается в следующем: любой момент случайной величины X1 (например, k-й) есть функция от параметра θ. В свою очередь, параметр θ есть функция (обратная, если существует) от теоретического k-го момента. Подставив в эту функцию вместо неизвестного теоретического k-го момента его выборочный аналог, получим вместо параметра θ оценку θ∗ . Итак, пусть X1 , . . . , Xn — выборка объема n из параметрического семейства распределений Fθ , где θ ∈ Θ. Пусть Eθ X1k = h(θ), (3) причем функция h обратима. Тогда в качестве оценки θ∗ для θ берем решение уравнения X k = h(θ∗ ). Или (что то же самое), сначала решаем уравнение (3) относительно θ, а затем вместо истинного момента берем выборочный: ! n 1X k −1 k ∗ −1 −1 k θ = h (Eθ X1 ), θ = h (X ) = h . X n i=1 i Можно сказать, что мы берем в качестве оценки такое (случайное) значение параметра θ, при котором истинный момент совпадает с выборочным. 11 Пример 4. Пусть X1 , . . . , Xn — выборка объема n, все Xi ⊂ = U0,θ , где θ > 0. Найдем оценку метода моментов (ОММ) по первому моменту: Eθ X 1 = θ 2 |= ⇒ |= ⇒ θ = 2Eθ X1 θ1∗ = 2X. Найдем оценку метода моментов (ОММ) по k-му моменту: Eθ X1k = Zθ yk θk 1 dy = θ k+1 |= ⇒ θ= q k (k + 1)Eθ X1k |= ⇒ θk∗ = q k (k + 1)X k . Проверим свойства полученных оценок. Несмещенность: 1. По определению, Eθ θ1∗ = Eθ 2X = 2Eθ X = (по лемме 1) = 2θ/2 = θ |= ⇒ θ1∗ = 2X — несмещенная. p p p 2. Рассмотрим оценку θ2∗ . Заметим, что Eθ θ2∗ = Eθ 3X 2 , тогда как θ = 3Eθ X12 = 3Eθ X 2 (по лемме 1). √ √ Равенство Eθ θ2∗ = θ означало бы, что для с.в. ξ = 3X 2 выполнено Eθ ξ = Eθ ξ, а для величины √ η = ξ выполнено Eθ η 2 = (Eθ η)2 . Вспомните тот единственный случай, когда это возможно, чтобы согласиться с выводом: оценка p θ2∗ = 3X 2 — смещенная (как, впрочем, и оценки θk∗ , k > 2). Состоятельность: p |= ⇒ 1. По ЗБЧ, θ1∗ = 2X −→ 2Eθ X1 = 2θ/2 = θ θ1∗ = 2X — состоятельная. 2. Заметим, что по ЗБЧ (или по лемме 3 — только для тех, кто ее доказал) при n → ∞ p X k −→ Eθ X1k = Поскольку функция θk . k+1 p k (k + 1)y непрерывна для всех y > 0, то при n → ∞ s q θk p k k = θ. θk∗ = (k + 1)X k −→ (k + 1) k+1 p Упражнение. Зачем нужна ссылка на непрерывность функции k (k + 1)y? q k То есть вся последовательность {θk∗ }∞ = { (k + 1)X k } состоит из состоятельных оценок, при этом k=1 только оценка θ1∗ = 2X — несмещенная. Замечание 7. Может случиться так, что оценка θ∗ 6∈ Θ, тогда как θ ∈ Θ. В этом случае в качестве оценки берут ближайшую к θ∗ точку из Θ, на худой конец — из замыкания Θ, если Θ не замкнуто. Пример 5. Пусть X1 , . . . , Xn — выборка объема n, все Xi ⊂ = Na,1 , где по какой-то причине a > 0. Ищем оценку для a по первому моменту: Ea X 1 = a |= ⇒ a∗ = X. Однако по условию a > 0, тогда как X может быть и отрицательно. Понятно, что если X < 0, то в качестве оценки для положительного параметра a более подойдет 0. Если же X > 0, в качестве оценки нужно брать X. Итого: a∗ = max{0, X} — оценка метода моментов. 12 2.4 Состоятельность оценок метода моментов Теорема 5. Пусть θ∗ = h−1 (X k ) — оценка параметра θ, полученная по методу моментов, причем функция h−1 непрерывна. Тогда θ∗ состоятельна. Доказательство теоремы 5. p По лемме 3 имеем: X k −→ Eθ X1k = h(θ). Поскольку функция h−1 непрерывна, то и p θk∗ = h−1 (X k ) −→ h−1 (Eθ X1k ) = h−1 (h(θ)) = θ. Замечание 8. Для обратимой, т.е. взаимнооднозначной функции h : R → R непрерывность h и непрерывность h−1 эквивалентны. 2.5 Методы нахождения оценок: метод максимального правдоподобия Метод максимального правдоподобия — еще один разумный способ построения оценки неизвестного параметра. Состоит он в том, что в качестве «наиболее правдоподобного» значения параметра берут зна~ = (X1 , . . . , Xn ). Это чение θ, максимизирующее вероятность получить при n опытах данную выборку X значение параметра θ зависит от выборки и является искомой оценкой. Решим сначала, что такое «вероятность получить данную выборку», т.е. что именно нужно максимизировать. Вспомним, что для абсолютно непрерывных распределений Fθ их плотность fθ (y) — «почти» (с точностью до dy) вероятность попадания в точку y. А для дискретных распределений Fθ вероятность попасть в точку y равна Pθ (X1 = y). И то, и другое мы будем называть плотностью распределения Fθ (отступая при этом, для простоты, от терминологии теории вероятностей). Итак, Определение 5. Функцию  обычная плотность , fθ (y) = Pθ (X1 = y), если распределение Fθ абсолютно непрерывно, если распределение Fθ дискретно мы будем называть плотностью распределения Fθ . Определение 6. Функция (вообще говоря, случайная величина) ~ θ) = fθ (X1 ) · fθ (X2 ) · . . . · fθ (Xn ) = Ψ(X, называется функцией правдоподобия. Функция (тоже случайная) ~ θ) = lnΨ(X, ~ θ) = L(X, n X n Y fθ (Xi ) i=1 lnfθ (Xi ) i=1 называется логарифмической функцией правдоподобия. ~ в данной серии экспериментов приняла значения (x1 , . . . , xn ), то (в дискретном Если наша выборка X случае) функция правдоподобия и есть вероятность этого события, разная при разных значениях параметра θ: Ψ(~x, θ) = n Y i=1 fθ (xi ) = Pθ (X1 = x1 ) · . . . · Pθ (Xn = xn ) независ-ть = Pθ (X1 = x1 , . . . , Xn = xn ). Определение 7. Оценкой максимального правдоподобия θb неизвестного параметра θ называют ~ θ) достигает максимума (как функция от θ при фиксированных значение θ, при котором функция Ψ(X, X1 , . . . , Xn ): ~ θ). θb = точка максимума (по переменной θ) функции Ψ(X, 13 ~ θ) и L(X, ~ θ) совпадаЗамечание 9. Поскольку функция ln y монотонна, то точки максимума Ψ(X, ют. Поэтому оценкой максимального правдоподобия (ОМП) можно называть точку максимума (по θ) функции L(~x, θ): ~ θ). θb = точка максимума (по переменной θ) функции L(X, Напомним, что точки экстремума функции — это либо точки, в которых производная обращается в нуль, либо точки разрыва функции/производной, либо крайние точки области определения функции. Пример 6. Пусть X1 , . . . , Xn — выборка объема n из распределения Пуассона: Xi ⊂ = Πλ , где λ > 0. b неизвестного параметра λ. Найдем ОМП λ Pλ (X1 = y) = ~ λ) = Ψ(X, n Y λXi i=1 λy −λ e , y! y = 0, 1, 2, . . . n λΣi=1 Xi −nλ λnX e−λ = Qn e = Qn e−nλ . Xi ! X ! X ! i i i=1 i=1 Поскольку эта функция при всех λ > 0 непрерывно дифференцируема по λ, можно искать точки экстремума, приравняв к нулю частную производную по λ. Но удобнее это делать для логарифмической функции правдоподобия: ! n nX Y λ −nλ ~ ~ Q = nX ln λ − ln e Xi ! − nλ. L(X, λ) = ln Ψ(X, λ) = ln n i=1 Xi ! i=1 ∂ b — решение уравнения: nX − n = 0, то есть λ b = X. ~ λ) = nX − n, и точка экстремума λ L(X, ∂λ λ λ 1) 2) Упражнение. b = X — точка максимума, а не минимума. Убедиться, что λ b Убедиться, что λ = X совпадает с одной из оценок метода моментов (по какому моменту?). Пример 7. Пусть X1 , . . . , Xn — выборка объема n из нормального распределения Na,σ2 , где a ∈ R, σ > 0; и оба параметра a, σ 2 неизвестны. Выпишем плотность, функцию правдоподобия и логарифмическую функцию правдоподобия. Плотность:   1 −(y − a)2 , f(a,σ2 ) (y) = √ exp 2σ 2 2πσ 2 функция правдоподобия: ~ a, σ 2 ) = Ψ(X, n Y i=1 √    Pn  2 1 (Xi − a)2 i=1 (Xi − a) = , exp − exp − 2σ 2 2σ 2 (2πσ 2 )n/2 2πσ 2 1 логарифмическая функция правдоподобия: ~ a, σ 2 ) = ln Ψ(X, ~ a, σ 2 ) = −ln (2π)n/2 − n ln σ 2 − L(X, 2 Pn i=1 (Xi − 2σ 2 a)2 . В точке экстремума (по (a, σ 2 )) гладкой функции L обращаются в нуль обе частные производные: Pn Pn 2 2 i=1 (Xi − a) ∂ nX − na ∂ n 2 2 i=1 (Xi − a) ~ ~ L(X, a, σ ) = = ; L( X, a, σ ) = − + . ∂a 2σ 2 σ2 ∂σ 2 2σ 2 2σ 4 c2 ) для (a, σ 2 ) — решение системы уравнений Оценка максимального правдоподобия (b a, σ Pn 2 nX − na n i=1 (Xi − a) = 0; − + = 0. σ2 2σ 2 2(σ 2 )2 14 Решая, получим хорошо знакомые оценки: n b a = X, Упражнение. 1) 2) X c2 = 1 σ (Xi − X)2 . n i=1 n X c2 = 1 (Xi − X)2 — точка максимума, а не минимума. Убедиться, что b a = X, σ n i=1 Убедиться, что эти оценки совпадают с некоторыми оценками метода моментов. Пример 8. Пусть X1 , . . . , Xn — выборка объема n из равномерного распределения U0,θ , где θ > 0. Тогда θb = X(n) = max{X1 , . . . , Xn } (см. [1], пример 2.5, с.10). Пример 9. Пусть X1 , . . . , Xn — выборка объема n из равномерного распределения Uθ,θ+5 , где θ ∈ R (см. также [2], пример 4, с.48). Выпишем плотность и функцию правдоподобия. Плотность: n fθ (y) = 1/5, если y ∈ [θ, θ + 5] , иначе функция правдоподобия: n n ~ θ) = (1/5) , Ψ(X, n если все Xi ∈ [θ, θ + 5] = (1/5)n , если θ 6 X(1) 6 X(n) 6 θ + 5 = иначе иначе n n = (1/5) , если X(n) − 5 6 θ 6 X(1) . иначе Функция правдоподобия достигает своего максимального значения (1/5)n во всех точках θ ∈ [X(n) − 5, X(1) ]. График этой функции изображен на рис. 9. ~ θ) Ψ(X, ✻ 1 5n r r ❜ X(n) − 5 ❜ X(1) ✲ θ Рис. 3: Пример 9. Любая точка θb ∈ [X(n) − 5, X(1) ] может служить оценкой максимального правдоподобия. Получаем более чем счетное число оценок вида θbα = (1 − α)(X(n) − 5) + αX(1) , при разных α ∈ [0, 1], в том числе θb0 = X(n) − 5, θb1 = X(1) — концы отрезка. 1) 2) 3) Упражнение. Убедиться, что отрезок [X(n) − 5, X(1) ] не пуст. Найти оценку метода моментов (по первому моменту) и убедиться, что она отличается от ОМП. Найти ОМП параметра θ равномерного распределения Uθ,θ+3 . 2.6 Вопросы и упражнения 1. Задачник [1], задачи 2.1 – 2.16. 15 2. Дана выборка X1 , . . . , Xn , Xi ⊂ = Bp , p ∈ (0, 1) — неизвестный параметр. Проверить, что X1 , X1 X2 , X1 (1 − X2 ) являются несмещенными оценками соответственно для p, p2 , p(1 − p). Являются ли эти оценки состоятельными? 3. Дана выборка X1 , . . . , Xn , Xi ⊂ = Πλ , λ > 0 — неизвестный параметр. Проверить, что X1 и I(X1 = λk −λ k) являются несмещенными оценками соответственно для λ и e . Являются ли эти оценки соk! стоятельными? 4. Дана выборка X1 , . . . , Xn , Xi ⊂ = U0,θ , θ > 0 — неизвестный параметр. Проверить состоятельность и несмещенность оценок: θ1∗ = X(n) , θ2∗ = 2X, θ3∗ = X(n) + X(1) . 5. Построить оценки неизвестных параметров по методу моментов для следующих распределений: a) Bp — по первому моменту, б) Πλ — по первому и второму моменту, в) Ua,b — по первому и второму моменту, г) Eα — по всем моментам, д) E1/α — по первому моменту, е) U−θ,θ — как получится, ж) Γα,λ — по первому и второму моменту, з) Na,σ2 (для σ 2 при a известном и при a неизвестном). 6. Какие из оценок в задаче 5 несмещенные? состоятельные? 7. Сравнить вид оценок для параметра α, полученных по первому моменту в задачах 5(г) и 5(д). Доказать, что среди них только одна несмещенная. Указание. Использовать свойство: если ξ > 0 п.н., 1 1 ⇐⇒ ξ = const п.н. то E = ξ Eξ p 8∗ . Доказать свойство из задачи 7, используя неравенство Коши-Буняковского-Шварца: E|ξη| 6 Eξ 2 Eη 2 , которое обращается в равенство ⇐⇒ |ξ| = c|η| (см. доказательство свойства коэффициента корреляции |ρ| 6 1 в курсе теории вероятностей). 9. Построить оценки неизвестных параметров по методу максимального правдоподобия для следующих распределений: a) Bp , б)Πλ+1 , в) U0,2θ , г) E2α+3 , д) U−θ,θ , е) Na,σ2 (a известно). 10. Какие из оценок в задаче 9 несмещенные? состоятельные? 16 3 С РАВНЕНИЕ ОЦЕНОК 3.1 Способы сравнения оценок Используя метод моментов и метод максимального правдоподобия, мы получили для каждого параметра уже достаточно много различных оценок. Каким же образом их сравнивать? Что должно быть показателем «хорошести» оценки? Понятно, что чем дальше оценка отклоняется от параметра, тем она хуже. Но величина |θ∗ − θ| для сравнения непригодна: во-первых, параметр θ неизвестен, во-вторых, θ∗ — случайная величина, так что эти величины обычно сравнить нельзя. Как, например, сравнивать |X − θ| и |X k − θ|? Или, на одном элементарном исходе, |2.15 − θ| и |3.1 − θ|? Поэтому имеет смысл сравнивать не отклонения как таковые, а средние значения этих отклонений, то есть Eθ |θ∗ − θ|. Но математическое ожидание модуля с.в. считать обычно затруднительно, поэтому более удобной характеристикой для сравнения оценок считается Eθ (θ∗ − θ)2 . Она удобна еще и тем, что очень чутко реагирует на маловероятные, но большие по абсолютному значению отклонения θ∗ от θ (возводит их в квадрат). Заметим еще, что Eθ (θ∗ − θ)2 есть функция от θ, так что сравнивать эти «среднеквадратические» отклонения нужно как функции от θ – поточечно. Такой подход к сравнению оценок называется среднеквадратическим. Разумеется, в зависимости от потребностей исследователя можно пользоваться и другими характеристиками, например, Eθ (θ∗ − θ)4 или Eθ |θ∗ − θ|. Существует и так называемый асимптотический подход к сравнению оценок, при котором для сравнения оценок используется некая характеристика «разброса» оценки относительно параметра при больших n. 3.2 Среднеквадратический подход. Эффективность оценок Пусть X1 , . . . , Xn — выборка объема n из параметрического семейства распределений Fθ , где θ ∈ Θ. Определение 8. Говорят, что оценка θ1∗ лучше оценки θ2∗ в смысле среднеквадратического подхода, если для любого θ ∈ Θ Eθ (θ1∗ − θ)2 6 Eθ (θ2∗ − θ)2 , и хотя бы при одном θ это неравенство строгое. Оценки могут быть несравнимы: например, при некоторых θ Eθ (θ1∗ − θ)2 6 Eθ (θ2∗ − θ)2 , при других θ — наоборот. Существует ли среди всех оценок наилучшая в смысле среднеквадратического подхода? Скептик со склонностью к философии сразу ответит «нет». Докажем, что он прав. Теорема 6. В классе всех возможных оценок наилучшей оценки в смысле среднеквадратического подхода не существует. Доказательство теоремы 6. Пусть, напротив, θ∗ — наилучшая, то есть для любой другой оценки θ1∗ , при любом θ ∈ Θ Eθ (θ∗ − θ)2 6 Eθ (θ1∗ − θ)2 . Пусть θ1 — произвольная точка Θ. Рассмотрим оценку (статистику) θ1∗ ≡ θ1 . Тогда Eθ (θ∗ − θ)2 6 Eθ (θ1 − θ)2 при любом θ ∈ Θ. Возьмем θ = θ1 ∈ Θ и получим следующее неравенство: Eθ1 (θ∗ − θ1 )2 6 Eθ1 (θ1 − θ1 )2 = 0. Поэтому Eθ1 (θ∗ − θ1 )2 = 0. В силу произвольности θ1 это выполнено при любом θ ∈ Θ: Eθ (θ∗ − θ)2 ≡ 0. 17 Но это возможно только если θ∗ ≡ θ (оценка в точности отгадывает неизвестный параметр). То есть θ∗ даже не является статистикой. Такого типа примеры привести можно (например, по выборке из Uθ,θ+1 , θ ∈ Z можно точно указать θ), но математической статистике здесь делать нечего. Упражнение. Объяснить словесно доказательство теоремы 6. Если в очень широком классе всех оценок наилучшей не существует, то, возможно, следует сузить класс рассматриваемых оценок (или разбить класс всех оценок на отдельные подклассы и в каждом искать наилучшую). Обычно рассматривают оценки, имеющие одинаковое смещение b(θ) = Eθ θ∗ − θ. Обозначим через Kb класс оценок, имеющих смещение b(θ): Kb = {θ∗ : Eθ θ∗ = θ + b(θ)}, K0 = {θ∗ : Eθ θ∗ = θ}. Здесь K0 — класс несмещенных оценок. Определение 9. Оценка θ∗ ∈ Kb называется эффективной оценкой в классе Kb , если она лучше (не хуже) всех других оценок класса Kb в смысле среднеквадратического подхода. То есть для любой θ1∗ ∈ Kb , для любого θ ∈ Θ Eθ (θ∗ − θ)2 6 Eθ (θ1∗ − θ)2 . Определение 10. Эффективная оценка в классе K0 (несмещенных оценок) называется просто эффективной. Замечание 10. Для θ∗ ∈ K0 , по определению дисперсии, Eθ (θ∗ − θ)2 = Eθ (θ∗ − Eθ θ∗ )2 = Dθ θ∗ , так что сравнение в среднеквадратичном несмещенных оценок — это сравнение их дисперсий. Поэтому эффективную оценку (в классе K0 ) часто называют «несмещенной оценкой с равномерно минимальной дисперсией». Равномерность подразумевается по всем θ ∈ Θ. Для θ∗ ∈ Kb Eθ (θ∗ − θ)2 = Dθ (θ∗ − θ∗ ) + (Eθ θ∗ − θ)2 = Dθ θ∗ + b2 (θ), так что сравнение в среднеквадратичном оценок с одинаковым смещением — это также сравнение их дисперсий. Упражнение. Мы собираемся искать наилучшую оценку в классе Kb . Объясните, почему доказательство теоремы 4 не пройдет в классе Kb . 3.3 Единственность эффективной оценки в классе с фиксированным смещением Теорема 7. Если θ1∗ ∈ Kb и θ2∗ ∈ Kb — две эффективные оценки в классе Kb , то с вероятностью 1 они совпадают: Pθ (θ1∗ = θ2∗ ) = 1. Доказательство теоремы 7. Заметим сначала, что Eθ (θ1∗ − θ)2 = Eθ (θ2∗ − θ)2 . Действительно, так как θ1∗ эффективна в классе Kb , то она не хуже оценки θ2∗ , то есть Eθ (θ1∗ − θ)2 6 Eθ (θ2∗ − θ)2 и наоборот. Поэтому Eθ (θ1∗ − θ)2 = Eθ (θ2∗ − θ)2 . θ∗ + θ2∗ Рассмотрим оценку θ∗ = 1 ∈ Kb (доказать!). Вычислим ее среднеквадратическое отклонение. 2 Заметим, что 2  2  a−b a2 + b2 a+b + = . (4) 2 2 2 Положим a = θ1∗ − θ, b = θ2∗ − θ. Тогда (a + b)/2 = θ∗ − θ, a − b = θ1∗ − θ2∗ . Подставим эти выражения в (4) и возьмем математические ожидания обеих частей:  ∗ 2 θ1 − θ2∗ (θ∗ − θ)2 + (θ2∗ − θ)2 ∗ 2 = Eθ (θ1∗ − θ)2 = Eθ (θ2∗ − θ)2 . (5) = Eθ 1 Eθ (θ − θ) + Eθ 2 2 18 Но оценка θ∗ принадлежит Kb , то есть она не лучше, например, эффективной оценки θ1∗ . Поэтому Eθ (θ∗ − θ)2 > Eθ (θ1∗ − θ)2 . Сравнивая это неравенство с равенством (5), видим, что Eθ  θ1∗ − θ2∗ 2 2 = 1 Eθ (θ1∗ − θ2∗ )2 6 0 4 |= ⇒ Eθ (θ1∗ − θ2∗ )2 = 0. Тогда (почему?) Pθ (θ1∗ = θ2∗ ) = 1, что и требовалось доказать. Для примера рассмотрим сравнение двух оценок. Разумеется, сравнивая оценки попарно между собой, наилучшей оценки в целом классе не найти, но выбрать лучшую из двух тоже полезно. А способами поиска наилучшей в целом классе мы тоже скоро займемся. Пример 10. Пусть X1 , . . . , Xn — выборка объема n из равномерного распределения U0,θ , где θ > 0. Тогда θb = X(n) = max{X1 , . . . , Xn } — оценка максимального правдоподобия, а θ∗ = 2X — оценка метода моментов, полученная по первому моменту. Сравним их в среднеквадратичном. Оценка θ∗ = 2X несмещенная (см. пример 4), поэтому Eθ (θ∗ − θ)2 = Dθ θ∗ = Dθ 2X = 4Dθ X = 4 Dθ X 1 θ2 θ2 =4 = . n 12n 3n Для θb = X(n) = max{X1 , . . . , Xn } имеем Eθ (θb − θ)2 = Eθ θb2 − 2θEθ θb + θ2 . Посчитаем первый и второй момент случайной величины θb = X(n) . Найдем (полезно вспомнить, как это b делалось в прошлом семестре!) функцию распределения и плотность θ: Pθ (X(n)  0,  n y < y) = Pθ (X1 < y)n = ,  θn 1, Eθ X(n) = Zθ y<0 fX(n) (y) = y ∈ [0, θ] y > θ, n y n−1 θ, yn n dy = θ n+1 2 Eθ X(n) = Eθ (X(n) − θ)2 = y2 n 0, y n−1 n n , θ y 6∈ [0, θ] y ∈ [0, θ] . y n−1 n 2 dy = θ . θn n+2 Поэтому Zθ ( n 2 n 2 2 θ −2 θ + θ2 = θ2 . n+2 n+1 (n + 1)(n + 2) При n = 1 квадратические отклонения равны, а при n > 1 Eθ (X(n) − θ)2 = θ2 2θ2 < = Eθ (2X − θ)2 , (n + 1)(n + 2) 3n то есть X(n) лучше, чем 2X. При этом Eθ (X(n) − θ)2 → 0 со скоростью n−2 , тогда как Eθ (2X − θ)2 → 0 со скоростью n−1 . Упражнение. 1. Доказать, что X(n) ∈ Kb , где b(θ) = − θ . n+1 n+1 X(n) ∈ K0 (несмещенная). n n+1 X(n) и X(n) в среднеквадратичном. 3. Сравнить оценки n 2. Доказать, что 19 3.4 Асимптотически нормальные оценки (АНО) q k Для того, чтобы уметь сравнивать оценки вида θk∗ = (k + 1)X k (см. пример 4), среднеквадратического подхода недостаточно: второй момент такой случайной величины посчитать вряд ли удастся. Оценки такого вида (функции от сумм) удается сравнивать с помощью асимптотического подхода. Более точно, этот подход применим к так называемым «асимптотически нормальным» оценкам. Пусть X1 , . . . , Xn — выборка объема n из параметрического семейства распределений Fθ , θ ∈ Θ. Определение 11. Оценка θ∗ называется асимптотически нормальной оценкой параметра θ с коэффициентом σ 2 (θ), если √ ∗ √ ∗ n(θ − θ) n(θ − θ) ⇒ N0,σ2 (θ) , или ⇒ N0,1 . σ(θ) Пример 11. Пусть X1 , . . . , Xn — выборка объема n из равномерного распределения U0,θ , где θ > 0. Проверим, являются ли оценки θ∗ = 2X и θb = X(n) асимптотически нормальными (АНО). По ЦПТ,  P  n n P Xi 2X − nθ  i=1 i √ √  i=1 √ ∗ = √ − θ = n(θ − θ) = n(2X − θ) = n  2   n n = n P i=1 2Xi − nEθ 2X1 √ n ⇒ N0,D 2X θ 1 = N0,4Dθ X1 . То есть оценка θ∗ = 2X асимптотически нормальна с коэффициентом σ 2 (θ) = 4Dθ X1 = 4θ2 /12 = θ2 /3. Для оценки θb = X(n) имеем: √ n(θb − θ) = √ n(X(n) − θ) < 0 с вероятностью 1. (6) По определению, ξn ⇒ ξ, если для любой точки x, являющейся точкой непрерывности функции распределения√Fξ , имеет место сходимость Fξn (x) = P(ξn < x) → Fξ (x) = P(ξ < x). = N0,σ2 (θ) функция распределения в нуле равна Но Pθ ( n(X(n) − θ) < 0) = 1, тогда как для ξ ⊂ Φ0,σ2 (θ) (0) = P(ξ < 0) = 0.5, то есть слабая сходимость места не имеет. Таким образом, оценка θb = X(n) асимптотически нормальной не является. Осталось ответить на напрашивающиеся вопросы: √ 1) Куда все же сходится по распределению n(X(n) − θ)? √ Упражнение. Доказать, что n(X(n) − θ) ⇒ 0. Порядок действий: Выписать определение слабой сходимости. √ Нарисовать функцию распределения нуля. Найти по определению функцию распределения n(X(n) − θ). Убедиться, что она сходится к ф.р. нуля во всех точках непрерывности последней. Не забудьте о существовании замечательных пределов, логарифмов и ряда Тейлора. √ 2) Если n(X(n) − θ) ⇒ 0, то на какую степень n нужно попробовать умножить, чтобы получить сходимость к величине, отличной от 0 и ∞? Упражнение. Доказать, что n(X(n) − θ) деление E1/θ . ⇒ η, причем величина −η имеет показательное распре- Порядок действий: прежний. 3) n+1 X(n) свойство (6) не выполнено. Может ли эта оценка быть АНО? n Упражнение. Модифицировать рассуждения и доказать, что эта оценка тоже не является асимптотически нормальной. Для оценки 20 4) θ) Плохо ли, что оценка θb = X(n) не асимптотически нормальна? Может быть, сходимость n(X(n) − ⇒ η еще лучше? Попробуем ответить на последний вопрос. 3.5 «Скорость» сходимости оценки к параметру Теорема 8. Если θ∗ — асимптотически нормальная оценка параметра θ, то θ∗ состоятельна. Доказательство теоремы √ 8. √ Заметим (доказать!), что если n(θ∗ − θ) ⇒ ξ ⊂ = N0,σ2 (θ) , то n|θ∗ − θ| ⇒ |ξ|. Поэтому при n → ∞ √ √ √ Pθ (|θ∗ − θ| < ε) = Pθ ( n|θ∗ − θ| < nε) ∼ P(|ξ| < nε) −→ P(|ξ| < ∞) = 1. Упражнение. Верно ли утверждение теоремы 8, если предельная величина ξ имеет распределение, отличное от нормального? p p Таким образом, если θ∗ асимптотически нормальна, то θ∗ −→ θ, или θ∗ − θ −→ 0. Свойство асим1 птотической нормальности показывает, в частности, что скорость этой сходимости имеет порядок √ n 1 ∗ (расстояние между θ и θ ведет себя как √ ): n p θ∗ − θ −→ 0, но √ n(θ∗ − θ) ⇒ ξ ⊂= N0,σ (θ) . 2 Взглянем с этой точки зрения на оценку θb = X(n) в примере 11. Для нее (и для тех, кто справился с упражнениями) n(X(n) − θ) ⇒ η, 1 где η — некоторая случайная величина. Иначе говоря, расстояние между θb и θ ведет себя как . n Упражнение. Лучше это или хуже? 3.6 Асимптотическая нормальность и ЦПТ В примере 11 мы видели, что для оценок типа 2X свойство асимптотической нормальности сразу следует из ЦПТ (см. также задачу 6 к лекции 1). Установим асимптотическую нормальность оценок более сложного вида (функций от сумм Xi и сумм функций от Xi ). Pn g(Xi ) n является асимптотически нормальной оценкой для Eθ g(X1 ) с коэффициентом σ 2 (θ) = Dθ g(X1 ): Лемма 4. Пусть функция g такова, что 0 6= Dθ g(X1 ) < ∞. Тогда оценка g(X) = √ g(X) − Eθ g(X1 ) n p Dθ g(X1 ) ⇒ N0,1 . Упражнение. Вспомнить ЦПТ и доказать лемму 4. Упражнение. Получить решение задачи 6 (после главы 1) в качестве следствия леммы 4. 21 1 3.7 Асимптотическая нормальность оценок вида H(g(X)) Следующая теорема утверждает асимптотическую нормальность оценок вида  Pn  1 g(Xi ) . θ∗ = H(g(X)) = H n Такие оценки получаются обычно (найти примеры!) при использовании метода моментов, при этом всегда θ = H(Eθ g(X1 )). Теорема 9. Пусть функция g такова, что 0 6= Dθ g(X1 ) < ∞, функция H непрерывно дифференцируема в точке a = Eθ g(X1 ), и H ′ (a) 6= 0. Тогда оценка θ∗ = H(g(X)) является асимптотически нормальной оценкой для θ = H(Eθ g(X1 )) = H(a) с коэффициентом σ 2 (θ) = (H ′ (a))2 Dθ g(X1 ). Доказательство теоремы 9. Разложим H(g(X)) в ряд Тейлора в точке a: H(g(X)) − H(a) = H ′ (a)(g(X) − a) + δn , p где δn = O((g(X) − a)2 ) −→ 0 при n → ∞. Последнее верно, так как по ЗБЧ при n → ∞ Pn g(Xi ) p g(X) = 1 −→ Eθ g(X1 ) = a. n 1) 2) Вспомним свойства слабой сходимости: p если ξn ⇒ ξ и ηn −→ c =const, то ξn ηn ⇒ cξ; p если ξn ⇒ ξ и ηn −→ c =const, то ξn + ηn ⇒ ξ + c. По лемме 4, √
n g(X) − a √ ⇒ ξ ⊂= N0,D g(X ) , и по свойству (1) слабой сходимости θ 1 √ p nδn = O( n(g(X) − a)(g(X) − a)) −→ 0 · ξ = 0. Отсюда (и по свойству (2) слабой сходимости)
√
√ √ n H(g(X)) − H(a) = nH ′ (a) g(X) − a + nδn что и требовалось доказать. ⇒ N0,(H (a)) ′ 2 Dθ g(X1 ) , Пример 12. Пусть X1 , . . . , Xn —qвыборка объема n из равномерного распределения U0,θ , где θ > 0. k Проверим, являются ли оценки θk∗ = (k + 1)X k , k = 1, 2, . . ., полученные методом моментов, асимптотически нормальными. √ Пусть g(x) = (k + 1)xk , H(y) = k y. Тогда r Pn  Pn  q k k k ∗ 1 g(Xi ) 1 (k + 1)Xi =H θk = (k + 1)X k = . n n При этом q θ = H(Eθ g(X1 )) = k Eθ (k + 1)X1k = s k (k + 1) θk . k+1 Впрочем, иначе быть не могло по определению метода моментов (верно?). Проверим другие условия теоремы 9: θk a = Eθ g(X1 ) = (k + 1) = θk , k+1 k2 θ2k − θ2k = θ2k 2k + 1 2k + 1 конечна и отлична от нуля. Функция H(y) непрерывно дифференцируема в точке a: Dθ g(X1 ) = Eθ (k + 1)2 X12k − a2 = (k + 1)2 H ′ (y) = 1 1−k 1 y k , H ′ (a) = H ′ (θk ) = θ1−k непрерывна для θ > 0. k k 22 По теореме 9, оценка θk∗ — АНО для θ с коэффициентом σk2 (θ) = (H ′ (a))2 Dθ g(X1 ) = 1 2−2k k2 θ2 θ · θ2k = . 2 k 2k + 1 2k + 1 В том числе для θ1∗ = 2X имеем коэффициент σ12 (θ) = θ2 (см. пример 11). 3 Осталось понять, при чем тут сравнение оценок и что показывает коэффициент асимптотической нормальности. 3.8 Асимптотический подход к сравнению оценок Возьмем две случайные величины: ξ ⊂ = N0,1 и 10 ξ ⊂ = N0,100 . Если для ξ, например, 0, 997 = P(|ξ| < 3), то для 10 ξ уже 0, 997 = P(|ξ| < 30). Разброс значений величины 10 ξ гораздо больший, и дисперсия (показатель рассеяния) соответственно больше. Что показывает коэффициент асимптотической нормальности? Возьмем две АНО с коэффициентами 1 и 100: √ √ ∗ n(θ1 − θ∗ ) ⇒ N0,1 и n(θ2∗ − θ∗ ) ⇒ N0,100 . √ При больших n разброс значений величины n(θ2∗ − θ∗ ) около нуля гораздо больше, чем у величины √ n(θ1∗ − θ∗ ), поскольку больше предельная дисперсия (она же коэффициент асимптотической нормальности). Но чем меньше отклонение оценки от параметра, тем лучше. Отсюда — естественный способ сравнения асимптотически нормальных оценок: Определение 12. Пусть θ1∗ — АНО с коэффициентом σ12 (θ), θ2∗ — АНО с коэффициентом σ22 (θ). Говорят, что θ1∗ лучше, чем θ2∗ в смысле асимптотического подхода, если для любого θ ∈ Θ σ12 (θ) 6 σ22 (θ), и хотя бы при одном θ это неравенство строгое. Пример 12 (продолжение). Сравним между собой оценки в последовательности θ1∗ , θ2∗ , . . .. Для θk∗ коэффициент асимптотической нормальности имеет вид σk2 (θ) = θ2 → 0 при k → ∞. 2k + 1 Коэффициент тем меньше, чем больше k, то есть каждая следующая оценка в этой последовательности лучше предыдущей. ∗ Оценка θ∞ , являющаяся «последней», могла бы быть лучше всех оценок в этой последовательности в смысле асимптотического подхода, если бы являлась асимптотически нормальной. Увы: Упражнение. (См. задачу 8 к главе 1). Доказать, что θk∗ → X(n) (поточечно), то есть для любого элементарного исхода ω при k → ∞ r Pn k X (ω) k (k + 1) 1 i → max{X1 (ω), . . . , Xn (ω)}. n Упражнение.∗ Можно ли придать некий смысл фразе: «оценка θb = X(n) асимптотически нормальна с коэффициентом 0»? Какой? И зачем? 3.9 Вопросы и упражнения 1. Задачник [1], задачи 7.5, 4.4 – 4.7, 4.9. 2. Пусть X1 , . . . , Xn — выборка объема n из равномерного распределения Uθ,θ+5 , где θ ∈ R. Сравнить оценки θb0 = X(n) − 5, θb1 = X(1) (см. пример 9) в среднеквадратичном. Сравнить с этими оценками оценку метода моментов θ∗ = X − 2,5. 23 3. Доказать, что в условиях предыдущей задачи оценка θ∗ асимптотически нормальна. Вычислить коэффициент. Доказать, что θb0 и θb1 АНО не являются. 4. Для показательного распределения с параметром α оценка, полученная методом моментов по k-му r k! k ∗ моменту, имеет вид: αk = (задача 5(г) после главы 2). Сравнить оценки αk∗ , k = 1, 2, . . . в Xk смысле асимптотического подхода. Доказать, что оценка α1∗ наилучшая. 24 4 Э ФФЕКТИВНЫЕ ОЦЕНКИ Вернемся к сравнению оценок в смысле среднеквадратического подхода. Мы договорились в классе одинаково смещенных оценок называть эффективной оценку с наименьшим среднеквадратическим отклонением (или наименьшей дисперсией). Но попарное сравнение оценок — далеко не лучший способ отыскания эффективной оценки. Сегодня мы познакомимся с утверждением, позволяющим доказать эффективность оценки (если, конечно, она на самом деле эффективна). Это утверждение называется неравенством Рао-Крамера и говорит о том, что в классе Kb существует нижняя граница для среднеквадратического отклонения Eθ (θ∗ − θ)2 любой оценки. Таким образом, если найдется оценка, отклонение которой в точности равно этой нижней границе (самое маленькое), то данная оценка — эффективна, поскольку у прочих оценок отклонение меньше быть не может. К сожалению, данное неравенство верно не для всех распределений, а лишь для так называемых «регулярных» семейств распределений, к которым не относится, например, большинство равномерных. 4.1 Условия регулярности Пусть X1 , . . . , Xn — выборка объема n из параметрического семейства распределений Fθ , θ ∈ Θ. Пусть fθ (y) — плотность Fθ (в смысле определения 5). Следующее условие назовем условием регулярности. (R) Для почти всех y ∈ R функция θ ∈ Θ. p fθ (y) непрерывно дифференцируема по θ во всех точках Замечание 11. Термин «для почти всех y» означает «для всех y, за исключением (возможно) y ∈ A, где Pθ (X1 ∈ A) = 0». В частности, для дискретного распределения Бернулли Pθ (X1 ∈ A) = 0 для всех A, не содержащих 0 и 1. Термин «функция непрерывно дифференцируема по θ» означает, что функция непрерывна и дифференцируема по θ, и ее производная (частная) также непрерывна по θ. 4.2 «Регулярные» и «нерегулярные» семейства распределений Пример 13. Регулярное семейство. Рассмотрим показательное распределение Eα с параметром α > 0. Плотность этого распределения имеет вид √  −αy p αe , если y > 0, αe−αy/2 , если y > 0, fα (y) = fα (y) = 0, если y 6 0, 0, если y 6 0. При любом y 6= 0 существует производная по α, и эта производная непрерывна во всех точках α > 0: ( √ y 1 ∂ p √ e−αy/2 − α e−αy/2 , если y > 0, fα (y) = 2 α 2 ∂α 0, если y < 0. Пример 14. Нерегулярное семейство. Рассмотрим равномерное распределение U0,θ с параметром θ > 0. Плотность этого распределения имеет вид ( ( 1 1 , если 6 y 6 θ, = θ , если θ > y и y > 0, fθ (y) = θ 0, иначе. 0, если y 6∈ [0, θ] При фиксированном y > 0 изобразим функцию fθ (y) (или ее корень — масштаб не соблюден) как функцию переменной θ. Видим, что какое бы y > 0 ни было, fθ (y) даже не является непрерывной по θ, а тем более дифференцируемой. 25 fθ (y) ✻ fθ (y) ✻ ✲ y ✲ y θ Рис. 4: Пример 15. θ Пример 14. Пример 15. Нерегулярное семейство. Рассмотрим «сдвинутое» показательное распределение с параметром сдвига θ ∈ R и плотностью  θ−y  , если y > θ, = eθ−y , если θ < y, fθ (y) = e 0, если θ > y. 0, если y 6 θ При фиксированном y ∈ R изобразим функцию fθ (y) (или ее корень) как функцию переменной θ. Видим, что какое бы y ни было, fθ (y) даже не является непрерывной по θ, а тем более дифференцируемой. Замечание 12. Вместо непрерывной дифференцируемости 4.3 Неравенство Рао-Крамера p fθ (y) можно требовать того же от ln fθ (y). Пусть X1 , . . . , Xn — выборка объема n из параметрического семейства распределений Fθ , θ ∈ Θ, и семейство Fθ удовлетворяет условию регулярности (R). Пусть, кроме того, выполнено условие (RR) def «Информация Фишера» I(θ) = Eθ рывна по θ во всех точках θ ∈ Θ.  2 ∂ ln fθ (X1 ) существует, положительна и непре∂θ При выполнении условий (R) и (RR) справедливо следующее утверждение. Теорема 10 («Неравенство Рао-Крамера»). Пусть θ∗ ∈ K0 , и Dθ θ∗ ограничена на компактах (то есть для любого компакта Θ0 ⊂ Θ найдется постоянная C такая, что Dθ θ∗ 6 C для всех θ ∈ Θ0 ). Тогда 1 . Dθ θ∗ = Eθ (θ∗ − θ)2 > nI(θ) Упражнение. Проверить, что для показательного семейства Eα с параметром α > 0 дисперсия Dα X1 не ограничена глобально при α > 0, но ограничена на компактах. Неравенство сформулировано для класса несмещенных оценок. В классе оценок с ненулевым смещением b(θ) неравенство Рао-Крамера выглядит так: Теорема 11 («Неравенство Рао-Крамера»). Пусть θ∗ ∈ Kb и Dθ θ∗ ограничена на компактах. Тогда (при выполнении условий (R) и (RR)) Eθ (θ∗ − θ)2 > (1 + b′ (θ))2 (1 + b′ (θ))2 + b2 (θ) или Dθ θ∗ > . nI(θ) nI(θ) 26 Замечание 13. Доказательство неравенства Рао-Крамера при первом, втором и третьем прочтении можно опустить. Доказательство неравенства Рао-Крамера. Мы докажем только неравенство для класса K0 (теорему 10). Необходимые изменения в доказательство для класса Kb читатель может внести самостоятельно. Нам понадобится следующее утверждение. ~ дисперсия Лемма 5. При выполнении условий (R) и (RR) для любой статистики T = T (X), которой ограничена на компактах, ∂ ∂ ~ θ). Eθ T = Eθ T · L(X, ∂θ ∂θ Упражнение. Вспомнить, что такое функция правдоподобия (Ψ) (определение 6), логарифмическая функция правдоподобия (L) (определение 7) и как они связаны друг с другом, с плотностью X1 и совместной плотностью выборки. Доказательство леммы 5. Напоминание: математическое ожидание функции от нескольких случайных величин есть (многомерный) интеграл от этой функции помноженной на совместную плотность этих с.в. Z Eθ T (X1 , . . . , Xn ) = T (y1 , . . . , yn )Ψ(y1 , . . . , yn , θ) dy1 . . . dyn . Rn В следующей цепочке равенств равенство, помеченное (?), мы доказывать не будем, поскольку его доказательство требует несколько более основательных знаний математического анализа, нежели имеющиеся у студентов 2 курса ЭФ 1997 г. Это равенство — смена порядка дифференцирования и интегрирования — то единственное, ради которого и введены условия регулярности (см. пример ниже). Напоминание: ln f (x) — сложная функция (см. правила дифференцирования суперпозиции). ∂ ~ Eθ T (X) ∂θ = = = Z Z ∂ ∂ ? T (~y )Ψ(~y , θ) d~y = T (~y )Ψ(~y , θ) d~y = ∂θ ∂θ Z ∂ Ψ(~y , θ) · Ψ(~y , θ) d~y = T (~y ) ∂θ Ψ(~y , θ) Z ∂ ~ · ∂ L(X, ~ θ). T (~y ) L(~y , θ) · Ψ(~y , θ) d~y = Eθ T (X) ∂θ ∂θ Воспользуемся леммой 5. Будем брать в качестве T разные функции и получать полезные формулы, которые потом соберем вместе. ~ ≡ 1. Тогда 1. Пусть T (X) ∂ ∂ ~ θ). 1 = Eθ L(X, ∂θ ∂θ ~ θ) = Q fθ (Xi ), то L(X, ~ θ) = P ln fθ (Xi ), и Далее, поскольку Ψ(X, 0= 0 = Eθ X ∂ ~ θ) = Eθ ln fθ (Xi ) = nEθ ln fθ (X1 ). L(X, ∂θ (7) ∂ ∂ ∂ ~ θ). Eθ θ ∗ = θ = 1 = Eθ θ ∗ · L(X, ∂θ ∂θ ∂θ (8) ~ = θ∗ ∈ K0 . Тогда 2. Пусть T (X) Вспомним свойство коэффициента корреляции: cov(ξ, η) = Eξη − EξEη 6 27 p DξDη. Используя свойства (7) и (8), имеем cov(θ∗ , ∂ ~ θ)) = Eθ θ∗ · ∂ L(X, ~ θ) − Eθ θ∗ Eθ ∂ L(X, ~ θ) = L(X, ∂θ ∂θ ∂θ r ∂ ∂ ∗ ~ ~ θ). = Eθ θ · L(X, θ) = 1 6 Dθ θ∗ Dθ L(X, ∂θ ∂θ (9) ∂ ~ θ): L(X, Найдем Dθ ∂θ Dθ X ∂ ∂ ∂ ∂ ~ θ) = Dθ L(X, ln fθ (Xi ) = nDθ ln fθ (X1 ) = nEθ ( ln fθ (X1 ))2 = nI(θ). ∂θ ∂θ ∂θ ∂θ Подставляя дисперсию в неравенство (9), получим 1 6 Dθ θ∗ · nI(θ) или Dθ θ∗ > 1 , nI(θ) что и требовалось доказать. Следующий пример показывает, что условие регулярности является существенным для выполнения равенства, помеченного (?) в лемме 5. Пример 16. Нерегулярное семейство. Рассмотрим равномерное распределение U0,θ с параметром θ > 0. Выпишем при n = 1 какой-нибудь интеграл и сравним производную от него и интеграл от производной: Zθ Zθ ∂ 1 ∂ 1 1 ∂ dy = 1 = 0; dy = − 6= 0. ∂θ θ ∂θ ∂θ θ θ Заметим, что и само утверждение неравенства Рао-Крамера для данного семейства распределений не выполнено: найдется оценка, дисперсия которой ведет себя как 1/n2 , а не 1/n, как в неравенстве РаоКрамера. Упражнение. Проверить, что в качестве этой «выдающейся» из неравенства Рао-Крамера оценки n+1 можно брать X(n) , или X(n) ∈ K0 . n 4.4 Неравенство Рао-Крамера как способ проверки эффективности оценок Сформулируем очевидное следствие из неравенства Рао-Крамера. Следствие 1. Если семейство распределений Fθ удовлетворяет условиям регулярности (R) и (RR), и оценка θ∗ ∈ Kb такова, что в неравенстве Рао-Крамера достигается равенство: Eθ (θ∗ − θ)2 = (1 + b′ (θ))2 (1 + b′ (θ))2 + b2 (θ) или Dθ θ∗ = , nI(θ) nI(θ) то оценка θ∗ эффективна в классе Kb . Пример 17. Для выборки X1 , . . . , Xn из распределения Пуассона Πλ оценка λ∗ = X эффективна (в классе K0 ), так как для нее достигается равенство в неравенстве Рао-Крамера (см. [1], Пример на с. 42, решение 2). Пример 18. Пусть X1 , . . . , Xn — выборка объема n из нормального распределения Na,σ2 , где a ∈ R, σ > 0. Проверим, является ли оценка a∗ = X ∈ K0 эффективной. 28 Найдем информацию Фишера относительно параметра a (считая, что имеется один неизвестный параметр — a).   1 (X1 − a)2 f(a,σ2 ) (X1 ) = √ exp − 2σ 2 2πσ 2 (X1 − a)2 ln f(a,σ2 ) (X1 ) = −ln (2πσ 2 )1/2 − 2σ 2 ∂ (X1 − a) ln f(a,σ2 ) (X1 ) = ∂a σ2 2  E(a,σ2 ) (X1 − a)2 D(a,σ2 ) X1 1 ∂ 2 2 ln f(a,σ ) (X1 ) = = = 2. I(a) = E(a,σ ) ∂a σ4 σ4 σ Итак, I(a) = 1/σ 2 . Найдем дисперсию оценки X. По теореме о свойствах Sn /n из прошлого семестра, которую невредно вспомнить, D(a,σ2 ) X ! = 1 D(a,σ2 ) X1 n = σ2 . n Замечание 14. Тем, кто не желает обременять память воспоминаниями, предлагается воспользоваться свойствами дисперсии суммы независимых (и одинаково распределенных) случайных величин и доказать равенство 1 DX ≡ DX1 n Далее, сравнивая левую и правую части в неравенстве Рао-Крамера, получаем равенство: D(a,σ2 ) X = σ2 n = 1 . nI(a) То есть оценка a∗ = X эффективна (обладает наименьшей дисперсией среди несмещенных оценок). Пример 19. Пусть X1 , . . . , Xn — выборка объема n из нормального распределения N0,σ2 , где σ > 0. n 1X 2 ∗ X = X 2 ∈ K0 эффективной. Проверим, является ли оценка σ 2 = n i=1 i Упражнение. Получить эту оценку методом моментов и методом максимального правдоподобия. Найдем информацию Фишера относительно параметра σ 2 .   X12 1 exp − 2 fσ2 (X1 ) = √ 2σ 2πσ 2 1 X2 ln fσ2 (X1 ) = −ln (2π)1/2 − ln σ 2 − 12 2 2σ 2 1 X ∂ ln fσ2 (X1 ) = − 2 + 14 ∂σ 2 2σ 2σ   2 2 2 ∂ X1 1 1 1 2 2 I(σ 2 ) = Eσ2 (X ) ln f − Eσ2 (X12 − σ 2 )2 = Dσ2 X12 . = E = 1 σ σ 2 4 2 8 ∂σ 2σ 2σ 4σ 4σ 8 Осталось найти Dσ2 X12 = Eσ2 X14 − (Eσ2 X12 )2 = Eσ2 X14 − σ 4 . Найдем четвертый момент X1 . Для тех, кто помнит некоторые формулы вероятности: Eξ 2k = (2k − 1)!! = (2k − 1)(2k − 3) · . . . · 3 · 1 при ξ ⊂ = N0,1 , 29 |= ⇒ X1 = ξ · σ ⊂ = N0,σ2 EX14 = Eξ 4 · σ 4 = 3σ 4 . Для тех, кто не помнит — краткое пособие по интегрированию: Eσ2 X14 = Z∞ y2 − 2 2σ 1 e y √ dy = 2σ 4 2πσ 4 −∞ = 2σ 4 Z∞ t2 1 1 −2 t4 √ e dt = −2σ 4 √ 2π 2π 1 = 2σ 4 √ · 3 2π Z∞ dt = 3σ 4 Итак, Dσ2 X12 = Eσ2 X14 − σ 4 = 2σ 4 . 2 t3 de − t2 Z∞ 2 − t2 t2 e Z∞  2 1 −t = −2σ 4 √ t3 e 2 2π 2 − t2 1 √ t2 e 2π y2 Z∞  4 1 − 2σ2  y  y √ e = d σ σ 2π ∞ dt = 3σ 4 · Dξ = 3σ 4 · 1, − Z∞ 2 − t2 e  dt3  = где ξ ⊂ = N0,1 . −∞ I(σ 2 ) = 1 1 1 Dσ2 X12 = 2σ 4 = . 4σ 8 4σ 8 2σ 4 ∗ Найдем дисперсию оценки σ 2 = X 2 . n Dσ 2 X 2 = X 1 2σ 4 1 2 2 2 2X = D X = D . σ σ 1 i n2 n n 1 Сравнивая левую и правую части в неравенстве Рао-Крамера, получаем равенство: Dσ 2 X 2 = 2σ 4 n = 1 . nI(σ 2 ) ∗ Таким образом, оценка σ 2 = X 2 эффективна. Упражнение. Пусть X1 , . . . , Xn — выборка объема n из нормального распределения Na,σ2 , где n 1X ∗ a известно, σ > 0. Проверить, является ли оценка σ 2 = (Xi − a)2 = (X − a)2 эффективной. n i=1 Принадлежит ли эта оценка классу K0 ? Какими методами получена? Является ли состоятельной и асимптотически нормальной? Пример 20. Пусть X1 , . . . , Xn — выборка объема n из распределения Бернулли B17p (а почему бы и нет?), где p ∈ (0, 1/17). Проверим, является ли оценка p∗ = X/17 ∈ K0 (оценка для параметра p!) эффективной. 2  ∂ относительно параметра p. Нам знаком ln fp (X1 ) Найдем информацию Фишера I(p) = Ep ∂p только «табличный» вид «плотности» распределения Бернулли с вероятностью успеха 17p:  17p, если y = 1, fp (y) = Pp (X1 = y) = 1 − 17p, если y = 0. Заметим, что то же самое можно записать иначе: fp (y) = (17p)y (1 − 17p)1−y , y = 0, 1. Теперь уже удобно и логарифмировать, и дифференцировать. fp (X1 ) = (17p)X1 (1 − 17p)1−X1 ln fp (X1 ) = X1 ln 17 + X1 ln p + (1 − X1 )ln (1 − 17p) ∂ X1 1 − X1 X1 − 17p ln fp (X1 ) = − 17 = ∂p p 1 − 17p p(1 − 17p)  2 Ep (X1 − 17p)2 ∂ Dp X 1 17p(1 − 17p) 17 I(p) = Ep ln fp (X1 ) = 2 = 2 = 2 = . 2 2 2 ∂p p (1 − 17p) p (1 − 17p) p (1 − 17p) p(1 − 17p) 30 Итак, I(p) = 17/p(1 − 17p). Найдем дисперсию оценки X/17. Dp X Dp X 17p(1 − 17p) p(1 − 17p) 1 = = . = 2 Dp X 1 = 17 172 17 n 172 n 17n Подставив дисперсию и информацию Фишера в неравенстве Рао-Крамера, получаем равенство: Dp X 17 = p(1 − 17p) 17n = 1 . nI(p) То есть оценка p∗ = X/17 эффективна (обладает наименьшей дисперсией среди несмещенных оценок). Упражнение. Получить эту оценку методом моментов и методом максимального правдоподобия. Она действительно несмещенная? А еще какими свойствами обладает? 4.5 Наилучшие линейные несмещенные оценки В плане подготовки к курсу «Эконометрия» полезно заметить следующее: в практической статистике часто рассматривают оценки, являющиеся линейными (и по возможности несмещенными) функциями от Pn выборки, то есть оценки вида θ∗ = i=1 ai Xi . В классе таких оценок наилучшая в смысле среднеквадратического подхода оценка обычно находится и без неравенства Рао-Крамера P P(что особенно полезно для нерегулярных семейств) — достаточно минимизировать a2i при заданной ai . Такую оценку принято называть «наилучшей линейной несмещенной оценкой», или по английски — BLUE (“best linear unbiased estimate"). Так, скажем, для распределения U0,θ оценка θ0∗ = 2X является BLUE, так как ее дисперсия Pn (найти! ∗ 10) не больше (доказать!) дисперсии любой оценки вида θ = или вспомнить пример i=1 ai Xi , где Pn a = 2 (почему это гарантирует несмещенность?). i=1 i Справедливости ради следует добавить (см. пример 10), что оценка θ0∗ = 2X, хоть и является BLUE, не может конкурировать в среднеквадратичном смысле с нелинейной оценкой θ̂ = n+1 n X(n) (которая является эффективной в классе несмещенных оценок, но это — страшная тайна). 4.6 Вопросы и упражнения 1. Проверить эффективность ОМП для следующих распределений: а) Bp+1 , −1 < p < 0, б)Π2λ , в) E1/α , г) Na,1 , д) Bm,p (биномиальное), 0 < p < 1, при известном m. 2. Выполнить все упражнения, содержащиеся в тексте главы 4. 31 5 Д ОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ ~ = (X1 , . . . , Xn ) из распределения Fθ с неизвестным параметПусть, как обычно, имеется выборка X ром θ ∈ Θ ⊆ R. До сих пор мы занимались «точечным оцениванием» неизвестного параметра — находили число («оценку»), способную (из каких-то разумных соображений) заменить параметр. Существует другой подход к оцениванию, при котором мы указываем интервал, в котором с заданной наперед вероятностью лежит параметр. Такой подход называется «интервальным оцениванием». Сразу заметим, (хотя бы из философских соображений): чем больше уверенность в том, что параметр лежит в интервале, тем шире интервал. Так что мечтать найти диапазон, в котором θ лежит с вероятностью 1, бессмысленно — это вся область Θ. 5.1 Интервальное оценивание   ~ ε), θ+ (X, ~ ε) называется точОпределение 13. Пусть 0 < ε < 1. Интервал (θ− , θ+ ) = θ− (X, ным доверительным интервалом для параметра θ уровня доверия 1 − ε, если для любого θ ∈ Θ

Pθ θ− < θ < θ+ = Pθ (θ− , θ+ ) ∋ θ > 1 − ε.   ~ ε), θ+ (X, ~ ε) называется асимОпределение 14. Пусть 0 < ε < 1. Интервал (θ− , θ+ ) = θ− (X, птотическим доверительным интервалом для параметра θ (асимптотического) уровня доверия 1 − ε, если для любого θ ∈ Θ

limn→∞ Pθ θ− < θ < θ+ = limn→∞ Pθ (θ− , θ+ ) ∋ θ > 1 − ε. Замечание 15. Случайны здесь границы интервала (θ− , θ+ ), поэтому читают формулу Pθ (θ− < θ < θ+ ) как «интервал (θ− , θ+ ) накрывает параметр θ», а не как «θ лежит в интервале...». Впрочем, это лишь фразеология (но точно отражающая суть дела). Замечание 16. Знак «> 1−ε» обычно соответствует дискретным распределениям, когда нельзя обязаться добиться равенства: например, для ξ ∈ B1/2 при любом x равенство P(ξ < x) = 0,25 места не имеет, тогда как P(ξ < x) > 0,25 ⇐⇒ x > 0. Прежде чем рассматривать какие-то регулярные способы построения точных и асимптотических ДИ (доверительных интервалов), разберем два примера, предлагающих (очень похожие) способы. Пример 21. Пусть X1 , . . . , Xn — выборка объема n из нормального распределения Na,σ2 , где a ∈ R, и σ > 0 известно. Требуется построить точный ДИ для параметра a уровня доверия 1 − ε. Вспомним, что нормальное распределение устойчиво по суммированию: (доказать бы!) Свойство 2. Пусть ξ1 ⊂ =N ,ξ ⊂ =N — независимые с.в. Тогда a1 , σ12 2 a2 , σ22 cξ1 + dξ2 + g ⊂ =N . ca1 + da2 + g, c2 σ12 + d2 σ22 Поэтому n X 1 Xi ⊂ = Nna,nσ2 , n X 1 Xi − na ⊂ = N0,nσ2 , Pn 1 Xi − na √ X − a √ ⊂ = N0,1 . = n σ nσ √ X −a n ⊂ = N0,1 . По ε ∈ (0, 1) найдем число c > 0, такое что P(−c < η < c) = 1 − ε. σ Число c — квантиль уровня 1−ε/2 стандартного нормального распределения: (из области воспоминаний) P(−c < η < c) = Φ0,1 (c)−Φ0,1 (−c) = Φ0,1 (c)−(1−Φ0,1 (c)) = 2Φ0,1 (c)−1 = 1−ε |= ⇒ Φ0,1 (c) = 1− 2ε . Обозначим η = 32 Напоминание: Определение 15. Пусть распределение F с функцией распределения F абсолютно непрерывно. Число τδ называется квантилью уровня δ распределения F, если F (τδ ) = δ. Итак, c = τ1−ε/2 , или −c = τε/2 (квантили стандартного нормального распределения). ✻ ε/2 ❅ ❅ ❅ ❘ ε/2 1−ε ✠ ✲ c = τ1−ε/2 −c = τε/2 y Рис. 5: Плотность стандартного нормального распределения и квантили. Разрешив неравенство −c < η < c относительно a, получим ДИ     √ X −a cσ cσ 1 − ε = P(−c < η < c) = Pa −c < n . < c = Pa X − √ < a < X + √ σ n n (10) Можно подставить c = τ1−ε/2 :  τ1−ε/2 σ τ1−ε/2 σ 0. Требуется построить асимптотический ДИ для параметра α уровня доверия 1 − ε. Вспомним ЦПТ: 1 √ √ X−α Xi − nEα X1 √ = n(αX − 1) ⇒ η ⊂ = N0,1 . = n 1 nDα X1 α По определению слабой сходимости, при n → ∞
√ Pα −c < n(αX − 1) < c → P(−c < η < c) = 1 − ε при c = τ1−ε/2 . Pn 1 То есть
n(αX − 1) < τ1−ε/2 =   τ1−ε/2 τ1−ε/2 1 1 → 1 − ε при n → ∞. − √ <α< + √ = Pα X nX X nX   τ1−ε/2 1 τ1−ε/2 1 − √ , + √ Итак, искомый асимптотический ДИ уровня доверия 1 − ε имеет вид . X nX X nX Pα −τ1−ε/2 < √ 33 Можно сформулировать общий принцип построения точных ДИ: ~ θ), имеющую известное (т.е. не зависящее от параметра θ) распределение G: 1. Найти функцию G(X, ~ ~ θ) была обратима по θ при любом фиксированном X. ~ G(X, θ) ⊂ = G. Необходимо, чтобы G(X, 2. Пусть g1 и g2 — квантили распределения G, так что ~ θ) < g2 ). 1 − ε = P(g1 < G(X, ~ θ) < g2 относительно θ (если это возможно), получим точный ДИ. 3. Разрешив неравенство g1 < G(X, Замечание 17. Часто (но не всегда) в качестве g1 и g2 берут квантили уровня ε/2 и 1 − ε/2 распределения G. Совершенно аналогично выглядит общий принцип построения асимптотических ДИ: ~ θ), слабо сходящуюся к известному (т.е. не зависящему от параметра θ) рас1. Найти функцию G(X, ~ θ) ⇒ η ⊂ ~ θ) была обратима по θ при любом пределению G: G(X, = G. Необходимо, чтобы G(X, ~ фиксированном X. 2. Пусть g1 и g2 — квантили распределения G, так что ~ θ) < g2 ) → P(g1 < η < g2 ) = 1 − ε P(g1 < G(X, ~ θ) < g2 относительно θ, получим асимптотический ДИ. 3. Разрешив неравенство g1 < G(X, Пример 23. Попробуем, пользуясь приведенной выше схемой, построить точный доверительный интервал для параметра θ равномерного на [0, θ] распределения (см. [1], задача 8.8, с очепяткой). Xi Мы знаем, что если Xi ⊂ = U0,θ , то ⊂ = U0,1 . Тогда величина θ   X(n) Xn max {X1 , . . . , Xn } X1 ,..., = = η = max θ θ θ θ распределена так же, как максимум из n независимых равномерно распределенных на [0, 1] случайных величин, то есть имеет функцию распределения ( 0, y<0 Fη (y) = P(η < y) = yn , 1, y ∈ [0, 1] y>1 Возьмем g2 = 1. Найдем g1 такое, что 1 − ε = P(g1 < η < 1). P(g1 < η < 1) = Fη (1) − Fη (g1 ) = 1 − Fη (g1 ) = 1 − g1n = 1 − ε Тогда √ 1 − ε = P( n ε < η < 1) = P  √ n ε< |= ⇒ g1 = √ n ε.    X(n) X(n) . < 1 = P X(n) < θ < √ n θ ε Упражнение. Можно ли, пользуясь схемой примера 21, построить точный ДИ для σ при известном a, если разрешить неравенство −c < η < c в (10) относительно σ? (Можно предположить, например, что X − a > 0). Чем плох интервал бесконечной длины? Вопрос на засыпку: а получился ли у Вас интервал бесконечной длины? √ X −a n не годится для построения точного ДИ для σ при σ известном a, а тем более при неизвестном a. В следующей главе мы займемся поиском подходящих функций. Следующий пример (как и пример refex22) показывает, что ЦПТ дает универсальный вид функции G для построения асимптотических ДИ. Из упражнения видно, что функция G вида 34 Пример 24. Пусть X1 , . . . , Xn — выборка объема n из распределения Пуассона Πλ , где λ > 0. Требуется построить асимптотический ДИ для параметра λ уровня доверия 1 − ε. Вспомним ЦПТ: Pn √ X −λ 1 Xi − nEλ X1 √ ⇒ η ⊂= N0,1 . = n √ nDλ X1 λ По определению слабой сходимости, при n → ∞   √ X −λ Pλ −c < n √ < c → P(−c < η < c) = 1 − ε λ при c = τ1−ε/2 . Но разрешить неравенство под знаком вероятности относительно λ не просто — получается квадрат√ √ ное неравенство из-за корня в знаменателе. Заменим λ на X. Не испортится ли сходимость? p По свойствам слабой сходимости, если ξn −→ 1 и ηn ⇒ η, то r ξn ηn ⇒ η. Воспользуемся этим. λ p p 1 |= ⇒ −→ 1. Тогда |= ⇒ λ −→ Оценка λ∗ = X состоятельна X X r λ √ X −λ √ X −λ = n √ · n √ ⇒ η ⊂= N0,1 . X λ X   √ X −λ Pλ −τ1−ε/2 < n √ < τ1−ε/2 → P(−τ1−ε/2 < η < τ1−ε/2 ) = 1 − ε. X Разрешая неравенство под знаком вероятности относительно λ, получим √ √ ! τ1−ε/2 X τ1−ε/2 X √ √ <λ 0, λ > 0, если ξ имеет плотность распределения   αλ λ−1 −αy e , y>0 fα,λ (y) = Γ(λ) y  0, y60 Здесь (см. справочник, «гамма-функция») Γ(λ) = Z∞ tλ−1 e−t dt = (λ − 1)Γ(λ − 1), Γ(k) = (k − 1)!, Γ(1/2) = √ π, Γ(1) = 1. Найдем характеристическую функцию ξ ⊂ = Γα,λ . itξ ϕξ (t) = Ee = Z∞ ity e αλ λ−1 −αy αλ y e dy = Γ(λ) Γ(λ) αλ 1 = · Γ(λ) (α − it)λ Z∞ y λ−1 e−(α−it)y dy = Z∞ ((α − it)y)λ−1 e−(α−it)y d(α − it)y = {z | } Γ(λ) αλ = (α − it)λ  1− it α −λ . Лемма 6. Пусть ξ1 , ξ2 , . . . , ξn независимы и ξi ⊂ = Γα,λi , i = 1, . . . , n. Тогда Sn = n X i=1 ξi ⊂ = Γα,Pn λi . 1 Доказательство свойства устойчивости по суммированию (леммы 6). −λi  − Pn λi n n  Y Y 1 it it ϕSn (t) = ϕξi (t) = 1− , = 1− α α i=1 i=1 что и требовалось доказать. Следствие 2. Пусть ξ1 , ξ2 , . . . , ξP n независимы, одинаково распределены и имеют показательn = Γα,n . ное распределение Eα . Тогда Sn = i=1 ξi ⊂ 36 Доказательство. Достаточно заметить, что Eα = Γα,1 . Лемма 7. Если ξ ⊂ = N0,1 , то ξ 2 ⊂ = Γ1/2,1/2 . Доказательство. По определению, плотность величины ξ 2 связана с ее функцией распределения равенством: Zy 2 P(ξ < y) = fξ2 (z) dz, −∞ причем fξ2 (z) = 0 для z < 0 (почему?). При y > 0: √ √ √ P(ξ 2 < y) = P(− y < ξ < y) = 2 Zy = Zy 2 − t2 1 √ e 2π 1 √ z −1/2 e−z/2 dz = 2π Zy   1 замена t2 = z, dt = √ dz, 2 z    dt =  границы:  √ t = y 7→ z = y, t = 0 7→ z = 0 (1/2)1/2 1/2−1 −z/2 dz. z e Γ(1/2) | {z } fξ2 (z) Плотность под интегралом есть плотность распределения Γ1/2,1/2 . Следствие 3. Если ξ1 , . . . , ξk независимы и имеют стандартное нормальное распределение, то χ2k = ξ12 + . . . + ξk2 ⊂ = Γ1/2,k/2 Доказательство. Лемма 6 + лемма 7 |= ⇒ следствие 3. 6.2 Распределение «хи-квадрат» и его свойства Определение 17. Распределение Γ1/2,k/2 суммы k квадратов независимых стандартных нормальных случайных величин называют распределением «хи-квадрат» с k степенями свободы и обозначают Hk (или χ2k ). Для удобства мы часто будем обозначать через χ2k случайную величину с распределением Hk . Рис. 6: Плотности распределения Hk при разных k. Свойства Hk : 1. Если φ ⊂ = Hk и ψ ⊂ = Hm — независимы, то φ + ψ ⊂ = Hk+m . Доказательство. Пусть ξ1 , ξ2 , . . . независимы и имеют стандартное нормальное распределение. 2 2 , а их сумма — как + . . . + ξk+m Тогда φ распределено как ξ12 + . . . + ξk2 , ψ распределено как ξk+1 2 2 = Hk+m . ξ1 + . . . + ξk+m ⊂ 37 2. = Hk , то Eχ2k = k, Dχ2k = 2k. Если χ2k ⊂ Доказательство. Пусть ξ1 , ξ2 , . . . независимы и имеют стандартное нормальное распределение. Тогда Eξ12 = 1, Dξ12 = Eξ14 − (Eξ12 )2 = 3 − 1 = 2 (см. пример 19). Eχ2k = E(ξ12 + . . . + ξk2 ) = k, Dχ2k = D(ξ12 + . . . + ξk2 ) = 2k. Следствие 4. Если ξ1 , . . . , ξk независимы и имеют распределение Na,σ2 , то χ2k = 2 k  X ξi − a σ i=1 ⊂ = Hk Упражнение. Доказать следствие 4. 6.3 Распределение Стью́дента и его свойства Определение 18. Пусть ξ0 , ξ1 , . . . , ξk независимы и имеют стандартное нормальное распределение. Распределение случайной величины tk = r ξ0 =r 1 2 χ2k (ξ1 + . . . + ξk2 ) k k ξ0 называют распределением Стью́дента с k степенями свободы и обозначают Tk . Рис. 7: Плотности распределения Tk и N0,1 . Свойства Tk : 1. Если tk ⊂ = Tk , то и −tk ⊂ = Tk . Упражнение. Доказать. 2. Если tk ⊂ = Tk , то tk ⇒ N0,1 при k → ∞. Доказательство. Пусть ξ0 , ξ1 , . . . , ξk независимы и имеют стандартное нормальное распределение. Тогда Eξ12 = 1, и по ЗБЧ ξ 2 + . . . + ξk2 p χ2k = 1 −→ 1 при k → ∞. k k Остается вспомнить свойства сходимости по распределению (какие?). Отметим еще, что и распределение Hk , и распределение Стьюдента табулированы, так что если в каких-то доверительных интервалах появятся квантили этих распределений (вспомнить, к чему это!), то мы найдем их по таблице. Упражнение. Как, пользуясь таблицей стандартного нормального распределения, найти квантиль заданного уровня распределения H1 (с одной степенью свободы)? 38 6.4 Преобразования нормальных выборок ~ = (X1 , . . . , Xn ) — выборка из N0,1 (набор независимых и одинаково распределенных велиПусть X   1   .. чин). Пусть C — ортогональная матрица (n × n), т.е. CC T = E =  . Введем вектор . ~ =X ~ · C с координатами Yi = Pn Xj Cji . Y j=1 1 ~ независимы и имеют стандартное нормальное распредеЛемма 8. Координаты вектора Y ление. Доказательство. Воспользуемся свойством, утверждающим, что по характеристической функции однозначно восстанавливается распределение. Это верно и для характеристической функции вектора. Определение 19. Характеристической функцией вектора ξ~ = (ξ1 , . . . , ξn ) называется функция переменного ~t = (t1 , . . . , tn ) n P i ~ ~T ϕξ~(~t) = Eeit·ξ = Ee tj ξj . j=1 ~ равна Характеристическая функция вектора X i ϕX~ (~t) = Ee = n P tj Xj n Y независ-ть = j=1 n Y Eeitj Xj = j=1 ϕXj (tj ) = j=1 n Y ϕXj (tj ) = j=1 −t2j /2 e n Y − 12 =e j=1 n P j=1 t2j (11) . ~ =X ~ · C: Вычислим х.ф. вектора Y ~T i~ tY ϕY~ (~t) = Ee ~T i~ t CT X = Ee hзаменим i i~ uC·C T ~T X ~T i~ uX = ~ = Ee = Ee t = ~u · C Pn Pn Так как C ортогональна, то j=1 u2j = j=1 t2j (доказать!). Поэтому − 21 ϕY~ (~t) = e n P j=1 u2j − 21 =e n P j=1 t2j − 12 =e n P j=1 u2j (по (11)). = ϕX~ (~t), ~ распределен так же, как и вектор X. ~ и вектор Y ~ = (X1 , . . . , Xn ) ⊂ ~ = Лемма 9. Пусть X = N0,1 , независимы, C — ортогональная матрица и Y ~ X · C. Тогда для любого k = 1, . . . , n ~ = T (X) n X i=1 Xi2 − Y12 − . . . − Yk2 ⊂ = Hn−k и не зависит от Y1 , . . . , Yk . ~ =X ~ · C, то Pn X 2 = Pn Y 2 . Тогда Доказательство. Поскольку Y i=1 i i=1 i ~ = T (X) n X i=1 2 Yi2 − Y12 − . . . − Yk2 = Yk+1 + . . . + Yn2 ⊂ = Hn−k и не зависит от Y1 , . . . , Yk . 39 Второй и третий пункты следующего утверждения выглядят неправдоподобно, особенно если вспомнить обозначения: n n 1X 1 X X= Xi , S02 = (Xi − X)2 . n i=1 n − 1 i=1 Лемма 10 (Фишер). Если X1 , . . . , Xk независимы и имеют распределение Na,σ2 , то 1. √ X −a n ⊂ = N0,1 ; σ 2. (n − 1)S02 ⊂ = Hn−1 ; σ2 3. X и S02 независимы. Доказательство леммы Фишера. 1. Очевидно (доказать, что очевидно!). 2. Покажем сначала, что можно рассматривать выборку из стандартного нормального распределения вместо Na,σ2 : n X (n − 1)S02 = 2 σ i=1  Xi − X σ 2 = n  X Xi − a σ i=1 − X −a σ 2 = n X i=1 (zi − z)2 , X −a Xi − a ⊂ = N0,1 , z = . σ σ То есть можно с самого начала считать, что Xi ⊂ = N0,1 , и доказывать свойство 2 при a = 0, σ 2 = 1. где zi = Применим лемму 9. ~ = (n − 1)S02 = T (X) n X i=1 Мы обозначили Y1 = Xi − X √
2 = n X i=1 def Xi2 − n(X)2 = n X i=1 Xi2 − Y12 . Xn X1 n X = √ + ... + √ . n n Чтобы применить лемму 9, нужно найти ортогональную матрицу C такую, что Y1 —  первая коорди 1 1 ~ =X ~ · C. Возьмем матрицу C с первым столбцом √ , . . . , √ . Так как длина ната вектора Y n n этого вектора — единица, его можно дополнить до ортонормального базиса (иначе — этот стол√ бец можно дополнить до ортогональной матрицы). Тогда Y1 = n X и будет первой координатой ~ =X ~ · C. вектора Y Осталось применить лемму 9 (непременно сделайте это!). ~ = (n − 1)S 2 = Pn X 2 − Y 2 не зависит от Y1 = √n X, то есть 3. Из леммы 9 сразу следует, что T (X) 1 i=1 i X и S02 независимы. Следующее следствие из леммы Фишера наконец позволит нам строить доверительные интервалы для параметров нормального распределения — то, ради чего мы и доказали уже так много утверждений. В каждом пункте указано, для какого параметра мы построим доверительный интервал с помощью данного утверждения. Следствие 5. 1. 2. n P i=1  Xi − a σ 2 = √ X −a n ⊂ = N0,1 — для a при σ известном; σ ∗ nσ 2 ⊂ = Hn — для σ 2 при a известном; σ2 40 3. n P i=1 4.  Xi − X σ 2 = (n − 1)S02 ⊂ = Hn−1 — для σ 2 при a неизвестном; σ2 √ X −a √ X −a np 2 = n ⊂ = Tn−1 — для a при σ неизвестном. S0 S0 Доказательство следствия 5. 1) и 3) — из леммы Фишера, 2) — из следствия 4, осталось воспользоваться леммой Фишера и определением 18 распределения Стьюдента, чтобы доказать 4). √ X −a √ X −a np 2 = n S0 | {zσ } s · N0,1 независ. տ 1 (n | ր − 1)S02 σ2 1 n − 1 } {z Hn−1 =r ξ0 χ2n−1 n−1 ⊂ = Tn−1 . 6.5 Построение точных доверительных интервалов для параметров нормального распределения 1. Для a при известном σ 2 . Это мы уже построили:   τ1−ε/2 σ τ1−ε/2 σ Pa,σ2 X − √ 0}, H2 : H1 не верна. 4. Гипотеза однородности. Заданы несколько выборок ~1 = (X11 , . . . , X1n ) ⊂ X = F1 , ... 1 = Fk . X~k = (Xk1 , . . . , Xknk ) ⊂ Проверяется гипотеза H1 : F1 = . . . = Fk — сложная гипотеза — против (сложной) альтернативы H2 : H1 не верна. 5. Гипотеза независимости. Наблюдается пара случайных величин (ξ, η). По выборке (X,~ Y ) = ((X1 , Y1 ), . . . , (Xn , Yn )) проверяется гипотеза H1 : ξ и η независимы — сложная гипотеза — против (сложной) альтернативы H2 : H1 не верна. ~ = (X1 , . . . , Xn ), 6. Гипотеза случайности. Наблюдается n случайных величин (ξ1 , . . . , ξn ). По выборке X в которой каждая с.в. представлена одним значением, проверяется гипотеза H1 : ξ1 , . . . , ξn независимы и одинаково распределены — сложная гипотеза — против (сложной) альтернативы H2 : H1 не верна. Эту задачу ставят, например, если требуется проверить качество датчика случайных чисел. Определение 21. Если имеются гипотезы H1 , . . . , Hk , то критерием (нерандомизированным крите~ называется отображение рием) δ = δ(X) δ : Rn → {H1 , . . . , Hk }. 43 О рандомизированных критериях, которые предписывают принимать каждую гипотезу с некоторой (зависящей от выборки) вероятностью, мы поговорим позднее. Определение 22. Для заданного критерия δ : Rn → {H1 , . . . , Hk } будем говорить, что произошла ошибка i-го рода, если гипотеза Hi отвергнута критерием, в то время как она верна. Вероятностью ошибки i-го рода называется число ~ 6= Hi |Hi верна) = PH (δ(X) ~ 6= Hi ). αi (δ) = P(δ(X) i Для краткости мы часто будем говорить «вычислить ошибку 1-го рода», вместо «вычислить вероятность ошибки 1-го рода». Пример 26. Контроль качества и ошибки. Пусть любое изделие некоторого производства оказывается браком с вероятностью p. Контроль продукции допускает ошибки: годное изделие бракует с вероятностью γ, а бракованное признает годным с вероятностью ε. Если ввести для данного изделия 2 гипотезы: H1 : изделие годное и H2 : изделие бракованное, и в качестве критерия выбора использовать контроль продукции, то γ — вероятность ошибки 1-го рода, а ε — 2-го рода данного критерия. Упражнение. Вычислить ошибки 1-го и 2-го рода того же критерия для проверки гипотез H1 : изделие бракованное и H2 : изделие годное. 7.2 Две простые гипотезы Рассмотрим подробно случай, когда имеется две простые гипотезы о распределении наблюдений:  H1 : F = F 1 , H2 : F = F 2 . ~ : Rn → {H1 , H2 }, он принимает не более двух значений. То есть область Каков бы ни был критерий δ(X) n n R делится на две части R = S ∪ (Rn \S) так, что  ~ ∈ Rn \S, H1 , если X ~ δ(X) = ~ H2 , если X ∈ S. Область S называют критической областью. Определение 23. Ошибку 1-го рода критерия δ (в случае двух простых гипотез) обозначим α и назовем уровнем критерия: ~ 6= H1 ) = PH (X ~ ∈ S) def α1 (δ) = PH1 (δ(X) = α. 1 Ошибку 2-го рода критерия δ (в случае двух простых гипотез) обозначим β. Величину 1 − β назовем мощностью критерия: ~ ∈ Rn \S) def ~ 6= H2 ) = PH (X = β. α2 (δ) = PH (δ(X) 2 2 Мощность критерия можно записать следующим образом: ~ ∈ S). ~ = H2 ) = PH (X 1 − β = PH2 (δ(X) 2 Заметим, что ошибки 1-го и 2-го рода вычисляются при разных предположениях о распределении (если верна H1 и если верна H2 ), так что никаких фиксированных соотношений (типа α = 1 − β, независимо от вида гипотез и вида критерия) между ними нет. Рассмотрим в качаества примера «крайний случай», когда независимо ни от чего всегда принимается одна гипотеза. 44 ~ ≡ H1 , то есть S =Ø. Тогда α = PH ( принять H2 ) = Пример 27. Имеются гипотезы H1 , H2 и критерий δ(X) 1 0, β = PH2 ( принять H1 ) = 1. ~ ≡ H2 , то есть S = Rn . Тогда α = Наоборот: пусть имеются гипотезы H1 , H2 и критерий δ(X) PH1 ( принять H2 ) = 1, β = PH2 ( принять H1 ) = 0. Примеры 27 и 28 показывают общую тенденцию: при попытке уменьшить одну из ошибок критерия другая, как правило, увеличивается. А в упражнении после примера 28 приведено отклонение от этой «тенденции»: для заданного критерия можно построить и «очень плохой» критерий, у которого обе ошибки больше, чем у заданного. Пример  28. Имеется выборка объема 1 из нормального распределения Na,1 . Проверяются простые H1 : a = 0, гипотезы Используется следующий критерий (при заданной постоянной c): H2 : a = 1.  H1 , если X1 6 c, δ(X1 ) = H2 , если X1 > c. На графике изображены плотности, соответствующие гипотезам, и вероятности ошибок 1-го и 2-го рода критерия δ: α = PH1 (δ(X1 ) = H2 ) = PH1 (X1 > c), β = PH2 (δ(X1 ) = H1 ) = PH2 (X1 6 c). Рис. 8: Две простые гипотезы. Хорошо видно, что при c ր ∞ вероятность ошибки 1-го рода α ց 0, но вероятность ошибки 2-го рода β ր 1. Упражнение. Рассмотрим критерий следующего вида (c1 < c2 — постоянные):  H1 , если X1 ∈ [c1 , c2 ], δ1 (X1 ) = H2 , если X1 6∈ [c1 , c2 ]. Нарисовать на графике вероятности ошибок 1-го и 2-го рода критерия δ1 и убедиться, что при одной и той же вероятности ошибки 1-го рода критерий δ1 обладает большей вероятностью ошибки 2-го рода, чем критерий δ. Итак, два главных вывода: 1. Критерий тем лучше, чем меньше вероятности ошибок. 2. Сравнивать критерии по паре ошибок α(δ1 ) 6 α(δ2 ), β(δ1 ) 6 β(δ2 ) удается далеко не всегда. 7.3 Способы сравнения критериев Ограничимся, для простоты, задачей сравнения двух простых гипотез. Пусть имеются критерии δ1 и δ2 с ошибками 1-го и 2-го рода α(δi ), β(δi ), i = 1, 2. Перечислим общепринятые подходы к сравнению критериев: 1. Минимаксный подход. Говорят, что критерий δ1 не хуже, чем δ2 (в смысле минимаксного подхода), если max{α(δ1 ), β(δ1 )} 6 max{α(δ2 ), β(δ2 )}. 45 Определение 24. Критерий δ называют минимаксным критерием, если он лучше (не хуже) всех других критериев в смысле минимаксного подхода. Иначе говоря, минимаксный критерий имеет самую маленькую «наибольшую ошибку» max{α(δ), β(δ)} среди всех прочих критериев. Упражнение. Убедиться, что в примере 28 критерий δ является минимаксным, если c = 1/2. 2. Байесовский подход. Этот подход применяют в двух случаях: а) если известно априори, что с вероятностью p справедлива гипотеза H1 , а с вероятностью q = 1 − p — гипотеза H2 , б) если задана линейная «функция потерь»: потери от ошибочного решения равны p, если происходит ошибка 1-го рода, и равны q, если второго. Здесь p + q уже не обязательно равно 1, но потери можно свести к единице нормировкой p/(p + q) и q/(p + q). Говорят, что критерий δ1 не хуже, чем δ2 (в смысле байесовского подхода), если pα(δ1 ) + qβ(δ1 ) 6 pα(δ2 ) + qβ(δ2 ). Определение 25. Критерий δ называют байесовским критерием, если он лучше (не хуже) всех других критериев в смысле байесовского подхода. Иначе говоря, байесовский критерий имеет самую маленькую «средневзвешенную ошибку» pα(δ) + qβ(δ) среди всех прочих критериев. По формуле полной вероятности это есть вероятность ошибки критерия в случае (а), или математическое ожидание потерь в случае (б). Упражнение. Убедиться, что в примере 28 критерий δ является байесовским для p = q, если c = 1/2. 3. Выбор наиболее мощного критерия. Ошибки 1-го и 2-го рода обычно неравноправны (см. пример 26, и пусть «изделие» = самолет или ядерный реактор). Поэтому возникает желание контролировать одну из ошибок (скажем, 1-го рода). Например, зафиксировать ее на достаточно низком (безопасном) уровне, и рассматривать только критерии с такой или еще меньшей вероятностью ошибки 1-го рода. Среди них наилучшим, очевидно, следует признать критерий, обладающий наименьшей вероятностью ошибки 2-го рода. ~ : α(δ) 6 ε} Введем при ε ∈ [0, 1] класс критериев Kε = {δ(X) Определение 26. Критерий δ ∈ Kε называют наиболее мощным критерием (НМК) уровня ε (в классе Kε ), если β(δ) 6 β(δ0 ) для любого критерия δ0 ∈ Kε . Если имеется более двух гипотез, то сравнивать критерии в смысле определения 26 можно, если зафиксировать все ошибки, кроме одной. 7.4 Построение НМК. Лемма Неймана - Пирсона Мы рассмотрим подробно третий подход к сравнению критериев, и научимся строить наиболее мощный критерий заданного уровня. ~ = (X1 , . . . , Xn ) — выборка (набор независимых, одинаково распределенных величин), и Пусть X имеются две гипотезы о распределении Xi : ~ = H1 : X i ⊂ = F1 с плотностью f1 (y), Ψ1 (X) n Y f1 (Xi ) − функция правдоподобия ~ = H2 : X i ⊂ = F2 с плотностью f2 (y), Ψ2 (X) n Y f2 (Xi ) − функция правдоподобия 1 1 Предполагается, что распределения F1 , F2 либо оба дискретны, либо оба абсолютно непрерывны. 46 Замечание 19. Если данное предположение не выполнено, то всегда существует критерий с нулевыми вероятностями ошибок (см. задачу 9.1 в задачнике [1]). Мы собираемся выбирать гипотезу в зависимости от отношения функций правдоподобия. Напомню, что функция правдоподобия есть плотность выборки. Если не ставить перед собой задачу получить определенное значение ошибки 1-го рода, этот подход выглядит так: «там, где вторая плотность больше, выбираем 2-ю гипотезу, там, где первая — первую». Если же нужно получить критерий заданного уровня α = ε, то данный подход выглядит так: «там, где вторая плотность в c больше первой, выбираем 2-ю гипотезу, иначе — первую». При этом c выбирают так, чтобы ошибка 1-го рода равнялась ε. ~ = Ψ1 (X) ~ – в первом случае, или Ψ2 (X) ~ = Проблема возникает лишь в том случае, когда Ψ2 (X) ~ cΨ1 (X) – во втором. Если такое событие имеет нулевую вероятность, то можно выбирать любую гипотезу, и это никак не скажется на ошибках. Если же это событие происходит с положительной вероятностью, то при попадании выборки в эту область мы не знаем какую из гипотез предпочесть — они «равновозможны». В этом случае нет более разумного подхода, чем подбросить монету и выбрать одну из гипотез наудачу (не обязательно с равными вероятностями – это зависит от требуемой ошибки 1-го рода). Итак, Лемма 11 (Нейман, Пирсон). Для любого ε ∈ [0, 1] НМК уровня ε существует и совпадает с критерием отношения правдоподобия:  ~  Ψ2 (X)  ~ = H1  < c |= ⇒ δ(X)  если  ~  Ψ1 (X)    ~ Ψ2 (X) ~ = H2 если > c |= ⇒ δ(X) ~  Ψ1 (X)      ~ ~ = H2 с вероятностью p,  Ψ2 (X) δ(X)   = c |= ⇒ если  ~ = H1 с вероятностью 1 − p, ~ δ(X) Ψ1 (X) при этом c и p определяются из уравнения α(δ) = ε, или ! ~ Ψ ( X) 2 ~ = H2 ) = PH α(δ) = PH1 (δ(X) > c + p · PH1 1 ~ Ψ1 (X) ! ~ Ψ2 (X) = c = ε. ~ Ψ1 (X) (12) ~ ~ ~ ~ ~ Замечание 20. Отношение Ψ2 (X)/Ψ 1 (X) рассматривается только при X таких что Ψ1 (X)+Ψ2 (X) > 0. Напоминаю, что c/∞ = 0, c/0 = ∞ (все постоянные и «нули» здесь положительны). Следующие замечание и определение предназначены тем, кто заметил несоответствие формулировки леммы здесь и в любом учебнике (например, в [2]) и собирается пользоваться классической, а не упрощенной формой НМК. Замечание 21. На самом деле критерий, предлагаемый в теореме, не является критерием в смысле определения 21. Это не просто функция из Rn в {H1 , H2 }, но случайная функция (т.е. зависящая еще и от результата некоторого случайного эксперимента). Введем понятие рандомизированного критерия. ~ наОпределение 27. Пусть имеются гипотезы H1 , H2 . Рандомизированным критерием π = π(X) зывается функция π : Rn → [0, 1], ~ ∈ Rn равная вероятности принять гипотезу H2 . при каждом X 47 Если использовать определение 27, критерий отношения правдоподобия в лемме Неймана - Пирсона примет вид:  ~  Ψ2 (X)   0, если c π(X) ~  Ψ1 (X)     ~  Ψ2 (X)   = c,  p, если ~ Ψ1 (X) где c и p по-прежнему определяются из уравнения α(π) = ε, которое можно записать так: ! ! ~ ~ Ψ2 (X) Ψ2 (X) ~ = ε. > c + p · PH1 = c = EH1 (π(X)) α(π) = PH1 ~ ~ Ψ1 (X) Ψ1 (X) 7.5 Доказательство леммы Неймана - Пирсона 1. Докажем, что уравнение 12 разрешимо относительно c и p. ! ~ Ψ2 (X) >c . ~ Ψ1 (X) Рассмотрим невозрастающую (почему?) функцию φ(c) = PH1 φ(c) = PH1 ! ~ Ψ2 (X) >c = ~ Ψ1 (X) Поскольку интегрирование ведется по области φ(c) = Z Ψ2 (~ y) >c Ψ1 (~ y) 1 Ψ1 (~y ) d~ y< c Ψ2 (~ y) Ψ1 (~ y) Z Z Ψ1 (~y ) d~y. Ψ2 (~ y) >c Ψ1 (~ y) > c, то под интегралом Ψ1 (~y ) < Ψ2 (~y )/c. Поэтому 1 Ψ2 (~y ) d~y = PH2 c Ψ2 (~ y) >c Ψ1 (~ y) ! ~ Ψ2 (X) >c →0 ~ Ψ1 (X) (13) при c → ∞. Рассмотрим φ(0): !   ~ Ψ2 (X) ~ >0 φ(0) = PH1 > 0 = PH1 Ψ2 (X) ~ Ψ1 (X)     ~ > 0 > ε. ~ > 0 < ε и (б) φ(0) = PH Ψ2 (X) Возможны два случая: (а) φ(0) = PH1 Ψ2 (X) 1   ~ > 0 > 0 и возьмем В случае (а) положим c = 0, обозначим через ∆ разницу ∆ = ε − PH1 Ψ2 (X) p = ∆/(1 + ∆ − ε). Тогда ! ! ~ ~ Ψ2 (X) Ψ2 (X) > 0 + p · PH1 =0 = α(δ) = PH1 ~ ~ Ψ1 (X) Ψ1 (X)     ~ = 0 = (ε − ∆) + ~ > 0 + p · PH Ψ2 (X) = PH1 Ψ2 (X) 1 ∆ (1 − (ε − ∆)) = ε. 1+∆−ε   ~ >0 , Заметим сразу, что в случае (а) мы хоть и нашли критерий заданного уровня ε > PH1 Ψ2 (X) но для этого пришлось принимать (с вероятностью p) гипотезу H2 там, где она быть верна не может — в ~ = 0. области Ψ2 (X)   ~ >0 Это означает лишь, что с самого начала наше желание найти критерий уровня ε, если ε > PH1 Ψ2 (X) — абсурд: все разумные критерии имеют меньший уровень. В случае (б) имеем: φ(0) > ε, φ(c) не возрастает и стремится к нулю с ростом c. Тогда найдется c такое, что φ(c − 0) > ε, φ(c) 6 ε (c может быть точкой разрыва). 48 Тогда (вспомнить свойство функций распределения Fξ (x + 0) − Fξ (x) = P(ξ = x)) ! ~ Ψ2 (X) def ∆ = φ(c − 0) − φ(c) ≡ PH1 = c > 0. ~ Ψ1 (X) Возьмем p = ε − φ(c) ∈ [0, 1]. Для такого p ∆ ! ~ Ψ2 (X) > c + p · PH1 ~ Ψ1 (X) ε = φ(c) + p∆ = PH1 ! ~ Ψ2 (X) = c = α(δ), ~ Ψ1 (X) что и требовалось доказать. 2. Докажем, что критерий δ наиболее мощный. Нам потребуется следующее Утверждение 1. Обозначим Ψ(~y ) = min{Ψ2 (~y ), cΨ1 (~y )}. Тогда β(δ) + cα(δ) = Z = ! ~ Ψ2 (X) < c +q·PH2 ~ Ψ1 (X) Ψ2 (~y ) d~y + q = Z ! ~ Ψ2 (X) = c +cPH1 ~ Ψ1 (X) Ψ(~y ) d~ y+q Ψ2 (~ y )cΨ1 (~ y) Ψ(~y ) d~y + Ψ2 (~ y )=cΨ1 (~ y) ! ~ Ψ2 (X) > c +cp·PH1 ~ Ψ1 (X) ! ~ Ψ2 (X) =c = ~ Ψ1 (X) cΨ1 (~y ) d~ y= Ψ2 (~ y )=cΨ1 (~ y) Ψ(~y ) d~y + p Ψ2 (~ y )>cΨ1 (~ y) Z Ψ(~y ) d~y = Z Ψ(~y ) dy. Rn Ψ2 (~ y )=cΨ1 (~ y) Пусть δ0 ∈ Kε — другой критерий уровня ε. Докажем, что его ошибка 2-го рода не меньше, чем у критерия δ. Используя определение функции Ψ и утверждение 1, имеем: Z Z Z Z Z Ψ(~y ) d~y ≡ Ψ(~y ) d~y = β(δ)+cα(δ). Ψ(~y ) d~y+ cΨ1 (~y ) d~y > Ψ2 (~y ) d~ y+ β(δ0 )+cα(δ0 ) = δ0 =H1 Но α(δ0 ) = α(δ) |= ⇒ δ0 =H2 δ0 =H1 δ0 =H2 Rn β(δ0 ) > β(δ).  H1 : X 1 ⊂ = U1,5 , ТреH2 : X 1 ⊂ = U0,2 . буется построить НМК уровня α = 1/3 (объем выборки мал, так что ошибки не могут не быть большими). Воспользуемся леммой Неймана - Пирсона и выпишем в зависимости от X1 отношение правдоподобия (см. рисунок). Пример 29. Имеется выборка X1 объема 1. Проверяются простые гипотезы Рис. 9: Две равномерные гипотезы. Поскольку отношение правдоподобия постоянно на каждом из трех интервалов, для постоянной c есть лишь несколько возможностей, при которых критерии будут различаться. Перечислим все возможные 49 критерии вида     если       если          если ~ Ψ2 (X) c ~ Ψ1 (X) ~ Ψ2 (X) =c ~ Ψ1 (X) |= ⇒ ~ = H1 δ(X) |= ⇒ ~ = H2 δ(X)  ~ = H2 δ(X) ~ = H1 δ(X) |= ⇒ с вероятностью p, с вероятностью 1 − p, и убедимся, что лишь один из них имеет заданный уровень. Сначала рассмотрим нерандомизированные критерии. 1. c < 0. В этом случае Ψ2 (X1 ) > c при любом X1 , и критерий отношения правдоподобия имеет вид: Ψ1 (X1 ) δ1 (X1 ) = H2 при любом X1 . Его уровень α(δ1 ) = PH1 (δ1 (X1 ) = H2 ) = 1 — не то. Ψ2 (X1 ) Ψ2 (X1 ) > c при X1 ∈ [0, 2], и < c при X1 ∈ (2, 5]. Критерий Ψ1 (X1 ) Ψ1 (X1 ) отношения правдоподобия имеет вид:  H2 при X1 ∈ [0, 2] δ2 (X1 ) = H1 при X1 ∈ (2, 5]. 2. 0 < c < 2. В этом случае Его уровень α(δ2 ) = PH1 (δ2 (X1 ) = H2 ) = PH1 (X1 ∈ [0, 2]) = PH1 (X1 ∈ [1, 2]) = 1/4 — не то. Ψ2 (X1 ) Ψ2 (X1 ) > c при X1 ∈ [0, 1], и < c при X1 ∈ (1, 5]. Критерий Ψ1 (X1 ) Ψ1 (X1 ) отношения правдоподобия имеет вид:  H2 при X1 ∈ [0, 1] δ3 (X1 ) = H1 при X1 ∈ (1, 5]. 3. 2 < c < ∞. В этом случае Его уровень α(δ3 ) = PH1 (δ3 (X1 ) = H2 ) = PH1 (X1 ∈ [0, 1]) = 0 — не то. Таким образом, ни один из нерандомизированных критериев не имеет нужного уровня. Посмотрим на рандомизированные. Ψ2 (X1 ) Ψ2 (X1 ) > c при X1 ∈ [0, 2], и = c при X1 ∈ (2, 5]. Критерий отношения Ψ1 (X1 ) Ψ1 (X1 ) правдоподобия имеет вид:   если X1 ∈ [0, 2] |= ⇒ δ4 (X1 ) = H2 δ4 (X1 ) = H2 с вероятностью p,  если X1 ∈ (2, 5] |= ⇒ δ4 (X1 ) = H1 с вероятностью 1 − p. 4. c = 0. В этом случае Его уровень α(δ4 ) = PH1 (δ4 (X1 ) = H2 ) = PH1 (X1 ∈ [0, 2]) + pPH1 (X1 ∈ [2, 5]) = 1/4 + p3/4 6= 1/5 — не то. Ψ2 (X1 ) Ψ2 (X1 ) Ψ2 (X1 ) > c при X1 ∈ [0, 1], < c при X1 ∈ [2, 5], = c при Ψ1 (X1 ) Ψ1 (X1 ) Ψ1 (X1 ) X1 ∈ (1, 2). Критерий отношения правдоподобия имеет вид:   если X1 ∈ [0, 1] |= ⇒ δ5 (X1 ) = H2    если X1 ∈ [2, 5] |= ⇒ δ5 (X1 ) = H1  δ5 (X1 ) = H2 с вероятностью p,   ⇒  если X1 ∈ (1, 2) |= δ5 (X1 ) = H1 с вероятностью 1 − p. 5. c = 2. В этом случае Его уровень α(δ5 ) = PH1 (δ5 (X1 ) = H2 ) = PH1 (X1 ∈ [0, 1]) + pPH1 (X1 ∈ (1, 2)) = 0 + p1/4 = 1/5 при p = 4/5 — требуемый уровень. 50 Ψ2 (X1 ) Ψ2 (X1 ) < c при X1 ∈ [1, 5], = c при X1 ∈ [0, 1). Критерий отношения Ψ1 (X1 ) Ψ1 (X1 ) правдоподобия имеет вид:   если X1 ∈ [1, 5] |= ⇒ δ6 (X1 ) = H1 δ6 (X1 ) = H2 с вероятностью p,  если X1 ∈ [0, 1) |= ⇒ δ6 (X1 ) = H1 с вероятностью 1 − p. 6. c = ∞. В этом случае Его уровень α(δ6 ) = PH1 (δ6 (X1 ) = H2 ) = pPH1 (X1 ∈ [0, 1)) = 0 6= 1/5 — не то. Итак, среди всех критериев отношения правдоподобия только критерий δ5 имеет уровень α = 1/5, и является НМК: любые другие критерии того же уровня имеют меньшую мощность. Критерий δ5 предписывает на отрезке [0,1] принимать гипотезу H2 , на отрезке [2,5] — гипотезу H1 , и на отрезке (1,2) — гипотезы H2 и H1 с вероятностями 4/5 и 1/5 соответственно. Последнее равносильно разбиению отрезка (1,2) на две части в отношении 4:1. Но поскольку таких разбиений континуум, и ни одно из них не лучше другого, то разумнее выбирать гипотезы на отрезке (1,2) случайно, как и делает критерий. 7.6 Вопросы и упражнения 1. Задачник [1], задачи 9.1, 9.2, 9.4 – 9.6, 9.9, 9.12 – 9.14, 9.17. 51 8 К РИТЕРИИ СОГЛАСИЯ Существует класс критериев, называемых критериями согласия, которые используются для проверки гипотез (простых или сложных) против сложных альтернатив. Все критерии согласия строятся по единому принципу: задается некоторая функция отклонения эмпирического распределения от теоретического. Требуют, чтобы эта функция сходилась к какому-то собственному распределению, если верна проверяемая гипотеза, и неограниченно возрастала, если гипотеза не верна. Гипотеза принимается или отвергается в зависимости от величины данной функции отклонения. Мы сформулируем ряд понятий для случая простой основной гипотезы, а в дальнейшем будем их корректировать по мере изменения задачи. ~ = (X1 , . . . , Xn ), Xi ⊂ Имеется выборка X = F. Проверяется простая основная гипотеза против сложной альтернативы:  H1 : F = F 1 , H2 : F 6= F1 Отметим сразу, что любой критерий для различения этих гипотез δ : Rn → {H1 , H2 } имеет вполне определенную ошибку 1-го рода α(δ) = PH1 (δ 6= H1 ) = PF1 (δ 6= H1 ). Но ошибка 2-го рода может быть вычислена только если известно конкретное распределение выборки F2 6= F1 (одна из альтернатив). Поэтому удобно представить альтернативу H2 : F 6= F1 в виде объединения (несчетного числа) простых альтернатив H2 (F2 ) : F = F2 6= F1 по всем возможным F2 . Будем рассматривать ошибку второго рода как функцию от F2 : βF2 (δ) = PF2 (δ = H1 ). 8.1 Состоятельность критерия Определение 28. Критерий δ для проверки гипотезы H1 : F = F1 против простой альтернативы H2 : F = F2 называется состоятельным, если ~ = H1 ) → 0 при n → ∞. β(δ) = PF2 (δ(X) Определение 29. Критерий δ для проверки гипотезы H1 : F = F1 против сложной альтернативы H2 : F 6= F1 называется состоятельным, если для любой простой альтернативы H2 (F2 ) : F = F2 6= F1 ~ = H1 ) → 0 при n → ∞. βF2 (δ) = PF2 (δ(X) Определение 30. Говорят, что критерий δ является критерием асимптотического уровня ε, если α(δ) → ε при n → ∞. 8.2 Построение критериев согласия ~ = ρ(X, ~ F1 ), обладающую свойствами: K1. Требуется задать функцию ρ(X) ~ а) если гипотеза H1 верна, то ρ(X) ⇒ ξ ⊂= G (распределение G известно); p ~ −→ ∞ при n → ∞. б) если гипотеза H1 неверна, то |ρ(X)| ~ задана. Для ξ ⊂ K2. Пусть такая функция ρ(X) = G определим постоянную C из равенства ε = P(|ξ| > C) и построим критерий:  ~ ~ = H1 , если |ρ(X)| < C δ(X) (14) ~ >C H2 , если |ρ(X)| Мы построили критерий согласия. Он «работает» по принципу: если для данной выборки функция отклонения велика (по абсолютному значению), то это свидетельствует в пользу альтернативы, и наоборот. Убедимся в том, что этот критерий имеет (асимптотический) уровень ε и является состоятельным. Свойство 3. Для критерия δ, заданного в (14), при n → ∞: ~ > C) → P(|ξ| > C) = ε; 1. α(δ) = PH1 (|ρ(X)| 52 ~ < C) → 0 для любой альтернативы H2 (F2 ) : F = F2 6= F1 . 2. βF2 (δ) = PF2 (|ρ(X)| p Замечание 22. По определению, ξn −→ ∞ ⇐⇒ для любого C > 0 P(ξn < C) → 0 при n → ∞. Упражнение. Доказать свойство 3. 8.3 Критерии согласия: критерий Колмогорова ~ = (X1 , . . . , Xn ), Xi ⊂ Имеется выборка X = F. Проверяется простая гипотеза H1 : F = F1 против сложной альтернативы H2 : F 6= F1 . В том случае, когда распределение F1 имеет непрерывную функцию распределения F1 ,√ можно пользоваться критерием Колмогорова. ~ удовлетворяет условиям K1(a,б): ~ = n sup |Fn∗ (y) − F1 (y)|. Покажем, что ρ(X) Пусть ρ(X) y ~ а) если гипотеза H1 верна, т. е. Xi ⊂ = F1 , то по теореме Колмогорова ρ(X) с ф.р. Колмогорова; ⇒ ξ ⊂= K — распределение p б) если гипотеза H1 неверна, т. е. Xi ⊂ = F2 6= F1 , то по теореме Гливенко-Кантелли Fn∗ (y) −→ F2 (y) для любого y при n → ∞. Поскольку F1 6= F2 , найдется y такое, что |F2 (y) − F1 (y)| > 0. Для таких y p |Fn∗ (y) − F1 (y)| −→ |F2 (y) − F1 (y)| > 0 Поэтому при n → ∞ ~ = ρ(X) √ p n sup |Fn∗ (y) − F1 (y)| −→ ∞. y P∞ 2 2 Пусть случайная величина ξ имеет распределение с ф.р. K(y) = j=−∞ (−1)j e−2j y . Это распределение табулировано, так что по заданному ε легко найти C такое, что ε = P(ξ > C). Критерий Колмогорова выглядит так:  ~ C H2 , если ρ(X) 8.4 Критерии согласия: критерий χ2 (Пирсона) Критерий χ2 основывается на группированных данных. Предполагаемую область значений элементов выборки делят на некоторое число интервалов. После чего строят функцию отклонения ρ по разностям теоретических вероятностей попадания в интервалы группировки и эмпирических частот. ~ = (X1 , . . . , Xn ), Xi ⊂ Имеется выборка X = F. Проверяется простая гипотеза H1 : F = F1 против сложной альтернативы H2 : F 6= F1 . Пусть, в соответствии с обозначениями 1-й лекции, A1 , . . . , Ak — интервалы группировки в области значений с.в. с распределением F1 . Обозначим для j = 1, . . . , k через νj число элементов выборки, попавших в интервал Aj n X νj = {число Xi ∈ Aj } = I(Xi ∈ Aj ), i=1 и через pj теоретическую вероятность PH1 (X1 ∈ Aj ) попадания в интервал Aj случайной величины с распределением F1 . Пусть k X (νj − npj )2 ~ = ρ(X, ~ F1 ) = . (15) ρ(X) npj j=1 Замечание 23. Свойство K1(б) выполнено далеко не для всех альтернатив. Если распределение выборки F2 6= F1 имеет те же вероятности pj попадания в интервалы Aj , 1 6 j 6 k, что и распределение F1 , то по данной функции ρ эти распределения различить нельзя. 53 Поэтому, на самом деле, критерий χ2 , построенный по данной функции ρ (15), применим для проверки сложной гипотезы H̃1 : распределение X1 обладает свойством: ∀j = 1, . . . , k P(X1 ∈ Aj ) = pj против сложной альтернативы H̃2 : H̃1 не верна, т.е. хотя бы для одного из интервалов P(X1 ∈ Aj ) 6= pj . ~ удовлетворяет условиям Для решения этой задачи мы и построим критерий χ2 . Покажем, что ρ(X) K1(a,б). Теорема 12. (Пирсона). Если верна гипотеза H̃1 , то при фиксированном k и при n → ∞ ~ = ρ(X) k X (νj − npj )2 npj j=1 ⇒ χ2 ⊂= χ2k−1 , где χ2k−1 есть χ2 -распределение с k − 1 степенью свободы. Доказательство теоремы Пирсона в случае k = 2. При бо́льших k см. упражнения ниже. Тогда ν2 = n − ν1 , p2 = 1 − p1 . Посмотрим на ρ и вспомним ЦПТ: (ν1 − np1 )2 (ν2 − np2 )2 (ν1 − np1 )2 (n − ν1 − n(1 − p1 ))2 = + = + np1 np2 np1 n(1 − p1 ) !2 ν1 − np1 (−ν1 + np1 )2 (ν1 − np1 )2 (ν1 − np1 )2 = + = = p np1 n(1 − p1 ) np1 (1 − p1 ) np1 (1 − p1 ) ~ = ρ(X) Но величина ν1 есть сумма n независимых с.в. с распределением Бернулли Bp1 , и по ЦПТ Поэтому ν − np1 p 1 np1 (1 − p1 ) ~ = ρ(X) p ⇒ ξ ⊂= N0,1 . ν1 − np1 np1 (1 − p1 ) !2 ⇒ ξ 2 ⊂= χ21 . νj √ n − pj νj − npj Упражнение. Доказать, что для любого j = 1, . . . , k √ = n √ ⇒ N0,(1−pj ) . npj pj Pk = N0,1 , Вспомнить, как (по лемме Фишера) распределена величина i=1 (Yi − Y )2 для выборки Yi ⊂ i = 1, . . . , k. = N0,1−1/k . Провести аналогии (только!) между утверждениями теоремы ПирДоказать, что Yi − Y ⊂ сона и леммы Фишера. Упражнение. Почему сумма квадратов k асимптотически нормальных случайных величин сходится к распределению χ2k−1 , а не χ2k ? Куда делась одна степень свободы? Наводящий вопрос: не связаны ли νj каким-либо уравнением? Свойство K1(б): Упражнение. Вспомнить ЗБЧ и доказать, что если H̃1 не верна, то найдется j ∈ {1, . . . , k} такое, что 2 ν j − pj (νj − npj )2 p −→ ∞. =n n npj pj Пусть случайная величина χ2 имеет распределение χ2k−1 . Это распределение табулировано, так что по заданному ε можно найти C такое, что ε = P(χ2 > C). Осталось построить критерий согласия χ2 :  ~ C. 54 Замечание 24. На самом деле критерий χ2 применяют и для решения первоначальной задачи о проверке гипотезы H1 : F = F1 . Необходимо только помнить, что этот критерий не состоятелен для альтернатив с теми же вероятностями попадания в интервалы разбиения, что и у F1 . Поэтому берут большое число интервалов разбиения — чем больше, тем лучше. Но: ~ Замечание 25. Сходимость по распределению ρ(X) допредельной и предельной вероятностей ведет себя как ⇒ χ2 обеспечивается ЦПТ, поэтому разница ~ > C) − P(χ > C)| ∼ max |P(ρ(X) 2 ( b p npj (1 − pj ) ) (см. точность в ЦПТ, 1-й семестр), где b – некоторая постоянная. Поэтому для выборки объема n число ~ интервалов разбиения выбирают так, чтобы обеспечить нужную точность при замене распределения ρ(X) 2 на χk−1 . Обычно требуют, чтобы np1 = . . . = npk ≈ 6 ÷ 9. 8.5 Критерий χ2 (Пирсона). Параметрическая гипотеза Критерий χ2 часто применяют для проверки гипотезы о виде распределения, или о принадлежности распределения выборки некоторому параметрическому семейству. ~ = (X1 , . . . , Xn ), Xi ⊂ Имеется выборка X = F. Проверяется сложная гипотеза H1 : F ∈ {Fθ , θ ∈ Θ}, где θ — неизвестный параметр (скалярный или векторный), против сложной же альтернативы H2 : F 6∈ {Fθ }. Пусть опять A1 , . . . , Ak — интервалы группировки, νj — число элементов выборки, попавших в Aj . Но теоретическая вероятность pj = PH1 (X1 ∈ Aj ) = pj (θ) зависит от неизвестного параметра θ. b получим функцию отклоПусть θb — ОМП для параметра θ. Взяв в (15) вместо pj оценки pbj = pj (θ), нения k X (νj − nb pj )2 ~ = . (16) ρ(X) nb pj j=1 Замечание 26. Иначе говоря, в функции (16) вероятности pbj попадания в интервалы Aj вычислены . для распределения Fb θ Отметим снова, что критерий χ2 , построенный по данной функции ρ (16), применим лишь для проверки гипотезы H̃1 : распределение X1 обладает свойством: ∀j = 1, . . . , k P(X1 ∈ Aj ) = pbj против сложной альтернативы H̃2 : H̃1 не верна. Условие K1(a) (при выполнении некоторых условий относительно гладкости pj (θ)) обеспечивается теоремой: Теорема 13. (Пирсона). Если верна гипотеза H̃1 , и dim(θ) = m — размерность параметра (вектора) θ, то при фиксированном k и при n → ∞ ~ = ρ(X) k X (νj − nb pj )2 nb pj j=1 ⇒ χ2 ⊂= χ2k−m−1 , где χ2k−m−1 есть χ2 -распределение с k − m − 1 степенью свободы. Выполнение условия K1(б) очевидно. Пусть теперь случайная величина χ2 имеет распределение χ2k−m−1 . По заданному ε найдем C такое, что ε = P(χ2 > C). 55 Критерий согласия χ2 имеет вид: ~ = δ(X)  H1 , H2 , ~ C. если ρ(X) Замечание 27. Замечания 24, 25 остаются в силе. 8.6 Проверка гипотезы однородности: критерий Колмогорова - Смирнова ~ = (X1 , . . . , Xn ) и Y ~ = (Y1 , . . . , Ym ), причем Xi ⊂ Есть две выборки X = Fx , Yi ⊂ = Fy , и распределения Fx , Fy , вообще говоря, неизвестны. Проверяется сложная гипотеза H1 : Fx = Fy против (еще более сложной) альтернативы H2 : H1 не верна. Если Fx , Fy имеют непрерывные функции распределения, применим критерий Колмогорова - Смирнова. ∗ ∗ ~ иY ~, Пусть Fn,x и Fm,y — эмпирические функции распределения, построенные по выборкам X ~ Y ~)= ρ(X, r mn ∗ ∗ sup |Fn,x (t) − Fm,y (t)|. m+n t ~ Y ~) Теорема 14. Если гипотеза H1 верна, то ρ(X, ва) при n, m → ∞. ⇒ ξ ⊂= K (распределение с ф.р. Колмогоро- p ~ Y ~ ) −→ Упражнение. Доказать, что ρ(X, ∞ при n, m → ∞, если гипотеза H2 верна. И снова: пусть случайная величина ξ имеет распределение с ф.р. K(y). По заданному ε найдем C такое, что ε = P(ξ > C), и построим критерий согласия Колмогорова - Смирнова:  ~ C. Замечание 28. Если есть более двух выборок, и требуется проверить гипотезу однородности, часто пользуются одним из вариантов критерия χ2 Пирсона. Этот критерий (и ряд других критериев) рекомендую посмотреть в §3.4.2, с. 124 книги Г. И. Ивченко, Ю. И. Медведев, Математическая статистика. Москва, 1984, 248 с. 8.7 Проверка гипотезы независимости: критерий χ2 Пирсона ~ Y ~ ) = ((X1 , Y1 ), . . . , (Xn , Yn )) значений двух наблюдаемых совместно величин ξ и η в n Есть выборка (X, экспериментах. Проверяется гипотеза H1 : ξ и η независимы. Введем k интервалов группировки для значений ξ: ∆x1 , . . . , ∆xk и m интервалов группировки для значений η: ∆y1 , . . . , ∆ym . Посчитаем эмпирические частоты: для i = 1, . . . , k, j = 1, . . . , m νi,j = {число пар (Xl , Yl ) ∈ ∆xi × ∆yj }, ν·,j = {число пар (Xl , Yl ) : Yl ∈ ∆yj } = {число Yl ∈ ∆yj }, νi,· = {число пар (Xl , Yl ) : Xl ∈ ∆xi } = {число Xl ∈ ∆xi }. ~ ∆y1 ∆y2 . . . ∆ym Σ Y ~ X ∆x1 ν1,1 ν1,2 . . . ν1,m ν1,· ∆x2 ν2,1 ν2,2 . . . ν2,m ν2,· .. . ... ∆xk Σ νk,1 ν·,1 νk,2 ν·,2 ... ... νk,m ν·,m νk,· n 56 Если гипотеза H1 верна, то теоретические вероятности попадания пары (X1 , Y1 ) в любую из областей ∆xi × ∆yj равны произведению вероятностей: pi,j = P((X1 , Y1 ) ∈ ∆xi × ∆yj ) = P(X1 ∈ ∆xi )P(Y1 ∈ ∆yj ) = pxi pyj По ЗБЧ, νi,· ν·,j νi,j ≈ pxi , ≈ pyi , ≈ pi,j . n n n νi,j νi,· ν·,j νi,· ν·,j и , или между νi,j и может служить основанием Поэтому значительная разница между n n n n для отклонения гипотезы независимости. Пусть   k X m m k X 2 2 X X ν (ν − (ν ν )/n) i,j i,· ·,j i,j ~ Y ~)=n = n − 1 . ρ(X, ν ν ν ν i,· ·,j i,· ·,j i=1 j=1 i=1 j=1 ~ Y ~) Теорема 15. Если гипотеза H1 верна, то ρ(X, ⇒ χ2(k−1)(m−1) при n → ∞. Как обычно, строится критерий согласия асимптотического уровня ε. Упражнение. Для каких альтернатив построенный критерий является состоятельным? Замечание 29. Замечания 24, 25 остаются в силе. 8.8 Гипотеза о совпадении средних двух нормальных совокупностей с равными дисперсиями ~ = (X1 , . . . , Xn ) и Y ~ = (Y1 , . . . , Ym ), причем Xi ⊂ Есть две независимые выборки X = Na1 ,σ2 , Yi ⊂ = Na2 ,σ2 , и дисперсия σ 2 одинакова для обоих распределений, но, вообще говоря, неизвестна. Проверяется сложная гипотеза H1 : a1 = a2 против сложной альтернативы H2 : H1 не верна. Разумеется, эта задача есть частный случай задачи об однородности, и можно построить критерий Колмогорова - Смирнова асимптотического уровня ε. Но мы построим другой критерий — критерий Стьюдента точного уровня ε. ~ ) несмещенные выборочные дисперсии: ~ S 2 (Y Обозначим через S02 (X), n 1 X (Xi − X)2 , n−1 1 ~ = S02 (X) m ~)= S02 (Y 1 X (Yi − Y )2 . m−1 1 Из леммы Фишера следует Теорема 16. Случайная величина tn+m−2 имеет распределение Стьюдента: r nm (X − a1 ) − (Y − a2 ) q tn+m−2 = ⊂ = Tn+m−2 . 2 ~ ~ n + m (n−1)S02 (X)+(m−1)S 0 (Y ) n+m−2 Доказательство теоремы 16. Соглашение: N0,1 ≡ N(0, 1). 1. Легко видеть (Упражнение: убедиться, что легко): X − a1 ⊂ = N(0, |= ⇒ σ2 σ2 = N(0, ) ), Y − a2 ⊂ n m |= ⇒ σ2 σ2 n+m (X − a1 ) − (Y − a2 ) ⊂ = N(0, + ) = N(0, σ 2 ) n m nm r ((X − a1 ) − (Y − a2 )) ⊂ = N(0, 1). |= ⇒ ξ0 = σ1 nnm +m 57 |= ⇒ 2. Из леммы Фишера следует, что |= ⇒ и не зависит от X, Y . (n − 1) 2 ~ (m − 1) 2 ~ S0 (X) ⊂ = χ2n−1 , S0 (Y ) ⊂ = χ2m−1 σ2 σ2   def 1 ~ + (m − 1)S02 (Y ~) ⊂ = χ2n+m−2 , S = 2 (n − 1)S02 (X) σ ξ0 ⊂ = Tn+m−2 . Осталось подставить в эту дробь 3. Тогда (см. распределение Стьюдента) p S/(n + m − 2) ξ0 и S и убедиться, что σ сократится и что получится в точности tn+m−2 из теоремы 16. ~ Y ~ ): Введем функцию отклонения ρ(X, r nm s ρ= n+m X −Y ~) ~ + (m − 1)S 2 (Y (n − 1)S02 (X) n+m−2 . Из теоремы 16 следует свойство K1(а): Если H1 верна (a1 = a2 ) |= ⇒ ρ = tn+m−2 ⊂= Tn+m−2 . Упражнение. Доказать свойство K1(б): p Если H2 верна (a1 6= a2 ) |= ⇒ |ρ| −→ ∞. Указания. Воспользовавшись ЗБЧ или утверждениями лемм 1-3 из 1-й лекции, доказать, что чис~) p ~ + (m − 1)S 2 (Y (n − 1)S02 (X) p −→ литель и знаменатель сходятся к постоянным: X − Y −→ const 6= 0, n+m−2 const 6= 0, тогда как корень перед дробью неограниченно возрастает. Поэтому остается по ε выбрать C такое, что для величины tn+m−2 ⊂ = Tn+m−2 , в силу симметричности распределения Стьюдента, ε = P(|tn+m−2 | > C) = 2P(tn+m−2 > C) |= ⇒ P(tn+m−2 > C) = ε/2 где τ1−ε/2 — квантиль распределения Tn+m−2 . И критерий Стьюдента выглядит как все критерии согласия:  ~ ~ = H1 , если |ρ(X)| < C δ(X) ~ > C. H2 , если |ρ(X)| |= ⇒ C = τ1−ε/2 , Упражнение. Доказать, что этот критерий имеет точный уровень ε. 8.9 Гипотеза о среднем нормальной совокупности с известной дисперсией ~ = (X1 , . . . , Xn ), Xi ⊂ Имеется выборка X = Na,σ2 , и дисперсия σ 2 известна. Проверяется простая гипотеза H1 : a = a0 против сложной альтернативы H2 : a 6= a0 . Можно построить критерий Колмогорова (или χ2 ) асимптотического уровня ε. Но мы (как и в предыдущей задаче) построим критерий точного уровня ε. ~ Введем функцию отклонения ρ(X): √ X − a0 . ρ= n σ Очевидно свойство K1(а): Если H1 верна (a = a0 ) |= ⇒ ρ ⊂= N0,1 . Упражнение. Доказать свойство K1(б): p Если H2 верна (a 6= a0 ) |= ⇒ |ρ| −→ ∞. 58 Поэтому по ε выберем C такое, что для величины ξ ⊂ = N0,1 , в силу симметричности стандартного нормального распределения, |= ⇒ ε = P(|ξ| > C) = 2P(ξ > C) |= ⇒ P(ξ > C) = ε/2 где τ1−ε/2 — квантиль стандартного нормального распределения. Критерий выглядит как все критерии согласия:  ~ C. C = τ1−ε/2 , (17) Упражнение. Доказать, что этот критерий имеет точный уровень ε. 8.10 Гипотеза о среднем нормальной совокупности с неизвестной дисперсией ~ = (X1 , . . . , Xn ), Xi ⊂ Имеется выборка X = Na,σ2 , и дисперсия σ 2 неизвестна. Проверяется простая гипотеза H1 : a = a0 против сложной альтернативы H2 : a 6= a0 . ~ Введем функцию отклонения ρ(X): ρ= √ X − a0 n , S02 n где S02 = 1 X (Xi − X)2 . n−1 1 Из леммы Фишера следует свойство K1(а): Если H1 верна (a = a0 ) |= ⇒ ρ ⊂= Tn−1 . Упражнение. Доказать свойство K1(б): p Если H2 верна (a 6= a0 ) |= ⇒ |ρ| −→ ∞. Поэтому по ε выберем C такое, что для величины tn−1 ⊂ = Tn−1 ε = P(|tn−1 | > C) = 2P(tn−1 > C) где τ1−ε/2 — квантиль распределения Tn−1 . Критерий выглядит как все критерии согласия. |= ⇒ C = τ1−ε/2 , Упражнение. Нарисовать критерий и доказать, что этот критерий имеет точный уровень ε. Упражнение. В самом ли деле три последних рассмотренных критерия состоятельны? Напоминание. А Вы доказали выполнение свойства K1(б) для этих критериев, чтобы говорить о состоятельности? Примечание. А что такое «состоятельность» критерия? 8.11 Гипотеза о параметрах распределения: критерии, основанные на доверительных интервалах ~ = (X1 , . . . , Xn ), Xi ⊂ Имеется выборка X = Fθ . Проверяется простая гипотеза H1 : θ = θ0 против сложной альтернативы H2 : θ 6= θ0 . Есть еще один разумный способ строить критерии согласия (помимо поиска функции отклонения ρ). ~ θ+ (ε, X)) ~ для Пусть имеется точный (асимптотический) доверительный интервал (θ− , θ+ ) = (θ− (ε, X), параметра θ уровня доверия 1 − ε: для любого θ Pθ (θ− < θ < θ+ ) = P(θ− < θ < θ+ | Xi ⊂ = Fθ ) = 1 − ε (→ 1 − ε). Тогда критерий ~ = δ(X)  H1 , H2 , если θ0 ∈ (θ− , θ+ ) если θ0 ∈ 6 (θ− , θ+ ) имеет точный (асимптотический) уровень ε. Действительно, α(δ) = PH1 (δ = H2 ) = P(θ 6∈ (θ− , θ+ ) | Xi ⊂ = Fθ0 ) = 1 − Pθ0 (θ− < θ0 < θ+ ) = ε (→ ε). ~ θ) (см. способы поЕсли доверительный интервал строится с помощью «функции отклонения» G(X, строения доверительных интервалов), то эта же функция годится и в качестве «функции отклонения» ~ F) (см. способы построения критериев согласия). ρ(X, 59 Пример 30. Посмотрим на критерий (17) в задаче о параметре нормальной выборки с известной дисперсией. √ ~ = H1 ⇐⇒ |ρ(X)| ~ < C = τ1−ε/2 ⇐⇒ | n X − a0 | < τ1−ε/2 δ(X) σ τ1−ε/2 σ τ1−ε/2 σ < a0 < X + √ . ⇐⇒ X − √ n n Осталось вспомнить, что точный доверительный интервал для параметра a нормального распределения с τ1−ε/2 σ τ1−ε/2 σ ,X + √ известной дисперсией как раз и есть (X − √ ). n n Упражнение. Какие из приведенных выше критериев можно сформулировать, используя доверительные интервалы? Сделать это. 60 9 И ССЛЕДОВАНИЕ СТАТИСТИЧЕСКОЙ ЗАВИСИМОСТИ : ЛИНЕЙНАЯ РЕ ГРЕССИЯ Часто требуется определить зависимость наблюдаемой случайной величины от одной или нескольких других величин. Самый общий случай такой зависимости — зависимость статистическая: например, наблюдаемая с.в. X есть функция от двух с.в. ξ и η, а с.в. Z — от ξ и φ. Зависимость между X и Z есть, но она не является, вообще говоря, функциональной зависимостью. Наличие такой зависимости может быть проверено, скажем, по критерию χ2 , если имеется выборка из значений пары с.в. (X, Z). Мы рассмотрим один из случаев этой задачи, когда имеет смысл предполагать наличие «почти функциональной» зависимости между двумя величинами. Часто эту зависимость можно воображать как вход и выход некоторой машины («ящика с шуршавчиком»). Входные данные («факторы»), как правило, известны. На выходе мы наблюдаем результат преобразования входных данных в ящике по каким-либо правилам. Мы можем получать даже значения случайных величин, которые (в среднем) функционально зависят от входных данных. При этом строгая функциональная зависимость входных и выходных данных редко имеет место, чаще на нее накладываются случайные «помехи»: ошибки наблюдения, воздействие неучтенных внешних факторов (случайность, наконец) и т.д. 9.1 Модель регрессии Рассматривается модель, в которой наблюдаемая случайная величина X зависит от другой случайной величины Y (значения которой мы либо задаем, либо знаем). Пусть зависимость математического ожидания X от значений Y определяется формулой E(X|Y = t) = f (t), где f — неизвестная функция. После n экспериментов с входными данными Y = t1 , . . . , Y = tn (какие-то заданные числа или вектора, природа которых чаще всего не имеет значения) получены значения X1 , . . . , Xn . Пусть X1 = f (t1 ) + ε1 , . . ., Xn = f (tn ) + εn , где εi — ошибки наблюдения, равные в точности разнице между реальным и усредненным значением случайной величины X при значении Y = ti : εi = Xi −f (ti ) = Xi − E(X|Y = ti ). Требуется по значениям t1 , . . . , tn и X1 , . . . , Xn оценить как можно точнее функцию f . 9.2 Метод наименьших квадратов: примеры Даже в отсутствие ошибок наблюдений функцию f можно восстановить лишь приближенно, в виде полинома. Поэтому обычно предполагают, что f есть полином (редко больше третьей - четвертой степени) с неизвестными коэффициентами. Метод наименьших состоит в выборе этих коэффициентов Pквадратов n так, чтобы минимизировать сумму квадратов ошибок i=1 (Xi − f (ti ))2 . Пример 31. Пусть Xi = θ + εi , i = 1, . . . , n, где θ — неизвестный параметр. Здесь f — полином Pn нулевой степени. Найдем оценку θb для параметра θ, на которой достигается минимум величины i=1 ε2i = Pn 2 i=1 (Xi − θ)) . n n X ∂ X (Xi − θ))2 = −2 (Xi − θ)) ∂θ i=1 i=1 θ=b θ =0 |= ⇒ θb = X. Pn Определение 31. Оценка θb параметра θ, на которой достигается min i=1 ε2i , называется оценкой θ метода наименьших квадратов (ОМНК). Пример 32. Линейная регрессия Рассмотрим линейную регрессию Xi = θ1 + ti θ2 + εi , i = 1, . . . , n, где θ = (θ1 , θ2 ) — неизвестный параметр. Здесь f — полином первой степени (прямая). Найдем оценку Pn Pn МНК (θb1 , θb1 ) для параметра θ, на которой достигается минимум величины i=1 ε2i = i=1 (Xi − θ1 − 2 ti θ2 )) . P Обозначим t = n1 ti . Приравняв к нулю частные производные, найдем точку экстремума. 61 Упражнение. Убедиться, что решением системы уравнений является пара n ∂ X 2 ε ∂θ1 i=1 i θb2 = 1 n θ=b θ n ∂ X 2 ε ∂θ2 i=1 i = 0; P ti X i − X · t P ; 1 (ti − t)2 n θ=b θ =0 θb1 = X − tθb2 . Линия EX = θb1 + tθb2 называется линией регрессии X на t. Определение 32. Величина 1 n P ti X i − X · t ρ =q P P 1 (ti − t)2 n1 (Xi − X)2 n ∗ называется «выборочным коэффициентом корреляции» и характеризует степень линейной зависимости между X и t. Пример 33. Полиномиальная регрессия Модель регрессии имеет вид EX = θ0 + θ1 t + θ2 t2 + . . . + θk−1 tk−1 . В следующем параграфе будет показано, как эта модель сводится к общей модели линейной регрессии. Пример 34. Термин «регрессия» появился впервые в работе Francis Galton, “Regression towards mediocrity in hereditary stature" (Journal of the Anthropological Institute V. 15, p. 246–265, 1886). Гальтон (в частности) исследовал рост детей высоких родителей, и установил, что он «регрессирует» в среднем, то есть в среднем дети высоких родителей не так высоки, как их родители. Для линейной модели регрессии X = θ1 t + θ2 u + c Гальтон нашел оценки параметров: Рост сына = 0, 27 Роста отца + 0, 2 Роста матери + const, а рост дочери еще в 1,08 раз меньше. 9.3 Общая модель линейной регрессии Замечание 30. В отличие от обозначений Лекции 6, отныне и навеки все вектора есть вектора-столбцы. Благодарю А. Иванова за соответствующее замечание и надеюсь, что не только он заметил несоответствие обозначений в лемме Фишера курсу алгебры. ~ = (β1 , . . . , βk ) — вектор ~ = (Z1 , . . . , Zk ) — вектор факторов регрессии и β Введем два вектора: Z неизвестных параметров регрессии. Рассматривается модель регрессии, которая в курсе «Эконометрия» называется «простой (линейной) регрессией»: EX = β1 Z1 + . . . + βk Zk . −→ (i) (i) Пусть в i-м эксперименте факторы регрессии принимают (известные) значения Z (i) = (Z1 , . . . , Zk ), i = 1, . . . , n. Пусть ~ε = (ε1 , . . . , εn ), где εi — случайная ошибка в i-м эксперименте (неизвестна). ~ = (X1 , . . . , Xn ), где После n экспериментов (n > k) в данной модели получена выборка X  (1) (1) X1 = β1 Z1 + . . . + βk Zk + ε1    (2) (2) X2 = β1 Z1 + . . . + βk Zk + ε2   ... (n) (n) Xn = β1 Z1 + . . . + βk Zk + εn , 62 ~ + ~ε , где матрица Z(k × n) называется «матрицей плана»: ~ = ZT β или, в матричной форме, X  (1) Z1  .. Z= . (n) ... Z1 .. . ... ... (1) Zk (n) Zk  −→ −→  (1) . . . Z (n) ).  = (Z ~ найти оценки для параметров регресТребуется по данным матрице плана Z и вектору результатов X ~ и вектора ошибок ~ε (например, для его числовых характеристик Eε, Dε, матрицы ковариаций и т.д.). сии β ~ Мы рассмотрим только проблему оценивания β. Предположение 1. Матрица Z имеет ранг k, т.е. все k ее строк линейно независимы. Лемма 12. Предположение 1 ⇐⇒ матрица A = Z·Z T положительно определена. Напоминание 1. Матрица A(k × k) положительно определена, если ~t T A~t > 0 для любого ~t = (t1 , . . . , tk ), и ~t T A~t = 0 ⇐⇒ ~t ≡ 0. Напоминание 2. Норма вектора (столбца) ~u = (u1 , . . . , uk ) есть ~u T ~u = нулю ⇐⇒ ~u ≡ 0. Pk i=1 u2i > 0, и равна T Доказательство леммы 12. Благодаря напоминанию 2, ~t T A~t = ~t T Z·Z T ~t = (Z T ~t ) ·(Z T ~t ) > 0, T причем (Z T ~t ) · (Z T ~t ) = 0 ⇐⇒ Z T ~t = 0. Но «ранг Z равен k» как раз и означает, по определению, что Z T ~t = 0 ⇐⇒ ~t = 0. 9.4 Метод наименьших квадратов. Нормальное уравнение Обозначим ~)= S(β n X ε2i = i=1 n X i=1  Xi − k X j=1 2 (i) βj Zj  ~ )T · (X ~ ). ~ − ZT β ~ − ZT β = (X b = min S(β ~ ), то βb называется оценкой метода наименьших квадратов Определение 33. Если S(β) ~ β ~ Здесь βb = (βb1 , . . . , βbk ). (ОМНК) вектора β. ~ ) (пока только точку эксНайдем систему уравнений, определяющих точку экстремума функции S(β тремума!).   k n X X ∂S (i) (i)  βj Zj  Xi − Zm = −2 = 0, m = 1, . . . , k. ∂βm ~ β b β= j=1 i=1 Раскрыв скобки, получим систему n X i=1 (i) Zm Xi = n X i=1 (i) Zm k X (i) βj Zj , m = 1, . . . , k. (18) j=1 ~ так что систему ~ справа — m-я координата вектора ZZ T β, Слева стоит m-я координата вектора Z X, уравнений 18 можно записать в виде ~ = Aβ. ~ ~ = Z·Z T β ZX 63 ~ называется нормальным уравнением. ~ = Aβ Определение 34. Уравнение Z X Теорема 17. 1. Если βb — произвольное решение нормального уравнения, то βb — ОМНК. 2. Если detA 6= 0 |= ⇒ βb = A−1 Z X~ — единственная ОМНК. Стоп! Упражнение. Что именно нужно доказывать в п. 1 теоремы? Нужно ли доказывать п. 2? |= ⇒ Замечание 31. Предположение 1 и лемма 12 A~t = ~0 имеет ненулевые решения (и много) |= ⇒ detA 6= 0 (т.к. иначе система уравнений A не положительно определена). Доказательство теоремы 17.   T  ~ ) = (X ~ )T · (X ~)= X ~) = ~) · X ~ − Z T βb + Z T (βb − β ~ − ZT β ~ − ZT β ~ − Z T βb + Z T (βb − β S(β  T b + (βb − β ~ )T (Z X b + (βb − β ~ )T ·(Z X b ~ )T Z·Z T (βb − β ~ ). ~ − Aβ) ~ − Aβ) = S(β) + (βb − β Поскольку βb — решение нормального уравнения, второе и третье слагаемое обращается в ноль. Далее, ~ ) = S(β) b + (βb − β ~ )T A (βb − β ~ ) > S(β) b S(β ~ ). поскольку матрица A положительно определена. Итак, βb — ОМНК, т.к. она минимизирует S(β Пример 35. Полиномиальная регрессия (продолжение примера 33) Имеем n наблюдений   X1 = 1 · θ0 + t1 θ1 + t21 θ2 + . . . + t1k−1 θk−1 + ε1 ...  Xn = 1 · θ0 + tn θ1 + t2n θ2 + . . . + tk−1 n θk−1 + εn Эта модель сводится к линейной модели регрессии с матрицей плана   1 ... 1  t1 . . . tn   2   t1 . . . t2n  Z= .  .. ..   . .  ... tk−1 1 ... tk−1 n 9.5 Свойства ОМНК ~: 1. Разница βb и β ~ + ~ε ) = A−1 Aβ ~ + A−1 Z~ε = β ~ + A−1 Z~ε . ~ = A−1 Z(Z T β βb = A−1 Z X Предположение 2. Ошибки ε1 , . . . , εn некоррелированы, все имеют нулевые математические ожидания и ненулевую дисперсию Dεi = Eε2i = σ 2 < ∞, i = 1, . . . , n. Замечание 32. Напоминаю, что когда речь заходит о дисперсии, термины «ненулевая» и «положительная» означают одно и то же. 64 Замечание 33. Ниже символом D~ε = E(~ε ~ε T ) обозначена матрица ковариаций вектора ~ε, т.е. матрица, (i, j)-й элемент которой равен  0, i 6= j . cov(εi , εj ) = E(εi − Eεi )(εj − Eεj ) = σ2 , i = j Для произвольного случайного
вектора ~x, координаты которого имеют вторые моменты, D~x = E (~x − E~x)(~x − E~x)T — матрица, (i, j)-й элемент которой равен cov(~xi , ~xj ) = E(~xi − E~xi )(~xj − E~xj ). ~: 2. βb — несмещенная оценка для β ~ + A−1 ZE~ε ≡ β. ~ Eβb = β b 3. Матрица ковариаций вектора β: b βb − Eβ) b T = E(βb − β ~ )(βb − β ~ )T = Dβb = E(βb − Eβ)( T E(A−1 Z~ε )(A−1 Z~ε )T = E(A−1 Z~ε ~ε T Z T A−1 ) И так как A = ZZ T , AT = A, E~ε ~ε T = σ 2 E, где E — единичная матрица, имеем: T Dβb = σ 2 (A−1 ZZ T A−1 ) = σ 2 A−1 . 9.6 Оптимальный выбор матрицы плана ~ можно суКак и в теории точечного оценивания, о качестве несмещенной оценки βb для вектора β дить по величине ее «среднего квадратического отклонения», которое в многомерном случае описывают ~ )(βb − β ~ )T . величиной Dβb = E(βb − β Если мы управляем экспериментом, т.е. можем сами задавать значения факторов Z1 , . . . , Zk (матрицу плана) и наблюдать затем результаты n экспериментов X1 , . . . , Xn , то разумно задаться вопросом: как зависит Dβb от выбора матрицы плана Z? Введем следующее ограничение: Предположение 3. Пусть a1 , . . . , ak — ненулевые фиксированные числа. Будем рассматривать матрицы плана Z, у которых n X (i) 2 (Zj ) = aj , j = 1, . . . , k. i=1 b Ее диагональные Замечание 34. Мы доказали, что Dβb = σ 2 A−1 — матрица ковариаций вектора β. 2 −1 элементы равны Dβbj = σ (A )jj . Если не требовать выполнения Предположения 3, то заменой Z на cZ можно добиться, что A−1 заменится на c12 A−1 и вместо Dβbj = σ 2 (A−1 )jj получится Dβbj = c12 σ 2 (A−1 )jj . (А получится ли? Что-то тут не так! :-))∗∗∗ Следующая теорема может быть доказана из свойств матрицы A (рекомендую попытаться доказать): σ2 для любого j = 1, . . . , k. В неравенстве a2j достигается равенство если (и только если) строки матрицы Z ортогональны, т.е. Теорема 18. Предположение 3 |= ⇒ n X i=1 (i) Dβbj > (i) Zl Zj = 0 ∀ l 6= j. Следствие 6. Если строки матрицы Z ортогональны, то матрица A имеет диагональный вид, и (A)jj = a2j . Это означает, что координаты вектора βb некоррелированы. 65 9.7 Вопросы и упражнения 1. Выполнить третью часть расчетного задания. Литература [1] Сборник задач по математической статистике. Под редакцией А.А.Боровкова. Новосибирск: НГУ, 1989. [2] Боровков А.А. Математическая статистика. Ч.I,II. Новосибирск: НГУ, 1983,1984. [3] Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. М.: Наука, 1965. [4] Чистяков В.П. Курс теории вероятностей. М., 1982. 66