Вероятностное пространство. Случайные величины. Математическое ожидание

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ "ВОЛГОГРАДСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ" ИНСТИТУТ МАТЕМАТИКИ И ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ А.М. Колодий, Н.А. Колодий ЛЕКЦИИ ПО ТЕОРИИ ВЕРОЯТНОСТЕЙ И МАТЕМАТИЧЕСКОЙ СТАТИСТИКЕ Учебное пособие для студентов высших учебных заведений, обучающихся по основным образовательным программам подготовки 230700 «Прикладная информатика» и 010100 «Математика» Волгоград 2013 УДК 519.2 ББК 22.171я73 К61 Рекомендовано к опубликованию ученым советом института математики и информационных технологий ВолГУ (протокол № 7 от 27.06.2013 г. ) Колодий А.М., Колодий Н.А. К61 Лекции по теории вероятностей и математической статистике [Текст]: учеб. пособие для студентов математических факультетов университетов Изд. 2-е./ А.М. Колодий, Н.А. Колодий. – Москва: Изд-во "Ваш полиграфический партнер 2013. – 148 с. В учебном пособии представлен краткий конспект лекций годового курса дисциплины "Теория вероятностей и математическая статистика"для читателей знакомых с основными понятиями, определениями и утверждениями теории меры и интеграла. Пособие также содержит задачи с решениями. Рекомендовано ученым советом института математики и информационных технологий ВолГУ в качестве учебного пособия для студентов высших учебных заведений, обучающихся по основным образовательным программам подготовки бакалавров 230700 «Прикладная информатика» и 010100 «Математика». ББК 22.171я73 ISBN 978-5-4253-0591-6 c А.М. Колодий, Н.А. Колодий, 2013 Оглавление Предисловие ко второму изданию . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 Предисловие к первому изданию . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Основные обозначения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 Глава 1. Вероятностное пространство . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.1. Вероятностная модель стохастического эксперимента . . . . . . . . 9 1.2. Элементы комбинаторики . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 1.3. Классическое определение вероятности . . . . . . . . . . . . . . . . . . . . . . 15 1.4. Аксиомы теории вероятностей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 1.5. Геометрические вероятности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 1.6. Условная вероятность. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 1.7. Независимость событий . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 Глава 2. Случайные величины. Распределения . . . . . . . . . . . . . . . . . . . . . . . . . 32 2.1. Случайные элементы. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 2.2. Дискретные распределения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 2.3. Функции и плотности распределений . . . . . . . . . . . . . . . . . . . . . . . . . 39 2.4. Многомерные функции и плотности распределений . . . . . . . . . . . 44 2.5. Независимость классов событий и случайных величин . . . . . . . . 47 2.6. Сходимость по вероятности и почти наверное последовательностей случайных векторов . . . . . . . . . . . . . . . . . . . . . . . . 53 Глава 3. Характеристики распределений. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 3.1. Математическое ожидание случайной величины . . . . . . . . . . . . . . 58 3.2. Теоремы о предельном переходе под знаком математического ожидания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 3.3. Неравенства. Пространство Lp (Ω, F , P) . . . . . . . . . . . . . . . . . . . . . . 62 3.4. Интегральные представления математического ожидания функций от случайных величин . . . . . . . . . . . . . . . . . . . . . . . . . 65 3 3.5. Математическое ожидание и независимость . . . . . . . . . . . . . . . . . . 69 3.6. Характеристическая функция . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 Глава 4. Предельные теоремы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 4.1. Закон больших чисел. Усиленный закон больших чисел . . . . . . . 78 4.2. Слабая сходимость последовательностей распределений . . . . . . 81 4.3. Центральная предельная теорема для последовательности независимых одинаково распределенных случайных величин . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 4.4. Центральные предельные теоремы для последовательностей серий случайных величин . . . . . . . . . . . . . . . . . . . 90 Глава 5. Условные вероятности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 5.1. Вводные замечания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 5.2. Условные математические ожидания относительно произвольной σ-алгебры . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 5.3. Условные математические ожидания относительно случайных элементов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 5.4. Распределения χ2 , Стьюдента и Фишера . . . . . . . . . . . . . . . . . . . . . 104 Глава 6. Многомерное нормальное распределение . . . . . . . . . . . . . . . . . . . . . 107 Глава 7. Точечное и интервальное оценивание . . . . . . . . . . . . . . . . . . . . . . . . . 110 7.1. Вариационный ряд. Распределения порядковых статистик выборки . . . . . . . . . . . . . . . . . . . 111 7.2. Оценка вероятности события. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 7.3. Эмпирическая функция распределения . . . . . . . . . . . . . . . . . . . . . . . 112 7.4. Оценки подстановки неизвестных параметров . . . . . . . . . . . . . . . . 113 7.5. Квантили распределений. Выборочные квантили . . . . . . . . . . . . . . 114 7.6. Метод моментов оценивания неизвестных параметров . . . . . . . . 115 7.7. Неравенство Крамера-Рао . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 7.8. Оценки максимального правдоподобия . . . . . . . . . . . . . . . . . . . . . . . 119 4 7.9. Асимптотические свойства оценок максимального правдоподобия . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 7.10. Независимость выборочного среднего и выборочной дисперсии гауссовского распределения . . . . . . . . . . . . . 123 7.11. Доверительные области и интервалы . . . . . . . . . . . . . . . . . . . . . . . . 124 7.12. Доверительные интервалы и области для параметров нормального распределения . . . . . . . . . . . . . . . . . . . . . . . . . . 125 7.13. Доверительный интервал для параметра показательного распределения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 7.14. Асимптотические доверительные интервалы . . . . . . . . . . . . . . . . . 126 Глава 8. Различение статистических гипотез . . . . . . . . . . . . . . . . . . . . . . . . . . . 127 8.1. Наиболее мощные критерии различения двух простых гипотез о среднем значении гауссовского распределения . . . . . . . . . . 128 8.2. Критерии проверки сложных гипотез о параметрах гауссовского распределения . . . . . . . . . . . . . . . . . . . . . . . . 129 8.3. Сравнение дисперсий двух гауссовских распределений . . . . . . . . 130 8.4. Сравнение средних двух гауссовских выборок . . . . . . . . . . . . . . . . 130 8.5. Статистика Колмогорова . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 8.6. χ2 -критерий Пирсона . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132 8.7. χ2 -критерий Пирсона при наличии неизвестных параметров . . 133 8.8. χ2 -критерий независимости признаков . . . . . . . . . . . . . . . . . . . . . . . 133 8.9. χ2 -критерий однородности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 Глава 9. Достаточные статистики. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136 Глава 10. Метод наименьших квадратов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 Приложение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142 Список литературы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148 5 Предисловие ко второму изданию Это издание отличается от предыдущего прежде всего тем, что было добавлено приложение содержащее таблицы значений функции Лапласа, квантилей распределения Стьюдента, греческий и готический шрифт. Так же автор постарался в некоторых местах усовершенствовать изложение и исправить опечатки и ошибки, а так же добавил новые иллюстрации. Был обновлен список литературы. Автор признателен рецензентам книги: доктору физико-математических наук, профессору кафедры математики УГАТУ Ф. С. Насырову; кандидату физико-математических наук, зав. каф. Прикладной математики ФГБОУ ВПО БГПУ им. М. Акмуллы А. В. Захарову за замечания и советы, которые способствовали улучшению изложения. Н.А. Колодий Кафедра фундаментальной информатики и оптимального управления, Институт математики и информационных технологий, Волгоградский государственный университет На обложке книги иллюстрация построена следующим образом: точка с x координатами (x0 , y0 ) движется по траектории y = 100 cos( 15 ) · 300−x/1000 , точки (x1 , y1 ) (x2 , y2 ) и (x3 , y3 ) движутся вокруг точки (x0 , y0 ) на растоянии ξ · 10 + 20, η · 10 + 30 и ζ · 10 + 15, соответственно, где независимые случайные величины ξ, η, ζ ∈ U ([0, 1]). Моделирование проводилось при x ∈ [0, 300] шагом по x равным 3 и поворотом точек (x1 , y1 ) (x2 , y2 ) и (x3 , y3 ) равным 5◦ на каждом шаге. Точка (x0 , y0 ) соединена с точкой (x1 , y1 ) отрезком черного цвета, (x1 , y1 ) с (x2 , y2 ) – красного, (x2 , y2 ) с (x3 , y3 ) – оранжевого, и (x3 , y3 ) с (x0 , y0 ) – зеленого. Автор искренне признателен менеджеру типографии «Gralvit» А.В. Гридневу за оказанную помощь в подготовке макета и оформлении обложки книги. 6 Предисловие к первому изданию Учебное пособие написано на основе курсов лекций, прочитанных авторами в течение ряда лет для студентов математического факультета Волгоградского государственного университета. Принятый в пособии вариант изложения теории вероятностей предполагает, что читатели знакомы с основными понятиями, определениями и утверждениями из дисциплины «Теория меры и интеграла» [7]. Некоторые понятия и результаты теории меры и интеграла включены в данное пособие. В конце некоторых параграфов приведены задачи с решениями. Список литературы, расположенный в конце пособия, содержит наиболее важные учебники и задачники, изучение которых является вполне достаточным для получения необходимых знаний по теории вероятностей и математической статистике. В качестве основных учебников мы рекомендуем книги А.Н. Ширяева [13], Г. Крамера [9] и А.А. Боровкова [1], а в качестве основных задачников для практических занятий и самостоятельной работы — сборники задач [5], [10] и [14]. Для более глубокого изучения теории вероятностей, математической статистики и теории случайных процессов советуем также прочесть книги А.А. Боровкова [2] и Ю.В. Прохорова и Ю.А. Розанова [11], И.И. Гихмана, А.В. Скорохода и М.И. Ядренко [3] и М.В. Козлова и А.В. Прохорова [6]. Очерк истории развития теории вероятностей содержится в книге Б.В. Гнеденко [4]. Глубокому пониманию теории вероятностей и математической статистики будет способствовать изучение «парадоксов» теории вероятностей, большое количество которых содержится в книге Г. Секкей [12]. В процессе изучения дисциплины "Теория вероятностей и математическая статистика"рекомендуем постоянно обращаться к учебным пособиям [7] и [8] и использовать их как справочники по теории меры и интеграла и по теории вероятностей. 7 Основные обозначения Символ , имеет смысл «равно по определению». {ω| U(ω)} и {ω : U(ω)} служат для обозначения множества элементов ω, удовлетворяющих условию U(ω). U ⇒ V обозначает импликацию, т.е. высказывание «утверждение U влечет утверждение V ». Если A и B — множества, то A×B обозначает их декартовое произведение. n A =A ... × A}. | × {z n Действительная прямая обозначается символом R. Полупрямая {t : t ∈ R, 0 6 t < ∞} обозначается через R+ . R — пополнение действительной прямой R элементами {−∞} и {+∞}. Аналогично, R+ , R+ ∪ {+∞}. Комплексная плоскость обозначается символом C. Если z ∈ C, то z обозначает комплексно-сопряженное числу z. N , {1, 2, ...}. R` обозначает евклидовое пространство `-мерных векторов-строк a = = (a1 , ... , a` ). Неравенства для векторов будем понимать покомпонентно: если a = (a1 , ... , a` ), b = (b1 , ... , b` ) ∈ R` , то соотношение a 6 b означает, что aj 6 bj для каждого j = 1, ... , `. Аналогично определяются неравенства a < b, a > b, a > b. Если a, b ∈ R` , то ]a, b] , {x|x ∈ R` , a < x 6 b} обозначает `-мерный параллелепипед (очевидно пустой, если не выполнено условие a < b). Аналогично определяются [a, b], [a, b[, ]a, b[. Rm×` обозначает пространство всех матриц с m строками и ` столбцами, наделенное евклидовой метрикой. Для обозначения транспонирования матриц применяется символ ∗ . (ω) (ω) (ω) IA обозначает индикатор множества A: IA = 1 для ω ∈ A и IA = 0 для ω∈ / A. Если ξ и η — функции с общей областью определения и значениями в R, то ξ ∨ η , max(ξ, η), ξ ∧ η , min(ξ, η). ξ + , ξ ∨ 0, ξ − , (−ξ) ∨ 0. 8 1. Вероятностное пространство 1.1. Вероятностная модель стохастического эксперимента Эксперимент H называют стохастическим, если он может проводиться любое количество раз при выполнении одного и того же комплекса условий и каждый раз независимо от результатов других проведений этого эксперимента. Приведем несколько простых примеров стохастических экспериментов: H1 — игральную кость (кубик с нанесенными на его гранях очками от 1 до 6) бросают на горизонтальную поверхность; H2 — монету бросают до первого появления герба; H3 — две точки X и Y выбирают наудачу из интервала [0, T ]. Каждому стохастическому эксперименту H соответствует его класс F наблюдаемых событий. Событие A считается наблюдаемым в стохастическом эксперименте H (случайным), если имеет смысл говорить, осуществилось это событие или нет в результате проведения H . События B = {выпадает четное число очков} и C = {выпадает не менее трех очков} наблюдаемы в эксперименте H1 и ненаблюдаемы в экспериментах H2 и H3 . Событие D = {монету бросают не более пяти раз} наблюдаемо в эксперименте H2 , а событие E = {расстояние между точками X и Y не превышает t} наблюдаемо в эксперименте H3 . Пространством элементарных событий (исходов) стохастического эксперимента H называют такое множество Ω, что каждый раз при проведении стохастического эксперимента происходит одно и только одно элементарное событие — элемент ω пространства Ω, а каждое наблюдаемое событие можно отождествить с некоторым подмножеством пространства Ω (при этом произвольное подмножество пространства Ω не обязано быть наблюдаемым в эксперименте H ). В рассмотренных ранее примерах стохастических экспериментов в качестве пространств элементарных событий можно взять следующие множества: для H1 Ω = {1, 2, 3, 4, 5, 6}, где элемент ω ∈ Ω соответствует выпадению грани кости с ω очками; для H2 Ω = N ∪ {∞}, где элемент j ∈ N соответствует исходу эксперимента, когда герб впервые выпадает на j-ом бросании монеты, а элемент ∞ соответствует той возможности, что герб никогда не появится; для H3 Ω = {(x, y)|0 6 x, y 6 T }, где x и y — координаты точек X и Y соответственно. Тогда рассмотренные ранее события B, C, D и E представимы в виде: B = {2, 4, 6}, C = {3, 4, 5, 6}, D = {1, 2, 3, 4, 5}, E = {(x, y)| (x, y) ∈ Ω, |x−y| 6 t}. Наблюдаемое событие A происходит тогда и только тогда, когда в резуль9 тате проведения стохастического эксперимента происходит элементарное событие, являющееся элементом множества A. Элементы ω ∈ A называются элементарными событиями эксперимента, благоприятствующими событию A. Так как случайные события являются подмножествами пространства элементарных событий Ω, то к ним могут применяться операции теории множеств. Приведем вероятностную интерпретацию некоторых понятий и операций теории множеств: ∅ — невозможное событие; A ⊂ B — событие A влечет событие B; если событие A произойдет, то необходимо произойдет событие B; A ∪ B , {ω|ω ∈ A или ω ∈ B} — объединение событий A и B; событие, состоящее в том, что происходит A или происходит B (возможно, происходят оба события); S At , {ω| ∃t ∈ T : ω ∈ At } — объединение событий семейства (At )t∈T ; t∈T событие, состоящее в том, что происходит хотя бы одно событие из событий семейства (At )t∈T ; A ∩ B , {ω|ω ∈ A и ω ∈ B} — совмещение (пересечение) событий A и B; событие, состоящее в том, что A и B происходят одновременно; T At , {ω| ω ∈ At ∀t ∈ T} — совмещение (пересечение) событий сеt∈T мейства (At )t∈T ; событие, состоящее в том, что одновременно происходят все события семейства (At )t∈T ; A\B , {ω|ω ∈ A и ω ∈ / B} — разность событий A и B; событие, состоящее в том, что A происходит, а B не происходит; A M B , {ω|ω ∈ A либо ω ∈ B} = (A\B)∪(B \A) — симметрическая разность событий A и B; событие, состоящее в том, что либо происходит событие A, либо происходит событие B; A ∩ B = ∅ — события A и B несовместны (не пересекаются); Ac , Ω \ A — событие, противоположное событию A; событие, состоящее в том, что A не происходит; lim sup An , {ω| ∀n ∃k > n : ω ∈ Ak } — верхний предел последовательноn→∞ сти событий (An )n∈N ; событие, состоящее в том, что одновременно происходит бесконечно много событий из последовательности (An )n∈N ; lim inf An , {ω| ∃n : ω ∈ Ak ∀k > n} — нижний предел последовательноn→∞ сти событий (An )n∈N ; событие, состоящее в том, что одновременно произойдут все события из последовательности (An )n∈N , за исключением, быть может, лишь конечного их числа; событие, состоящее в том, что одновременно может не произойти лишь конечное число событий из последовательности (An )n∈N ; 10 если A , lim sup An = lim inf An , то говорят, что последовательность соn→∞ n→∞ бытий (An )n∈N имеет предел lim An = A; n→∞ если An ⊂ An+1 для каждого n ∈ N, то последовательность событий (An )n∈N называется возрастающей; если An ⊃ An+1 для каждого n ∈ N, то последовательность событий (An )n∈N называется убывающей. Заметим, что: 1) lim sup An = n→∞ ∞ S ∞ T Ak ; lim inf An = n→∞ n=1 k=n ∞ T ∞ S Ak ; n=1 k=n 2) возрастающая последовательность событий (An )n∈N имеет предел ∞ S lim An = An ; n→∞ n=1 3) убывающая последовательность событий (An )n∈N имеет предел ∞ T lim An = An . n→∞ n=1 Отметим также, что для любого семейства событий (At )t∈T справедливы равенства (формулы двойственности Моргана): S T T S B\ At = (B \ At ); B \ At = (B \ At ). t∈T T S c t∈T St∈T c t∈T T c c At . В частности, ( At ) = At ; ( At ) = t∈T t∈T t∈T t∈T Определение 1.1. Пусть A — событие, наблюдаемое в стохастическом эксперименте H , νn (A) — количество появлений события A в серии n независимых повторений H , νen (A) = νnn(A) . Величины νn (A) и νen (A) называют соответственно частотой и относительной частотой события A. Из определения 1.1 очевидно следует, что относительная частота наблюдаемого события обладает свойствами: 1) 0 6 νen (A) 6 1, νen (∅) = 0, νen (Ω) = 1; 2) если A ∩ B = ∅, то νen (A ∪ B) = νen (A) + νen (B). Ясно, что относительная частота νen (A) может принимать различные значения в разных сериях n повторений эксперимента H , т.е. νen (A) зависит от случая. Вместе с тем, относительные частоты наблюдаемых событий могут обладать так называемым свойством стохастической устойчивости. Если с неограниченным ростом числа n независимых повторений эксперимента H относительная частота νen (A) все меньше и меньше отличается от некоторого числа P(A), то говорят, что относительная частота события A стохастически устойчива, а число P(A) является вероятностью события A. Например, если эксперимент состоит в бросании на горизонтальную поверхность правильной иг11 ральной кости, то с ростом числа бросков n относительная частота выпадения пяти очков будет приближаться к 16 . Данное эмпирическое понятие вероятности события отражает его естественно-научное содержание и, конечно, не является математическим определением. Вероятностной моделью стохастического эксперимента H называется совокупность трех объектов (Ω, F , P), где Ω — пространство элементарных событий H , F — класс наблюдаемых в H событий, P(·) : F 7→ [0, 1] — такая функция, что P(A) — вероятность наблюдаемого события A. Задачи 1. Найдите lim sup An и lim inf An , если: 1) An = [a + n1 , b + n1 [, n→∞ n→∞ (−1)n (−1)n , 1 + n ]. Для n каждой из данных последовательностей множеств ответьте 2) An = [−1 + на вопрос: существует ли lim An ? n→∞ Решение. 1) Если ω 6 a, то ω ∈ / An для любого n ∈ N и поэтому ω ∈ / lim inf An и ω∈ / lim sup An . Если ω ∈]a, b], то ω ∈ An для всех натуральных n > n→∞ 1 ω−a n→∞ и поэтому ω ∈ lim inf An и ω ∈ lim sup An . Если ω > b, то ω ∈ / An для всех натуральных n > n→∞ 1 ω−b n→∞ и поэтому ω ∈ / lim inf An и ω ∈ / lim sup An . Следовательно, lim sup An = lim inf An =]a, b] и n→∞ n→∞ n→∞ поэтому существует lim [a + n1 , b + n1 [=]a, b]. n→∞ n→∞ 1 2) Если ω < −1 или ω > 1, то ω ∈ / An для всех натуральных n > |ω|−1 и поэтому ω ∈ / lim inf An и ω ∈ / lim sup An . Так как {−1} ∈ / A2k и {−1} ∈ A2k−1 для всех k ∈ N, то {−1} ∈ / n→∞ n→∞ lim inf An и {−1} ∈ lim sup An . Так как {1} ∈ / A2k−1 и {1} ∈ A2k для всех k ∈ N, то {1} ∈ / n→∞ n→∞ lim inf An и {1} ∈ lim sup An . Если ω ∈] − 1, 1[, то ω ∈ An для всех натуральных n > n→∞ n→∞ 1 1−|ω| и поэтому ω ∈ lim inf An и ω ∈ lim sup An . Следовательно, lim sup An = [−1, 1] и lim inf An = n→∞ n→∞ n→∞ n→∞ ] − 1, 1[. Так как lim sup An 6= lim inf An , то данная последовательность множеств не имеет предела. n→∞ n→∞ 2. Эксперимент H состоит в последовательном проведении экспериментов H 1 , ..., Hn в каждом из которых события A и B являются наблюдаемыми. Пусть A k (аналогично, Bk ) — событие, состоящее в том, что в эксперименте Hk произойдет событие A (событие B). Выразите через Ak и Bk следующие события: 1) событие A не произойдет ни разу; 2) событие B произойдет хотя бы один раз; 3) событие A произойдет ровно один раз; 4) в каждом из экспериментов H1 , ..., Hn произойдет одно и только одно из событий A и B; 5) событие B произойдет первым; 6) хотя бы в одном из экспериментов H1 , ..., Hn произойдут оба события A и B. n  n n n S T S T c T Ak ∩ (Ak M Bk ); Bk ; 3) Aj ; 4) Ack ; 2) Решение. 1) k=1 k=1 k=1 5) (Ac1 ∩ B1 ) ∪ (Ac1 ∩ B1c ∩ Ac2 ∩ B2 ) ∪ ... ∪ j6=k h n−1 T k=1 k=1  i n S (Ack ∩ Bkc ) ∩ Acn ∩ Bn ; 6) (Ak ∩ Bk ). 12 k=1 1.2. Элементы комбинаторики В данном разделе приведены некоторые основные понятия и утверждения из комбинаторного анализа в терминах, удобных для применений в решениях задач на вычисление вероятностей событий, наблюдаемых в стохастических экспериментах с конечными пространствами элементарных событий. Теорема 1.1 (основное правило комбинаторики — правило умножения). Пусть некоторое действие D может быть представлено в виде последовательного выполнения k действий D1 , ..., Dk . Если D1 может быть выполнено m1 способами, D2 — m2 способами и так далее до действия Dk , которое может быть выполнено mk способами, то действие D может быть выполнено m1 · m2 · ... · mk способами. Доказательство теоремы 1.1 легко получается применением метода полной математической индукции. Определение 1.2. Множество, содержащее n элементов, будем называть n-элементным множеством. Упорядоченным k-элементным множеством будем называть множество, содержащее k элементов, каждому из которых поставлено в соответствие некоторое число из множества {1, 2, ..., k} (т.е. номер элемента) так, что различным элементам соответствуют различные числа. Подчеркнем, что упорядоченные множества являются различными, если они отличаются своими элементами или их порядком. Определение 1.3. Упорядоченное k-элементное подмножество nэлементного множества (k 6 n) называется размещением из n по k. Akn обозначает число всех размещений из n по k. n! Теорема 1.2. Akn = n · (n − 1) · ... · (n − k + 1) = (n−k)! . Доказательство. Число размещений из n по k равно числу способов выполнения действия D, состоящего в выборе k-элементного упорядоченного подмножества n-элементного множества B. Действие D может быть представлено в виде последовательного выполнения действий D1 , ..., Dk , где D1 состоит в присвоении номера ”1” некоторому элементу множества B, а при j ∈ {2, ..., k} Dj состоит в присвоении номера ”j” некоторому элементу множества B, который не был выбран при выполнении действий D1 , ..., Dj−1 . Действие D1 может быть выполнено n способами, D2 — (n − 1) способами и т.д., Dk — (n − k + 1) способами. Следовательно, Akn = n · (n − 1) · ... · (n − k + 1).  Определение 1.4. Упорядоченное n-элементное множество, состоящее из элементов n-элементного множества B, называется перестановкой множества B. Pn обозначает число перестановок n-элементного множества. 13 Теорема 1.3. Pn = n!. Доказательство. Перестановка n-элементного множества является размещением из n по n. Поэтому Pn = Ann = n!.  Определение 1.5. Неупорядоченное k-элементное подмножество nэлементного множества (k 6 n) называется сочетанием из n по k. C nk обозначает число сочетаний из n по k. Теорема 1.4. Cnk = n! (n−k)!k! = n(n−1)...(n−k+1) . k! Доказательство. Рассмотрим действие D, состоящие в выборе k-элементного упорядоченного подмножества n-элементного множества. Действие D может быть выполнено Akn способами. С другой стороны действие D может быть представлено в виде последовательного выполнения действий D 1 и D2 , где D1 состоит в выборе k-элементного неупорядоченного подмножества nэлементного множества, а D2 состоит в задании порядка в k-элементном множестве. Поэтому Akn = Cnk · Pk .  Задачи 1. Докажите, что количество всех разбиений n-элементного множества с различимыми элементами на r попарно непересекающихся множеств, содержащих соответственно k 1 , ..., kr n! элементов (k1 + ... + kr = n) равно k1 !...k . r! Решение. Рассмотрим действие D, состоящее в разбиении n-элементного множества с различимыми элементами на r попарно непересекающихся множеств, содержащих соответственно k1 , ..., kr элементов, k1 +...+kr = n. Действие D представимо в виде последовательного выполнения действий D1 , ..., Dr , где действие D1 состоит в выборе k1 -элементного неупорядоченного подмножества n-элементного множества, для j = 2, ..., r действие D j состоит в выборе kj -элементного неупорядоченного подмножества (n − k1 − ... − kj−1 )-элементного k2 · ... · множества. Поэтому количество способов выполнения действия D равно C nk1 · Cn−k 1 kr n! Cn−k1 −...−kr−1 = k1 !...kr ! . 2. Докажите, что количество всех различимых перестановок n-элементного множества, содержащего k1 неразличимых элементов первого типа, k2 неразличимых элементов второго n! . типа и т.д., kr неразличимых элементов r-го типа, где k1 + k2 + ... + kr = n, равно k1 !...k r! Решение. Действие, состоящее в получении различимой перестановки n-элементного множества, определенного условием задачи, представимо в виде последовательного выполнения двух действий. Первое состоит в разбиении множества мест в n-мерном векторе на r попарно непересекающихся подмножеств, содержащих соответственно k 1 , ..., kr элементов (мест), k1 + ... + kr = n, а второе в последовательном размещении k1 неразличимых элементов первого типа на k1 выбранных мест, размещении k2 неразличимых элементов второго типа на k2 выбранных мест и т.д., размещении kr неразличимых элементов r-го типа на kr выбранных n! мест. Первое действие может быть выполнено k1 !...k способами, а второе — одним способом. r! 3. Докажите, что количество всех разбиений n-элементного множества с различимыми элементами на r попарно непересекающихся множеств (некоторые из них могут быть пустыми) равно r n . Решение. Действие D, состоящее в разбиении n-элементного множества с различимыми элементами на r попарно непересекающихся множеств представимо в виде последовательного выполнения действий D1 , ..., Dn , где действие Dk состоит в помещении k-го элемента 14 n-элементного множества в одно из r множеств. Каждое из действий D 1 , ..., Dn может быть выполнено r способами. Значит, действие D может быть выполнено r n способами. 4. Докажите, что количество всех разбиений n-элементного множества с неразличимыми элементами на r попарно непересекающихся множеств (некоторые из них могут быть пустыr−1 ми) равно Cn+r−1 . Решение. Между множеством всех разбиений n-элементного множества с неразличимыми элементами на r попарно непересекающихся множеств и множеством всех векторов размерности n + r − 1, содержащих n нулей и r − 1 единиц, существует взаимно однозначное соответствие: количество нулей до первой единицы равно количеству элементов в первом подмножестве, количество нулей между первой и второй единицами равно количеству элементов во втором подмножестве и т.д. Поэтому количество всех разбиений n-элементного множества с неразличимыми элементами на r попарно непересекающихся множеств равно количеству r−1 таких векторов и, значит, равно Cn+r−1 — числу способов размещения r − 1 единиц (или n нулей) в векторе размерности n + r − 1. 5. Докажите, что количество всех разбиений n-элементного множества с неразличимыми r−1 элементами на r (r < n) попарно непересекающихся непустых множеств равно C n−1 . Решение. Количество всех разбиений n-элементного множества с неразличимыми элементами на r попарно непересекающихся непустых множеств равно количеству векторов размерности n + r − 1, содержащих n нулей и r − 1 единиц, в каждом из которых между любыми двумя единицами находится хотя бы один ноль. Количество таких векторов совпадает с чисr−1 лом способов выбора r − 1 мест для единиц между n нулями и, значит, равно C n−1 . 1.3. Классическое определение вероятности Предположим, что пространство элементарных событий Ω стохастического эксперимента H является конечным или счетным и каждое подмножество A пространства Ω является наблюдаемым событием, т.е. F , 2Ω . Пусть каждому ω ∈ Ω соответствует числоP p(ω) ∈ [0, 1], называемое вероятностью элементарного события ω, причем, p(ω) = 1. ω∈Ω Определение 1.6. Вероятностью события A ∈ F будем называть X P(A) = p(ω) (1.1) ω∈A (сумма по ω ∈ ∅ полагается равной нулю). Из определения 1.6 непосредственно следует, что вероятность (1.1) обладает свойствами: 1) 0 6 P(A) 6 1, P(Ω) = 1, P(∅) = 0; 2) если A∩B = ∅, то P(A∪B) = P(A)+P(B); 3) P(Ac ) = 1−P(A); 4) если A ⊂ B, то P(A) 6 P(B), P(B \ A) = P(B) − P(A); 5) P(A ∪ B) = P(A) + P(B) − P(A ∩ B). Следующее определение является частным случаем определения 1.6. Его называют классическим определением вероятности события. 15 Определение 1.7. Если стохастический эксперимент H имеет конечное число равновозможных (равновероятных) исходов, то вероятностью наблюдаемого в этом эксперименте события A называется отношение числа исходов, благоприятствующих событию A, к числу всех исходов эксперимента H , т.е. P(A) = |A| |Ω| , где Ω — пространство элементарных событий эксперимента H , |A| обозначает количество элементов множества A. Задачи 1. Найдите вероятность того, что в случайной перестановке элементов вектора (1, 2, ..., 6n) каждое число кратное трем находится на месте с четным номером. Решение. Стохастический эксперимент состоит в случайной перестановке элементов вектора (1, 2, ..., 6n). В качестве пространства элементарных событий этого эксперимента следует взять множество Ω всех перестановок вектора (1, 2, ..., 6n). Согласно теореме 1.3 количество элементов Ω равно |Ω| = (6n)!. Рассмотрим событие A = {в перестановке вектора (1, 2, ..., 6n) каждое число кратное трем находится на месте с четным номером}. Количество элементов множества A равно числу способов выполнения действия D, приводящего к получению нужной перестановки. Действие D представимо в виде последовательного выполнения действий D1 , D2 и D3 , где D1 состоит в выборе 2n мест из 3n мест с четными номерами в векторе (1, 2, ..., 6n); D2 состоит в размещении 2n чисел {3, 6, ..., 6n} на выбранные 2n мест; D 3 состоит в размещении оставшиеся 4n чисел на оставшиеся 4n мест. Так как действия D 1 , D2 2n , (2n)! и (4n)! способами, то согласно теореме и D3 могут быть выполнены соответственно C3n C 2n (2n)!(4n)! 2n 1.1 |A| = C3n (2n)!(4n)!. Следовательно, P(A) = 3n (6n)! . 2. В урне находится n = n1 + ... + n` шаров, среди них n1 шаров с номером ”1”, ..., n` шаров с номером ”`”. Найдите вероятность извлечения выборки объема k = k 1 + ... + k` , содержащей k1 шаров с номером ”1”, ..., k` шаров с номером ”`” если выборка извлекается: а) с возращением, б) без возвращения (k1 6 n1 , ..., k` 6 n` ). Решение. Пусть A — событие, состоящее в том, что в выборке объема k будет содержаться k1 шаров с номером ”1”, ..., k` шаров с номером ”`”; D — действие, приводящее к получению элементарного события, благоприятствующего событию A. а) В качестве пространства элементарных событий следует взять множество Ω всех векторов (a1 , ..., ak ), где aj — шар, извлеченный из урны на j-м шаге выбора с возвращением. Количество элементов Ω равно |Ω| = nk . Действие D представимо в виде последовательного выполнения действий D0 , D1 , ..., D` , где D0 состоит в разбиении множества мест в векторе (a1 , ..., ak ) на ` непересекающихся множеств, содержащих соответственно k1 , ..., k` элементов для размещения шаров с номерами ”1 ..., ”`”; D1 состоит в выборе с возвращением k1 шаров из n1 шаров с номером ”1” и размещении этих шаров на k1 ранее выбранных мест; ...; D` состоит в выборе с возвращением k` шаров из n` шаров с номером ”`” и размещении этих шаров на k` k! ранее выбранных мест. Действие D0 может быть выполнено k1 !...k способами. Для j = 1, ..., ` `! k действие Dj может быть выполнено nj j способами. Следовательно, |A| = k!n k1 ...n k` k! nk1 k1 !...k` ! 1 · ... · nk` ` . 1 ` Таким образом, P(A) = k1 !...k k . ` !n б) В качестве пространства элементарных событий следует взять множество Ω всех k-элементных неупорядоченных подмножеств n-элементного множества шаров урны. Количество элементов Ω равно |Ω| = Cnk . Действие D представимо в виде последовательного выполнения действий D1 , ..., D` , где для каждого j = 1, ..., ` действие Dj состоит в выборе kj -элементного неупорядоченного подмножества nj -элементного множества шаров с номе- 16 ром ”j”. Следовательно, P(A) = k k Cn11 ...Cn`` . k Cn 3. Из урны, содержащей k белых ` черных и m красных шаров, извлекают n шаров с возвращением (без возвращения, n 6 k ∧ ` ∧ m). Найдите вероятности того, что в полученной выборке: 1) не будет белых шаров; 2) будут только красные шары; 3) не будет белых или не будет черных шаров. Решение. Рассмотрим события A = {в выборке не будет белых шаров}, B = {в выборке будут только красные шары}, C = {в выборке не будет белых или не будет черных шаров}, D = {в выборке не будет черных шаров}. Отметим, что C = A ∪ D и поэтому P(C) = P(A) + P(D) − P(A ∩ D). При этом A ∩ D = {в выборке не будет ни белых ни черных шаров} = B. В случае выбора с возвращением: P(A) = (` + m)n (k + ` + m)−n , P(B) = mn (k + ` + m)−n , P(D) = (k + m)n (k + ` + m)−n , P(C) = [(` + m)n + (k + m)n − mn ](k + ` + m)−n . n n n n В случае выбора без возвращения: P(A) = C`+m /Ck+`+m , P(B) = Cm /Ck+`+m , n n n n n n P(D) = Ck+m /Ck+`+m , P(C) = [C`+m + Ck+m − Cm ]/Ck+`+m . 1.4. Аксиомы теории вероятностей Определение 1.8. Непустой класс A подмножеств пространства Ω называется алгеброй, если A удовлетворяет условиям: 1) если A ∈ A , то Ac ∈ A ; 2) если A, B ∈ A , то A ∪ B ∈ A . Так как алгебра A — непустой класс множеств, то существует хотя бы один элемент A ∈ A . Но тогда Ac ∈ A , Ω = A ∪ Ac ∈ A и ∅ = Ωc ∈ A . Таким образом, любая алгебра содержит в качестве своих элементов Ω и ∅. Если A, B ∈ A , то A ∩ B = (Ac ∪ B c )c ∈ A , A \ B = A ∩ B c ∈ A , A4B = (A \ B) ∪ (B \ A) ∈ A . n n T S Aj ∈ A . Aj ∈ A , Если Aj ∈ A , j = 1, ... , n, то j=1 j=1 Определение 1.9. Непустой класс F подмножеств Ω называется σалгеброй, если F удовлетворяет условиям: ∞ S c 1) если A ∈ F , то A ∈ F ; 2) если (An )n∈N ⊂ F , то An ∈ F . n=1 Если A, B ∈ F , то A ∪ B = A ∪ B ∪ B ∪ ... ∈ F . Таким образом, любая σ-алгебра является алгеброй. ∞ ∞ S T An = ( Acn )c ∈ F , lim inf An ∈ F , lim sup An ∈ F . Если (An )n∈N ⊂ F , то n=1 n→∞ n=1 n→∞ Определение 1.10. Если F — σ-алгебра подмножеств Ω, то пару (Ω, F ) называют измеримым пространством, а множества A ∈ F называют F -измеримыми. Теорема 1.5. Пусть T — непустое множество, (Ft )t∈T — семейство σ-алгебр подмножеств пространства Ω. T Ft также является σ-алгеброй. Тогда F , t∈T 17 Доказательство. Так как Ω ∈ Ft ∀t ∈ T, то Ω ∈ F . Если A ∈ F , то A ∈ Ft ∀t ∈ T, Ac ∈ Ft ∀t ∈ T и, следовательно, Ac ∈ F . Если (An )n∈N ⊂ F , то ∞ ∞ S S An ∈ F .  An ∈ Ft ∀t ∈ T и, следовательно, (An )n∈N ⊂ Ft ∀t ∈ T, n=1 n=1 Определение 1.11. Пусть C — некоторый класс подмножеств Ω. Минимальной σ-алгеброй, содержащей класс C (порожденной классом C ), называется такая σ-алгебра σ(C ), что C ⊂ σ(C ) и σ(C ) ⊂ F для любой σ-алгебры F , содержащей класс C . Теорема 1.6. Определение 1.11 корректно и эквивалентно следующе\ му: σ(C ) , F. C ⊂F − σ -алгебра Доказательство. Так как C ⊂ 2Ω то семейство σ-алгебр, содержащих класс C , непусто. Пересечение всех таких σ-aлгебр согласно теореме 1.5 является σ-алгеброй, содержит C и содержится в любой σ-алгебре, содержащей класс C . Поэтому очевидно, что эта σ-алгебра является минимальной и единственной.  Определение 1.12. Пусть C — класс подмножеств пространства Ω. Функция множеств A 7→ µ(A) : C 7→ [0, +∞] называется: n n S P 1) конечно-аддитивной, если µ( Aj ) = µ(Aj ) для любого n ∈ N j=1 j=1 и любого такого семейства множеств (Aj )j=1,... ,n ⊂ C , что Ai ∩ Aj = ∅ при i 6= j; 2) σ-аддитивной, если µ( ∞ S An ) = n=1 довательности (An )n∈N ⊂ C , что ∞ S n=1 ∞ P n S j=1 Aj ∈ C и µ(An ) для любой такой после- n=1 An ∈ C и Ai ∩ Aj = ∅ при i 6= j. Определение 1.13. Если (Ω, F ) — измеримое пространство, то σ-аддитивная и не равная тождественно +∞ функция множеств µ : F 7→ [0, +∞] называется мерой на (Ω, F ) (или на F ). Совокупность трех объектов (Ω, F , µ), где Ω — произвольное множество, F — σ-алгебра подмножеств Ω, µ — мера на F , называется измеримым пространством с мерой. Заметим, что если Ω — конечное или счетное множество, F , 2Ω и функция множеств P : F 7→ [0, ∞] определена равенством (1.1) по семейству неотрицательных чисел (p(ω))ω∈Ω , то (Ω, F , P) — измеримое пространство с мерой. 18 Действительно, если A = ∞ S n=1 An и Ai ∩ Aj = ∅ при i 6= j, то согласно свойствам числовых рядов с положительными слагаемыми ∞ P ∞ P P P P(A) = p(ω) = p(ω) = P(An ). n=1 ω∈An ω∈A n=1 Таким образом, вероятность P из определения 1.6 является мерой и так как P p(ω) = 1, то P(Ω) = 1. ω∈Ω Определение 1.14. Набор трех объектов (Ω, A , P), где Ω — непустое множество, A — алгебра подмножеств Ω, P : A 7→ [0, 1] — конечноаддитивная функция множеств, P(Ω) = 1, называется вероятностной моделью стохастического эксперимента со множеством элементарных событий Ω, алгеброй наблюдаемых событий A и конечно-аддитивной вероятностью P. Теорема 1.7. Пусть P — конечно-аддитивная вероятность на алгебре A подмножеств Ω. Тогда: 1) P(∅) = 0; 2) если A ⊂ B, то P(A) 6 P(B) и P(B \ A) = P(B) − P(A); 3) P(Ac ) = 1 − P(A); 4) P(A ∪ B) = P(A) + P(B) − P(A ∩ B). Доказательство. Так как 1 = P(Ω ∪ ∅) = P(Ω) + P(∅), то P(∅) = 0. Если A ⊂ B, то P(B) = P(A ∪ (B \ A)) = P(A) + P(B \ A) > P(A) и, следовательно, P(B \ A) = P(B) − P(A). В частности, P(Ac ) = 1 − P(A). Для любых A и B P(A∪B) = P(A∪(B\(A∩B))) = P(A)+P(B\(A∩B)) = P(A)+P(B)−P(A∩B).  Теорема 1.8 (об эквивалентности σ-аддитивности и непрерывности конечно-аддитивной вероятности). Пусть P — конечно-аддитивная вероятность на алгебре A подмножеств Ω. Тогда следующие условия эквивалентны: ∞ S (a) P σ-аддитивна: если (An )n∈N ⊂ A , Ai ∩ Aj = ∅ для i 6= j, An ∈ A , то P( ∞ S An ) = n=1 ∞ P n=1 P(An ); n=1 (b) P непрерывна снизу: если An ∈ A , An ⊂ An+1 , n ∈ N, lim P(An ) = P( n→∞ ∞ S An ); ∞ S n=1 n=1 (c) P непрерывна сверху: если An ∈ A , An ⊃ An+1 , n ∈ N, то lim P(An ) = P( n→∞ ∞ T An ); n=1 An ∈ A , то ∞ T n=1 An ∈ A , (d) P непрерывна в нуле: если (An )n∈N — убывающая последовательность элементов A и lim An = ∅, то lim P(An ) = 0. n→∞ n→∞ 19 Доказательство. Пусть выполнено условие (a), (An )n∈N — возрастающая ∞ S последовательность элементов алгебры A и An ∈ A . Определим B1 , A1 , n=1 Bn , An \ An−1 , n > 1, и заметим, что Bi ∩ Bj = ∅ при i 6= j и n S Bj = An . Поэтому ∞ S An = n=1 ∞ S Bn , n=1 j=1 P( ∞ S An ) = P( n=1 ∞ S Bn ) = n=1 = lim n P n→∞ j=1 ∞ P P(Bn ) = n=1 P(Bj ) = lim P( n→∞ n S Bj ) = lim P(An ). j=1 n→∞ Следовательно, (a)⇒(b). Если выполнено условие (b), (An )n∈N — убывающая последовательность ∞ S An ∈ A , то элементов A и n=1 P( ∞ T n=1 An ) = 1 − P( ∞ S n=1 Acn ) = 1 − lim P(Acn ) = lim P(An ). n→∞ n→∞ Следовательно, (b) ⇒ (c). Импликация (c) ⇒ (d) очевидна. Пусть выполнено условие (d), (An )n∈N ∞ S An ∈ A . — дизъюнктная последовательность элементов алгебры A и n=1 В силу аддитивности P для каждого n ∈ N справедливо равенство ∞ n ∞ S P S P( An ) = P(Aj ) + P( Aj ). n=1 j=1 j=n+1 Переходя к пределу по n → ∞, получаем σ-аддитивность P.  Согласно теореме 2.11 из [7] о продолжении меры конечно-аддитивная вероятность P, удовлетворяющая одному из условий (a) — (d) имеет единственное продолжение до меры P на σ-алгебре F = σ(A ). Определение 1.15 (аксиомы теории вероятностей). Набор трех объектов (Ω, F , P), где Ω — произвольное множество, F — σ-алгебра подмножеств Ω, P — мера на (Ω, F ) и P(Ω) = 1, называется вероятностным пространством. Множество Ω называется пространством элементарных событий (некоторого стохастического эксперимента H ), множества A ∈ F называются случайными событиями (наблюдаемыми в стохастическом эксперименте H ), P называется вероятностью или вероятностной мерой, а P(A) — вероятностью события A ∈ F. В дальнейшем постоянно считаем заданным некоторое вероятностное пространство (Ω, F , P), а все рассматриваемые события предполагаем F -изме20 римыми. Теорема 1.9 (о непрерывности вероятности). 1) Если (An )n∈N — возрастающая последовательность элементов ∞ S σ-алгебры F , то lim P(An ) = P( An ). n→∞ n=1 2) Если (An )n∈N — убывающая последовательность элементов σ-ал∞ T гебры F , то lim P(An ) = P( An ). n→∞ n=1 Доказательство. Так как σ-алгебра является алгеброй, а σ-аддитивная вероятность является конечно-аддитивной, то доказательства импликаций (a) ⇒ (b) и (b) ⇒ (c) теоремы 1.8 являются доказательствами утверждений 1) и 2) данной теоремы.  Теорема 1.10. S P 1) Если J = {1, ..., n} или J = N, то P( Aj ) 6 P(Aj ) для любого j∈J j∈J семейства событий (Aj )j∈J . 2) Если J = {1, ..., n} или J = N и S (Aj )j∈J —Pтакое семейство событий, что P(Ai ∩ Aj ) = 0 для i 6= j, то P( Aj ) = P(Aj ). ∞ P 3) Если 4) P( n=1 ∞ S j∈J j∈J P(An ) < ∞, то P(lim sup An ) = 0. n→∞ An ) = 0 тогда и только тогда, когда P(An ) = 0 для любого n=1 n ∈ N. ∞ T 5) P( An ) = 1 тогда и только тогда, когда P(An ) = 1 для любого n=1 n ∈ N. 6) Для любой последовательности событий (An )n∈N P(lim inf An ) 6 lim inf P(An ) 6 lim sup P(An ) 6 P(lim sup An ). n→∞ n→∞ n→∞ n→∞ 7) lim P(An ) = P( lim An ) для любой сходящейся последовательности n→∞ n→∞ событий (An )n∈N . k−1 S Доказательство. 1) Определим B1 , A1 , Bk , Ak \ Aj , k > 1. Тогда j=1 S S Bi ∩ Bj = ∅ для i 6= j; Bj = Aj ; Bk ⊂ Ak ; j∈J j∈J S S P P P( Aj ) = P( Bj ) = P(Bj ) 6 P(Aj ). j∈J j∈J j∈J j∈J 2) Пусть семейство событий (Bn )n∈N определено по семейству событий (An )n∈N как в п. 1) доказательства. 21 k−1 S k−1 P P(Aj ∩ Ak ) = 0 и, знаS S чит, P(Bk ) = P(Ak ) для каждого k ∈ N. Поэтому P( Aj ) = P( Bj ) = j∈J j∈J P P P(Bj ) = P(Aj ). Тогда Ak \ Bk = j∈J (Aj ∩ Ak ); P(Ak \ Bk ) 6 j=1 j=1 j∈J 3) Согласно теореме 1.9 и определению сходимости числового ряда ∞ ∞ S P P(lim sup An ) = lim P( Ak ) 6 lim P(Ak ) = 0. n→∞ n→∞ 4) Так как P(An ) 6 P( ∞ S n→∞ k=n k=n An ), то из условия P( ∞ S An ) = 0 следует, что n=1 n=1 P(An ) = 0 для любого n ∈ N. Согласно полуадди тивности меры P( условия P(An ) = 0 ∀n ∈ N следует, что P( ∞ S An ) 6 n=1 ∞ S An ) = 0. ∞ P P(An ) и, значит, из n=1 n=1 5) Применяя равенство P(Ac ) = 1 − P(A), формулы двойственности Моргана и утверждение 4), имеем соотношение: ∞ ∞ T S P( An ) = 1 ⇔ P( Acn ) = 0 ⇔ P(Acn ) = 0 ∀n ⇔ P(An ) = 1 ∀n. n=1 n=1 6) Согласно теореме 1.9 P(lim inf An ) = lim P( n→∞ n→∞ P(lim sup An ) = lim P( n→∞ n→∞ ∞ T k=n ∞ S Ak ) 6 lim inf P(Ak ) = lim inf P(An ). n→∞ k>n n→∞ Ak ) > lim sup P(Ak ) = lim sup P(An ). n→∞ k>n k=n n→∞ 7) Если (An )n∈N — сходящаяся последовательность событий, то равенство lim P(An ) = P( lim An ) следует из утверждения 6) данной теоремы.  n→∞ n→∞ Определение 1.16. 1) Непустой класс множеств P называется π-классом, если из условия A, B ∈ P следует, что A ∩ B ∈ P. 2) π-класс C называется полукольцом, если разность любых двух элементов C представима в виде объединения конечного набора попарно непересекающихся элементов C . 3) Класс D подмножеств пространства Ω называется d-классом, если D удовлетворяет условиям: a) Ω ∈ D; b) если A, B ∈ D и A ⊂ B, ∞ S то B \ A ∈ D; c) если (An )n∈N ⊂ D и An ⊂ An+1 ∀n, то An ∈ D. n=1 Отметим, что класс множеств F является σ-алгеброй тогда и только тогда, когда F является π-классом и d-классом одновременно. Определение 1.17. Пусть C — некоторый класс подмножеств Ω. Минимальным d-классом, содержащим класс C (порожденным классом C ), 22 называется такой d-класс d(C ), что C ⊂ d(C ) и d(C ) ⊂ D для любого d-класса D, содержащего класс C . Теорема 1.11. Определение 1.17 корректно и эквивалентно следую\ щему: d(C ) , D. C ⊂D − d-класс Доказательство данной теоремы аналогично доказательству теоремы 1.6. Теорема 1.12. Пусть P — π-класс. Тогда d(P) = σ(P). Доказательство. Так как σ-алгебра является d-классом, то d(P) ⊂ σ(P). Следовательно, теорема будет доказана, если будет установлено, что d(P) — σ-алгебра. А для этого, в свою очередь, достаточно доказать, что d(P) является π-классом. Заметим, что для произвольного D ∈ d(P) класс множеств KD , {C|C ∈ d(P), C ∩ D ∈ d(P)} является d-классом. Если D ∈ P, то P ⊂ KD , KD — d-класс, и, следовательно, d(P) ⊂ KD . Поэтому, если D ∈ P, C ∈ d(P), то C ∩ D ∈ d(P). Если C ∈ d(P), то в силу предыдущего P ⊂ KC , KC — d-класс, и, следовательно, d(P) ⊂ KC . Поэтому, если C, D ∈ d(P), то C ∩ D ∈ d(P).  Задачи 1. Известны вероятности P(A) = a, P(B) = b и P(A ∪ B) = c. Найдите P(A∆B c ). Решение. Так как P(A ∩ B) = P(A) + P(B) − P(A ∪ B) = a + b − c, то P(A∆B c ) = P(A \ B c ) + P(B c \ A) = P(A ∩ B) + 1 − P(A ∪ B) = 1 + a + b − 2c. 2. Пусть P — конечно-аддитивная вероятность на алгебре A подмножеств Ω. Докажите, что n n [  X X P(Ak1 ∩ ... ∩ Akj ). (1.2) (−1)j+1 Aj = P j=1 j=1 16k1 <... 0 проигрывает и с вероятностью β > 0 выигрывает 1 рубль, α + β = 1. Начальный капитал игрока равен m рублей (m > 0). Игра прекращается, если игрок разорится или его капитал достигнет n рублей (n > m). Найдите вероятность разорения игрока. Решение. Пусть B — событие, состоящее в том, что игрок выиграет в одной партии игры; Ak — событие, состоящее в том, что имея капитал в k рублей игрок разорится; p k , P(Ak ). Очевидно, что p0 = 1, pn = 0. Согласно формуле полной вероятности для каждого k ∈ {1, ..., n − 1} справедливо равенство pk = P(Ak ) = P(Ak |B)P(B) + P(Ak |B c )P(B c ) = pk+1 β + pk−1 α откуда следует, что pk − pk+1 = αβ [pk−1 − pk ] и pj − pj+1 = ( αβ )j [1 − p1 ] для j = 0, ..., n − 1. Суммируя последнее равенство по j и применяя обозначение S k , 1 + ( αβ )1 + ... + ( αβ )k−1 получаем, что 1 − pk = (1 − p1 )Sk для k = 1, ..., n. Следовательно, pk = 1 − Sk /Sn . Отметим, что Sk = k при α = β и Sk = [(α/β)k − 1]/[(α/β) − 1] при α 6= β. Таким образом, pm = 1 − m n m −1 при α = 6 β. при α = β = 12 и pm = 1 − (α/β) (α/β)n −1 3. Известно, что в урне находятся только белые шары, но их количество неизвестно. Ве1 роятность того, что в урне находится k шаров равна (e−1)k! , k ∈ N. В эту урну положили 1 черный шар. После перемешивания из урны извлекли один шар и он оказался белым. Какова вероятность того, что в урне первоначально находилось n шаров? Решение. Пусть Hk — событие, состоящее в том, что в урне первоначально находилось k 1 шаров, k ∈ N. Тогда Hi ∩ Hj = ∅ для i 6= j и P(Hk ) = (e−1)k! . Пусть A — событие, состоящее в том, что после добавления в урну черного шара извлеченный наудачу из этой урны шар будет ∞ ∞ P P k 1 1 = e−1 . По P(A|Hk )P(Hk ) = белым. По формуле полной вероятности P(A) = k+1 (e−1)k! k=1 формуле Байеса P(Hn |A) = P(A|Hn )P(Hn ) P(A) = k=1 n . (n+1)! 1.7. Независимость событий Определение 1.19. События A и B называются независимыми, если P(A ∩ B) = P(A)P(B). Теорема 1.15. 1) Если A и B независимы, то A и B c независимы. 2) Если P(A) = 0 или P(A) = 1, а B — произвольное событие, то A и B независимы. 27 3) Если A и B независимы и P(B) 6= 0, то P(A|B) = P(A). 4) Если A ∩ B = ∅, P(A) 6= 0, P(B) 6= 0, то A и B зависимы. Доказательство. 1) Применяя свойства вероятности и учитывая независимость событий A и B получаем, что P(A ∩ B c ) = P(A \ (A ∩ B)) = P(A) − P(A ∩ B) = = P(A) − P(A)P(B) = P(A)(1 − P(B)) = P(A)P(B c ). 2) Так как P(A ∩ B) 6 P(A) = 0, то P(A ∩ B) = 0 = P(A)P(B) и, следовательно,A и B независимы. Если P(A) = 1, то P(Ac ) = 0 и, значит, Ac и B независимы, откуда согласно 1) следует, что A и B независимы. 3) Следует из определений 1.18 и 1.19. 4) Очевидно, что P(A ∩ B) = P(∅) = 0 6= P(A)P(B) и, следовательно, A и B зависимы.  Определение 1.20. События семейства (At )t∈T (T — произвольное множество) называются независимыми в совокупности, если P(At1 ∩ ... ∩ Atk ) = P(At1 ) · ... · P(Atk ) для любого k > 1 и любых таких t1 , ..., tk ∈ T, что tr 6= tm для r 6= m. Из независимости в совокупности событий семейства (At )t∈T очевидно следует их попарная независимость: As и At независимы для любых s 6= t. Обратное утверждение, вообще говоря, неверно, что доказывает следующий пример С.Н.Бернштейна. На плоскость бросают тетраэдр, три грани которого окрашены соответственно в красный, желтый и зеленый цвета, а на четвертую грань нанесены все три цвета. Рассмотрим события A = {выпавшая грань содержит красный цвет}, B = {выпавшая грань содержит желтый цвет}, C = {выпавшая грань содержит зеленый цвет}. Тогда P(A) = P(B) = P(C) = 12 , P(A ∩ B) = P(A ∩ C) = P(B ∩ C) = 14 , P(A ∩ B ∩ C) = 14 . Следовательно, события A, B, C попарно независимы, но не являются независимыми в совокупности. Теорема 1.16. 1) Если события семейства (At )t∈T независимы в совокупности и Bt = At либо Bt = Act для каждого t ∈ T, то события семейства (Bt )t∈T независимы в совокупности. 2) Если события A1 , A2 , ... независимы в совокупности, то ∞ ∞ T Q P( An ) = P(An ) n=1 n=1 Доказательство. 1) Если события семейства (At )t∈T независимы в совокупности, то P(Act1 ∩ At2 ∩ ... ∩ Atk ) = P(At2 ∩ ... ∩ Atk ) − P(At1 ∩ ... ∩ Atk ) = = P(At2 ) · ... · P(Atk ) − P(At1 ) · ... · P(Atk ) = P(Act1 ) · P(At2 ) · ... · P(Atk ) 28 для любого k > 1 и любых таких t1 , ..., tk ∈ T, что tr 6= tm для r 6= m. 2) Согласно теореме 1.9 о непрерывности вероятности и определению 1.20 ∞ ∞ ∞ T n n T Q T Q P( An ) = P( P(Ak ) = Ak ) = lim P(An ).  n=1 n→∞ k=1 n=1 k=1 n=1 Теорема 1.17 (Бореля–Кантелли). Пусть (An )n∈N — некоторая последовательность событий. Тогда: ∞ P 1) если P(An ) < ∞, то P(lim sup An ) = 0; n→∞ n=1 2) если P(lim sup An ) = 0 и события A1 , A2 , ... независимы в совокупно- сти, то ∞ P n=1 n→∞ P(An ) < ∞; 3) если P(lim sup An ) > 0, то 4) если n→∞ ∞ P n=1 ∞ P n=1 P(An ) = ∞; P(An ) = ∞ и события A1 , A2 , ... независимы в совокупности, то P(lim sup An ) = 1. n→∞ Доказательство. Утверждения 1) и 3) следуют из соотношения ∞ ∞ S P P(lim sup An ) = lim P( Ak ) 6 lim P(Ak ). n→∞ n→∞ k=n n→∞ k=n Если A1 , A2 , ... независимы в совокупности, то применяя неравенство 1 − x 6 e−x получаем, что для каждого n ∈ N P( ∞ \ Ack ) k=n = ∞ Y k=n (1 − P(Ak )) 6 exp { − ∞ X k=n Если P(lim sup An ) = 0, то существует такое n, что P( чит, P( ∞ P ∞ T n→∞ k=n значит, P( ∞ S Ak ) < 1, и, зна- k=n Ack ) > 0, что вместе с неравенством (1.3) влечет сходимость ряда P(An ). Если n=1 (1.3) P(Ak )}. ∞ S k=n ∞ P n=1 P(An ) = ∞, то в силу неравенства (1.3) P( ∞ T k=n Ack ) = 0, и, Ak ) = 1 ∀n ∈ N, что влечет равенство P(lim sup An ) = 1.  n→∞ Теорема 1.18 Пусть (Ω1 , F1 , P1 ), ..., (Ω` , F` , P` ) — вероятностные пространства. Определим Ω , Ω1 × ... × Ω` , F , σ(F1 × ... × F` ). Тогда существует единственная вероятностная мера P на (Ω, F ) такая, что P(A1 × ... × A` ) = P1 (A1 ) · ... · P` (A` ) для любых A1 ∈ F1 , ..., A` ∈ F` . Доказательство. Заметим, что F1,n , F1 × ... × F` — полукольцо и λ(A1 × ... × A` ) , P1 (A1 ) · ... · P` (A` ) является положительной и аддитивной функцией множеств на F1,n . Кроме того, λ(Ω) = 1. Если 29 A1 × ... × A` ⊂ (ω ) IA11 · ... · (ω ) IA`` = ∞ S n=1 (n) (n) (n) (A1 × ... × A` ), Aj ∈ Fj , Aj ∈ Fj , то (ω ,...,ω` ) IA11×...×A ` 6 ∞ P n=1 I (ω1 ,...,ω` ) (n) (n) A1 ×...×A` = ∞ P n=1 I (ω1 ) (n) A1 · ... · I (ω` ) (n) A` . Интегрируя последнее неравенство по P1 , ..., P` получаем, что λ(A1 × ... × A` ) = P1 (A1 ) · ... · P` (A` ) 6 ∞ ∞ P P (n) (n) (n) (n) λ(A1 × ... × A` ). P1 (A1 ) · ... · P` (A` ) = 6 n=1 n=1 Таким образом, λ — σ-полуаддитивная функция множеств. Следовательно, согласно теореме 2.10 [7] о продолжении меры λ имеет единственное продолжение до вероятностной меры P на F .  Пространство (Ω, F , P) называют прямым произведением вероятностных пространств (Ω1 , F1 , P1 ), ..., (Ω` , F` , P` ). Опираясь на теорему 1.18 легко доказать существование независимых в совокупности событий: если A1 ∈ F1 , ..., A` ∈ F` и e1 , A1 × Ω2 × ... × Ω` , ... , A e` , Ω1 × ... × Ω`−1 × A` , A e1 , ..., A e` — независимые в совокупности события. то A Задачи 1. Два стрелка стреляют залпом по одной цели. Вероятность одного попадания в одном залпе равна p. Известно, что вероятность попадания в цель первого стрелка равна α. Найдите вероятность попадания в цель второго стрелка. Решение. Пусть β — вероятность попадания в цель второго стрелка. Рассмотрим события: A = {первый стрелок попадет в цель}, B = {второй стрелок попадет в цель}, C = {в одном залпе будет ровно одно попадание}. Тогда события A и B независимы и C = (A∩B c )∪(Ac ∩B). α−p для α 6= 12 и β — любое число из Поэтому p = α(1 − β) + (1 − α)β. Следовательно, β = 2α−1 интервала [0, 1] для α = 21 . 2. Три студента должны выбрать один из двух вариантов ответа на тестовый вопрос. Один из них верный, а второй — ошибочный. Вероятность допустить ошибку в выборе ответа для 1го, 2-го и 3-го студентов равны x, y и z соответственно, причем x < y и x < z. Третий студент, желая непременно участвовать в принятии решения, предложил прибегнуть к голосованию. Первый студент, напротив, предложил принять его вариант ответа. Какому условию должна удовлетворять величина x, чтобы предложение первого студента было бы лучше предложения третьего студента? Сравните вероятности выбора ошибочного ответа для данных двух способов принятия решения, если: а) x = 0.1, y = 0.2, z = 0.4; б) x = 0.01, y = 0.05, z = 0.1. Решение. Пусть Hj — событие, состоящее в том, что j-й студент допустит ошибку в выборе ответа, а H — событие, состоящее в том, что будет допущена ошибка в результате выбора ответа путем голосования. Тогда H = (H1 H2 H3 ) ∪ (H1 H2 H3c ) ∪ (H1 H2c H3 ) ∪ (H1c H2 H3 ) и события H1 , H2 и H3 независимы в совокупности. Поэтому P(H) = xyz + xy(1 − z) + x(1 − y)z + (1 − x)yz = xy + xz + yz − 2xyz. Предложение первого студента лучше предложения третьего yz студента, если x < P(H), т.е. x < 1−y−z+2yz . Если x = 0.1, y = 0.2, z = 0.4, то P(H) = 0.124 > x. Если x = 0.01, y = 0.05, z = 0.1, то P(H) = 0.0064 < x. 3. Событие A с вероятностью α (0 < α < 1) происходит в стохастическом эксперименте 30 H . Сколько раз нужно повторить эксперимент H , чтобы вероятность появления хотя бы один раз события A была не меньше p (0 < p < 1). Решение. Пусть Bk = {в серии k повторений эксперимента H событие A произойдет хотя бы один раз}, Aj = {в j-м повторении эксперимента H произойдет событие A}. Тогда события A1 , A2 , ... независимы в совокупности и Bk = A1 ∪ ... ∪ Ak . Вероятность события Bk равна P(Bk ) = 1 − P(Ac1 ∩ ... ∩ Ack ) = 1 − (1 − α)k . Согласно условию задачи нужно найти наименьшее число n повторений эксперимента H при котором вероятность появления хотя n бы один раз события A была не меньше p. Следоваo ln(1−p) тельно, n = min{k : P(Bk ) > p} = min k : k > ln(1−α) . Поэтому если ln(1−p) ln(1−α) — целое число, то n = ln(1−p) . ln(1−α) Если ln(1−p) ln(1−α) — не целое число, то ln(1−p) ] + 1, где [x] — целая часть числа x. n = [ ln(1−α) 4. Событие A с вероятностью α (0 < α < 1) происходит в стохастическом эксперименте H . Сколько раз нужно повторить эксперимент H , чтобы с вероятностью меньшей чем p (0 < p < 1) можно было ожидать, что событие A не произойдет ни разу. Решение. Пусть Ck = {в серии k повторений эксперимента H событие A не произойдет ни разу}. Тогда P(Ck ) = (1 − α)k . Согласно условию задачи нужно найти наименьшее число n повторений эксперимента H при котором с вероятностью меньшей чем p можно было ожидать, что событие A не произойдет ни разу. Следовательно, n o ln p ln p n = min{k : P(Ck ) < p} = min k : k > ln(1−α) = [ ln(1−α) ] + 1. 5. Стохастический эксперимент H состоит в проведении последовательности независимых испытаний H1 , H2 , .... Событие A является наблюдаемым в каждом испытании. Вероятность появления события A в испытании Hn равна εn . Какова вероятность появления события A в эксперименте H хотя бы один раз. Решение. Пусть An — событие, состоящее в том, что событие A произойдет в испытании Hn , а B — событие, состоящее в том, что событие A произойдет в эксперименте H хотя бы ∞ S один раз. Тогда B = An и {A1 , A2 , ...} — семейство независимых в совокупности событий. n=1 Следовательно, P( ∞ T n=1 Acn ) = ∞ Q n=1 P(Acn ) и, значит, P(B) = 1 − 31 ∞ Q n=1 (1 − εn ). 2. Случайные величины. Распределения 2.1. Случайные элементы Определение 2.1. Если ξ : Ω 7→ X и B ⊂ X, то ξ −1 (B) , {ω|ξ(ω) ∈ B} называется ξ-прообразом множества B. Если C — класс подмножеств пространства X, то ξ −1 (C ) , {ξ −1 (B) | B ∈ C } называется ξ-прообразом класса C . Замечание. Прообразы множеств обладают следующими свойствами: 1) ξ −1 (X) = Ω; 2) ξ −1 (B1 \ B2 ) = ξ −1 (B1 ) \ ξ −1 (B2 ); 3) ξ −1 (∅) = ∅; 4) если B1 ⊂ B2 , то ξ −1 (B1 ) ⊂ ξ −1 (B2 ); 5) если B1 ∩ B2 = ∅, то ξ −1 (B1 ) ∩ ξ −1 (B2 ) = ∅; 6) для произвольного непустого множества индексов T S S −1 T T −1 ξ −1 ( Bt ) = ξ (Bt ); ξ −1 ( Bt ) = ξ (Bt ). t∈T t∈T t∈T t∈T Теорема 2.1. Если ξ : Ω 7→ X и A — σ-алгебра подмножеств пространства X, то ξ −1 (A ) является σ-алгеброй подмножеств пространства Ω. Доказательство. Так как Ω = ξ −1 (X) и X ∈ A , то Ω ∈ ξ −1 (A ). Если A ∈ ξ −1 (A ), то существует такое B ∈ A , что A = ξ −1 (B) и, так как Ac = ξ −1 (B c ) и B c ∈ A , то Ac ∈ ξ −1 (A ). Если (An )n∈N ⊂ ξ −1 (A ), то существует такая последовательность (Bn )n∈N ∞ ∞ S S элементов σ-алгебры A , что An = ξ −1 (Bn ), и, так как Bn ∈ A и An = ξ −1 ( ∞ S n=1 Bn ), то ∞ S n=1 n=1 n=1 An ∈ ξ −1 (A ).  Определение 2.2. Пусть (Ω, F ) и (X, A ) — измеримые пространства. Функция ξ : Ω 7→ X называется F |A -измеримой, если ξ −1 (A ) ⊂ F , т.е. {ω| ξ(ω) ∈ B} ∈ F ∀B ∈ A . Соотношение ξ : (Ω, F ) 7→ (X, A ) обозначает, что ξ — функция (отображение) с областью определения Ω и множеством значений в X и функция ξ является F |A -измеримой. В дальнейшем F |A обозначает класс всех F |A -измеримых функций. Соотношение ξ ∈ F |A обозначает, что ξ принадлежит классу F |A -измеримых отображений (т.е., ξ является F |A -измеримой функцией). Замечание. Если ξ : Ω 7→ X и A — σ-алгебра подмножеств пространства X, то очевидно, что ξ ∈ ξ −1 (A )|A . Теорема 2.2. Пусть ζ : Ω 7→ X, C — класс подмножеств пространства X. Тогда σ(ζ −1 (C )) = ζ −1 (σ(C )). 32 Доказательство. Так как C ⊂ σ(C ), то ζ −1 (C ) ⊂ ζ −1 (σ(C )). Согласно теореме 2.1 ζ −1 (σ(C )) является σ-алгеброй. Поэтому σ(ζ −1 (C )) ⊂ ζ −1 (σ(C )) по определению минимальной σ-алгебры. Заметим, что класс множеств K , {B| B ∈ σ(C ), ζ −1 (B) ∈ σ(ζ −1 (C ))} является σ-алгеброй. Действительно: 1) очевидно, что X ∈ K ; 2) если B ∈ K , то B c ∈ σ(C ), ζ −1 (B c ) = (ζ −1 (B))c ∈ σ(ζ −1 (C )), и, значит, B c ∈ K ; ∞ ∞ ∞ S S S Bn ∈ ζ −1 (Bn ) ∈ σ(ζ −1 (C )), 3) если (Bn )n∈N ⊂ K , то ζ −1 ( Bn ) = σ(C ) и, значит, ∞ S n=1 n=1 n=1 n=1 Bn ∈ K . Если B ∈ C , то ζ −1 (B) ∈ ζ −1 (C ) и, значит, ζ −1 (B) ∈ σ(ζ −1 (C )). Таким образом, C ⊂ K и, следовательно, K = σ(C ). Поэтому ζ −1 (B) ∈ σ(ζ −1 (C )) для любого B ∈ σ(C ) и, значит, ζ −1 (σ(C )) ⊂ σ(ζ −1 (C )).  Теорема 2.3. Пусть (Ω, F ) и (X, A ) — измеримые пространства, A = σ(C ). Функция ξ : Ω 7→ X является F |A -измеримой тогда и только тогда, когда ξ −1 (C ) ⊂ F . Доказательство. Так как ξ −1 (C ) ⊂ ξ −1 (A ), то включение ξ −1 (A ) ⊂ F влечет включение ξ −1 (C ) ⊂ F . Наоборот, если ξ −1 (C ) ⊂ F , то согласно теореме 2.2 ξ −1 (A ) = ξ −1 (σ(C )) = σ(ξ −1 (C )) ⊂ F .  Теорема 2.4 (об измеримости суперпозиции измеримых отображений). Пусть ξ : (Ω, F ) 7→ (X, A ), g : (X, A ) 7→ (Y, C ), h(ω) = g(ξ(ω)). Тогда h : (Ω, F ) 7→ (Y, C ). Доказательство. Так как g −1 (C ) ⊂ A и ξ −1 (A ) ⊂ F , то h−1 (C ) = ξ −1 (g −1 (C )) ⊂ F .  Теорема 2.5 (об измеримости прямого произведения измеримых отображений). Пусть (Ω, F ) и (Xj , Aj ) — измеримые пространства, ξj : Ω 7→ Xj , j = 1, ..., n. Определим измеримое пространство (X, A ) и отображение ξ : Ω 7→ X с помощью соотношений: X , X1 × ... × Xn , A , σ(A1 × ... × An ), ξ(ω) , (ξ1 (ω), ..., ξn (ω)). Для того чтобы ξ ∈ F |A , необходимо и достаточно, чтобы ξj ∈ F |Aj для каждого j = 1, ..., n. Доказательство. Необходимость. Если Bj ∈ Aj , то полагая Bi = Xi для i 6= j имеем {ξj ∈ Bj } = {(ξ1 , ..., ξn ) ∈ B1 × ... × Bn } ∈ F . Достаточность. Для любого множества B вида B = B1 × ... × Bn , где B1 ∈ A1 , ..., Bn ∈ An , справедливо соотношение n T −1 ξ (B) = {(ξ1 , ... , ξn ) ∈ B1 × ... × Bn } = ξj−1 (Bj ) ∈ F . j=1 33 Следовательно, ξ −1 (A1 × ... × An ) ⊂ F . По теореме 2.3 ξ −1 (A ) ⊂ F .  Определение 2.3. σ-алгеброй борелевских подмножеств метрического пространства X называется минимальная σ-алгебра B(X), порожденная классом O(X) открытых подмножеств пространства X. Элементы σ-алгебры B(X) называются борелевскими подмножествами пространства X. Теорема 2.6. B(X) = σ(S (X)), где S (X) — класс замкнутых подмножеств метрического пространства X. Доказательство. Если A ∈ O(X), то Ac ∈ S (X) ⊂ σ(S (X)) и поэтому A ∈ σ(S (X)). Таким образом, O(X) ⊂ σ(S (X)). Следовательно, σ(O(X)) ⊂ σ(S (X)). Если A ∈ S (X), то Ac ∈ O(X) ⊂ σ(O(X)) и поэтому A ∈ σ(O(X)). Таким образом, S (X) ⊂ σ(O(X)). Следовательно, σ(S (X)) ⊂ σ(O(X)) и, значит, σ(O(X)) = σ(S (X)).  Теорема 2.7. Пусть C1 , {[a, b[: a, b ∈ R` , a 6 b}; C2 , {] − ∞, a[: a ∈ R` }; C3 , {]a, b[: a, b ∈ R` , a 6 b}; C4 , {] − ∞, a] : a ∈ R` }; C5 , {]a, b] : a, b ∈ R` , a 6 b}; C6 , {]a, +∞[: a ∈ R` }; C7 , {[a, b] : a, b ∈ R` , a 6 b}; C8 , {[a, +∞[: a ∈ R` }. Тогда σ(C1 ) = σ(C2 ) = ... = σ(C8 ) = B(R` ). Доказательство. Вначале докажем, что σ(C3 ) = B(R` ). Будем использовать следующее обозначение: если x = (x1 , ... , x` ) ∈ R` и a ∈ R, то x + a , (x1 +a, ... S , x` +a). Заметим, что если A — непустое открытое подмножество R` , то A = Ax , где R`0 — множество `-мерных векторов с рациональными x∈A∩R`0 i h ρ(x,Ac ) ρ(x,Ac ) компонентами, Ax , x − √` , x + √` , ρ(x, B) , inf{ρ(x, y)|y ∈ B}. Действительно, если y ∈ Ax , то |x − y| < ρ(x, Ac ) и, значит, y ∈ A. Наоборот, если y ∈ A, то существует такой элемент x ∈ A ∩ Q` , что ρ(y, x) < √ 1 ρ(y, Ac ) и так как `+1 √ 1 ρ(y, Ac ) + ρ(x, Ac ), `+1 ρ(y, x) < √1` ρ(x, Ac ), ρ(y, Ac ) 6 ρ(y, x) + ρ(x, Ac ) < ρ(y, Ac ) < √ `+1 √ ρ(x, Ac ), ` то y ∈ Ax . Таким образом, каждое непустое открытое подмножество R` представимо в виде счетного объединения элементов класса C3 . Следовательно, O(R` ) ⊂ σ(C3 ). Включение C3 ⊂ O(R` ) очевидно. Следовательно, σ(C3 ) = σ(O(R` )) = B(R` ). 34 Теперь докажем равенство σ(C3 ) = σ(C7 ). Так как [a, b] = для любых a, b ∈ R` , a 6 b, то C7 ⊂ σ(C3 ). Так как ]a, b[= ∞  T n=1 ∞  S n=1 a − n1 , b + 1 n a + n1 , b − 1 n   для любых a, b ∈ R , a < b, то C3 ⊂ σ(C7 ). Следовательно, σ(C3 ) = σ(C7 ). Остальные утверждения доказываются аналогично.  Определение 2.4. Пусть X и Y — метрические пространства. Функция g : X 7→ Y называется борелевской, если она B(X)|B(Y )-измерима. ` Теорема 2.8. 1) Если X и Y — метрические пространства, то любая непрерывная функция g : X 7→ Y является борелевской. 2) σ(B(Rn ) × B(Rm )) = B(Rn+m ). Доказательство. 1) Непрерывность функции g : X 7→ Y эквивалентна включению g −1 (O(Y )) ⊂ O(X). Поэтому очевидно, что g −1 (O(Y )) ⊂ B(X). Согласно теореме 2.3 справедливо включение g −1 (B(Y )) ⊂ B(X). Утверждение 2) является следствием теоремы 1.5 из [7].  Определение 2.5. σ-алгеброй борелевских подмножеств пространства R , [−∞, +∞] будем называть B(R) , σ(B(R) ∪ {{−∞}, {+∞}}). ` σ-алгеброй борелевских подмножеств пространства R будем назы` вать B(R ) , σ(B(R)` ). Замечание. Если пространство R снабжено метрикой ρ(x, y) = |e−(x∨0) − e−(y∨0) | + |e(x∧0) − e(y∧0) | (e−∞ , 0), то открытые в R множества будут открытыми в R и B(R) = σ(O(R)). Определение 2.6. Если (Ω, F , P) — вероятностное пространство, (X, A ) — измеримое пространство и ξ ∈ F |A , то ξ называется случайным элементом. В частном случае, когда X = R` и A = B(R` ), случайный элемент ξ называется `-мерным случайным вектором. Если ` = 1, то ξ называется случайной величиной. Если X = R ` , A = B(R ` ) и P{|ξ| = ∞} = 0, то ξ называется расширенным `-мерным случайным вектором (расширенной случайной величиной при ` = 1). Теорема 2.9. Функция ξ : Ω 7→ R` является F |B(R` )-измеримой тогда и только тогда, когда выполнено любое из условий: 1) {ω|a 6 ξ(ω) < b} ∈ F ∀a, b ∈ R` , a < b; 2) {ω|ξ(ω) < a} ∈ F ∀a ∈ R` ; 3) {ω|a < ξ(ω) < b} ∈ F ∀a, b ∈ R` , a < b; 4) {ω|ξ(ω) 6 a} ∈ F ∀a ∈ R` ; 5) {ω|a < ξ(ω) 6 b} ∈ F ∀a, b ∈ R` , a < b; 6) {ω|ξ(ω) > a} ∈ F ∀a ∈ R` ; 7) {ω|a 6 ξ(ω) 6 b} ∈ F ∀a, b ∈ R` , a < b; 8) {ω|ξ(ω) > a} ∈ F ∀a ∈ R` . 35 Доказательство. Рассмотрим классы C1 , ..., C8 подмножеств пространства R , определенные в теореме 2.7. Заметим, что для k = 1, ..., 8 условие k) эквивалентно условию ξ −1 (Ck ) ⊂ F . Так как σ(Ck ) = B(R` ), то согласно теореме 2.3 включение ξ −1 (Ck ) ⊂ F влечет включение ξ −1 (B(R` )) ⊂ F .  Определение 2.7. Распределением случайного элемента ξ ∈ F |A называется функция множеств Qξ (B) , P{ξ ∈ B}, B ∈A. ` Теорема 2.10. Распределение Qξ случайного элемента ξ является вероятностной мерой на (X, A ). Доказательство. Очевидно, что Qξ (X) = 1. Если (Bn )n∈N ⊂ A , Bj ∩ Bi = ∅ при i 6= j, то ξ −1 (Bj ) ∩ ξ −1 (Bi ) = ∅ при i 6= j и поэтому ∞ ∞ ∞ ∞ S S P P Qξ ( Bn) = P( {ξ ∈ Bn }) = P{ξ ∈ Bn } = Qξ (Bn ).  n=1 n=1 n=1 n=1 Определение 2.8. Если (X, A , µ) — измеримое пространство с конечной мерой и ξ : (Ω, F ) 7→ (X, A ) — такой случайный элемент, что P{ξ ∈ B1 } = P{ξ ∈ B2 } для любых таких B1 , B2 ∈ A , что µ(B1 ) = µ(B2 ), то говорят, что ξ имеет равномерное на X распределение. µ(B) Очевидно, что в условиях определения 2.8 Qξ (B) = µ(X) для B ∈ A . Определение 2.9. Любая вероятностная мера Q на измеримом пространстве (X, A ) называется распределением на (X, A ). Замечание. Если Q — распределение на измеримом пространстве (X, A ) и ξ(x) = x, x ∈ X, то ξ — случайный элемент и Qξ (B) = Q{x : ξ(x) ∈ B} = Q(B) для любого B ∈ A . 2.2. Дискретные распределения Определение 2.10. Если ξ : (Ω, F ) 7→ (X, 2X ), где X — конечное или счетное множество, то ξ называется дискретным случайным элементом, а набор вероятностей pξ (x) , P{ξ = x}, x ∈ X, называется дискретным распределением ξ. Теорема 2.11. Пусть X — конечное или счетное множество. Набор вещественных чисел (p(x))x∈X является дискретным распределением некоторого дискретного случайного P элемента тогда и только тогда, когда p(x) > 0 для каждого x ∈ X и p(x) = 1. x∈X P Доказательство. Если ξ ∈ F |2X , то pξ (x) > 0 ∀x ∈ X и pξ (x) = x∈X S P( {ξ = x}) = P(Ω) = 1. Наоборот, пусть p(x) > 0 для каждого x ∈ X и x∈X 36 P p(x) = 1. Рассмотрим функцию множеств Q(A) = x∈X P x∈A p(x), A ⊂ X. Оче- видно, что (X, 2X , Q) — вероятностное пространство. Определим случайный элемент ξ(x) = x, x ∈ X. Тогда Q{ξ = x} = p(x).  Замечание. IA является случайной величиной на вероятностном пространстве (Ω, F , P) тогда и только тогда, когда A ∈ F . Если A ∈ F , то случайная величина IA принимает значения 1 и 0 с вероятностями P(A) и 1 − P(A) соответственно. Определение 2.11. Схемой Бернулли с параметрами n ∈ N и p ∈]0, 1[ называют эксперимент, состоящий в проведении серии n независимых повторений испытания, которое с вероятностью p завершается успехом и с вероятностью (1 − p) завершается неудачей. Определение 2.12. Биномиальным распределением с параметрами n ∈ N и p ∈]0, 1[ называется дискретное распределение Pn,p (k) , Cnk pk (1 − p)n−k , k = 0, 1, ..., n. Соотношение ξ ∈ b(n, p) обозначает, что случайная величина ξ имеет биномиальное распределение с параметрами n и p. Теорема 2.12. Число успехов в схеме Бернулли с параметрами n и p, имеет b(n, p)-распределение. Доказательство. Обозначим через ξ число успехов в серии n независимых повторений случайного испытания с вероятностью успеха p и вероятностью неудачи (1 − p). Очевидно, что ξ принимает значения 0, 1, ..., n. В качестве множества элементарных событий рассматриваемого стохастического эксперимента примем Ω = {(a1 , a2 , ..., an )| aj = 0 либо aj = 1, j = 1, ..., n}. Здесь aj = 0 если j-е испытание завершилось неудачей и aj = 1 если j-е испытание завершилось успехом. Ясно, что ξ, как функция элементарного исхода, имеет вид: ξ(a1 , ..., an ) = a1 + ... + an . Заметим, что P{(a1 , a2 , ..., an )} = pa1 +...+an q n−(a1 +...+an ) . Действительно, если в результате проведения стохастического эксперимента получено элементарное событие (a1 , ..., an ), то, следовательно, a1 + ... + an испытаний завершились успехом и n − (a1 + ... + an ) испытаний завершились неудачей. Вероятность совмещения событий, произошедших в данной серии n независимых повторений случайного испытания, равна произведению вероятностей этих событий. Очевидно, что в этом произведении вероятность успеха p встретится a1 + ... + an раз, а вероятность неудачи q встретится n − (a1 + ... + an ) раз. Распределение случайной величины ξ равно P{ξ = k} = P{(a1 , ..., an )| a1 + ... + an = k} = Cnk pk q n−k , k = 0, 1, ..., n.  Теорема 2.13. Если (n + 1)p — не целое число, то Pn,p (k) с изменением 37 k от 0 до n сначала возрастает, а затем убывает, достигая наибольшего значения при k = [(n + 1)p]. Таким образом, если (n + 1)p — не целое число, то наиболее вероятное число успехов в схеме Бернулли с параметрами n ∈ N и p ∈]0, 1[ равно [(n + 1)p]. Если (n + 1)p — целое число, то Pn,p ((n + 1)p − 1) = Pn,p ((n + 1)p), при 0 6 k 6 (n + 1)p − 1 вероятность Pn,p (k) возрастает, а при (n + 1)p 6 k 6 n убывает. Следовательно, если (n + 1)p является целым числом, то наиболее вероятное число успехов имеет два значения: (n + 1)p − 1 и (n + 1)p. Доказательство. Все утверждения данной теоремы следуют из легко проP (k) веряемого соотношения Pn,pn,p(k−1) = 1 + (n+1)p−k  k(1−p) . Теорема 2.14 (Пуассона). Рассмотрим такую последовательность биномиальных распределений (Pn,pn (·))n∈N , что pn = nλ > 0, где λ > 0. Тогда для каждого k ∈ {0, 1, ...}  −λ k n(n−1)·...·(n−k+1) λk λ − nλ (1 − nλ )−k = λk! e−λ . lim Pn,pn (k) = lim k! (1 − n ) nk n→∞ n→∞ Определение 2.13. Распределением Пуассона с параметром λ > 0 наk −λ зывается дискретное распределение pπ (k) , λ k!e , k = 0, 1, ... . Соотношение ξ ∈ π(λ) обозначает, что случайная величина ξ имеет пуассоновское распределение с параметром λ. Определение 2.14. Случайный вектор (ξ1 , ..., ξ` ) имеет полиномиальное распределение с параметрами (n, p1 , ..., p` ), где n ∈ N, pj ∈]0, 1[, p1 + ... + p` = 1, если P{ξ1 = k1 , ..., ξ` = k` } = kj = 0, 1, ..., n, n! k1 !...k` ! pk11 · ... · pk` ` , k1 + ... + k` = n. Теорема 2.15. Предположим, что в результате проведения некоторого испытания происходит одно и только одно событие из событий A1 , ..., A` . Пусть pj — вероятность события Aj , j = 1, ..., `. Рассмотрим стохастический эксперимент, состоящий в проведении серии n независимых повторений данного испытания. Для каждого j ∈ {1, ..., `} пусть ξj — число появлений события Aj . Тогда (ξ1 , ..., ξ` ) имеет полиномиальное распределение с параметрами (n, p1 , ..., p` ). Доказательство. В качестве пространства элементарных событий данного стохастического эксперимента можно взять Ω = {(a1 , ..., an )| aj ∈ {A1 , ..., A` }, j = 1, ..., n}, 38 где aj обозначает событие, произошедшее в j-м испытании. Заметим, что P{(a1 , ..., an )} = pk11 · ... · pk` ` , где kj — число повторений события Aj в векторе (a1 , ..., an ). Поэтому ясно, что P{ξ1 = k1 , ..., ξ` = k` } = = P{(a1 , ..., an )| в векторе (a1 , ..., an ) k1 раз повторяется A1 , ... ..., k` раз повторяется A` } = = k1 n! k1 !...k` ! p1 · ... · pk` ` , kj = 0, 1, ..., n, k1 + ... + k` = n.  Задачи 1. Случайное испытание с вероятностью p ∈]0, 1[ завершается успехом и с вероятностью (1 − p) неудачей. Стохастический эксперимент состоит в проведении серии независимых повторений данного испытания до первого появления успеха. Пусть ξ — количество неудач. Найдите распределение случайной величины ξ. Решение. В качестве пространства элементарных событий данного стохастического эксперимента можно взять множество Ω = {0, 1, ...} считая, что элементарное событие ω ∈ Ω есть количество неудач до первого успеха. Заметим, что вероятность элементарного события равна P{ω} = (1 − p)ω p и ξ(ω) = ω. Следовательно, P{ξ = n} = (1 − p)n p для n = 0, 1, ... (геометрическое распределение). 2.3. Функции и плотности распределений Определение 2.15. Функцией распределения случайной величины ξ называется Fξ (x) , P{ξ 6 x}, x ∈ R. Теорема 2.16. Функция распределения случайной величины обладает следующими свойствами: 1) P{a < ξ 6 b} = Fξ (b) − Fξ (a) для любых a, b ∈ R, a < b, и, следовательно, Fξ — возрастающая функция; 2) lim Fξ (x) = 1; lim Fξ (x) = 0; 3) Fξ непрерывна справа; x→+∞ x→−∞ 4) P{ξ < x} = Fξ (x−); 5) P{ξ = x} = Fξ (x) − Fξ (x−). Доказательство. 1) Если a < b, то {ξ 6 a} ⊂ {ξ 6 b} и {a < ξ 6 b} = = {ξ 6 b} \ {ξ 6 a}. Согласно свойствам вероятности P{a < ξ 6 b} = P{ξ 6 b} − P{ξ 6 a} > 0. 2) Достаточно показать, что lim Fξ (−n) = 0, lim Fξ (n) = 1. n→∞ n→∞ Так как lim {ξ 6 −n} = {ξ = −∞} и lim {ξ 6 n} = {ξ < ∞}, то применяя n→∞ n→∞ теорему о непрерывности вероятности получаем, что lim Fξ (−n) = P( lim {ξ 6 −n}) = P{ξ = −∞} = 0 n→∞ n→∞ lim Fξ (n) = P( lim {ξ 6 n}) = P{ξ < ∞} = 1. n→∞ n→∞ 39 и 3) Если x < xn+1 < xn , lim xn = x, то lim {ξ 6 xn } = {ξ 6 x} и поэтому n→∞ n→∞ lim Fξ (xn ) = lim P{ξ 6 xn } = P{ξ 6 x} = Fξ (x). n→∞ n→∞ 4) Если xn < xn+1 < x, lim xn = x, то lim {ξ 6 xn } = {ξ < x} и поэтому n→∞ n→∞ P{ξ < x} = lim P{ξ 6 xn } = lim Fξ (xn ) = Fξ (x−). n→∞ n→∞ 5) P{ξ = x} = P({ξ 6 x} \ {ξ < x}) = Fξ (x) − Fξ (x−).  Замечание. Если ξ — дискретная случайная величина и X — конечное или счетное множество значений ξ (X ⊂ R), то функция распределения P P Fξ (x) = P{ξ 6 x} = P{ξ 6 x, ξ = y} = P{ξ = y} y∈X y∈X, y6x является кусочно-постоянной возрастающей непрерывной справа функцией со скачками величины P{ξ = x} в точках x ∈ X. Определение 2.16. Функция F : R 7→ R называется функцией распределения, если F — возрастающая непрерывная справа функция и lim F (x) = 0, lim F (x) = 1. x→−∞ x→+∞ Теорема 2.17 (о взаимно однозначном соответствии между распределениями и функциями распределений на R). Если Q — распределение на (R, B(R)), то F (x) , Q(] − ∞, x]), x ∈ R, является функцией распределения. Если F — функция распределения, то существует такое единственное распределение Q на (R, B(R)), что Q(] − ∞, x]) = F (x) для любого x ∈ R. Доказательство. 1. Если a < b, то в силу монотонности меры F (a) = Q(] − ∞, a]) 6 Q(] − ∞, b]) = F (b). Учитывая монотонность функции F и применяя теорему 1.9, имеем: lim F (y) = lim F (x + n1 ) = lim Q(] − ∞, x + n1 ]) = Q(] − ∞, x]) = F (x); n→∞ y↓x n→∞ lim F (x) = lim F (n) = lim Q(] − ∞, n]) = Q(R) = 1; x→∞ n→∞ n→∞ lim F (x) = lim F (−n) = lim Q(] − ∞, −n]) = Q(∅) = 0. x→−∞ n→∞ n→∞ 2. В силу теоремы о продолжении меры существует такая единственная мера Q (мера Лебега–Стилтьеса [7], индуцированная функцией F ) на (R, B(R)), что Q(]a, b]) = F (b) − F (a) ∀a < b. Сверх того, Q(] − ∞, x]) = lim Q(] − n, x]) = F (x) для любого x ∈ R и Q(R) = lim Q(] − ∞, x]) = 1. x→∞ n→∞  Замечание. Пусть F : R 7→ R — функция распределения. Определим: Ω = R, F = B(R), ξ(ω) = ω, P — распределение на (R, B(R)), индуцированное функцией F . Тогда (Ω, F , P) — вероятностное пространство, ξ — случайная величина и Fξ (x) = P{ω : ξ(ω) 6 x} = P(] − ∞, x]) = F (x). 40 Определение 2.17. Пусть ξ — случайная величина. Если существует такая борелевская функция fξ : R 7→ R, что R P{ξ ∈ B} = fξ (x)dx ∀B ∈ B(R), B то функция fξ называется плотностью распределения случайной величины ξ. Теорема 2.18. Плотность распределения случайной величины ξ обла+∞ R fξ (x)dx = 1; дает следующими свойствами: 1) fξ > 0 почти всюду; 2) −∞ 3) fξ является плотностью распределения случайной величины ξ тогда Rx и только тогда, когда Fξ (x) = fξ (u)du для любого x ∈ R; d dx Fξ (x) 4) fξ (x) = сти функции fξ . −∞ в каждой точке x, являющейся точкой непрерывно- Утверждения теоремы 2.18 будут доказаны в теореме 2.21. Определение 2.18. Функция f : R 7→ R называется плотностью рас+∞ R пределения, если f > 0 п.в. и f (x)dx = 1. −∞ Замечание. Пусть f – плотность распределения. Определим: Ω = R, R F = B(R), ξ(ω) = ω, P(A) = f (x)dx для A ∈ F. A Тогда (Ω, F , P) — вероятностное пространство, ξ — случайная величина, R P{ω : ξ(ω) ∈ A} = P(A) = f (x)dx для любого A ∈ B(R) и поэтому сущеA ствует плотность распределения случайной величины ξ и fξ = f . Определение 2.19. Равномерным распределением на интервале [a, b], 1 (x) a < b, называется распределение с плотностью f (x) = b−a I[a,b] . Соотношение ξ ∈ U [a, b] обозначает, что случайная величина ξ имеет равномерное распределение на интервале [a, b]. Определение 2.20. Нормальным (гауссовским) распределением с параметрами a ∈ R и σ 2 , σ > 0, называется распределение с плотностью f (x) = √1 2πσ exp { − (x−a)2 2σ 2 }. Соотношение ξ ∈ N(a, σ 2 ) обозначает, что случайная величина ξ имеет нормальное распределение с параметрами a и σ 2 . 41 f (x) 1.0 fN (0, 0.5) (x) 0.5 −2.0 −1.5 −1.0 −0.5 fN (0.4, 1) (x) 0.5 1.0 1.5 x Рис. 2.1. Плотность гауссовского распределения. Определение 2.21. Показательным (экспоненциальным) распределением с параметром λ > 0 называется распределение с плотностью (x) f (x) = λe−λx I[0,∞[ . Соотношение ξ ∈ E(λ) обозначает, что случайная величина ξ имеет показательное распределение с параметром λ. Определение 2.22. Гамма-распределением с параметрами α > 0 и β > 0 называется распределение с плотностью f (x) = β α α−1 −βx (x) e I]0,∞[ . Γ(α) x Соотношение ξ ∈ Γ(α, β) обозначает, что случайная величина ξ имеет гамма-распределение с параметрами α и β. Очевидно, что E(λ) ∼ Γ(1, λ). Определение 2.23. Распределением Коши с параметрами a ∈ R и λ > 0 λ называется распределение с плотностью f (x) = π1 λ2 +(x−a) 2. Задачи 1. Найдите множество всех возможных значений параметров a и λ функции распределения (x) F (x) = (a − λe−x ) I[1,∞[ . Решение. Согласно определению функции распределения должны быть выполнены соотношения: lim F (x) = 1 и 0 6 F (x) 6 1. Из первого следует, что a = 1. Тогда из второго x→∞ (x) следует, что λ ∈ [0, e]. Функция F (x) = (1 − λe−x ) I[1,∞[ с любым λ ∈ [0, e] удовлетворяет определению функции распределения. 42 2. Пусть ξ — координата точки, брошенной «наудачу» на интервал [a, b]. Докажите, что ξ ∈ U [a, b]. Решение. Вероятностной моделью данного стохастического эксперимента может служить вероятностное пространство (Ω, F , P), где Ω = [a, b], F = B([a, b]), P(A) = µ(A) , µ — мера µ(Ω) Лебега. Пусть ξ — координата полученной точки, т.е. ξ(ω) = ω. Тогда {ξ 6 x} = ∅ при x < a, {ξ 6 x} = [a, x] при a 6 x 6 b, {ξ 6 x} = Ω при x > b. Поэтому Fξ (x) = 0 для x < a, Fξ (x) = x−a для x ∈ [a, b], Fξ (x) = 1 для x > b. b−a 3. Стохастический эксперимент состоит в бросании «наудачу» точки на окружность {(x, y)| (x−a)2 +(y−λ)2 = λ2 }, a ∈ R, λ > 0. Пусть ξ — абсцисса точки пересечения с осью Ox касательной к окружности проведенной через эту точку. Докажите, что ξ имеет распределение Коши с параметрами a и λ. Решение. В качестве вероятностной модели данного стохастического эксперимента можно принять вероятностное пространство (Ω, F , P), (a, λ) x a (a, λ) a x Рис. 2.1. где Ω = {(x, y)| (x − a)2 + (y − λ)2 = λ2 }, F — минимальная σ-алгебра, содержащая все дуги окружности Ω, P — такая вероятностная мера на F , что для любой дуги A окружности Ω вероятность попадания в A брошенной «наудачу» точки равна P(A) = µ(A) , где µ(A) 2π — радианная мера дуги A. Событие {ξ 6 x} представляет собой дугу на окружности Ω. На рисунке 1.3 она выделена жирной линией. Следовательно, если x < a, то F ξ (x) = P{ξ 6 x} = π1 arcctg a−x , а если a < x, то Fξ (x) = P{ξ 6 x} = 1 − π1 arcctg x−a . Таким образом, λ λ λ 1 fξ (x) = π λ2 +(x−a)2 . 4. Пусть ξ ∈ E(λ). Найдите распределение случайной величины η = [ξ], где [x] — целая часть числа x. Решение. Заметим, что η — дискретная случайная величина, принимающая значения во множестве {0, 1, ...}. Для k = 0, 1, ... имеем P{η = k} = P{k 6 ξ < (k + 1)} = F ξ (k + 1) − Fξ (k) = (1 − e−λ )e−λk . Следовательно, η имеет геометрическое распределение с параметром p = 1 − e−λ . . Докажите, что η ∈ N(0, 1). 5. Пусть ξ ∈ N(a, σ 2 ), η = ξ−a σ Решение. Функция распределения случайной величины η равна F η (x) = P{ ξ−a 6 x} = σ Fξ (a + σx). Так как Fη дифференцируема, то существует плотность распределения fη (x) = 2 σfξ (a + σx) = √12π e−x /2 . 6. Пусть ξ ∈ N(0, 1), η = ξ 2 . Докажите, что η ∈ Γ( 21 , 21 ). √ Решение. Так как η > 0, то Fη (x) = 0 для x < 0. Для x > 0 имеем Fη (x) = P{|ξ| 6 x} = √ q √ Rx R x −u2 /2 2 fξ (u)du = e du. Так как Fη (x) почти всюду дифференцируема, то существует π √ − x плотность распределения fη (x) = η ∈ Γ( 12 , 21 ). √ 1√ e−x/2 2π x 43 = (1/2)1/2 1 −1 −x/2 , x2 e Γ(1/2) x > 0. Следовательно, 2.4. Многомерные функции и плотности распределений Определение 2.24. Функцией распределения случайного вектора ξ = (ξ1 , ..., ξ` ) и совместной функцией распределения случайных величин ξ1 , ..., ξ` называется функция аргумента x = (x1 , ..., x` ) ∈ R` Fξ (x) , Fξ1 ,...,ξ` (x1 , ..., x` ) , P{ξ 6 x} = P{ξ1 6 x1 , ..., ξ` 6 x` }, Введем обозначение: ∆j]aj ,bj ] F (x1 , ..., xj−1 , ·, xj+1 , ..., x` ) , , F (x1 , ..., xj−1 , bj , xj+1 , ..., x` ) − F (x1 , ..., xj−1 , aj , xj+1 , ..., x` ). Теорема 2.19. Функция распределения случайного вектора обладает следующими свойствами: 1) Fξ1 ,...,ξ` (x1 , ..., x` ) является возрастаюшей функцией по каждому аргументу; 2) lim Fξ1 ,...,ξ` (y1 , ..., y` ) = Fξ1 ,...,ξ` (x1 , ..., x` ); y1 ↓x1 ,...,y` ↓x` 3) lim Fξ1 ,...,ξ` (x1 , ..., x` ) = 0 для любого j ∈ {1, ..., `}; 4) xj →−∞ lim x1 →+∞,...,x` →+∞ Fξ1 ,...,ξ` (x1 , ..., x` ) = 1; 5) Fξ1 ,...,ξk (x1 , ..., xk ) = lim Fξ1 ,...,ξk ,ξk+1 ,...,ξ` (x1 , ..., xk , xk+1 , ..., x` ); xk+1 →+∞,...,x` →+∞ 6) для любых (a1 , ..., a` ) < (b1 , ..., b` ) ∆1]a1 ,b1 ] ...∆`]a` ,b` ] Fξ1 ,...,ξ` (·) = P{a1 < ξ1 6 b1 , ..., a` < ξ` 6 b` } > 0. Доказательство. Доказательства утверждений 1) — 5) аналогичны доказательствам аналогичных свойств функции распределения случайной величины. Докажем утверждение 6). Если A — некоторое событие, η — случайная величина, g(t) , P{A, η 6 t}, то P{A, s < η 6 t} = P{A, η 6 t} − P{A, η 6 s} = ∆]s,t] g(·). Применяя последовательно ` раз данное соотношение, имеем: P{ξ1 6 b1 , ..., ξ`−1 6 b`−1 , a` < ξ` 6 b` } = ∆`]a` ,b` ] F (b1 , ..., b`−1 , ·); P{ξ1 6 b1 , ..., ξ`−2 6 b`−2 , a`−1 < ξ`−1 6 b`−1 , a` < ξ` 6 b` } = ` = ∆`−1 ]a`−1 ,b`−1 ] ∆]a` ,b` ] F (b1 , ..., b`−2 , ·, ·) и так далее. Последнее `-е равенство будет совпадать с равенством из утверждения 6).  Определение 2.25. Функция F : R` 7→ R называется `-мерной функцией распределения, если F удовлетворяет условиям: 1) ∆1]a1 ,b1 ] , ..., ∆`]a` ,b` ] F > 0 для любых aj < bj , j = 1, ..., `; 2) lim F (y1 , ..., y` ) = F (x1 , ..., x` ); y1 ↓x1 ,...,y` ↓x` 3) lim F (x1 , ..., x` ) = 0 для любого j ∈ {1, ..., `}; xj →−∞ 44 4) lim x1 →+∞,...,x` →+∞ F (x1 , ..., x` ) = 1. Теорема 2.20 (о взаимно однозначном соответствии между распределениями и функциями распределений на R` ). Если Q — распределение на (R` , B(R` )), то F (x) , Q(] − ∞, x]), x ∈ R` , является `-мерной функцией распределения. Если F : R` 7→ R — `-мерная функция распределения, то существует такое единственное распределение Q (мера Лебега–Стилтьеса, индуцированная функцией аддитивного типа F [4]) на (R` , B(R` )), что Q(] − ∞, x]) = F (x) для любого x ∈ R` . Доказательство данной теоремы аналогично доказательству теоремы 2.17 о взаимно однозначном соответствии между распределениями и функциями распределений на R.  Замечание. Пусть F — `-мерная функция распределения. Определим: Ω = R` , F = B(R` ), ξ(ω) = ω, P — распределение на (R` , B(R` )), индуцированное функцией аддитивного типа F . Тогда (Ω, F , P) — вероятностное пространство, ξ — `-мерный случайный вектор и Fξ (x) = P{ω : ξ(ω) 6 x} = P(] − ∞, x]) = F (x). Определение 2.26. Пусть ξ = (ξ1 , ..., ξ` ) — случайный вектор. Если существует такая борелевская функция fξ : R` 7→ R, что Z P{ξ ∈ B} = fξ (x)dx ∀B ∈ B(R` ), (2.1) B то fξ называется плотностью распределения случайного вектора ξ или совместной плотностью распределения случайных величин ξ 1 , ..., ξ` . Теорема 2.21. Плотность распределения `-мерного случайного вектора обладает следущими свойствами: R 1) fξ > 0 почти всюду; 2) fξ (x)dx = 1; R` 3) fξ является плотностью распределения ξ тогда и только тогда, Z когда Fξ (x) = fξ (u)du ∀x ∈ R` ; (2.2) ]−∞,x] 4) fξ (x1 , ..., x` ) = ∂x∂ 1 ... ∂x∂ ` Fξ (x1 , ..., x` ) в каждой точке (x1 , ..., x` ), являющейся точкой непрерывности функции fξ ; 5) fξ1 ,...,ξk (x1 , ..., xk ) = +∞ +∞ R R ... fξ1 ,...,ξk ,ξk+1 ,...,ξ` (x1 , ..., xk , xk+1 , ..., x` )dxk+1 ...dx` п.в. −∞ −∞ 45 Доказательство. 1) Из (2.1) следует, что R f (x)dx > 0 для каждого B B ∈ B(R` ). Поэтому мера Лебега множества {x| f (x) < 0} равна нулю. Утверждение 2) очевидно. 3) Из (2.1) соотношение (2.2) следует при B =] − ∞, x]. Предположим, что выполнено (2.2). Рассмотрим класс множеств R K = {B|B ∈ B(R` ), Qξ (B) = fξ (x)dx} B и заметим, что: (i) R ∈ K ; (ii) если C ⊂ B, C ∈ K , B ∈ K , то R R R Qξ (B \ C) = Qξ (B) − Qξ (C) = fξ (x)dx − fξ (x)dx = fξ (x)dx ` B C B\C ∞ S и поэтому B \ C ∈ K ; (iii) если Bn ∈ K , Bn ⊂ Bn+1 , n ∈ N, B = Bn , то n=1 R R Qξ (B) = lim Qξ (Bn ) = lim fξ (x)dx = fξ (x)dx и поэтому B ∈ K . n→∞ n→∞ B n B Следовательно, K — d-класс. Согласно условию (2.2) K содержит πкласс {]−∞, x] : x ∈ R` }. Следовательно, K = B(R` ) и, значит, справедливо (2.1). Утверждение 4) следует из 3) и свойств интеграла Лебега. 5) Для любого B ∈ B(Rr ) P{(ξR1 , ..., ξr ) ∈ B} = P{(ξ1 , ..., ξr , ξr+1 , ..., ξ` ) ∈ B ×R`−r } = fξ1 ,...,ξ` (x1 , ..., x` )dx1 ...dx` = = `−r B×Rh i R R = fξ1 ,...,ξr ,ξr+1 ,...,ξ` (x1 , ..., xr , xr+1 , ..., x` )dxr+1 ...dx` dx1 ...dxr .  B R`−r Определение 2.27. Функция f : R` 7→ R называется `-мерной плотR ностью распределения, если f > 0 почти всюду и f (x)dx = 1. R` Замечание. Пусть f — `-мерная плотность распределения. Определим R Ω = R` , F = B(R` ), ξ(ω) = ω, P(A) = f (x)dx, A ∈ F . Тогда (Ω, F , P) A — вероятностное пространство, ξ — `-мерный случайный вектор, P{ξ ∈ A} = R P(A) = f (x)dx ∀A ∈ B(R` ) и поэтому существует плотность распределения A случайного вектора ξ и fξ = f . Задачи 1. Известно, что случайный вектор (ξ, η) имеет плотность распределения f (ξ,η) (x, y) = λ e , 0 < y < x. Найдите распределение случайной величины ζ = ξ + η. Решение. Заметим, что ζ принимает положительные значения. Поэтому F ζ (z) = 0 для z < 0. Для z > 0 R Fζ (z) = P{(ξ, η) ∈ {(x, y) : x + y 6 z}} = f(ξ,η) (x, y)dxdy = 2 −λx {(x,y):x+y6z} 46 = z/2 R  z−y R 2 −λx λe y  dx dy = 1 + e−λz − 2e−λz/2 . Следовательно, ζ имеет плотность распределения fζ (z) = λ[e−λz/2 − e−λz ], z > 0. плотности распределения. Докажите, что R 2. Пусть f1 и f2 — `-мерные R |f1 (x) − f2 (x)|dx = 2 (f1 (x) − f2 (x))dx. R` {f1 >f2 } Решение. Заметим, что R R R 0 = (f1 (x) − f2 (x))dx = (f1 (x) − f2 (x))+ dx − (f1 (x) − f2 (x))− dx R` R` R` R R и поэтому (f1 (x) − f2 (x))+ dx = (f1 (x) − f2 (x))− dx. Следовательно, R R` R` |f1 (x) − f2 (x)|dx = R R R` + R (f1 (x) − f2 (x))+ dx + (f1 (x) − f2 (x))− dx = = 2 (f1 (x) − f2 (x)) dx = 2 R` R` R R` {f1 >f2 } (f1 (x) − f2 (x))dx. 2.5. Независимость классов событий и случайных величин Определение 2.28. 1. Классы событий C1 , C2 , ..., C` называются независимыми, если P(A1 ∩ A2 ∩ ... ∩ A` ) = P(A1 ) · P(A2 ) · ... · P(A` ) (2.3) для любых A1 ∈ C1 , A2 ∈ C2 , ..., A` ∈ C` . 2. Классы событий C1 , C2 , ..., C` называются независимыми в совокупности, если для любых A1 ∈ C1 , A2 ∈ C2 , ..., A` ∈ C` события семейства {A1 , A2 , ..., A` } независимы в совокупности. Замечание. Если классы событий C1 , C2 , ..., C` независимы и каждый из них содержит в качестве элемента пространство Ω, то C1 , C2 , ..., C` независимы в совокупности. Теорема 2.22. Пусть P1 , P2 , ..., P` — независимые в совокупности πклассы событий. Тогда минимальные σ-алгебры σ(P1 ), σ(P2 ), ..., σ(P` ) независимы. Доказательство. Не умаляя общности будем считать, что каждый из π-классов P1 , P2 , ..., P` содержит Ω. Рассмотрим класс D1 таких событий A1 , что равенство (2.3) справедливо для любых A2 ∈ P2 , ..., A` ∈ P` . Очевидно, что P1 ⊂ D1 . Заметим, что: 1) Ω ∈ D1 ; 2) если A01 , A001 ∈ D1 и A01 ⊂ A001 , то P((A001 \ A01 ) ∩ A2 ∩ ... ∩ A` ) = P(A001 ∩ A2 ∩ ... ∩ A` ) − P(A01 ∩ A2 ∩ ... ∩ A` ) = P(A001 \ A01 )P(A2 ) · ... · P(A` ) и, (n) значит, A001 \ A01 ∈ D1 ; 3) если (A1 )n∈N — возрастающая последовательность (n) (n) элементов класса D1 , то P( lim A1 ∩ A2 ∩ ... ∩ A` ) = lim P(A1 ∩ A2 ∩ ... ∩ A` ) = (n) P( lim A1 )P (A2 ) n→∞ n→∞ · .. · P (A` ) и, значит, 47 (n) lim A1 n→∞ n→∞ ∈ D1 . Таким образом, D1 является d-классом. Поэтому D1 ⊃ d(P1 ) = σ(P1 ). Следовательно, (2.3) верно для любых A1 ∈ σ(P1 ), A2 ∈ P2 , ..., A` ∈ P` . Пусть D2 — класс событий A2 таких, что равенство (2.3) справедливо для любых A1 ∈ σ(P1 ), A3 ∈ P3 , ..., A` ∈ P` . Тогда D2 — d-класс, D2 содержит P2 и поэтому D2 ⊃ σ(P2 ). Значит, (2.3) верно для любых A1 ∈ σ(P1 ), A2 ∈ σ(P2 ), A3 ∈ P3 , ..., A` ∈ P` . Продолжая эти рассуждения получаем, что (2.3) справедливо для любых A1 ∈ σ(P1 ), ..., A` ∈ σ(P` ).  Определение 2.29. Предположим, что (X1 , A1 ), ..., (X` , A` ) — измеримые пространства и ξ1 ∈ F |A1 , ..., ξ` ∈ F |A` . Случайные элементы ξ1 , ..., ξ` , называются независимыми, если независимы σ-алгебры ξ1−1 (A1 ), ..., ξ`−1 (A` ), т.е. если P{ξ1 ∈ B1 , ..., ξ` ∈ B` } = P{ξ1 ∈ B1 } · ... · P{ξ` ∈ B` } (2.4) для любых B1 ∈ A1 , ..., B` ∈ A` . Определение 2.30. Случайный элемент ξ : (Ω, F ) 7→ (X, A ) и σ-алгебра событий C называются независимыми, если независимы ξ −1 (A ) и C , т.е. если P{ξ ∈ B, A} = P{ξ ∈ B}P(A) для любых B ∈ A и A ∈ C . Теорема 2.23. 1) Пусть ξj — дискретный случайный элемент, Xj — конечное или счетное множество значений ξj , j = 1, ..., `. Для того чтобы ξ1 , ..., ξ` были независимы, необходимо и достаточно, чтобы P{ξ1 = x1 , ..., ξ` = x` } = P{ξ1 = x1 } · ... · P{ξ` = x` } (2.5) для любых x1 ∈ X1 , ..., x` ∈ X` . 2) Пусть ξ1 , ..., ξ` — независимые случайные элементы и {η1 , ..., ηk } ⊂ {ξ1 , ..., ξ` }. Тогда η1 , ..., ηk — независимые случайные элементы. 3) Пусть ξj : (Ω, F ) 7→ (Xj , Aj ), gj : (Xj , Aj ) 7→ (Yj , Cj ), j = 1, ..., `; ξ1 , ..., ξ` — независимые случайные элементы. Тогда g1 (ξ1 ), ..., g` (ξ` ) — независимые случайные элементы. 4) Пусть {ξj,r : (Ω, F ) 7→ (Xj,r , Aj,r ), r = 1, ..., mj , j = 1, ..., `} — семейство независимых случайных элементов, ξj , (ξj,1 , ..., ξj,mj ), j = 1, ..., `. Тогда случайные элементы ξ1 , ..., ξ` независимы. Доказательство. 1) Если ξ1 , ..., ξ` независимы, т.е. (2.4) выполнено для любых Bj ⊂ Xj , j = 1, ..., `, то полагая Bj = {xj } получаем (2.5). Наоборот, если выполнено условие (2.5), то для любых B1 ⊂ X1 , ..., B` ⊂ X` , P P P{ξ1 = x1 , ..., ξ` = x` } = ... P{ξ1 ∈ B1 , ..., ξ` ∈ B` } = x` ∈B` x1 ∈B1 P P = ... P{ξ1 = x1 } · ... · P{ξ` = x` } = P{ξ1 ∈ B1 } · ... · P{ξ` ∈ B` }. x1 ∈B1 x` ∈B` 48 3) Для любых B1 ∈ A1 , ..., B` ∈ A` P{g1 (ξ1 ) ∈ B1 , ..., g` (ξ` ) ∈ B` } = P{ξ1 ∈ g1−1 (B1 ), ..., ξ` ∈ g`−1 (B` )} = = P{ξ1 ∈ g1−1 (B1 )} · ... · P{ξ` ∈ g`−1 (B` )} = P{g1 (ξ1 ) ∈ B1 } · ... · P{g` (ξ` ) ∈ B` }. 4) Для любых Bj,r ∈ Aj,r , r = 1, ..., mj , j = 1, ..., `, T̀ T̀ m Tj P( {ξj ∈ Bj,1 × ... × Bj,mj }) = P( {ξj,r ∈ Bj,r }) = j=1 r=1 j=1 = mj Q̀ Q j=1 r=1 P{ξj,r ∈ Bj,r } = Q̀ j=1 P{ξj ∈ Bj,1 × ... × Bj,mj }. Следовательно, {ξj−1 (Aj,1 × ... × Aj,mj ), j = 1, ..., `} — семейство независимых в совокупности π-классов случайных событий. Так как σ(ξj−1 (Aj,1×...×Aj,mj )) = ξj−1 (σ(Aj,1×...×Aj,mj )), то согласно теореме 2.22 {ξj−1 (σ(Aj,1 ×...×Aj,mj )), j = 1, ..., `} — семейство независимых σ-алгебр случайных событий. Следовательно, случайные элементы ξ1 , ..., ξ` независимы.  Теорема 2.24. Пусть ξj — mj -мерный случайный вектор, j = 1, ..., `. Случайные векторы ξ1 , ..., ξ` независимы тогда и только тогда, когда Fξ1 ,...,ξ` (x1 , ..., x` ) = Fξ1 (x1 ) · ... · Fξ` (x` ) (2.6) для всех xj ∈ Rmj , j = 1, ..., `. Доказательство. Соотношение (2.6) эквивалентно соотношению: P{ξ1 ∈ B1 , ..., ξ` ∈ B` } = P{ξ1 ∈ B1 } · ... · P{ξ` ∈ B` } для любых Bj ∈ Cj , {] − ∞, x]| x ∈ Rmj }, j = 1, ..., `. Таким образом соотношение (2.6) эквивалентно независимости π-классов событий ξ1−1 (C1 ), ..., ξ`−1 (C` ). Применяя теорему 2.22 получаем, что соотношение (2.6) эквивалентно независимости σ-алгебр σ(ξ1−1 (C1 )), ..., σ(ξ`−1 (C` )). Так как σ(ξj−1 (Cj )) = ξj−1 (σ(Cj )) = ξj−1 (B(Rmj )), j = 1, ..., `, то, следовательно, соотношение (2.6) эквивалентно независимости случайных векторов ξ1 , ..., ξ` .  Теорема 2.25. Пусть ξj — mj -мерный случайный вектор, j = 1, ..., `. Если случайные векторы ξ1 , ..., ξ` имеют совместную плотность распределения fξ1 ,...,ξ` (x1 , ..., x` ), то они независимы тогда и только тогда, когда fξ1 ,...,ξ` (x1 , ..., x` ) = fξ1 (x1 ) · ... · fξ` (x` ) (2.7) для почти всех xj ∈ Rmj , j = 1, ..., `. 49 Доказательство. В силу теоремы 2.24 и свойств плотности распределения, независимость ξ1 , ..., ξ` эквивалентна соотношению: Z fξ1 ,...,ξ` (u)du = Zx1 −∞ ]−∞,(x1 ,...,x` )] Zx` fξ1 (u1 )du1 · ... · fξ` (u` )du` (2.8) −∞ для любых x1 ∈ Rm1 , ..., x` ∈ Rm` . Если выполнено (2.7), то выполнено (2.8) и, следовательно, ξ1 , ..., ξ` независимы. Наоборот, если случайные векторы ξ1 , ..., ξ` независимы, то выполнено соотношение (2.8) и поэтому достаточо показать, что из (2.8) следует (2.7). А для этого достаточно показать, что Z Z fξ1 ,...,ξ` (u)du = fξ1 (u1 ) · ... · fξ` (u` )du1 ...du` (2.9) B B для любого B ∈ B(Rm ), где m = m1 + ... + m` . Класс D множеств B ∈ B(Rm ) для которых справедливо равенство (2.9) является d-классом. Из (2.8) следует, что D содержит π-класс P , {] − ∞, x1 ] × ...×] − ∞, xn ] | x1 ∈ Rm1 , ..., x` ∈ Rm` }. Следовательно, D содержит минимальный d-класс d(P). Так как d(P) = σ(P) = B(Rm ), то D = B(Rm ). Следовательно, (2.9) верно для любого B ∈ B(Rm ).  Теорема 2.26. Пусть (X, A ) и (Y, C ) — измеримые пространства, ξ ∈ F |A и η ∈ F |C — независимые случайные элементы. Тогда Z Z Z  g(x, y)Qη (dy) Qξ (dx) = g(z)Q(ξ,η) (dz) = X×Y X = ZY  Z Y X  g(x, y)Qξ (dx) Qη (dy) (2.10) для любой функции g : (X × Y, A ⊗ C ) 7→ (R, B(R)) интегрируемой по мере Q(ξ,η) . Доказательство. Так как Q(ξ,η) (A × B) = Qξ (A)Qη (B) для любых A ∈ A , (x,y) B ∈ C , то равенство (2.10) верно для функций вида g(x, y) = IA×B , где A × B ∈ A × C. Класс D таких множеств D ∈ A ⊗ C , что равенство (2.10) верно для функ(z) ции g(z) = ID , является d-классом и содержит π-класс A × C . Поэтому (z) D = A ⊗ C и, значит, равенство (2.10) верно для всех функций g(z) = ID , D ∈ A ⊗ C. 50 В силу свойства линейности интеграла равенство (2.10) верно для всех простых положительных A ⊗ C -измеримых функций. Применяя теорему о монотонной сходимости получаем, что равенство (2.10) верно для любой положительной A ⊗ C -измеримой функции. Согласно определению интеграла по мере от измеримой функции равенство (2.10) верно для любой интегрируемой по мере Q(ξ,η) функции g ∈ A ⊗ C |B(R).  В дальнейшем будем применять следующее обозначение: еслиRF — `-мерR ная функция распределения и g ∈ B(R` )|B(R), то g(x)dF (x) , g(x)Q(dx), ` R` RR где Q — мера Лебега–Стилтьеса, индуцированная функцией F , а g(x)Q(dx) R` — интеграл по мере Q от функции g (см. [7], гл. 4). Теорема 2.27. Пусть ξ и η — независимые `-мерные случайные векторы. Тогда: R R 1) Fξ+η (x) = Fξ (x − y)dFη (y) = Fη (x − y)dFξ (y); R` R` 2) если ξ имеет плотность распределения fξ , то существует плотность fξ+η распределения ξ + η и R fξ+η (x) = fξ (x − y)dFη (y); R` 3) если существуют fξ и fη , то R R fξ+η (x) = fξ (x − y)fη (y)dy = fη (x − y)fξ (y)dy. R` R` Доказательство. 1) По определению функции распределения случайного вектора R (z) Fξ+η (x) = P{(ξ, η) ∈ {(u, v) : u + v 6 x}} = I{(u,v):u+v6x} dF(ξ,η) (z). R` ×R` Поэтому по теореме 2.26 R R R (u) Fξ+η (x) = ( I]−∞,x−v] dFξ (u))dFη (v) = Fξ (x − v)dFη (v). R` R` R` 2) Если существует плотность распределения fξ , то  R R Fξ+η (x) = fξ (u)du dFη (y) = = R R` ( R R` ]−∞,x−y] fξ (v − y)dv)dFη (y) = ]−∞,x] R R ( fξ (v − y)dFη (y))dv ]−∞,x] R` для любого x ∈ R` . Утверждение 3) следует из 2) и теоремы 6.7 [7].  Теорема 2.28. Пусть ξ и η — независимые случайные величины и P{η = 0} = 0. Тогда: +∞ R R0 1) Fξ/η (x) = Fξ (xy)dFη (y) + (1 − Fξ (xy−))dFη (y); −∞ 51 2) если ξ имеет плотность распределения fξ , то существует плот+∞ R |y|fξ (xy)dFη (y); ность fξ/η распределения ξ/η и fξ/η (x) = −∞ 3) если существуют fξ и fη , то fξ/η (x) = +∞ R −∞ |y|fξ (xy)fη (y)dy. Доказательство. 1) По определению функции распределения случайной величины R (z) Fξ/η (x) = P{(ξ, η) ∈ {(u, v) : uv 6 x}} = I{(u,v): u 6x} dF(ξ,η) (z). R×R Поэтому согласно теореме 2.26 +∞ R (u,v) R +∞ I{ u 6x} Fξ (du))dFη (v) = ( Fξ/η (x) = = +∞ R = +∞ R −∞ R ( −∞ v Fξ (du))dFη (v) + Fξ (xv)dFη (v) + R0 −∞ R0 R ( −∞ ]−∞,xv] v Fξ (du))dFη (v) = [xv,+∞[ (1 − Fξ (xv−))dFη (v). 2) Если существует плотность распределения fξ , то +∞ R Rxy R0 +∞ R Fξ/η (x) = fξ (u)dudFη (y) + fξ (u)dudFη (y) = = = +∞ R y 0 −∞ Rx −∞ x +∞ R R −∞ −∞ −∞ xy fξ (vy)dvdFη (y) − R0 y Rx −∞ −∞ R Rx +∞ |y|fξ (vy)dvdFη (y) = −∞ −∞ fξ (vy)dvdFη (y) = |y|fξ (vy)dFη (y)dv для любого x ∈ R` . Утверждение 3) следует из 2) и теоремы 6.7 [7].  Задачи 1. Известно, что случайный вектор (ξ, η) имеет плотность распределения (x,y) f(ξ,η) (x, y) = λ2 xe−λxy I]0,∞[×]1,∞[ . Найдите плотности распределения случайных величин ξ и η. Являются ли случайные величины ξ и η независимыми? Решение. Согласно свойствам плотностей распределений +∞ R R∞ fξ (x) = f(ξ,η) (x, y)dy = λ2 xe−λxy dy = λe−λx , x > 0; fη (x) = −∞ +∞ R −∞ f(ξ,η) (x, y)dx = 1 R∞ λ2 xe−λxy dx = y −2 , y > 1. Так как мера Лебега множества {(x, y) : f(ξ,η) (x, y) 6= fξ (x)fη (y)} не равна нулю, то случайные величины ξ и η зависимы. 2. Пусть ξ — случайная величина, g : R 7→ R — борелевская функция. Каким условиям должна удовлетворять случайная величина ξ, чтобы ξ и g(ξ) были независимы? Решение. Введем обозначения: η , g(ξ), B , B(R), F ξ , ξ −1 (B), F η , η −1 (B). 52 Независимость случайных величин ξ и η эквивалентна независимости σ-алгебр F η и F ξ . Очевидно, что ξ ∈ F ξ |B и в силу теоремы 2.4 об измеримости суперпозиции измеримых отображений F η ⊂ F ξ . Если F η и F ξ независимы, то для каждого события A ∈ F η верно равенство P(A) = P(A ∩ A) = [P(A)]2 и, значит, каждый элемент σ-алгебры F η имеет вероятность равную нулю либо единице. Наоборот, если σ-алгебра F η содержит только события вероятностей 0 и 1, то F η и любая другая σ-алгебра событий независимы. Таким образом, независимость ξ и η эквивалентна условию: P(A) = 0 либо P(A) = 1 для каждого A ∈ F η . (2.11) Теперь заметим, что условие (2.11) эквивалентно условию: существует такая константа a, что η = a п.н. (2.12) Действительно, если η = a п.н., то для каждого B ∈ B вероятность события {η ∈ B} равна нулю либо единице и, значит, (2.12) ⇒ (2.11). Наоборот, пусть выполнено условие (2.11). Если условие (2.12) не выполняется, то существует такая константа b, что 0 < P{η < b} < 1 и 0 < P{η > b} < 1, а это противоречит условию (2.11). Таким образом, независимость ξ и g(ξ) эквивалентна существованию такой константы a, что P{ξ ∈ g −1 ({a})} = 1. Например, независимость ξ и cos ξ эквивалентна существованию такой константы a, что P{ξ ∈ {± arccos a + 2kπ|k ∈ Z}} = 1, где Z — множество целых чисел. 2.6. Сходимость по вероятности и почти наверное последовательностей случайных векторов Определение 2.31. Последовательность `-мерных случайных векторов (ξn )n∈N сходится по вероятности к `-мерному случайному вектору ξ (обозначение: P-lim ξn = ξ), если n→∞ lim P{|ξn − ξ| > ε} = 0 ∀ε > 0. n→∞ Теорема 2.29. Если P-lim ξn = ξ и P-lim ξn = η, то ξ = η п.н. n→∞ n→∞ Доказательство. Для любого ε > 0 P{|ξ − η| > ε} 6 P{|ξ − ξn | > 2ε } + P{|η − ξn | > 2ε } и, следовательно, P{|ξ − η| > ε} = 0. ∞ P P{|ξ − η| > n1 } = 0.  Поэтому P{ξ 6= η} 6 n=1 Теорема 2.30. Пусть ξ, ξ1 , ξ2 , ... — случайные `-мерные векторы. ∞ S ∞ T ∞ T Тогда { lim ξn = ξ} = {|ξk − ξ| 6 1r } ∈ F . n→∞ r=1 n=1 k=n Доказательство. Легко видеть, что ω ∈ { lim ξn = ξ} ⇔ ⇔ ∀ r ∈ N ∃ n ∈ N : |ξk (ω) − ξ(ω)| 6 ∞ S ∞ T ∞ T ⇔ ω∈ {|ξk − ξ| 6 1r }. r=1 n=1 k=n 53 1 r n→∞ ∀k > n Следовательно, { lim ξn = ξ} ∈ F согласно свойствам σ-алгебры.  n→∞ Определение 2.32. Последовательность `-мерных случайных векторов (ξn )n∈N сходится почти наверное (с вероятностью 1) к `-мерному случайному вектору ξ (обозначение: lim ξn = ξ п.н. или lim ξn = ξ с P1), если n→∞ P{ lim ξn = ξ} = 1. n→∞ n→∞ Теорема 2.31. Для того чтобы последовательность `-мерных случайных векторов ξ1 , ξ2 , ... сходилась почти наверное к `-мерному случайному вектору ξ, необходимо и достаточно, чтобы для любого ε > 0 (2.13) P(lim sup{|ξn − ξ| > ε}) = 0. n→∞ Доказательство. Так как c { lim ξn = ξ} = n→∞ то lim ξn = ξ п.н. тогда и только тогда, когда n→∞ ∞ S r=1 lim sup{|ξn − ξ| > 1r } n→∞ 1 (2.14) P( lim sup {|ξn − ξ| > }) = 0 ∀r ∈ N. r n→∞ Соотношение (2.14) следует из (2.13) при ε = k1 . Наоборот, для любого ε > 0 существует такое r ∈ N, что 1r < ε и, значит, {|ξn −ξ| > ε} ⊂ {|ξn −ξ| > 1r } для любого n ∈ N. Поэтому P(lim sup{|ξn − ξ| > ε}) 6 P(lim sup{|ξn − ξ| > 1r }) = 0.  n→∞ n→∞ Теорема 2.32. 1) Если lim ξn = ξ п.н., то P-lim ξn = ξ. n→∞ n→∞ 2) Из сходимости по вероятности сходимость почти наверное, вообще говоря, не следует. Доказательство. 1) Для любого ε > 0 ∞ S lim P{|ξn − ξ| > ε} 6 lim P( {|ξk −ξ| > ε}) = n→∞ n→∞ k=n = P(lim sup{|ξn − ξ| > ε}) = 0. n→∞ 2) Пусть Ω — множество точек окружности единичной длины. Если a, b ∈ Ω, то [a, b[ обозначает дугу, содержащую точки окружности, которые будут пройдены при движении по окружности против часовой стрелки от точки a к точке b, включая точку a и исключая точку b. Обозначим через P([a, b[) длину дуги [a, b[. Тогда класс множеств C , {[a, b[: a, b ∈ Ω} является полукольцом, а функция P : C 7→ R+ является положительной аддитивной и σ-полуаддитивной функцией множеств, P(Ω) = 1. Поэтому существует единственное продолжение P до вероятностной меры на σ-алгебре F = σ(C ) P . Выберем некоторую точку a1 ∈ Ω. Для каждого n ∈ N, пусть [an , an+1 [ — 1 , ηn (ω) = I(ω, [an , an+1 [). Тогда если ε ∈]0, 1[, то дуга окружности длины n+1 1 P{ηn > ε} = P([an , an+1 [) = n+1 → 0 при n → ∞ и, значит, P-lim ηn = 0. n→∞ 54 Заметим, что последовательность дуг ([an , an+1 [)n∈N бесконечно много раз описывают окружность Ω. Поэтому для каждого ω ∈ Ω в последовательности ([an , an+1 [)n∈N найдется бесконечно много дуг, содержащих точку ω, и найдется бесконечно много дуг, не содержащих точку ω. Следовательно, для каждого ω ∈ Ω числовая последовательность (ηn (ω))n∈N содержит бесконечно много нулей и бесконечно много единиц. Таким образом, предел lim ηn (ω) не сущеn→∞ ствует ни при одном ω ∈ Ω.  Определение 2.33. Последовательность `-мерных случайных векторов (ξn )n∈N называется фундаментальной по вероятности, если lim P{|ξn − ξk | > ε} = 0 ∀ε > 0. n,k→∞ Теорема 2.33. Если последовательность `-мерных случайных векторов (ξn )n∈N фундаментальна по вероятности, то из нее можно выделить подпоследовательность (ξnk )k∈N , сходящуюся с вероятностью 1 к некоторому `-мерному случайному вектору. Доказательство. Для любых ε > 0 и δ > 0 найдется такой номер n0 (ε, δ), что sup P{|ξn − ξn+k | > ε} 6 δ для всех n > n0 (ε, δ). Полагая n1 = n0 (1, 1) и k∈N nk = n0 (k −2 , k −2 ) ∨ (1 + nk−1 ) для k = 2, 3, ..., получаем такую возрастающую последовательность (nk )k∈N натуральных чисел, что P{|ξnk − ξnk+1 | > k −2 } 6 k −2 для любого k. ∞ P P{|ξnk − ξnk+1 | > k −2 } < ∞, то вероятность события Так как k=1 Ω1 , lim inf {|ξnk − ξnk+1 | 6 k −2 } k→∞ равна 1. Если ω ∈ Ω1 , то согласно определению нижнего предела последо∞ P (ξnk+1 (ω) − ξnk (ω)) мажорируется вательности множеств ряд ξn1 (ω) + сходящимся рядом ∞ P n=1 k −2 и поэтому (ξnk (ω))k∈N сходится к некоторому `- k=1 мерному вектору, который мы обозначим через ξ(ω). Положим ξ(ω) = 0 для (ω) ω ∈ / Ω1 . Тогда ξ(ω) = lim ξnk (ω)IΩ1 и поэтому ξ ∈ F |B(R` ). Очевидно, что lim ξnk = ξ п.н. k→∞  k→∞ Теорема 2.34. Для того чтобы последовательность случайных `-мерных векторов (ξn )n∈N сходилась по вероятности, необходимо и достаточно, чтобы (ξn )n∈N была фундаментальна по вероятности. Доказательство. Необходимость. Если P-lim ξn = ξ, то P{|ξn − ξm | > ε} 6 P{|ξn − ξ| > при n, m → ∞ для любого ε > 0. 55 n→∞ ε 2 } + P{|ξm − ξ| > 2ε } → 0 Достаточность. Если (ξn )n∈N фундаментальна по вероятности, то существует такая подпоследовательность (ξnk )k∈N и `-мерный случайный вектор ξ, что lim ξnk = ξ п.н. Для любого ε > 0 k→∞ P{|ξn − ξ| > ε} 6 P{|ξn − ξnk | > 2ε } + P{|ξnk − ξ| > 2ε }. Поскольку правая часть данного неравенства стремится к нулю при n, k → ∞, то поэтому P-lim ξn = ξ.  n→∞ Теорема 2.35. Пусть ξ, ξ1 , ξ2 , ... — `-мерные случайные векторы P-lim ξn = ξ, g ∈ B(R` )|B(Rm ), D — множество точек разрыва функции n→∞ g, P{ξ ∈ D} = 0. Тогда P-lim g(ξn ) = g(ξ). n→∞ Доказательство. Заметим, что согласно теореме об измеримости суперпозиции измеримых отображений g(ξ), g(ξ1 ), g(ξ2 ), ... — m-мерные случайные векторы. В силу теорем 2.33 и 2.34 для любой последовательности (ξn0 )n∈N ⊂ (ξn )n∈N существует такая подпоследовательность (ξn00 )n∈N ⊂ (ξn0 )n∈N , что lim ξn00 = ξ п.н. и, следовательно, lim g(ξn00 ) = g(ξ) п.н. n→∞ n→∞ Следовательно, P-lim g(ξn ) = g(ξ).  n→∞ Задачи (1) (j) (`) (j) 1. Пусть ξ = (ξ (1) , ... , ξ (`) ), ξn = (ξn , ... , ξn ), n ∈ N, где ξ (j) , ξ1 , ξ2 , ... — mj -мерные случайные векторы, j = 1, ... , `. Докажите, что P-lim ξn = ξ тогда и только тогда, когда n→∞ (j) P-lim ξn = ξ (j) n→∞ ∀j. Решение. Так как |ξn − ξ| = соотношение  P̀ j=1 (j) |ξn − ξ (j) |2 1/2 lim P{|ξn − ξ| > ε} = 0 n→∞ влечет соотношение lim P{|ξn(j) − ξ (j) | > ε} = 0 n→∞ Так как P{|ξn − ξ| > ε} = P n P̀ j=1 (j) , то |ξn − ξ (j) | 6 |ξn − ξ| для каждого j и (2.15) ∀ε > 0 (2.16) ∀ε > 0, j = 1, ..., `. o P̀ (j) (j) P{|ξn − ξ (j) | > |ξn − ξ (j) |2 > ε2 6 j=1 √ε }, ` то соотношение (2.16) влечет соотношение (2.15). 2. Пусть ξ, ξn , η, ηn — случайные величины, n ∈ N; P-lim ξn = ξ, P-lim ηn = η. Докажите, n→∞ n→∞ что: 1) P-lim(ξn + ηn ) = ξ + η, 2) P-lim(ξn · ηn ) = ξ · η, n→∞ 3) P-lim(ξn ∨ ηn ) = ξ ∨ η, n→∞ 5) если µ{η = 0} = 0, то n→∞ 4) P-lim(ξn ∧ ηn ) = ξ ∧ η, P-lim ηξnn n→∞ n→∞ = ηξ . Решение. 1) Согласно предыдущей задаче P-lim(ξn , ηn ) = (ξ, η). Так как функция g(x, y) , n→∞ x+y непрерывна, то согласно теореме 2.35 P-lim g(ξn , ηn ) = g(ξ, η), т.е. P-lim(ξn +ηn ) = ξ +η. n→∞ Утверждения 2) — 4) доказываются аналогично. 56 n→∞ 5) Множеством точек разрыва функции g(x, y) , xy является множество D = {(x, y) : x ∈ R, y = 0}. Так как P{(ξ, η) ∈ D} = 0, то согласно теореме 2.35 P-lim g(ξn , ηn ) = g(ξ, η), т.е. P-lim ηξnn n→∞ = n→∞ ξ . η 57 3. Характеристики распределений 3.1. Математическое ожидание случайной величины Пусть ξ — дискретная случайная величина с конечным множеством значений {x1 , ..., xm } и pj , P{ξ = xj }, j = 1, ..., m. Предположим, что проведена серия n повторений стохастического эксперимента, состоящего в наблюдении случайной величины ξ, и пусть a1 , ..., an — полученные значения ξ. Заметим, что среднее арифметическое величин a1 , ..., an допускает представление: m n m P P P 1 1 xj νen {ξ = xj }, aj = n xj νn {ξ = xj } = n j=1 j=1 j=1 а если относительные частоты событий {ξ = xj } стохастически устойчивы, то m n P P при n → ∞ будет выполнено предельное соотношение: n1 x j pj . aj → Величину Mξ , m P j=1 j=1 xj pj называют средним значением или математическим j=1 ожиданием случайной величины ξ. Отметим, что данная дискретная случайная величина ξ с конечным множеством значений является простой функцией: m P (ω) ξ(ω) = xj I{ξ=xj } , j=1 а ее среднее значение равно интегралу по мере P: m R P Mξ = xj P{ξ = xj } = ξ(ω)P(dω) j=1 Ω (см. [7], Определение 4.1). Определение 3.1. Математическим ожиданием (средним значением) случайной величины ξ называется R Mξ , ξ(ω)P(dω), Ω если данный интеграл по мере P от F |B(R)-измеримой функции ξ существует в соответствии с определением 4.3 из [4]. Если |Mξ| < ∞, то случайная величина ξ называется интегрируемой (обозначение: ξ ∈ L(Ω, F , P)). Теорема 3.1 (Свойства математического ожидания). (M1) если A ∈ F , то MIA = P(A); (M2) если ξ = c п.н., c — константа, то Mξ = c; (M3) если ξ 6 η п.н., то Mξ 6 Mη; (M4) если константа c 6= 0 и Mξ существует или c = 0 и M|ξ| < ∞, то Mcξ = cMξ; 58 (M5) M(ξ + η) = Mξ + Mη, если сумма в правой части данного равенства имеет смысл; (M6) интегрируемость ξ эквивалентна интегрируемости |ξ|, при этом M|ξ| = Mξ + + Mξ − , |Mξ| 6 M|ξ|; (M7) если ξ > 0 п.н. и Mξ = 0, то ξ = 0 п.н. Перечисленные в данной теореме свойства математического ожидания следуют из соответствующих свойств интеграла от измеримой функции по мере (см. [7], теоремы 4.3 — 4.8). Теорема 3.2. Пусть C — под-σ-алгебра σ-алгебры F . Если хотя бы одна из C -измеримых случайных величин ξ и η имеет конечное математическое ожидание и MξIA 6 MηIA для любого A ∈ C , то ξ 6 η п.н. Доказательство. Заметим, что {ξ > η} ∈ C и 0 6 (ξ − η)I{ξ>η} п.н. Применяя свойство (M3) и условия данной теоремы, имеем 0 6 M(ξ − η)I{ξ>η} = MξI{ξ>η} − MηI{ξ>η} 6 0. Согласно свойству (M7) (ξ − η)I{ξ>η} = 0 п.н. Следовательно, P{ξ > η} = 0.  Следствие. Если C — под-σ-алгебра σ-алгебры F и C -измеримые случайные величины ξ и η имеют конечные математические ожидания и MξIA = MηIA для любого A ∈ C , то ξ = η п.н. Задачи 1. Пусть C — под-σ-алгебра σ-алгебры F , P — π-класс, Ω ∈ P, C = σ(P), ξ, η ∈ L(Ω, C , P), MξIA = MηIA для любого A ∈ P. Докажите, что ξ = η п.н. Решение. Класс множеств D , {A | A ∈ C , MξIA = MηIA } содержит π-класс P и является d-классом. Следовательно, D = C . Поэтому MξIA = MηIA для любого A ∈ C и, значит, ξ = η п.н. в силу следствия к теореме 3.2. 2. Докажите эквивалентность следующих условий: ∞ ∞ P P P{|ξ| > n} < ∞. nP{(n − 1) < |ξ| 6 n} < ∞; 3) 1) ξ ∈ L(Ω, F , P); 2) n=1 n=1 1 2 Решение. Эквивалентность условий 1) и 2) следует из соотношения: ∞ ∞ P P nP{n − 1 < |ξ| 6 n} 6 (n − 1)P{n − 1 < |ξ| 6 n} 6 n=2 6 M|ξ| = n=1 ∞ P n=1 M|ξ|I(|ξ|, ]n − 1, n]) 6 ∞ P n=1 nP{n − 1 < |ξ| 6 n}. Эквивалентность условий 2) и 3) следует из равенства n ∞ P ∞ P P P{n − 1 < |ξ| 6 n} = nP{n − 1 < |ξ| 6 n} = n=1 ∞ ∞ P P = k=1 n=k n=1 k=1 ∞ P P{n − 1 < |ξ| 6 n} = k=1 P{|ξ| > k − 1} = 59 ∞ P k=0 P{|ξ| > k}. 3.2. Теоремы о предельном переходе под знаком математического ожидания Теорема 3.3 (о монотонной сходимости). Если ξn > 0 п.н. и ξn 6 ξn+1 п.н. для каждого n ∈ N, то lim Mξn = M lim ξn . n→∞ n→∞ Доказательство. Так как ξk 6 lim ξn п.н., то Mξk 6 M lim ξn и поэтому n→∞ n→∞ lim Mξk 6 M lim ξn . k→∞ n→∞ Согласно теореме 3.7 [7] существуют такие возрастающие последовательности простых положительных случайных величин (ξn,k )k∈N , что lim ξn,k = ξn k→∞ п.н. для каждого n ∈ N. Определим ηk = max ξn,k , k ∈ N. Тогда η1 , η2 , ... — 16n6k возрастающая последовательность простых положительных случайных величин и ξn,k 6 ηk 6 ξk п.н. при k > n для любого n ∈ N. Переходя к пределу при k → ∞ получаем, что ξn 6 lim ηk 6 lim ξk п.н. для любого n ∈ N. Слеn→∞ k→∞ довательно, lim ηn = lim ξn п.н. Заметим, что lim Mηn = M lim ηn согласно n→∞ n→∞ n→∞ n→∞ определению интеграла по мере P для положительных F |B(R)-измеримых функций. Поэтому M lim ξn = lim Mηn 6 lim Mξn . n→∞ n→∞ n→∞ Следовательно, lim Mξn = M lim ξn .  n→∞ n→∞ Теорема 3.4 (лемма Фату). Если ξn > 0 п.н., n ∈ N, то M lim inf ξn 6 lim inf Mξn . n→∞ n→∞ Доказательство. Так как lim inf ξn = lim inf ξk и последовательность п.н. n→∞ n→∞ k>n положительных случайных величин (inf ξk )n∈N п.н. возрастает, то согласно k>n теореме о монотонной сходимости M lim inf ξn = lim M inf ξk 6 lim inf Mξk = lim inf Mξn .  n→∞ n→∞ k>n n→∞ k>n n→∞ Теорема 3.5 (обобщенная лемма Фату). Пусть (ξn )n∈N — последовательность случайных величин и существует такая положительная случайная величина η ∈ L(Ω, F , P), что |ξn | 6 η п.н. для каждого n ∈ N. Тогда M lim inf ξn 6 lim inf Mξn 6 lim sup Mξn 6 M lim sup ξn . (3.1) n→∞ n→∞ n→∞ n→∞ Доказательство. Определим ζn = η + ξn , ηn = η − ξn . Очевидно, что ζn > 0 п.н., ηn > 0 п.н. и lim inf ζn = η + lim inf ξn , lim inf ηn = η − lim sup ξn . n→∞ n→∞ n→∞ n→∞ Согласно лемме Фату Mη + M lim inf ξn = M lim inf ζn 6 lim inf Mζn = Mη + lim inf Mξn ; n→∞ n→∞ n→∞ n→∞ Mη − M lim sup ξn = M lim inf ηn 6 lim inf Mηn = Mη − lim sup Mξn , n→∞ n→∞ откуда следует (3.1). n→∞  60 n→∞ Теорема 3.6 (Лебега о мажорируемой сходимости). Предположим, что последовательность случайных величин (ξ n )n∈N сходится по вероятности к случайной величине ξ и существует такая интегрируемая положительная случайная величина η, что |ξ n | 6 η п.н. для каждого n ∈ N. Тогда lim Mξn = Mξ. n→∞ Доказательство. Если lim ξn = ξ п.н., то lim inf ξn = lim sup ξn п.н., и n→∞ n→∞ n→∞ из неравенства (3.1) следует, что lim inf Mξn = lim sup Mξn = Mξ. Поэтому n→∞ n→∞ lim Mξn = Mξ. n→∞ Если P-lim ξn = ξ, то для любой подпоследовательности (ξn0 )n∈N ⊂ (ξn )n∈N n→∞ согласно теореме 2.33 существует такая подподпоследовательность (ξn00 )n∈N ⊂ (ξn0 )n∈N , что lim ξn00 = ξ п.н. и поэтому lim Mξn00 = Mξ. Следовательn→∞ n→∞ но, lim Mξn = Mξ.  n→∞ Случайную величину η в формулировке теоремы 3.6 называют интегрируемой мажорантой для последовательности случайных величин (ξn )n∈N . Задачи 1. Докажите, что если ξ ∈ L(Ω, F , P), то lim nP{|ξ| > n} = 0. Решение. Заметим, что nP{|ξ| > n} 6 n→∞ (|ξ|) M|ξ|I[n,∞[ , последовательность случайных величин (|ξ|) (|ξ|I[n,∞[ )n∈N сходится п.н. к нулю и имеет интегрируемую мажоранту |ξ|. Согласно теореме 3.6 lim nP{|ξ| > n} = 0. n→∞ 2. Пусть ξ ∈ L(Ω, F , P), (An )n∈N ⊂ F и существует A = lim An . Докажите, что MIA ξ = n→∞ lim MIAn ξ. n→∞ Решение. Последовательность случайных величин (ξIAn )n∈N сходится к случайной величине ξIA и имеет интегрируемую мажоранту |ξ|. Согласно теореме 3.6 lim MIAn ξ = MIA ξ. n→∞ 3. Пусть ξ1 , ξ2 , ... — случайные величины, M n ∈ N. Докажите, что M ∞ P ξn = ∞ P Mξn . ∞ P n=1 |ξn | < ∞ или ξn > 0 п.н. для каждого n=1 n=1 Решение. Если ξn > 0 п.н. для каждого n ∈ N, то последовательность п.н. положительных  P ∞ n P ξn . В ξj п.н. возрастает и п.н. сходится к случайной величине случайных величин n∈N j=1 n=1 силу теоремы 3.3 (о монотонной сходимости) M ∞ X n=1 Если M ∞ P n=1 ξn = M lim n→∞ n X ξj = lim n→∞ j=1 n X Mξj = j=1 ∞ X n=1 |ξn | < ∞, то последовательность случайных величин к случайной величине ∞ P ξn и имеет интегрируемую мажоранту n=1 ∞ P n=1 мажорируемой сходимости) справедлива цепочка равенств (3.2). 61 (3.2) Mξn . P n j=1 ξj  n∈N п.н. сходится |ξn |. В силу теоремы 3.6 (о 3.3. Неравенства. Пространство Lp (Ω, F , P) Определение 3.2. Функция ϕ(t), t ∈]a, b[, называется выпуклой, если λϕ(t) + (1 − λ)ϕ(s) > ϕ(λt + (1 − λ)s) для любых t, s ∈]a, b[, λ ∈ [0, 1]. Теорема 3.7 (Неравенство Юнга). Пусть p > 1, q > 1, p1 + 1q = 1, a > 0, p q b > 0. Тогда ab 6 ap + bq . Доказательство. Если a · b = 0, то неравенство очевидно. Пусть a · b 6= 0. Функция (et )t∈R является выпуклой и поэтому λet + (1 − λ)es > eλt+(1−λ)s ∀t, s ∈ R ∀λ ∈ [0, 1]. Полагая λ = p1 , t = p ln a, s = q ln b, получаем неравенство Юнга.  Теорема 3.8 (неравенство Гельдера). Если p > 1, q > 1, |ξ|p , |η|q ∈ L(Ω, F , P), то Mξη 6 (M|ξ|p )1/p (M|η|q )1/q . 1 p + 1 q = 1, Доказательство. Заметим, что по неравенству Юнга |ξη| 6 p1 |ξ|p + 1q |η|q и поэтому |ξη| ∈ L(Ω, F , P). Если M|ξ|p · M|η|q = 0, то ξ · η = 0 п.н. и, следовательно, неравенство Гельдера выполнено. Предположим, что M|ξ|p · M|η|q 6= 0. Согласно неравенству |η|q |ξ|p Юнга (M|ξ||ξ|p )1/p · (M|η||η|q )1/q 6 pM|ξ| p + qM|η|q . Интегрируя последнее соотношение по мере P, получаем неравенство Гельдера.  Теорема 3.9 (неравенство Минковского). Если |ξ|p , |η|p ∈ L(Ω, F , P), p > 1, то (M|ξ + η|p )1/p 6 (M|ξ|p )1/p + (M|η|p )1/p . Доказательство. Для p = 1 неравенство очевидно. Пусть p > 1. Так как |ξ + η|p 6 2p−1 (|ξ|p + |η|p ), то |ξ + η|p ∈ L(Ω, F , P). Согласно неравенству Гельдера M|ξ + η|p = M|ξ + η|p−1 |ξ + η| 6 M|ξ + η|p−1 |ξ| + M|ξ + η|p−1 |η| 6 6 [(M|ξ|p )1/p + (M|η|p )1/p ](M|ξ + η|p )(p−1)/p . Разделив обе части полученного неравенства на (M|ξ + η|p )(p−1)/p , получаем неравенство Минковского.  Теорема 3.10 (обобщенное неравенство Чебышева). Если g : R 7→ R+ — возрастающая функция и Mg(ξ) < ∞, то P{ξ > c} 6 Mg(ξ) g(c) для любой константы c ∈ R. Доказательство. Согласно свойствам (M3) и (M1) математического ожидания Mg(ξ) > Mg(ξ)I{ξ>c} > g(c)MI{ξ>c} = g(c)P{ξ > c}.  Теорема 3.11 (неравенство Йенсена). Если ξ принимает значения в интервале ]a, b[, −∞ 6 a < b 6 +∞, g — выпуклая на ]a, b[ функция, M|g(ξ)| < ∞, то g(Mξ) 6 Mg(ξ). 62 Доказательство. В силу выпуклости g для любого x0 ∈]a, b[ существует такое α(x0 ) ∈ R, что g(x) > g(x0 ) + α(x0 )(x − x0 ) для любого x ∈]a, b[. Поэтому g(ξ(ω)) > g(Mξ) + α(Mξ)(ξ(ω) − Mξ). Интегрируя данное неравенство по мере P, получаем неравенство Йенсена.  Теорема 3.12 (неравенство Ляпунова). Если 0 < s < t и M|ξ|t < ∞, то (M|ξ|s )1/s 6 (M|ξ|t )1/t . Доказательство. Подставив в неравенство Йенсена функцию g(x) = |x| t/s , имеем неравенство (M|ξ|s )t/s 6 M|ξ|t .  Определение 3.3. Пространством случайных величин с конечными абсолютными моментами порядка p > 1 называется Lp = Lp (Ω, F , P) , {ξ| ξ : (Ω, F ) 7→ (R, B(R)), M|ξ|p < ∞}. Элементы ξ и η пространства Lp считаются равными в Lp , если ξ = η п.н. Очевидно, что Lp является линейным пространством над полем действительных чисел. Для ξ ∈ Lp определим kξkp , (M|ξ|p )1/p . В силу свойств математического ожидания функционал k · kp : Lp 7→ R+ обладает свойствами: 1) kξkp > 0; kξkp = 0 ⇔ ξ = 0 в Lp ; 2) kλξkp = |λ| · kξkp ∀λ ∈ R; 3) kξ + ηkp 6 kξkp + kηkp . Следовательно, (Lp , k · kp ) — линейное нормированное пространство. Определение 3.4. Последовательность (ξn )n∈N ⊂ Lp сходится в Lp к элементу ξ ∈ Lp (обозначение: Lp -lim ξn = ξ), если lim kξn − ξkp = 0. n→∞ n→∞ Последовательность (ξn )n∈N ⊂ Lp называется фундаментальной в Lp , если lim kξn − ξm kp = 0. n,m→∞ Если последовательность (ξn )n∈N ⊂ Lp сходится в Lp к некоторому пределу ξ ∈ Lp , то kξn − ξm kp 6 kξn − ξkp + kξ − ξm kp → 0 при n, m → ∞ и, следовательно, (ξn )n∈N фундаментальна в Lp . Теорема 3.13. Пространство (Lp (Ω, F , P), k · kp ) является полным (банаховым): если последовательность (ξn )n∈N ⊂ Lp фундаментальна в Lp , то существует такой элемент ξ ∈ Lp , что Lp -lim ξn = ξ. n→∞ Доказательство. Заметим, что существует такое r ∈ N, что sup kξn −ξr kp 6 1 и, значит, n>r sup kξn kp 6 sup kξn kp + kξr kp + sup kξn − ξr kp < ∞. n n>r n6r По неравенства Чебышеву P{|ξn − ξm | < ε} 6 ε−p kξn − ξm kpp для любого ε > 0. Следовательно, (ξn )n∈N фундаментальна по вероятности. Согласно теореме 2.33 существует такая подпоследовательность (ξnk )k∈N и F -измеримая случайная величина ξ, что lim ξnk = ξ п.н. Применяя лемму Фату, имеем k→∞ 63 M|ξ|p = M lim |ξnk |p 6 lim inf M|ξnk |p 6 sup kξn kpp < ∞. k→∞ k→∞ n Следовательно, ξ ∈ Lp . Снова применяя лемму Фату имеем lim M|ξ − ξn |p = lim M lim |ξnk − ξn |p 6 n→∞ n→∞ 6 lim lim inf M|ξnk − n→∞ k→∞ k→∞ p ξn | 6 lim sup kξm n→∞ m>n − ξn kpp = 0.  Замечание. Если Lp -lim ξn = ξ, то по неравенству Чебышева n→∞ P{|ξn − ξ| > ε} 6 ε−p kξn − ξkpp → 0 при n → ∞ для любого ε > 0 и, значит, P-lim ξn = ξ. n→∞ Для ξ, η ∈ L2 определим hξ, ηi , Mξη. В силу свойств математического ожидания функционал h·, ·i : L2 × L2 7→ R обладает свойствами скалярного произведения: 1) hξ, ξi > 0; hξ, ξi = 0 ⇔ ξ = 0 в L2 ; 2) hξ, ηi = hη, ξi; 3) haξ, ηi = ahξ, ηi ∀a ∈ R; 4) hξ + η, ζi = hξ, ζi + hη, ζi. p Так как kξk2 = hξ, ξi, то пространство (L2 (Ω, F , P), h·, ·i) согласно теореме 3.13 является гильбертовым. Сходимость в пространстве L2 (Ω, F , P) последовательности (ξn )n∈N ⊂ L2 к элементу ξ ∈ L2 называют среднеквадратической сходимостью и применяют обозначение: l.i.m. ξn = ξ. n→∞ Задачи 1. Пусть p > 1, q > 1, r > 1, p1 + 1q +  1/p  1/q  1/r M|ξηζ| 6 M|ξ|p M|η|q M|ζ|r . 1 r = 1; |ξ|p , |η|q , |ζ|r ∈ L(Ω, F , P). Докажите, что Решение. Согласно неравенству Гельдера   p1   p−1 p p M|ξηζ| 6 M|ξ|p M|ηζ| p−1 . Так как p (p−1)q + p (p−1)r = 1, то снова применяя неравенство Гельдера, имеем неравенство p p  (p−1)r   (p−1)q  p M|ηζ| p−1 6 M|η|q M|ζ|r . Подставляя второе неравенство в первое, получаем неравенство из формулировки задачи. 2. Пусть ξ, η ∈ L(Ω, F , P), 0 < t < 1. Докажите, что  t  1−t . M|ξ|t · |η|1−t 6 M|ξ| M|η| 1 , получаем нужное неравенРешение. Применяя неравенство Гельдера с p = 1t и q = 1−t ство. 1 6 M 1ξ . 3. Пусть ξ — случайная величина, P{ξ > 0} = 1, Mξ < ∞. Докажите, что Mξ Решение. √ Применяя неравенство Гельдера с p1 = q =1 2, имеем соотношение: 1 = M √1ξ ξ 6 (M 1ξ )1/2 (Mξ)1/2 . Следовательно, Mξ 6 Mξ. 64 3.4. Интегральные представления математического ожидания функций от случайных величин Теорема 3.14. Пусть ξ — случайный элемент со значениями в измеримом пространстве (X, A ), g : (X, A ) 7→ (R, B(R)), Qξ — распределение ξ. Тогда Z Mg(ξ) = (3.3) g(x)Qξ (dx) X в том смысле, что если определена одна из частей этого равенства, то определена вторая и они совпадают. Доказательство. 1. Пусть g — простая A |B(R+ )-измеримая функция, т.е. k P (x) g(x) = aj IBj , где aj > 0, Bj ∈ A . Тогда j=1 Mg(ξ) = M k P j=1 aj I{ξ∈Bj } = k P j=1 aj P{ξ ∈ Bj } = k P j=1 aj Qξ (Bj ) = R gdQξ . X 2. Если g ∈ A |B(R+ ), то существует такая возрастающая последовательность простых A |B(R+ )-измеримых функций (gn )n∈N , что lim gn (x) = g(x) n→∞ для каждого x ∈ X. Согласно первой части доказательства данной теоремы R Mgn (ξ) = gn (x)Qξ (dx) Переходя к пределу в этом равенстве по n → ∞ и X применяя определение интеграла от неотрицательной функции, получаем равенство (3.3). 3. Для любой A |B(R)-измеримой функции g : X 7→ R согласно второй части доказательства Z Z + + − Mg (ξ) = g dQξ , Mg (ξ) = g − dQξ . (3.4) X X Если одна из частей равенства (3.3) определена, то хотя бы одна из величин (3.4) ограничена и согласно определению интеграла по мере Mg(ξ) = Mg + (ξ)− R Mg − (ξ) = gdQξ .  X Следствие. Если ξ — `-мерный случайный вектор, Fξ — функция распределения ξ, g ∈ B(R` )|B(R), M|g(ξ)| < ∞, то R Mg(ξ) = g(x)dFξ (x). R` Теорема 3.15. Пусть выполнены условия теоремы 3.14 и, сверх того, на измеримом пространстве (X, A ) задана мера µ, распределение Q ξ абсолютно непрерывно относительно меры µ с плотностью fξ , т.е. fξ : 65 (X, A ) 7→ (R+ , B(R+ )) и Qξ (B) = Mg(ξ) = R B fξ (x)µ(dx) для любого B ∈ A . Тогда Z (3.5) g(x)fξ (x)µ(dx) R` в том смысле, что если определена одна из частей этого равенства, то определена вторая и они совпадают. k P (x) Доказательство. 1. Если g(x) = aj IBj , где aj > 0, Bj ∈ A , то j=1 Mg(ξ) = k P aj Qξ (Bj ) = k P aj j=1 j=1 R X (x) IBj fξ (x)µ(dx) = R gfξ dµ. X 2. Если g ∈ A |B(R+ ), то существует такая возрастающая последовательность простых A |B(R+ )-измеримых функций (gn )n∈N , что lim gn (x) = g(x) n→∞ для каждого x ∈ X. Согласно первой части доказательства данной теоремы R Mgn (ξ) = gn (x)fξ (x)µ(dx). Переходя к пределу в этом равенстве по n → ∞ X и применяя теорему о монотонной сходимости, получаем равенство (3.5). 3. В общем случае Z Z + + − Mg (ξ) = g fξ dµ; Mg (ξ) = g − fξ dµ. (3.6) X X Если одна из частей равенства (3.5) определена, то хотя бы одна из величин в (3.6) конечна. Вычитая в (3.6) из первого равенства второе, получим (3.5).  Следствие. Если ξ — `-мерный случайный вектор, имеющий плотность распределения fξ (относительно меры Лебега), g — B(R` )|B(R)-измеримая функция и M|g(ξ)| < ∞, то +∞ R R +∞ R Mg(ξ) = g(x)fξ (x)dx = ... g(x1 , ..., xn )fξ (x1 , ..., xn )dx1 ...dxn . Rn −∞ −∞ В частном случае, когда ξ — случайная величина (` = 1), +∞ R Mg(ξ) = g(x)fξ (x)dx. −∞ Теорема 3.16. Пусть ξ — случайный элемент со значениями в конечном или счетном множестве X, g : X 7→ R. Предположим, что выполнено хотя бы одно из условий: (a) X — конечное множество; (b) X — счетное множество и gP > 0; (c) X — счетное множество и |g(x)|P{ξ = x} < ∞. x∈X 66 Тогда Mg(ξ) = X (3.7) g(x)P{ξ = x}. x∈X Доказательство. Заметим, что g(ξ(ω)) = X x∈X (ω) (3.8) g(x)I{ξ=x} . (a) Если X — конечное множество, то вычисляя математическое ожидание от обеих частей равенства (3.8) имеем (3.7). (b) Если X = {x(1) , x(2) , ...} и g > 0, то последовательность положительных случайных величин ηn (ω) , n X j=1 (ω) g(x(j) )I{ξ=x(j) } . (3.9) монотонно возрастая сходится к g(ξ(ω)) при каждом ω ∈ Ω. Согласно части n P g(x(j) )P{ξ = x(j) }. В силу теоремы о монотон(a) доказательства Mηn = j=1 ной сходимости Mg(ξ) = lim Mηn = n→∞ ∞ X n=1 g(x(n) )P{ξ = x(n) }. (3.10) (c) Пусть X = {x , x ...} и ряд в правой части равенства (3.7) абсолютно сходится. Тогда последовательность случайных величин (3.9) сходится при ∞ P (ω) каждом ω ∈ Ω к g(ξ(ω)) и |ηn (ω)| 6 η, где η(ω) , |g(x(n) )|I{ξ=x(n) } — инте(1) (2) n=1 грируемая случайная величина. В силу теоремы о мажорируемой сходимости справедливо соотношение (3.10).  Определение 3.5. Моментом n-го порядка (n ∈ N) случайной величины ξ называется Mξ n . Центральным моментом n-го порядка (n ∈ N) случайной величины ξ называется M(ξ − Mξ)n . Абсолютным моментом p-го порядка (p > 0) случайной величины ξ называется M|ξ|p . Дисперсией случайной величины ξ называется ее второй центральный момент: Dξ√, M(ξ − Mξ)2 . Величину σξ , Dξ называют среднеквадратическим отклонением случайной величины ξ от ее среднего значения. Теорема 3.17 (Свойства дисперсии). 1) Dξ = 0 тогда и только тогда, когда ξ = Mξ п.н.; Dξ = Mξ 2 − (Mξ)2 6 Mξ 2 ; D(a + bξ) = b2 Dξ. 2) Неравенство Чебышева: P{|ξ − Mξ| > ε} 6 ε−2 Dξ 67 ∀ε > 0 3) Dξ = inf M(ξ − a)2 . a∈R Доказательство. Первое утверждение следует из определения дисперсии и свойств математического ожидания. Второе утверждение является следствием теоремы 3.10. Третье утверждение следует из легко проверяемого равенства M(ξ − a)2 = M(ξ − Mξ)2 + (Mξ − a)2 .  Согласно неравенству Чебышева дисперсию случайной величины можно считать мерой рассеивания значений случайной величины от ее среднего значения. Определение 3.6. Условным математическим ожиданием случайной величины ξ относительно события B ненулевой вероятности называR ется M(ξ|B) , ξ(ω)P(dω|B). Ω Теорема 3.18. Для любой такой случайной величины ξ, что по крайней мере одна из случайных величин ξ + IB или ξ − IB интегрируема, справедливо равенство M(ξ|B) = MξIB . P(B) (3.11) Доказательство. Заметим, что Z MIA IB (ω) . M(IA |B) = IA P(dω|B) = P(A|B) = P(B) Ω Так как класс Ξ случайных величин ξ, для которых равенство (3.11) имеет место, является линейным, то вместе с индикаторами F -измеримых событий класс Ξ содержит все простые случайные величины. Применяя теорему о монотонной сходимости, получаем, что Ξ содержит все неотрицательные случайные величины. Если по крайней мере одна из случайных величин ξ + IB или ξ − IB интегрируема, то снова учитывая линейность класса Ξ и определение интеграла по мере, получаем, что ξ ∈ Ξ.  Задачи 1. Найдите среднее значение и дисперсию числа успехов η в схеме Бернулли с параметрами n ∈ N и p ∈]0, 1[. Решение. Так как P{η = k} = Cnk pk (1 − p)n−k , k = 0, 1, ..., n, то по теореме 3.16 n n P P k−1 k−1 Mη = kCnk pk (1 − p)n−k = np Cn−1 p (1 − p)n−k = np. k=0 k=1 Если n = 1, то η принимает значения 1 и 0 с вероятностями p и (1 − p) соответственно и поэтому Mη 2 = Mη = p. Если n > 1, то n n P P k−1 k−1 k−2 k−2 Cn−1 p (1 − p)n−k + n(n − 1)p2 Cn−2 p (1 − p)n−k = Mη 2 = np k=1 k=2 = np + n(n − 1)p . 2 68 Следовательно, Dη = np(1 − p). 2. Найдите среднее значение и центральные моменты N(a, σ 2 )-распределения. Решение. Согласно следствию к теореме 3.15 +∞ R 2 1 Mξ = x √2πσ exp{− (x−a) }dx = a; 2σ 2 −∞ M(ξ − Mξ)n = √1 2πσ M(ξ − Mξ)2k−1 = 0; = = +∞ R −∞ M(ξ − Mξ)2k = R∞ 1 (2t)k− 2 e−t dt = 2k 2σ √ 2π 2 }dx = (x − a)n exp{− (x−a) 2σ 2 2k√σ 2k Γ(k π 2k 2σ √ 2π R∞ u2k e−u n √σ 2π 2 /2 +∞ R un e−u 2 /2 du; −∞ du = + 12 ) = (2k − 1) · (2k − 3) · ... · 3 · 1 · σ 2k . 3. Найдите моменты и дисперсию Γ(α, β)-распределения. R∞ α−1 R∞ β α n+α−1 −βx x e dx = βΓ(α) ( βt )n+α−1 e−t dt = Решение. Mξ n = Γ(α) Γ(n+α) Γ(α)β n = (n+α−1)·...·α ; βn α ; β Mξ = 2 Mξ = (α+1)α ; β2 Dξ = α . β2 4. Найдите среднее значение и дисперсию случайной величины ξ, имеющей геометрическое распределение: P{ξ = k} = p(1 − p)k , k = 0, 1, 2, ..., 0 < p < 1 . Решение. Согласно теореме 3.16 ∞ P ∞ ∞ ∞ P k P P P (1 − p)k = p (1 − p)k = 1−p Mξ = kp(1 − p)k = p . p k=1 j=1 k=1 Mξ 2 = = ∞ P k=1 k 2 p(1 − p)k = p 1−p p2 + (1−p)2 ; p2 j=1 k=j ∞ P k P k P k=1 r=1 j=1 Dξ = (1 − p)k = p 1−p . p2 ∞ P ∞ P ∞ P r=1 j=1 k=r∨j (1 − p)k = 5. Случайная величина ξ имеет положительную плотность распределения f и E|ξ| < ∞. Найдите условное математическое ожидание E{ξ|ξ ∈ B}, где B ∈ B(R) и P{ξ ∈ B} > 0. Решение. Согласно определению 3.6 и теоремам 3.18 и 3.15 R −1R (ξ) 1 E{ξ|ξ ∈ B} = P{ξ∈B} M(ξIB ) = f (x)dx xf (x)dx. B B 3.5. Математическое ожидание и независимость Теорема 3.19. Если ξ1 , ..., ξn — независимые интегрируемые случайные n n Q Q Mξj . ξj = величины, то M j=1 j=1 Если, сверх того, ξ1 , ..., ξn имеют конечные моменты второго порядn n P P ка, то D ξj = Dξj . j=1 j=1 Доказательство. 1. Покажем вначале, что Mξη = MξMη для любых независимых интегрируемых случайных величин ξ и η. Пусть ξ > 0, η > 0. Определим последовательности случайных величин n2 Pn −n k2 I{k2−n 6 ξ < (k + 1)2−n }, ξn , k=1 69 ηn , n2 Pn k=1 k2−n I{k2−n 6 η < (k + 1)2−n }. Тогда ξn 6 ξn+1 , ηn 6 ηn+1 , lim ξn = ξ, lim ηn = η п.н. Для каждого n ∈ N, в n→∞ n→∞ силу независимости случайных величин ξ и η, события {k2−n 6 ξ < (k+1)2−n } и {r2−n 6 η < (r + 1)2−n } независимы для любых k и r. Поэтому n2 Pn n2 Pn Mξn ηn = M kr2−2n I{k2−n 6ξ<(k+1)2−n ; r2−n 6η<(r+1)2−n } = = n2 Pn n2 Pn k=1 r=1 k=1 r=1 (r+1) r kr2−2n P{ 2kn 6 ξ < (k+1) 2n }P{ 2n 6 η < 2n } = Mξn Mηn . Переходя к пределу в равенстве Mξn ηn = Mξn Mηn по n → ∞ и применяя теорему о монотонной сходимости получаем равенство Mξη = MξMη. В общем случае (ξ + , ξ − ) и (η + , η − ) независимы (как борелевские функции от независимых случайных величин). Поэтому Mξη = M(ξ + − ξ − )(η + − η − ) = Mξ + η + − Mξ + η − − Mξ − η + + Mξ − η − = = Mξ + Mη + − Mξ + Mη − − Mξ − Mη + + Mξ − Mη − = MξMη. k k Q Q 2. Предположим, что M ξj = Mξj для некоторого k ∈ {2, ..., n − 1} j=1 j=1 (для k = 2 данное предположение выполнено согласно первой части доказаk Q тельства). Тогда ξk+1 и ξj — независимые интегрируемые случайные велиj=1 чины. Поэтому M k+1 Q ξj = Mξk+1 k Q ξj = Mξk+1 M j=1 j=1 k Q j=1 ξj = k+1 Q Mξj . j=1 3. Если ξ1 , ..., ξn — независимые случайные величины с конечными моментами второго порядка, то n n n P P P 2 2 D( ξj ) = M( ξj ) − ( Mξj ) = j=1 n P =M j=1 j=1 ξj2 + M P i6=j j=1 ξi ξj − n P j=1 (Mξj )2 − P i6=j Mξi Mξj = n P Dξj .  j=1 Теорема 3.20 (локальная предельная теорема Муавра). Пусть Pn,p (·) — биномиальное распределение с параметрами n ∈ N и p ∈]0, 1[, q = 1−p, a < b. Тогда Pn,p (k) o = 1. n lim sup (k−np)2 n→∞ 1 k−np k: √npq ∈[a,b] √ exp − 2npq 2πnpq Доказательство. Фиксируем некоторые a и b, a < b. Пусть k = k(n) удо√ влетворяет соотношению: a 6 k−np npq 6 b для всех n ∈ N. Тогда 70 Следовательно, √ √ a npq + np 6 k 6 b npq + np, √ √ nq − b npq 6 n − k 6 nq − a npq, p p pq k p + a pq 6 6 p + b n n, p p pqn pq q − b n 6 n−k n 6 q−a n. lim k(n) = ∞, lim (n − k(n)) = ∞, n→∞ lim k(n) n→∞ n n→∞ = p, n−k(n) n n→∞ lim = q. В дальнейшем соотношение an ∼ bn , где (an )n∈N и (bn )n∈N — числовые последовательности, означает, что lim abnn = 1. n→∞ √ Применяя формулу Стирлинга n! = 2πnnn e−n получим √ √ n! 2πnpq Pn,p (k) = 2πnpq (n−k)!k! pk q n−k ∼ √ √ 2πn nn e−n pk q n−k √ = ∼ 2πnpq k k e−k (n−k)n−k e−(n−k) q pq 2πnp k(n−k)k k nq n−k nq n−k ) ∼ ( np ) ( n−k ) . = k (n−k) ( k ) ( n−k k n· n √ √ √ Введем обозначение: x , k−np npq и n−k = nq −x npq. . Тогда k = np+x npq Учитывая эти соотношения, получаем, что √ √ √ np+x npq nq−x npq np nq 2πnpqPn,p (k) ∼ ( np+x√npq ) ( nq−x√npq ) = q q √ √ q −np−x npq p −nq+x npq ) ) . (1 − x nq = (1 + x np Обозначим выражение в правой части последнего равенства через gn (x). Заметим, что q q √ √ q p ln gn (x) = −(np + x npq) ln (1 + x np ) − (nq − x npq) ln (1 − x nq )= q √ q qx2 − 2np + O(n−3/2 )]− = −(np + x npq)[x np q 2 √ px2 p − 2nq + O(n−3/2 )] = − x2 + O( √1n ). −(nq − x npq)[ − x nq 2 Поэтому gn (x) = exp{− x2 }(1 + O( √1n )). Следовательно, sup √ k: k−np npq ∈[a,b] 1 Pn,p (k) n o √ ∼ (1 + O( )). (k−np)2 n √ 1 exp − 2npq 2πnpq  Определение 3.7. Пусть ξ и η — случайные величины с конечными вторыми моментами. Величины √ cov(ξ, η) , M(ξ − Mξ)(η − Mη) и %(ξ, η) , √cov(ξ,η) Dξ Dη называются соответственно ковариацией и коэффициентом корреляции случайных величин ξ и η (если DξDη = 0, то полагаем %(ξ, η) = 0). 71 Если cov(ξ, η) = 0, то случайные величины ξ и η называются некоррелированными. Теорема 3.21 (Свойства ковариации и коэффициента корреляции). 1) cov(ξ, η) = Mξη − MξMη. 2) |%(ξ, η)| 6 1; |%(ξ, η)| = 1 тогда и только тогда, когда случайные величины ξ и η связаны линейной функциональной зависимостью. 3) Если ξ и η независимы, то ξ и η некоррелированы. Из некоррелированности ξ и η их независимость, вообще говоря, не следует. √ Dη 4) Величина η̂ , Mη + %(ξ, η) √Dξ (ξ − Mξ) дает наилучшее линейное приближение для случайной величины η по наблюдению ξ в том смысле, что inf M[η − (a + bξ)]2 = M(η − η̂)2 . a,b При этом M(η − η̂) = (1 − %2 (ξ, η))Dη. 2 Доказательство. Утверждение 1) очевидно. 2  ξ−Mξ η−Mη √ √ 2) Заметим, что 0 6 M Dξ ± Dη = 2(1 ± %(ξ, η)) при DξDη 6= 0. Очевидно поэтому, что |%(ξ, η)| 6 1, а если |%(ξ, η)| = 1, то ξ−Mξ √ √ = sign(%(ξ, η)) · η−Mη п.н. Dξ Dη Если η = aξ + b, a, b ∈ R, то cov(ξ, η) = aDξ и %(ξ, η) = sign(a). 3) Некоррелированность независимых случайных величин очевидна. Если ξ ∈ N(0, 1) и η = ξ 2 , то cov(ξ, η) = Mξ 3 − MξMξ 2 = 0 и, значит, ξ и η некоррелированы. Но P{ξ ∈ [−1, 1], η ∈ [0, 1]} = P{η ∈ [0, 1]} 6= P{ξ ∈ [−1, 1]}P{η ∈ [0, 1]}, и, значит, ξ и η зависимы. 4) Определим g(a, b) , M[η − (a + bξ)]2 . Заметим, что ∂ ∂ ∂a g(a, b) = −2M[η − (a + bξ)]; ∂b g(a, b) = −2Mξ[η − (a + bξ)]; ∂2 ∂a2 g(a, b) = 2; Так как матрица ∂2 ∂2 2 g(a, b) = 2Mξ ; g(a, b) = 2 ∂b ∂a∂b !  ∂2 ∂2 g(a, b) g(a, b) 2 ∂a22 ∂a∂b = ∂2 ∂ 2Mξ ∂a∂b g(a, b) ∂b2 g(a, b) 2Mξ. 2Mξ 2Mξ 2  строго положительно определена, то решение (  ∂ â = Mη − cov(ξ,η) Mξ; g(a, b) = 0; Dξ является точкой минимууравнения ∂a ∂ cov(ξ,η) g(a, b) = 0; b̂ = Dξ ; ∂b ма функции g(a, b). Очевидно, что â + b̂ξ = η̂. Применяя простые преобразования, основанные на использовании свойств математического ожидания, находим, что √ 2 2 (ξ − Mξ)] = (1 − %2 (ξ, η))Dη.  M(η − η̂) = M[(η − Mη) − %(ξ, η) √Dη Dξ 72 Задачи 1. Пусть ξ — количество успехов в серии n независимых случайных испытаний, p j — вероятность успеха в j-м испытании, j = 1, ..., n. Найдите Mξ и Dξ. Решение. Заметим, что ξ = ν1 +...+νn , где νj = 1 (νj = 0) если j-е испытание завершилось успехом (неудачей). Очевидно, что P{νj = 1} = pj , P{νj = 0} = 1 − pj . Распределение νj2 совпадает с распределением νj . По теореме 3.16 Mνj = Mνj2 = pj и поэтому Dνj = pj (1 − pj ). Следовательно, Mξ = Mν1 +...+Mνn и Dξ = Dν1 +...+Dνn в силу независимости случайных величин ν1 , ..., νn . n n P P pj , Dξ = pj (1 − pj ). Таким образом, Mξ = j=1 j=1 2. Случайные величины ξ и η независимы, ξ имеет Γ(α, α)-распределение, η имеет пуассоновское распределение с параметром α > 0. Найдите cov(ξη, ξ + η). Решение. Учитывая независимость случайных величин ξ и η находим, что cov(ξη, ξ + η) = = Mξη(ξ + η) − MξηM(ξ + η) = DξMη + MξDη. Так как Mξ = 1, Dξ = 1/α, Mη = α, Dη = α, то cov(ξη, ξ + η) = α + 1. 3. Случайный вектор (ξ, η) равномерно распределен в области D = {(x, y) : |x| + |y| 6 1}. Найдите cov(ξ, η). Являются ли случайные величины ξ и η независимыми? Решение. Очевидно, что совместная плотность распределения случайных величин ξ и η (1−|x|) R (x,y) 1 равна fξ,η (x, y) = 21 ID . Согласно свойствам плотностей распределения fξ (x) = dy = 2 R1 −(1−|x|) 1 − |x|, −1 6 x 6 1. Очевидно, что fη = fξ . Поэтому Mξ = Mη = x(1 − |x|)dx = 0. −1 R xy Следовательно, cov(ξ, η) = Mξη = 2 dxdy = 0. Таким образом, случайные величины ξ и η некоррелированы, но зависимы. D 3.6. Характеристическая функция Определение 3.8. Комплекснозначной случайной величиной называется ζ = ξ + iη, где i — мнимая единица, а ξ и η — случайные величины. Математическим ожиданием комплекснозначной случайной величины ζ = ξ + iη называется Mζ , Mξ + iMη. Если ξ ∈ F |B(Rm×` ), т.е. ξ = [ξj,k ]j=1,...,m;k=1,...,` — случайная матрица, то Mξ , [Mξj,k ]j=1,...,m; k=1,...,` . Взаимной ковариацией m-мерного случайного вектора ξ и `-мерного случайного вектора η называется cov(ξ, η) , M(ξ − Mξ)∗ (η − Mη) = [cov(ξj , ξk )]j=1,...,m; k=1,...,` . Определение 3.9. Характеристической функцией `-мерного случайного вектора ξ = (ξ1 , ..., ξ` ) называется P̀ ∗ ϕξ (t) , Meitξ = M exp{i tj ξj }, t = (t1 , ..., t` ) ∈ R` . j=1 Замечание. Согласно следствию к теореме 3.14, 73 ϕξ (t) = R ∗ eitx dFξ (x), R` где Fξ — функция распределения случайного вектора ξ. Если ξ имеет плотность распределения fξ , то согласно следствию к теореме 3.15 R ∗ ϕξ (t) = eitx fξ (x)dx. R` Если ξ — дискретный случайный вектор и X — конечное или счетное множество его значений, то согласно теореме 3.16 P itx∗ ϕξ (t) = e P{ξ = x}. x∈X Теорема 3.22 (Свойства характеристической функции случайного вектора). (Φ1 ) ϕξ (0) = 1, |ϕξ (t)| 6 1, ϕξ (t) = ϕξ (−t). ∗ (Φ2 ) ϕa+ξB (t) = eita ϕξ (tB ∗ ) для любых a ∈ Rm , B ∈ Rm×` . (Φ3 ) ϕξ равномерно непрерывна: lim sup |ϕξ (t + h) − ϕξ (t)| = 0. h→0 t∈R` (Φ4 ) Если ξ и η — независимые `-мерные случайные векторы, то ϕξ+η (t) = ϕξ (t)ϕη (t). (Φ5 ) Если ` = 1 и M|ξ|n < ∞ для некоторого n ∈ N, то (k) Mξ k = (−i)k ϕξ (0), k = 1, ..., n, (k) где ϕξ — k-я производная функции ϕξ . (Φ6 ) Если M|ξ| < ∞, то Mξ = −iϕ0ξ (0); если M|ξ|2 < ∞, то Mξ ∗ ξ = −ϕ00ξ (0) и cov(ξ, ξ) = (ϕ0ξ (0))∗ ϕ0ξ (0) − ϕ00ξ (0); где ϕ0ξ (t1 , ..., t` ) = ( ∂t∂1 ϕξ (t1 , ..., t` ), ..., ∂t∂ ` ϕξ (t1 , ..., t` )) и 2 ϕ00ξ (t1 , ..., t` ) = [ ∂t∂j ∂tk ϕξ (t1 , ..., t` )]j,k=1,...,` . Доказательство. Свойства (Φ1 ), (Φ2 ) и (Φ4 ) очевидны. ∗ (Φ3 ) Заметим, что |ϕξ (t + h) − ϕξ (t)| 6 M|eihξ − 1|. ∗ ∗ Так как lim |eihξ − 1| = 0 и |eihξ − 1| 6 2, то в силу теоремы Лебега о мажоh→0 рируемой сходимости lim sup |ϕξ (t + h) − ϕξ (t)| = 0. h→0 t∈R` (Φ5 ) Если M|ξ| < ∞ для некоторого n ∈ N, то для каждого k = 1, ..., n со+∞ R k itx (k) k k гласно неравенству Ляпунова M|ξ| < ∞ и ϕξ (t) = = i x e dFξ (x) так n −∞ как интеграл в правой части этого равенства сходится абсолютно и равномер(k) но по t. Подставляя t = 0 получаем, что Mξ k = (−i)k ϕξ (0). R ∗ (Φ6 ) Если M|ξ| < ∞, то ϕ0ξ (t) = i x eitx dFξ (x). Если M|ξ|2 < ∞, то R` R ∗ itx∗ 00 2 ϕξ (t) = i x x e dFξ (x). R` 74 Подставляя в полученные равенства t = 0 и учитывая равенство cov(ξ, ξ) = Mξ ∗ ξ − Mξ ∗ Mξ, получаем свойство (Φ6 ).  Определение 3.10. Характеристической функцией распределения Q на (R` , B(R` )) называется R ∗ ϕQ (t) , eitx Q(dx), t ∈ R` R` (т.е. характеристическая функция `-мерного случайного вектора, имеющего распределение Q). ` Теорема 3.23. Пусть R R Q1 и Q2 — такие распределения на B(R ), , что g(x)Q1 (dx) = g(x)Q2 (dx) для любой непрерывной ограниченR` R` ной функции g : R 7→ R. Тогда Q1 ≡ Q2 . ` Доказательство. Пусть B — замкнутое подмножество R` , %(x, B) = inf{|x − y| : y ∈ B}, gm (x) = exp{−mρ(x, B)}. (x) Тогда gm — непрерывные ограниченные функции и lim gm (x) = IB . Перехоm→∞ R R дя к пределу в равенстве gm (x)Q1 (dx) = gm (x)Q2 (dx) по m → ∞ получаR` R` ем, что Q1 (B) = Q2 (B). Поэтому класс множеств D = {B|B ∈ B(R` ), Q1 (B) = Q2 (B)} содержит π-класс замкнутых подмножеств R` . Легко видеть, что D является d-классом. Поэтому D = B(R` ). Следовательно, если B ∈ B(R` ), то B ∈ D и, значит, Q1 (B) = Q2 (B).  3.24. Пусть Q1 и Q2 — такие распределения на B(R` ), что R R Теорема ∗ ∗ eitx Q1 (dx) = eitx Q2 (dx) для любого t ∈ R` . Тогда Q1 ≡ Q2 . R` R` Доказательство. Пусть K Rобозначает класс R таких ограниченных борелев` ских функций g : R 7→ C, что g(x)Q1 (dx) = g(x)Q2 (dx). R` R` Так как класс K является линейным пространством над полем комплексn P ∗ ных чисел, то K содержит все функции вида cj eiαj x , cj ∈ C, αj ∈ R` , n ∈ N. j=1 Очевидно, что класс K замкнут относительно предельного перехода по равномерно ограниченным последовательностям функций из K , сходящимся при каждом x ∈ R` к некоторому пределу. Поэтому согласно теореме Вейерштрасса K содержит все ограниченные непрерывные функции f : R` 7→ C. По теореме 3.23 Q1 ≡ Q2 .  Следствие. Определение 3.10 задает взаимно однозначное соответствие между характеристическими функциями и распределениями. 75 Теорема 3.25. Пусть ξj ∈ F |B(R`j ), j = 1, ..., n, ` = `1 + ... + `n , ξ = (ξ1 , ..., ξn ) — `-мерный вектор, составленный из элементов векторов ξ1 , ..., ξn . Для того, чтобы случайные векторы ξ1 , ..., ξn были независимы, необn Q ходимо и достаточно, чтобы ϕξ (t) = ϕξj (tj ) для любого t = (t1 , ..., tn ), j=1 t1 ∈ R , ..., tn ∈ R . `n `1 Доказательство. Необходимость очевидна: n P o Q n n n Q itξ ∗ ∗ ϕξ (t) = Me = M exp i tj ξj = M exp{itj ξj∗ } = ϕξj (tj ). j=1 j=1 j=1 Достаточность. Согласно теореме 1.18 существует такое распределение Q, что Q(B1 × ... × Bn ) = Qξ1 (B1 ) · ... · Qξn (Bn ) для B1 ∈ B(R`1 ), ..., Bn ∈ B(R`n ). Поэтому n R itx∗ R R Q e Q(dx) = ... exp{itj x∗j }Qξ1 (dx1 )...Qξn (dxn ) = R` = n Q j=1 R `1 R`n j=1 ϕξj (tj ) = ϕξ (t) = R ∗ eitx Qξ (dx). R` Согласно теореме 3.24 Qξ = Q и, следовательно, Qξ (B1 × B2 × ... × Bn ) = Qξ1 (B1 )Qξ2 (B2 )...Qξn (Bn ) для любых B1 ∈ B(R`1 ), ..., Bn ∈ B(R`n ).  Задачи 1. Найдите характеристическую функцию N(a, σ 2 )-распределения. +∞ R itx −x2 /2 Решение. Если η ∈ N(0, 1), то ϕη (t) = √12π e e dx. Заметим, что ϕ0η (t) = √i 2π +∞ R −∞ eitx xe−x 2 /2 dx = − √i2π eitx e−x 2 /2 −∞ +∞ −∞ − √t 2π +∞ R eitx e−x 2 /2 −∞ dx = −tϕη (t). Таким образом, ϕη удовлетворяет дифференциальному уравнению ϕ0η (t) = −tϕη (t), ϕη (0) = 1. 2 Следовательно, ϕη (t) = e−t /2 . Если ξ ∈ N(a, σ 2 ), то η , ξ−a ∈ N(0, 1). Поэтому σ 1 2 2 ϕξ (t) = ϕση+a (t) = eita ϕη (σt) = eita− 2 t σ . 1 2 2 Таким образом, ϕN (a,σ2 ) (t) = eita− 2 t σ . 2. Найдите характеристическую функцию Γ(α, β)-распределения. R∞ α−1 itx−βx βα Решение. Если ξ ∈ Γ(α, β), то ϕξ (t) = Γ(α) x e dx, ϕ0ξ (t) = iβ α Γ(α) R∞ iβ α 1 xα e−(β−it)x dx = − Γ(α) xα β−it e−(β−it)x ∞ + iαβ α Γ(α)(β−it) R∞ xα−1 e−(β−it)x dx = Поэтому ϕξ удовлетворяет дифференциальному уравнению (ln ϕξ (t))0 = (−α ln(β − it))0 , ϕξ (0) = 1. Следовательно, ϕΓ(α,β) (t) = (1 − itβ )−α . 76 iα ϕ (t). β−it ξ 3. Случайные величины ξ1 ∈ N(a1 , σ12 ) и ξ2 ∈ N(a2 , σ22 ) независимы. Найдите распределение ξ1 − ξ2 и ξ1 − ξ2 . Решение. Учитывая независимость случайных величин ξ1 и ξ2 и вид характеристической функции нормального распределения найдем характеристическую функцию случайной величины ξ1 ± ξ2 : 1 2 2 1 2 2 1 2 2 2 ϕξ1 ±ξ2 (t) = Meitξ1 e−itξ2 = ϕξ1 (t)ϕξ2 (±t) = eita1 − 2 t σ1 e±ita2 − 2 t σ2 = eit(a1 ±a2 )− 2 t (σ1 +σ2 ) . Так как характеристическая функция однозначно определяет распределение, то ξ 1 ± ξ2 ∈ N(a1 ± a2 , σ12 + σ22 ). 77 4. Предельные теоремы 4.1. Закон больших чисел. Усиленный закон больших чисел Определение 4.1. Пусть (ξn )n∈N — последовательность случайных величин с конечными математическими ожиданиями. Говорят, что для последовательности (ξn )n∈N выполняется: а) закон больших чисел, если   P n n P 1 1 ξj − n Mξj = 0; P-lim n n→∞ j=1 j=1 б) усиленный закон больших чисел, если  P  n n P 1 1 lim n ξj − n M ξj = 0 n→∞ j=1 п.н. j=1 Теорема 4.1 (Чебышева). Пусть (ξn )n∈N — последовательность независимых случайных величин и sup Dξn < ∞. Тогда для последовательноn∈N сти (ξn )n∈N выполняется закон больших чисел. Доказательство. Согласно неравенству Чебышева и свойствам дисперсии n n n P P P ξj ) = ε21n2 Dξj 6 ε21n sup Dξn → 0 P{| n1 (ξj − Mξj )| > ε} 6 ε12 D( n1 j=1 j=1 при n → ∞ для любого ε > 0. j=1 n∈N  Теорема 4.2(Бернулли). Предположим, что (Ω, F , P) — вероятностное пространство, являющееся вероятностной моделью стохастического эксперимента H ; A — событие, наблюдаемое в H ; νen (A) — относительная частота события A в серии n независимых повторений эксперимента H . Тогда P-lim νen (A) = P(A). n→∞ Доказательство. Заметим, что νen (A) = 1 n n P ξj , где ξj = 1 если в j-м повто- j=1 рении H событие A произошло и ξj = 0 если не произошло. Так как ξ1 , ξ2 , ... — независимые случайные величины и Mξj = P(A), Dξj = P(A)(1 − P(A)), то утверждение теоремы Бернулли следует из теоремы Чебышева.  Теорема 4.3 (неравенство Колмогорова). Пусть ξ1 , ..., ξn — независимые случайные величины; Mξk = 0, Mξk2 < ∞, ζk = ξ1 + ... + ξk , k = 1, ..., n. Тогда n P P{ max |ζk | > a} 6 a−2 Mζn2 = a−2 Mξj2 для любого a > 0. 16k6n j=1 Доказательство. Определим события: A1 , {|ζ1 | > a}, A2 , {|ζ1 | < a, |ζ2 | > a}, Ak , {|ζ1 | < a, ..., |ζk−1 | < a, |ζk | > a}, k = 3, ..., n. 78 Очевидно, что Ai ∩ Aj = ∅ для i 6= j и n P j=1 IAj = I{ max |ζj | > a} и, значит, M 16j6n n P j=1 n S j=1 Aj = { max |ζj | > a}. Поэтому 16j6n IAj = P{ max |ζj | > a}. 16j6n Заметим, что IAj и ζj являются функциями от (ξ1 , ..., ξj ) и, следовательно, не зависят от (ξj+1 , ..., ξn ). Поэтому n n P P 2 2 IAj (ζj2 + 2ζj (ζn − ζj )) = IA j > M Mζn > Mζn j=1 j=1 =M n P j=1 > a2 M IAj ζj2 n P j=1 +2 IA j + 2 n P j=1 n P j=1 MIAj ζj MIAj ζj n P r=j+1 n P r=j+1 ξr > Mξr = a2 P{ max |ζj | > a}. 16j6n  Теорема 4.4 (Колмогорова). Пусть (ξn )n∈N — последовательность независимых случайных величин с конечными вторыми моментами и ∞ P k −2 Dξk < ∞. Тогда для (ξn )n∈N выполняется усиленный закон больших k=1 чисел. Доказательство. Нужно доказать, что m n o 1 X P lim (ξj − Mξj ) = 0 = 1. m→∞ m j=1 Введем обозначение: ηn = max n 16m62 неравенству Колмогорова −n P{2 ηn > ε} = P{ max n | 16m62 m P j=1 2n ∞ P P m P j=1 (4.1) (ξj − Mξj ) . Для любого ε > 0 согласно n −2 −2n (ξj − Mξj )| > 2 ε} 6 ε 2 2n P Dξk . Поэтому k=1 P −2n 2 . Dξk 2 Dξk = ε P{2 ηn > ε} 6 ε n >k n=1 k=1 n=1 n:2 k=1 P −2n Ряд 2 представляет собой сумму бесконечно убывающей геомет∞ P −n −2 −2n 2 ∞ P n:2n >k рической прогрессии со знаменателем 41 в которой первое слагаемое не превышает k −2 . Следовательно, ∞ ∞ P P P{2−n ηn > ε} 6 34 ε−2 k −2 Dξk < ∞ ∀ε > 0 n=1 k=1 и, значит, P(lim sup{2−n ηn > ε}) = 0 ∀ε > 0. Следовательно, n→∞ P{ lim 2−n ηn = 0} = 1. n→∞ (4.2) Заметим, что для любого m ∈ N существует такое n = n(m) ∈ N, что m P (ξj − M ξj )| 6 2−n+1 ηn . При этом, если 2n−1 6 m 6 2n и, следовательно, | m1 j=1 79 m → ∞ то n(m) → ∞, и, значит, соотношение (4.1) следует из соотношения (4.2).  Теорема 4.5 (Бореля). Пусть (Ω, F , P) — вероятностное пространство, являющееся вероятностной моделью стохастического эксперимента H ; A — событие, наблюдаемое в H ; νen (A) — относительная частота события A в серии n независимых повторений H . Тогда lim νen (A) = P(A) п.н. n→∞ Доказательство теоремы Бореля аналогично доказательству теоремы Бернулли.  Теорема 4.6 (Колмогорова). Пусть ξ1 , ξ2 , ... — независимые, одинаково распределенные случайные величины с конечным математическим ожиданием a , Mξ1 . n P Тогда lim n1 ξj = a п.н. n→∞ j=1 Доказательство. Определим величины ηn = ξn I{|ξn |6n} и ζn = ξn − ηn . Заметим, что ∞ ∞ ∞ P ∞ P P P P{ζn 6= 0} = P{|ξn | > n} = P{k < |ξ1 | 6 k + 1} = n=1 = ∞ P k=1 n=1 n=1 k=n kP{k < |ξ1 | 6 k + 1} 6 M|ξ1 | < ∞. Поэтому по теореме 1.17 P(lim sup{ζn 6= 0}) = 0 и, значит, вероятность соn→∞ бытия Ω1 , lim inf {ζn = 0} равна 1. Согласно определению нижнего предеn→∞ ла последовательности событий для любого ω ∈ Ω1 существует такой номер n P ζj = 0 п.н. n0 (ω), что ζ(ω) = 0 для всех n > n0 (ω). Следовательно, lim n1 n→∞ j=1 и, значит, для завершения доказательства теоремы достаточно показать, что n P 1 lim n ηj = a п.н. n→∞ j=1 Пусть F — функция распределения случайной величины ξ1 . Тогда ∞ ∞ ∞ Rn P P P n−2 Dηn 6 n−2 M(ηn )2 = n−2 x2 dF (x) = n=1 = ∞ P n=1 6 ∞ P n=1 n−2 n P R n=1 x2 dF (x) = k=1 k−1<|x|6k R k=1 k−1<|x|6k |x|dF (x) k ∞ P −n R x2 dF (x) k=1 k−1<|x|6k ∞ P n=k n −2 6 sup (k k∈N ∞ P n=k ∞ P n−2 6 n=k n−2 )M|ξ1 | < ∞. Следовательно, последовательность случайных величин (ηn )n∈N удовлетворяn P ет условиям теоремы Колмогорова 4.4, и поэтому lim n1 (ηj − Mηj ) = 0 п.н. n→∞ 80 j=1 Теперь применим следующее утверждение из теории пределов: если (xn )n∈N и (yn )n∈N — такие числовые последовательности, что yn < yn+1 , lim yn = ∞ и существует ждению −xn−1 lim xynn −y , n−1 n→∞ то lim xn n→∞ yn n−1 lim xynn −x . n→∞ −yn−1 = n P 1 lim Mηj = lim Mηn n→∞ n j=1 n→∞ n P ηj = a п.н.  Следовательно, lim n1 n→∞ j=1 = lim Rn n→∞ −n n→∞ Согласно этому утвер- xdF (x) = a Задачи 1. Пусть ξ1 , ξ2 , ... — независимые, одинаково распределенные случайные величины Mξ 1 = n a, Dξ1 = σ 2 . Докажите, что последовательность случайных величин ηn , ξξ12+...+ξ 2 , n ∈ N, 1 +...+ξn сходится и найдите ее предел. n P ξj = a п.н. Так как ξ12 , ξ22 , ... — независимые, одинаково Решение. По теореме 4.4 lim n1 n→∞ j=1 n P 1 ξj2 n n→∞ j=1 распределенные случайные величины и Mξ12 = a2 + σ 2 , то по теореме 4.6 lim п.н. Следовательно, lim ηn = n→∞ a a2 +σ 2 п.н. = a2 + σ 2 2. Пусть ξ1 , ξ2 , ... — независимые и равномерно распределенные на [0, 1] случайные величины, g : R 7→ R — непрерывная периодическая с периодом 1 функция. Докажите, что n R1 P g(x + ξj ) = g(t)dt п.н. для каждого x ∈ R. lim n1 n→∞ j=1 Решение. Заметим, что для каждого x ∈ R случайные величины g(x + ξ1 ), g(x + ξ2 ), ... независимы и одинаково распределены. Применяя следствие к теореме 3.15 и учитывая периR1 R1 одичность функции g получаем, что Mg(x+ξ1 ) = g(x+s)ds = g(t)dt. Применение теоремы 4.6 завершает решение задачи. 4.2. Слабая сходимость последовательностей распределений Определение 4.2. Пусть Q, Q1 , Q2 , ... — распределения на B(R` ). Последовательность распределений (Qn )n∈N слабо сходится к распределению Q (обозначение: w -lim Qn = Q), если n→∞ R R lim g(x)Qn (dx) = g(x)Q(dx) n→∞ R` R` для любой непрерывной ограниченной функции g : R` 7→ R. Согласно теореме 3.23 предел слабо сходящейся последовательности распределений является единственным. Определение 4.3. Предположим, что `-мерный случайный вектор ξ определен на вероятностном пространстве (Ω, F , P) , `-мерный случайный вектор ξn определен на вероятностном пространстве (Ωn , Fn , Pn ), n ∈ N. Последовательность (ξn )n∈N слабо сходится к случайному вектору 81 ξ (обозначение: w -lim ξn = ξ), если последовательность распределений n→∞ (Qξn )n∈N слабо сходится к распределению Qξ , т.е. lim Mn g(ξn ) = Mg(ξ) n→∞ ` для любой непрерывной ограниченной функции g : R 7→ R. Теорема 4.7. Если P-lim ξn = ξ, то w -lim ξn = ξ. n→∞ n→∞ Доказательство. Если P-lim ξn = ξ, то случайные векторы ξ, ξ1 , ξ2 , ... опреn→∞ делены на одном вероятностном пространстве. Согласно теореме 2.35 P-lim g(ξn ) = g(ξ) любой непрерывной функции g : n→∞ R` 7→ R. Поэтому lim Mg(ξn ) = Mg(ξ) для любой непрерывной ограниченной n→∞ функции g : R` 7→ R в силу теоремы 3.6. Следовательно, w -lim ξn = ξ.  n→∞ Определение 4.4. Последовательность `-мерных функций распределения (Fn )n∈N сходится в основном к функции распределения F , если lim Fn (x) = F (x) в каждой точке x непрерывности функции F . n→∞ Теорема 4.8. Пусть Q, Q1 , Q2 , ... — распределения на B(R` ). Тогда следующие условия эквивалентны: a) w -lim Qn = Q; n→∞R R b) lim g(x)Qn (dx) = g(x)Q(dx) для любой ограниченной равномерn→∞ R` R` но непрерывной функции g : R` 7→ R; c) lim sup Qn (B) 6 Q(B) для каждого замкнутого B ⊂ R` ; n→∞ d) lim inf Qn (C) > Q(C) для каждого открытого C ⊂ R` ; n→∞ e) lim Qn (A) = Q(A) для каждого множества A ∈ B(R` ), являющеn→∞ гося множеством непрерывности распределения Q (т.е. такого, что Q(∂A) = 0, где ∂A — граница A). Доказательство. Импликация a) ⇒ b) очевидна. Докажем, что b) ⇒ c). Пусть B — замкнутое подмножество R` . Определим последовательность R функций gm (x) = exp{−mρ(x, B)}, m ∈ N. Очевидно, что Qn (B) 6 gm dQn R` для любых n, m ∈ N. Так как функции gm равномерно непрерывны и ограR ничены одной константой, то lim sup Qn (B) 6 gm dQ для любого m ∈ N и n→∞ R` согласно теореме о мажорируемой сходимости lim sup Qn (B) 6 Q(B). n→∞ Если выполнено условие c), то lim inf Qn (C) = 1 − lim sup Qn (C c ) > 1 − Q(C c ) = Q(C) n→∞ n→∞ для любого открытого множества C ⊂ R` и, значит, верно d). Если выполнено условие d), то 82 lim sup Qn (B) = 1 − lim inf Qn (B c ) 6 1 − Q(B c ) = Q(B) n→∞ n→∞ для любого замкнутого множества B ⊂ R`Rи, значит, верно c). R c) ⇒ a) Достаточно показать, что lim gdQn = gdQ для любой непреn→∞ R` R` i рывной функции g : R` 7→]0, 1[. Определим множества Ak,i , { i−1 k 6 g < k }, Bk,i , { i−1 k 6 g}, i = 1, ..., k. Очевидно, что Bk,i — замкнутые множества и k S Ak,i . Заметим,что Bk,j = i=j R gdQn 6 R` R gdQ > R` k P i k Qn (Ak,i ) i=1 k P i−1 k Q(Ak,i ) i=1 = = i k P P 1 k Qn (Ak,i ) i=1 j=1 k P 1 k Q(Bk,j ) j=1 − k1 . = k P j=1 1 k Qn (Bk,j ); Поэтому k k R R P P 1 1 1 lim sup gdQn 6 lim sup Q (B ) 6 Q(B ) 6 + gdQ. n k,j k,j k k k n→∞ R` n→∞ j=1 j=1 R` R R Следовательно, lim sup gdQn 6 gdQ. Заменяя в этом неравенстве g на 1−g n→∞ R` R R R R R` получаем, что lim inf gdQn > gdQ. Следовательно, lim gdQn = gdQ. n→∞ R` n→∞ R` R` R` c) ⇒ e) Если Q(∂A) = 0, то Q(A) = Q(A \ ∂A) 6 6 lim inf Qn (A \ ∂A) 6 lim sup Qn (A ∪ ∂A) 6 Q(A ∪ ∂A) = Q(A) и, следоn→∞ n→∞ вательно, lim Qn (A) = Q(A). n→∞ e) ⇒ c) Пусть B — замкнутое множество. Для δ > 0 определим замкнутые множества Bδ , {x : %(x, B) 6 δ} и множества Aδ , {x : %(x, B) = δ}. Заметим, что ∂Bδ ⊂ Aδ и Aδ ∩Aδ0 = ∅ для δ 6= δ 0 . Следовательно, {δ : Q(Aδ ) > 0} не более чем счетно и, следовательно, существует такая последовательность δk ↓ 0, что Q(∂Bδk ) = 0 для каждого k. Так как Bδk ↓ B, то Q(B) = lim Q(Bδk ) = lim lim Qn (Bδk ) > lim sup Qn (B).  k→∞ k→∞ n→∞ n→∞ Следствие. Предположим, что F, F1 , F2 , ... — `-мерные функции распределения, а Q, Q1 , Q2 , ... — такие распределения на (R` , B(R` )), что F (x) = Q(] − ∞, x]), Fn (x) = Qn (] − ∞, x]), x ∈ R` , n ∈ N. Для того чтобы последовательность распределений (Qn )n∈N слабо сходилась к распределению Q, необходимо и достаточно, чтобы последовательность функций распределения (Fn )n∈N сходилась в основном к функции распределения F . Теорема 4.9 (Леви). 1) Пусть ϕ и ϕn — характеристические функции распределений Q и Qn на (R` , B(R` )), n ∈ N. Если w -lim Qn = Q, то n→∞ 83 lim ϕn (t) = ϕ(t), t ∈ R` . n→∞ 2) Пусть ϕn — характеристическая функция распределения Qn на ` (R , B(R` )), n ∈ N. Если существует предел ϕ(t) , lim ϕn (t), t ∈ R` , и n→∞ функция ϕ(t) непрерывна в точке t = 0, то существует такое распределение Q, что ϕ(t) является характеристической функцией распределения Q и w -lim Qn = Q. n→∞ Доказательство. 1) Если (Qn )n∈N слабо сходится к распределению Q, то согласно определению 4.2 R R lim ϕn (t) = lim cos(tx∗ )Qn (dx) + i lim sin(tx∗ )Qn (dx) = n→∞ ` n→∞ n→∞ ` R R R R ∗ ∗ = cos(tx )Q(dx) + i sin(tx )Q(dx) = ϕ(t). R` R` Доказательство утверждения 2) опирается на применение условий слабой компактности семейств распределений (см. [13], Теорема 3.3.1).  Теорема 4.10 (формула обращения для характеристических функций). Пусть ϕ — характеристическая функция распределения Q на (R` , B(R` )). Тогда Z Z n |t|2 o −` ∗ Q(B) = lim (2π) ϕ(t) exp − ity − 2 dtdy (4.3) σ→∞ 2σ B R` для каждого B ∈ B(R` ), являющегося множеством непрерывности распределения Q. Если, сверх того, ϕ абсолютно интегрируема, то существует непрерывная плотность f распределения Q и Z ∗ −` f (x) = (2π) ϕ(t)e−itx dt. (4.4) R` Доказательство. Заметим, что существуют такие независимые N(0, σ −2 )распределенные случайные величины η1 , ..., η` , независимые N(0, σ 2 )-распределенные случайные величины ζ1 , ..., ζ` и `-мерный случайный вектор ξ с распределением Q, что ξ и η , (η1 , ..., η` ) независимы. Пусть ζ , (ζ1 , ..., ζ` ). 2 Так как fη (x) = (2π)−`/2 σ ` exp { − σ2 |x|2 }, то по теореме 2.27 R R 1 2 2 fξ+η (x) = fη (x − y)Q(dy) = (2π)−`/2 σ ` e− 2 σ |x−y| Q(dy). R` R` Очевидно, что 2 1 2 2 fζ (x) = (2π)−`/2 σ −` exp { − |x| 2σ 2 }; ϕζ (t) = exp { − 2 σ |t| }. Поэтому R R it(y−x)∗ R e fζ (t)dtQ(dy) = fξ+η (x) = (2π)−`/2 σ ` ϕζ (y − x)Q(dy) = (2π)−`/2 σ ` ` ` ` R R R  R R  R ity ∗ |t|2 −itx∗ −` −`/2 ` ϕξ (t) exp { − itx∗ − 2σ e Q(dy) e fζ (t)dt = (2π) = (2π) σ 2 }dt. R` R` R` 84 Следовательно, для каждого B ∈ B(R` ) n RR −` Qξ+η (B) = (2π) ϕξ (t) exp −ity ∗ − B R` |t|2 2σ 2 o dtdy. Заметим, что Qη слабо сходится при σ → ∞ к вырожденному распределению, сосредоточенному в точке 0. Если B является множеством непрерывности распределения Q, то предельный переход по σ → ∞ в предыдущем равенстве дает соотношение (4.3). Если ϕ абсолютно интегрируема, то для каждой точки x ∈ R` непрерывности функции распределения F (x) , Q(] − ∞, x]) Rx R |t|2 −` ϕ(t) exp { − ity ∗ − 2σ F (x) = lim (2π) 2 }dtdy = σ→∞ Rx = −∞ R` ((2π)−` −∞ R R` ϕ(t) exp { − ity ∗ }dt)dy по теореме Лебега о мажорируемой сходимости. Теперь очевидно, что распределение Q имеет непрерывную плотность распределения (4.4).  Определение 4.5. Функция g : R` 7→ C называется положительно определенной, если n X g(tr − tk )zr zk > 0 (4.5) r,k=1 для любых n ∈ N, tk ∈ R` , zk ∈ C. Теорема 4.11. Если g : R` 7→ C — положительно определенная функция, то: 1) g(0) > 0; 2) g(t) = g(−t); 3) |g(t)| 6 g(0); 2 4) |g(t) − g(s)| 6 2g(0)(g(0) − Re g(t − s)). Доказательство. 1) Неравенство g(0) > 0 следует из (4.5) при n = 1, z 1 = 1. 2) При n = 2, z1 = z, z2 = 1, t1 = t, t2 = 0 из (4.5) следует, что g(0)|z|2 + g(t)z + g(−t)z + g(0) > 0 ∀z ∈ C. (4.6) Поэтому (Re g(t) + iIm g(t))z + (Re g(−t) + iIm g(−t))z ∈ R. Подставляя z = 1 получаем, что Im g(t) = −Im g(−t). Подставляя z = i получаем, что Re g(t) = Re g(−t). Следовательно, g(t) = g(−t). 3) Переписав соотношение (4.6) в виде p 2 g(−t) 2 | g(0)z + √ | + (g(0) − |g(t)| g(0) ) > 0, g(0) находим, что |g(t)| 6 g(0). 4) Полагая в (4.5) n = 3, z1 = z, z2 = −z, t1 = t, t2 = s, t3 = 0, имеем: 2[g(0) − Re g(t − s)]|z|2 + [g(t) − g(s)]zz3 + ∀z, z3 ∈ C. +[g(−t) − g(−s)]z3 z + g(0)|z3 |2 > 0 85 Следовательно, матрица ! 2[g(0) − Re g(t − s)] [g(t) − g(s)] [g(t) − g(s)] g(0) является эрмитовой и положительно определенной. Поэтому 2g(0)[g(0) − Re g(t − s)] − |g(t) − g(s)|2 > 0.  Теорема 4.12 (Бохнера). Для того, чтобы функция ϕ : R` 7→ C являлась характеристической функцией некоторого распределения необходимо и достаточно, чтобы ϕ была положительно определена, непрерывна в точке t = 0 и ϕ(0) = 1. Доказательство. Необходимость. Согласно свойствам характеристических функций ϕ(0) = 1 и ϕ равномерно непрерывна. Для любых n ∈ N, tj ∈ R` , zj ∈ C, j = 1, ..., n, имеем: n n P n n P P P ∗ ϕξ (tj − tr )zj zr = M( zj eitj ξ )( zr eitr ξ ∗ ) > 0. j=1 r=1 j=1 r=1 Достаточность. Согласно свойствам положительно определенных функций |ϕ(t)| 6 1 и ϕ равномерно непрерывна. Если z(·) : R` 7→ C — непрерывная интегрируемая функция, то R R ϕ(t − s)z(t)z(s)dtds = R` R` = lim P̀ n2 Pn n2 Pn n→∞ i,j=1 k =−n2n r =−n2n i j k ϕ( 2nj − kj ri ri −`n −`n 2 2n )z( 2n )z( 2n )2 > 0. В частности, если z(t) = exp{−ε|t|2 − itx∗ }, ε > 0, x ∈ R` , то R R ϕ(t − s) exp{−ε(|t|2 + |s|2 ) − i(t − s)x∗ }dtds > 0. R` R` Заменив переменные интегрирования: t = 21 (v + u), s = 12 (v − u), получаем, что R R ϕ(u) exp{− 2ε (|u|2 + |v|2 ) − iux∗ }dudv > 0. R` R` Следовательно, функция hε (x) , (2π)−` R R` ϕ(u) exp{− 2ε |u|2 − iux∗ }du принимает неотрицательные значения. Так как функция hε является обратным преобразованием R itx∗ Фурье непрерывε 2 ной функции ϕε (t) , ϕ(t) exp{− 2 |t| }, то ϕε (t) = e hε (x)dx. Очевидно, R` R что 1 = ϕε (0) = hε (x)dx и, значит, hε — плотность распределения, а ϕε — R` характеристическая функция. Так как lim ϕε (t) = ϕ(t), то согласно теореме ε→0 Леви ϕ — характеристическая функция некоторого распределения.  86 Задачи 1. Пусть (ξn )n∈N — последовательность случайных величин, a ∈ R. Докажите, что P-lim ξn = a тогда и только тогда, когда lim ϕξn (t) = eita . n→∞ n→∞ Решение. Если P-lim ξn = a, то P-lim exp{itξn } = exp{ita} согласно теореме 2.35. Поэтоn→∞ n→∞ му lim M exp{itξn } = M exp{ita} по теореме 3.6. n→∞ Пусть Q — распределение, сосредоточенное в точке a, т.е. Q({a}) = 1 и Q(B) = 0 для любого такого B ∈ B(R), что a ∈ / B. Очевидно, что eita — характеристическая функция распределения Q. Если lim ϕξn (t) = eita , то по теореме 4.9 w -lim Qξn = Q. Так как для любого ε > 0 множеn→∞ n→∞ ство {x : |x − a| > ε} является замкнутым подмножеством R, то согласно теореме 4.8 0 6 lim inf P{|ξn − a| > ε} 6 lim sup P{|ξn − a| > ε} = n→∞ n→∞ = lim sup P{ξ ∈ {x : |x − a| > ε}} 6 Q({x : |x − a| > ε}) = 0, n→∞ откуда следует, что lim P{|ξn − a| > ε} = 0. n→∞ 2. Известно, что Q, Q1 , Q2 , ... — абсолютно непрерывные распределения на (R` , B(R` )) и f, f1 , f2 , ... — соответствующие плотности. Последовательность плотностей f n сходится к плотности f почти всюду. Докажите, что последовательность распределений Q n слабо сходится к распределению Q. Решение. Для любой непрерывной функции g : R` 7→ [−1, 1] R R R R gdQn − gdQ 6 |fn (x) − f (x)|dx 6 2 (f (x) − fn (x))dx. R` R` Так как |f (x) − R` (x) fn (x)|I{f >fn } {f >fn } 6 f (x), то lim n→∞ R {f >fn } (f (x) − fn (x))dx = 0 согласно теореме Лебега о мажорируемой сходимости. Следовательно, w -lim Qn = Q. n→∞ 4.3. Центральная предельная теорема для последовательности независимых одинаково распределенных случайных величин Данный и следующий за ним разделы посвящены теоремам о достаточных условиях асимптотической гауссовости суммы большого числа независимых малых случайных слагаемых. Такие теоремы называют центральными предельными теоремами. Они являются теоретической основой широко применяемого в приложениях предположения о гауссовости ошибок измерений. Теорема 4.13 (центральная предельная теорема для последовательности независимых одинаково распределенных случайных величин). Пусть (ξn )n∈N — последовательность независимых одинаково расn P пределенных случайных величин, Mξ1 = 0, Dξ1 = 1, ζn , √1n ξj , j=1 n ∈ N. Тогда распределение ζn слабо сходится к N(0, 1)-распределению (ζn имеет асимптотически нормальное распределение с параметрами 0 и 1). 87 Доказательство. Покажем вначале, что если ξ — случайная величина с Mξ = 0, Dξ = 1, то в представлении характеристической функции ϕξ в ви2 де ϕξ (t) = 1 − t2 (1 − ε(t)) комплекснозначная функция ε(t) удовлетворяет условиям: |ε(t)| 6 2, lim ε(t) = 0. t→0 Заметим, что |e − 1| 6 min(2, |θ|) для θ ∈ R. Так как Rθ iu (e − 1)du = 1i (eiθ − 1 − iθ), iθ то учитывая предыдущее неравенство получаем, что R|θ| 2 iθ |e − 1 − iθ| 6 min(2, u)du 6 min(2|θ|, |θ|2 ). Далее, Rθ 1 − iθ + θ2 2| (eiu − 1 − iu)du = 1i (eiθ − 1 − iθ + 6 R|θ| 2 min(2u, u2 )du 6 2 θ2 2 θ2 2) и, следовательно, |eiθ − min(2, |θ| 3 ). Поэтому t2 ξ 2 2 )| |tξ| t2 2 2 M ξ min(2, 3 ). 2 2 = (ϕξ (t) − 1 + t2 )/( t2 ), t 6= 0. В силу предше6 Mξ 2 min(2, |tξ| 3 ) 6 2 и по теореме Лебега о |ϕξ (t) − 1 + t2 | = |M (eitξ − 1 − itξ + 6 Рассмотрим функцию ε(t) ствующих рассуждений |ε(t)| мажорируемой сходимости lim ε(t) = 0. t→0 Учитывая доказанные свойства функции ε(t), имеем n Q t2 n t2 ϕζn (t) = (1 − ε( √tn ))) → e− 2 при n → ∞. ϕξ1 ( √tn ) = (1 − 2n j=1 Таким образом последовательность характеристических функций ϕζn (t) сходится к характеристической функции N(0, 1)-распределения и согласно теореме Леви ζn слабо сходится к N(0, 1)-распределению.  Теорема 4.14 (Муавра–Лапласа). Пусть ηn — число успехов в серии n независимых испытаний Бернулли с вероятностью успеха p, 0 < p < 1, q
n ηn q = 1 − p. Тогда pq n − p имеет асимптотически нормальное рас- пределение с параметрами 0 и 1. Доказательство. Заметим, что ηn = ν1 + ... + νn , где νj = 1, если j-е испытание завершилось успехом, и νj = 0, если неудачей. Очевидно, ν1 , ν2 , ... – независимые, одинаково распределенные случайные величины, M νj = p, ν −p Dνj = pq. Случайные величины ξj , √j pq , j = 1, 2, ..., удовлетворяют условиq n
ηn −np P n ηn √1 √ ям теоремы 4.13 и так как − p = = ξj , то распределеpq n npq n j=1 q
n ηn ние pq n − p слабо сходится к N(0, 1)-распределению.  88 Слабая сходимость последовательности распределений ζn к N(0, 1)-распределению эквивалентна соотношению: lim P{a < ζn < b} = FN(0,1) (b) − FN(0,1) (a) ∀a < b, n→∞ где FN(0,1) (x) = Rx −∞ 2 √1 e−t /2 dt. 2π Очевидно, что FN(0,1) (x) = 21 + Φ(x), где Φ — такая нечетная функция, что Rx 1 x2 /2 Φ(x) , √2π e dx для x > 0 (функция Лапласа) и Φ(x) , −Φ(−x) для x < 0. Значения функции Лапласа приведены в Приложении. Задачи 1. Пусть η1 , η2 , ... — последовательность независимых одинаково распределенных случайn P √ ηj − na. Доканых величин с конечным вторым моментом, a , Mη1 , σ 2 , Dη1 , ζn , √1n j=1 жите, что ζn имеет асимптотически нормальное распределение с параметрами 0 и σ 2 . Решение. Очевидно, что последовательность случайных величин ξ n , ηnσ−a , n ∈ N, удовлеn P ξj имеет асимптотически творяет условиям теоремы 4.13. Поэтому случайная величина √1n нормальное распределение с параметрами 0 и 1. Так как ζn = j=1 n P σ √1n ξj , j=1 то распределение ζn слабо сходится к N(0, σ 2 )-распределению. 2. Вероятность события A, наблюдаемого в стохастическом эксперименте H , равна p (0 < p < 1). Оцените вероятность того, что в серии n (n — большое число) независимых повторений эксперимента H количество ηn появлений события A будет: 1) меньше числа k > 0; 2) больше числа ` > 0; 3) меньше числа ` и больше числа k (0 < k < `). Найдите значения этих оценок для n = 5000, p = 0.2, k = 900, ` = 1050. Решение. Согласно предельной теореме Муавра–Лапласа:  o  n ≈ 21 + Φ √k−np ; αk , P{ηn < k} = P √ηn −np < √k−np np(1−p) np(1−p)  np(1−p)  β` , P{ηn > `} ≈ 21 − Φ √ `−np ;  np(1−p)    γk,` , P{k < ηn < `} ≈ Φ √ `−np − Φ √k−np . np(1−p) np(1−p) Если n = 5000, p = 0.2, k = 900, ` = 1050, то α900 ≈ 21 + Φ(−3.536) ≈ 0.0002, β1050 ≈ 12 − Φ(1.768) ≈ 0.0375, γ900,1050 ≈ Φ(1.768) − Φ(−3.536) ≈ 0.962. 3. Вероятность события A, наблюдаемого в стохастическом эксперименте H , равна p (0 < p < 1). Оцените вероятность того, что в результате проведения серии n (n — большое число) независимых повторений эксперимента H абсолютная величина отклонения относительной частоты события A от вероятности p будет меньше данного ε > 0. Найдите значение этой оценки для n = 10000, p = 0.5 и ε = 0.01. Решение. Относительная частота события A равна ηn /n, где ηn — количество появлений события A в серии n повторений эксперимента H . Согласно предельной теореме Муавра– Лапласа: 89 n o  q  q n n α , P{| ηnn − p| < ε} = P | √ηn −np | < ε p(1−p) ≈ 2Φ ε p(1−p) . np(1−p) Если n = 10000, p = 0.5 и ε = 0.01, то α ≈ 2Φ(2) ≈ 0.96. 4.4. Центральные предельные теоремы для последовательностей серий случайных величин В данном разделе постоянно будем рассматривать последовательности серий случайных величин (4.7) ({ξn,1 , ξn,2 , ..., ξn,mn })n∈N , удовлетворяющие условиям: для каждого n случайные величины ξn,1 , ..., ξn,mn mn P 2 2 независимы, Mξn,k = 0, σn,k , Dξn,k < ∞, σn,k = 1. k=1 Определение 4.6. Последовательность (4.7) серий случайных величин называется стандартной, если выполнено условие: 2 = 0. lim max σn,k n→∞ 16k6mn Для стандартной последовательности серий случайных величин очевидно, что lim mn = ∞. n→∞ Пусть ϕn,k — характеристическая функция случайной величины ξn,k ; mn P ζn = ξn,k ; ϕn — характеристическая функция ζn . Очевидно, что k=1 ϕn (t) = ϕn,1 (t) · ... · ϕn,mn (t). Теорема 4.15. Предположим, что последовательность серий случайных величин (4.7) является стандартной. Тогда   mn P lim ln ϕn (t) − (ϕn,k (t) − 1) = 0. n→∞ k=1 Доказательство. Для комплексных z из круга |z| < 1 R|z| x Rz 1 − 1)dx 6 1+x dx 6 | ln(1 + z) − z| = ( 1+x |z|2 1+|z| . 2 Для любого t ∈ R существует такой номер n0 = n0 (t), что max (t2 σn,k )<2 2 для всех n > n0 (t). Так как |e − 1 − iθ| 6 θ2 , 2 |ϕn,k (t) − 1| = |M(eitξn,k − 1 − itξn,k )| 6 M 12 t2 ξn,k iθ 16k6mn то 2 = 21 t2 σn,k <1 для всех n > n0 (t). Учитывая данные замечания получаем, что mn mn P P | ln ϕn (t) − (ϕn,k (t)−1)| 6 | ln[1 + (ϕn,k (t)−1)] − (ϕn,k (t)−1)| 6 k=1 k=1 90 6 mn P k=1 |ϕn,k (t)−1|2 1+|ϕn,k (t)−1| 6 mn P k=1 4 t4 σn,k 4 6 t4 2 max σn,k 4 16k6m n → 0 при n → 0. Определим последовательность функций Gn (x) , mn Rx P k=1 −∞  y 2 dFξn,k (y), n ∈ N. Тогда Gn (x) — непрерывная справа возрастающая функция, Gn (−∞) = 0 и mn P 2 Gn (+∞) = σn,k = 1. Следовательно, Gn (x) — функция распределения. k=1 Теорема 4.16. Предположим, что последовательность серий случайных величин (4.7) является стандартной и последовательность функций распределения (Gn )n∈N сходится в основном к функции распределения G. Тогда распределение ζn слабо сходится к распределению с характеристической функцией +∞ R ϕ(t) = exp { ht (x)dG(x)}, −∞ 2 где ht (x) = (eitx − 1 − itx)x−2 при x 6= 0, ht (0) = − t2 , t ∈ R. + t2 | 6 t2 min(2, |tx| lim ht (x) = ht (0). Доказательство. Так как | e −1−itx x2 3 ), то x→0 Таким образом, для каждого t ∈ R функция ht : R 7→ C непрерывна и ограничена. Заметим, что mn mn P P M (eitξn,k − 1 − itξn,k ) = (ϕn,k (t) − 1) = 2 itx k=1 mn +∞ R P = 2 k=1 ht (x)x2 dFn,k (x) = k=1 −∞ +∞ R ht (x)dGn (x). −∞ Для каждого t ∈ R, учитывая непрерывность и ограниченность функции x 7→ ht (x) и применяя теорему 4.15, имеем +∞ +∞ R R ht (x)G(dx) = lim ht (x)Gn (dx) = −∞ = lim mn P n→∞ k=1 n→∞ −∞ (ϕn,k (t) − 1) = lim ln ϕn (t). n→∞ Следовательно, lim ϕn (t) = exp{ n→∞ завершает доказательство.  +∞ R ht (x)G(dx)}. Применение теоремы Леви −∞ Теорема 4.17 (Линдеберга). Предположим, что последовательность серий случайных величин (4.7) удовлетворяет условию Линдеберга: mn P 2 lim Mξn,k I{|ξn,k | > c} = 0 ∀c > 0. n→∞ k=1 Тогда ζn имеет асимптотически нормальное распределение с параметрами 0 и 1. 91 Доказательство. Для любого c > 0 2 2 2 2 σn,k = Mξn,k I{|ξn,k | < c} + Mξn,k I{|ξn,k | > c} 6 c2 + Mξn,k I{|ξn,k | > c}. m Pn 2 2 Поэтому max σn,k 6 c2 + Mξn,k I{|ξn,k | > c}. 16k6mn k=1 Применяя условие Линдеберга и учитывая произвольность константы c > 2 0, имеем равенство lim max σn,k = 0. Таким образом, условие Линдеберга n→∞ 16k6mn влечет стандартность последовательности серий (4.7). mn P 2 Заметим, что Gn (x) = Mξn,k I{ξn,k 6x} . Если x > 0, то k=1 Gn (x) = mn P k=1 2 2 (Mξn,k − Mξn,k I{ξn,k >x} ) > 1 − Если x < 0, то Gn (x) 6 mn P k=1 mn P k=1 2 Mξn,k I{|ξn,k |>x} . 2 Mξn,k I{|ξn,k |>|x|} . Следовательно, последователь- ность функций распределения (Gn )n∈N сходится в основном к функции рас(·) пределения G(·) = I[0,∞[ . В силу теоремы 4.16 и свойств интеграла ЛебегаСтилтьеса +∞ R t2 lim ϕζn (t) = exp { ht (x)dG(x)} = e− 2 . n→∞ −∞ Согласно теореме Леви распределение ζn слабо сходится к N(0, 1)-распределению.  Теорема 4.18 (Ляпунова). Пусть последовательность серий случайных величин (4.7) удовлетворяет условию Ляпунова: mn P M |ξn,k |2+δ = 0 при некотором δ > 0. lim n→∞ k=1 Тогда ζn асимптотически нормальна с параметрами 0 и 1. 2+δ 2 Доказательство. Применяя неравенство Гельдера с p = затем неравенство Чебышева, получим 2 M|ξn,k | I{|ξn,k |>c} 6 (M|ξn,k | 2+δ 2 ) 2 2+δ иq = 2+δ δ и δ (P{|ξn,k | > c}) 2+δ 6 δ 6 (M|ξn,k |2+δ ) 2+δ (c−2−δ M|ξn,k |2+δ ) 2+δ = c−δ M|ξn,k |2+δ . Следовательно, ({ξn,1 , ..., ξn,mn })n∈N удовлетворяет условию Линдеберга.  Задачи 1. Известно, что последовательность случайных величин ξ1 , ξ2 , ... удовлетворяют условиям теоремы 4.13 и ξn,k , √1n ξk , k = 1, ..., n, n ∈ N. Докажите, что ({ξn,k , k = 1, ..., n})n∈N — стандартная последовательность серий случайных величин, удовлетворяющая условию Линдеберга. 92 Решение. Независимость случайных величин ξn,1 , ..., ξn,n следует из независимости слуn P чайных величин ξ1 , ..., ξn и теоремы 2.23. Очевидно, что Mξn,k = 0, Dξn,k = n1 , Dξn,k = 1, k=1 lim max Dξn,k = 0. n→∞ 16k6mn √ Если F — функция распределения ξ1 , то Fξn,k (x) = F ( nx). Поэтому mn R R P √ t2 2 dF (t) → 0 Mξn,k I{|ξn,k | > c} = n x2 dF ( nx) = n k=1 √ {|t|>c n} {|x|>c} при n → 0 по теореме Лебега о мажорируемой сходимости. n n P P Заметим, что так как √1n ξn,k , то теорема 4.13 следует из теоремы 4.17. ξj = j=1 k=1 2. Пусть ξ1 , ξ2 , ... — независимые случайные величины с конечными вторыми моментами, n n P P ak , Mξk , σk2 , Dξk , Sn2 , σk2 , ζn = ξk . Докажите, что если выполнено условие k=1 k=1 n 1 X lim 2 M(ξk − ak )2 I{|ξk −ak |>cSn } = 0 n→∞ Sn k=1 то ζn√−Mζn Dζn (4.8) ∀c > 0, имеет асимптотически нормальное распределение с параметрами 0 и 1. ξk −ak , k = 1, ..., n, n ∈ N. ОчеSn n P 2 σn,k = 1, условие (4.8) σk2 /Sn2 , k=1 Решение. Рассмотрим семейство случайных величин ξn,k , 2 видно, что ξn,1 , ..., ξn,n независимы, Mξn,k = 0, σn,k , Dξn,k = в новых обозначениях имеет вид: n P 2 Mξn,k I{|ξn,k | > c} = 0 ∀c > 0. Таким образом,   удовлетворяет условию последовательность серий случайных величин {ξn,1 , ..., ξn,mn } n∈N n P n n Линдеберга. Так как ζn√−Mζ ξn,k , то согласно теореме 4.17 ζn√−Mζ = имеет асимптотичеDζn Dζn lim n→∞ k=1 k=1 ски нормальное распределение с параметрами 0 и 1. 3. Пусть ξ1 , ξ2 , ... — независимые случайные величины, ξ1 ∈ N(0, 1), ξm ∈ N(0, 2m−2 ) для n P ξn,k для n = 1, 2, .... Докажите, что: ζn m = 2, 3, ..., ξn,k = 2(1−n)/2 ξk для k = 1, ..., n, ζn = k=1 асимптотически нормальна с параметрами 0 и 1; последовательность серий случайных величин ({ξn,k , k = 1, ..., n})n∈N не удовлетворяет условию Линдеберга. Решение. Для каждого фиксированного n ∈ N случайные величины ξ n,1 , ..., ξn,n независиn n P P Dξn,k = 2−n+1 + 2−n+k−1 = 1. мы, ξn,1 ∈ N(0, 2−n+1 ), ξn,k ∈ N(0, 2−n+k−1 ) для k = 2, ..., n, k=1 Поэтому ϕζn (t) = n Q k=1 ϕξn,k (t) = n Q k=1 exp{− 12 t2 Dξn,k } = exp{−t2 /2} и, значит, ζn ∈ N(0, 1). Так как n P 2 Mξn,k I{|ξn,k | > c} > c2 P{|ξn,n | > c} = c2 k=1 k=2 R {|x|>c} 2 √1 e−x dx, π то рассматриваемая последовательность серий случайных величин не удовлетворяет условию Линдеберга. 93 5. Условные вероятности 5.1. Вводные замечания Пусть (Ω, F , P) — некоторое вероятностное пространство. В дальнейшем во всех определениях и утверждениях этого раздела будем постоянно предполагать, если иное не оговорено особо, что все рассматриваемые события являются элементами σ-алгебры F , все классы событий содержатся в F , а все случайные величины (п.н. конечные F |B(R)-измеримые функции) являются интегрируемыми или п.н. неотрицательными. Определение 5.1. Если P(B) 6= 0, то условной вероятностью события A относительно события B (при условии, что событие B произошло) называется P(A|B) = P(A∩B) P(B) . Замечание 5.2. (Ω, F , P(·|B)) — вероятностное пространство. Определение 5.3. Если P(B) 6= 0, то условным математическим ожиданием случайной величины ξ относительно события B (при условии, R что событие B произошло) называется M(ξ|B) = ξ(ω)P(dω|B). Ω Теорема 5.4. Если P(B) 6= 0 и случайная величина ξIB принимает положительные значения или по крайней мере одна из случайных величин ξ + IB или ξ − IB интегрируема, то справедливо равенство M(ξ|B) = MIB ξ . P(B) (5.1) Доказательство. Если ξ = IA , A ∈ F , то равенство (5.1) превращается в очевидное: P(A|B) = P(A∩B) P(B) . Очевидно, что класс Ξ случайных величин ξ, для которых равенство (5.1) верно, является линейным. Поэтому Ξ вместе с индикаторами F -измеримых множеств содержит и их линейные комбинации, т.е. содержит F -измеримые простые случайные величины. Если ξ ∈ F |B([0, ∞]), то существует такая последовательность простых F -измеримых случайных величин (ξn )n∈N , что 0 6 ξn (ω) 6 ξn+1 (ω) 6 ξ(ω) и lim ξn (ω) = ξ(ω). Так как ξn ∈ Ξ, то в силу теоремы о монотонной сходимости n→∞ ξ ∈ Ξ. Следовательно, ξ + IB , ξ − IB ∈ Ξ для любой случайной величины ξ. Если по крайней мере одна из случайных величин ξ + IB или ξ − IB интегрируема, то + MIB ξ − − Bξ вычитая из равенства M(ξ + |B) = MI равенство M(ξ |B) = P(B) P(B) получаем (5.1). Замечание 5.5. Если ξ — `-мерный случайный вектор, g(·) : R` 7→ R — борелевская функция, M|g(ξ)| < ∞, B ∈ B(R` ), то 94 M(g(ξ)|{ξ ∈ B}) = (ξ) MIB g(ξ) P{ξ∈B} = 1 Qξ (B) R g(x)Qξ (dx). B Если, сверх того, существует плотность распределения fξ случайного R −1 R g(x)fξ (x)dx. вектора ξ, то M(g(ξ)|{ξ ∈ B}) = ( fξ (x)dx) B B Если же ξ — дискретный случайный вектор, Xξ — конечное или счетное множество значений ξ и pξ (x) , P{ξ = x}, x ∈ Xξ , то P P −1 g(x)pξ (x). pξ (x)) M(g(ξ)|{ξ ∈ B}) = ( x∈B∩Xξ x∈B∩Xξ Следующий пример показывает, что для решения некоторых задач теории вероятностей необходимо вычислять условные математические ожидания и вероятности в том случае, когда P(B) = 0, и в этом смысле определения 5.1 и 5.3 являются недостаточными. Пример. Пусть ξ — равномерно распределенная на интервале [0, 1] случайная величина, наблюдаемая в некотором стохастическом эксперименте. Если в результате проведения этого эксперимента ξ приняла значение x, то проводится серия n независимых испытаний с вероятностью успеха x. Пусть η — количество успехов в этой схеме Бернулли. Чему равны P(η = k|ξ = x) и M(η|ξ = x)? Так как P(ξ = x) = 0, то эти величины невозможно вычислить при помощи определений 5.1 и 5.3, хотя интуитивно ясно, что P(η = k|ξ = x) = Cnk xk (1 − x)n−k , M(η|ξ = x) = nx. Определяя условную вероятность P{A|C } и условное математическое ожидание M{ξ|C } относительно произвольной σ-алгебры C ⊂ F будем исходить из следующих интуитивных представлений: F — это класс наблюдаемых событий эксперимента H ; C — класс наблюдаемых событий эксперимента HC ; включение C ⊂ F означает, что эксперимент H является более информативным по сравнению с экспериментом HC (в H наблюдаются все события, наблюдаемые в HC ). Условная вероятность P{A|C } представляет собой вероятность события A, наблюдаемого в эксперименте H , при условии, что фиксирован результат эксперимента HC . Так как P{A|C } зависит от исхода эксперимента HC , то P{A|C } должна представлять собой C -измеримую (наблюдаемую в эксперименте HC ) случайную величину. При этом, если A ∈ C (A наблюдается в HC ), то должно выполняться равенство P{A|C } = I(A) (если результат эксперимента HC фиксирован, то известно произошло событие A или нет). Аналогично, условное математическое ожидание M{ξ|C } должно являться C -измеримой случайной величиной, а если ξ — C -измерима, то M{ξ|C } = ξ. 95 5.2. Условные математические ожидания относительно произвольной σ-алгебры Теорема 5.6. Пусть (Ω, F , µ) — измеримое пространство с мерой; C — σ-алгебра; C ⊂ F ; ξ и η — C |B(R)-измеримые µ-интегрируемые или µ-почти всюду положительные функции. Тогда: R R 1) если ξdµ 6 ηdµ для любого C ∈ C , то ξ 6 η µ-почти всюду; C C R R 2) если ξdµ = ηdµ для любого C ∈ C , то ξ = η µ-почти всюду. C C Определение 5.7. Пусть (Ω, F , P) — вероятностное пространство; C — σ-алгебра; C ⊂ F ; ξ ∈ F |B(R); M|ξ| < ∞ или ξ > 0 п.н. Условным математическим ожиданием случайной величины ξ относительно σ-алгебры C называется такая C |B(R)-измеримая случайная величина M{ξ|C }, что: MξIC = MM{ξ|C }IC ∀C ∈ C . (5.2) Теорема 5.8. Условное математическое ожидание M{ξ|C } существует и п.н. единственно. R Доказательство. Функция множеств Q(C) = C ξdP, C ∈ C , является σконечным зарядом, абсолютно непрерывным относительно меры P(·). В силу теоремы Радона–Никодима существует такой класс C -измеримых Rслучайных b каждые две из которых п.н. совпадают, что Q(C) = b величин ξ, C ξdP для любого C ∈ C . Произвольный представитель этого класса может быть взят в качестве условного математического ожидания M{ξ|C }.  Определение 5.9. Условной вероятностью события A относительно σ-алгебры C называется P{A|C } = M{IA |C }. Замечание 5.10. Определение 5.9 эквиваленто следующему: условной вероятностью события A относительно σ-алгебры C называется такая C -измеримая случайная величина P{A|C }, что P(A ∩ C) = MP{A|C }IC для любого C ∈ C . Доказательство. Если P{A|C } , M{IA |C }, то P{A|C } — C -измеримая случайная величина и P(A ∩ C) = MIA IC = MIC M{IA |C } = MIC P{A|C } ∀C ∈ C . Если P{A|C } — C -измеримая случайная и P(A ∩ C) = MP{A|C }IC ∀C ∈ C , то MP{A|C }IC = P(A ∩ C) = MIA IC = MIC M{IA |C } ∀C ∈ C и согласно теореме 5.6 P{A|C } = M{IA |C } п.н.  96 Теорема 5.11 (Свойства условных математических ожиданий). (M1 ) Mξ = MM{ξ|C }, P(A) = MP{A|C }. Доказательство. Следует из (5.2) при C = Ω. (M2 ) Если ξ ∈ C |B(R), то M{ξ|C } = ξ п.н.; в частности, если a — константа, то M{a|C } = a п.н. Если A ∈ C , то P{A|C } = IA п.н. Доказательство. Следует из определения 5.7 и теоремы 5.6.  (M3 ) Если a — константа, то M{aξ|C } = aM{ξ|C } п.н. Доказательство. Для любого A ∈ C MIA M{aξ|C } = MIA aξ = aMIA ξ = aMIA M{ξ|C } = MIA (aM{ξ|C }). Согласно теореме 5.6 M{aξ|C } = aM{ξ|C }.  (M4 ) Если ξ, η — интегрируемые или п.н. положительные случайные величины, то M{ξ + η|C } = M{ξ|C } + M{η|C } п.н. Если A ∩ B = ∅, то P{A ∪ B|C } = P{A|C } + P{B|C } п.н. Доказательство. Для любого A ∈ C MIA M{ξ + η|C } = MIA (ξ + η) = MIA ξ + MIA η = = MIA M{ξ|C } + MIA M{η|C } = MIA (M{ξ|C } + M{η|C }). Согласно теореме 5.6 M{ξ + η|C } = M{ξ|C } + M{η|C } п.н.  (M5 ) Если ξ 6 η п.н., то M{ξ|C } 6 M{η|C } п.н. Доказательство. MIA M{ξ|C } = MIA ξ 6 MIA η = MIA M{η|C } для любого A ∈ C . Согласно теореме 5.6 M{ξ|C } 6 M{η|C } п.н.  (M6 ) |M{ξ|C }| 6 M{|ξ| |C } п.н. Доказательство. Из очевидного неравенства −|ξ| 6 ξ 6 |ξ| согласно (M 3 ) и (M5 ) следует, что −M{|ξ||C } 6 M{ξ|C } 6 M{|ξ||C }.  (M7 ) Если C1 ⊂ C2 , то M{M{ξ|C2 }|C1 } = M{ξ|C1 } п.н., M{P{A|C2 }|C1 } = P{A|C1 } п.н. Доказательство. Для любого A ∈ C1 MIA M{M{ξ|C2 }|C1 } = MM{ξ|C2 }IA = MIA ξ = MIA M{ξ|C1 }. Согласно теореме 5.6 M{M{ξ|C2 }|C1 } = M{ξ|C1 } п.н.  (M8 ) Если ξ и C независимы, то M{ξ|C } = Mξ п.н. Если A и C независимы, то P{A|C } = P(A) п.н. Если C0 = {∅, Ω}, то M{ξ|C0 } = Mξ п.н. и P{A|C0 } = P(A) п.н. для любой интегрируемой или п.н. положительной случайной величины ξ и любого события A. Доказательство. MIA M{ξ|C } = MIA ξ = MIA Mξ для любого A ∈ C . Согласно теореме 5.6 M{ξ|C } = Mξ п.н.  (M9 ) Если 0 6 ξn 6 ξn+1 п.н., n ∈ N, то lim M{ξn |C } = M{ lim ξn |C } п.н. n→∞ n→∞ Доказательство. MIA lim M{ξn |C } = lim MIA M{ξn |C } = lim MIA ξn = n→∞ n→∞ n→∞ = MIA lim ξn = MIA M{ lim ξn |C } для любого A ∈ C . Согласно теореме 5.6 n→∞ n→∞ 97 lim M{ξn |C } = M{ lim ξn |C } п.н.  n→∞ n→∞ (M10 ) Если η ∈ C |B(R), то M{ξη|C } = ηM{ξ|C } п.н. Доказательство. Предположим, что ξ > 0, η > 0 и пусть ηn , n2 Pn r=1 (r−1)2−n IBn,r , Bn,r , {(r−1)2 6 η < r2 }. Очевидно, что (ηn )n∈N — возрастающая последовательность простых случайных величин, сходящаяся п.н. к η, и Bn,r ∈ C . Для любого A ∈ C n2 Pn MIA M{ξηn |C } = MIA ξηn = (r − 1)2−n MIA∩Bn,r ξ = −n = n2 Pn r=1 −n r=1 (r − 1)2−n MIA∩Bn,r M{ξ|C } = MIA ηn M{ξ|C }. Переходя в этом равенстве к пределу по n → ∞ и применяя свойство (M 9 ), имеем соотношение MIA M{ξη|C } = MIA ηM{ξ|C } ∀A ∈ C . Следовательно, (M10 ) имеет место для положительных ξ и η. В общем случае, так как случайные величины η + и η − C -измеримы и принимают положительные значения, то M{ξη|C } = M{ξ + η + − ξ + η − − ξ − η + + ξ − η − )|C } = η + M{ξ|C } − η − M{ξ|C } = ηM{ξ|C }.  (M11 ) Если (An )n∈N , — последовательность попарно несовместных ∞ ∞ S P событий, то P{ An |C } = P{An |C } п.н. (Неверно утверждать, n=1 n=1 что P{·|C }(ω) при некотором ω ∈ Ω является вероятностной мерой!) Доказательство. Следует из свойств (M3 ) и (M8 ): ∞ n ∞ S S P n P{ An |C } = M{ lim I S |C } = lim P{ Aj |C } = P{An |C }.  n=1 Aj n→∞ n→∞ j=1 j=1 n=1 (M12 ) (Неравенство Йенсена) Если ξ : Ω 7→ (a, b), (g(t))t∈(a,b) — выпуклая функция и M|g(ξ)| < ∞, то M{g(ξ)|C } > g(M{ξ|C }). Доказательство. В силу выпуклости g для любого x0 ∈ (a, b) существует такое α(x0 ) ∈ R, что g(x) > g(x0 ) + α(x0 )(x − x0 ) ∀x ∈ (a, b). Поэтому g(ξ(ω)) > g(M{ξ|C }) + α(M{ξ|C })(ξ(ω) − M{ξ|C }). Применяя операцию M{•|C } к обеим частям последнего неравенства, получаем неравенство Йенсена.  (M13 ) Если Mξ 2 < ∞, то inf {M(ξ − ζ)2 | ζ ∈ C |B(R)} = M(ξ − M{ξ|C })2 . (5.3) Доказательство. Если ζ ∈ C |B(R), то применяя свойства (M1 ) и (M10 ), получим: M(ξ − M{ξ|C })(M{ξ|C } − ζ) = MM{(ξ − M{ξ|C })(M{ξ|C } − ζ)|C } = = M(M{ξ|C } − ζ)M{ξ − M{ξ|C }|C } = 0. Поэтому M(ξ − ζ)2 = M(ξ − M{ξ|C })2 + M(M{ξ|C } − ζ)2 и, следовательно, верно равенство (5.3).  98 (M14 ) Если E = σ{Ej , j ∈ J}, где J — конечное или S счетное множество, Ej ∈ F , P(Ej ) > 0, Ei ∩ Ej = ∅ для i 6= j, Ej = Ω, (E — j∈J простая σ-алгебра), то условное математическое ожидание P случайной величины ξ относительно E имеет вид: M{ξ|E } = M(ξ|Ej )IEj j∈J п.н. В частности, P условная вероятность события A относительно E равна P{A|E } = P(A|Ej )IEj п.н. j∈J Доказательство. Так как M{ξ|E } — E -измеримая случайная величина, то P M{ξ|E } допускает представление: M{ξ|E } = aj IEj , (aj )j∈J ⊂ R. j∈J P aj IEj должно выполСогласно определению 5.7 равенство MξIC = MIC j∈J няться для всех C ∈ E . При C = Er имеем MξIEr = ar P(Er ), откуда следует, Er что ar = MξI P(Er ) = M(ξ|Er ).  Согласно теореме 3.13 пространство L2 (Ω, F , P) со скалярным произведением hξ, ηi = Mξη является Гильбертовым. Если C ⊂ F , то L2 (Ω, C , P) — линейное полное подпространство L2 (Ω, F , P). Замечание 5.12. M{ξ|C } — проекция элемента ξ ∈ L2 (Ω, F , P) на L2 (Ω, C , P). Доказательство. Если ξ ∈ L2 (Ω, F , P), то в силу неравенства Йенсена 2 M(M{ξ|C }) 6 MM{ξ 2 |C } = Mξ 2 < ∞ и, значит, M{ξ|C } ∈ L2 (Ω, C , P). Если η ∈ L2 (Ω, C , P), то M(M{ξ|C } − ξ)η = MM{(M{ξ|C } − ξ)η|C } = MηM{M{ξ|C } − ξ|C } = 0. Таким образом h(M{ξ|C } − ξ), ηi = 0 для любого η ∈ L2 (Ω, C , P).  Теорема 5.13. Пусть ξ ∈ L(Ω, F , P), P — π-класс элементов F , C = σ(P), ξˇ — такая C -измеримая случайная величина, что ˇ A ∀A ∈ P. Тогда ξˇ = M{ξ|C } п.н. Mξ = Mξˇ и MξIA = MξI ˇ C } содержит πДоказательство. Класс событий D , {C : MξIC = MξI класс P и является d-классом: (i) Ω ∈ D; (ii) если C1 ⊂ C2 , C1 , C2 ∈ D, ˇ C − MξI ˇ C = MξI ˇ C \C и, следовательно, то MξIC2 \C1 = MξIC2 − MξIC1 = MξI 2 1 2 1 ∞ S Cn , то в силу C2 \ C1 ∈ D; (iii), если Cn ⊂ Cn+1 , Cn ∈ D, n ∈ N, C = n=1 ˇ C = MξI ˇC теоремы о монотонной сходимости MξIC = lim MξICn = lim MξI n n→∞ n→∞ и, следовательно, C ∈ D. Поэтому, D содержит σ-алгебру C .  Определение 5.14. Функция PC (B, ω) : F × Ω 7→ [0, 1] называется регулярной условной вероятностью относительно σ-алгебры C , если: 1) для каждого ω ∈ Ω функция множеств PC (·, ω) является вероятностной мерой на F ; 2) PC (B, ·) = P{B|C }(·) п.н. для каждого B ∈ F . 99 Теорема 5.15. Пусть ξ > 0 п.н. или ξ ∈ L(Ω, F , P), PC — регулярная условная вероятность. Тогда Z M{ξ|C }(ω) = ξ(b ω )PC (db ω , ω) для P-почти всех ω. (5.4) Ω Доказательство. Если ξ = n P j=1 (ω) aj IAj , где (Aj )j=1,...,n — дизъюнктное семей- ство элементов σ-алгебры F , (aj )j=1,...,n ⊂ R, то n n R P P M{ξ|C } = aj P{Aj |C } = aj PC (Aj ) = ξ(b ω )PC (db ω ) п.н. j=1 j=1 Ω Если ξ > 0, то существует такая последовательность (ξn )n∈N простых случайных величин, что 0 6 ξn (ω) 6 ξn+1 (ω), lim ξn (ω) = ξ(ω) и поэтому n→∞ R R ω )PC (db ω ) = ξ(b ω )PC (db ω ) п.н. M{ξ|C } = lim M{ξn |C } = lim ξn (b n→∞ Если ξ > 0 п.н., то M{ξ|C } = M{ξI{ξ>0} |C } = n→∞ Ω R Ω Ω (b ω) ω) = ξ(b ω )I{ξ>0} PC (db R ξ(b ω )PC (db ω ) п.н. Ω Если ξ ∈ L(Ω, F , P) то из справедливости равенства (5.4) для ξ + и ξ − следует справедливость равенства (5.4) для ξ.  Задачи 1. Пусть ξ и η — случайные величины с конечным математическим ожиданием. Доказать, что если существует случайная величина ζ такая, что E{ξ|ζ} = η, то Eξ = Eη. Верно ли обратное, т.е. следует из равенства Eξ = Eη, существование ζ такой, что E{ξ|ζ} = η. Решение. 1) Пусть существует случайная величина ζ такая, что E{ξ|ζ} = η, тогда имеем Eξ = EE{ξ|ζ} = Eη. 2)Обратное не верно. Пусть ξ и η — независимые одинаковом распределенные случайные величины и Eξ = Eη и пусть существует случайная величина ζ такая, что E{ξ|ζ} = η, применим операцию E{·|η} к равенству E{ξ|ζ} = η, тогда получим: Eξ = E{ξ|η} = E{E{ξ|ζ}|η} = η, что противоречит предположению. 2. Доказать, что если C1 и C2 независимы, то для любых интегрируемых случайных величин ξ и η случайные величины E{ξ|C1 } и E{η|C2 } независимы. ˆ C2 Решение. Введем обозначение ξˆ = E{ξ|C1 } и η̂ = E{η|C2 }. В силу C1 -измеримости ξ, измеримости η̂ и независимости σ-алгебр C1 и C2 имеем P({ξˆ ∈ C1 } ∩ {η̂ ∈ C2 }) = P(ξˆ ∈ C1 )P(η̂ ∈ C2 ) для любых C1 ∈ C1 и C2 ∈ C2 . 5.3. Условные математические ожидания относительно случайных элементов Теорема 5.16. Пусть (X, A ) — измеримое пространство, η : Ω 7→ X, F , η −1 (A ), ζ : (Ω, F η ) 7→ (R, B(R)). Тогда существует такая функция m : (X, A ) 7→ (R, B(R)), что ζ(ω) = m(η(ω)) для каждого ω ∈ Ω. η Доказательство. 1. Пусть ζ — простая F η |B(R)-измеримая функция, т.е. 100 ζ(ω) = n P (ω) j=1 aj IAj , где (aj )j=1,...,n ⊂ R, (Aj )j=1,...,n — дизъюнктное семейство элементов σ-алгебры F η . Согласно определению F η существуют такие Bj ∈ A , что Aj = η −1 (Bj ). k−1 S Bj , k = 2, ..., n. Тогда Cj ∈ A , Ci ∩ Cj = ∅ Определим C1 = B1 , Ck = Bk \ j=1 k−1 S для i 6= j, η −1 (Ck ) = η −1 (Bk ) \ m(x) = n P j=1 (x) j=1 η −1 (Bj ) = Ak \ aj ICj . Тогда m(·) ∈ A |B(R) и m(η(ω)) = k−1 S j=1 n P j=1 Aj = Ak . Определим (ω) aj Iη−1 (Cj ) = ζ(ω). 2. В общем случае существует такая последовательность (ζn )n∈N простых F |B(R)-измеримых функций, что lim ζn (ω) = ζ(ω). Согласно первой чаη n→∞ сти доказательства существуют такие A |B(R)-измеримые функции mn , что ζn (ω) = mn (η(ω)). Заметим, что B , {x|∃ lim mn (x)} ∈ A . Определим функn→∞ цию: m(x) = lim mn (x) для x ∈ B, m(x) = 0 для x ∈ / B. Так как B ∈ A , то n→∞ m ∈ A |B(R). Кроме того, ζ(ω) = lim ζn (ω) = lim mn (η(ω)) = m(η(ω)).  n→∞ n→∞ Определение 5.17. Пусть (Ω, F , P) — вероятностное пространство, (X, A ) — измеримое пространство, η ∈ F |A , F η , η −1 (A ). Условным математическим ожиданием случайной величины ξ относительно случайного элемента η называется M{ξ|η} , M{ξ|F η }. Замечание 5.18. Определение 5.17 эквивалентно следующему: Условным математическим ожиданием случайной величины ξ относительно случайного элемента η называется F η -измеримая случайная величина M{ξ|η}, удовлетворяющая условию: (η) (η) (5.5) MξIB = MM{ξ|η}IB для любогоB ∈ A . Замечание 5.19. В силу теоремы 5.16 существует такая функция m(·) ∈ A |B(R), что M{ξ|η} = m(η). Значение этой функции m(·) в точке y ∈ X называют условным математическим ожиданием случайной величины ξ относительно события {η = y} и обозначают: M{ξ|η = y}. Соотношение (5.5) эквивалентно соотношению R R ξdP = M{ξ|η = y}Qη (dy) для любого B ∈ A , η∈B B где Qη — распределение случайного элемента η. Произвольный представитель класса п.н. совпадающих F η -измеримых и удовлетворяющих условию (5.5) случайных величин M{ξ|η} является условным математическим ожиданием случайной величины ξ относительно случайного элемента η. Каждому такому представителю M{ξ|η} соответствует своя 101 такая функция m ∈ A |B(R), что M{ξ|η}(ω) = m(η(ω)) для каждого ω ∈ Ω. Таким образом имеется такое семейство A |B(R)-измеримых функций m, что для каждой функции m этого семейства значение m(·) в точке y ∈ X является условным математическим ожиданием случайной величины ξ относительRно события {η = y}. R Если m1 и m2 — две функции из этого семейства, то B m1 (y)Qη (dy) = B m2 (y)Qη (dy) для любого B ∈ A и поэтому m1 = m2 Qη -почти всюду согласно теореме 5.6. Определение 5.20. Регурярным условным распределением случайного элемента ζ : (Ω, F ) 7→ (U, U ) относительно σ-алгебры C называется такая функция Qζ|C (B, ω) : U × Ω 7→ [0, 1], что 1) для каждого ω ∈ Ω функция множеств Qζ|C (·, ω) является вероятностной мерой на U ; 2) Qζ|C (B, ·) = M{ζ ∈ B|C }(·) п.н. для каждого B ∈ U . Теорема 5.21. Если U – полное метрическое сепарабельное пространство и U = B(U ), то регурярное условное распределение случайного элемента ζ : (Ω, F ) 7→ (U, U ) относительно σ-алгебры C существует. Теорема 5.22. Пусть ξ ∈ F |B(R` ), η ∈ F |B(Rk ), регурярное условное распределение ξ относительно η и распределение η имеют плотности распределения fξ|η (x|y) и fη (y), x ∈ R` , y ∈ Rk . Тогда: 1) совместное распределение случайных векторов ξ и η имеет плотность распределения fξ,η (x, y) и fξ,η (x, y) = fξ|η (x|y)fη (y) п.в. 2) справедливо равенство (формула Байеса) fη|ξ (y|x) = fξ,η (x,y) fξ (x) = R fξ|η (x|y)fη (y) . fξ|η (x|y)fη (y)dy Y Доказательство. Для любых A ∈ B(R` ) и B ∈ B(Rk ) имеем: (η) P{(ξ, η) ∈ A × B} = MP{ξ ∈ A, η ∈ B|η} = MIB P{ξ ∈ A|η} =  R R R (y) fξ|η (x|y)dx fη (y)dy = = IB P{ξ ∈ A|η = y}Qη (dy) = B A Y R = fξ|η (x|y)fη (y)dxdy. A×B n o R `+k Класс D , C|C ∈ B(R ), P{(ξ, η) ∈ C} = fξ|η (x|y)fη (y)dxdy C является d-классом и содержит π-класс B(R ) × B(Rk ). Следовательно, D = σ(B(R` ) × B(Rk )) = B(R`+k ) и поэтому fξ,η (x, y) = fξ|η (x|y)fη (y) для почти всех (x, y). R Формула Байеса следует из равенств: fξ (x) = fξ,η (x, y)dy и ` fξ,η (x, y) = fξ|η (x|y)fη (y) = fη|ξ (y|x)fξ (x).  102 Rk Теорема 5.23. M{g(ξ, η)|η = y} = R g(x, y)fξ|η (x|y)dx для любой функ- R` ции g(·, ·) ∈ B(R`+k )|B(R) в том смысле, что если определена одна из частей этого равенства, то определена вторая и они совпадают. В R частности P{ξ ∈ B|η = y} = fξ|η (x|y)dx ∀B ∈ B(R` ), y ∈ Rk . B Доказательство. Для любого B ∈ B(Rk ) имеем: R (y) (η) (η) MM{g(ξ, η)|η}IB = Mg(ξ, η)IB = IB g(x, y)fξ,η (x, y)dxdy = = R Rk (y) IB ( R R` R`+k (η) g(x, y)fξ|η (x|y)dx)fη (y)dy = MIB R g(x, η)fξ|η (x|η)dx.  R` Теорема 5.24. Пусть ξ : (Ω, F ) 7→ (X, A ), η : (Ω, F ) 7→ (Y, C ), g : (X × Y, A ⊗ C ) 7→ (R, B(R)), g(ξ, η) ∈ L1 или g(ξ, η) > 0. Тогда M{g(ξ, η)|η = y} = M{g(ξ, y)|η = y}. Доказательство. o n Класс множеств (ξ,y) (ξ,η) D , C| C ∈ A ⊗ C ; M{IC |η = y} = M{IC |η = y} является d-классом. Если A ∈ A , B ∈ C , то (ξ,η) (y) (ξ) (ξ,y) M{IA×B |η = y} = IB M{IA |η = y} = M{IA×B |η = y}. ˆ . Значит D включает в себя π-класс A × C и поэтому D = A ⊗C Пусть G обозначает класс функций g, удовлетворяющих условиям и утверждению данной теоремы. В силу предыдущих рассуждений G содержит индикаторы A ⊗ C -измеримых множеств. Так как G — линейный класс, то G содержит также и все простые A ⊗ C |B(R)-измеримые функции. Применяя теорему о монотонной сходимости получаем, что G содержит все положительные A ⊗ C |B(R)-измеримые функции. Наконец, снова используя линейность класса G, получаем, что G содержит все A ⊗ C |B(R)-измеримые функции, для которых g(ξ, η) ∈ L1 .  Замечание 5.25. Если условия теоремы 5.24 выполнены и случайные элементы ξ и η независимы, то M{g(ξ, η)|η = y} = Mg(ξ, y). Задачи 1. Пусть ξ и η – независимые случайные величины, ξ ∈ Γ(α, β), η ∈ Γ(ν, λ). Найти плот. ность распределения случайной величины ξ+η ξ Решение. Так как ξ > 0 п.н. и η > 0 п.н., то ξ+η > 1 п.н. Поэтому P{ ξ+η 6 x} = 0 для x < 1. ξ ξ +∞ +∞ R R ξ+η ξ+η P{ P{ t+η Если x > 1, то P{ ξ+η 6 x} = MP{ 6 x|ξ} = 6 x|ξ = t}F (dt) = 6 ξ ξ ξ ξ t x}Fξ (dt) = +∞ R −∞ −∞ Fη (t(x − 1))fξ (t)dt и поэтому 103 −∞ f ξ+η (x) = ξ = +∞ R −∞ tfη (t(x − 1))fξ (t)dt = (x−1)ν−1 Γ(α)Γ(ν) [β+λ(x−1)]α+ν β α λν R∞ R∞ z α+ν−1 e−z dz = α ν β λ (t(x − 1))ν−1 e−λt(x−1) Γ(α) tα−1 e−βt dt = t Γ(ν) β α λν (x B(α,ν) − 1)ν−1 [β + λ(x − 1)]−(α+ν) . 2. Найти M{ξ|η = y} и M{η|ξ = x}, если ξ и η имеют совместную плотность распределения 1 f (x, y) = Γ(p)Γ(q) xp−1 (y − x)q−1 e−y , 0 < x < y, p > 0, q > 0. Решение. Используя теорему 5.22, получим, что: ∞ R∞ p−1 e−x R xp−1 (y − x)q−1 e−y dy = xΓ(p)Γ(q) z q−1 e−z dz = fξ (x) = Γ(p)Γ(q) fη (y) = e−y Γ(p)Γ(q) fξ|η (x|y) = x Ry xp−1 (y − x)q−1 dx = 1 ( x )p−1 (1 B(p,q) y y p+q−1 e−y Γ(p)Γ(q) R1 1 xp−1 e−x , Γ(p) z p−1 (1 − z)q−1 dz = − xy )q−1 y1 , 0 < x < y; fη|ξ (y|x) = 1 (y Γ(q) Из полученных равенств и теоремы 5.23 следует, что: Ry x p p 1 = y p+q ; M{ξ|η = y} = B(p,q) ( y ) (1 − xy )q−1 dx = y B(p+1,q) B(p,q) M{η|ξ = x} = x+q, x > 0. q p . p+q 1 Γ(q) R∞ x y(y − x)q−1 e−(y−x) dy = Mξ = p = Dξ; 1 Γ(q) Mη = p+q = Dη; 1 y p+q−1 e−y , Γ(p+q) y > 0; − x)q−1 e−(y−x) , 0 < x < y, R∞ (x + z)z q−1 e−z dz = x > 0; 1 (xΓ(q) Γ(q) + Γ(q + 1)) = Mξη = p(p+q +1); cov(ξ, η) = p; %(ξ, η) = 5.4. Распределения χ2 , Стьюдента и Фишера Теорема 5.26. Пусть ξj ∈ Γ(αj , β), j = 1, 2, и случайные величины ξ1 и ξ2 независимы. Тогда ξ1 + ξ2 ∈ Γ(α1 + α2 , β). Доказательство. Напомним, что −α β α α−1 −βx x e , x > 0, ⇔ ϕξ (t) = (1 − itβ ) . ξ ∈ Γ(α, β) ⇔ fξ (x) = Γ(α) Поэтому ϕξ1 +ξ2 (t) = ϕξ1 (t)ϕξ2 (t) = (1 − itβ ) ξ1 + ξ2 ∈ Γ(α1 + α2 , β).  −(α1 +α2 ) и, значит, Определение 5.27. Хи-квадрат распределением с n степенями своn P 2 ξj2 , где боды называется распределение случайной величины χn , j=1 ξ1 , ..., ξn — независимые случайные величины с N(0, 1)-распределением. Замечание 5.28. Если ξ ∈ N(0, 1), то ξ 2 ∈ Γ( 12 , 12 ). Применяя теорему 5.26, получаем, что χ2n ∈ Γ( n2 , 21 ) и, значит, n 1 x 2 −1 e−x/2 , x > 0, Γ( n2 )2n/2 n, Dχ2n = 2n, ϕχ2n (t) = (1 fχ2n (x) = Mχ2n = 104 − 2it)−n/2 . n=1 0.5 fχ2n (x) n=2 n=3 n=4 n=5 0.5 1 2 4 Рис. 5.1. Плотность распределения χ2n . Определение 5.29. Распределением Стьюдента с n степенями свободы называется распределение случайной величины τn , √ ξ1 2 , где ξ и χ2n — независимые случайные величины, ξ ∈ N(0, 1), распределение с n степенями свободы. χ2n n χn имеет хи-квадрат f (x) 0.4 0.2 ft(3) (x) x −6 −4 −2 2 4 Рис. 5.2. Плотность распределения Стьюдента с n = 3. Сравнение со стандартизированным нормальным распределением. Замечание 5.30. fτn (x) = Γ( n+1 ) √ 2 n (1 nπΓ( 2 ) + x2 − n) n+1 2 . Доказательство. Заметим, что F√ 1 χ2 (x) = Fχ2n (nx2 ) и, значит, n f√ 1 χ2 (x) = 2nxfχ2n (nx2 ) = n n n n/2 2n n−1 −nx2 /2 e , n n/2 x Γ( 2 )2 Применяя теорему 2.28 получим, fτn (x) = = R∞ = n/2 +∞ R −∞ x > 0. |y|fξ (xy)f√ 1 χ2 (y)dy = n−1 exp{−ny 2 /2}dy = y √12π exp{−x2 y 2 /2} Γ(2n n n/2 y )2 2 √ n/2 R∞ n √ 2nn n/2 y exp{−y 2 (x2 πΓ( 2 )2 + n)/2}dy = 105 n n hh 2 2 y (x + n)/2 = z, = = y= √ 1/2 √ 2z , x2 +n −1/2 √z √ dz 2 x2 +n dy = √ n/2 R∞ 2n/2 z n/2 −z z −1/2 dz √ 2nn n/2 e √2√x2 +n = πΓ( 2 )2 (x2 +n)n/2 R∞ (n−1)/2 −z n/2 √n n (x2 + n)−(n+1)/2 z e dz πΓ( 2 ) = ii Γ( n+1 ) √ 2 n (1 nπΓ( 2 ) + x2 − n) n+1 2 . Определение 5.31. Распределением Фишера с m и n степенями свобо1 2 χ ды называется распределение случайной величины ζm,n , m1 χ2m , где χ2m и n n — независимые случайные величины, имеющие хи-квадрат распределения с m и n степенями свободы соответственно.  − m+n m+n 2 m m m/2 Γ( 2 ) m −1 . Замечание 5.32. fζm,n (x) = ( n ) Γ( m )Γ( n ) x 2 1+ nx χ2n 2 2 Доказательство. Заметим, что F n1 χ2n (x) = Fχ2n (nx) и, значит, n nn/2 x 2 −1 e−nx/2 , Γ( n2 )2n/2 +∞ R f n1 χ2n (x) = nfχ2n (nx) = Из равенства fζm,n (x) = −∞ x > 0. |y|f m1 χ2m (xy)f n1 χ2n (y)dy следует, что fζm,n (x) = 0 для x < 0. Для x > 0 имеем: R∞ m/2 m n −1 −mxy/2 nn/2 −1 −ny/2 e e dy = fζm,n (x) = y Γ(m m m/2 (xy) 2 n n/2 y 2 )2 Γ( )2 = = 2 2 m mm/2 nn/2 −1 n (m+n)/2 x 2 )Γ( )2 Γ( m 2 2 mm/2 nn/2 m −1 (mx n x2 Γ( m )Γ( ) 2 2 = (m n) m/2 Γ( m+n 2 ) m Γ( 2 )Γ( n2 ) m R∞ y m+n 2 −1 e−y(mx+n)/2 dy = + n)−(m+n)/2  x 2 −1 1 + m nx R∞ t m+n 2 −1 − m+n 2 . 106 e−t dt = 6. Многомерное нормальное распределение Определение 6.1. Случайный `-мерный вектор ξ имеет нормальное распределение с параметрами a и Σ (обозначение: ξ ∈ N ` (a, Σ)), где a ∈ R` , Σ — симметричная неотрицательно определенная матрица размера (` × `), если характерисическая функция ξ имеет вид 1 tΣt∗ }, t ∈ R` . (6.1) 2 Теорема 6.2. Определение 6.1 корректно, т.е. (6.1) действительно является характеристической функцией, причем, если Σ строго положительно определена, то ξ имеет плотность распределения ϕξ (t) = exp {iat∗ − fξ (x) = (2π)−`/2 [det Σ]−1/2 exp { − 21 (x − a)Σ−1 (x − a)∗ }, x ∈ R` . Доказательство. Предположим вначале, что Σ строго положительно определена. В этом случае достаточно показать, что R ixt∗ e fξ (x)dx = exp {iat∗ − 21 tΣt∗ } R` или (что то же самое) R J , (2π)−`/2 |Σ|−1/2 exp {it(x−a)∗ − 12 (x−a)Σ−1 (x−a)∗ }dx = exp {− 21 tΣt∗ }. R` Заметим, что существует такая ортогональная матрица B, что det B = 1, BΣB ∗ = D — диагональная матрица, диагональные элементы λ1 , ..., λ` которой являются собственными числами Σ. Очевидно, что det Σ = λ1 · ... · λ` , D−1 = BΣ−1 B ∗ . В интеграле J произведем замену переменных: x − a = uB, t = vB. Тогда i(x − a)t∗ − 12 (x − a)Σ−1 (x − a)∗ = iuBB ∗ v ∗ − 12 uBΣ−1 B ∗ u∗ =  P̀  u2j 1 ∗ −1 ∗ = iuv − 2 uD u = iuj vj − 2λj . j=1 и, следовательно, J = Q̀ j=1 √1 2πλj +∞ R −∞ exp {iuj vj − u2i 2λj }duj . Последнее выражение представляет собой произведение характеристических функций N(0, λj )-распределений. Поэтому Q̀ J= exp{− 21 vj2 λj } = exp{− 21 vDv ∗ } = exp{− 12 tB ∗ DBt∗ } = exp{− 12 tΣt∗ }. j=1 Рассмотрим теперь общий случай, когда Σ — симметричная неотрицательно определенная матрица. Для каждого ε > 0 матрица Σε = Σ + εE является строго положительно определенной и, согласно предыдущему, функция ϕε (t) = exp{iat∗ − 21 tΣε t∗ } является характеристической. Так как lim ϕε (t) = ϕξ (t) и ϕξ (t) непрерывна в точке t = 0, то согласно ε→0 теореме 4.9 Леви ϕξ (t) является характеристической функцией.  107 Замечание 6.3. Если ξ ∈ N` (a, Σ), то a = Mξ, Σ = cov(ξ, ξ). Доказательство. Действительно, ϕ0ξ (t) = (ia − tΣ)ϕξ (t), ϕ0ξ (0) = ia, ϕ00ξ (t) = (ia − tΣ)∗ (ia − tΣ)ϕξ (t) − Σϕξ (t), ϕ00ξ (0) = −a∗ a − Σ, откуда следуют доказываемые равенства.  Теорема 6.4. Если ξ ∈ N` (a, Σ), A ∈ R`⊗p , η , ξA, то η ∈ Np (aA, A∗ ΣA). Если, к тому же, ξ имеет невырожденное распределение (Σ строго положительно определена) и ранг матрицы A равен p, то η также имеет невырожденное распределение. Доказательство. Первая часть утверждения следует из равенства ϕξA (t) = M exp{iξAt∗ } = ϕξ (tA∗ ) = exp{iaAt∗ − 12 tA∗ ΣAt∗ }. Если Σ строго положительно определена и ранг матрицы A равен p, то p 6 `, zA∗ 6= 0 ∀z ∈ Rp , z 6= 0, и, следовательно, z(A∗ ΣA)z ∗ = zA∗ ΣAz ∗ > 0 ∀z ∈ Rp , z 6= 0, то есть A∗ ΣA строго положительно определена.  Теорема 6.5. Для того, чтобы ξ ∈ N` (a, Σ), необходимо и достаточно, чтобы ξλ∗ ∈ N(aλ∗ , λΣλ∗ ) ∀λ ∈ R` . Доказательство. Необходимость следует из теоремы 6.4. Достаточность следует из равенства ϕξ (t) = ϕξt∗ (1) = exp {iM(ξt∗ ) − 12 D(ξt∗ )} = exp {iat∗ − 21 tΣt∗ }.  Теорема 6.6. Пусть ξ ∈ N` (a, Σ); p 6 `; jr ∈ {1, ..., `}, r = 1, ..., p; jr 6= jk при r 6= k; ξˆ = (ξj1 , ..., ξjp ). Тогда ξˆ ∈ Np (â, Σ̂), где â = (aj1 , ..., ajp ), Σ̂r,k = Σjr ,jk , r, k = 1, .., p. Доказательсво следует из теоремы 6.4, если в качестве матрицы A взять матрицу [Ar,k ]j=1,..,`; k=1,...,p , где Aj,k = 1 при j = jk и Aj,k = 0 при j 6= jk .  Теорема 6.7. Пусть ξj ∈ F |B(R`j ), j = 1, ..., m; ` = `1 + ... + `m ; ξ = (ξ1 , ξ2 , ..., ξm ) — вектор строка состоящая из элементов векторов ξ1 , ξ2 , ..., ξm ; ξ ∈ N` (a, Σ); Σ = [Σr,k ]r,k=1,..,m — разбиение матрицы Σ на блоки Σr,k = cov(ξr , ξk ). Для того, чтобы ξ1 , ξ2 , ..., ξm были независимы, необходимо и достаточно, чтобы Σr,k = 0 при r 6= k. Доказательство. Необходимость очевидна (из независимости всегда следует некоррелированность случайных векторов). Достаточность. Если Σr,k = 0 при r 6= k, то m m Q Q ϕξ (t) = exp {iat∗ − 12 tΣt∗ } = exp {iaj t∗j − 21 tj Σjj t∗j } = ϕξj (tj ), j=1 j=1 где (a1 , a2 , ..., am ) = a. Применение критерия независимости случайных векторов в терминах характеристических функций завершает доказательство.  108 Теорема 6.8. (о нормальной корреляции). Пусть ξ1 — `-мерный, ξ2 — p-мерный случайные векторы, ξ = (ξ1 , ξ2 ), ξ ∈ N`+p (a, Σ), a1 = Mξ1 , a2 = Mξ2 , Σ11 = cov(ξ1 , ξ1 ), Σ12 = cov(ξ1 , ξ2 ), Σ21 = Σ∗12 , Σ22 = cov(ξ2 , ξ2 ), Σ22 строго положительно определена. Тогда −1 ξ1 ∈ Nξ`2 (a1 + (ξ2 − a2 )Σ−1 22 Σ21 , Σ11 − Σ12 Σ22 Σ21 ). b 11 , Σ11 − Σ12 Σ−1 Σ21 и заметим, что Доказательство. Определим Σ 22 ! −1  b −1 b −1 Σ12 Σ−1 Σ Σ Σ11 Σ12 11 11 22 ; = −1 −1 −1 b Σ21 Σ22 Σ22 Σ21 Σ11 Σ22 Σ11 Σ12 b 11 | · |Σ22 |. = |Σ Σ21 Σ22 Первое равенство проверяется непосредственно. Второе следует из равенства     I` −Σ12 Σ−1 Σ Σ I 11 12 ` 22 = Ip Σ21 Σ22 −Σ−1 22 Σ21 Ip      b 11 0 b 11 0 I` Σ Σ . = = −Σ−1 0 Σ22 Σ21 Σ22 22 Σ21 Ip Применяя данные соотношения, совместную плотность распределения случайных векторов ξ1 и ξ2 можно представить в виде: n − 2` b − 21 f(ξ1 ,ξ2 ) (x1 , x2 ) = (2π) |Σ11 | exp − 21 [(x1 − a1 )− o ∗ −1 −1 −1 b −(x2 − a2 )Σ22 Σ21 ]Σ11 [(x1 − a1 ) − (x2 − a2 )Σ22 Σ21 ] × n o −1 1 − 12 − p2 ∗ ×(2π) |Σ22 | exp − 2 (x2 − a2 )Σ22 (x2 − a2 ) .  Следствие 6.9. Если предположения теоремы 6.8 выполнены, то −1 ξ2 ∈ Nξp1 (a2 + (ξ1 − a1 )Σ−1 11 Σ12 , Σ22 − Σ21 Σ11 Σ12 ). 109 7. Точечное и интервальное оценивание Пусть (Ω, F , P) — вероятностное пространство. Все рассматриваемые далее случайные величины будем считать определенными на этом вероятностном пространстве. Предположим, что случайная величина ξ является наблюдаемой в стохастическом эксперименте H . Это означает, что FH ⊂ F и ξ ∈ FH |B(R), где FH — σ-алгебра событий, наблюдаемых в эксперименте H . Результатом проведения эксперимента H является элементарное событие ω ∈ Ω и значение ξ(ω) случайной величины ξ. Пусть (F (B) , P{ξ ∈ B})B∈B(R) — распределение случайной величины ξ, (F (x) , P{ξ 6 x})x∈R — функция распределения случайной величины ξ. Мы будем одной буквой F обозначать как распределение, так и функцию распределения случайной величины ξ в силу того факта, что распределение (F (B))B∈B(R) и функция распределения (F (x))x∈R однозначно определяют друг друга соотношением: F (x) = F (]−∞, x]) ∀x ∈ R (см. теорему 2.17). Стохастический эксперимент H может проводиться любое количество раз при выполнении одного и того же комплекса условий и каждый раз независимо от результатов других проведений этого эксперимента. Пусть эксперимент H n состоит в проведении серии n повторений эксперимента H . Тогда FH n ⊂ F и результатом проведения эксперимента H n (серии n повторений эксперимента H ) является элементарное событие ω ∈ Ω и набор значений ξ1 (ω), ξ2 (ω), ..., ξn (ω) независимых случайных величин ξ1 , ξ2 , ..., ξn , распределение каждой из которых совпадает с распределением случайной величины ξ. Определение 7.1. Выборкой объема n из распределения F называется n независимых случайных величин ξ1 , ξ2 , ..., ξn , распределение каждой из которых равно F . Определение выборки можно сформулировать иначе: n независимых наблюдений ξ1 , ξ2 , ..., ξn случайной величины ξ называется выборкой объема n. Распределение F случайной величины ξ неизвестно и задача математической статистики состоит в выборе распределения F из некоторого семейства F распределений, заданных на (R, B(R)), которое наилучшим образом соответствовало бы результатам наблюдений ξ1 , ξ2 , ..., ξn . Семейство распределений F может, в частности совпадать с семейством всех распределений на (R, B(R)) или быть уже семейства всех распределений, например, при наличии априорной информации о распределении ξ. Семейство распределений F часто представляют в виде F = {Fθ , θ ∈ Θ}, где Θ — некоторое множество, а θ называют неизвестным параметром. В результате этого статистическая задача выбора распределения F из семейства 110 F становится эквивалентной выбору параметра θ из параметрического множества Θ. В этом случае говорят, что распределение случайной величины ξ зависит от неизвестного параметра θ и что задача математической статистики состоит в оценивании параметра θ. Всегда в будущем параметрическое множество Θ будем считать подмножеством конечномерного евклидового пространства. Пусть ξ (n) = (ξ1 , ξ2 , ..., ξn ) — выборка из некоторого распределения Fθ , зависящего от неизвестного параметра из семейства θ ∈ Θ. Если g : Rn 7→ Rd — некоторая борелевская функция, то случайный вектор g(ξ (n) ) называется статистикой. Если h : Rn 7→ Θ — борелевская функция, то статистика θb = h(ξ (n) ) называется оценкой неизвестного параметра θ. В случае, когда важна зависимость оценки θb параметра θ от объема n выb борки, будем писать θbn вместо θ. Согласно теоремам 2.26 и 3.14 Z Mg(ξ (n) ) = g(x1 , ..., xn )Fθ (dx1 )...Fθ (dxn ) (7.1) Rn для любой функции g ∈ B(Rn )|B(Rd ) в том смысле, что если определена одна из частей этого равенства, то определена вторая и они совпадают. Очевидно, что правая часть равенства (7.1) зависит от θ. Поэтому в тех случаях, когда мы хотим подчеркнуть зависимость от θ левой части равенства (7.1), будем писать Mθ вместо M (аналогично, будем писать Pθ и Dθ вместо P и D). Определение 7.2. Оценка θbn параметра θ называется: 1) несмещенной, если Mθ θb = θ для каждого θ ∈ Θ; 2) состоятельной, если Pθ - lim θbn = θ для каждого θ ∈ Θ; n→∞ 3) сильно состоятельной, если lim θbn = θ Pθ -п.н. для каждого θ ∈ Θ. n→∞ 7.1. Вариационный ряд. Распределения порядковых статистик выборки Пусть ξ1 , ..., ξn — независимые наблюдения случайной величины ξ, F (x) , PF {ξ 6 x}, x ∈ R. Для каждого ω ∈ Ω пусть ξ1∗ (ω), ξ2∗ (ω), ..., ξn∗ (ω) — такая перестановка величин ξ1 (ω), ξ2 (ω), ..., ξn (ω), что ξ1∗ (ω) 6 ξ2∗ (ω) 6 ... 6 ξn∗ (ω). Набор случайных величин ξ1∗ , ..., ξn∗ называют вариационным рядом, а ξk∗ называют k-ой порядковой статистикой. Отметим, что ξ1∗ = min{ξj | j = 1, ..., n}, ξn∗ = max{ξj | j = 1, ..., n}, o n ∗ ξk+1 = max min{ξj | j = 1, ..., n, j 6= jr , r = 1, ..., k} 1 6 j1 < ... < jk 6 n , 111 для k = 2, ..., n − 1. Теорема 7.3. Функция распределения k-ой порядковой статистики FR(x) n P k−1 j n−j j = nCn−1 Cn (F (x)) (1 − F (x)) равна Fξk∗ (x) = tk−1 (1 − t)n−k dt. j=k Доказательство. Фиксируем x и рассмотрим последовательность испытаний, состоящих в наблюдении ξj , j = 1, ..., n. Успехом j-го испытания будем считать появление события {ξj 6 x}. Пусть ν(x) — число успехов. Тогда PF {ξk∗ 6 x} = PF {ν(x) > k} = n n P P = PF {ν(x) = j} = Cnj (F (x))j (1 − F (x))n−j .  j=k j=k Следствие 7.4. Fξn∗ (x) = [F (x)]n , Fξ1∗ (x) = 1 − [1 − F (x)]n . Непосредственное вычисление Fξ1∗ (x) и Fξn∗ : n T Fξn∗ (x) = PF {max ξj 6 x} = PF ( {ξj 6 x}) = [F (x)]n ; j j=1 F (x) = 1 − PF {min ξj > x} = 1 − PF ( ξ1∗ j 7.2. Оценка вероятности события n T j=1 {ξj > x}) = 1 − [1 − F (x)]n . Пусть A — событие, наблюдаемое в стохастическом эксперименте H , вероятность которого P(A) неизвестна. Рассмотрим относительную частоту νen (A) появления события A в серии n независимых повторений эксперимента H. n P 1 ξj , где ξj — число появлений события A в j-м Заметим, что νen (A) = n j=1 повторении эксперимента H . Ясно, что ξ1 , ..., ξn образуют выборку из дискретного распределения: P{ξ1 = 1} = P(A), P{ξ1 = 0} = 1 − P(A). При этом νen (A) является статистикой. Так как Me νn (A) = P(A) и согласно теореме Бореля lim νen (A) = P(A) п.н., то νen (A) — несмещенная и сильно состоятельная n→∞ оценка параметра P(A). 7.3. Эмпирическая функция распределения Пусть ξ1 , ..., ξn — независимые наблюдения случайной величины ξ функция распределения которой F (x) = P{ξ 6 x} неизвестна. В качестве оценки значения функции распределения F в точке x рассмотрим Fbn (x) = νen {ξ 6 x}, где νen {ξ 6 x} — относительная частота появления события {ξ 6 x} в серии n наблюдений случайной величины ξ. Функция Fbn (x) называется эмпирической функцией распределения. Очевидно, что Fbn (x) — несмещенная и сильно состоятельная оценка F (x) n n P P I(ω, {ξj 6 x}) = 1 I(ω, {ξ ∗ 6 x}). и Fbn (x, ω) = 1 n j=1 n j=1 112 j Для каждого ω ∈ Ω функция (Fbn (x, ω))x∈R непрерывна справа, возрастает и кусочно-постоянна со скачками в точках ξ1∗ (ω), ..., ξn∗ (ω). Величина скачка k (ω) функции Fbn (x, ω) в точке ξj∗ (ω) равна jn , где kj (ω) — количество повторений числа ξj∗ (ω) в наборе ξ1∗ (ω), ..., ξn∗ (ω). Следующая выборка взята из N(0, 1)-распределения 1.299, 2.307, -0.192, -1.156, -0.111, 0.364, 0.891, -1.043, -0.780, 0.126, 0.390, 0.664, 0.845, -0.688, 0.601, 0.742, 0.969, -1.507, 1.397, 0.517 1 1 1 Рис. 7.1. Примеры эмпирической функции распределения построенные для выборки из N(0, 1). 7.4. Оценки подстановки неизвестных параметров Определение 7.5. Пусть ξ1 , ξ2 , ..., ξn — независимые наблюдения случайной величины ξ, распределение которой зависит от неизвестного параметра θ ∈ Θ. Предположим, что θ однозначно определяется функцией распределения Fθ (x) , Pθ {ξ 6 x}, то есть существует такой оператор Φ, определенный на пространстве функций распределения и принимающий значения в Θ, что θ = Φ(Fθ (·)). Статистика θbn = Φ(Fbn (·)) называется оценкой подстановки параметра θ. Пример. Пусть θ = Mθ g(ξ), где g : R → R` — известная борелевская функ+∞ R ция. Так как θ = g(x)Fθ (dx) то оценкой подстановки параметра θ является −∞ 113 θbn = +∞ R −∞ g(x)Fbn (dx) = 1 n n P g(ξj ). Эта оценка является несмещенной и сильно j=1 состоятельной. В частном случае (при ` = 1 и g(x) = x) оценкой подстановки среднего n P значения θ = Mθ ξ случайной величины ξ является ξ n , n1 ξj . Статистику ξ n j=1 называют выборочным средним. Пример. Так как дисперсия σ 2 = M(ξ − Mξ)2 случайной величины ξ пред+∞ +∞ R R 2 2 ставима в виде σ = (x − xF (dx)) F (dx), то оценкой подстановки пара−∞ метра σ 2 является σ bn2 = 1 n −∞ n P (ξj − ξ n )2 . Так как M(ξk − ξ n ) = 0, то j=1  
P 1 1 2 2 M(ξk − ξ n ) = D(ξk − ξ n ) = D 1 − n ξk − n j6=k ξj = n−1 n σ . Следовательно, Mb σn2 = что статистика s2n = 1 n−1 n−1 2 n σ n P j=1 и значит σ bn2 — смещенная оценка σ 2 . Очевидно, (ξj − ξ n )2 является несмещенной оценкой диспер- сии σ . Согласно усиленному закону больших чисел σ bn2 и s2n являются сильно состоятельными оценками σ 2 . 2 7.5. Квантили распределений. Выборочные квантили Определение 7.6. Квантилью уровня p ∈]0, 1[ распределения с функцией распределения F называется xp , inf{x| F (x) > p}. Замечание 7.7. Если F строго возрастает в точке xp , то xp — единственное решение уравнения F (x) = p. В дальнейшем будем применять обозначения: up — квантиль уровня p N(0, 1)-распределения, т.е. решение уравнения Rup fN(0,1) (x)dx; p= −∞ xn,p — квантиль уровня p χ2n -распределения, т.е. решение уравнения xRn,p fχ2n (x)dx; p= tn,p — квантиль уровня p распределения Стьюдента с n степенями свободы, tRn,p fτn (x)dx; т.е. решение уравнения p = −∞ zm,n,p — квантиль уровня p распределения Фишера m и n степенями своzm,n,p R боды, т.е. решение уравнения p = fζm,n (x)dx. 114 Определение 7.8. Выборочной квантилью уровня p ∈]0, 1[ называется оценка подстановки x̂p , inf{x| F̂ (x) > p}. ∗ Очевидно, что x̂p = ξ[np]+1 . Замечание 7.9. Другое определение квантили распределения: xp , inf{x| F (x) > p}. Тогда  ∗ ξnp , если np – целое, x̂p , inf{x| F̂ (x) > p} = ∗ ξ[np]+1 , если np – не целое. Определение 7.10. Медианой распределения с функцией распределения F называется m = x1/2 , если x1/2 — единственное решение уравнения F (x) = 12 . Если уравнение F (x) = 12 имеет множество решений [x, x], то медианой называется m = 21 (x + x). Очевидно, что выборочная медиана равна:  ξk∗ , если n = 2k − 1, m̂ = 1 ∗ ∗ 2 (ξk + ξk+1 ) , если n = 2k. 7.6. Метод моментов оценивания неизвестных параметров Определение 7.11. Пусть ξ1 , ..., ξn — выборка из распределения Pθ на B(R), зависящего от неизвестного параметра θ ∈ Θ ⊂ R` ; mg (θ) , Mg(ξ1 ), где g(·) : R 7→ R` такая известная борелевская функция, что уравнение mg (θ) = t однозначно и непрерывно разрешимо относительn P 1 g(ξj ) — оценка но θ для любого t ∈ mg (Θ) , {mg (θ)|θ ∈ Θ}; m bg , n j=1 подстановки Mg(ξ1 ). Тогда θbn , m−1 g (m̂g ) называется оценкой параметра θ по методу моментов. Замечание 7.12. Так как m b g — сильно состоятельная оценка пара−1 b g ) — сильно состоятельная оценка параметра метра Mg(ξ1 ), то mg (m θ. b g ) является решениНазвание "метод моментов"оправдан тем, что m−1 g (m ем уравнения Mg(ξ1 ) = m b g полученного путем приравнивания теоретического момента Mg(ξ1 ) и выборочного момента m b g . В частном случае, если возможно использование функции g(x) = (x, x2 , ..., x` )∗ , то уравнение Mg(ξ1 ) = m b g предk ставляет собой систему уравнений Mξ1 = mk , k = 1, ..., `, в которой первые ` теоретических момента распределения приравнены соответствущим выборочным моментам. Пример. Пусть ξ1 , ..., ξn – выборка из N(a, σ 2 )-распределения. Приравнивая теоретические моменты m1 (a, σ 2 ) , M(a,σ2 ) ξ1 = a, m2 (a, σ 2 ) , M(a,σ2 ) ξ12 = 115 σ + a и соответствующие выборочные моменты m b1 = 2 2 получаем, что b a=ξ, Задачи 1 n n P j=1 ξj и σ b2 = 1 n n P j=1 ξj2 − ( n1 n P j=1 1 n 2 n P j=1 ξj ) = 1 n ξj и m b2 = n P j=1 1 n n P j=1 ξj2 (ξj − ξ)2 . k k 1. Пусть ξ1 , ..., ξn — выборка из дискретного распределения p(k, α, β) = 21 ( αk! e−α + βk! e−β ), k = 0, 1, 2, ..., 0 < α < β. Найдите методом моментов оценку параметра θ = (α, β). Решение. Первый и второй моменты данного распределения равны: Mξ 1 = 21 (α + β); Mξ12 = n n P P 1 1 1 2 2 2 ξ = ξ ; σ b = (ξj −ξ)2 . Заметим, что второй выборочный (α +α+β +β). Обозначим: j n n 2 n n j=1 2 ξ(n . j=1 Оценкой параметра θ = (α, β) по методу моментов является решение = ξn; системы уравнений 2 + β 2 + β) = σ bn2 + ξ n ;  q ( 1    1  ξ ; (α + β) = α b = ξn − σ bn2 − ξ n ; n (α + β) = ξ n ; 2 q 2 q ⇔ ⇔ ⇒ 1 1 2 −ξ ; (α − β)2 = σ bn2 − ξ n ;  σ b (β − α) = b 4 n n β = ξ + σ bn2 − ξ n ; 2 n q q Учитывая условие 0 < α < β, находим, что θbn = (ξ n − σ bn2 − ξ n ; ξ n + σ bn2 − ξ n ). Так как вы- момент равен σ bn2 + 1 (α + β) 2 1 (α2 + α 2 борочное среднее ξ n и выборочная дисперсия σ bn2 являются сильно состоятельными оценками математического ожидания Mξ1 и дисперсии Dξ1 (т.е. lim ξ n = Mξ1 п.н. и lim σ bn2 = Dξ1 п.н.), n→∞ то lim θbn = θ п.н. n→∞ n→∞ 2. Пусть ξ1 , ..., ξn — выборка из Γ(α, β)-распределения. Найдите методом моментов оценку параметра θ = (α, β). Решение. Первый и второй моменты данного распределения равны: Mξ 1 = αβ ; Mξ12 = α(α+1) ( β2 ; Оценкой параметра θ = (α, β) по методу моментов является решение системы α = ξn; β α(α+1) = β2 σ bn2 + 2 ξn; 2 −2 Находим, что θbn = (ξ n σ bn , ξ n σ bn−2 ); Заметим, что lim θbn = θ п.н. n→∞ 7.7. Неравенство Крамера-Рао Пусть ξ1 , ..., ξn — независимые наблюдения случайной величины ξ, распределение которой зависит от неизвестного параметра θ ∈ Θ ⊂ R и является либо абсолютно непрерывным либо дискретным. Если распределение ξ абсолютно непрерывно, то f (x, θ) будет обозначать Rx ее плотность распределения: Pθ {ξ 6 x} = f (u, θ)du, x ∈ R, θ ∈ Θ. −∞ Если ξ имеет дискретное распределение и X — конечное или счетное множество ее значений, то f (x, θ) будет обозначать дискретное распределение: f (x, θ) = Pθ {ξ1 = x}, x ∈ X, θ ∈ Θ. n Q Функция fn (x1 , ..., xn , θ) , f (xj , θ) называется функцией правдоподоj=1 бия выборки ξ1 , ..., ξn . В случае абсолютной непрерывности распределения ξ 116 функция fn (x1 , ..., xn , θ) является совместной плотностью распределения, а в случае когда распределение ξ дискретно, функция fn (x1 , ..., xn , θ) является совместным дискретным распределением случайных величин ξ1 , ..., ξn . Ранее были рассмотрены такие свойства оценок θbn неизвестного параметра θ как несмещенность и состоятельность. Заметим, что эти свойства ничего не говорят о том насколько оценки хороши при небольших фиксированных значениях обьема выборки. Кроме того, если для неизвестного параметра θ построены несколько несмещенных и состоятельных оценок, то возникает вопрос — какая из этих оценок лучше? . Для того, чтобы оценить погрешность приближенного равенства θ = θbn рассмотрим среднеквадратическое отклонение Mθ (θbn − θ)2 оценки θbn от параметра θ. По неравенству Чебышева Pθ {|θbn − θ| > ε} 6 ε−2 Mθ (θbn − θ)2 ∀ε > 0. Поэтому Mθ (θbn −θ)2 является мерой рассеивания значений случайной величины θbn от неизвестного параметра θ: чем меньше Mθ (θbn −θ)2 тем ближе значения θbn к значению θ. Определение 7.13. Несмещенная оценка θbn неизвестного параметра θ называется эффективной, если Dθ θbn 6 Dθ θen для любой несмещенной оценки θen неизвестного параметра θ. Пример. Оценивание параметра равномерного распределения. Предположим, что выборка ξ1 , ..., ξn взята из равномерного распределения на интервале [0, θ], где θ — неизвестный параметр, θ > 0. Так как θ = 2Mξ1 , то оценкой подстановки параметра θ является статистика θbn = 2ξ¯n . Очевидно, что θbn – несмещенная и сильно состоятельная оценка параметра θ и Dθbn = n n 2 P P θ2 θ D n2 = . ξj = n42 12 3n j=1 j=1 Рассмотрим порядковую статистику ξn∗ . Функция распределения и плотность распределения случайной величины ξn∗ равны соответственно
n Fξn∗ (x, θ) = xθ и fξn∗ (x, θ) = nxn−1 θ−n , 0 6 x 6 θ . Заметим, что Mξn∗ = n n+1 θ; M(ξn∗ )2 = n 2 n+2 θ ; Dξn∗ = θ2 n (n+1)2 (n+2) . θ2 ∗ e e Рассмотрим статистику θen = n+1 n ξn . Очевидно, что Mθn = θ, Dθn = n(n+2) и, следовательно, θen является несмещенной и сильно состоятельной оценкой θ. 3 Dθbn и значит оценка θen является более предпочтительКроме того Dθen = n+2 ной в сравнении с θbn . Лемма 7.14. (Неравенство Коши). Пусть ξ и η — случайные величиp p 2 2 2 ны, Mξ < ∞, Mη < ∞. Тогда Mξη 6 Mξ Mη 2 , причем, знак равенства в этом неравенстве достигается тогда и только тогда, когда существуют такие константы a и b, что (a, b) 6= 0 и aξ = bη п.н. 117 Доказательство. Если (Mξ 2 )(Mη 2 ) = 0, то ξ = 0 п.н. или η = 0 п.н. Если, например, ξ = 0 п.н. то утверждение теоремы справедливо с b = 0, a 6= 0. 2 √ 2. Пусть (Mξ 2 )(Mη 2 ) 6= 0. Заметим, что 0 6 M( √ ξ 2 − √ η 2 ) = 2 − 2 √ Mξη 2 Mξ Mη Mξ Mη Следовательно, неравенство Коши справедливо и знак равенства в нем достигается тогда и только тогда, когда √ ξ 2 = √ η 2 . Mξ Mη Теорема 7.15. (Крамера–Рао). Предположим, что выполнены следующие условия: 1) Θ — интервал (конечный или бесконечный, замкнутый или открытый); 2) fn (x1 , ..., xn , θ) при фиксированных x1 , ..., xn непрерывна и непрерывно дифференцируема по θ; 3) функция In (θ) , ∂ Mθ | ∂θ ln fn (ξ1 , ..., ξn , θ)|2 непрерывна и строго положительна; 4) θbn = hn (ξ1 , ..., ξn ) — несмещенная оценка параметра θ и Mθ (θbn )2 < ∞. Тогда справедливо неравенство Крамера–Рао Dθ θbn > In1(θ) , причем знак равенства в этом неравенстве достигается тогда и только тогда, когда существует такая функция cn (θ), что ∂ ∂θ ln fn (x1 , ..., xn , θ) = cn (θ)(hn (x1 , . . . , xn ) − θ). Доказательство теоремы приведем в том случае когда распределение генеR ральной совокупности абсолютно непрерывно. Так как 1 = fn (x, θ)dx, то Rn
R ∂ R ∂ ∂ 0 = ∂θ fn (x, θ)dx = ∂θ ln fn (x, θ) fn (x, θ)dx = Mθ ∂θ ln fn (ξ1 , . . . , ξn , θ) Rn Rn R Так как θ = Mθbn = hn (x)fn (x, θ)dx, то Rn
R R ∂ ∂ 1 = hn (x) ∂θ fn (x, θ)dx = hn (x) ∂θ ln fn (x, θ) fn (x, θ)dx = Rn ∂ θ) ∂θ Rn ln fn (ξ1 , . . . , ξn , θ). = Mθ (hn (ξ1 , . . . , ξn ) − Следовательно, 1 6 Dθ θbn · In (θ) согласно лемме 7.14.  Замечание 7.16. Если в неравенстве Крамера–Рао для некоторой несмещенной оценки θbn параметра θ достигается знак равенства, то оценка θbn является эффективной. Определение 7.17. Функция In (θ) называется количеством информации Фишера, содержащейся в выборке ξ1 , . . . , ξn , относительно параметра θ. Замечание 7.18. Если выполнены условия теоремы 7.15 и сверх того ∂2 ∂2 существует ∂θ 2 fn (ξ1 , . . . , ξn , θ) и Mθ | ∂θ 2 ln fn (ξ1 , . . . , ξn , θ)| < ∞, то R fn (x,θ) ∂θ∂ 22 fn (x,θ)−( ∂θ∂ fn (x,θ))2 ∂2 fn (x, θ)dx = Mθ ∂θ2 ln fn (ξ1 , . . . , ξn , θ) = f 2 (x,θ) = R Rn ∂2 ∂θ2 fn (x, θ)dx − R Rn Rn ∂ ∂θ ln fn (x, θ) n
2 fn (x, θ)dx = −In (θ) 118 2 ∂ ∂ 2 и, в частности (при n = 1), Mθ ∂θ 2 ln f (ξ1 , θ) = −Mθ | ∂θ ln f (ξ1 , θ)| . n P ∂2 ∂ 2 Следовательно, In (θ) = −Mθ ∂θ2 ln f (ξj , θ) = nMθ | ∂θ ln f (ξ1 , θ)| . j=1 Таким образом количество информации Фишера имеет линейный порядок роста по n. 7.8. Оценки максимального правдоподобия Пусть ξ1 , ..., ξn — независимые наблюдения случайной величины ξ, распределение ξ зависит от неизвестного параметра θ ∈ Θ ⊂ Rd , fn (x1 , ..., xn , θ) — функция правдоподобия выборки. Определение 7.19. Оценкой максимального правдоподобия (ОМП) параметра θ называется такая статистика θbn , что fn (ξ1 , ..., ξn , θbn ) = max fn (ξ1 , ..., ξn , θ). θ Данное определение основано на интуитивном представлении, состоящем в том, что если θ — истинное значение неизвестного параметра, то в большей части случаев в эксперименте наблюдаются те значения ξ1 , ..., ξn при которых функция правдоподобия fn (ξ1 , ..., ξn , θ) принимает значения близкие к наибольшему. Так как ln fn (x1 , ..., xn , θ) принимает наибольшие значения в тех же точках, что и fn (x1 , ..., xn , θ), то статистика θbn является ОМП параметра θ тогда и только тогда, когда ln fn (ξ1 , ..., ξn , θbn ) = max ln fn (ξ1 , ..., ξn , θ). Функθ цию ln fn (x1 , ..., xn , θ) называют логарифмической функцией правдоподобия выборки. Очевидно, что статистика θbn является ОМП параметра θ тогда и только тогда, когда θbn = hn (ξ1 , ..., ξn ), где hn — решение уравнения ln fn (x1 , ..., xn , hn (x1 , ..., xn )) = max ln fn (x1 , ..., xn , θ). θ Если Θ — область в R и fn (x1 , ..., xn , θ) непрерывно дифференцируема по θ, то для того, чтобы найти ОМП θ достаточно найти стационарные точки функции fn (x1 , ..., xn , θ), т.е. найти решения уравнения ∇θ ln fn (x1 , ..., xn , θ) = 0, а затем сравнить значения функции ln fn (x1 , ..., xn , θ) в этих стационарных точках и граничных точках множества Θ. Каждое из уравнений, определяющих ОМП неизвестного параметра, называют уравнением максимального правдоподобия. d Замечание 7.20. Пусть θ — одномерный параметр и предположения теоремы Крамера–Рао выполнены. Тогда ОМП θbn = hn (ξ1 , ..., ξn ) является несмещенной и эффективной оценкой параметра θ тогда и только ∂ ln fn (x1 , ..., xn , θ) допускает представление тогда, когда ∂θ 119 ∂ ∂θ ln fn (x1 , ..., xn , θ) = cn (θ)(hn (x1 , . . . , xn ) − θ), где cn (θ) — некоторая функция. Теорема 7.21. Пусть fn (x1 , ..., xn , θ) — функция правдоподобия выборки ξ1 , ..., ξn ; θbn — ОМП параметра θ ∈ Θ ⊂ Rd ; функция λ = g(θ) задает взаимно-однозначное отображение множества Θ во множество Λ ⊂ Rm . Тогда g(θbn ) является ОМП параметра λ.
Доказательство. Заметим, что max fn (x, θ) = max fn x, g −1 (λ) . Поэтому, θ∈Θ λ∈Λ если максимум по θ функции fn (x, то мак
θ) достигается в точке θ = hn (x), −1 −1 симум по λ функции fn x, g (λ) достигается в точке λ такой, что g (λ) = hn (x), то есть λ = g (hn (x)).  Замечание 7.22. Пусть ξ1 , ..., ξn — выборка из N(a, σ 2 )-распределения. Тогда: 1) ξ — несмещенная и эффективная ОМП параметра a; n P 2) если параметр a известен, то σ b 2 = n1 (ξj − a)2 — несмещенная и j=1 эффективная ОМП параметра σ ; n P 3) (ξ; n1 (ξj − ξ)2 ) — ОМП параметра θ = (a, σ 2 ). 2 j=1 2 1 exp{− (x−a) Доказательство. Обозначим: b = σ 2 . Так как fN(a,b) (x) = √2πb 2b }, то функция правдоподобия выборки ξ (n) = (ξ1 , ..., ξn ) из N(a, b)-распределеn n Q P (xj −a)2 −n/2 ния равна fn (x1 , ..., xn , a, b) = fN(a,b) (xj ) = (2πb) exp{− 2b }. j=1 j=1 Логарифимическая функция правдоподобия этой выборки равна n P (xj −a)2 ln fn (x1 , ..., xn , a, b) = ln(2π)−n/2 − n2 ln b − 2b . Заметим, что ∂ ∂b 2 ∂ ∂a ln fn (ξ (n) , a, b) = n ln fn (ξ (n) , a, b) = − 2b + ∂ ∂a2 ln fn (ξ ∂2 ∂a∂b (n) , a, b) = (n) − nb ; 1 2b2 2 ∂ ∂b2 n P n P j=1 j=1 j=1 xj −a 2b (ξj − a)2 = ln fn (ξ (n) = nb (ξ − a); n 1 2b2 ( n , a, b) = n b2 (a n P j=1 (ξj − a)2 − b); − 2bn3 ( n2 n P j=1 (ξj − a)2 − b); ln fn (ξ , a, b) = − ξ). ∂ ln fn (ξ (n) , a, b) = 0 относительно Для любого b > 0 решением уравнения ∂a ∂2 (n) a является b a = ξ, причем, ∂a , a, b) < 0. Следовательно, ξ — оценка 2 ln fn (ξ максимального правдоподобия параметра a. Сверх того, согласно замечанию 7.20, ξ — несмещенная и эффективная оценка параметра a. ∂ Если параметр a известен, то решением уравнения ∂b ln fn (ξ (n) , a, b) = 0 n P 2 относительно b является bb = 1 (ξj − a)2 , причем, ∂ 2 ln fn (ξ (n) , a, b) b < n ∂b j=1 120 |b=b 0. Следовательно, bb — оценка максимального правдоподобия параметра b. Сверх того, согласно замечанию 7.20, bb — несмещенная и эффективная оценка параметра b. ( ∂ (n) , a, b) = 0, ∂a ln fn (ξ является Решением системы уравнений ∂ (n) , a, b) = 0, ∂b ln fn (ξ n P (e a, eb) = (ξ; n1 (ξj − ξ)2 ), причем, матрица вторых смешанных производных j=1 ! 2 ∂ ∂2 (n) (n) ln f (ξ , a, b) ln f (ξ , a, b) n n ∂a2 ∂a∂b в точке (a, b) = (e a, eb) равна ∂2 ∂2 (n) (n) , a, b) ∂b2 ln fn (ξ , a, b) ∂b∂a ln fn (ξ ! −neb−1 и, очевидно, является отрицательно определенной. Сле0 − 21 neb−2 n P довательно, (ξ; n1 (ξj − ξ)2 ) — оценка максимального правдоподобия двуj=1 мерного параметра (a, b). Отметим, что эта оценка является смещенной.  Задачи 1. Случайные величины ξ1 , ..., ξn независимы и имеют общее дискретное распределение k k P {ξ1 = k} = Cm p (1 − p)m−k , 0 ≤ k ≤ m, 0 < p < 1. Найдите оценку максимального правдоподобия параметра p. Является ли полученная оценка несмещенной? состоятельной? эффективной? Решение. Функция правдоподобия выборки равна fn (ξ (n) , p) = n Y f (ξj , p) = j=1 n Y j=1 ξj ξj ξ1 ξn nξ n Cm p (1 − p)m−ξj = Cm ...Cm p (1 − p)nm−nξn . ξn ξ1 + nξ n ln p + n(m − ξ n ) ln(1 − p); ...Cm ln fn (ξ (n) , p) = ln Cm ∂2 ∂p2 ∂ ∂p ln fn (ξ (n) , p) = nm (1ξ p(1−p) m n − p); nm − p(1−p) . Следовательно, оценкой максимального правдоподобия парамет1 ξ . Так как Mξ1 = mp и выборочное среднее ξ n является сильно состоm n (n) ln fn (ξ , p) = ра p является pb = ятельной оценкой математического ожидания Mξ1 , то pb — несмещенная, сильно состоятельная оценка параметра p. Согласно следствию к теореме Крамера–Рао эта оценка является эффективной. 2. Случайные величины ξ1 , ..., ξn независимы и одинаково распределены с плотностью распределения f (x, a) = ea−x , x > a. Найдите оценку максимального правдоподобия параметра a. Исследуйте полученную оценку на несмещенность и состоятельность. Постройте несмещенную оценку параметра a. Решение. Функция правдоподобия выборки равна n n n n P Q P Q (ξj ) (a) I[a,∞[ = exp {na− ξj }I]−∞,ξ∗ ] , где ξ1∗ = min ξj ; f (ξj , a) = exp {na− ξj } fn (ξ (n) , a) = j=1 j=1 j=1 j=1 1 16j6n Функция a 7→ fn (ξ (n) , a) является строго возрастающей на интервале ] − ∞, ξ1∗ ] и равна нулю для a > ξ1∗ . Очевидно поэтому, что b an = arg max fn (ξ (n) , a) = ξ1∗ . Заметим, что a (x) Fξ1 (x) = [1 − ea−x ]I[a,∞[ , (x) fban (x, a) = nen(a−x) I[a,∞[ . (x) Fban (x) = P{ min ξj 6 x} = 1 − (1 − Fξ1 (x))n = [1 − en(a−x) ]I[a,∞[ , 16j6n R∞ Так как Mb an = a an — смещенная оценка nxen(a−x) dx = a + n1 , то b 121 параметра a. Статистика e an = ξ1∗ − n1 является несмещенной оценкой параметра a. Для любого ε > 0, P{|b an − a| < ε} = P{b an ∈ [a, a + ε]} = Fban (a + ε) − Fban (a) = 1 − e−nε → 1 при n → ∞. Поэтому P-lim b an = a. Так как b an+1 6 b an , то lim b an = a п.н. Следовательно, b an и n→∞ n→∞ e an — сильно состоятельные оценки параметра a. 7.9. Асимптотические свойства оценок максимального правдоподобия Пусть ξ1 , ..., ξn — выборка из распределения Pθ , где θ ∈ Θ ⊂ R. Справедлива следующая теорема о асимптотических свойствах о.м.п. одномерного параметра θ. Теорема 7.23. Пусть Θ — открытый интервал и выполняются следуi ющие условия: 1) для любого θ ∈ Θ существуют производные ∂ ln∂θf (x,θ) , i i = 1, 2, 3, для п.в. x; 2) существуют такие неотрицательные функции 2 3 (x,θ) F1 (x), F2 (x), H(x), что k ∂f∂θ k 6 F1 (x), k ∂ f∂θ(x,θ) k 6 F2 (x), k ∂ f∂θ(x,θ) k 6 H(x), 2 3 причем F1 (x), F2 (x) интегрируемы и Eθ H(ξ1 ) 6 M < ∞, где постоянная 2  ∂ ln f (x,θ) < ∞ для любого θ ∈ Θ. M не зависит от θ; 3) 0 < I(θ) , Mθ ∂θ Тогда уравнение правдоподобия ∂ ln f (x, θ) = 0. ∂θ (7.2) имеет решение θbn , сходящееся по вероятности Pθ0 к истинному значению θ0 параметра, причем θbn является асимптотически нормальной и асимптотически эффективной оценкой параметра θ. Доказательство. (i) Пусть θ0 ∈ Θ — истинное значение параметра θ, тогда разложение в ряд Тейлора функции ∂ ln fn (ξ∂θ1 ,...,ξn ,θ) , в окресности точки θ0 имеет вид: n ∂ ln fn (ξ1 , ..., ξn , θ) X ∂ ln f (ξj , θ) = = ∂θ ∂θ j=1 = n X ∂ ln f (ξj , θ) ∂θ j=1 ∂ 2 ln f (ξj , θ) + θ0 ∂θ2 θ0 (θ − θ0 ) + λj (θ − θ0 )2 H(ξj ), 2 (7.3) где |λj | 6 1. Подставляя (7.3) в уравнение правдоподобия (7.2) получаем λ B0,n + B1,n (θ − θ0 ) + B2,n (θ − θ0 )2 = 0, 2 где B0,n = 1 n n P ∂ ln f (ξj ,θ) , ∂θ θ0 j=1 B1,n = 1 n n P ∂ 2 ln f (ξj ,θ) , ∂θ2 θ0 j=1 122 B2,n = 1 n (7.4) n P j=1 H(ξj ). R (x,θ) R 2 В силу свойств плотности распределения ∂f∂θ dx = ∂ f∂θ(x,θ) dx = 0. 2 Поэтому, Z ∂ ln f (ξ1 , θ) ∂ ln f (x, θ) Eθ0 f (x, θ) dx = = θ0 θ0 ∂θ ∂θ Z Z ∂f (x, θ) 1 ∂f (x, θ) = f (x, θ) dx = dx = 0. (7.5) θ0 θ0 f (x, θ) ∂θ ∂θ Z 2 ∂ 2 f (ξ1 , θ) ∂ ln f (x, θ) Eθ0 f (x, θ) dx = = θ0 θ0 ∂θ2 ∂θ2 Z  ∂ 2 f (x,θ)  ∂f (x,θ) 2  ∂θ2 ∂θ = f (x, θ) dx = − θ0 f (x, θ) f (x, θ) Z   ∂ ln f (ξ , θ) 2  ∂ ln f (x, θ) 2 1 =− = −I(θ0 ). (7.6) f (x, θ) dx = −Eθ0 θ0 θ0 ∂θ ∂θ Из равенств (7.5), (7.6), в силу ЗБЧ в форме Хинчина, имеем: Pθ0 - lim B0,n = 0, n→∞ Pθ0 - lim B1,n = −I(θ0 ), Pθ0 - lim B2,n = Eθ0 H(ξ1 ) < M < ∞. n→∞ n→∞ Фиксируем произвольные числа ε > 0, δ > 0. Тогда существует такое число n0 = n0 (ε, δ), что для n > n0 верно: Pθ0 {|B0,n | > δ 2 } < 3ε , −I(θ0 ) ε Pθ0 {B2,n > 2M } < 3ε . 2 } < 3, 0) < δ 2 , B1,n < −I(θ 2 , B2,n < 2M }. Тогда Pθ0 {B1,n > Определим множество S = {|B0,n | Pθ0 (Ω \ S) < ε и, следовательно, Pθ0 (S) > 1 − ε для n > n0 . Пусть θ = θ0 ± δ, тогда равенство (7.4) имеет вид B0,n ± B1,n δ + λ2 B2,n δ 2 = 0. Если θ ∈ S, то |B0,n + λ2 B2,n δ 2 | < δ 2 + |λ|M δ 2 < (M + 1)δ 2 , B1,n δ < − I(θ20 ) δ. I(θ0 ) ∂ ln fn (ξ1 ,...,ξn ,θ) Следовательно, если δ < 2(M отрицателен, при θ = θ0 − δ, +1) , то ∂θ и положителен приθ = θ0 + δ. Очевидно, что ∂ ln fn (ξ∂θ1 ,...,ξn ,θ) непрерывна по θ µ-п.в. Таким образом, для любых δ > 0, ε > 0 уравнение (7.2) с вероятностью превышающей 1−ε имеет корень в интервале (θ0 −δ, θ0 +δ) если только n > n0 . (ii) Доказательство асимптотической нормальности и асимптотической эффективности оценки содержится в работе [1].  7.10. Независимость выборочного среднего и выборочной дисперсии гауссовского распределения Теорема 7.24. Пусть ξ1 , ξ2 , ..., ξn — выборка из N(a, σ 2 )-распределения, n n P P √ 1 ξ , n1 ξj , s2 , n−1 (ξj − ξ)2 . Тогда ξ и s2 независимы, n ξ−a σ имеет j=1 j=1 2 N(0, 1)-распределение, (n−1)s имеет хи-квадрат распределение с n − 1 2 √ ξ−aσ степенью свободы, n s имеет распределение Стьюдента с n − 1 сте- пенью свободы. 123 ξ −a Доказательство. Заметим, что случайные величины ηj , jσ , j = 1, ..., n, независимы и N(0, 1)-распределены. Пусть η , (η1 , ..., ηn ), ζ = Cη ∗ , где C = [ck,j ]k,j=1,...,n — матрица с элементами ck,j = √ 1 , 1 6 j 6 k < n; cn,j = √1n , j = 1, ..., n; k(k+1) ck,k+1 = −√ k ; k(k+1) k + 1 < j 6 n, 1 6 k 6 n. ck,j = 0; Отметим, что C — ортогональная матрица, det C = 1, η ∈ N n (0, In ) и n n P P 2 ∗ ∗ ∗ ∗ ζj = ζ ζ = η C Cη = η η = ηj2 . Следовательно, ζ ∈ Nn (0, In ) и, значит, j=1 j=1 ζ1 , ..., ζn независимы и N(0, 1)-распределены. Заметим, что n n P P √ ξ−a √ ξ−a √ ξj −a n σ = √1n n s = ηj = nη; ζn = √1n σ = ζn ; j=1 (n−1)s2 σ2 = n P j=1 j=1 ( ξj −ξ 2 σ ) = n P j=1 ( ξj −a σ − ξ−a 2 σ ) = n P j=1 (ηj − η)2 = n P j=1 q √ n ξ−a σ 1 (n−1)s2 n−1 σ2 ηj2 − nη 2 = n−1 P j=1 ζj2 . Последние равенства влекут справедливость всех утверждений теоремы.  Следствие 7.25. Пусть ξ1,1 , ..., ξ1,n1 и ξ2,1 , ..., ξ2,n2 — независимые выборки из N(a1 , σ12 ) и N(a2 , σ22 )-распределений соответственно; nr nr P P 2 2 ξ r , n1r ξr,j ; s2r , nr1−1 (ξr,j − ξ r )2 ; ζ , ss21 σσ22 ; r = 1, 2. j=1 2 1 j=1 Тогда ζ имеет распределение Фишера с (n1 − 1) и (n2 − 1) степенями свободы. 7.11. Доверительные области и интервалы Пусть ξ1 , ..., ξn — выборка из распределения Pθ , зависящего от неизвестного параметра θ ∈ Θ ⊂ Rd . Определение 7.26. Доверительной областью уровня α ∈]0, 1[ для неизвестного параметра θ называется случайная область G ⊂ Rd такая, что Pθ {θ ∈ G} > 1 − α ∀θ ∈ Θ (с вероятностью не меньшей 1 − α случайная область G содержит значение неизвестного параметра θ). Определение 7.27. Предположим, что Θ ⊂ R. Доверительным интервалом уровня α ∈]0, 1[ для неизвестного параметра θ называется случайный интервал (θ1 , θ2 ), где θ1 и θ2 — статистики со значениями в R такие, что θ1 6 θ2 Pθ -п.н. и Pθ {θ1 < θ < θ2 } > 1 − α ∀θ ∈ Θ (с вероятностью не меньшей 1 − α случайный интервал (θ1 , θ2 ) содержит значение неизвестного параметра θ). Если θ1 = −∞ Pθ -п.н., то интервал (−∞, θ2 ) называется нижним доверительным интервалом уровня α; если θ2 = ∞ Pθ -п.н., то интервал (θ1 , +∞) называют верхним доверительным интервалом уровня α. 124 Величину p = 1 − α называют доверительной вероятностью. 7.12. Доверительные интервалы и области для параметров нормального распределения Предположим, что ξ1 , ξ2 , ..., ξn — независимые наблюдения случайной величины ξ, имеющей N(a, σ 2 )-распределение. Пусть α ∈]0, 1/2[. √ √ ξ−a 1. Так как n ξ−a σ ∈ N(0, 1), то Pa {| n σ | < u1−α/2 } = 1 − α. Поэтому (ξ − √1n σu1−α/2 , ξ + √1n σu1−α/2 ) является доверительным интервалом уровня α для неизвестного параметра a при известном σ 2 . n P ξ −a 2 nb σ2 ( jσ ) ∈ χ2n согласно определению χ2n -распреде2. Заметим, что σ2 = j=1 2 σ ления. Поэтому Pσ2 {xn,α/2 < nb σ 2 < xn,1−α/2 } = 1 − α. Следовательно, слуσ2 nb σ2 , xnb ) является доверительным интервалом уровня чайный интервал ( xn,1−α/2 n,α/2 α для неизвестного параметра σ 2 при известном a. √ 3. Согласно теореме 7.24 n(ξ − a)/s имеет распределение Стьюдента с √ n − 1 степенью свободы. Поэтому Pa {| n ξ−a s | < tn−1,1−α/2 } = 1 − α. Следо1 вательно, случайный интервал (ξ − √n stn−1,1−α/2 , ξ + √1n stn−1,1−α/2 ) является доверительным интервалом уровня α для неизвестного параметра a при неизвестном σ 2 . 4. Согласно теореме 7.24 (n − 1)s2 σ −2 имеет χ2n−1 -распределение. Поэтому 2 < xn−1,1−α/2 } = 1 − α. Следовательно, случайный инPσ2 {xn−1,α/2 < (n−1)s 2 σ (n−1)s2 (n−1)s2 тервал ( xn−1,1−α/2 , xn−1,α/2 ) является доверительным интервалом уровня α для неизвестного параметра σ 2 при неизвестном a. √ (n−1)s2 и независимы и имеют соот5. Так как случайные величины n ξ−a σ σ2 ветственно N(0, 1) и χ2n−1 -распределения, то n√ o (n−1)s2 ξ−a √ √ √ Pa,σ2 | n σ | < u(1+ 1−α)/2 , xn−1,(1− 1−α)/2 < σ2 < xn−1,(1+ 1−α)/2 = 1−α. n o n(ξ−a)2 (n−1)s2 (n−1)s2 2 2 2 Поэтому (a, σ ) u2 √ <σ , x <σ < x является √ √ (1+ 1−α)/2 n−1,(1+ 1−α)/2 n−1,(1− 1−α)/2 доверительной областью уровня α для неизвестного параметра θ = (a, σ 2 ). 7.13. Доверительный интервал для параметра показательного распределения Пусть ξ1 , ..., ξn — выборка из E(λ)-распределения, λ > 0. Так как fξ1 (x) = λe−λx , x > 0, то f2λξ1 (x) = 21 e−x/2 , x > 0, и, значит, 2λξ1 ∈ Γ(1, 12 ). Поэтому n P 2λnξ = 2λ ξj ∈ Γ(n, 12 ) = χ22n . j=1 Следовательно, P{x2n,α/2 < 2λnξ < x2n,1−α/2 } = 1−α и поэтому случайный x x2n,1−α/2 интервал ( 2n,α/2 , ) является доверительным интервалом для параметра 2nξ 2nξ 125 λ уровня α. 7.14. Асимптотические доверительные интервалы Пусть ξ1 , ..., ξn — выборка из распределения Pθ , зависящего от неизвестного параметра θ ∈ Θ ⊂ R. Определение 7.28. Асимптотическим доверительным интервалом уровня α ∈]0, 1[ для неизвестного параметра θ называется случайный интервал (θ1,n , θ2,n ), где θ1,n и θ2,n — cтатистики со значениями в R такие, что θ1,n < θ2,n Pθ -п.н. и lim Pθ {θ1,n < θ < θ2,n } > 1 − α ∀θ ∈ Θ. n→∞ Пример. Пусть θ = Mg(ξ1 ), σθ2 = Dg(ξ1 ), где g — известная борелевская функция, M|g(ξ1 )|2 < ∞. n P g(ξj ) является несмещенной и сильно состоятельСтатистика θbn = 1 n j=1 ной оценкой подстановки параметра θ. Случайные величины g(ξσ1 θ)−θ , ..., g(ξσnθ)−θ независимы, одинаково распределены с нулевым средним значением и едиn P √ θbn −θ g(ξj )−θ 1 √ ничной дисперсией. Поэтому распределение статистики n σθ = n σθ j=1 слабо сходится к N(0, 1)-распределению. n P 1 2 Так как σ bn = n (g(ξj ) − θbn )2 является сильно состоятельной оценкой j=1 √ θbn −θ n σbn = σ √ θbn −θ σ bn n σ имеет асимптотически нормальное N(0, 1)-распределение. Следовательно, (θbn − √σbn u1−α/2 , θbn + √σbn u1−α/2 ) подстановки параметра σθ2 , то n n является асимптотическим доверительным интервалом уровня α для неизвестного параметра θ. 126 8. Различение статистических гипотез Произвольное предположение о распределении генеральной совокупности, из которой в результате серии наблюдений извлечена выборка ξ1 , ..., ξn , называют статистической гипотезой. Гипотезу называют простой если она полностью определяет распределение генеральной совокупности. В противном случае гипотезу называют сложной. Решение вопроса «справедлива ли гипотеза H0 или ее следует отвергнуть как ошибочную» может основываться лишь на знании значений ξ1 , ..., ξn и, возможно, на знании априорной информации о распределении генеральной совокупности, которой мы могли обладать до проведения серии наблюдений. Одновременно с основной гипотезой H0 обычно выдвигают еще одну конкурирующую (альтернативную) гипотезу H1 которая принимается в случае отклонения гипотезы H0 . Условимся, что если гипотеза H1 не задана явно, то H1 состоит в том, что H0 не верна. Определение 8.1. Любое измеримое отображение g : Rn 7→ {H0 , H1 } называется статистическим критерием (решающим правилом) различения гипотез H0 и H1 . Множество W = {x : g(x) = H1 } называется «критическим» множеством статистического критерия g. Очевидно, что выбор статистического критерия эквивалентен выбору его «критического» множества. Гипотеза H0 отвергается тогда и только тогда, когда выборка (ξ1 , ..., ξn ) попадает в критическое множество. Решение, принимаемое относительно гипотезы H0 , может быть ошибочным. Обозначим через α вероятность отвергнуть гипотезу H0 когда она верна (ошибка первого рода), а через β — вероятность принять гипотезу H 0 , когда она ошибочна (ошибка второго рода): α = P(H1 /H0 ), β = P(H0 /H1 ). Вероятность ошибки первого рода α называют уровнем значимости критерия, а величину (1−β) = P(H1 /H1 ) (вероятность отвергнуть гипотезу H0 когда она неверна) называют мощностью критерия. Теорема 8.2 (лемма Неймана-Пирсона). Пусть ξ1 , ..., ξn — независимые наблюдения случайной величины ξ, для r = 0, 1 гипотеза Hr состоит в том, что функция правдоподобия выборки равна fnr (x). Cреди всех критериев, различающих гипотезы H0 и H1 с уровнем значимости α, критерий, определяемый критическим множеством (x1 ,...,xn ) Wα∗ = {(x1 , ..., xn ) : ffn1 (x 6 cα }. n 1 ,...,xn ) имеет наибольшую мощность (является наиболее мощным). Доказательство. В силу определения уровня значимости критерия параметр cα > 0, определяющий множество Wα∗ , является решением уравнения P{ξ (n) ∈ Wα∗ | H0 } = α. 127 Достаточно показать, что P{ξ (n) ∈ Wα∗ | H1 } > P{ξ (n) ∈ Wα | H1 } для любого такого Wα ∈ B(Rn ), что P{ξ (n) ∈ Wα | H0 } = α. Рассмотрим случай, когда распределение ξ1 абсолютно непрерывно. В случае, когда ξ1 имеет дискретное распределение, доказательство аналогично. Заметим, что R R fn0 (x)dx. fn0 (x)dx = α − P{ξ (n) ∈ Wα∗ ∩ Wα | H0 } = Wα \Wα∗ Wα∗ \Wα Поэтому P{ξ (n) ∈ Wα∗ | H1 } − P{ξ (n) ∈ Wα∗ ∩ Wα | H1 } = R R R = fn1 (x)dx > c1α fn0 (x)dx > fn0 (x)dx = c1α > Wα∗ \Wα R Wα \Wα∗ Wα∗ \Wα Wα \Wα∗ fn1 (x)dx = P{ξ (n) ∈ Wα | H1 } − P{ξ (n) ∈ Wα∗ ∩ Wα | H1 }.  Критерий различения гипотез с критическим множеством Wα∗ называется критерием отношения правдоподобий. 8.1. Наиболее мощные критерии различения двух простых гипотез о среднем значении гауссовского распределения Предположим, что ξ1 , ..., ξn — выборка из N(a, σ 2 )-распределения и рассмотрим задачу построения наиболее мощного критерия, различающего гипотезы H0 : a = a0 и H1 : a = a1 . Заметим, что n P 1 r 2 −n/2 fn (x1 , ..., xn ) = (2πσ ) exp { − 2σ2 (xj − ar )2 } = j=1 n = (2πσ 2 )−n/2 exp { − 2σ2 (σ̂x2 + (x̄ − ar )2 )}, r = 0, 1, n n P P 1 1 2 где x̄ = n xj , σ̂x = n (xj − x̄)2 . Следовательно, j=1 j=1 fn0 (x1 ,...,xn ) n n 2 2 2 2 fn1 (x1 ,...,xn ) = exp { 2σ 2 ((x̄ − a1 ) − (x̄ − a0 ) )} = exp { 2σ 2 (2(a0 − a1 )x̄ + (a1 − a0 ))} и критическая область наиболее мощного критерия определяется соотношением Wα∗ = {(x1 , ..., xn ) : (a0 − a1 )x̄ 6 c0α }. Поэтому если a0 < a1 , то Wα∗ = {(x1 , ..., xn ) : x̄ > c00α }, а если a0 > a1 , то Wα∗ = {(x1 , ..., xn ) : x̄ 6 c00α }, где c00α является решением уравнения P{ξ (n) ∈ Wα∗ | H0 } = α. 1. Пусть дисперсия σ 2 известна, a0 < a1 . Тогда критическое множество Wα∗ √ представимо в виде Wα∗ = {(x1 , ..., xn ) : n x̄−a > vα }, где vα удовлетвоσ (n) ∗ ряет уравнению P{ξ ∈ Wα | H0 } = α, которое в данном случае эквивалентно √ ¯ 0 уравнению P{ n ξ−a σ > vα | H0 } = α. √ ¯ 0 Так как распределение статистики n ξ−a σ , при условии, что гипотеза H0 верна, является N(0, 1)-распределением, то, значит, vα = u1−α . Следовательно, критическое множество наиболее мощного критерия уровня α имеет вид 128 √ Wα∗ = {(x1 , ..., xn ) : n x̄−a σ > u1−α }. Таким образом, если в результате вычислений квантили u1−α и статисти√ ¯ 0 √ ξ−a ¯ 0 ки n ξ−a n окажется, что > u1−α , то гипотеза H0 должна быть отσ σ вергнута. Это соответствует интуитивным соображениям: гипотеза H 0 должна быть отвергнута, так как в предположении, что H0 верна произошло событие √ ¯ 0 { n ξ−a σ > u1−α }, малой вероятности α. 2. Пусть дисперсия σ 2 известна, a0 > a1 . В этом случае критическое множе√ ство Wα∗ представимо в виде Wα∗ = {(x1 , ..., xn ) : n x̄−a 6 vα }. Поэтому σ критическое множество наиболее мощного критерия уровня α равно √ Wα∗ = {(x1 , ..., xn ) : n x̄−a σ 6 uα }. 8.2. Критерии проверки сложных гипотез о параметрах гауссовского распределения Пусть ξ1 , ..., ξn — выборка из N(a, σ 2 )-распределения. 1. Рассмотрим гипотезу H0 : a = a0 , считая, что параметр σ 2 известен, и построим критерии проверки гипотезы H0 относительно сложной альтернативы H1 : n√ ¯ o ξ−a0 (i) H1 : a < a0 P n < uα H0 = α. n√ ¯σ o ξ−a0 n > u1−α H0 = α. (ii) H1 : a > a0 P o n√ ¯ σ ξ−a0 n σ ∈ / (uα/2 , u1−α/2 ) H0 = α. (iii) H1 : a 6= a0 P 2. Рассмотрим гипотезу H0 : a = a0 , считая, что параметр σ 2 неизвестен, и построим критерии проверки гипотезы H0 относительно сложной альтернативы H1 : o n√ ¯ ξ−a0 n < tn−1,α H0 = α. (i) H1 : a < a0 P n√ ¯s o ξ−a0 (ii) H1 : a > a0 P n > tn−1,1−α H0 = α. o n√ ¯ s ξ−a0 / (tn−1,α/2 , tn−1,1−α/2 ) H0 = α. (iii) H1 : a 6= a0 P n s ∈ 3. Рассмотрим гипотезу H0 : σ 2 = σ02 , считая, что параметр a известен. n P 1 2 Статистика σ̂n = n (ξj − a)2 является несмещенной, сильно состоятельной j=1 и эффективной оценкой параметра σ 2 . Согласно определению χ2n -распредеn P ξ −a 2 nσ̂ 2 ления σ2 = ( jσ ) ∈ χ2n . Построим критерии проверки гипотезы H0 отноj=1 сительно сложной альтернативы H1 : o n 2 (i) H1 : σ 2 < σ02 P nσ̂ = α. 2 < xn,α H0 nσ0 2 o nσ̂ 2 2 (ii) H1 : σ > σ0 P σ2 > xn,1−α H0 = α. 129 (iii) H1 : σ 6= 2 σ02 P n nσ̂ 2 σ02 o ∈ / (xn,α/2 , xn,1−α/2 ) H0 = α. 4. Рассмотрим гипотезу H0 : σ 2 = σ02 , считая, что параметр a неизвестен. Заметим, что согласно теореме 7.24 (n − 1)s2 σ −2 имеет χ2n−1 -распределение. Построим критерии проверки гипотезы H0 относительно сложной альтернативы H1 : o n (n−1)s2 2 2 < xn−1,α H0 = α. P (i) H1 : σ < σ0 2 n σ0 2 o (n−1)s 2 2 P (ii) H1 : σ > σ0 > xn−1,1−α H0 = α. 2 o n σ0 2 (n−1)s 2 2 ∈ / (xn−1,α/2 , xn−1,1−α/2 ) H0 = α. P (iii) H1 : σ 6= σ0 σ2 8.3. Сравнение дисперсий двух гауссовских распределений Предположим, что ξ1,1 , ..., ξ1,n1 и ξ2,1 , ..., ξ2,n2 — независимые выборки из N(a1 , σ12 ) и N(a2 , σ22 )-распределений соответственно. Параметры распределений неизвестны. Рассмотрим статистики nr nr P P 1 1 2 ξr,j , sr = nr −1 (ξr,j − ξ r )2 , ξ r = nr r = 1, 2. j=1 j=1 2 2 В силу следствия 7.25 статистика ss12 σσ22 имеет распределение Фишера с (n1 − 1) 2 1 и (n2 − 1) степенями свободы. Поэтому P{z(n1 −1, n2 −1, α/2) < s21 σ22 s22 σ12 < z(n1 −1, n2 −1, 1−α/2)} = 1−α 2 и, следовательно, случайный интервал ( s2 z(n1 −1,ns21−1,1−α/2) , 2 является доверительным интервалом уровня α для σ12 . σ22 s21 2 s2 z(n1 −1,n2 −1,α/2) ) 2 Рассмотрим гипотезу H0 : σσ12 = b. Построим критерии проверки гипотезы 2 H0 относительно сложной альтернативы H1 : 2 2 2 2 (i) H1 : σσ12 < b P{ s1 /s b < zn1 −1,n2 −1,α |H0 } = α. 2 (ii) H1 : (iii) H1 : σ12 >b σ22 σ12 6= b σ22 2 2 2 2 2 P{ s1 /s b > zn1 −1,n2 −1,1−α |H0 } = α. 2 / (zn1 −1,n2 −1,α/2 , zn1 −1,n2 −1,1−α )|H0 } = α. P{ s1 /s b ∈ 8.4. Сравнение средних двух гауссовских выборок Предположим, что ξ1,1 , ..., ξ1,n1 и ξ2,1 , ..., ξ2,n2 — независимые выборки из N(a1 , σ 2 ) и N(a2 , σ 2 )-распределений соответственно. Параметры распределений неизвестны. Рассмотрим статистики nr nr P P 1 1 2 ξr,j , sr = nr −1 (ξr,j − ξ r )2 , r = 1, 2. ξ r = nr j=1 Заметим, что ξ r ∈ j=1 1 2 N(ar , nr σ ), ξ 1 − ξ 2 ∈ N(a1 − a2 , ( n11 + r = 1, 2. Следовательно, 1 2 n2 )σ ) и, значит, (ξ 1 −ξ 2 )−(a1 −a2 ) q σ n1 + n1 1 130 2 ∈ N(0, 1). 2 2 1 2 Так как статистики (n1 −1)s и (n2 −1)s независимы (как функции от независимых σ2 σ2 выборок) и имеют соответственно χ2n1 −1 и χ2n2 −1 -распределения, то (n1 −1)s21 +(n2 −1)s22 σ2 ∈ χ2n1 +n2 −2 . Далее, статистика s2 , (n1 +n2 −2)s2 σ2 Так как ∈ χ2n1 +n2 −2 . (ξ 1 −ξ 2 )−(a1 −a2 ) q σ n1 + n1 1 и (n1 −1)s21 +(n2 −1)s22 n1 +n2 −2 (n1 +n2 −2)s2 σ2 является несмещенной оценкой σ 2 и независимы, то 2 (ξ 1 −ξ 2 )−(a1 −a2 ) q s n1 + n1 1 2 имеет o 2 степенями свободы. Поэтому n распределение Стьюдента с n1 + n2 − (ξ 1 −ξ 2 )−(a1 −a2 ) q < t(n1 + n2 − 2, 1 − α/2) = 1 − α и случайный интервал P s n1 + n1 1 2   st(n1 +n2 −2,1−α/2) st(n1 +n2 −2,1−α/2) q q (ξ 1 − ξ 2 ) − , (ξ 1 − ξ 2 ) + является доверитель1 1 1 1 n1 + n2 n1 + n2 ным интервалом уровня α для параметра a1 − a2 . Рассмотрим гипотезу H0 : a1 − a2 = a. Построим критерии проверки гипотезы H0 относительно сложной альтернативы H1 : o n (i) H1 : a1 − a2 < a P (ξq1 −ξ1 2 )−a < tn1 +n2 −2,α H0 = α. s n + n1 1 2 o n (ξ 1 −ξ 2 )−a q > tn1 +n2 −2,1−α H0 = α. (ii) H1 : a1 − a2 > a P s n1 + n1 1 2 o n (ξ 1 −ξ 2 )−(a1 −a2 ) q > tn1 +n2 −2,1−α/2 H0 = α. (iii) H1 : a1 − a2 6= a P 1 1 s n1 + n2 8.5. Статистика Колмогорова Определение 8.3 Пусть ξ1 , ..., ξn — выборка из распределения с функцией распределения F (x), x ∈ R. Статистикой Колмогорова на выборке ξ (n) , (ξ1 , ..., ξn ) называется случайная величина Kn (ξ (n) ) , sup |F̂n (x, ξ (n) ) − F (x)|, где F̂n (x, ξ (n) ) = 1 n n P j=1 x∈R I{ξj 6x} — эмпирическая функция распределения. Теорема 8.4. Если функция распределения F непрерывна, то распределение статистики Kn (ξ (n) ) не зависит от F . Доказательство. Рассмотрим функцию F −1 (y) , inf{x|F (x) > y}, 0 < y < 1, и случайные величины ηk , F (ξk ), k = 1, ..., n. Очевидно, что η1 , ..., ηn — независимые одинаково распределенные случайные величины с функцией распределения Fη1 (y) = P{F (ξ1 ) 6 y} = P{ξ1 6 F −1 (y)} = F (F −1 (y)) = y, 0 < y < 1. n n P P 1 1 (n) Заметим, что F̂n (y, η ) = n I{ηj 6 y} = n I{F (ξj ) 6 y} = j=1 = 1 n n P j=1 I{ξj 6 F −1 (y)} = F̂n (F −1 (y), ξ (n) ). j=1 131 Поэтому Kn (ξ (n) ) = sup x:0 0. lim P{ nKn 6 y} = FK (y) , 1 − 2 (−1)k+1 e−2k y , n→∞ k=1 Рассмотрим гипотезу H0 : выборка ξ1 , ..., ξn взята из распределения с данной (известной) непрерывной функцией распределения F . Пусть kp — квантиль FK -распределения уровня p. Асимптотический статистический критерий Колмогорова: √ lim P{ nKn > k1−α |H0 } = α. n→∞ 8.6. χ2 -критерий Пирсона Предположим, что ξ1 , ..., ξn — независимые наблюдения случайного элемента ξ : (Ω, F ) 7→ (X, A ). Рассмотрим гипотезу H0 состоящую в том, что распределение Qξ случайного элемента ξ совпадает с заданным распределением Q на (X, A ). Пусть {S1 , S2 , ..., Sr } — A -измеримое разбиение пространства X и для каждого j ∈ {1, 2, ..., r} пусть pj = Q(Sj ), νj — количество r P (νj −npj )2 элементов выборки, попавших в Sj . Определим статистику χ b2n = . npj Очевидно, что χ b2n = r P j=1 j=1 νj2 npj − n. Теорема 8.7. Если гипотеза H0 верна, то распределение статистики χ b2n слабо сходится при n → ∞ к χ2r−1 -распределению. Заметим, что если гипотеза H0 верна, то νj является несмещенной и сильно состоятельной оценкой величины npj . Поэтому если в эксперименте значение статистики χ b2n близко к нулю, то кажется правдоподобным, что гипотеза H0 132 верна. Если же значение статистики χ b2n далеко от нуля, то кажется правдоподобным, что гипотеза H0 не верна. Для произвольного α ∈]0, 1[ lim P{b χ2n > xr−1,1−α |H0 } = α. n→∞ (8.1) Соотношение (8.1) определяет асимптотический статистический критерий уровня α для проверки гипотезы H0 против альтернативы H1 = {H0 не верна}. Алгоритм проверки гипотезы H0 с уровнем значимости α: 1) выбрать A -измеримое разбиение {S1 , S2 , ..., Sr } пространства X; 2) вычислить pj = Q(Sj ) и νj для j ∈ {1, 2, ..., r} и статистику χ b2n ; 3) сравнить χ b2n и квантиль xr−1,1−α χ2r−1 -распределения уровня 1 − α: если χ b2n > xr−1,1−α , то гипотеза H0 отвергается. В данном статистическом критерии вместо предельного соотношения (8.1) применяется приближенное равенство P{b χ2 > xr−1,1−α |H0 } ≈ α. Совершаемая при этом ошибка достаточно мала, если n > 50 и разбиение {S1 , ..., Sr } выбрано таким образом, что npj > 5 и νj > 5. 8.7. χ2 -критерий Пирсона при наличии неизвестных параметров Предположим, что ξ1 , ..., ξn — независимые наблюдения случайного элемента ξ : (Ω, F ) 7→ (X, A ). Рассмотрим гипотезу H0 , состоящую в том, что распределение Qξ случайного элемента ξ совпадает с заданным распределением Q(·, θ) на (X, A ), зависящим от неизвестного параметра θ ∈ Θ ⊂ Rk . Пусть {S1 , S2 , ..., Sr } — A -измеримое разбиение пространства X, r > k + 1. Для каждого j ∈ {1, 2, ..., r} пусть pj (θ) = Q(Sj , θ), νj — количество элементов выборки, попавших в Sj . Пусть θbn — состоятельная оценка параметра θ. Предположим, что pj (θ) — непрерывные функции θ. r P [νj −npj (θbn )]2 Определим статистику χ b2n = . np (θb ) j=1 χ b2n j n Теорема 8.8. Если гипотеза H0 верна, то распределение статистики слабо сходится при n → ∞ к χ2r−k−1 -распределению. Для произвольного α ∈]0, 1[ lim P{b χ2n > xr−k−1,1−α |H0 } = α. n→∞ (8.2) Соотношение (8.2) определяет асимптотический статистический критерий уровня α для проверки гипотезы H0 против альтернативы H1 = {H0 не верна}. 8.8. χ2 -критерий независимости признаков Пусть ξ — случайный элемент со множеством значений {x1 , ..., xr }, η — случайный элемент со множеством значений {y1 , ..., ys }. Проведена серия n 133 независимых наблюдений случайного вектора (ξ, η). Гипотеза H0 состоит в том, что ξ и η независимы. Случайные элементы ξ и η часто называют признаками имея в виду следующие интуитивные соображения. Имеется n однотипных объектов у каждого из которых в той или иной мере проявляются два признака: ξ и η. Решается вопрос: являются ли признаки ξ и η независимыми? Если r = 1 или s = 1, то ξ и η очевидно независимы. Поэтому далее считаем, что r > 1 и s > 1. r s P P Пусть νi,j — частота события {ξ = xi , η = yj }, νi,∗ , νi,j , ν∗,j , νi,j . Результаты наблюдений запишем в виде сопряженности признаков: ξ \ η y1 y2 ... x1 ν1,1 ν1,2 ... x2 ν2,1 ν2,2 ... ... ... ... ... xr νr,1 νr,2 ... ν∗·,1 ν∗,2 ... j=1 i=1 таблицы, называемой таблицей ys ν1,s ν2,s ... νr,s ν∗,s ν1,∗ ν2,∗ ... νr,∗ n Случайные элементы ξ и η являются независимыми, если P{ξ = xi , η = yj } = P{ξ = xi }P{η = yj } для любых i и j. ν ν ν Отметим, что ni,j , ni,∗ и n∗,j — несмещенные и сильно состоятельные оценки вероятностей P{ξ = xi , η = yj }, P{ξ = xi } и P{η = yj } соответственν ν ν но. Очевидно, что ( ni,j − ni,∗ · n∗,j ) — сильно состоятельная оценка разности P{ξ = xi , η = yj } − P{ξ = xi }P{η = yj }. P (nνi,j −νi,∗ ν∗,j )2 Рассмотрим статистику χ b2n , . nνi,j i,j близко к нулю, то кажется правдоподобным, Если значение статистики что гипотеза H0 верна. Если же значение статистики χ b2n далеко от нуля, то кажется правдоподобным,  Pчто 2гипотеза  H0 не верна. ν i,j Отметим, что χ b2n = n νi,∗ ·ν∗,j − 1 . χ b2n i,j Теорема 8.9. Если гипотеза H0 верна, то распределение χ b2n слабо сходится к χ2(r−1)(s−1) -распределению. Следствие 8.10. lim P{b χ2n > x(r−1)(s−1),1−α |H0 } = α n→∞ α ∈]0, 1[, где xm,p — квантиль χ2m -распределения. для любого Алгоритм проверки гипотезы H0 с уровнем значимости α: по имеющимся наблюдениям вычислить χ b2n и по заданому уровню значимости α найти x(r−1)(s−1),1−α . Если χ b2n > x(r−1)(s−1),1−α , то H0 отвергается. 134 8.9. χ2 -критерий однородности Пусть ξ1 ,...ξn1 — независимые наблюдения элемента ξ, η1 ,...ηn2 — независимые наблюдения элемента η со значениями в измеримом пространстве (X, A ). Рассмотрим гипотезу H0 состоящую в том, что распределения совпадают и равны распределению Q. Пусть (S1 ,...,Sr ) – A измеримое разбиение пространства X и для каждого j ∈ {1, ..., r} и пусть pj = Q(Sj ), νj — количество элементов выборки ξ n1 попавших в Sj , µj — количество элементов выборки η n2 попавших в Sj . Определим статистику 2 r  X ν n1 n2 µ i i ξˆn21 ,n2 = − . n n ν + µ 1 2 i i i=1 Теорема 8.11 Если гипотеза H0 верна, то распределение статисти2 . ки ξˆn21 ,n2 слабо сходится при n1 , n2 → ∞ к ξr−1 Соотношение P ( r  X νi i=1 µi − n1 n2 2 n1 n2 > xr−1,1−α |H2 νi + µi ) =1−α определяет статистический критерий уровня α для проверки гипотезы H 0 против альтернативы H1 = {H0 не верна }. 135 9. Достаточные статистики Пусть ξ1 , ..., ξn — независимые наблюдения случайной величины ξ, распределение которой зависит от параметра θ ∈ Θ ∈ B(R` ), ξ (n) = (ξ1 , ..., ξn ). Определение 9.1. Статистика S(ξ (n) ), принимающая значения в Rd , называется достаточной для параметра θ, если условное распределение ξ (n) относительно S(ξ (n) ) Pθ {ξ (n) ∈ B | S(ξ (n) ) = t}, B ∈ B(Rn ), t ∈ Rd , не зависит от θ. Достаточность статистики S(ξ (n) ) означает, что вся информация о параметре θ, содержащаяся в выборке ξ (n) , содержится в статистике S(ξ (n) ). Пример. Пусть ξ1 , ..., ξn — выборка из пуассоновского распределения с n P параметром λ > 0 и S(x1 , ..., xn ) = xj . j=1 −λ(1−eit ) it Заметим что ϕξ1 (t) = e , ϕξ1 +...+ξn (t) = e−nλ(1−e ) и, следовательно, S(ξ (n) ) имеет пуассоновское распределение с параметром nλ. Поэтому для s ∈ N0 , xj ∈ N0 , j = 1, ..., n, имеем n o n P n =xn ,ξ1 +...+ξn =s} Pλ (ξ1 , ..., ξn ) = (x1 , ..., xn ) ξj = s = Pλ {ξ1 =xP1λ,...,ξ = {ξ1 +...+ξn =s} j=1  n P Pλ {ξ1 =x1 ,...,ξn =xn }  n xj Q  xj = s,  Pλ {ξ1 +...+ξn =s} , если e−λ λx ! j j=1 j=1 s! = = . s = n n (nλ) Q −nλ P e  ns xj ! s!  xj 6= s , если 0 j=1 j=1 Следовательно, S(ξ ) — достаточная статистика для параметра λ. Замечание 9.2. Если ξ1 , ..., ξn — независимые наблюдения дискретной случайной величины ξ с множеством значений Xξ , то статистика S(ξ (n) ) является достататочной для параметра θ тогда и только тогда, когда Pθ {ξ (n) = x| S(ξ (n) ) = t}, x ∈ Xξn , t ∈ Rd , не зависит от θ. Теорема 9.3 (Неймана–Фишера о факторизации). Для того чтобы статистика S(ξ (n) ) была достататочной для параметра θ необходимо и достаточно, чтобы функция правдоподобия fn (x1 , ..., xn , θ) выборки ξ (n) допускала представление (n) fn (x1 , ..., xn , θ) = ψ(S(x1 , ..., xn ), θ)h(x1 , ..., xn ), где ψ(·, ·) и h(·) — некоторые положительные измеримые функции. (9.1) Доказательство теоремы в общем случае содержится в [1]. Проведем доказательство в частном случае, когда ξ1 , ..., ξn — независимые наблюдения дискретной случайной величины ξ. В этом случае 136 fn (x1 , ..., xn , θ) = Pθ {ξ1 = x1 , ..., ξn = xn }, x1 , ..., xn ∈ Xξ , где Xξ — конечное или счетное множество значений ξ. Если выполнено условие (9.1), то Pθ {ξ (n) = x| S(ξ (n) ) = t} = 0 для t 6= S(x), t ∈ Rd , x ∈ Xξn , а для t = S(x) Pθ {ξ (n) = x | S(ξ (n) ) = t} = = Pψ(S(x),θ)h(x) ψ(S(y),θ)h(y) Pθ {ξ (n) =x} Pθ {S(ξ (n) )=S(t)} Ph(x) = y:S(y)=S(x) Pfn (x,θ) fn (y,θ) = = y:S(y)=S(x) h(y) . y:S(y)=S(x) Следовательно, Pθ {ξ = x | S(ξ (n) ) = t} не зависит от θ. Наоборот, если S(ξ(n)) — достаточная статистика, то полагая h(x) , Pθ {ξ (n) = x | S(ξ (n) ) = S(x)}, x ∈ Xξn , имеем fn (x, θ) = (n) = Pθ {ξ (n) = x} = Pθ {ξ (n) = x, S(ξ (n) ) = S(x)} = h(x)Pθ {S(ξ (n) ) = S(x)}. Следовательно, условие (9.1) выполнено с ψ(t, θ) , Pθ {S(ξ (n) ) = t}.  Следствие 9.4. Если S(ξ (n) ) — достаточная статистика для θ и θ̂ — оценка максимального правдоподобия параметра θ, то существует такая борелевская функция g : Rd 7→ R` , что θ̂ = g(S(ξ (n) )). Пример. Пусть ξ1 , ..., ξn — выборка из N (a, σ 2 )-распределения. Заметим, что ее функция правдоподобия представима в виде n P n fn (x1 , ..., xn , a, σ 2 ) = (2π)− 2 σ −n exp { − 2σ1 2 (xj − a)2 } = n = (2π)− 2 σ −n exp { − 1 2σ 2 ( n P j=1 x2j − 2a n P j=1 j=1 xj + na2 })}. Следовательно, статистика S(ξ1 , ..., ξn ) , ( n P j=1 для параметра (a, σ ). 2 ξj , n P j=1 ξj2 ) является достаточной Определение 9.5. Статистика S1 подчинена статистике S2 , если существует такая измеримая функция g, что S1 = g(S2 ). Если S1 подчинена S2 , то информация, содержащаяся в статистике S1 меньше информации, содержащейся в статистике S2 . Говорят, что статистика S1 «экономнее» статистики S2 . Определение 9.6. Достаточная статистика S называется минимальной, если она подчинена любой другой достаточной статистике. Минимальная достаточная статистика является наиболее "экономной". Теорема 9.7 (Рао–Блекуэлла–Колмогорова). Пусть θb — несмещен- ная оценка неизвестного параметра θ, S(ξ (n) ) — достаточная статистика, θbS , Mθ {θb | S(ξ (n) )}. Тогда: 137 1) θbS — несмещенная оценка параметра θ; 2) θbS зависит от выборки только через S(ξ (n) ); 3) Dθ θbS 6 Dθ θb ∀θ ∈ Θ, причем это неравенство переходит в равенство тогда и только тогда, когда θb = θbS Pθ -п.н ∀θ ∈ Θ. Доказательство. Заметим, что θbS является некоторой измеримой функцией от S(ξ (n) ) и в силу достаточности статистики S(ξ (n) ) статистика θbS не зависит от θ. Очевидно, что Mθ θbS = Mθ Mθ {θb | S(ξ (n) )} = Mθ θb = θ ∀θ ∈ Θ. Согласно свойствам условных математических ожиданий Mθ (θbS − θ)(θb − θbS ) = Mθ [(θbS − θ)Mθ {θb − θbS | S(ξ (n) )}] = 0 и поэтому Mθ (θb − θ)2 = Mθ (θb − θbS )2 + Mθ (θbS − θ)2 ∀θ ∈ Θ.  Следствие 9.8. Пусть S(ξ (n) ) и T (ξ (n) ) — две достаточные статистики, S подчинена T , θb — несмещенная оценка параметра θ. Тогда Dθ θbS 6 Dθ θbT . Таким образом, для построения наилучших в среднем квадратическом оценок нужно искать минимальные достаточные статистики. Следствие 9.9. Если S — минимальная достаточная статистика, то Dθ θbS 6 Dθ θb для любой несмещенной оценки θb параметра θ. Определение 9.10. Статистика S(ξ (n) ) называется полной, если для любой борелевской функции g : Rd 7→ R` из условия Mθ g(S(ξ (n) )) = 0 ∀θ ∈ Θ следует, что g(S(ξ (n) )) = 0 Pθ -п.н. ∀θ ∈ Θ. Очевидно, что условие g(S(ξ (n) )) = 0 Pθ -п.н. ∀θ ∈ Θ эквивалентно условию g = 0 Fs,θ -п.в. ∀θ ∈ Θ, где FS,θ (B) , Pθ {S(ξ (n) ) ∈ B}, B ∈ B(Rd ). Теорема 9.11. Для того, чтобы статистика S(ξ (n) ) являлась полной, необходимо и достаточно, чтобы несмещенная оценка θb параметра θ вида θb = h(S(ξ (n) )), h ∈ B(Rd )|B(R` ), являлась единственной, т.е чтобы из условий hi ∈ B(Rd )|B(R` ), θbi , hi (S(ξ (n) )), Mθbi = θ, i = 1, 2, следовало бы, что θb1 = θb2 Pθ -п.н. ∀θ ∈ Θ. Доказательство. Необходимость. Если θbi , hi (S(ξ (n) )), i = 1, 2, — две несмещенные оценки параметра θ, то Mθ (θb1 − θb2 ) = M(h1 − h2 )(S(ξ (n) )) = 0 ∀θ ∈ Θ и полнота статистики S(ξ (n) ) влечет равенство θb1 = θb2 Pθ -п.н. ∀θ ∈ Θ. Достаточность. Пусть θb1 , h1 (S(ξ (n) )) — несмещенная оценка θ, g — B(Rd )|B(R` )-измеримая функция, Mθ g(S(ξ (n) )) = 0 ∀θ ∈ Θ. Тогда θb2 , h2 (S(ξ (n) )), где h2 , h1 + g, также является несмещенной оценкой θ. Следовательно, h1 (S(ξ (n) )) = h2 (S(ξ (n) )) и, значит, g(S(ξ (n) ) = 0 Pθ -п.н. ∀θ ∈ Θ.  138 Следствие 9.12. Если S(ξ (n) ) — полная достаточная статистика и θb — несмещенная оценка параметра θ, то θbS , M{θ̂|S(ξ (n) )} является единственной эффективной несмещенной оценкой параметра θ. Доказательство. Если θ̃ — несмещенная оценка параметра θ, то согласно предыдущей теореме θ̃S , Mθ {θ̃ | S(ξ (n) } = θbS Pθ -п.н. ∀θ ∈ Θ и в силу теоремы 4.2 Mθ (θbS − θ)2 = Mθ (θ̃S − θ)2 6 Mθ (θ̃ − θ)2 причем равенство возможно тогда и только тогда, когда θ̃ = θ̃S = θbS .  139 10. Метод наименьших квадратов Предположим, что состояние некоторого объекта описывается переменными y, x1 , ..., x` и имеются основания предполагать, что функциональная зависимость y от x1 , ..., x` близка к линейной зависимости: y = β1 x1+β2 x2+...+β` x` . Коэффициенты β1 , ..., β` неизвестны и должны быть определены экспериментально. Далее предположим, что проводится серия независимых экспериментов H1 , ..., Hn , где n > ` в каждом из которых имеется возможность задавать неслучайные величины x1 , ..., x` и измерять величину y с некоторой случайной ошибкой. Таким образом, для каждого t ∈ {1, ..., n} в результате проведения эксперемента Ht величины x1 , ..., x` приняли определенные известные неслучайные значения xt,1 , ..., xt,` , а величина y измерена с ошибкой εt и результат ее измерения — случайная величина yt . Таким образом имеет место система равенств X̀ βj xj,t + εt , t = 1, ..., n. (10.1) yt = j=1 Предполагаем, что ε1 , ..., εn — независимые случайные величины, Mεt = 0, Dεt = σ 2 . Параметр σ 2 неизвестен. Введем обозначения: Y = (y1 , ..., yn ), ε = (ε1 , ..., εn ), β = (β1 , ..., β` ), X = [xj,t ]j=1,n,t=1,` . Тогда (10.1) можно записать в виде: Y = βX + ε. Матрицу X называют регрессором (или входом), а вектор Y — откликом. Очевидно, что матрица XX ∗ неотрицательно определена. Далее будем предполагать, что XX ∗ строго положительно определена. Рассмотрим оценку параметра β по методу наименьших квадратов: 2 n  P̀ P ∗ βj xt,j . β̂ , arg min(Y − Xβ)(Y − Xβ) = arg min yt − β∈R` Заметим, что d2 dβ 2 (Y d dβ (Y (β1 ,...,β` )∈R` t=1 ∗ j=1 ∗ − βX)(Y − βX) = −2(Y − βX)X = −2(Y X ∗ − βXX ∗ ), − βX)(Y − βX)∗ = 2XX ∗ . Поэтому β̂ = Y X ∗ (XX ∗ )−1 — несмещенная оценка параметра β. Заметим что Y − β̂X = ε[In − X ∗ (XX ∗ )−1 X], (Y − β̂X)(Y − β̂X)∗ = ε[In − X ∗ (XX ∗ )−1 X]ε∗ . Если B — матрица размера (n × n), то n n P P P MεBε∗ = M ε2t bt,t + M bt,s εt εs = σ 2 bt,t = σ 2 tr B. t=1 Следовательно, t6=s t=1 M(Y − β̂X)(Y − β̂X)∗ = 140 = σ 2 (tr In − tr X ∗ (XX ∗ )−1 X) = σ 2 (tr In − tr I` ) = σ 2 (n − `). 1 Поэтому σ b2 , n−` (Y − β̂X)(Y − β̂X)∗ является несмещенной оценкой σ 2 . Теорема 10.1. Пусть εt ∈ N(0, σ 2 ), t = 1, ..., n. Тогда: 1) β̂ и σ b2 — независимые несмещенные и эффективные оценки параметров β и σ 2 ; 2) (β̂ − β)(XX ∗ )1/2 ∈ N(0, σ 2 I` ); 2 σ2 3) (n−`)b = |Y −σβ̂X| ∈ χ2n−` ; 2 σ2 ∗ ∗ )(β̂−β) 4) (β̂−β)(XX имеет распределение Фишера с ` и n − ` степенями (n−`)b σ2 свободы. Доказательство можно найти в [1]. 141 Приложение Таблица 1. Греческий алфавит Буквы Название Буквы Название A α альфа N ν ню B β бета Ξ ξ кси Γ γ гамма O o омикрон ∆ δ дельта Π π пи E ε эпсилон P % ро Z ζ дзета Σ σ ς сигма H η эта T τ тау Θ ϑ тхета Υ υ ипсилон I ι йота Φ ϕ φ фи K κ κ каппа X χ хи Λ λ ламбда Ψ ψ пси M µ мю Ω ω омега Таблица 2. Готический алфавит Буквы Название Буквы Название Aa а Nn эн Bb бэ Oo о Cc цэ Pp пэ Dd дэ Qq ку Ee э Rr эр Ff эф Ss эс Gg гэ Tt тэ Hh ха Uu у Ii и Vv фау Jj йот Ww вэ Kk ка Xx икс Ll эль Yy ипсилон Mm эм Zz цэт 142 Таблица 3. Значения функции Лапласа Φ(x) = x 0,001 0,002 0,003 0,004 0,005 0,006 0,007 0,008 0,009 0,010 0,012 0,014 0,016 0,018 0,020 0,022 0,024 0,026 0,028 0,030 0,032 0,034 0,036 0,038 0,040 0,042 0,044 0,046 0,048 0,050 0,052 0,054 0,056 0,058 Φ(x) 0,00040 0,00080 0,00120 0,00160 0,00199 0,00239 0,00279 0,00319 0,00359 0,0040 0,0048 0,0056 0,0064 0,0072 0,0080 0,0088 0,0096 0,0104 0,0112 0,0120 0,0128 0,0136 0,0144 0,0152 0,0160 0,0168 0,0175 0,0183 0,0191 0,0199 0,0207 0,0215 0,0223 0,0231 x 0,100 0,105 0,110 0,115 0,120 0,125 0,130 0,135 0,140 0,145 0,150 0,155 0,160 0,165 0,170 0,175 0,180 0,185 0,190 0,195 0,200 0,205 0,210 0,215 0,220 0,225 0,230 0,235 0,240 0,245 0,250 0,255 0,260 0,265 Φ(x) 0,0398 0,0418 0,0438 0,0458 0,0478 0,0497 0,0517 0,0537 0,0557 0,0576 0,0596 0,0616 0,0636 0,0655 0,0675 0,0695 0,0714 0,0734 0,0753 0,0773 0,0793 0,0812 0,0832 0,0851 0,0871 0,0890 0,0910 0,0929 0,0948 0,0968 0,0987 0,1006 0,1026 0,1045 143 √1 2π x 0,370 0,375 0,380 0,385 0,390 0,395 0,400 0,405 0,410 0,415 0,420 0,425 0,430 0,435 0,440 0,445 0,450 0,455 0,460 0,465 0,470 0,475 0,480 0,485 0,490 0,495 0,50 0,51 0,52 0,53 0,54 0,55 0,56 0,57 Rx e−u 2 /2 Φ(x) 0,1443 0,1462 0,1480 0,1499 0,1517 0,1536 0,1554 0,1573 0,1591 0,1609 0,1628 0,1646 0,1664 0,1682 0,1700 0,1718 0,1736 0,1754 0,1772 0,1790 0,1808 0,1826 0,1844 0,1862 0,1879 0,1897 0,1915 0,1950 0,1985 0,2019 0,2054 0,2088 0,2123 0,2157 du Таблица 3.(продолжение) Значения функции Лапласа 0,060 0,0239 0,270 0,1064 0,58 0,2190 0,062 0,0247 0,275 0,1083 0,59 0,2224 0,064 0,0255 0,280 0,1103 0,60 0,2257 0,066 0,0263 0,285 0,1122 0,61 0,2291 0,068 0,0271 0,290 0,1141 0,62 0,2324 0,070 0,0279 0,295 0,1160 0,63 0,2357 0,072 0,0287 0,300 0,1179 0,64 0,2389 0,074 0,0295 0,305 0,1198 0,65 0,2422 0,076 0,0303 0,310 0,1217 0,66 0,2454 0,078 0,0311 0,315 0,1236 0,67 0,2486 0,080 0,0319 0,320 0,1255 0,68 0,2517 0,082 0,0327 0,325 0,1274 0,69 0,2549 0,084 0,0335 0,330 0,1293 0,70 0,2580 0,086 0,0343 0,335 0,1312 0,71 0,2611 0,088 0,0351 0,340 0,1331 0,72 0,2642 0,090 0,0359 0,345 0,1350 0,73 0,2673 0,092 0,0367 0,350 0,1368 0,74 0,2704 0,094 0,0374 0,355 0,1387 0,75 0,2734 0,096 0,0382 0,360 0,1406 0,76 0,2764 0,098 0,0390 0,365 0,1424 0,77 0,2794 0,78 0,2823 1,32 0,4066 2,02 0,4783 0,79 0,2852 1,33 0,4082 2,04 0,4793 0,80 0,2881 1,34 0,4099 2,06 0,4803 0,81 0,2910 1,35 0,4115 2,08 0,4812 0,82 0,2939 1,36 0,4131 2,10 0,4821 0,83 0,2967 1,37 0,4147 2,12 0,4830 0,84 0,2995 1,38 0,4162 2,14 0,4838 0,85 0,3023 1,39 0,4177 2,16 0,4846 0,86 0,3051 1,40 0,4192 2,18 0,4854 0,87 0,3078 1,41 0,4207 2,20 0,4861 0,88 0,3106 1,42 0,4222 2,22 0,4868 0,89 0,3133 1,43 0,4236 2,24 0,4875 0,90 0,3159 1,44 0,4251 2,26 0,4881 0,91 0,3186 1,45 0,4265 2,28 0,4887 0,92 0,3212 1,46 0,4279 2,30 0,4893 0,93 0,3238 1,47 0,4292 2,32 0,4898 0,94 0,3264 1,48 0,4306 2,34 0,4904 0,95 0,3289 1,49 0,4319 2,36 0,4909 144 Таблица 3.(продолжение) Значения функции Лапласа 0,96 0,3315 1,50 0,4332 2,38 0,4913 0,97 0,3340 1,51 0,4345 2,40 0,4918 0,98 0,3365 1,52 0,4357 2,42 0,4922 0,99 0,3389 1,53 0,4370 2,44 0,4927 1,00 0,3413 1,54 0,4382 2,46 0,4931 1,01 0,3438 1,55 0,4394 2,48 0,4934 1,02 0,3461 1,56 0,4406 2,50 0,4938 1,03 0,3485 1,57 0,4418 2,55 0,4946 1,04 0,3508 1,58 0,4429 2,60 0,4953 1,05 0,3531 1,59 0,4441 2,65 0,4960 1,06 0,3554 1,60 0,4452 2,70 0,4965 1,07 0,3577 1,61 0,4463 2,75 0,4970 1,08 0,3599 1,62 0,4474 2,80 0,4974 1,09 0,3621 1,63 0,4484 2,85 0,4978 1,10 0,3643 1,64 0,4495 2,90 0,4981 1,11 0,3665 1,65 0,4505 2,95 0,4984 1,12 0,3686 1,66 0,4515 3,00 0,4987 1,13 0,3708 1,67 0,4525 3,05 0,4989 1,14 0,3729 1,68 0,4535 3,10 0,4990 1,15 0,3749 1,69 0,4545 3,15 0,49918 1,16 0,3770 1,70 0,4554 3,20 0,49931 1,17 0,3790 1,72 0,4573 3,25 0,49942 1,18 0,3810 1,74 0,4591 3,30 0,49952 1,19 0,3830 1,76 0,4608 3,35 0,49960 1,20 0,3849 1,78 0,4625 3,40 0,49966 1,21 0,3869 1,80 0,4641 3,45 0,49972 1,22 0,3888 1,82 0,4656 3,50 0,49977 1,23 0,3907 1,84 0,4671 3,60 0,499841 1,24 0,3925 1,86 0,4686 3,70 0,499892 1,25 0,3944 1,88 0,4699 3,80 0,499928 1,26 0,3962 1,90 0,4713 3,90 0,499952 1,27 0,3980 1,92 0,4726 4,00 0,499968 1,28 0,3997 1,94 0,4738 4,25 0,4999893 1,29 0,4015 1,96 0,4750 4,50 0,4999966 1,30 0,4032 1,98 0,4761 4,75 0,4999990 1,31 0,4049 2,00 0,4772 5,00 0,4999997 145 Число степеней свободы 1 146 p 0,900 0,905 0,910 0,915 0,920 0,925 0,930 0,935 0,940 0,945 0,950 0,955 0,960 0,965 0,970 0,975 0,980 0,985 0,990 0,995 2 3 4 5 6 7 8 9 10 | 11 12 13 14 15 | 3,078 3,251 3,442 3,655 3,895 4,165 4,474 4,829 5,242 5,730 6,314 7,026 7,916 9,058 10,58 12,71 15,89 21,21 31,82 63,66 1,886 1,953 2,026 2,104 2,189 2,282 2,383 2,495 2,620 2,760 2,920 3,104 3,320 3,578 3,896 4,303 4,849 5,643 6,965 9,925 1,638 1,688 1,741 1,798 1,859 1,924 1,995 2,072 2,156 2,249 2,353 2,471 2,605 2,763 2,951 3,182 3,482 3,896 4,541 5,841 1,533 1,577 1,623 1,671 1,723 1,778 1,838 1,902 1,971 2,048 2,132 2,226 2,333 2,456 2,601 2,776 2,999 3,298 3,747 4,604 1,476 1,516 1,558 1,602 1,649 1,699 1,753 1,810 1,873 1,941 2,015 2,098 2,191 2,297 2,422 2,571 2,757 3,003 3,365 4,032 1,440 1,478 1,517 1,559 1,603 1,650 1,700 1,754 1,812 1,874 1,943 2,019 2,104 2,201 2,313 2,447 2,612 2,829 3,143 3,707 1,415 1,451 1,489 1,529 1,572 1,617 1,664 1,715 1,770 1,830 1,895 1,966 2,046 2,136 2,241 2,365 2,517 2,715 2,998 3,499 1,397 1,432 1,469 1,508 1,549 1,592 1,638 1,687 1,740 1,797 1,860 1,928 2,004 2,090 2,189 2,306 2,449 2,634 2,896 3,355 1,383 1,418 1,454 1,492 1,532 1,574 1,619 1,666 1,718 1,773 1,833 1,899 1,973 2,055 2,150 2,262 2,398 2,574 2,821 3,250 1,372 1,406 1,442 1,479 1,518 1,559 1,603 1,650 1,700 1,754 1,812 1,877 1,948 2,028 2,120 2,228 2,359 2,527 2,764 3,169 1,363 1,397 1,432 1,468 1,507 1,548 1,591 1,636 1,686 1,738 1,796 1,859 1,928 2,007 2,096 2,201 2,328 2,491 2,718 3,106 Таблица 4. Квантили tn,p распределения Стьюдента p = tR n,p −∞ 1,356 1,389 1,424 1,460 1,498 1,538 1,580 1,626 1,674 1,726 1,782 1,844 1,912 1,989 2,076 2,179 2,303 2,461 2,681 3,055 1,350 1,383 1,417 1,453 1,490 1,530 1,572 1,616 1,664 1,715 1,771 1,832 1,899 1,974 2,060 2,160 2,282 2,436 2,650 3,012 fτn (u) du 1,345 1,377 1,411 1,447 1,484 1,523 1,565 1,609 1,656 1,706 1,761 1,821 1,887 1,962 2,046 2,145 2,264 2,415 2,624 2,977 1,341 1,373 1,406 1,441 1,478 1,517 1,558 1,602 1,649 1,699 1,753 1,812 1,878 1,951 2,034 2,131 2,249 2,397 2,602 2,947 16 147 p 0,900 0,905 0,910 0,915 0,920 0,925 0,930 0,935 0,940 0,945 0,950 0,955 0,960 0,965 0,970 0,975 0,980 0,985 0,990 0,995 17 18 19 20 21 Число степеней свободы 22 23 24 25 | 26 27 28 29 30 | 1,337 1,369 1,402 1,437 1,474 1,512 1,553 1,596 1,642 1,692 1,746 1,805 1,869 1,942 2,024 2,120 2,235 2,382 2,583 2,921 1,333 1,365 1,398 1,433 1,469 1,508 1,548 1,591 1,637 1,686 1,740 1,798 1,862 1,934 2,015 2,110 2,224 2,368 2,567 2,898 1,330 1,362 1,395 1,429 1,466 1,504 1,544 1,587 1,632 1,681 1,734 1,792 1,855 1,926 2,007 2,101 2,214 2,356 2,552 2,878 1,328 1,359 1,392 1,426 1,462 1,500 1,540 1,583 1,628 1,677 1,729 1,786 1,850 1,920 2,000 2,093 2,205 2,346 2,539 2,861 1,325 1,357 1,389 1,424 1,459 1,497 1,537 1,579 1,624 1,672 1,725 1,782 1,844 1,914 1,994 2,086 2,197 2,336 2,528 2,845 1,323 1,354 1,387 1,421 1,457 1,494 1,534 1,576 1,621 1,669 1,721 1,777 1,840 1,909 1,988 2,080 2,189 2,328 2,518 2,831 1,321 1,352 1,385 1,419 1,454 1,492 1,531 1,573 1,618 1,665 1,717 1,773 1,835 1,905 1,983 2,074 2,183 2,320 2,508 2,819 1,319 1,350 1,383 1,417 1,452 1,489 1,529 1,570 1,615 1,662 1,714 1,770 1,832 1,900 1,978 2,069 2,177 2,313 2,500 2,807 1,318 1,349 1,381 1,415 1,450 1,487 1,526 1,568 1,612 1,660 1,711 1,767 1,828 1,896 1,974 2,064 2,172 2,307 2,492 2,797 1,316 1,347 1,379 1,413 1,448 1,485 1,524 1,566 1,610 1,657 1,708 1,764 1,825 1,893 1,970 2,060 2,167 2,301 2,485 2,787 1,315 1,346 1,378 1,411 1,446 1,483 1,522 1,564 1,608 1,655 1,706 1,761 1,822 1,890 1,967 2,056 2,162 2,296 2,479 2,779 1,314 1,344 1,376 1,410 1,445 1,482 1,521 1,562 1,606 1,653 1,703 1,758 1,819 1,887 1,963 2,052 2,158 2,291 2,473 2,771 Таблица 4.(продолжение) Квантили tn,p распределения Стьюдента p = 1,313 1,343 1,375 1,408 1,443 1,480 1,519 1,560 1,604 1,651 1,701 1,756 1,817 1,884 1,960 2,048 2,154 2,286 2,467 2,763 tR n,p −∞ 1,311 1,342 1,374 1,407 1,442 1,479 1,517 1,558 1,602 1,649 1,699 1,754 1,814 1,881 1,957 2,045 2,150 2,282 2,462 2,756 fτn (u) du 1,310 1,341 1,373 1,406 1,441 1,477 1,516 1,557 1,600 1,647 1,697 1,752 1,812 1,879 1,955 2,042 2,147 2,278 2,457 2,750 СПИСОК ЛИТЕРАТУРЫ 1. Боровков, А.А. Математическая статистика. - СПб.: Лань, 2010. - 704 с. 2. Боровков А.А. Теория вероятностей. М.: Наука, 1986. 432 с. 3. Гихман И.И., Скороход А.В., Ядренко М.И. Теория вероятностей и математическая статистика. Киев, Вища школа, 1974. 4. Гнеденко Б.В. Курс теории вероятностей. М.: Наука, 1988. 488с. 5. Теория вероятностей: Сб. задач/ Дороговцев А.Я., Сильвестров Д.С., Скороход А.В., Ядренко М.И. Киев: Выща шк., 1980. 432 с. 6. Козлов М.В., Прохоров А.В. Введение в математическую статистику. М., Мир, 1990. 7. Колодий А.М. Основы общей теории меры и интеграла: Учеб. пособие для студентов и аспирантов. Волгоград: Изд-во ВолГУ, 1999. 136 с. 8. Колодий А.М., Колодий Н.А. Лекции по теории вероятностей. Учебное пособие для студентов математических факультетов университетов. Волгоград, Изд-во ВолГУ, 2006, 120 с. 9. Крамер Г. Математические методы статистики. М., Мир, 1975. 10. Прохоров А.В., Ушаков В.Г., Ушаков Н.Г. Задачи по теории вероятностей. М.: Наука, 1986. 328 с. 11. Прохоров Ю.В., Розанов Ю.А. Теория вероятностей. М.: Наука, 1987. 400 с. 12. Секей Г. Парадоксы в теории вероятностей и математической статистике. М.: Мир, 1990. 240 с. 13. Ширяев, А.Н. Вероятность/ А. Н. Ширяев. - М.: Наука, 2004. - Т1. - 520 с., Т2. - 408 с. 14. Чибисов Д.М., Пагурова В.И. Задачи по математической статистике. Изд-во МГУ, 1990.