Теория вероятностей. Основные понятия.

Министерство Российской Федерации по связи и информатизации Сибирский государственный университет телекоммуникаций и информатики Н. И. Чернова ТЕОРИЯ ВЕРОЯТНОСТЕЙ Учебное пособие Новосибирск 2009 УДК 519.2 Доцент, канд. физ.-мат. наук Н. И. Чернова. Теория вероятностей: Учебное пособие / СибГУТИ.— Новосибирск, 2009.— 128 с. Учебное пособие содержит семестровый курс лекций по теории вероятностей для студентов экономических специальностей. Учебное пособие соответствует требованиям Государственного образовательного стандарта к профессиональным образовательным программам по специальности 080116 — «Математические методы в экономике». Кафедра ММБП Табл. 3, рисунков — 21, список лит. — 9 наим. Рецензенты: А. П. Ковалевский, канд. физ.-мат. наук, доцент кафедры высшей математики НГТУ В. И. Лотов, д-р физ.-мат. наук, профессор кафедры теории вероятностей и математической статистики НГУ Для специальности 080116 — «Математические методы в экономике» Утверждено редакционно-издательским советом СибГУТИ в качестве учебного пособия c Сибирский государственный университет телекоммуникаций и информатики, 2009 г. ОГЛАВЛЕНИЕ Предисловие . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Методические рекомендации . . . . . . . . . . . . . . . . . . . . . . . . . 7 Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 Г л а в а I. Основные понятия теории вероятностей § 1. Пространство элементарных исходов . . . . § 2. Поле событий . . . . . . . . . . . . . . . . . § 3. Вероятность и её свойства . . . . . . . . . . § 4. Контрольные вопросы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 11 16 17 19 Г л а в а II. Примеры вероятностных пространств . . . . § 1. Дискретное пространство элементарных исходов § 2. Основные формулы комбинаторики . . . . . . . . § 3. Вероятность на числовой прямой и плоскости . . § 4. Контрольные вопросы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 21 27 30 34 Г л а в а III. Условная вероятность . . § 1. Понятие условной вероятности § 2. Формула полной вероятности . § 3. Формула Байеса . . . . . . . . . § 4. Независимость событий . . . . § 5. Контрольные вопросы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 35 37 38 39 42 Г л а в а IV. Схема Бернулли . . . . . . . . . . . . . . . § 1. Распределение числа успехов в n испытаниях . . § 2. Номер первого успешного испытания . . . . . . . § 3. Теорема Пуассона для схемы Бернулли . . . . . § 4. Предельная теорема Муавра — Лапласа . . . . . § 5. Независимые испытания с несколькими исходами § 6. Контрольные вопросы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 43 44 46 47 49 50 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Г л а в а V. Случайные величины и их распределения . . . . . . . . . . 51 § 1. Случайные величины . . . . . . . . . . . . . . . . . . . . . . . . . 51 4 ОГЛАВЛЕНИЕ § 2. § 3. § 4. § 5. § 6. § 7. Распределения случайных величин . . . . . . . . . Функция распределения и её свойства . . . . . . . Примеры дискретных распределений . . . . . . . . Примеры абсолютно непрерывных распределений Преобразования случайных величин . . . . . . . . Контрольные вопросы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 54 58 60 67 70 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 73 74 77 79 80 81 82 85 Г л а в а VII. Числовые характеристики распределений . . . . . . § 1. Математическое ожидание случайной величины . . . . . . § 2. Дисперсия и моменты старших порядков . . . . . . . . . . . § 3. Средние и дисперсии стандартных распределений . . . . . § 4. Производящая функция моментов . . . . . . . . . . . . . . § 5. Другие числовые характеристики распределений . . . . . . § 6. Числовые характеристики зависимости случайных величин § 7. Контрольные вопросы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 87 90 92 95 97 99 103 Г л а в а VIII. Предельные теоремы теории вероятностей § 1. Сходимость по вероятности . . . . . . . . . . . . . § 2. Вероятностные неравенства . . . . . . . . . . . . . § 3. Законы больших чисел . . . . . . . . . . . . . . . . § 4. Центральная предельная теорема . . . . . . . . . . § 5. Контрольные вопросы . . . . . . . . . . . . . . . . Г л а в а VI. Многомерные распределения . . . . . . . § 1. Совместное распределение . . . . . . . . . . . . § 2. Виды многомерных распределений . . . . . . . § 3. Примеры многомерных распределений . . . . . § 4. Роль совместного распределения . . . . . . . . § 5. Независимость случайных величин . . . . . . . § 6. Функции от двух случайных величин . . . . . . § 7. Устойчивость распределений по суммированию § 8. Контрольные вопросы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 105 106 107 109 112 Г л а в а IX. Элементы теории случайных последовательностей § 1. Цепи Маркова . . . . . . . . . . . . . . . . . . . . . . . . § 2. Эргодичность конечной цепи Маркова . . . . . . . . . . § 3. Контрольные вопросы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 113 116 117 Приложение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 Предметный указатель . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 Список литературы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127 ПРЕДИСЛОВИЕ Учебное пособие содержит полный курс лекций по теории вероятностей для студентов Сибирского государственного университета телекоммуникаций и информатики, обучающихся по специальности «Математические методы в экономике». Содержание курса полностью соответствует образовательным стандартам подготовки бакалавров по указанной специальности. Курс теории вероятностей опирается на стандартные курсы математического анализа, алгебры и дискретной математики, и служит основой для следующего за ним курса математической статистики. Оба они составляют главную часть необходимой базы для основных дисциплин специализации экономистов-математиков — эконометрики, многомерных статистических методов и теории риска. Задача курса — обучить студентов математическим методам исследования вероятностных экономико-математических моделей, предоставить им необходимый математический аппарат, привить вероятностный взгляд на мир. Структура курса является общепринятой, содержание более всего соответствует учебному пособию П. П. Бочарова и А. В. Печинкина [1], которую читатель может использовать для более полного знакомства с предметом. Автор старался не уделять излишнего внимания комбинаторным задачам и аксиоматике. Последняя дана в виде перечня базовых требований к конструкции вероятностных моделей. В дальнейшем измеримость функций и множеств предполагается по умолчанию и нигде отдельно не обсуждается. Задание вероятностей на дискретном и на «непрерывном» вероятностных пространствах в курсе изучается дважды: при описании простейших вероятностных моделей и при описании распределений случайных величин. Автор надеется, что это облегчит понимание понятий «случайная величина» и «распределение случайной величины». Многие формулировки теорем и доказательства в курсе изложены недостаточно строго, чтобы не усложнять изложения. Так, свойства, выполняющиеся «почти наверное», сформулированы как выполненные всегда: можно считать, что любые равенства случайных величин в данном курсе понимаются в смысле совпадения на множестве единичной вероятности. Доказательство предель- 6 ПРЕДИСЛОВИЕ ных свойств функций распределения неявно использует свойство непрерывности меры, отсутствующее в курсе. Математическое ожидание вводится не через интеграл Стилтьеса, а отдельно в дискретном и абсолютно непрерывном случаях. Соответственно, корректные доказательства большинства свойств математического ожидания становятся невозможными и опущены. Центральная предельная теорема и теоремы Муавра — Лапласа оставлены без доказательства, поскольку в рамках этого курса любые их доказательства (будь то доказательство методом композиций, методом характеристических функций или производящих функций моментов) сместят акценты в изучении предмета в сторону излишних технических подробностей. В курс не вошли такие полезные разделы, как условные распределения, линейные преобразования многомерных нормальных распределений и случайные процессы с непрерывным временем. Эти разделы выходят за рамки образовательного стандарта и изучаются в последующих курсах случайных процессов, эконометрики и многомерного статистического анализа. МЕТОДИЧЕСКИЕ РЕКОМЕНДАЦИИ Учебное пособие предназначено для самостоятельной работы студентов и является дополнением к курсу лекций и практических занятий. Оно будет полезно также любому читателю, желающему освоить предмет самостоятельно. Предполагается, что читатель владеет основами математического анализа, алгебры, исчисления высказываний и дискретной математики. Курс разбит на 9 глав. Первая глава знакомит читателя с основными понятиями и аксиомами теории вероятностей. Во второй главе рассматриваются примеры дискретных и «непрерывных» вероятностных пространств. Третья глава посвящена условной вероятности и её следствиям. Здесь же обсуждается понятие независимости событий. Формулы для расчёта вероятностей в последовательностях независимых событий предложены в четвёртой главе. Здесь же встречаются первые предельные теоремы. Пятая глава знакомит читателя с понятием случайной величины и её распределения. Рассматриваются только дискретные и абсолютно непрерывные распределения случайных величин. Здесь же дан перечень стандартных семейств распределений и изучаются их свойства. Глава завершается изучением линейных преобразований случайных величин. В шестой главе рассмотрены совместные распределения случайных величин. Особый акцент сделан на влиянии совместного распределения на распределения функций от случайных векторов. Независимость случайных величин вводится как частный случай совместного распределения, позволяющий обойтись знанием маргинальных распределений. Здесь же подробно рассмотрено суммирование независимых случайных величин, формула свёртки и следствия из неё. Глава седьмая посвящена математическим ожиданиям, дисперсиям и другим важным числовым характеристикам распределений. Математические ожидания вводятся отдельно для дискретного и для абсолютно непрерывного распределения, свойства математических ожиданий изложены без строгих доказательств. Здесь же определяются моменты и дисперсия, рассматриваются их свойства, вычисляются моменты основных распределений, в том числе с помощью производящей функции моментов. Далее в этой главе рассмотрен 8 МЕТОДИЧЕСКИЕ РЕКОМЕНДАЦИИ ряд полезных в статистике числовых характеристик распределений и совместных распределений: коэффициенты эксцесса и асимметрии, квантили, ковариация и коэффициент корреляции. Глава восьмая вновь возвращает читателя к предельным теоремам теории вероятностей, с которыми читатель впервые встретился в четвёртой главе на примере схемы Бернулли. Изложены слабые законы больших чисел в формах П. Л. Чебышёва и Я. Бернулли, центральная предельная теорема для независимых и одинаково распределённых слагаемых, ЦПТ для разнораспределённых слагаемых в форме А. М. Ляпунова. В последней главе рассмотрены цепи Маркова с дискретным временем. Приложение содержит таблицы с перечнем основных характеристик дискретных и абсолютно непрерывных распределений, таблицу значений функции распределения стандартного нормального закона. В конце книги приведен подробный предметный указатель. В списке литературы перечислены учебники, которые можно использовать в дополнение к курсу, и сборники задач для практических занятий. Изложение материала сопровождается большим числом примеров. Не рекомендуется пропускать эти примеры при чтении, поскольку каждый такой пример помогает понять теоретический материал. Читателю, желающему освоить курс, стоит выполнять все содержащиеся в тексте упражнения и отвечать на заданные вопросы. В конце каждой главы приводится список контрольных вопросов. Вопросы подобраны так, чтобы акцентировать внимание читателя на важных моментах, которые могут остаться незамеченными при первом чтении. Если читателю не удаётся дать ответ на какой-либо вопрос, ему стоит повторно разобрать теоретический материал. Читатель должен также помнить, что освоение предмета невозможно без опыта решения задач. Поэтому параллельно с изучением теоретического материала следует решать задачи из любого сборника задач в списке литературы. Нумерация параграфов в каждой главе отдельная. Формулы, примеры, утверждения и т. п. имеют сквозную нумерацию. При ссылке на объект из другой главы для удобства читателя указан номер страницы, на которой содержится объект. При ссылке на объект из той же главы приводится только номер формулы, примера, утверждения. Окончание доказательств отмечено значком . ВВЕДЕНИЕ Человек повсюду встречается с процессами или явлениями, результаты которых не могут быть предсказаны заранее. Мы не можем предугадать точно оценку контрольной работы или урожай картофеля, курс доллара через неделю или объём продаж магазина, погоду в течение дня или результат спортивного состязания, выигрыш в лотерею или срок службы электрической лампочки. Основываясь на своих представлениях или на предыдущем опыте, мы пытаемся всякий раз прогнозировать результат таких «опытов». Чаще всего наш прогноз будущего носит вероятностный характер: «завтра, скорее всего, будет солнечно», «рост курса доллара на этой неделе маловероятен», «шансы на выигрыш в лотерею малы». Теория вероятностей изучает закономерности, возникающие в случайных экспериментах (точнее, в их математических моделях). Но результат случайного эксперимента нельзя предсказать заранее. О каких же закономерностях может идти речь в условиях непредсказуемости результата? Давайте подбросим монету. Мы не сможем ответить на вопрос, выпадет ли монета вверх гербом или решкой. Результат индивидуального опыта непредсказуем. Но подбросим монету снова и снова. Конечно, мы не сможем сказать заранее, сколько гербов выпадет, если мы будем бросать монету 1 000 раз. Но количество выпавших гербов не должно очень отличаться от 500 в силу полной симметрии монеты: герб имеет столько же шансов выпасть, сколько и решка. Более того, частота выпадения герба (отношение количества выпавших гербов к числу всех испытаний) при продолжении испытаний должна всё меньше отличаться от 0,5, т. е. от вероятности выпадения герба. Так, Г. Бюффон в XVIII веке провёл 4040 подбрасываний монеты. Герб выпал 2048 раз, и частота выпадения герба составила 0,508. К. Пирсон в XIX веке бросал монету 24000 раз, при этом герб выпал в 12012 случаях. Частота выпадения герба равна 0,50051 . Такая закономерность наблюдается не только при бросании монеты: вероятность любого события можно трактовать как долю случаев, когда это событие происходит при многократном повторении опыта. 1 Данные заимствованы из [3]. 10 ВВЕДЕНИЕ Подведём итог. Не все случайные явления (эксперименты) можно изучать методами теории вероятностей, а лишь те, которые могут быть воспроизведены в одних и тех же условиях, хотя бы мысленно, какое угодно число раз. Случайность и хаос — не одно и то же. В случайных экспериментах можно обнаружить закономерности, главная из которых — свойство «статистической устойчивости»: если некоторое событие A может произойти в результате эксперимента, то доля n(A)/n экспериментов, в которых данное событие произошло, с ростом общего числа экспериментов приближается к некоторому числу P(A). Это число служит объективной характеристикой «степени возможности» событию A произойти. Возникает соблазн принять за вероятность события предел частоты этого события при повторении опытов. Но частотное определение (его связывают с именем Р. Мизеса) неудобно по многим причинам. Прежде всего потому, что частота появления события в большой, но конечной, серии меняется от серии к серии испытаний. А бесконечную последовательность испытаний, в которой частота наконец перешла бы в точную вероятность, реализовать невозможно. В 1900 г. на II Международном Математическом Конгрессе в Париже Д. Гильберт сформулировал проблемы, стоящие перед математикой XX века. Шестая из двадцати трёх знаменитых ныне проблем Гильберта касалась теории вероятностей: «аксиоматизировать те физические науки, в которых математика играет важную роль, в первую очередь теорию вероятностей и механику». Эта проблема (в части, касающейся теории вероятностей) была решена А. Н. Колмогоровым в 1923 г. Предложенная им аксиоматика трактует вероятность как функцию, заданную на подмножествах некоторого множества и обладающую рядом свойств. С аксиоматикой теории вероятностей мы познакомимся в первой главе. Сформулируем вывод: теория вероятностей изучает не реальные эксперименты, а лишь их математические модели. Вопросы определения вероятностей событий в реальном мире, т. е. выбора математической модели данного случайного явления, лежат за рамками теории вероятностей как математической науки. Такие вопросы решает, в частности, математическая статистика, к изучению которой мы приступим, как только освоим её инструментарий — теорию вероятностей. ГЛАВА I ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ Изучение закономерностей в случайных экспериментах должно начинаться с построения математической модели этих экспериментов. В теории вероятностей любая модель начинается с задания вероятностного пространства. Сначала следует выяснить, каково множество всех возможных результатов данного эксперимента. Затем решить, какие подмножества этого множества интересуют нас в качестве событий, и как мы будем определять степень возможности этих событий. Поговорим об всех этих этапах подробнее. § 1. Пространство элементарных исходов О п р е д е л е н и е 1. Пространством элементарных исходов называется множество Ω, содержащее все возможные взимоисключающие результаты данного случайного эксперимента. Элементы множества Ω называются элементарными исходами и обозначаются буквой ω. Отметим сразу, что любое множество Ω можно считать пространством элементарных исходов какого-то случайного эксперимента. О п р е д е л е н и е 2. Событиями называются подмножества множества Ω. Говорят, что произошло событие A, если эксперимент завершился одним из элементарных исходов, входящих в множество A. Итак, элементарный исход — это мельчайший неделимый результат эксперимента, а событие может состоять из одного или сразу нескольких исходов. Напомним, что конечные и счётные множества удобно задавать перечислением их элементов. Например, Ω = {1, 2, . . . , 100} — множество, состоящее из первых ста натуральных чисел. Несчётные множества обычно задают указанием свойства, которым обладают все элементы множества. Так, Ω = = {ω ∈ R | ω2 < 9} — множество действительных чисел из интервала (−3, 3). П р и м е р 1. Один раз подбрасывают игральную кость. Рассмотрим пространство элементарных исходов Ω = {1, 2, 3, 4, 5, 6} = { , , , , , }. Элементарные исходы здесь соответствуют числу выпавших очков. Событие A = {1, 2} = { , } произойдёт, если выпадет одно или два очка; событие B = {1, 3, 5} = { , , } означает, что выпадет нечётное 12 ГЛАВА I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ число очков. Событие C = {6} = { } состоит из одного элементарного исхода и означает появление шести очков. П р и м е р 2. Подбрасываются две игральные кости. Будем считать их различимыми и назовём одну из них первой, другую — второй. Пространством элементарных исходов является множество пар чисел (i, j), где i — число очков, выпавших на первой кости, j — на второй. В этом множестве 6 × 6 = 36 элементарных исходов: (1, 1) (1, 2) · · · (1, 6) (2, 1) (2, 2) · · · (2, 6) ......... (6, 1) (6, 2) · · · (6, 6) (1) Заметим, что для симметричных костей все эти 36 исходов равновозможны: ни одна из этих комбинаций не имеет больше шансов выпасть, чем другая. Действительно, на первой кости с равными шансами выпадает любая грань. Это означает, что результат бросания двух костей имеет столько же шансов оказаться в первой строке матрицы (1), что и во второй, в третьей и т. д. Но на второй кости снова с одинаковыми шансами выпадает любая грань, поэтому и каждое место в строке равновозможно. Событие «на первой кости выпадет одно очко» можно записать так: A = = {(1, 1), (1, 2), (1, 3), (1, 4), (1, 5), (1, 6)} ; событие «на второй кости выпадет одно очко» запишется так: B = {(1, 1), (2, 1), (3, 1), (4, 1), (5, 1), (6, 1)} ; событие C = {(2, 2), (3, 1), (1, 3)} означает, что сумма выпавших очков равна четырём; событие D = {(1, 1), (2, 2), (3, 3), (4, 4), (5, 5), (6, 6)} произойдёт, если на костях выпадет одинаковое число очков. П р и м е р 3. Подбрасываются две неразличимые игральные кости. Элементарными исходами будем считать пары чисел (i, j), где i 6 j . Например, элементарный исход (1, 2) случается, если на одной из костей выпадает одно очко, на другой — два очка. В множестве Ω двадцать один исход: (1, 1) (1, 2) · · · (1, 6) (2, 2) · · · (2, 6) ...... (6, 6) Для симметричных костей эти исходы равновозможными уже не будут: например, исход (1, 2) имеет вдвое больше шансов появиться, чем исход (1, 1) . Мы просто перестали различать исходы из примера 2, симметричные друг другу относительно главной диагонали матрицы (1). § 1. Пространство элементарных исходов 13 Теперь событие «сумма выпавших очков равна четырём» состоит из двух элементарных исходов (2, 2) и (1, 3) . Событие «на костях выпадет одинаковое число очков» по-прежнему включает шесть исходов. Слова «на первой кости выпадет одно очко» никакого события уже не описывают, а событие A = {(1, 1), (1, 2), (1, 3), (1, 4), (1, 5), (1, 6)} означает, что хотя бы на одной из костей выпало одно очко (ср. с примером 2). П р и м е р 4. На поверхность стола бросается монета. Результатом эксперимента можно считать положение центра монеты. Пространство элементарных исходов такого эксперимента есть множество всех точек стола. Оно бесконечно и несчётно. Событием можно назвать, например, попадание центра монеты на лист бумаги, лежащий на столе. П р и м е р 5. Монета подбрасывается до тех пор, пока не выпадет вверх гербом. Пространство элементарных исходов является бесконечным, но счётным множеством: Ω = { г, рг, ррг, рррг, ррррг, рррррг, . . .}, где р означает выпадение решки, а г — выпадение герба при одном подбрасывании. Событие «герб выпал при броске с чётным номером» выглядит так: A = { рг, рррг, рррррг, . . . }. П р и м е р 6. В коробке лежат один чёрный и два белых шара. Из коробки достают наугад один шар. Можно определить два разных пространства элементарных исходов. Первое из них состоит из двух исходов Ω1 = {б, ч} — мог появиться белый шар или чёрный. Эти исходы, очевидно, не будут равновозможными: появление белого шара вдвое вероятнее, чем появление чёрного. Если мы хотим иметь дело с равновозможными элементарными исходами, шары следует занумеровать (или различать как-то иначе). Тогда множество Ω2 = {б1 , б2 , ч} будет состоять из трёх элементарных исходов. П р и м е р 7. В коробке лежат один чёрный и два белых шара. Из коробки достают наугад два шара. Пусть порядок следования шаров нам безразличен. Занумеруем шары, чтобы элементарные исходы были равновозможными. Пространство элементарных исходов состоит из 3 элементов: Ω = {(б1 , б2 ), (б1 , ч), (б2 , ч)}. Событие «вынуты два белых шара» включает один исход ω1 = (б1 , б2 ), а событие «вынуты разноцветные шары» — два исхода: ω2 = (б1 , ч), ω3 = (б2 , ч). Можно, как в примере 6, рассмотреть пространство элементарных исходов, состоящее из двух элементов: Ω1 = {(б, б), (б, ч)} — вынуты два белых шара или шары разных цветов. Но в таком пространстве второй исход имеет вдвое больше шансов случиться, чем первый. 14 ГЛАВА I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ Операции над событиями. В теории вероятностей рассматривают те же операции над событиями (множествами), что и в теории множеств. Дадим определения новым событиям — результатам этих операций. Объединением A ∪ B событий A и B называется событие, состоящее в том, что из двух событий A и B случилось хотя бы одно. Это событие включает как элементарные исходы из множества A, так и элементарные исходы из множества B. Пересечением A ∩ B событий A и B называется событие, состоящее в том, что произошли сразу оба события A и B. Это событие содержит элементарные исходы, каждый из которых принадлежит и множеству A, и множеству B. Вместо A ∩ B часто пишут просто AB . A A∪B A A∩B B B Ω Ω Рис. 1. Объединение и пересечение событий Дополнением A \ B события B до A называется событие, состоящее в том, что произошло событие A, но не произошло B. Событие A \ B содержит элементарные исходы, входящие в множество A, но не входящие в B. Противоположным (или дополнительным) к событию A называется событие A = Ω \ A , состоящее в том, что событие A не произошло. Событие A состоит из элементарных исходов, не входящих в множество A. A\B A A B A Ω Рис. 2. Дополнение и противоположное событие Выделим среди подмножеств Ω два особых события. Достоверным называется событие, которое обязательно происходит в результате эксперимента, т. е. единственное событие, включающее все элементарные исходы — событие Ω. Невозможным называется событие, которое не может произойти в результате эксперимента, т. е. событие, не содержащее ни одного элементарного исхода — «пустое множество» ∅. 15 § 1. Пространство элементарных исходов Очевидно, что Ω = ∅, ∅ = Ω, A ∩ A = ∅, A ∪ A = Ω. Объединение множеств аналогично сложению чисел, пересечение — умножению. Свойства операций над событиями похожи на свойства умножения и сложения чисел: (A ∪ B) ∩ C = (A ∩ C) ∪ (B ∩ C), (A ∩ B) ∪ C = (A ∪ C) ∩ (B ∪ C). Первое из этих равенств очевидно, а второе, хоть и противоречит интуиции, всё же верно. Кроме того, объединение и пересечение событий связаны очень важными соотношениями двойственности: A ∪ B = A ∩ B, A ∩ B = A ∪ B. П р и м е р 8. Пусть событие Ai означает, что i -я деталь бракованная, где 1 6 i 6 3 — номер детали. Запишем с помощью операций над событиями событие A — «ровно две из трёх деталей бракованные»:


A = A 1 ∩ A 2 ∩ A3 ∪ A1 ∩ A2 ∩ A 3 ∪ A 1 ∩ A 2 ∩ A3 . Выше записано буквально следующее: либо первая и вторая детали бракованные, а третья годная, либо первая и третья детали бракованные, а вторая годная, либо вторая и третья детали бракованные, а первая годная. Событие B = A1 ∩ A2 ∩ A3 означает «все три детали годные». Событие «хотя бы одна деталь из трёх бракованная» можно записать двумя способами: C = A1 ∪ A2 ∪ A3 = B. Отношения между событиями. Множества могут пересекаться или не пересекаться, быть включены одно в другое или не быть. В теории вероятностей эти отношения событий носят особые названия. События A и B называются несовместными , если они не могут произойти одновременно: A ∩ B = ∅. События A1 , . . . , An называются попарно несовместными , если несовместны любые два из них, т. е. Ai ∩ Aj = ∅ для любых i 6= j. Говорят, что событие A влечёт событие B, и пишут A ⊆ B, если всегда, как только происходит событие A, происходит и событие B. Это означает, что любой элементарный исход, входящий в множество A, одновременно входит и в множество B, т. е. A содержится в B. A1 A A3 A2 Ω B Ω Рис. 3. Попарно несовместные и вложенные события 16 ГЛАВА I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ Два события совпадают, если они состоят из одних и тех же элементарных исходов. Можно выразить это иначе: A = B, если A ⊆ B и B ⊆ A. П р и м е р 9. При бросании двух игральных костей события «сумма очков равна четырём» и «на первой кости выпало шесть очков» несовместны. Событие «сумма очков равна двум» влечёт за собой событие «на костях выпало одинаковое число очков». Действительно, сумма очков равна двум лишь при выпадении двух единиц. Но тогда на костях выпадет одинаковое число очков. Обратное включение неверно: не всегда, когда на костях выпадает одинаковое число очков, сумма этих очков равна двум. Событие «сумма очков меньше пяти» влечёт за собой событие «сумма очков меньше семи». § 2. Поле событий Множество событий может состоять из всех мыслимых подмножеств Ω, но может быть и более узким набором подмножеств. Сужение набора событий бывает необходимо, если Ω является несчётным множеством, и число всех его подмножеств слишком велико: тогда возможны проблемы с корректным определением их вероятностей. Мы не будем подробно касаться этих проблем, но всё же выделим специальное множество событий, т. е. набор таких подмножеств Ω, вероятности которых мы зададим впоследствии. Итак, событиями мы будем называть не любые подмножества Ω, а лишь элементы некоторого множества F. Необходимо, чтобы это множество F было замкнуто относительно всех операций над событиями, т. е. чтобы объединение, пересечение, дополнение событий снова давало событие. О п р е д е л е н и е 3. Множество F, состоящее из подмножеств множества Ω, называется полем событий, если выполнены следующие условия: (A1) F содержит достоверное и невозможное событие: Ω ∈ F, ∅ ∈ F; (A2) вместе с любым событием F содержит и противоположное к нему: если A ∈ F, то A ∈ F; (A3) вместе с любым конечным или счётным набором событий F содержит их объединение и пересечение: если A1 , A2 , . . . ∈ F, то ∞ ∞ [ \ Ai ∈ F и Ai ∈ F. i=1 i=1 П р и м е р 10. Пусть Ω = {1, 2, 3, 4, 5, 6} — пространство элементарных исходов (например, при бросании игрального кубика). Следующие наборы подмножеств Ω являются полями событий (доказать! ):   1. F = Ω, ∅ = {1, 2, 3, 4, 5, 6}, ∅ — тривиальное поле событий. § 3. Вероятность и её свойства 17   2. F = Ω, ∅, {1}, {1} = {1, 2, 3, 4, 5, 6}, ∅, {1}, {2, 3, 4, 5, 6} .   3. F = Ω, ∅, {1, 2, 3}, {1, 2, 3} = Ω, ∅, {1, 2, 3}, {4, 5, 6} . 4. F — множество всех подмножеств Ω. У п р а ж н е н и е . Доказать, что если Ω состоит из n элементов, то в множестве всех его подмножеств ровно 2n элементов. Итак, мы определили специальный класс F подмножеств пространства элементарных исходов Ω, названный полем событий и обладающий важным свойством: применение счётного числа любых операций к множествам из F снова дает множество из F (не выводит за рамки этого класса). Определим теперь вероятность как числовую функцию, определённую на множестве событий, т. е. функцию, которая каждому событию ставит в соответствие число — его вероятность. § 3. Вероятность и её свойства Пусть даны пространство элементарных исходов Ω и поле событий F. О п р е д е л е н и е 4. Вероятностью или вероятностной мерой называется функция P, действующая из F в множество действительных чисел R и обладающая свойствами (их называют «аксиомами вероятности»): (P1) 0 6 P(A) 6 1 для любого события A; (P2) Для любого конечного или счётного набора попарно несовместных событий A1 , A2 , A3 , . . . имеет место равенство [  X P Ai = P(Ai ) ; (P3) Вероятность достоверного события равна единице: P(Ω) = 1. Напомним, что события попарно несовместны, если никакие два из них не пересекаются. Свойство (P2) для совместных событий может быть не выполнено: например, для событий A1 = A2 = Ω P(A1 ∪ A2 ) = P(Ω) = 1 6= 2 = P(Ω) + P(Ω) = P(A1 ) + P(A2 ). Свойство (P1) означает неотрицательность вероятности, свойство (P3) — нормированность. Свойство (P2) называют свойством счётной аддитивности вероятности или расширенной аксиомой сложения. Можно переформулировать определение так: вероятностью называется неотрицательная, нормированная, счётно-аддитивная функция событий. О п р е д е л е н и е 5. Тройка объектов hΩ, F, Pi, в которой Ω — пространство элементарных исходов, F — поле событий и P — вероятностная мера, называется вероятностным пространством . 18 ГЛАВА I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ Задание вероятностного пространства — первый необходимый шаг при построении математической модели любого эксперимента. Т е о р е м а 1. Вероятность обладает следующими свойствами. 1. P(A) = 1 − P(A), P(∅) = 0 . 2. Если A ⊆ B, то P(A) 6 P(B) (монотонность вероятности). 3. P(A ∪ B) = P(A) + P(B) − P(A ∩ B) . 4. P(A ∪ B) 6 P(A) + P(B) . 5. Для любых A1 , . . . , An имеет место формула включения-исключения: P(A1 ∪ . . . ∪ An ) = n X P(Ai ) − i=1 + X X P(Ai Aj ) + i P(A), поскольку P(B \ A) > 0. 3. Событие A ∪ B можно разложить в объединение двух несовместных событий A ∪ B = A ∪ (B \ AB). Событие B = (B \ AB) ∪ AB тоже складывается из двух несовместных событий. По аксиоме (P2) получаем, что P(B) = = P(B \ AB) + P(AB) и P(A ∪ B) = P(A) + P(B \ AB) = P(A) + P(B) − P(AB). 4. Доказательство очевидно: P(A ∪ B) = P(A) + P(B) − P(AB) 6 P(A) + P(B). 5. Докажем свойство 5 для n = 3. Трижды воспользуемся свойством 3:

P(A ∪ B ∪ C) = P (A ∪ B) ∪ C) = P(A ∪ B) + P(C) − P (A ∪ B) ∩ C =
= P(A) + P(B) − P(AB) + P(C) − P AC ∪ BC = = P(A) + P(B) + P(C) − P(AB) − P(AC) − P(BC) + P(ABC). Читатель докажет свойство 5 для произвольного n методом математической индукции. § 4. Контрольные вопросы 19 § 4. Контрольные вопросы 1. Чем случайный эксперимент отличается от детерминированного? 2. Что такое пространство элементарных исходов? 3. Могут ли два элементарных исхода одновременно случиться в опыте? 4. Игральную кость подбрасывают один раз. Перечислить все элементарные исходы эксперимента. 5. Игральную кость подбрасывают дважды. Перечислить все элементарные исходы эксперимента. 6. Монету подбрасывают трижды. Перечислить все элементарные исходы эксперимента. 7. Из четырёх разных книг на полке берут две. Перечислить все элементарные исходы эксперимента. 8. Что такое событие? Достоверное событие? Невозможное событие? 9. Что такое объединение двух событий? Пересечение? 10. Записать событие, состоящее в том, что из событий A, B, C произошло хотя бы одно. 11. Записать событие, состоящее в том, что из событий A, B, C не произошло хотя бы одно. 12. Записать событие, состоящее в том, что случились все три события A, B, C одновременно. 13. Записать событие, состоящее в том, что событие A произошло, а события B и C не произошли. 14. Когда дополнение события B до события A является невозможным событием? Совпадает с A ? 15. Что дают в объединении событие и противоположное к нему? В пересечении? 16. Пусть A = Ω. Назовите A. 17. Пусть A = ∅. Назовите A. 18. Что такое формулы двойственности? 19. Чему равно дополнение к объединению событий? 20. В каком случае два события несовместны? 21. Когда говорят про попарную несовместность? Что это за свойство? 22. Чему равно пересечение трёх попарно несовместных событий? 23. Что больше: объединение или пересечение событий? 24. Объединение двух событий влечёт их пересечение или наоборот? 25. A = {1, 2}, B = {1}. Какое из отношений верно: A ⊂ B или B ⊂ A? 26. Дайте определение поля событий. 27. Является ли множество всех подмножеств полем событий? 20 ГЛАВА I. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ВЕРОЯТНОСТЕЙ 28. Может ли поле событий состоять из одного события? Из двух? Из трёх? Из четырёх? Если может, привести примеры. 29. Докажите, что A \ B ∈ F, если A, B ∈ F. 30. Укажите область определения и область значений вероятностной меры. 31. Каких значений не может принимать вероятность? 32. Чему равна вероятность достоверного события? Невозможного? 33. Что такое нормированность вероятности? 34. Что такое неотрицательность вероятности? 35. Что такое счётная аддитивность вероятности? 36. Зачем в свойстве счётной аддитивности требуется попарная несовместность событий? 37. Чему равна вероятность объединения двух произвольных событий? 38. Что такое монотонность вероятности? 39. Как связаны вероятности прямого и противоположного событий? 40. Что больше: вероятность объединения или сумма вероятностей? Когда эти числа равны? Г Л А В А II ПРИМЕРЫ ВЕРОЯТНОСТНЫХ ПРОСТРАНСТВ В этой главе мы опишем все практически значимые виды вероятностных пространств и способы задания вероятности на них. Вероятность по своим свойствам подобна массе. Килограмм массы можно распределить, либо поместив положительную массу в каждую точку некоторого дискретного множества точек, либо «размазав» весь килограмм по некоторому «непрерывному» множеству точек. § 1. Дискретное пространство элементарных исходов Пространство элементарных исходов называется дискретным , если множество Ω конечно или счётно: Ω = {ω1 , ω2 , . . . , ωn , . . . }. Так, все эксперименты из примеров § 1 главы I, кроме примера 4, приводят к дискретным пространствам элементарных исходов. Событием на таком пространстве будем считать любое подмножество Ω . Чтобы определить вероятность события, присвоим вероятность каждому элементарному исходу в отдельности. Иначе говоря, снабдим вероятностями мельчайшие «кирпичики» — элементарные исходы, из которых составляется любое событие. Тогда вероятность любого события определяется как сумма вероятностей входящих в него элементарных исходов. О п р е д е л е н и е 6. Сопоставим каждому исходу ω i ∈ Ω число p i ∈ [0, 1] так, чтобы p1 + p2 + . . . = 1. Вероятностью события A называется число X P(A) = p i, ωi ∈ A равное сумме вероятностей элементарных исходов, входящих в множество A. В случае A = ∅ положим P(A) = 0. Приведём пример задания вероятностей на дискретном пространстве. П р и м е р 11. В эксперименте из примера 5 монета подбрасывается до первого выпадения герба. Присвоим элементарным исходам следующие вероятности: ω i : г, рг, ррг, рррг, . . . pi : 1 , 2 1 , 4 1 , 8 1 , 16 ... 22 ГЛАВА II. ПРИМЕРЫ ВЕРОЯТНОСТНЫХ ПРОСТРАНСТВ Легко проверить, что сумма вероятностей элементарных исходов равна 1 : по формуле суммы бесконечной убывающей геометрической прогрессии, p1 + p2 + . . . = ∞ X 1 i=1 2i = 1/2 = 1. 1 − 1/2 Вероятность cобытия A = {ω2 , ω4 , . . .} (герб выпал при броске с чётным номером) равна: P(A) = p2 + p4 + . . . = ∞ X 1 i=1 22i = 1 1/4 = . / 1−1 4 3 Заданные выше вероятности соответствуют, как мы увидим в дальнейшем, подбрасыванию правильной монеты. Можно было задать вероятности какнибудь иначе: например, p i = 2i−1 / 3i . Такие вероятности отвечали бы бросанию утяжелённой монеты, герб на которой выпадает в среднем в одном случае из трёх. Внимательный читатель уже заметил, что если множество Ω счётно, но не конечно, присвоить всем элементарным исходам одну и ту же вероятность нельзя (почему ?). Для конечного же множества Ω всегда возможно задать одинаковые вероятности исходов, что мы сейчас и сделаем. Классическая вероятность. Частным, но часто встречающимся в жизни случаем дискретного вероятностного пространства является классическая вероятностная схема. Предположим, что мы имеем дело с пространством элементарных исходов, состоящим из конечного числа элементов: Ω = {ω1 , ω2 , . . . , ωN }, и из каких-то соображений можем считать элементарные исходы равновозможными . Равновозможность возникает обычно в силу симметрии в эксперименте (симметричная монета, хорошо перемешанная колода карт, правильная игральная кость, отсутствие оснований предпочесть один результат другому). Говорят, что эксперимент описывается классической вероятностной моделью , если пространство его элементарных исходов состоит из конечного числа равновозможных исходов. 1 Тогда вероятность любого элементарного исхода равна . Если событие N A = {ω i1 , . . . , ω ik } состоит из k элементарных исходов, то вероятность этого события равна отношению k : N P(A) = p i1 + . . . + p ik = k · 1 |A| = . N |Ω| (3) Здесь символом |A| обозначено число элементов конечного множества A. 23 § 1. Дискретное пространство элементарных исходов Формулу P(A) = |A| называют классическим определением вероятно|Ω| сти и читают так: «вероятность события A равна отношению числа исходов, благоприятствующих событию A, к общему числу равновозможных исходов». Полезно сравнить это определение с формулировкой автора определения, Я. Бернулли: «Вероятность есть степень достоверности и отличается от неё как часть от целого» («Ars Conjectandi», 1713 г.) Мы видим, что вычисление вероятности в классической схеме сводится к подсчёту общего числа «шансов» и числа шансов, благоприятствующих событию. Число шансов считают с помощью формул комбинаторики. Читатель, желающий освежить в памяти эти формулы, может сейчас же обратиться к следующему параграфу, где объяснены основные принципы и формулы комбинаторики, после чего вернуться к нам. А мы пока рассмотрим стандартные урновые схемы: из n шаров выбирают k шаров. Будем исходить из предположения о том, что появление любого шара равновозможно. Тогда три схемы: схема выбора с возвращением и с учётом порядка, выбора без возвращения и с учётом порядка, а также выбора без возвращения и без учёта порядка, описываются классической вероятностной моделью. Общее число равновозможных элементарных исходов в этих схемах равно соответственно nk , Akn и Cnk . Как показывает следующий пример, последняя схема — схема выбора с возвращением и без учёта порядка — имеет неравновозможные исходы. Поэтому классическое определение вероятности для неё не применимо. П р и м е р 12. Рассмотрим выбор двух шариков из двух или, что то же самое, дважды подбросим монету. Если учитывать порядок, то исходов полу1 чится четыре, и все они равновозможны, т.е. имеют вероятность по : 4 (герб, герб), (решка, решка), (решка, герб), (герб, решка). Если порядок не учитывать, то следует объявить два последних исхода одним и тем же результатом эксперимента и получить не четыре, а три исхода: (два герба), (две решки), (один герб и одна решка). Первые два исхода имеют вероятности по на 1 , а вероятность последнего рав4 1 1 1 + = . Видим, что при выборе с возвращением и без учёта порядка 4 4 2 элементарные исходы оказываются неравновозможными. У п р а ж н е н и е . Сравнить примеры 2 и 3. В каком из них перечислены равновозможные элементарные исходы? Найти вероятности всех элементар1 ных исходов в примере 3. Равны ли они ? 21 24 ГЛАВА II. ПРИМЕРЫ ВЕРОЯТНОСТНЫХ ПРОСТРАНСТВ В следующем примере разобрана классическая задача, приводящая к так называемому гипергеометрическому распределению . П р и м е р 13. Из урны, в которой K белых и N − K чёрных шаров, наудачу и без возвращения вынимают n шаров, где n 6 N. Термин «наудачу» означает, что появление любого набора из n шаров равновозможно. Найти вероятность того, что будет выбрано k белых и n − k чёрных шаров. Р е ш е н и е. Результат эксперимента — какой-то набор из n шаров. Можно не учитывать порядок следования шаров в наборе. Общее число элементарных исходов есть число n -элементных подмножеств множества, состоящего n из N элементов: |Ω| = CN . Обозначим через Ak событие, состоящее в том, что в наборе окажется k белых шаров и n − k чёрных. Пусть k 6 K и n − k 6 N − K, иначе P(Ak ) = 0. N N −K K n k n−k Рис. 4. Выбор n шаров из N k n−k Есть ровно CK способов выбрать k белых шаров из K и CN −K способов выбрать n − k чёрных шаров из N − K. Каждый возможный набор выбранных белых шаров можно комбинировать с каждым возможным набором k n−k чёрных. Поэтому число благоприятных исходов равно |Ak | = CK CN −K , k n−k C C −K |A | P(Ak ) = k = K N . n |Ω| CN (4) Вычисляя вероятность событий Ak , мы сопоставили каждому набору из k белых и n − k чёрных шаров вероятность получить этот набор при выборе шаров из урны. Набор вероятностей (4) называется гипергеометрическим распределением вероятностей. Здесь мы в первый, но далеко не в последний раз встретились с термином «распределение» вероятностей. Это слово всегда обозначает некий способ разделить (распределить) общую единичную вероятность между какими-то точками или множествами на числовой прямой. П р и м е р 14. Из полной колоды в 52 карты наудачу выбирают 6 карт. Найти вероятность того, что будут выбраны хотя бы две бубновых карты. Р е ш е н и е. Элементарными исходами будут всевозможные наборы по 6 6 карт. Их количество равно |Ω| = C52 . 25 § 1. Дискретное пространство элементарных исходов Обозначим через A событие «среди выбранных карт окажутся хотя бы две бубновых карты». Это событие можно представить в виде объединения попарно несовместных событий A2 , . . . , A6 , где событие Ai означает, что среди выбранных карт окажется ровно i карт бубновой масти. Вероятность каждого i 6−i 6 из событий Ai ищется по формуле (4): P(Ai ) = C13 C52−13 / C52 . По аксиоме (P2), вероятность события A равна сумме вероятностей событий Ai : 2 P(A) = P(A2 ∪ . . . ∪ A6 ) = 4 C13 C39 6 C52 3 + 3 C13 C39 6 4 + 2 5 C13 C39 C52 + 6 1 C13 C39 6 C52 C52 6 + C13 6 . C52 Есть более простое решение: P(A) = 1 − P(A ), где событие A означает, что выбрано не более одной карты масти бубей. Его вероятность равна 6 P(A ) = P(A0 ∪ A1 ) = P(A0 ) + P(A1 ) = C39 6 1 + C52 5 C13 C39 6 . C52 П р и м е р 15. На пяти карточках написаны буквы А, А, Л, М, П. Найти вероятность того, что при случайной расстановке этих карточек в ряд получится слово ЛАМПА. Р е ш е н и е. Всего возможно |Ω| = 5! перестановок карточек. Заметим, что перестановка двух карточек с буквой А не меняет слова. Поэтому есть два благоприятных исхода: ЛА1 МПА2 и ЛА2 МПА1 . Вероятность получить 2 1 нужное слово равна = . 5! 60 П р и м е р 16. Игральная кость подбрасывается трижды. Найти вероятность получить в сумме 5 очков. Р е ш е н и е. Общее число равновозможных элементарных исходов есть |Ω| = 63 . Сумма очков равна 5, если на двух костях выпали двойки, и на одной — единица, либо на двух костях выпали единицы и на одной — тройка. Каждому из этих событий благоприятствуют 3 исхода. Например, первое событие состоит из исходов (2, 2, 1), (2, 1, 2), (1, 2, 2). Поэтому есть всего 6 6 1 благоприятных исходов, и искомая вероятность равна 3 = . 6 36 Приведём пример задачи, для решения которой проще всего воспользоваться формулой включения-исключения (2). П р и м е р 17 (задача о рассеянной секретарше). Есть n писем и n подписанных конвертов. Письма раскладываются в конверты наудачу по одному. Найти вероятность того, что хотя бы одно письмо попадёт в нужный конверт. Р е ш е н и е. Пусть событие Ai , i = 1, . . . , n, означает, что i -е письмо попало в свой конверт. Тогда A = {хотя бы одно письмо попало в свой конверт} = A1 ∪ . . . ∪ An . 26 ГЛАВА II. ПРИМЕРЫ ВЕРОЯТНОСТНЫХ ПРОСТРАНСТВ События A1 , . . . , An совместны, поэтому вычислим вероятность их объединения по формуле (2). Сначала найдём вероятности всех событий Ai и их пересечений. Элементарными исходами будут всевозможные n! размещений n писем по n конвертам. Событию Ai благоприятны (n − 1)! из них — всевозможные размещения всех писем, кроме i -го, уже лежащего в своём кон(n − 1)! 1 верте. Поэтому P(Ai ) = = — одна и та же для всех i. Аналогично n! n получим, что для любых пар и троек конвертов P(Ai Aj ) = 1 (n − 2)! = , n! n(n − 1) P(Ai Aj Am ) = 1 . n(n − 1)(n − 2) Точно так же посчитаем вероятности пересечений любого другого числа со1 бытий, в том числе P(A1 . . . An ) = . n! Вычислим количество слагаемых в каждой сумме в формуле (2). Напри3 мер, сумма по 1 6 i < j < m 6 n состоит из Cn слагаемых — ровно столько троек индексов можно образовать из n номеров событий. Подставляя все вероятности в формулу, получим: 2 3 1 1 1 1 − Cn · + Cn · − . . . + (−1)n−1 = n n(n − 1) n(n − 1)(n − 2) n! 1 1 1 = 1 − + − . . . + (−1)n−1 . 2! 3! n! P(A) = n · У п р а ж н е н и е . Выписать разложение e−1 в ряд Тейлора и убедиться в том, что P(A) −→ 1 − e−1 при n → ∞ . П р и м е р 18 (задача про дни рождения). Найти вероятность того, что в группе из 23 человек хотя бы у двоих совпадают дни рождения. Предполагается, что день рождения человека приходится на любой из 365 дней года с равной вероятностью. Р е ш е н и е. День рождения каждого из данных 23 человек — любой из 365 возможных. Всего элементарных исходов |Ω| = 36523 . Действительно, для первого дня рождения есть 365 вариантов, при любом их них для второго дня рождения снова 365 вариантов, и так 23 раза. Противоположное событие A означает, что все 23 дня рождения пришлись на разные дни года. Исходов, благоприятных этому событию, имеется 23 ровно |A| = 365 · 364 · . . . · 343 = A 365 . Искомая вероятность равна P(A) = 1 − P(A) = 1 − 365 · . . . · 343 364 363 343 = 1 − · · . . . · ≈ 0, 5073. 365 365 365 36523 Итак, с вероятностью не менее 0,5 в группе из 23 человек найдутся совпадающие дни рождения. Читатель вычислит ту же вероятность для группы из 22 человек и убедится, что она ещё не превышает половины. § 2. Основные формулы комбинаторики 27 § 2. Основные формулы комбинаторики В этом параграфе изложены основные принципы и формулы комбинаторики. Именно комбинаторика занимается подсчётом числа способов проделать некоторое действие с несколькими возможными результатами: выбрать что-либо, разбить множество на части, составить набор объектов и т. п. Принцип перемножения. Основной принцип комбинаторики заключается в следующем: если первый элемент можно выбрать k способами, а второй элемент — m способами, то упорядоченную пару элементов можно составить km способами. Т е о р е м а 2. Пусть множество A = {a1 , . . . , ak } состоит из k элементов, а множество B = {b1 , . . . , bm } — из m элементов. Тогда можно образовать ровно km пар (ai , bj ), взяв первый элемент из множества A, а второй — из множества B. Д о к а з а т е л ь с т в о. С элементом a1 мы можем образовать m пар: (a1 , b1 ), (a1 , b2 ), . . . , (a1 , bm ). Столько же пар можно составить с элементом a2 , столько же — с элементом a3 и с любым другим из k элементов множества A. Т. е. всего возможно km пар, в которых первый элемент выбран из множества A, а второй — из множества B. У п р а ж н е н и е . С помощью теоремы 2 доказать, что: а) при подбрасывании трёх монет возможно 2 · 2 · 2 = 8 результатов; б) бросая дважды игральную кость, получим 6 · 6 = 36 результатов; в) трёхзначных чисел бывает 9 · 10 · 10 = 900 ; г) трёхзначных чисел, все цифры которых различны, существует 9 · 9 · 8 ; д) чётных трёхзначных чисел возможно 9 · 10 · 5 ; Урновые схемы. Есть урна (ящик), содержащая n пронумерованных объектов (шаров). Мы выбираем из урны k шаров; результат этого выбора — набор из k шаров. Нас интересует, сколькими способами можно выбрать k шаров из n, или сколько различных результатов возможно. На этот вопрос нельзя дать однозначный ответ, пока мы не определимся: а) с тем, как организован выбор (можно ли шары возвращать в урну); б) с тем, что понимать под различными результатами выбора. Рассмотрим следующие возможные способы выбора. 1. Выбор с возвращением : каждый вынутый шар возвращается в урну, каждый следующий шар выбирается из полной урны. В полученном наборе из k номеров шаров могут встречаться одни и те же номера. 2. Выбор без возвращения : вынутые шары в урну не возвращаются, и в полученном наборе не могут встречаться одни и те же номера. 28 ГЛАВА II. ПРИМЕРЫ ВЕРОЯТНОСТНЫХ ПРОСТРАНСТВ Условимся, какие результаты выбора (наборы из k номеров шаров) мы будем считать различными. Есть ровно две возможности. 1. Выбор с учётом порядка : два набора номеров шаров считаются различными, если они отличаются составом или порядком номеров. Так, наборы (1, 5, 2), (2, 5, 1) и (4, 4, 5) считаются разными, если порядок учитывается. 2. Выбор без учёта порядка : два набора номеров шаров считаются различными, если они отличаются составом. Наборы, отличающиеся лишь порядком следования номеров, считаются одинаковыми. Так, наборы (1, 5, 2) и (2, 5, 1) не различаются, если порядок не учитывается. Подсчитаем, сколько возможно различных результатов для каждой из четырёх схем выбора. Выбор без возвращения и с учётом порядка. Справдливо утверждение. Т е о р е м а 3. Общее количество различных наборов при выборе k элементов из n без возвращения и с учётом порядка равняется k A n = n(n − 1) · . . . · (n − k + 1) = k n! . (n − k)! Число A n называется числом размещений из n элементов по k элементов, а сами результаты выбора — размещениями (без повторений). Д о к а з а т е л ь с т в о. Первый шар можно выбрать n способами. При любом выборе первого шара есть n − 1 способ выбрать второй шар. При любом выборе первых двух шаров есть n − 2 способа выбрать третий шар и т. д. Применяя последовательно теорему 2 (принцип перемножения), получим, что общее число возможных наборов из k шаров равно произведению k сомножителей n(n − 1) . . . (n − k + 1). В этом произведении последний сомножитель n − k + 1 есть число способов выбора k -го шара, когда уже выбраны предыдущие. С л е д с т в и е 1. В множестве из n элементов возможно ровно n! перестановок этих элементов. Д о к а з а т е л ь с т в о. Перестановка — результат выбора без возвращения n и с учётом порядка n элементов из n . Их число равно A n = n! У п р а ж н е н и е . Найти, сколько всего возможно различных результатов в следующих экспериментах: а) из колоды в 36 карт выдают по карте троим игрокам; б) Вася, Петя, Оля и Лена выбирают четыре из десяти разных учебников; в) из различных цифр, не равных нулю, составляется трёхзначное число; г) 36 карт в колоде перемешиваются и выкладываются на стол в ряд. Выбор без возвращения и без учёта порядка. Следующее утверждение даёт число результатов этой схемы выбора. § 3. Вероятность на числовой прямой и плоскости 29 Т е о р е м а 4. Общее количество различных наборов при выборе k элементов из n без возвращения и без учёта порядка равняется k Cn = Akn n! = k! k!(n − k)! k Число Cn называется числом сочетаний из n элементов по k элементов, а сами результаты выбора — сочетаниями. Д о к а з а т е л ь с т в о. По следствию 1, k различных номеров шаров можно упорядочить k! способами. Поэтому из каждого сочетания можно перестановками образовать k! размещений . Следовательно, число наборов, порядок в которых не учитывается (сочетаний), в k! раз меньше числа наборов, отличающихся ещё и порядком (размещений). У п р а ж н е н и е . Найти, сколько всего возможно различных результатов в следующих экспериментах: а) из колоды в 36 карт выдают три карты одному игроку; б) из двадцати учеников класса выбирают троих дежурных. Выбор с возвращением и с учётом порядка. Результаты такой схемы выбора называют размещениями с повторением. Т е о р е м а 5. Общее количество различных наборов при выборе k элементов из n с возвращением и с учётом порядка равняется nk . Д о к а з а т е л ь с т в о. Первый шар можно выбрать n способами. При каждом из этих способов второй шар можно выбрать также n способами, и так k раз. Общее число наборов равно n · n · . . . · n = nk . У п р а ж н е н и е . Найти, сколько всего возможно различных результатов в следующих экспериментах: а) монета подбрасывается пять раз; б) пятизначное число составляется из одних нечётных цифр. Выбор с возвращением и без учёта порядка. Сформулируем без доказательства утверждение. Т е о р е м а 6. Общее количество различных наборов при выборе k элементов из n с возвращением и без учёта порядка равняется k n−1 Cn+k−1 = Cn+k−1 . Читателю полезно вернуться к примеру 11, где показана неравновозможность элементарных исходов при выборе с возвращением и без учёта порядка. У п р а ж н е н и е . Найти число возможных результатов подбрасывания двух игральных костей, если кости считаются неразличимыми. То же самое для трёх игральных костей. 30 ГЛАВА II. ПРИМЕРЫ ВЕРОЯТНОСТНЫХ ПРОСТРАНСТВ § 3. Вероятность на числовой прямой и плоскости Результаты многих экспериментов нельзя описать дискретным множеством точек. Например, бросание монеты на стол в примере 4 приводит к пространству элементарных исходов, совпадающему с множеством точек стола. Дальность броска копья спортсменом — величина с положительными значениями на числовой прямой, и т. д. Рассмотрим пространство элементарных исходов Ω = Rk . Нас будут особо интересовать случаи, когда Ω есть множество действительных чисел R или множество точек плоскости R2 . Эти пространства не являются дискретными — они состоят из несчётного множества точек, и присвоить положительную вероятность каждой точке нельзя. Как же задавать вероятности событий на таком пространстве элементарных исходов? Например, так. В случае Ω = R рассмотрим произвольную неотрицательную интегрируемую функцию f , обладающую тем свойством, что ∞ Z f (x) dx = 1. (5) −∞ Интеграл в формуле (5) равен площади области под графиком функции f выше оси абсцисс. Определим вероятность любого интервала или отрезка A = [a, b] ⊆ Ω как площадь криволинейной трапеции под графиком функции f над этим интервалом или отрезком: f (x) Zb A = [a, b], a b x P(A) = f (x) dx. (6) a Условие (5) означает просто нормированность вероятности P(Ω) = P(R) = 1. Функцию f называют плотностью распределения вероятностей. Можно представлять себе, что с такой плотностью общая единичная масса (вероятность) «размазана» по прямой, подобно маслу на бутерброде. Бо́льшие значения плотности означают бо́льшую массу соответствующего участка прямой, нулевые значения плотности на отрезке отвечают отсутствию массы. Аддитивность интеграла позволяет нам вычислять вероятности любых конечных и счётных объединений отрезков. Интересно, что вероятность любой точки на прямой — одного элементарного исхода — оказывается нулевой , т. к. площадь трапеции «шириной в точку» под графиком f равна нулю. Рис. 5. Плотность в R 31 § 3. Вероятность на числовой прямой и плоскости П р и м е р 19. Пусть Ω = R, а плотность распределения имеет вид ( 5e−5x , если x > 0, f (x) = 0, если x < 0. Вычислим по данной плотности f (читатель проверит выполнение условия (5)) вероятности отрезков [0, 1] и [1, 2]: Z1
P [0, 1] = 5e−5x dx = 1 − e−5 , Z2
P [1, 2] = 5e−5x dx = e−5 − e−10 . 1 f (x) 5 f (x) 5 x 1 1 x 2 Рис. 6. Вероятности отрезков в примере 19 Вероятности двух отрезков, имеющих одну и ту же длину, оказываются различными. А возможно ли задать плотность распределения так, чтобы вероятность зависела лишь от длины отрезка? П р и м е р 20. Рассмотрим плотность распределения ( 0,2, если 0 6 x 6 5, f (x) = 0, если x 6∈ [0, 5]. f (x) f (x) 0,2 0,2 2 3 5 x 1 2 5 x Рис. 7. Вероятности отрезков в примере 20 Выполнение условия (5) здесь очевидно: площадь прямоугольника со сторонами 5 и 0,2 равна 1. При такой плотности вероятность любого отрезка зависит не от положения этого отрезка внутри [0, 5], а лишь от его длины и пропорциональна ей. Заметим также, что вероятность любого множества, не пересекающегося с отрезком [0, 5], равна нулю. Поэтому множество Ω можно сузить до [0, 5]. 32 ГЛАВА II. ПРИМЕРЫ ВЕРОЯТНОСТНЫХ ПРОСТРАНСТВ В случае Ω = R2 задать вероятности подмножеств плоскости можно с помощью неотрицательной интегрируемой функции двух переменных f (x, y), нормированной так, что ∞ ∞ Z Z dx f (x, y) dy = 1. −∞ −∞ Подобно одномерному случаю, вероятности прямоугольников и многих более сложных областей на плосf (x, y) кости определяются как объём криволинейного цилиндра над соответствующей областью под графиком функции: ZZ y P(B) = f (x, y) dx dy. B B x Если множество Ω совпадает с пространством R3 , вероятность можно задать с помощью неотрицательной интегрируемой функции трёх переменных. Наконец, для Ω = Rk нам потребуется функция k переменных. Геометрическое определение вероятности. Рассмотрим отдельно задание вероятности на ограниченном подмножестве прямой, плоскости или пространства, когда вероятностная масса распределена по области Ω равномерно, как в примере 20. Предположим, что мера области Ω (длина на прямой, площадь на плоскости, объём в пространстве) конечна, а эксперимент состоит в бросании точки в эту область наудачу . Термин «наудачу» означает, что для любого множества A ⊆ Ω с конечной мерой µ(A) вероятность точке попасть в это множество не зависит от его формы или его расположения внутри Ω, а зависит лишь от его меры и пропорциональна ей. Для такого эксперимента вероятности определяются согласно геометрическому определению вероятности : µ(A) P(A) = . (7) µ(Ω) Рис. 8. Плотность в R2 Если точка в области Ω выбирается наудачу, то говорят, что она равномерно распределена в области Ω. Так, в примере 20 точка равномерно распределена на отрезке [0, 5]. А чтобы, скажем, получить равномерное распределение в круге, следует рассмотреть плотность распределения f (x, y), равную нулю 33 § 3. Вероятность на числовой прямой и плоскости ξ+ 1/ 6 вне круга и постоянную внутри него. Значение этой постоянной зависит от площади круга и обратно пропорционально ей. П р и м е р 21 (задача о встрече). Два человека X и Y условились встретиться в определённом месте между двумя и тремя часами дня. Пришедший первым ждет другого в течение 10 минут, после чего уходит. Чему равна вероятность встречи этих лиц, если каждый из них может прийти в любое время в течение указанного часа независимо от другого? Р е ш е н и е. Будем считать интервал от двух до трёх часов дня отрезком [0, 1] длиной в один час. Обозначим через ξ ∈ [0, 1] и η ∈ [0, 1] моменты прихода X и Y в течение этого часа. Резульη татами эксперимента являются пары точек 1 (ξ, η) из единичного квадрата: A = {(ξ, η) | |ξ − η| 6 1 / 6}. 1/ ξ− = 1/6 η Благоприятными исходами будут точки заштрихованного на рисунке множества A : 6 η = Ω = {(ξ, η) | 0 6 ξ 6 1, 0 6 η 6 1}. 1/6 1 ξ Рис. 9. Задача о встрече Попадание в множество A наудачу брошенной в квадрат точки означает, что X и Y встретятся. Тогда вероятность встречи равна  2 5 1 − µ(A) 11 6 P(A) = = = . 36 µ(Ω) 1 П р и м е р 22. Точка наудачу бросается в круг c единичным радиусом. Найти вероятность того, что расстояние ρ до точки от центра круга будет меньше заданного числа r ∈ (0, 1) . Р е ш е н и е. Интересующее нас событие {ρ < r} происходит, когда точка попадает во внутренний круг с радиусом r и тем же центром. По формуле (7), вероятность этого события равна отношению площадей кругов: P(ρ < r) = π r2 π = r2. Заметим, что расстояние ρ до брошенной в круг точки распределено не равномерно на отрезке [0, 1]. Для равномерного распределения мы получили бы вероятность P(ρ < r) = r, а не r2 . 34 ГЛАВА II. ПРИМЕРЫ ВЕРОЯТНОСТНЫХ ПРОСТРАНСТВ § 4. Контрольные вопросы 1. Что такое дискретное пространство элементарных исходов? 2. Как задаётся вероятность на дискретном пространстве? 3. Можно ли на дискретном пространстве взять все pi = 0? 4. Задать вероятность на Ω = {a, b, c} как на дискретном пространстве. 5. Задать вероятность на множестве натуральных чисел Ω = N как на дискретном пространстве. 6. Пусть Ω = N. Можно ли задать вероятность так, чтобы все pi были одинаковы? 7. Как вычисляется вероятность события в классической схеме? 8. Что больше: общее число исходов или число исходов, благоприятных некоторому событию? 9. Какие вероятности вычисляют по формуле гипергеометрического распределения? 10. Сколько равновозможных элементарных исходов возникает при бросании трёх правильных игральных костей? 11. Если пуговиц 3, а бусинок 5, сколько различных пар «пуговица, бусинка» можно образовать, выбирая одну пуговицу и одну бусинку? 12. Что такое выбор с возвращением? Без возвращения? С учётом порядка? Без учёта порядка? 13. В какой схеме больше исходов: с учётом или без учёта порядка? 14. Сколько исходов возможно при выборе без возвращения и с учётом порядка? Что такое число размещений? 15. Сколько перестановок в множестве из n элементов возможно? 16. Сколько исходов возможно при выборе без возвращения и без учёта порядка? При выборе с возвращением и с учётом порядка? 17. Пусть Ω = R — числовая прямая. Как можно задать вероятность на таком пространстве? 18. Что такое плотность распределения вероятностей? 19. Как по плотности распределения вероятностей вычислять вероятности отрезков? Других событий? 20. Может ли плотность быть всюду постоянной, если Ω = R? 21. Что такое геометрическое определение вероятности? 22. Точка наудачу брошена на отрезок. Какова вероятность ей оказаться на левой половине отрезка? Г Л А В А III УСЛОВНАЯ ВЕРОЯТНОСТЬ Об условной вероятности говорят, когда имеется какое-то знание о результате эксперимента, позволяющее переоценить шансы каждого события с учётом этого знания. С этим понятием тесно связано понятие независимости двух событий, когда появление в опыте одного события не влияет на шансы второго. § 1. Понятие условной вероятности П р и м е р 23. Игральная кость подбрасывается один раз. Известно , что выпало более трёх очков. Какова при этом вероятность того, что выпало нечётное число очков? Пусть событие B = {4, 5, 6} означает, что выпало более трёх очков, событие A = {1, 3, 5} — выпало нечётное число очков. Как понимать вероятность события A, если известно, что B случилось? Знаем, что произошло событие B, но всё равно не знаем, что именно выпало на кости. Однако теперь возможностей осталось только три : могло выпасть 4, 5 или 6 очков. Событию A из этих равновозможных исходов благоприятен единственный исход: выпадение пяти очков. Поэтому искомая вероятность равна 1 / 3 . Итак, при вычислении условной вероятности события A при случившемся событии B мы ищем долю исходов, благоприятствующих A, среди всех исходов события B. Эту условную вероятность будем обозначать P(A | B). О п р е д е л е н и е 7. Пусть P(B) 6= 0. Условной вероятностью события A при условии, что произошло событие B, называется число P(A | B) = P(A ∩ B) . P(B) В случае P(B) = 0 условная вероятность P(A | B) не определена. Важно отличать условную вероятность, т. е. вероятность одного события при осуществлении другого, от вероятности им одновременно произойти. П р и м е р 24. Имеется 1 000 урн, среди которых 999 содержат только чёрные шары, а одна — только белые. Сначала выберем наугад урну, а затем из неё достанем один за другим два шара. 36 ГЛАВА III. УСЛОВНАЯ ВЕРОЯТНОСТЬ Пусть событие B означает, что первый вынутый шар оказался белым, событие A — второй шар белый. Вероятность этим событиям случиться одновременно мала: P(A ∩ B) = P(A) = P(B) = 0,001, так как только в одном случае из 1 000 мы выберем урну с белыми шарами. Однако условная вероятность P(A | B) равна единице: если первый шар белый, то мы уже выбрали урну с одними белыми шарами, и второй обязательно будет белым. При вычислении условной вероятности P(A | B) не играет никакой роли то, насколько мала или велика вероятность события B. Определение 7 бывает полезно использовать для последовательного вычисления вероятности нескольким событиям случиться одновременно, если известны соответствующие условные вероятности. А именно, справедливы следующие «теоремы умножения вероятностей». Т е о р е м а 7. Если P(B) 6= 0 и P(A) 6= 0, то P(A ∩ B) = P(B) P(A | B) = P(A) P(B | A). Т е о р е м а 8. Для любых событий A1 , . . . , An верно равенство: P(A1 . . . An ) = P(A1 ) P(A2 | A1 ) P(A3 | A1 A2 ) · . . . · P(An | A1 . . . An−1 ), если все участвующие в нём условные вероятности определены. У п р а ж н е н и е . Доказать теорему 8 методом математической индукции. П р и м е р 25. Студент приходит на экзамен, изучив 20 из 25 вопросов программы. На экзамене он наугад выбирает три вопроса. Найти вероятность того, что попадутся только заранее изученные вопросы. Р е ш е н и е. Эту вероятность легко найти с помощью гипергеометрического распределения из примера 13. С другой стороны, очевидно равенство P(ответы на 1-й, 2-й, 3-й вопросы студент знает) = 20 19 18 · · . 25 24 23 Обратимся к теореме 8. Пусть событие Ai означает, что ответ на i -й во20 прос студент знает. Тогда P(A1 ) = P(A2 ) = P(A3 ) = . Например, третьим 25 вопросом билета может оказаться любой из 25 вопросов программы, и 20 из них благоприятны событию A3 («хорошие» вопросы). 19 А что за вероятность ? Это условная вероятность второму вопросу 24 оказаться «хорошим», если первый был «хорошим», и «хороших» вопросов 18 осталось 19 из 24 возможных. Далее, — условная вероятность третьему 23 вопросу оказаться «хорошим», если и первый, и второй были «хорошими», и «хороших» вопросов осталось 18 из 23 возможных. Таким образом, P(A1 A2 A3 ) = P(A1 ) P(A2 | A1 ) P(A3 | A1 A2 ) = 20 19 18 · · ≈ 0,496. 25 24 23 § 2. Формула полной вероятности 37 § 2. Формула полной вероятности Начнём с простого примера «на проценты». П р и м е р 26. Есть три завода, производящих одну и ту же продукцию. Первый завод производит 25%, второй завод — 35% и третий — 40% всей продукции. Брак составляет 5% от продукции первого завода, 3% от продукции второго и 4% от продукции третьего завода. Вся продукция смешивается и поступает в продажу. Найти: а) вероятность купить бракованное изделие; б) условную вероятность того, что купленное изделие изготовлено первым заводом, если это изделие оказалось бракованным. Р е ш е н и е. Первая вероятность равна доле брака в объёме всей продукции: 0,05 · 0,25 + 0,03 · 0,35 + 0,04 · 0,4 . Вторая вероятность равна доле брака первого завода среди всего брака: 0,05 · 0,25 . 0,05 · 0,25 + 0,03 · 0,35 + 0,04 · 0,4 В этом примере мы вычисляли проценты и не использовали ни одной формулы теории вероятностей, кроме классического определения вероятности как доли нужных исходов среди всех. Попробуем обобщить полученные ответы. Ответ на первый вопрос в общем случае даёт формула полной вероятности, ответ на второй — формула Байеса. О п р е д е л е н и е 8. Конечный или счётный набор попарно несовместных (взаимоисключающих) событий H1 , H2 , . . . , объединение которых есть всё Ω, называется полной группой событий или разбиением пространства Ω. События H1 , H2 , . . . , образующие полную группу событий, называют гипотезами . Обычно для некоторого события A можно вычислить P(A | Hi ) (вероятность событию A произойти при выполнении «гипотезы» Hi ) и P(Hi ) (вероятность выполнения «гипотезы» Hi ). Как, используя эти данные, посчитать вероятность события A? Т е о р е м а 9. Пусть H1 , H2 , . . . — полная группа событий. Тогда вероятность любого события A может быть вычислена по формуле: X P(A) = P(Hi ) · P(A | Hi ). i Д о к а з а т е л ь с т в о. Разложим событие A в сумму попарно несовместных событий: A = A ∩ Ω = A ∩ (H1 ∪ H2 ∪ . . .) = AH1 ∪ AH2 ∪ . . . Далее применим свойство вероятности (P2) и теорему 7: X X P(A) = P(AHi ) = P(Hi ) · P(A | Hi ). i i 38 ГЛАВА III. УСЛОВНАЯ ВЕРОЯТНОСТЬ П р и м е р 27. Два игрока по очереди подбрасывают правильную игральную кость. Выигрывает тот, кто первым выкинет шесть очков. Найти вероятность победы игрока, начинающего игру. Р е ш е н и е. События H1 = { при первом броске выпало 6 очков } и противоположное к нему H2 образуют полную группу событий. Пусть событие A означает победу игрока, начинающего игру. Обозначим через x вероятность события A . Для игрока, бросающего кость вторым, вероятность одержать победу во всей игре равна 1 − x. Тогда P(A | H1 ) = 1, P(A | H2 ) = 1 − x. Действительно, если при первом броске не выпало 6 очков, право броска переходит ко второму игроку. Игрок, начинавший игру, оказывается теперь в положении второго, и его вероятность выиграть становится равной 1 − x. По формуле полной вероятности x = P(A) = P(H1 )P(A | H1 ) + P(H2 )P(A | H2 ) = 1 5 5 + (1 − x) = 1 − x. 6 6 6 6 Отсюда x = — вероятность победы первого игрока. 11 Мы воспользовались выше тем очевидным фактом, что вероятности выигрыша первого и второго игроков дают в сумме единицу. Игра не приведёт к победе ни одного из игроков, если шесть очков так и не выпадет, а это событие имеет нулевую вероятность. Однако доказать этот факт мы сможем лишь в § 2 следующей главы. § 3. Формула Байеса Т е о р е м а 10. Пусть H1 , H2 , . . . — полная группа событий. Тогда условная вероятность события Hk , если в результате эксперимента наблюдалось событие A, может быть вычислена по формуле: P(Hk )P(A | Hk ) . P(Hi )P(A | Hi ) P(Hk | A) = P Д о к а з а т е л ь с т в о. По определению условной вероятности, P(Hk | A) = P(Hk ∩ A) P(H )P(A | Hk ) = P k . P(A) P(Hi )P(A | Hi ) Вероятности P(Hi ), вычисленные заранее, до проведения эксперимента, называют априорными вероятностями (a’priori — «до опыта»). Условные вероятности P(Hi | A) называют апостериорными вероятностями (a’posteriori — «после опыта»). Формула Байеса позволяет переоценить заранее известные вероятности после того, как получено знание о результате эксперимента. Эта формула находит многочисленные применения в экономике, статистике, социологии и т. п. § 4. Независимость событий 39 П р и м е р 28. Два стрелка подбрасывают монетку и выбирают, кто из них будет стрелять по мишени (одной пулей). Первый стрелок попадает по мишени с вероятностью 1, второй стрелок — с вероятностью 10−5 . Можно сделать два предположения об эксперименте: H1 — стреляет 1-й стрелок (выпал герб) и H2 — стреляет 2-й стрелок (выпала решка). Априор1 ные вероятности этих гипотез одинаковы: P(H1 ) = P(H2 ) = . 2 Как изменятся вероятности гипотез после проведения опыта? Рассмотрим событие A — пуля попала в мишень. Известно, что P(A | H1 ) = 1, P(A | H2 ) = 10−5 . По формуле полной вероятности, вероятность пуле попасть в мишень равна P(A) = 1 1 · 1 + · 10−5 . 2 2 Предположим, что событие A произошло. Тогда по формуле Байеса 1 ·1 1 2 P(H1 | A) = 1 = ≈ 0,999 99, −5 1 1 + 10 −5 · 1 + · 10 2 2 1 · 10−5 10−5 2 = ≈ 0,000 01. P(H2 | A) = 1 1 1 + 10−5 · 1 + · 10−5 2 2 Попадание пули в мишень сделало выпадение герба в 105 раз более вероятным, чем выпадение решки. § 4. Независимость событий О п р е д е л е н и е 9. События A и B называются независимыми , если P(A ∩ B) = P(A) · P(B). Естественно считать события A и B независимыми, когда условная вероятность A, когда B произошло, остаётся такой же, как и безусловная. Убедимся, что этим свойством обладают события, независимые согласно определению 9. Пусть P(B) 6= 0 и события A и B независимы. Тогда P(A | B) = P(A ∩ B) P(A) · P(B) = = P(A). P(B) P(B) Независимые события возникают, например, при повторении испытаний. Выпадение герба и выпадение решки при двух разных бросках монеты независимы. Любые события, относящиеся к двум разным подбрасываниям игральной кости, независимы. 40 ГЛАВА III. УСЛОВНАЯ ВЕРОЯТНОСТЬ А вот несовместные (взаимоисключающие) события являются, вообще говоря, зависимыми: если одно из двух несовместных событий случилось, то второе случиться не может. Но в общем случае зависимость двух событий вовсе не обязана быть причинно-следственной. Вероятностная зависимость (отсутствие независимости) событий A и B означает лишь, что вероятность события A изменится, если произойдёт событие B . П р и м е р 29. Из колоды в 36 карт наугад берут одну. Независимы ли события «вынут туз» и «вынута пиковая карта»? Р е ш е н и е. Вероятность вытянуть туза равна P(A) = 1 4 1 4 = . Вероят36 9 ность вытянуть пиковую карту равна P(B) = . Пересечение этих событий 1 означает появление туза пик и имеет вероятность P(AB) = . Cобытия A 36 и B независимы, т. к. P(AB) = P(A)P(B). Это может показаться странным, ведь эти события относятся к одной и той же карте. П р и м е р 30. В примере 25 события A1 и A2 (первые два вопроса «хо20 19 отличается от P(A2 ) = . рошие») зависимы: P(A2 | A1 ) = 24 25 С в о й с т в о 1. Если события A и B независимы, то независимы и события A и B, A и B, A и B. Д о к а з а т е л ь с т в о. Так как A = AB ∪ AB, и события AB и AB несовместны, то P(A) = P(AB) + P(AB) . Поэтому P(AB) = P(A) − P(AB) = P(A) − P(A)P(B) = P(A)P(B). Независимость A и B доказана, откуда сразу же следует независимость для всех остальных пар. Пусть есть не два, а n событий, n > 2 . Тогда из равенства P(A1 . . . An ) = = P(A1 ) · . . . · P(An ) не следует даже попарная независимость этих событий. Например, при таком равенстве события A1 и A2 вполне могут оказаться зависимыми, как в наборе событий A, A, . . . , A, ∅, где P(A) не равно 0 и 1. Пересечение всех этих событий пусто, его вероятность равна нулю и равна произведению вероятностей, а событие A от себя зависит. Действительно, P(A ∩ A) = P(A) 6= P(A) · P(A). Хотелось бы независимостью набора событий считать такое свойство, когда любые комбинации событий оказываются независимыми между собой. Просто потребуем этого в определении. О п р е д е л е н и е 10. События A1 , . . . , An называются независимыми в совокупности, если вероятность пересечения любых событий из этих n равна произведению их вероятностей. 41 § 5. Контрольные вопросы Если n событий независимы в совокупности, то любые два из них независимы. Обратное, как показывает следующий пример, неверно. П р и м е р 31 (пример Бернштейна). Рассмотрим правильный тетраэдр, три грани которого окрашены соответственно в красный, синий, зелёный цвета, а четвёртая грань содержит все три цвета. Событие A ( B, C) означает, что выпала грань, содержащая красный (синий, зелёный) цвета. 1 Вероятность каждого из этих событий равна , так как каждый цвет есть 2 на двух гранях из четырёх. Вероятность пересечения любых двух событий 1 равна , так как только одна грань из четырёх содержит два цвета. Поэтому 4 любые два события из трёх независимы, так как 1 1 1 = · . 4 2 2 Но вероятность события ABC (на грани есть все три цвета) тоже равна 1 1 , 4 а не , т. е. события не являются независимыми в совокупности. Вероятность 8 пересечения оказалась равна произведению вероятностей для пар событий A и B, A и C, B и C, но не для тройки событий A, B, C. П р и м е р 32. Пусть события A1 , . . . , An независимы в совокупности. Найти вероятность того, что из этих событий произойдёт хотя бы одно. Р е ш е н и е. Нас интересует вероятность события A = A1 ∪ . . . ∪ An . Воспользуемся независимостью событий A1 , . . . , An . Противоположные события также независимы, поэтому дополнение A = A1 ∩ . . . ∩ An имеет вероятность P(A) = P( A1 ) · . . . · P( An ) = (1 − P(A1 )) · . . . · (1 − P(An )). Тогда P(A) = 1 − (1 − P(A1 )) · . . . · (1 − P(An )). П р и м е р 33. Три стрелка, попадающих в мишень с вероятностями 0,3, 0,8 и 0,9 независимо друг от друга, делают по одному выстрелу по мишени. Найти вероятность того, что в мишень попадут ровно две пули. Р е ш е н и е. Пусть события A, B и C означают попадание первого, второго и третьего стрелков соответственно. Событие D «попали ровно две пули» запишем как объединение попарно несовместных событий: D = ABC ∪ ABC ∪ ABC. По аксиоме (P2), вероятность D равна сумме их вероятностей:


P(D) = P ABC + P ABC + P ABC . Но в силу независимости событий A, B и C каждое слагаемое равно произведению вероятностей: P(D) = 0,3 · 0,8 · (1 − 0,9) + 0,3 · (1 − 0,8) · 0,9 + (1 − 0,3) · 0,8 · 0,9. 42 ГЛАВА III. УСЛОВНАЯ ВЕРОЯТНОСТЬ § 5. Контрольные вопросы 1. Что такое условная вероятность? 2. Может ли условная вероятность равняться безусловной? 3. Может ли условная вероятность равняться единице? Нулю? 4. Чему равна вероятность пересечения двух произвольных событий? Нескольких событий? 5. Сформулировать теорему умножения вероятностей. 6. Что такое полная группа событий? 7. Чему равна сумма вероятностей событий из полной группы? 8. Сформулировать формулу полной вероятности. 9. Привести пример задачи на формулу полной вероятности. 10. Для чего нужна формула Байеса? 11. Что такое априорная вероятность? Апостериорная? 12. Какие события называют независимыми? 13. Могут ли несовместные события быть независимы? 14. Привести пример двух независимых событий. 15. Зависит ли событие от самого себя? 16. Зависит ли невозможное событие от самого себя? 17. Зависит ли достоверное событие от самого себя? 18. Независимы ли события, противоположные к независимым? 19. Что такое независимость нескольких событий в совокупности? 20. Почему для независимости в совокупности недостаточно, чтобы вероятность пересечения всех событий равнялась произведению их вероятностей? 21. Достаточно ли попарной независимости (любых пар) событий для независимости в совокупности? 22. Из колоды в 36 карт выбирают наугад одну. Независимы ли события «выбрана пика» и «выбран туз»? 23. Из колоды в 36 карт выбирают наугад одну. Независимы ли события «выбрана пика» и «выбрана бубна»? 24. Дважды бросают правильную монету. Независимы ли события «при первом броске выпал герб» и «при втором броске выпала решка»? 25. Дважды бросают правильную монету. Независимы ли события «при первом броске выпал герб» и «при первом броске выпала решка»? Г Л А В А IV СХЕМА БЕРНУЛЛИ Предположим, что в некотором эксперименте возможно событие A. Проведя такой эксперимент один раз, мы увидим только, произошло A или нет. Чтобы судить о вероятности события A, потребуется повторять этот эксперимент снова и снова, но так, чтобы результаты уже проведённых испытаний не влияли на последующие. Пусть мы провели его пять раз, и всё время случалось событие A. Насколько это возможно, если вероятность события A равна 0,1? Пусть после тысячи экспериментов событие A случилось 430 раз. Можно ли считать вероятность события A примерно равной 0,43, и насколько приблизительно это «примерно»? Чтобы научиться отвечать на эти и другие вопросы, рассмотрим подробно схему независимых испытаний с двумя возможными результатами. § 1. Распределение числа успехов в n испытаниях О п р е д е л е н и е 11. Схемой Бернулли называется последовательность независимых испытаний, в каждом из которых возможны лишь два исхода — «успех» и «неудача», при этом успех в каждом испытании происходит с одной и той же вероятностью p ∈ (0, 1), а неудача — с вероятностью q = 1 − p. Обозначим через νn число успехов, случившихся в n испытаниях схемы Бернулли. Эта (случайная) величина может принимать целые значения от нуля до n в зависимости от результатов испытаний. Например, если все n испытаний завершились неудачей, то величина νn равна нулю. Т е о р е м а 11 (формула Бернулли). Для любого k = 0, 1, . . . , n вероятность получить в n испытаниях k успехов равна k P(νn = k) = Cn pk q n−k . (8) Набор вероятностей (8) называется биномиальным распределением вероятностей. Д о к а з а т е л ь с т в о. Событие A = {νn = k} означает, что в n испытаниях схемы Бернулли произошло ровно k успехов. Рассмотрим один элементарный исход из события A : (у, у, . . . , у, н, н, . . . , н), | {z } | {z } k n−k 44 ГЛАВА IV. СХЕМА БЕРНУЛЛИ когда первые k испытаний завершились успехом, остальные неудачей. Поскольку испытания независимы, вероятность такого элементарного исхода равна pk (1 − p)n−k . Другие элементарные исходы из события A отличаются лишь расположением k успехов на n местах. Есть ровно Cnk способов расположить k успехов на n местах. Поэтому событие A состоит из Cnk элементарных исходов, вероятность каждого из которых равна pk q n−k . П р и м е р 34. Правильная монета подбрасывается 10 раз. Найти вероятность того, что герб выпадет от 4 до 6 раз. Р е ш е н и е. Вычислим отдельно вероятности получить 4, 5 и 6 гербов после десяти подбрасываний монеты.  4  10−4 4 4 1 1 1 10! 1 P(ν10 = 4) = C10 = C10 · 10 = · ≈ 0,205; 2 4 P(ν10 = 5) = C10 · 2 1 ≈ 0,246; 210 2 4! 6! 6 P(ν10 = 6) = C10 · 1024 1 ≈ 0,205; 210 Сложим вероятности несовместных событий: P(4 6 ν10 6 6) = P(ν10 = 4) + P(ν10 = 5) + P(ν10 = 6) ≈ 0,656. § 2. Номер первого успешного испытания Рассмотрим схему Бернулли с вероятностью успеха p в одном испытании и обозначим через τ номер первого успешного испытания. Величина τ может принимать любые значения из множества натуральных чисел. Событие {τ = 5} означает, что первые четыре испытания закончились неудачей, а в пятом испытании произошёл успех. Т е о р е м а 12. Вероятность того, что первый успех произойдёт в испытании с номером k ∈ N = {1, 2, 3, . . .}, равна P(τ = k) = p q k−1 . Д о к а з а т е л ь с т в о. Вероятность первым k − 1 испытаниям завершиться неудачей, а последнему — успехом, равна P(τ = k) = P(н, . . . , н, у) = p q k−1 . Набор вероятностей {p q k−1 }, где k принимает любые значения из множества натуральных чисел, называется геометрическим распределением вероятностей. Геометрическое распределение вероятностей обладает интересным свойством отсутствия последействия , означающим «нестарение» устройства, время жизни которого подчинено геометрическому распределению. Т е о р е м а 13. Пусть P(τ = k) = p q k−1 для любого k ∈ N . Тогда для любых неотрицательных целых n и k имеет место равенство: P(τ > n + k | τ > n) = P(τ > k). 45 § 2. Номер первого успешного испытания Если, например, считать величину τ временем безотказной работы некоторого устройства (измеряемым целым числом часов), то данному равенству можно придать следующее звучание: вероятность работающему в данный момент устройству проработать ещё k часов не зависит от того, сколько уже работает устройство. Эта вероятность такая же, как для нового устройства. Д о к а з а т е л ь с т в о. По определению условной вероятности, P(τ > n + k, τ > n) P(τ > n + k) = . (9) P(τ > n + k | τ > n) = P(τ > n) P(τ > n) Последнее равенство верно в силу того, что событие {τ > n + k} влечёт событие {τ > n}, поэтому их пересечением будет событие {τ > n + k}. Найдём для целого m > 0 вероятность P(τ > m): событие {τ > m} означает, что в схеме Бернулли первые m испытаний завершились «неудачами», т. е. его вероятность равна q m . Возвращаясь к (9), получим P(τ > n + k) q n+k = n = q k = P(τ > k). P(τ > n + k | τ > n) = P(τ > n) q П р и м е р 35. Два игрока по очереди подбрасывают правильную игральную кость. Выигрывает тот, кто первым выкинет шесть очков. Найти вероятность победы игрока, начинающего игру. Р е ш е н и е. Мы уже решили эту задачу в примере 27. Решим её иначе. Шесть очков может впервые выпасть при первом, втором, и т. д. бросках кости. Первый игрок побеждает, если это случится при броске с нечётным номером, второй — с чётным. Пусть событие Ak состоит в том, что что шесть очков впервые выпадет в испытании с номером k. По теореме 12, P(Ak ) = (1 / 6) · (5 / 6)k−1 . События A и B, означающие победу первого и второго игроков соответственно, представимы в виде объединения взимоисключающих событий: A = A 1 ∪ A 3 ∪ A5 ∪ . . . , B = B2 ∪ B4 ∪ B6 ∪ . . . Вероятности этих объединений равны суммам вероятностей слагаемых:  2  4 1 1 5 1 5 1/6 6 P(A) = + · + · + ... = = , 2 / 6 6 1 5 1 P(B) = · + · 6 6 6 6 6  3 5 6 1 + · 6 1 − (5 6) 6  5 5 6 + ... = 11 5 5 / 36 = . 11 1 − (5 / 6)2 Поскольку P(A) + P(B) = 1, вероятность ничьей оказалсь равна нулю, как мы и ожидали в примере 27. 46 ГЛАВА IV. СХЕМА БЕРНУЛЛИ § 3. Теорема Пуассона для схемы Бернулли П р и м е р 36. Запишем вероятность получить не менее пяти успехов в тысяче испытаний схемы Бернулли с вероятностью успеха 0,003: 1X 000 k C1 000 k 1 000−k · 0,003 · 0,997 =1− k=5 4 X k C1 000 · 0,003k · 0,9971 000−k . k=0 Сформулируем теорему, позволяющую приближённо вычислять подобные вероятности. Т е о р е м а 14 (теорема Пуассона). Пусть в схеме Бернулли число испытаний n велико, а вероятность успеха p мала. Тогда вероятность получить k успехов в n испытаниях можно вычислить по приближённой формуле Пуассона P(νn = k) ≈ λk k! e−λ , где λ = np. Набор вероятностей {λk e−λ / k!}, где k принимает значения 0, 1, 2, . . . , называется распределением Пуассона с параметром λ > 0 . Обычно рекомендуют использовать приближение Пуассона при npq 6 10 . В каждом конкретном случае полезно оценить погрешность приближения, т. е. разницу между точным и приближённым значением вероятности. В зависимости от полученного значения погрешности можно выбирать, использовать ли формулу Пуассона или вычислять вероятности как-нибудь иначе. Так, например, при вычислении любых вероятностей по теореме Пуассона погрешность не превысит наименьшей из двух величин: p и np2 . Вернёмся к примеру 36 и вычислим искомую вероятность по теореме 14. Число испытаний n = 1 000 велико, а вероятность успеха p = 0,003 мала. Взяв λ = np = 3, можно записать приближённое равенство: P(νn > 5) = 1 − P(νn 6 4) = 1 − 4 X P(νn = k) ≈ k=0 ≈ 1− 4 X k=0 3k −3 9 27 81 e = 1 − e−3 · 1 + 3 + + + k! 2 6 24   ≈ 0,1847. Насколько «приблизителен» ответ 0,1847? Погрешность приближения не превышает min{p, np2 } = min{0,003; 0,009} = 0,003. На самом деле точность гораздо выше. Правильное значение искомой вероятности равно 0,18448 и лишь в четвёртом знаке отличается от ответа 0,1847, полученного по формуле Пуассона. 47 § 4. Предельная теорема Муавра — Лапласа § 4. Предельная теорема Муавра — Лапласа Мы только что научились вычислять вероятности в схеме Бернулли при очень маленькой вероятности успеха и большом числе испытаний. А что делать в следующей задаче? П р и м е р 37. Правльную монету подбрасывают 10 000 раз. Найти вероятность того, что герб выпадет от 4 900 до 5 100 раз. Запишем эту вероятность: P(4 900 6 νn 6 5 100) = 5X 100 k C10 000 · 0,510 000 . k=4 900 Здесь вероятность успеха не мала, но число испытаний настолько велико, что вычислить напрямую эту сумму крайне сложно. Следующая теорема позволяет приближённо вычислять подобные вероятности. Пусть число испытаний n велико, а вероятность успеха p не слишком мала (достаточно, чтобы npq > 10) . Т е о р е м а 15 (интегральная теорема Муавра — Лапласа). Вероятность получить от k1 до k2 успехов в n испытаниях схемы Бернулли можно вычислить по следующей приближённой формуле:     k1 − np k2 − np −Φ √ , P(k1 6 νn 6 k2 ) ≈ Φ √ npq npq R −t2 / 2 1 e dt. где Φ(x) = √ 2π −∞ x Значения функции Φ(x) находятся по таблицам (стр. 121). В дальнейшем мы подробно изучим свойства этой функции, а также познакомимся с центральной предельной теоремой, следствием которой является теорема 15. Вернёмся к примеру 37 и вычислим искомую вероятность по теореме Муавра — Лапласа:     5 100 − 5 000 4 900 − 5 000 √ √ P(4 900 6 νn 6 5 100) ≈ Φ −Φ = 2 500 2 500 = Φ(2) − Φ(−2) = 0,97725 − 0,02275 = 0,9545. Мы получили странный результат: с вероятностью более 0,95 число гербов после десяти тысяч бросков монеты лежит в границах 5 000 ± 100. Иными словами, есть только 5% шансов, что количество выпавших гербов будет отличаться от 5 000 более чем на 100. Диапазоном, в котором возможное число гербов лежит с вероятностью единица (т. е. обязательно), будет отрезок от 0 до 10 000 . Чтобы сузить этот 48 ГЛАВА IV. СХЕМА БЕРНУЛЛИ диапазон, придётся пожертвовать достоверностью нашего предсказания. Интересно, в каких границах лежит число гербов с вероятностью чуть меньшей единицы? Например, с вероятностью 0,999? Будут ли это границы от 10 до 9 990? Или от 1 000 до 9 000? А может быть, от 2 000 до 8 000? Воспользуемся теоремой Муавра — Лапласа. Требуется найти x такое, что     x x P(5 000 − x 6 νn 6 5 000 + x) ≈ Φ √ − Φ −√ = 2 500 2 500 = Φ(0,02 x) − Φ(−0,02 x) = 0,999. Функция Φ обладает следующим свойством: Φ(−x) = 1 − Φ(x) . Поэтому 0,999 = Φ(0,02 x) − Φ(−0,02 x) = 1 − 2 Φ(−0,02 x), откуда Φ(−0,02 x) = 0,0005. По таблице находим 0,02 x = 3,29, x = 164,5. Итак, с вероятностью 0,999 число гербов после десяти тысяч бросков монеты лежит в границах от 5 000 − 165 до 5 000 + 165. Мы получили диапазон длиной всего 330. Тем не менее, имеется лишь одна десятая процента шансов обнаружить после 10 000 бросков монеты число гербов за пределами этого диапазона. Сформулируем без доказательства ещё одно утверждение, позволяющее вычислять локальную вероятность P(νn = k) при большом числе испытаний n и не слишком малой вероятности успеха p . Т е о р е м а 16 (локальная теорема Муавра — Лапласа). Вероятность получить k успехов в n испытаниях схемы Бернулли можно вычислить по следующей приближённой формуле:   1 k − np P(νn = k) ≈ √ ϕ √ , npq npq 2/ 1 e−x 2 . 2π где ϕ(x) = √ Значения функции ϕ(x) либо вычисляют вручную, либо находят по соответствующим таблицам. П р и м е р 38. Вычислим вероятность получить ровно 5 000 гербов после десяти тысяч подбрасываний правильной монеты. Р е ш е н и е. По теореме 16, P(νn = 5 000) ≈ √ 1 1 ϕ(0) = 0,02 · √ ≈ 0,00798. 2π 2 500 При таком большом числе испытаний приближённая формула даёт практически точный ответ: все указанные значащие цифры ответа верны. § 6. Независимые испытания с несколькими исходами 49 § 5. Независимые испытания с несколькими исходами Рассмотрим схему независимых испытаний уже не с двумя, а с бо́льшим количеством возможных результатов в каждом испытании. П р и м е р 39. Игральная кость подбрасывается пятнадцать раз. Найти вероятность того, что выпадет ровно десять троек и три единицы. Здесь каждое испытание имеет три, а не два исхода: выпадение тройки, выпадение единицы, выпадение любой другой грани. Поэтому воспользоваться формулой для числа успехов в схеме Бернулли не удаcтся. Попробуем вывести подходящую формулу. Пусть в одном испытании возможны m исходов: 1, 2, . . . , m, и i -й исход в одном испытании случается с вероятностью pi , где p1 + . . . + pm = 1. Обозначим через P (n1 , . . . , nm ) вероятность того, что в n независимых испытаниях первый исход случится n1 раз, второй исход — n2 раз, и т. д., наконец, m -й исход — nm раз. Т е о р е м а 17. Для любого n и любых неотрицательных целых чисел n1 , . . . , nm , сумма которых равна n, верна формула: P (n1 , . . . , nm ) = n! pn1 1 · . . . · pnmm . n 1 ! . . . nm ! Д о к а з а т е л ь с т в о. Рассмотрим один элементарный исход, благоприятствующий выпадению n1 единиц, n2 двоек, и т. д.: (1, . . . , 1, 2, . . . , 2, . . . , m, . . . , m). | {z } | {z } | {z } n1 n2 nm Это результат n экспериментов, когда все нужные исходы появились в некотором заранее заданном порядке. Вероятность такого результата равна произведению вероятностей pn1 1 · . . . · pnmm . Остальные благоприятные исходы отличаются лишь расположением чисел 1, 2, . . . , m на n местах. Число таких исходов равно числу способов расположить на n местах n1 единиц, n2 двоек, и т. д. Это число равно n n n n m 2 3 Cn 1 · Cn−n · Cn−n · . . . · Cn−n = 1 −n2 1 −...−nm−1 1 n! . n 1 ! . . . nm ! Теперь мы можем вернуться к примеру 39 и выписать ответ: так как вероятности выпадения тройки и единицы равны по 1 / 6, а вероятность третьего исхода (выпала любая другая грань) равна 4 / 6, то вероятность получить десять троек, три единицы и ещё два других очка равна  10  3  2 15! 1 1 4 P (10, 3, 2) = · · · . 10! 3! 2! 6 6 6 50 ГЛАВА IV. СХЕМА БЕРНУЛЛИ § 6. Контрольные вопросы 1. Что такое схема Бернулли? 2. Какова вероятность получить пять успехов в пяти испытаниях схемы Бернулли? Пять неудач? 3. Какова вероятность получить пять успехов в десяти испытаниях схемы Бернулли? 4. Какова вероятность получить сначала пять успехов, а затем пять неудач в десяти испытаниях схемы Бернулли? 5. Почему в формуле Бернулли присутствует число сочетаний? 6. Какова вероятность первому успеху случиться в первом испытании? В пятом? 7. Какова вероятность номеру первого успеха быть больше пяти? 8. Что такое биномиальное распределение? 9. Чему равна сумма по всем k вероятностей в формуле Бернулли? 10. Что такое геометрическое распределение? 11. Чему равна сумма вероятностей в геометрическом распределении? 12. Что такое отсутствие последействия? 13. Для чего нужна теорема Пуассона? 14. Можно ли пользоваться теоремой Пуассона при n = 100, p = 0,5? 15. Чем по теореме Пуассона можно приблизить вероятность иметь хотя бы один успех в 1 000 испытаний с вероятностью успеха 0,001? 16. Для чего нужна локальная теорема Муавра — Лапласа? 17. Для чего нужна интегральная теорема Муавра — Лапласа? 18. Можно ли пользоваться теоремами Муавра — Лапласа при n = 100 и p = 0,5? А при n = 100 и p = 0,01? 19. Как вычислять значения функции Φ(x) ? 20. Приведите пример задачи, для решения которой необходима интегральная теорема Муавра — Лапласа. 21. Приведите пример задачи, для решения которой необходима локальная теорема Муавра — Лапласа. 22. В какой точке функция ϕ(x) достигает наибольшего значения? 23. При каком k максимальна вероятность получить k успехов в большом числе испытаний схемы Бернулли? 24. По какой формуле можно вычислить вероятность при шести бросаниях игральной кости выбросить по разу каждое число очков на кости? ГЛАВА V СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ Мы уже видели, что для многих экспериментов нет никаких различий в подсчёте вероятностей событий, тогда как элементарные исходы в этих экспериментах очень различаются. С вероятностью 0,5 при броске монеты выпадает герб, на игральной кости — чётное число очков, точка падает на левую половину отрезка, вынутая из колоды карта оказывается красной и т. д. Пора во всех таких «похожих» экспериментах для обозначения элементарных исходов использовать, например, числа. Иначе говоря, пора каждый элементарный исход заменить действительным числом, не обязательно уникальным, и работать только с числами. § 1. Случайные величины Пусть задано вероятностное пространство hΩ, F, Pi . О п р е д е л е н и е 12. Случайной величиной называется функция, которая каждому элементарному исходу ω ∈ Ω ставит в соответствие действительное число, т. е. функция, действующая из Ω в R. Случайные величины мы будем обозначать греческими буквами: ξ (кси), η (эта), χ (хи), ν (ню), τ (тау), ψ (пси) и др. Корректности ради от случайных величин требуют так называемой измеримости. А именно, требуют, чтобы для любого действительного числа x множество элементарных исходов ω, для которых ξ(ω) < x, принадлежало полю событий F. Но функции, не обладающие этим свойством, являются исключительно редкими и экзотическими объектами, поэтому нигде больше мы измеримость упоминать не будем. П р и м е р 40. Подбрасывают один раз правильную игральную кость. Рассмотрим Ω = {1, 2, 3, 4, 5, 6} и определим следующие случайные величины: 1) ξ(ω) = ω : эта случайная величина равна числу выпавших на кости очков, 2) η(ω) = 1, если ω = 2, 4, 6, иначе η(ω) = 0 : эта случайная величина служит индикатором того, выпало ли на кости чётное или нечётное число очков. В первом случае она становится равна единице, во втором — нулю. Случайная величина ξ принимает значения 1, 2, 3, 4, 5, 6 с вероятностями по одной шестой каждое. Например, ξ = 1, когда на кости выпало одно оч- 52 ГЛАВА V. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ 1 ко, т. е. с вероятностью . Можно записать соответствие между значениями 6 случайной величины ξ и вероятностями принимать эти значения в виде таблицы распределения вероятностей или, коротко, таблицы распределения : ξ 1 2 3 4 5 6 P 1 6 1 6 1 6 1 6 1 6 1 6 В первой строке таблицы перечислены значения случайной величины ξ, во второй строке — вероятности, с которыми она принимает эти значения: P(ξ = 1) = P(ξ = 2) = . . . = P(ξ = 6) = 1 . 6 Для случайной величины η таблица распределения выглядит так: P(η = 0) = P(выпало 1, 3 или 5 очков) = 0,5; P(η = 1) = P(выпало 2, 4 или 6 очков) = 0,5. П р и м е р 41. Стержень длиной 5 см ломается на две части в наудачу выбранном месте. Длину каждого из полученных обломков можно считать случайной величиной, принимающей любые значения из отрезка [0, 5]. Если ξ — длина левой части стержня, то η = 5 − ξ — длина правой. Пользуясь геометрической вероятностью, мы можем вычислить вероятности различных событий, связанных со случайными величинами ξ и η, как это делалось в примере 20 на стр. 31. Например, P(1 6 ξ 6 2) = 0,2 — вероятность того, что длина левой части окажется от 1 до 2 см, P(η > 3) = 0,4 — вероятность правому обломку быть длиннее 3 см, P(ξ = 2) = 0 — вероятность поделить стержень на части ровно в 2 и 3 см длиной, P(η > 6) = 0 — вероятность невозможного события. П р и м е р 42. Правильная монета подбрасывается 10 раз. Случайная величина ν10 из примера 34 на стр. 44 равна количеству выпавших гербов. Эта случайная величина принимает целые значения от 0 до 10. В примере 34 вычислены некоторые вероятности, связанные с ней: P(ν10 = 4) = P(ν10 = 6) ≈ 0,205, P(ν10 = 5) ≈ 0,246. Можно записать все вероятности по формуле Бернулли: для k = 0, 1, . . . , 10 k P(νn = k) = C10 · 0,510 . Из-за симметрии монеты число выпавших решек имеет такое же распределение с такой же таблицей распределения. § 2. Распределения случайных величин 53 § 2. Распределения случайных величин Опишем различные типы распределений случайных величин. Случайная величина может принимать отдельные значения, т. е. вся вероятностная масса может быть сосредоточена в нескольких точках прямой. Случайная величина может принимать любые значения из некоторого интервала или отрезка, т. е. вероятностная масса может быть «размазана» по некоторому интервалу или по всей прямой. В зависимости от этого распределения делят на дискретные, абсолютно непрерывные и их смеси. Мы ограничимся в основном первыми двумя видами распределений. О п р е д е л е н и е 13. Cлучайная величина ξ имеет дискретное распределение, если существует конечный или счётный набор чисел a1 , a2 , . . . и набор вероятностей p1 = P(ξ = a1 ), p2 = P(ξ = a2 ), . . . таких, что p1 + p2 + . . . = 1. Итак, случайная величина ξ имеет дискретное распределение, если множество её значений конечно или счётно. Если случайная величина ξ имеет дискретное распределение, то для любого подмножества прямой B ⊆ R X P(ξ ∈ B) = P(ξ = ai ). ai ∈ B Дискретное распределение удобно задавать следующей таблицей, в которой pi = P(ξ = ai ) : a1 a2 a3 ... ξ P p1 p2 p3 ... Случайные величины из примеров 40 и 42 имеют дискретные распределения, в отличие от случайных величин из примера 41. Они имеют абсолютно непрерывные распределения. О п р е д е л е н и е 14. Cлучайная величина ξ имеет абсолютно непрерывное распределение, если существует неотрицательная функция f (x) такая, что для любого интервала (a, b) имеет место равенство: Zb P(a < ξ < b) = f (x) dx. a Функция f (x) называется плотностью распределения. Если нам будет нужно различать плотности распределения разных случайных величин, мы будем использовать обозначения fξ (x), fη (x) и т. д. Мы уже встречались в § 3 главы II с плотностями распределения. Определение 14 напоминает, что для случайной величины ξ с плотностью рас- 54 ГЛАВА V. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ пределения f (x) вероятность принимать значения внутри любого интервала вычисляется как площадь под графиком f (x) над этим интервалом. Т е о р е м а 18. Любая плотность распределения обладает свойствами: ∞ Z (f1) f (x) > 0 для любого x; (f2) f (x) dx = 1. −∞ Д о к а з а т е л ь с т в о. Свойство (f1) выполнено по определению 14, свойство (f2) также следует из него: ∞ Z 1 = P(−∞ < ξ < ∞) = f (x) dx. −∞ Свойство (f2) означает, что для любой плотности распределения площадь всей области под графиком плотности распределения выше оси абсцисс равна единице. Заметим, что любая функция, удовлетворяющая (f1) и (f2), является плотностью распределения некоторой случайной величины. § 3. Функция распределения и её свойства Определение и примеры. Мы описали дискретные распределения таблицей распределения, абсолютно непрерывные — плотностью распределения. Существует универсальный способ описать любое распределение. Это можно сделать с помощью функции распределения. О п р е д е л е н и е 15. Функцией распределения случайной величины ξ называется функция F (x), при каждом x равная вероятности случайной величине ξ принимать значения, меньшие x : F (x) = P(ξ < x). Смысл функции распределения весьма прост. Представим себе, что на числовой прямой размещена единичная масса. Причём размещена она там в соответствии с распределением ξ: если оно дискретное, частички pi этой массы помещены в точки с координатами ai . Если же распределение абсолютно непрерывно, масса «размазана» по прямой с плотностью f (x), т. е. на участок [x, x + dx] приходится масса f (x) dx. Тогда функция распределения F (x) при каждом x равна массе, расположенной слева от точки x. С ростом x наблюдается увеличение массы, находящейся слева от x. Это увличение происходит либо непрерывно (если масса распределена по всем точкам прямой), либо скачками (если масса помещена в отдельные точки прямой). Если x неограниченно передвигать влево, масса слева от x будет уменьшаться до нуля. Если x так же неограниченно передвигать вправо, масса слева от x будет расти до единицы — до общей массы на всей прямой. 55 § 3. Функция распределения и её свойства Рассмотрим примеры того, как находить функции распределения. П р и м е р 43. Дважды подбрасывают правильную монету. Найти функцию распределения числа выпавших гербов. Р е ш е н и е. Число выпавших гербов — это случайная величина ξ, которая может принимать значения 0, 1, 2 с вероятностями p0 , p1 , p2 . Вероятности можно найти или по формуле Бернулли, или напрямую: p0 = P(ξ = 0) = P(две решки) = 0,5 · 0,5 = 0,25, p1 = P(ξ = 1) = P(герб, решка или решка, герб) = 2 · 0,5 · 0,5 = 0,5, p2 = P(ξ = 2) = P(два герба) = 0,25 = 1 − p0 − p1 . Функция распределения F (x) равна вероятности события {ξ < x} и её значения зависят от x следующим образом: а) при x 6 0 событие {ξ < x} невозможно, его вероятность нулевая; б) если 0 < x 6 1, то событие {ξ < x} происходит в том и только в том случае, когда ξ = 0, т. е. с вероятностью p0 = 0,25; в) если 1 < x 6 2, то событие {ξ < x} происходит, если ξ = 0 или ξ = 1, т. е. с вероятностью p0 + p1 = 0,75; г) при x > 2 событие {ξ < x} обязательно происходит, и его вероятность равна единице. F (x)   0,    0,25, F (x) =  0,75,    1, если x 6 0, если 0 < x 6 1, если 1 < x 6 2, если x > 2. 1 0,75 0,25 1 2 x Рис. 10. Закрашенные и незакрашенные точки на графике указывают на значения функции в точке разрыва. Например, закрашенная точкой (0, 0) и «пустая» точка (0, 0,25) означают, что Fξ (0) = 0, а не 0,25. Заметим, что функция распределения имеет разрывы в точках 0, 1 и 2 — именно в тех точках, где ξ принимает значения. Приращения функции Fξ (x) в этих точках равны соответственно p0 = 0,25, p1 = 0,5 и p2 = 0,25. Аналогично строится график функции распределения для любого дискретного распределения со значениями ai и вероятностями pi . С в о й с т в о 2. Функция распределения дискретного распределения растёт только в точках разрыва: в каждой точке ai она имеет скачок величиной pi . За счёт скачков функция F (x) растёт от 0 до 1. 56 ГЛАВА V. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ П р и м е р 44. Точка наудачу бросается в круг с радиусом R. Найти функцию распределения расстояния от этой точки до центра круга. Р е ш е н и е. Случайная величина ξ равна расстоянию от наудачу выбранной в круге точки до центра круга и принимает любые значения от 0 до R. Поэтому при x 6 0 событие {ξ < x} невозможно, и Fξ (x) = 0. А при x > R событие {ξ < x} происходит обязательно, и Fξ (x) = 1 для таких x. Если же 0 < x 6 R, то событие {ξ < x} происходит при попадании точки в круг с радиусом x и тем же центром. Вероятность этого события, по геометрическому определению вероятности, равна отношению площадей кругов: Fξ (x) = π x2 πR2 = x2 R2 . Окончательно получаем: F (x) 1 F (x) = R x   0,    x2  R2   1, если x 6 0, , если 0 < x 6 R, если x > 2. Рис. 11. График функции F (x) Здесь, в отличие от предыдущего примера, функция F (x) непрерывна. Сделаем важное замечание: две разные случайные величины могут иметь одну и ту же функцию распределения, одну и ту же таблицу или плотность распределения. В этом случае говорят, что данные случайные величины одинаково распределены. Иными словами, функция распределения характеризует не столько саму случайную величину, сколько её распределение. П р и м е р 45. По результату одного подбрасывания правильной монеты построим две случайные величины: ( ( 1, если выпал герб, 0, если выпал герб, ξ= η= 0, если выпала решка, 1, если выпала решка. Эти случайные величины никогда не равны одна другой: если монета выпала гербом, то ξ = 1, а η = 0. Если решкой — наоборот. Однако распределения этих случайных величин одинаковы: ξ P 1 , 0,5 0,5 η P 1 . 0,5 0,5 Одинаковыми будут и функции распределения этих случайных величин: Fξ (x) = P(ξ < x) = P(η < x) = Fη (x) для всех x. § 3. Функция распределения и её свойства 57 Общие свойства функций распределения. Основные свойства функций распределения заключены в теореме 19. Верно и обратное к ней утверждение: любая функция, обладающая перечисленными в теореме свойствами, является функцией распределения некоторой случайной величины. Т е о р е м а 19. Любая функция распределения обладает свойствами: (F1) F (x) не убывает: если x1 < x2 , то F (x1 ) 6 F (x2 ); (F2) F (x) имеет пределы lim F (x) = 0 и lim F (x) = 1; x→−∞ x→+∞ (F3) F (x) в любой точке непрерывна слева: F (x − 0) = F (x). В свойстве (F3) через F (x − 0) обозначен предел значений функции F при стремлении её аргумента к точке x слева (т. е. по области xn < x) : F (x − 0) = lim F (xn ). xn →x−0 Д о к а з а т е л ь с т в о. Докажем свойство (F1). Рассмотрим произвольные числа x1 < x2 . Если ξ < x1 , то тем более ξ < x2 . Это означает, что первое событие влечёт второе, и их вероятности тоже упорядочены: F (x1 ) = P{ξ < x1 } 6 P{ξ < x2 } = F (x2 ). Ограничимся, не приводя строгого доказательства свойств (F2) и (F3), следующими соображениями. Вероятность события {ξ < x} при x → −∞ стремится к вероятности невозможного события {ξ = −∞}, т. е. к нулю. Вероятность события {ξ < x} при x → +∞ стремится к вероятности достоверного события {ξ < +∞}, т. е. к единице. Если же xn устремить к x слева, то вероятность события {ξ < xn } стремится к вероятности события {ξ < x}, т. е. к F (x). Функции распределения обладают также следующим полезным свойством: (F4) Для любой случайной величины ξ имеет место равенство: P(a 6 ξ < b) = F (b) − F (a). (10) Д о к а з а т е л ь с т в о. Заметим, что {ξ < a} ∪ {a 6 ξ < b} = {ξ < b}, и первые два события несовместны. Тогда из аксиомы (P2) следует, что P(ξ < a) + P(a 6 ξ < b) = P(ξ < b). Это как раз и означает, что F (a) + P(a 6 ξ < b) = F (b). Если функция распределения непрерывна в точках a и b, то следующие четыре вероятности одинаковы, и любая из них вычисляется по формуле (10): P(a 6 ξ < b) = P(a < ξ < b) = P(a 6 ξ 6 b) = P(a < ξ 6 b). 58 ГЛАВА V. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ Свойства абсолютно непрерывного распределения. Пусть случайная величина ξ имеет абсолютно непрерывное распределение с плотностью f (x). Тогда функция распределения в любой точке x может быть найдена по плотности распределения так: Zx F (x) = P(ξ < x) = P(ξ ∈ (−∞, x)) = f (t) dt. (11) −∞ Интеграл (11) непрерывен по x, поэтому функция распределения случайной величины с абсолютно непрерывным распределением всюду непрерывна . Из равенства (11) следует также, что плотность абсолютно непрерывного распределения равна производной от функции распределения: f (x) = F 0 (x). Это равенство выполняется для всех x, кроме, разве что, конечного или счётного множества точек, в которых производная функции F (x) может вообще не существовать. В таких точках плотность можно задавать как угодно. Сформулируем очень важный критерий абсолютной непрерывности. Т е о р е м а 20. Если непрерывная функция распределения F (x) дифференцируема всюду, за исключением, возможно, конечного или счётного множества точек, то распределение является абсолютно непрерывным. Так, в примере 44 функция распределения F (x) везде непрерывна и дифференцируема всюду, кроме точек 0 и R. Плотность этого распределения равна f (x) = F 0 (x) (продифференцировать! ). § 4. Примеры дискретных распределений Вырожденное распределение Ic . Cлучайная величина ξ имеет вырожденное распределение в точке c, если ξ принимает лишь одно значение c, т. е. P(ξ = c) = 1. Для краткости мы будем употреблять запись ξ ∼ Ic . Распределение Бернулли Bp . Cлучайная величина ξ имеет распределение Бернулли с параметром p ∈ (0, 1), если ξ принимает значение 1 с вероятностью p и значение 0 с вероятностью q = 1 − p . Случайная величина ξ с таким распределением равна числу успехов в одном испытании схемы Бернулли с вероятностью успеха p : либо ни одного успеха, либо один успех. Таблица распределения случайной величины ξ ∼ Bp имеет вид: ξ P q 1 p . Например, случайные величины ξ и η из примера 45 имеют одно и то же 1 распределение Бернулли с параметром p = . 2 59 § 4. Примеры дискретных распределений Биномиальное распределение Bn,p . Cлучайная величина ξ имеет биномиальное распределение с параметрами n ∈ N и p ∈ (0, 1), если ξ принимает значения k = 0, 1, . . . , n с вероятностями P(ξ = k) = Cnk pk q n−k . Случайная величина с таким распределением равна числу успехов в n испытаниях схемы Бернулли с вероятностью успеха p. Таблица распределения случайной величины ξ ∼ Bn,p имеет вид: ξ P q n npq n−1 1 ... k ... n ... Cnk pk q n−k ... pn Распределение Бернулли Bp совпадает с распределением B1, p . Например, случайная величина ν10 из примера 42 имеет биномиальное 1 распределение B10, 1 с параметрами n = 10 , p = . Количество выпавших 2 2 шестёрок при двадцати подбрасываниях правильной игральной кости имеет биномиальное распределение B20, 1 . 6 Геометрическое распределение Gp . Cлучайная величина ξ имеет геометрическое распределение с параметром p ∈ (0, 1), если ξ принимает значения k = 1, 2, 3, . . . с вероятностями P(ξ = k) = pq k−1 . Случайная величина с таким распределением равна номеру первого успешного испытания в схеме Бернулли. Таблица распределения случайной величины ξ ∼ Gp имеет вид: ξ 1 2 ... k ... P p pq ... pq k−1 ... Так, количество проведённых испытаний в примере 11 на стр. 21 имеет 1 геометрическое распределение с параметром p = . 2 Распределение Пуассона Πλ . Случайная величина ξ имеет распределение Пуассона с параметром λ > 0, если ξ принимает целые неотрицательные λk значения k = 0, 1, 2, . . . с вероятностями P(ξ = k) = e−λ . Таблица k! распределения случайной величины ξ ∼ Πλ имеет вид: τ P 1 e−λ λ e−λ 2 ... λ2 −λ e ... 2 λk k! k ... e−λ ... Распределение Пуассона возникло в теореме Пуассона (стр. 46) как предельное распределение для числа успехов в n испытаниях схемы Бернулли, λ когда число испытаний n увеличивается, а вероятность успеха p ∼ уменьn шается обратно пропорционально n. Поэтому распределение Пуассона называют иногда распределением числа редких событий. 60 ГЛАВА V. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ Гипергеометрическое распределение. Пусть случайная величина ξ равна числу белых шаров среди n шаров, выбранных наудачу и без возвращения из урны с K белыми и N − K чёрными шарами. Распределение этой случайной величины называется гипергеометрическим распределением. Случайная величина ξ принимает целые значения k = 0, 1, . . . , n с вероятностями k P(ξ = k) = n−k CK CN −K n CN . У п р а ж н е н и е . Построить графики функций распределения для всех перечисленных выше распределений, как это сделано в примере 43. § 5. Примеры абсолютно непрерывных распределений Равномерное распределение Ua,b . Случайная величина ξ имеет равномерное распределение на отрезке [a, b], если её плотность распределения постоянна на отрезке [a, b] и равна нулю вне него: ( 1 , если x ∈ [a, b], f (x) = b − a 0, если x 6∈ [a, b]. Случайная величина ξ ∼ Ua,b имеет смысл координаты точки, выбранной наудачу на отрезке [a, b]. Функция распределения случайной величины ξ всюду непрерывна и имеет вид:   если x < a,   0, F (x) = x−a , b − a   1, если a 6 x 6 b, если x > b. Мы много раз встречались с равномерным распределением. Так, длина каждого из двух обломков стержня в примере 42 имеет равномерное распределение на отрезке [0, 5]. Графики плотности и функции распределения равномерного распределения на отрезке [a, b] изображены на рис. 12. F (x) f (x) 1 1 (b−a) a b x a Рис. 12. Плотность и функция распределения Ua,b b x 61 § 5. Примеры абсолютно непрерывных распределений Показательное распределение Eα . Случайная величина ξ имеет показательное (экспоненциальное) распределение с параметром α > 0, если ξ имеет следующие плотность и функцию распределения: ( ( 0, если x < 0, 0, если x < 0, f (x) = F (x) = αe−αx , если x > 0; 1 − e−αx , если x > 0. Графики плотности и функции распределения показательного распределения с параметром α изображены на рис. 13. f (x) F (x) 1 α x x Рис. 13. Плотность и функция распределения Eα Плотность показательного распределения равна нулю на отрицательной полуоси, поэтому вероятность события {ξ < 0} нулевая — случайная величина с показательным распределением не может быть отрицательна. К тому же плотность отлична от нуля на всей положительной полуоси, поэтому случайная величина с показательным распределением может принимать сколь угодно большие положительные значения: для всякого x вероятность события {ξ > x} не равна нулю. Показательное распределение обладает свойством отсутствия последействия . Мы встречались с этим свойством у геометрического распределения. Т е о р е м а 21. Пусть ξ ∼ Eα . Тогда для любых x, y > 0 P(ξ > x + y | ξ > x) = P(ξ > y). (12) Д о к а з а т е л ь с т в о. Заметим, что для любого t > 0 P(ξ > t) = 1 − P(ξ < t) = 1 − F (t) = e−αt . Поэтому P(ξ > x + y | ξ > x) = = P(ξ > x + y, ξ > x) P(ξ > x + y) = = P(ξ > x) P(ξ > x) e−α(x+y) = e−αy = P(ξ > y). e−αx Нормальное распределение Na, σ2 . Случайная величина ξ имеет нормальное (или гауссовское) распределение с параметрами a и σ2 , где a ∈ R, σ > 0, 62 ГЛАВА V. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ если ξ имеет следующую плотность распределения: (x−a)2 − 1 f (x) = √ e 2σ2 , σ 2π x ∈ R. На рис. 14 показаны графики плотностей нормальных распределений с одним и тем же значением параметра a и разными значениями параметра σ. σ21 < σ22 < σ23 Na,σ22 Na,σ21 Na,σ23 a Рис. 14. Плотности нормальных распределений Нормальное распределение N0, 1 с параметрами a = 0 и σ2 = 1 называется стандартным нормальным распределением. Плотность стандартного 2 1 нормального распределения равна ϕ(x) = √ e−x /2 . Она является чётной 2π функцией, и её график (к ривая Гаусса) симметричен относительно прямой x = 0. Читатель вспомнит, что эта плотность уже возникала в локальной теореме Муавра — Лапласа (стр. 48). Мы будем использовать специальное обозначение Φ(x) для функции распределения стандартного нормального распределения. 2 Первообразная функции e−x не может быть выражена через элементарные функции. Поэтому функцию Φ(x) (так же как и функцию распределения произвольного нормального распределения) можно записать лишь в виде интеграла: Zx t2 − 1 √ e 2 dt. Φ(x) = 2π −∞ Функция Φ(x) встречалась нам в интегральной теореме Муавра — Лапласа (стр. 47). Она табулирована, т. е. её значения при различных действительных x вычислены (см. таблицу на стр. 121). Познакомимся со свойствами нормального распределения. Прежде всего установим связь между функцией распределения произвольного нормального закона распределения и Φ(x). 63 § 5. Примеры абсолютно непрерывных распределений F (x) 6 1 0,5 - x a Рис. 15. Функция распределения нормального распределения Na,σ2 С в о й с т в о 3. Пусть случайная величина ξ имеет нормальное распределение Na, σ2 . Тогда   ξ−a x−a , ∼ N0, 1 . Fξ (x) = Φ σ σ Д о к а з а т е л ь с т в о. Докажем первое равенство. Функцию распределения Fξ (x) = P(ξ < x) запишем в виде интеграла от плотности и сделаем t−a в этом интеграле замену переменных = y, dt = σ dy : σ Zx Fξ (x) = −∞ x−a − 1 √ e σ 2π (t−a)2 2σ2 dt Zσ = y2 − 1 x−a √ e 2 dy = Φ . σ 2π   −∞ Читатель обратил внимание, что после такой замены область интегрирования x−a
t ∈ (−∞, x) заменилась на область интегрирования y ∈ −∞, . σ Докажем второе свойство. Вычислим, используя первое равенство, функξ−a цию распределения величины η = : σ   ξ−a Fη (x) = P(η < x) = P < x = P(ξ < σx + a) = σ   σx + a − a = Fξ (σx + a) = Φ = Φ(x). σ Функция распределения случайной величины η равна Φ(x), поэтому η имеет стандартное нормальное распределение. Из свойства 3 и свойства (F4) функций распределения следует полезное равенство для вычисления вероятностей попадания в интервалы. С в о й с т в о 4. Если ξ ∼ Na, σ2 , то     x2 − a x1 − a P(x1 < ξ < x2 ) = Φ −Φ . σ σ 64 ГЛАВА V. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ Мы показали, что вычисление любых вероятностей для нормально распределённой случайной величины сводится к вычислению функции распределения Φ(x). Она обладает следующими свойствами. С в о й с т в о 5. Φ(0) = 0,5, Φ(−x) = 1 − Φ(x). Д о к а з а т е л ь с т в о. Величина Φ(0) равна площади, заключённой под графиком кривой Гаусса левее оси ординат. Из-за симметрии плотности относительно прямой x = 0 эта площадь равна половине всей площади под графиком плотности, т. е. 0,5. Второе свойство полезно нарисовать и проверить на графике плотности стандартного нормального распределения. Следующее свойство стандартного нормального распределения показано на рис. 16. Площадь центральной области равна единице за вычетом площадей двух симметричных «хвостов». f (t) P(|ξ| < x) Φ(−x) −x t x Рис. 16. С в о й с т в о 6. Если ξ ∼ N0,1 , то для любого x > 0 P(|ξ| < x) = 1 − 2Φ(−x). Д о к а з а т е л ь с т в о. При x > 0 имеем: P(|ξ| < x) = P(−x < ξ < x) = Φ(x) − Φ(−x) = 1 − 2Φ(−x). С в о й с т в о 7 (правило трёх сигм). Если ξ ∼ Na, σ2 , то P(|ξ − a| < 3σ) = 0,9973 (т. е. почти единица).  
ξ−a Д о к а з а т е л ь с т в о. P |ξ − a| < 3σ = P < 3 . Случайная величина η = ξ−a σ σ имеет распределение N0,1 . По свойству 6, P(|η| < 3) = (1 − 2Φ(−3)) = 1 − 2 · 0,00135 = 0,9973. Большого смысла в запоминании числа 0,9973 нет, но полезно помнить, что почти вся масса (более 99%) нормального распределения сосредоточена в границах от a − 3σ до a + 3σ . § 5. Примеры абсолютно непрерывных распределений 65 П р и м е р 46. Станок-автомат изготовляет детали, длина которых по стандарту может отклоняться от 125 мм не более, чем на 1 мм. Среди продукции станка 7% нестандартных деталей. Считая, что длины деталей имеют нормальное распределение N125, σ2 , найти параметр σ2 . Р е ш е н и е. Обозначим через ξ длину типичной детали. Деталь нестандартна, если |ξ − 125| > 1. Это событие происходит с вероятностью 0,07 — именно так следует понимать фразу про семь процентов нестандартных деталей. Раскроем модуль и используем свойство 4, а затем 5: 0,07 = P(|ξ − 125| > 1) = 1 − P(|ξ − 125| 6 1) =      126 − 125 124 − 125 = 1 − P(124 6 ξ 6 126) = 1 − Φ −Φ = σ σ



= 1 − Φ σ−1 − Φ −σ−1 = 2Φ −σ−1 . По таблице на стр. 121, зная Φ(−σ−1 ) = 0,035, найдём σ−1 = 1,81. Отсюда σ2 = 0, 305 мм2 . Гамма-распределение Γα, λ . Случайная величина ξ имеет гамма-распределение с параметрами α > 0, λ > 0, если ξ имеет следующую плотность распределения:   0, если x 6 0, λ f (x) =  α · xλ−1 e−αx , если x > 0. Γ(λ) В выражении для плотности участвует гамма-функция Эйлера: ∞ Z Γ(λ) = xλ−1 e−x dx. Следующие свойства гамма-функции бывают полезны для вычисления определённых интегралов, содержащих произведение степенной и показательной функций: Γ(λ) = (λ − 1)Γ(λ − 1), Γ(n) = (n − 1)! при целых положитель√ ных n, Γ(1) = 1, Γ(0,5) = π. Отметим, что показательное распределение является частным случаем гамма-распределения: Eα = Γα, 1 . Гамма-распределение с параметрами α = 1 n = и λ = при целом положительном n называется хи-квадрат ( χ2 ) 2 2 распределением с n степенями свободы. С этим распределением мы познакомимся в курсе математической статистики. Гамма-распределение с целым положительным λ = n называется распределением Эрланга. У п р а ж н е н и е . Нарисовать график плотности распределения Γα, λ при λ < 1, при λ = 1 и при λ > 1, отметить на этом графике точки экстремума, точки перегиба и иные особенности графика. 66 ГЛАВА V. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ Распределение Коши C a, σ . Случайная величина ξ имеет распределение Коши с параметрами a ∈ (−∞, ∞), σ > 0, если ξ имеет плотность распределения f (x) = σ 1 π σ2 + (x − a)2 . Плотность распределения Коши симметрична относительно прямой x = a и похожа на плотность нормального распределения, но имеет более толстые «хвосты» на ±∞ . Функция распределения слуy чайной величины ξ ∼ C a, σ равна σ ϕ 1 1 x−a
F (x) = + arctg . 2 π σ Распределение Коши имеет простой физический смысл (см. рис. 17). Если из точки плоскости с координатами (a, σ) испустить Рис. 17. луч в направлении оси OX под случайным углом ϕ, выбранным наудачу из интервала (0, π), то абсцисса точки пересечения луча с осью OX будет иметь распределение Коши C a, σ .
π Действительно, ξ = σ ctg ϕ + a = σ tg − ϕ + a, 2     π π x−a
x−a
− ϕ < arctg = P ϕ > − arctg . P(ξ < x) = P a ξ x σ 2 2 σ Поскольку ϕ выбирается наудачу на интервале (0, π), вероятность есть отношение длин соответствующих интервалов:  P ϕ> π 2 − arctg  x−a
σ = π− π 2 − arctg π x − a
 σ = 1 1 x−a
+ arctg . 2 π σ Распределение Парето. Случайная величина ξ имеет распределение Парето с параметром α > 0, если ξ имеет следующие плотность и функцию распределения: ( α ( 1 , если x > 1, 1 − α , если x > 1, α +1 x f (x) = x F (x) = 0, если x < 1; 0, если x < 1. С другими абсолютно непрерывными распределениями (Стью́дента, Фишера, Колмогорова, Лапласа) мы познакомимся при изучении математической статистики. В различных задачах читателю, возможно, встретятся распределения Вейбулла, логарифмически нормальное и некоторые другие интересные абсолютно непрерывные распределения. Плотности всех этих распределений можно найти в таблице на стр. 120. § 6. Преобразования случайных величин 67 § 6. Преобразования случайных величин Если ξ — случайная величина, а g(x) — действительная функция действительного аргумента, то g(ξ) — новая случайная величина, и нужно уметь находить её распределение по распределению ξ. Эта проблема возникает, например, при моделировании случайных величин с заданным распределением. Датчик случайных чисел может генерировать лишь значения случайных величин с равномерным распределением. А если нам необходимы значения показательно распределённой величины, нужно знать, какое преобразование применить, чтобы из равномерного распределения получить показательное. Преобразования дискретных распределений. Если ξ имеет дискретное распределение, то величина g(ξ) также имеет дискретное распределение, и таблица её распределения находится просто по определению, как показано в следующем примере. П р и м е р 47. Случайная величина ξ имеет таблицу распределения ξ −2 −1 0 1 2 . P 0,1 0,3 0,1 0,2 0,3 Найти таблицу распределения случайной величины η = ξ2 . Р е ш е н и е. Возводя значения случайной величины ξ в квадрат, увидим, что η принимает только значения 0, 1, 4. При этом η = 0 только когда ξ = 0, т. е. с вероятностью 0,1, а каждое из значений 1 и 4 величина η принимает в двух случаях: {η = 1} = {ξ = −1} ∪ {ξ = 1}, {η = 4} = {ξ = −2} ∪ {ξ = 2}. По аксиоме вероятности (P2), вероятность объединения несовместных событий равна сумме их вероятностей: P(η = 1) = P(ξ = −1) + P(ξ = 1) = 0,3 + 0,2 = 0,5, P(η = 4) = P(ξ = −2) + P(ξ = 2) = 0,1 + 0,3 = 0,4. Получаем следующую таблицу распределения: η 1 4 . P 0,1 0,5 0,4 Преобразования абсолютно непрерывных распределений. Пусть случайная величина ξ имеет функцию распределения F (x) и плотность распределения f (x). Построим с помощью функции g(x) случайную величину η = g(ξ). Требуется найти функцию распределения и, если существует, плотность распределения величины η. 68 ГЛАВА V. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ Плотность распределения случайной величины η = g(ξ) существует далеко не при любых функциях g. Так, если функция g кусочно-постоянна, то η имеет дискретное распределение, и плотность её распределения не существует. Например, если функция g(x) = 1 при всех x, то величина η = g(ξ) = 1 имеет вырожденное распределение I1 . Т е о р е м а 22. Пусть случайная величина ξ имеет плотность распределения f (x), и постоянная a отлична от нуля. Тогда η = aξ + b имеет плотность распределения   x−b 1 f . fη (x) = |a| a Д о к а з а т е л ь с т в о. Пусть сначала a > 0.     x−b x−b Fη (x) = P(aξ + b < x) = P ξ < =F . a a Продифференцируем это выражение по x как сложную функцию:         d x−b x−b 0 x−b 1 x−b fη (x) = (Fη (x)) = F = ·f = f . dx a a a a a Пусть теперь a < 0.     x−b x−b Fη (x) = P(aξ + b < x) = P ξ > =1−F . a a Продифференцируем это выражение по x :        d x−b 1 x−b 1 x−b fη (x) = (Fη (x)) = 1−F =− f = f . dx a a a |a| a Убедиться в том, что производная fη (x) действительно является плотностью распределения, можно, например, проверив для неё свойство (f2) плотности. Из теоремы 22 следуют (проверить! ) уже знакомые нам утверждения: С л е д с т в и е 2. Если ξ ∼ N0, 1 , то η = σξ + a ∼ Na, σ2 . Д о к а з а т е л ь с т в о. Действительно,   (x−a)2 1 x−a 1 − fη (x) = · fξ = √ e 2σ2 . σ σ σ 2π С л е д с т в и е 3. Если ξ ∼ Na, σ2 , то её линейное преобразование cξ + d при c 6= 0 снова имеет нормальное распределение. Этот факт следует запомнить: линейное преобразование оставляет распределение нормальным. Полезно также убедиться, что cξ + d ∼ Nca+d, c2 σ2 . С л е д с т в и е 4. Если ξ ∼ Ua, b , то её линейное преобразование cξ + d при c 6= 0 снова имеет равномерное распределение. Границы интервала, на котором сосредоточено распределение cξ + d, получаются линейным преобразованием границ исходного интервала (a, b). Например, cξ + d ∼ Uca+d, cb+d при c > 0. 69 § 7. Контрольные вопросы С л е д с т в и е 5. Если ξ ∼ Eα , то αξ ∼ E1 . П р и м е р 48. Случайная величина ξ имеет стандартное нормальное распределение. Найти плотность распределения величины ξ2 . Р е ш е н и е. Для x 6 0 функция распределения величины η = ξ2 равна Fη (x) = P(ξ2 < x) = 0, поэтому fη (x) = 0. √ √ Для x > 0 имеем: Fη (x) = P(ξ2 < x) = P (|ξ| < x ) = 1 − 2Φ (− x ) . Производная функции Φ(x) равна плотности стандартного нормального распределения ϕ(x), поэтому при x > 0 √
√
√
0 1 1 e−x/2 . fη (x) = (Fη (x))0 = −2ϕ − x · − x = √ ϕ − x = √ 2π x x Мы получили следующую плотность:   0, если x 6 0, fη (x) = 1 √ e−x/2 , если x > 0. 2π x 1 1 Это плотность гамма-распределения с параметрами α = , λ = . Тем 2 2 самым мы доказали, что η ∼ Γ1/2, 1/2 . Другое название этого распределения — распределение хи-квадрат с одной степенью свободы. П р и м е р 49. Случайная величина ξ имеет равномерное распределение на отрезке [0, 1]. Найти распределение величины − ln ξ. Р е ш е н и е. Функция распределения величины η = − ln ξ равна Fη (x) = P(− ln ξ < x) = P(ξ > e−x ) = 1 − P(ξ 6 e−x ) = 1 − Fξ (e−x ). Подставим e−x   0, Fξ (x) = x,   1, > 0 вместо x в функцию распределения U0, 1 : если x < 0, если 0 6 x 6 1, если x > 1, ( e−x , если 0 < e−x 6 1, −x Fξ (e ) = 1, если e−x > 1. Окончательно получаем: ( 1 − e−x , если x > 0, −x Fη (x) = 1 − Fξ (e ) = 0, если x < 0, Итак, η ∼ E1 . Мы получили замечательный факт: применение функции g(x) = − ln x к равномерно распределённой на отрезке [0, 1] случайной величине приводит к показательному распределению с параметром 1. Если же мы хотим получить показательное распределение с произвольным парамет1 ром α, следует воспользоваться следствием 5: ζ = − ln ξ ∼ Eα . α 70 ГЛАВА V. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ § 7. Контрольные вопросы 1. Для чего нужны случайные величины? 2. Что такое случайная величина? 3. Привести примеры случайных величин. 4. Что называют таблицей распределения вероятностей? У каких случайных величин есть таблица распределения вероятностей? 5. Сколько значений может принимать случайная величина с дискретным распределением? 6. Как вычислить P(ξ ∈ [2, 4]) для случайной величины с дискретным распределением? 7. Могут ли две разные случайные величины иметь одинаковые таблицы распределения? 8. Совпадают ли количества очков при первом и при втором броске игральной кости? Одинаковы ли распределения этих случайных величин? 9. Совпадают ли результаты первого и второго бросаний одной и той же монеты? Одинаковы ли распределения соответствующих случайных величин? 10. Сколько значений может принимать случайная величина с абсолютно непрерывным распределением? 11. Что такое плотность распределения? 12. Как вычислить P(ξ ∈ [2, 4]) для случайной величины с абсолютно непрерывным распределением? 13. Как вычислить P(ξ < 3) для случайной величины с абсолютно непрерывным распределением? 14. Как вычислить P(ξ > 3) для случайной величины с абсолютно непрерывным распределением? 15. Чему равен интеграл от плотности распределения по всей прямой? 16. Может ли плотность распределения принимать отрицательные значения? 17. Может ли плотность распределения равняться нулю при всех значениях аргумента? Единице? Двойке? Чему равно значение интеграла по всей прямой от каждой из этих функций? 18. Что такое функция распределения случайной величины? 19. Перечислите и объясните свойства функции распределения. 20. Для каждого свойства функций распределения нарисуйте график любой функции, не обладающей этим свойством. 21. Как выглядит функция распределения дискретного распределения? Чему равны величины её скачков? § 7. Контрольные вопросы 71 22. Как по таблице дискретного распределения нарисовать график функции распределения? 23. Как по графику функции распределения дискретного закона восстановить таблицу распределения? 24. Как по функции распределения вычислить вероятность P(2 6 ξ < 3)? 25. Как по функции распределения вычислить вероятность P(ξ > 3)? 26. Может ли функция распределения абсолютно непрерывного распределения иметь разрывы? 27. Чему для любого x равна P(ξ = x), если ξ имеет абсолютно непрерывное распределение? 28. Как плотность распределения находится по функции распределения? 29. Перечислите основные дискретные распределения. Запишите таблицу распределения каждого. 30. Перечислите основные абсолютно непрерывные распределения. Запишите плотность и функцию распределения каждого. Постройте графики всех плотностей и функций распределения. 31. Как связаны функция распределения нормального закона и функция Φ(x) ? 32. Как вычислять вероятность P(x1 < ξ < x2 ), если ξ имеет нормальное распределение с параметрами a и σ2 ? 33. Как из нормально распределённой случайной величины сделать величину со стандартным нормальным распределением? 34. Гауссовская кривая — это график плотности или функции распределения? Какому распределению этот график отвечает? 35. Чему равна P(ξ < 0) для ξ ∼ N0, 1 ? 36. Чему равна P(ξ < a) для ξ ∼ Na, σ2 ? 37. Найти P(ξ < −3), P(ξ < −2), P(ξ < −1,6), P(ξ < 1,6), P(ξ < 2) и P(ξ < 3) для ξ ∼ N0, 1 . 38. Как связаны плотности распределения величин ξ и aξ + b? 39. Как по плотности распределения величины ξ найти плотность распределения величины −ξ? 2ξ? ξ + 2? 40. Если случайная величина ξ имеет нормальное распределение, каким будет распределение случайной величины −ξ? 41. Если случайная величина ξ имеет нормальное распределение, каким будет распределение случайной величины 5ξ + 7? 42. Каким преобразованием можно случайную величину ξ ∼ U0, 5 превратить в η ∼ U0, 1 ? 43. Каким преобразованием можно случайную величину ξ ∼ U0, 1 превратить в η ∼ U0, 5 ? А в η ∼ E1 ? 72 ГЛАВА V. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ И ИХ РАСПРЕДЕЛЕНИЯ 44. Каким преобразованием можно случайную величину ξ ∼ E5 превратить в η ∼ E1 ? 45. Каким преобразованием можно случайную величину ξ ∼ E1 превратить в η ∼ E5 ? 46. Каким преобразованием можно случайную величину ξ ∼ N5, 9 превратить в η ∼ N0, 1 ? 47. Каким преобразованием можно случайную величину ξ ∼ N0, 1 превратить в η ∼ N5, 9 ? А в η ∼ N−5, 9 ? 48. Если случайная величина ξ имеет стандартное нормальное распределение, каким будет распределение случайной величины ξ2 ? Г Л А В А VI МНОГОМЕРНЫЕ РАСПРЕДЕЛЕНИЯ В практических задачах приходится иметь дело не с одной, но с несколькими взаимосвязанными случайными величинами. Примером может служить набор экономических или производственных показателей, характеризующих какой-то процесс. Набор ξ1 , . . . , ξn из нескольких случайных величин называют случайным вектором или многомерной случайной величиной. Нет никаких принципиальных отличий между тем, как описать распределение одномерной и многомерной случайных величин. § 1. Совместное распределение Пусть случайные величины ξ1 , . . . , ξn заданы на одном вероятностном пространстве hΩ, F, Pi . О п р е д е л е н и е 16. Функция F (x1 , . . . , xn ) = P(ξ1 < x1 , . . . , ξn < xn ) называется функцией распределения вектора (ξ1 , . . . , ξn ) или функцией совместного распределения случайных величин ξ1 , . . . , ξn . Перечислим свойства функции совместного распределения, ограничившись, для простоты, вектором (ξ, η) из двух величин. Функция распределения F (x, y) = P(ξ < x, η < y) не убывает по x и по y; стремится к нулю, если любую из переменных устремить к −∞ ; стремится к единице, если обе переменные устремить к +∞ ; непрерывна слева по каждой переменной. Следующее свойство позволяет по функции совместного распределения пары (ξ, η) находить функции распределения величин ξ и η в отдельности. (F4) Чтобы по функции совместного распределения восстановить функции распределения ξ и η в отдельности, следует устремить «лишнюю» переменную к +∞ : lim F (x, y) = Fη (y), x→+∞ lim F (x, y) = Fξ (x). y→+∞ Действительно, с ростом x событие {ξ < x} становится всё более достоверным, поэтому P(ξ < x, η < y) → P(η < y). 74 ГЛАВА VI. МНОГОМЕРНЫЕ РАСПРЕДЕЛЕНИЯ § 2. Виды многомерных распределений Рассмотрим два типичных случая: когда совместное распределение координат случайного вектора либо дискретно, либо абсолютно непрерывно. Дискретное совместное распределение. Совместное расределение величин ξ и η дискретно, если каждая из них имеет дискретное распределение. Если ξ принимает значения a1 , a2 , . . . , а η принимает значения b1 , b2 , . . . , то пара (ξ, η) принимает всевозможные значения (ai , bj ). Таблицу, на пересечении i -й строки и j -го столбца которой стоит вероятность p i,j = P(ξ = = ai , η = bj ), называют таблицей совместного распределения случайных величин ξ и η . Вероятности p i,j в сумме дают единицу: XX p i,j = 1. i j Таблицы распределения каждой из случайных величин ξ , η в отдельности (таблицы частных, или маргинальных распределений) восстанавливаются по таблице совместного распределения суммированием по строке или столбцу: X X P(ξ = ai ) = p i,j , P(η = bj ) = p i,j . (13) j i Так, первое равенство в 13 следует из того, что набор {η = b1 }, {η = b2 }, . . . является полной группой событий, поэтому событие {ξ = ai } раскладывается в объединение попарно несовместных событий: [ X X {ξ = ai } = {ξ = ai , η = bj }, P(ξ = ai ) = P(ξ = ai , η = bj ) = p i,j . j j j Второе равенство в 13 получится, если разложить по полной группе событий событие {η = bj }. П р и м е р 50. Правильную монету подбрасывают трижды. Случайная величина ξ равна числу гербов, выпавших в первых двух испытаниях, случайная величина η равна числу гербов, выпавших в трёх испытаниях. Построить таблицу совместного распределения ξ и η. Р е ш е н и е. Возможны значения ξ = 0, 1, 2 и η = 0, 1, 2, 3. Но не все пары значений имеют положительную вероятность. 1 , 8 1 P(ξ = 0, η = 1) = P(ррг) = , 8 1 P(ξ = 2, η = 2) = P(ггр) = , 8 P(ξ = 0, η = 0) = P(ррр) = 1 , 4 1 P(ξ = 1, η = 2) = P(ргг) + P(грг) = , 4 1 P(ξ = 2, η = 3) = P(ггг) = . 8 P(ξ = 1, η = 1) = P(ргр) + P(грр) = 75 § 2. Виды многомерных распределений Остальные значения пар (ξ, η) невозможны. Составим таблицу: η=0 η=1 η=2 η=3 ξ=0 ξ=1 ξ=2 P(η = bj ) 1/8 1/8 1/8 1/4 3/8 1/4 1/8 3/8 1/8 1/8 P(ξ = ai ) 1/4 1/2 1/4 Σ=1 Нижняя строка состоит из сумм вероятностей по каждому столбцу — это таблица распределения η . Аналогично правый столбец состоит из сумм по строкам — это таблица распределения ξ. Для проверки правильности вычислений заметим, что по этим таблицам ξ ∼ B2, 0,5 , η ∼ B3, 0,5 , как и должно быть. Абсолютно непрерывное совместное распределение. Дадим определение. О п р е д е л е н и е 17. Говорят, что случайные величины ξ и η имеют абсолютно непрерывное совместное распределение , если существует неотрицательная функция f (x, y) такая, что для любых a < b, c < d имеет место равенство Zb Zd P(a < ξ < b, c < η < d) = dx f (x, y) dy. a c Если такая функция f (x, y) существует, она называется плотностью совместного распределения случайных величин ξ и η. Если случайные величины ξ , η имеют абсолютно непрерывное совместное распределение, то для любых x, y имеет место равенство: Zx Zy f (u, v) dv. (14) F (x, y) = P(ξ < x, η < y) = du −∞ −∞ Плотность совместного распределения имеет те же свойства, что и плотность распределения одной случайной величины: неотрицательность и нормированность: ∞ ∞ Z Z dx f (x, y) dy = 1. f (x, y) > 0, −∞ −∞ По функции совместного распределения его плотность находится как смешанная частная производная (в точках, где она существует): ∂2 f (x, y) = F (x, y). ∂x∂y 76 ГЛАВА VI. МНОГОМЕРНЫЕ РАСПРЕДЕЛЕНИЯ Т е о р е м а 23. Если случайные величины ξ и η имеют абсолютно непрерывное совместное распределение с плотностью f (x, y), то ξ и η в отдельности тоже имеют абсолютно непрерывные распределения с плотностями: ∞ ∞ Z Z fξ (x) = f (x, y) dy ; fη (y) = f (x, y) dx. −∞ −∞ Итак, чтобы найти плотности координат вектора, нужно проинтегрировать плотность совместного распределения по всем «лишним» координатам. Это свойство сразу следует из свойства (F4) функции совместного распределения, достаточно в равенстве (14) устремить к бесконечности переменную x или переменную y. П р и м е р 51. Привести пример случайных величин ξ и η с абсолютно непрерывными распределениями таких, что пара (ξ, η) не имеет плотности распределения. Р е ш е н и е. Пусть ξ ∼ U0, 1 — координата точки, брошенной наудачу на отрезок [0, 1], и пусть η = ξ. Тогда пара (ξ, η) принимает значения только на диагонали единичного квадрата, поэтому плотности распределения у этой пары не существует. Чтобы это показать, найдём функцию совместного распределения: ( Fξ (x), если x 6 y, F (x, y) = P(ξ < x, η < y) = P(ξ < x, ξ < y) = Fξ (y), если y < x. Вторая смешанная производная этой функции по x и по y существует везде внутри квадрата, кроме диагонали, и равна нулю. Но функция f (x, y) = 0 не является плотностью распределения, поскольку объём области под графиком этой функции не равен единице (а чему он равен? ). П р и м е р 52. Возможно ли, зная распределения случайных величин ξ и η в отдельности, найти их совместное распределение? Р е ш е н и е. Ответ на этот вопрос, разумеется, отрицательный. Пусть, как в предыдущем примере, ξ ∼ U0, 1 — координата точки, брошенной наудачу на отрезок [0, 1], и пусть η = 1 − ξ. Заметим, что η ∼ U0, 1 . Найдём функцию совместного распределения величин ξ и η : F (x, y) = P(ξ < x, 1 − ξ < y) = P(1 − y < ξ < x) = Fξ (x) − Fξ (1 − y), если 1 − y < x, иначе F (x, y) = 0. В этом и в предыдущем примерах ξ, η ∼ U0, 1 имеют одни и те же частные распределения, но совместные распределения ξ и η в этих примерах оказались различными. § 3. Примеры многомерных распределений 77 § 3. Примеры многомерных распределений Приведём два наиболее употребительных примера абсолютно непрерывных многомерных распределений. Первое из них — распределение координаты точки, брошенной наудачу в область S на плоскости. С этим распределением мы давно знакомы по геометрическому определению вероятности. Равномерное распределение. Пусть S ⊂ R2 — множество с конечной площадью µ(S). Пара (ξ, η) имеет равномерное распределение в области S, если плотность совместного распределения f (x, y) постоянна в области S и равна нулю вне этой области:   1 , если (x, y) ∈ S, (15) f (x, y) = µ(S)  0, если (x, y) 6∈ S. Эта функция является плотностью распределения, поскольку объём, заключённый под графиком этой функции, есть объём цилиндра с основанием S и с высотой 1/µ(S), и равен единице. П р и м е р 53. Точка с координатами (ξ, η) наудачу выбирается в треугольнике с вершинами (0, 0), (2, 0), (0, 1). Найти плотность совместного распределения и частные плотности распределения координат точки. Р е ш е н и е. Совместное распределение по условию является равномерным распределением в данном треугольнике S с единичной площадью. Плотность этого распределения равна ( 1, если (x, y) ∈ S, f (x, y) = 0, если (x, y) 6∈ S. Плотности распределения величин ξ и η вычислим по теореме 23. Направление и границы интегрирования показаны на рис. 18. y 1 η ξ 2 x Рис. 18. Интегрирование f (x, y) по y при фиксированном x ∈ (0, 2) показано на рис. 18 вертикальным отрезком, интегрирование по x при фиксированном 78 ГЛАВА VI. МНОГОМЕРНЫЕ РАСПРЕДЕЛЕНИЯ y ∈ (0, 1) — горизонтальным: x 1− 2 Z fξ (x) = 1 dy = 1 − x , 2 2−2y Z 1 dx = 2 − 2y. fη (y) = При остальных значениях x и y обе плотности равны нулю. Распределение каждой координаты в отдельности уже не является равномерным распределением. Это и понятно: для абсциссы наудачу выбранной в данном треугольнике точки более вероятны значения вблизи нуля, чем вблизи двойки; и для ординаты значения около нуля вероятнее значений вблизи единицы. Плотности распределений компонент можно найти и с помощью геометрического определения вероятности: вероятность величине ξ принимать значения из интервала (x, x + dx) равна отношению площади узкой вертикальной полосы с основанием (x, x + dx) к площади всего треугольника (в данном
случае — к единице): P(ξ ∈ (x, x + dx)) = 1 − x dx. С другой стороны, 2 эта вероятность пропорциональна плотности: P(ξ ∈ (x, x + dx)) = fξ (x) dx. Поэтому плотность распределения случайной величины ξ равна высоте этой полосы 1 − x . Точно так же плотность распределения величины η равна 2 длине горизонтальной полосы c основанием (y, y + dy), т. е. 2 − 2y. Следующее многомерное распределение чрезвычайно важно и часто встречается в экономических приложениях. Многомерное нормальное распределение. Пусть Σ > 0 — положительно определённая2 симметричная матрица (n × n) , матрица Σ−1 — обратная к Σ , и ~a ∈ Rn — n -мерный вектор-столбец. Транспонированный вектор, т. е. вектор-строку, мы будем обозначать так: ~a T = (a1 , . . . , an ). Говорят, что вектор (ξ1 , . . . , ξn ) имеет многомерное нормальное распределение N~a, Σ с вектором средних ~a и матрицей ковариаций Σ, если плотность совместного распределения координат этого вектора равна n o 1 1 T −1 f (x1 , . . . , xn ) = √ x − ~a) · Σ · (~x − ~a) . √
n exp − (~ det Σ 2π 2 Выражение (~x −~a)T Σ−1 (~x −~a) в показателе экспоненты является квадратичной формой от переменных (xi − ai ) : для матрицы B = Σ−1 с элементами bij получим T (~x − ~a) B (~x − ~a) = n X n X bij (xi − ai )(xj − aj ). i=1 j=1 2 Матрица положительно определена, если все её собственные значения положительны. 79 § 4. Роль совместного распределения Плотность, например, двумерного нормального распределения имеет вид колоколообразной «шапочки», похожей на плотность на рис. 8, стр. 32. Линией уровня этой шапочки, получающейся в сечении плоскостью f (x, y) = = const, будет эллипс (~x −~a)T B(~x −~a) = c. Этот эллипс называется эллипсом рассеивания (в Rn — эллипсоидом). По теореме 23 можно вычислить плотности координат вектора (ξ1 , . . . , ξn ) с многомерным нормальным распределением. Величина ξ i имеет нормальное распределение Nai , σ2 , где σ2i = Σii — i -й диагональный элемент матрицы Σ. i Подробно с многомерным нормальным распределением мы познакомимся в курсе математической статистики. А смысл заклинаний «с вектором средних ~a и матрицей ковариаций Σ» выяснится уже скоро. В частном случае, когда матрица Σ диагональна с элементами σ21 , . . . , σ2n на главной диагонали, плотность совместного распределения превращается в произведение плотностей нормальных случайных величин: n o n 1 1X 1 2 (xi − ai ) = f (x1 , . . . , xn ) = √
n exp − 2 σ1 . . . σn = 1 √ σ1 2π 2π − e (x1 −a)2 2σ21 2 · ... · i=1 1 √ σn 2π σi − e (xn −a)2 2σ2n . (16) Скоро мы увидим, что это равенство означает независимость случайных величин ξ1 , . . . , ξn . § 4. Роль совместного распределения Если нам известно совместное распределение двух или нескольких случайных величин, становится возможным отыскать распределение суммы, разности, произведения, частного, иных функций от этих случайных величин. Следующие три простых примера показывают, что знания только частных распределений двух случайных величин недостаточно для отыскания, например, распределения их суммы. Для этого необходимо знать их совместное распределение. Распределение суммы (и любой иной функции) не определяется, вообще говоря, распределениями слагаемых: при одних и тех же распределениях слагаемых распределение суммы может быть разным в зависимости от совместного распределения слагаемых. П р и м е р 54. В примере 51 сумма ξ + η = ξ + ξ = 2ξ имеет равномерное распределение U0, 2 , а в примере 52 сумма ξ + η = ξ + 1 − ξ = 1 имеет вырожденное распределение I1 , хотя распределение ξ и η в этих примерах одно и то же — равномерное на отрезке [0, 1]. Но совместные распределения различаются, и распределение суммы это почувствовало. 80 ГЛАВА VI. МНОГОМЕРНЫЕ РАСПРЕДЕЛЕНИЯ П р и м е р 55. Пусть ξ имеет стандартное нормальное распределение. Возьмём η = −ξ. Тогда η тоже имеет стандартное нормальное распределение, а сумма ξ + η = 0 имеет вырожденное распределение. Возьмём теперь η = ξ. Тогда сумма ξ + η = 2ξ имеет уже не вырожденное, а нормальное распределение N0, 4 (проверить! ). П р и м е р 56. Рассмотрим две случайные величины ξ и η с одним и тем же распределением Бернулли с параметром p = 0,5 и следующей таблицей совместного распределения: для 0 6 r 6 0,5 положим η=0 ξ=0 ξ=1 P(η = bj ) η=1 r 0,5 − r 0,5 − r r 0,5 0,5 P(ξ = ai ) 0,5 0,5 Σ=1 Если взять r = 0, то P(ξ + η = 1) = P(ξ = 0, η = 1) + P(ξ = 1, η = 0) = 1, т. е. распределение ξ + η вырождено в точке 1. Если r = 0,5, то P(ξ + η = 0) = P(ξ + η = 2) = 0,5, т. е. ξ + η принимает значения 0 и 2 с равными вероятностями. Если r = 0,25, то P(ξ + η = 0) = 0,25 = P(ξ + η = 2), P(ξ + η = 1) = 0,5, т. е. ξ + η имеет биномиальное распределение с параметрами 2 и 0,5. Ещё раз отметим, что частные распределения ξ и η от r не зависят. Распределение суммы меняется вместе с совместным распределением ξ и η при неизменных частных распределениях величин ξ и η. Распределение функции от нескольких случайных величин определяется их частными распределениями, только если ими определяется совместное распределение. Для этого достаточно, например, потребовать независимости этих случайных величин — когда совместное распределение оказывается равным произведению распределений координат. § 5. Независимость случайных величин О п р е д е л е н и е 18. Случайные величины ξ1 , . . . , ξn называют независимыми, если для любых множеств B1 , . . . , Bn имеет место равенство: P(ξ1 ∈ B1 , . . . , ξn ∈ Bn ) = P(ξ1 ∈ B1 ) · . . . · P(ξn ∈ Bn ). Можно сформулировать более удобное равносильное определение. О п р е д е л е н и е 19. Случайные величины ξ1 , . . . , ξn независимы, если функция совместного распределения распадается в произведение частных функций распределения, т. е. для любых x1 , . . . , xn имеет место равенство: F (x1 , . . . , xn ) = Fξ1 (x1 ) · . . . · Fξn (xn ). § 6. Функции от двух случайных величин 81 Для случайных величин с дискретными или с абсолютно непрерывными распределениями эквивалентные определения независимости выглядят так. О п р е д е л е н и е 20. Случайные величины ξ1 , . . . , ξn с дискретным распределением независимы, если для любых чисел a1 , . . . , an имеет место равенство: P(ξ1 = a1 , . . . , ξn = an ) = P(ξ1 = a1 ) · . . . · P(ξn = an ). О п р е д е л е н и е 21. Случайные величины ξ1 , . . . , ξn с абсолютно непрерывным совместным распределением независимы, если плотность совместного распределения распадается в произведение плотностей, т.е. для любых x1 , . . . , xn имеет место равенство: f (x1 , . . . , xn ) = fξ1 (x1 ) · . . . · fξn (xn ). § 6. Функции от двух случайных величин Пусть ξ и η — случайные величины с плотностью совместного распределения f (x, y), и задана функция g(x, y) со значениями в R. Требуется найти функцию распределения (а если существует, то и плотность распределения) случайной величины ψ = g(ξ, η). Мы знаем, что вероятность случайному вектору попасть в некоторую область B на плоскости можно вычислить как объём под графиком плотности совместного распределения над этой областью. Т е о р е м а 24. Пусть t ∈ R , и область Bt состоит из точек (x, y) таких, что g(x, y) < t . Тогда случайная величина ψ = g(ξ, η) имеет функцию распределения ZZ

Fψ (t) = P g(ξ, η) < t = P (ξ, η) ∈ Bt = f (x, y) dx dy. Bt Далее в этой главе будем рассматривать только независимые случайные величины ξ и η, т. е. такие, что f (x, y) ≡ fξ (x) fη (y). В этом случае распределение величины g(ξ, η) полностью определяется распределениями ξ и η. С л е д с т в и е 6 (ф о р м у л а с в ё р т к и). Если случайные величины ξ и η независимы и имеют абсолютно непрерывные распределения с плотностями распределений fξ (x) и fη (y), то плотность распределения суммы ξ + η равна «свёртке» плотностей fξ и fη : ∞ ∞ Z Z fξ+ η (z) = fξ (x) fη (z − x) dx = fη (y) fξ (z − y) dy. (17) −∞ −∞ Д о к а з а т е л ь с т в о. Применим теорему 24 с функцией g(x, y) = x + y. Интегрирование по области Bt = {(x, y) | x + y < t} можно заменить последовательным вычислением двух интегралов: наружного — по переменной x, меняющейся в пределах от −∞ до +∞, и внутреннего — по переменной y , 82 ГЛАВА VI. МНОГОМЕРНЫЕ РАСПРЕДЕЛЕНИЯ которая при каждом x должна быть меньше, чем t − x. ZZ Fξ+η (t) = ∞ Z fξ (x) fη (y) dx dy = t−x Z fξ (x) dx −∞ Bt fη (y) dy. −∞ Сделаем в последнем интеграле замену переменной y на z так: z = y + x . При этом y ∈ (−∞, t − x) перейдёт в z ∈ (−∞, t) , dz = dy . В полученном интеграле меняем порядок интегрирования: ∞ Z Fξ+η (t) = Zt fξ (x) dx −∞ Zt fη (z − x) dz = −∞ ∞ Z dz −∞ fξ (x) fη (z − x) dx. −∞ Итак, мы представили функцию распределения Fξ+η (t) в виде интеграла от плотности, задаваемой формулой свёртки. § 7. Устойчивость распределений по суммированию П р и м е р 57. Пусть независимые случайные величины ξ и η имеют стандартное нормальное распределение. Докажем, что их сумма снова имеет нормальное распределение, но уже с параметрами a = 0 и σ2 = 2. Д о к а з а т е л ь с т в о. По формуле свёртки, плотность суммы равна ∞ Z fξ+η (z) = 1 −x2/2 −(z−x)2/2 e e dx = 2π −∞ −z 2/4 ∞ Z =e ∞ Z   z2 2 − x + 2 − zx 1 e 2π −∞ 2 1 1 −(x− z )2 2 e dx = √ e−z /4 2π 2 π ∞ Z dx = 2 1 −v 2 e−z /4 √ e dv = √ . π 2 π −∞ −∞ Последний интеграл равен единице, поскольку под интегралом стоит плот1 ность нормального распределения с параметрами a = 0 и σ2 = . 2 Итак, мы получили, что плотность суммы есть плотность нормального распределения с параметрами 0 и 2 . Верно и более общее утверждение (доказать! ). С в о й с т в о 8. Пусть случайные величины ξ ∼ Na1 , σ2 и η ∼ Na2 , σ2 1 2 независимы. Тогда ξ + η ∼ Na1 +a2 , σ2 +σ2 . 1 2 Если сумма двух независимых случайных величин из одного и того же распределения (возможно, с разными параметрами) имеет такое же распределение, говорят, что это распределение устойчиво относительно суммирования. 83 § 7. Устойчивость распределений по суммированию В утверждениях этого параграфа перечислены почти все устойчивые по суммированию распределения. Часть утверждений мы докажем. С в о й с т в о 9. Пусть случайные величины ξ ∼ Bn, p и η ∼ Bm, p независимы. Тогда ξ + η ∼ Bn+m, p . Это утверждение имеет простую интерпретацию: если сложить число успехов в первых n и в следующих m независимых испытаниях схемы Бернулли, получится число успехов в n + m испытаниях. Из свойства 9, в частности, следует, что сумма n независимых случайных величин с одним и тем же распределением Бернулли Bp = B1, p имеет биномиальное распределение Bn, p . Этим фактом мы скоро воспользуемся. С в о й с т в о 10. Пусть случайные величины ξ ∼ Πλ и η ∼ Πµ независимы. Тогда ξ + η ∼ Πλ+µ . Д о к а з а т е л ь с т в о. Найдём таблицу распределения суммы. Для любого целого k > 0 P(ξ + η = k) = P(ξ = 0, η = k) + P(ξ = 1, η = k − 1) + . . . + P(ξ = k, η = 0) = = k X P(ξ = i) · P(η = k − i) = i=0 = e−(λ+µ) k X λi i=0 1 k! k X i=0 i! e−λ · µk−i (k − i)! e−µ = k! (λ + µ)k λi µk−i = e−(λ+µ) . i! (k − i)! k! В последнем равенстве мы воспользовались биномом Ньютона. С в о й с т в о 11. Пусть случайные величины ξ ∼ Γα, λ1 и η ∼ Γα, λ2 независимы. Тогда ξ + η ∼ Γα, λ1 +λ2 . Д о к а з а т е л ь с т в о. Плотности распределений величин ξ и η равны соответственно     0, x 6 0, 0, y 6 0, λ λ fξ (x) = f (y) = 1 2 η  α y λ2 −1 e−αy , y > 0.  α xλ1 −1 e−αx , x > 0, Γ(λ1 ) Γ(λ2 ) Тогда по формуле свёртки плотность суммы равна ∞ Z λ α 1 fξ+η (z) = xλ1 −1 e−αx fη (z − x) dx. Γ(λ1 ) Но fη (z −x) = 0 при x > z. Поэтому при z > 0 плотность под интегралом отлична от нуля, только если переменная интегрирования изменяется в пределах 0 < x < z. При z 6 0 подынтегральная функция всегда равна нулю. 84 ГЛАВА VI. МНОГОМЕРНЫЕ РАСПРЕДЕЛЕНИЯ При z > 0 имеем: Zz fξ+η (z) = αλ1 Γ(λ1 ) xλ1 −1 e−αx αλ2 Γ(λ2 ) (z − x)λ2 −1 e−α(z−x) dx = = Zz αλ1 +λ2 e−αz xλ1 −1 (z − x)λ2 −1 dx. Γ(λ1 )Γ(λ2 ) Последний интеграл заменой x = tz сводится к бета-функции Z1 Γ(a)Γ(b) , Γ(a + b) B(a, b) = ta−1 (1 − t)b−1 dt = a > 0, b > 0. После замены получаем: fξ+η (z) = αλ1 +λ2 Γ(λ1 )Γ(λ2 ) e−αz z λ1 +λ2 −1 Z1 λ1 −1 t λ2 −1 (1−t) dt = αλ1 +λ2 Γ(λ1 + λ2 ) z λ1 +λ2 −1 e−αz . Поэтому ξ + η ∼ Γα, λ1 +λ2 , что и требовалось доказать. Показательное распределение не устойчиво по суммированию: сумма независимых и одинаково показательно распределённых величин имеет не показательное, но гамма-распределение. С в о й с т в о 12. Пусть независимые случайные величины ξ, . . . , ξn имеют показательное распределение Eα = Γα,1 . Тогда ξ + . . . + ξn ∼ Γα, n . П р и м е р 58. Равномерное распределение не является устойчивым относительно суммирования. Найдём функцию и плотность распределения суммы двух независимых случайных величин с одинаковым равномерным на отрезке [0, 1] распределением, но не по формуле свёртки, а используя геометрическую вероятность. Пусть ξ, η ∼ U0, 1 — независимые случайные величины. Пару (ξ, η) можно считать координатой точки, брошенной наудачу в единичный квадрат. y y t 1 1 t t 1 x Рис. 19. 1 t x § 8. Контрольные вопросы 85 Тогда Fξ+η (t) = P(ξ + η < t) равна площади области внутри квадрата под прямой y = t − x . Эта область — заштрихованный на рис. 19 треугольник при 0 < t 6 1 или пятиугольник при 1 < t 6 2 . Получим следующие функцию распределения и плотность распределения:    0, t 6 0,   t 6∈ (0, 2),    1 t2 ,  0, 0 < t 6 1, 2 Fξ+ η (t) = fξ+ η (t) = t, 0 < t 6 1, 1 2 , 1 < t 6 2,   (2 − t) 1 −    2 2 − t, 1 < t 6 2.   1, t > 2; Это плотность так называемого «треугольного» распределения Симпсона. Распределение суммы независимых случайных величин с равномерным распределением не является равномерным. § 8. Контрольные вопросы 1. Что такое функция распределения случайного вектора? 2. Как по функции распределения вектора находят функции распределения его координат? 3. Что такое таблица совместного распределения? 4. Как по таблице совместного распределения двух случайных величин находят их частные распределения? 5. Какими свойствами обладает плотность совместного распределения? 6. Как по плотности совместного распределения двух случайных величин находят их частные плотности? 7. Если плотность распределения случайного вектора, состоящего из n случайных величин, проинтегрировать по одной из переменных в границах от −∞ до +∞, что за плотность получится? Будет ли это плотность вектора из n − 1 случайной величины? 8. Можно ли найти совместное распределение по частным распределениям? 9. Привести пример того, что при одних и тех же частных распределениях возможны разные совместные. 10. Что такое многомерное равномерное распределение? 11. Что такое многомерное нормальное распределение? 12. Дать определение независимости двух случайных величин. 13. Пусть для каких-то двух множеств B1 и B2 оказалось верно равенство P(ξ ∈ B1 , η ∈ B2 ) = P(ξ ∈ B1 ) · P(η ∈ B2 ). Следует ли отсюда независимость величин ξ и η? 86 ГЛАВА VI. МНОГОМЕРНЫЕ РАСПРЕДЕЛЕНИЯ 14. Дать определение независимости двух случайных величин с дискретными распределениями. 15. Пусть для случайных величин ξ и η с дискретными распределениями оказалось, что P(ξ = 0, η = 0) = P(ξ = 0) · P(η = 0). Следует ли отсюда независимость величин ξ и η? 16. Дать определение зависимости двух случайных величин. 17. Как записать плотность совместного распределения двух независимых случайных величин, зная плотность распределения каждой? 18. Как вычислить плотность распределения суммы двух независимых случайных величин, зная плотность распределения каждой? 19. Что такое устойчивость распределения по суммированию? 20. Перечислить устойчивые по суммированию распределения. 21. Зачем в свойствах устойчивости требуется независимость слагаемых? 22. Имеет ли сумма независимых и равномерно распределённых слагаемых равномерное распределение? 23. Для случайной величины ξ ∼ Πλ сумма ξ + ξ = 2ξ принимает только чётные значения, и поэтому её распределение не является распределением Пуассона. Не противоречит ли это свойству 10? 24. Для случайных величин ξ ∼ N0, 1 и −ξ ∼ N0, 1 распределение случайной величины ξ + (−ξ) = 0 вырождено, и поэтому не является нормальным. Не противоречит ли это свойству 8? 25. Объясните, откуда следует факт: для любых независимых случайных величин ξ и η с нормальными распределениями любая линейная комбинация aξ + bη + c, где ab 6= 0, снова имеет нормальное распределение. Г Л А В А VII ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ РАСПРЕДЕЛЕНИЙ Знание закона распределения случайной величины даёт нам полную информацию о её вероятностном поведении. Существуют, однако, и более грубые числовые характеристики, позволяющие, даже не зная распределения, многое сказать о случайной величине. К таким характеристикам относятся центр тяжести распределения, или его математическое ожидание; момент инерции распределения, или его дисперсия; другие характеристики положения и рассеивания. § 1. Математическое ожидание случайной величины О п р е д е л е н и е 22. Математическим ожиданием (средним значением , первым моментом ) случайной величины ξ, имеющей дискретное распределение со значениями a1 , a2 , . . . , называется число X X Eξ = ai p i = ai P(ξ = ai ), i i P если данный ряд абсолютно сходится, т. е. если |ai |pi < ∞ . В противном случае говорят, что математическое ожидание не существует. О п р е д е л е н и е 23. Математическим ожиданием случайной величины ξ, имеющей абсолютно непрерывное распределение с плотностью распределения f (x), называется число ∞ Z Eξ = xf (x)dx, −∞ ∞ R если этот интеграл абсолютно сходится, т.е. если |x|f (x) dx < ∞. Иначе −∞ математическое ожидание не существует. Математическое ожидание имеет простой физический смысл: если на прямой, как на невесомом стержне, распределить единичную массу, поместив в точки ai массу pi или «размазав» её с плотностью f (x), то точка E ξ будет координатой «центра тяжести» прямой. Если математическое ожидание существует, то стержень, подвешенный в этой точке, будет находиться в состоянии равновесия. 88 ГЛАВА VII. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ РАСПРЕДЕЛЕНИЙ П р и м е р 59. Пусть случайная величина ξ равна числу очков, выпадающих при одном подбрасывании кубика. Тогда Eξ = 6 X k=1 k· 1 1 = (1 + 2 + 3 + 4 + 5 + 6) = 3,5. 6 6 В среднем при одном подбрасывании кубика выпадает 3,5 очка. Это несмотря на то, что ни при одном подбрасывании 3,5 очка выпасть не может. П р и м е р 60. Пусть случайная величина ξ — координата точки, брошенной наудачу на отрезок [a, b]. Тогда Zb Eξ = a b b 2 − a2 x2 a+b 1 = dx = = . x· b−a 2(b − a) a 2(b − a) 2 Центр тяжести равномерного распределения на отрезке — середина отрезка. В § 3 вычислены математические ожидания основных распределений. Там же можно увидеть примеры распределений, математические ожидания которых не существуют (примеры 73 и 74). Свойства математического ожидания. Во всех свойствах ниже предполагается, что рассматриваемые математические ожидания существуют. Часть свойств мы оставим без доказательства, а остальные докажем только для абсолютно непрерывных распределений. Первое свойство позволяет вычислять математические ожидания функций от случайных величин по исходному распределению этих величин. (E1) Для произвольной функции g(x) со значениями в R P    g(ak )P(ξ = ak ), если распределение ξ дискретно; k E g(ξ) = ∞ R   g(x)fξ (x) dx, если распределение ξ абсолютно непрерывно.  −∞ Такое же свойство верно и для числовых функций нескольких аргументов g(x1 , . . . , xn ), если ξ — вектор из n случайных величин, а в сумме и в интеграле участвует их совместное распределение. Например, для g(x, y) = x + y и для случайных величин ξ и η с плотностью совместного распределения f (x, y) верно: Z∞ Z∞ E (ξ + η) = (x + y)f (x, y) dx dy. (18) −∞ −∞ (E2) Математическое ожидание постоянной равно ей самой: E c = c. § 1. Математическое ожидание случайной величины 89 (E3) Постоянный множитель можно вынести за знак математического ожидания: E (c ξ) = c E ξ. Это свойство следует из свойства (E1) при g(x) = c x . (E4) Математическое ожидание суммы любых случайных величин равно сумме их математических ожиданий: E (ξ + η) = E ξ + E η. Д о к а з а т е л ь с т в о. Воспользуемся равенством (18) и теоремой 23: Z∞ Z∞ E (ξ + η) = (x + y)f (x, y) dx dy = −∞ −∞ Z∞ = Z∞ x dx −∞ Z∞ Z∞ f (x, y) dy + −∞ Z∞ −∞ y dy −∞ f (x, y) dx = −∞ y fη (y) dy = E ξ + E η. x fξ (x) dx + = Z∞ −∞ (E5) Если ξ > 0, то E ξ > 0. Д о к а з а т е л ь с т в о. Неотрицательность ξ означает, что ai > 0 при всех i в случае дискретного распределения, либо fξ (x) = 0 при x < 0 — для абсолютно непрерывного распределения. И в том, и в другом случае имеем: ∞ Z X Eξ = ai pi > 0 или E ξ = x f (x) dx > 0. Из свойства (E5) вытекает множество полезных утверждений, например: С л е д с т в и е 7. Если ξ 6 η, то E ξ 6 E η. С л е д с т в и е 8. Если a 6 ξ 6 b, то a 6 E ξ 6 b. Второе особенно очевидно: центр тяжести стержня не может находиться вне отрезка, если вся масса сосредоточена на этом отрезке. (E7) Математическое ожидание произведения независимых случайных величин равно произведению их математических ожиданий. Д о к а з а т е л ь с т в о. В равенстве (18) заменим сложение умножением и плотность совместного распределения произведением плотностей: Z∞ Z∞ E (ξη) = xy fξ (x) fη (y) dx dy = −∞ −∞ Z∞ = Z∞ x fξ (x) dx −∞ −∞ y fη (y) dy = E ξ E η. 90 ГЛАВА VII. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ РАСПРЕДЕЛЕНИЙ З а м е ч а н и е 1. Обратное утверждение к свойству (E7) неверно: из равенства E (ξη) = E ξ E η не следует независимость величин ξ и η. П р и м е р 61. Пусть ξ принимает значения 0 и ±1 с одинаковыми вероятностями, и η = ξ2 . Это зависимые случайные величины: P(ξ = 1, η = 0) = P(ξ = 1, ξ2 = 0) = 0 6= 1 1 · = P(ξ = 1) P(η = 0). 3 3 Однако E ξ = 0 и E (ξη) = E (ξ3 ) = 0, поэтому E (ξη) = E ξ E η. § 2. Дисперсия и моменты старших порядков О п р е д е л е н и е 24. Пусть E |ξ|k < ∞. Число E ξk называется моментом порядка k или k -м моментом случайной величины ξ, число E |ξ|k — абсолютным k -м моментом, число E (ξ − E ξ)k — центральным k -м моментом, и число E |ξ − E ξ|k — абсолютным центральным k -м моментом случайной величины ξ. Число D ξ = E (ξ − E ξ)2 (центральный момент второго порядка) называется дисперсией случайной величины ξ. П р и м е р 62. Пусть, скажем, случайная величина ξ принимает значение 0 с вероятностью 0,99999 , и значение 100 с вероятностью 0,00001 . Посмотрим, как моменты разных порядков реагируют на большие, но маловероятные значения случайной величины: E ξ = 0 · 0,99999 + 100 · 0,00001 = 0,001, E ξ2 = 02 · 0,99999 + 1002 · 0,00001 = 0,1, E ξ6 = 06 · 0,99999 + 1006 · 0,00001 = 10 000 000. П р и м е р 63. Дисперсия D ξ = E (ξ − E ξ)2 есть среднее значение квадрата отклонения случайной величины ξ от её среднего . Посмотрим, за что эта величина отвечает. Пусть случайная величина ξ принимает значения ±1 с равными вероятностями, а случайная величина η — значения ±10 с равными вероятностями. Тогда E ξ = E η = 0, поэтому D ξ = E ξ2 = 1, D η = E η2 = 100. Говорят, что дисперсия характеризует степень разброса значений случайной величины вокруг её математического ожидания. √ О п р е д е л е н и е 25. Число σ = D ξ называют среднеквадратическим отклонением случайной величины ξ . Сравнение моментов. Моменты меньших порядков существуют, если если существуют моменты более высокого порядка. Т е о р е м а 25. Если существует момент порядка t > 0 случайной величины ξ, то существует и её момент порядка s, где 0 < s < t. § 2. Дисперсия и моменты старших порядков 91 Д о к а з а т е л ь с т в о. Заметим, что |ξ|s 6 |ξ|t + 1. Но следствие 7 позволяет из неравенства для случайных величин получить такое же неравенство для их математических ожиданий: E |ξ|s 6 E |ξ|t + 1 < ∞. Сформулируем без доказательства очень полезное неравенство. Т е о р е м а 26 (неравенство Йенсена). Пусть функция g(x) на своей области определения выпукла, т. е. область над графиком этой функции есть выпуклое множество. Тогда для любой случайной величины ξ верно неравенство: E g(ξ) > g(E ξ). Для вогнутых функций знак неравенства меняется на противоположный. В частности, E eξ > eE ξ , E ln ξ 6 ln(E ξ), E ξ2 > (E ξ)2 , E1 > 1 , ξ Eξ E |ξ| > |E ξ|, p p E ξ 6 E ξ. Последние три неравенства верны для положительных ξ. Свойства дисперсии. Свойства дисперсии следуют из соответствующих свойств математического ожидания. Во всех свойствах предполагается существование вторых моментов случайных величин. Тогда матожидания существуют по теореме 25. (D1) Дисперсия может быть вычислена по формуле: D ξ = E ξ2 − (E ξ)2 . Д о к а з а т е л ь с т в о. Обозначим для удобства a = E ξ. Тогда D ξ = E (ξ − a)2 = E (ξ2 − 2aξ + a2 ) = E ξ2 − 2aE ξ + a2 = E ξ2 − a2 . (D2) При умножении случайной величины на постоянную c дисперсия увеличивается в c2 раз: D (cξ) = c2 D ξ (доказать! ). (D3) Дисперсия всегда неотрицательна: D ξ > 0. Д о к а з а т е л ь с т в о. Пусть a = E ξ. Дисперсия есть математическое ожидание неотрицательной случайной величины (ξ − a)2 , и неотрицательность дисперсии следует из свойства (E5). (D4) Дисперсия обращается в нуль лишь для вырожденного распределения: если D ξ = 0, то ξ = const, и наоборот. Д о к а з а т е л ь с т в о. Равенство D ξ = 0 означает, грубо говоря, что центр тяжести массы, распределённой справа от нуля, оказался равен нулю. Это возможно только если вся масса сосредоточена в нуле, т. е. (ξ − a)2 = 0, ξ = a = const. И наоборот: если ξ = c, то D ξ = E (c − E c)2 = E 0 = 0. (D5) Дисперсия не зависит от сдвига случайной величины на постоянную: D (ξ + c) = D ξ (доказать! ). (D6) Если ξ и η независимы, то D (ξ + η) = D ξ + D η. 92 ГЛАВА VII. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ РАСПРЕДЕЛЕНИЙ Д о к а з а т е л ь с т в о. Действительно, применяя свойство (E7), получим: D (ξ + η) = E (ξ + η)2 − (E (ξ + η))2 = = E ξ2 + E η2 + 2E (ξη) − (E ξ)2 − (E η)2 − 2E ξE η = D ξ + D η. З а м е ч а н и е 2. См. замечание 1. С л е д с т в и е 9. Если ξ и η независимы, то D (ξ − η) = D ξ + D η. Д о к а з а т е л ь с т в о. Из свойств (D6) и (D2) получим: D (ξ − η) = D (ξ + (−η)) = D ξ + D (−η) = D ξ + (−1)2 D η = D ξ + D η. С л е д с т в и е 10. Для произвольных случайных величин ξ и η имеет место равенство:
D (ξ ± η) = D ξ + D η ± 2 E (ξη) − E ξ E η . Это равенство мы получили в доказательстве свойства (D6). Разность E (ξη) − E ξ E η обращается в нуль для независимых ξ и η. Мы изучим подробно эту разность в следующей главе. § 3. Средние и дисперсии стандартных распределений П р и м е р 64 (вырожденное распределение Ic ). Математическое ожидание и дисперсию этого распределения мы знаем из свойств (E2) и (D3): E c = c, D c = 0. П р и м е р 65 (распределение Бернулли Bp ). Вычислим первый и второй моменты: E ξ = 1 · p + 0 · q = p ; E ξ2 = 12 · p + 02 · q = p. По ним найдём дисперсию: D ξ = E ξ2 − (E ξ)2 = p − p2 = pq. П р и м е р 66 (биномиальное распределение Bn, p ). Используем устойчивость биномиального распределения относительно суммирования — свойство 9 (стр. 83). Пусть ξ1 , . . . , ξn — независимые случайные величины с распределением Бернулли Bp = B1, p . Тогда их сумма Sn = ξ1 + . . . + ξn имеет распределение Bn, p , и по свойству (E4), E Sn = n X E ξ i = nE ξ1 = np. i=1 Поскольку ξi независимы, и дисперсия каждой равна pq, то n X D Sn = D ξi = nD ξ1 = npq. i=1 Итак, E ξ = np, D ξ = npq для ξ ∼ Bn, p . 93 § 3. Средние и дисперсии стандартных распределений П р и м е р 67 (геометрическое распределение Gp ). Вычислим E ξ : ∞ X Eξ = kpq k−1 ∞ X =p k=1 = p kq k−1 =p k=1 ∞ X d dq ! qk =p k=1 ∞ X dq k k=1 d dq  q 1−q  =p = dq 1 1 = . p (1 − q)2 Вычислим так называемый «второй факториальный момент» ξ : ∞ X E ξ(ξ − 1) = k(k − 1) p q k−1 = p q k=1 = pq ∞ X d2 q k k=0 d2  dq 2 1 1−q  = pq = pq dq 2 d2 dq 2 ∞ X ! qk = k=0 2q 2 = 2. 3 (1 − q) p Найдём дисперсию через второй факториальный момент: D ξ = E ξ(ξ − 1) + E ξ − (E ξ)2 = 2q 1 2q − 1 + p q 1 + − 2 = = 2. 2 2 p p p p p П р и м е р 68 (распределение Пуассона Πλ ). Вычислим E ξ : Eξ = ∞ X k k=0 = λe−λ λk k! −λ e =e ∞ X k k=1 ∞ X k=1 −λ λk−1 (k − 1)! = λe−λ λk k! −λ =e ∞ X k=1 ∞ X m=0 λm m! λk (k − 1)! = = λe−λ eλ = λ. Моменты более высоких порядков легко находятся через факториальные моменты E ξ[m] = E ξ(ξ − 1) . . . (ξ − m + 1) порядка m. Так, второй факториальный момент ξ равен E ξ(ξ − 1) = ∞ X k(k − 1) k=0 λk k! −λ e 2 −λ =λ e ∞ X k=2 λk−2 (k − 2)! = λ2 e−λ eλ = λ2 . Поэтому E ξ2 = E ξ(ξ − 1) + E ξ = λ2 + λ и D ξ = E ξ2 − (E ξ)2 = λ. П р и м е р 69 (равномерное распределение Ua, b ). Математическое ожидание E ξ = a+b мы вычислили в примере 60. Второй момент равен 2 ∞ Z E ξ2 = Zb x2 fξ (x) dx = x2 −∞ Дисперсия равна D ξ = 1 b 3 − a3 a2 + ab + b2 dx = = . b−a 3(b − a) 3 a E ξ2 − (E ξ)2 (b − a)2 = . 12 94 ГЛАВА VII. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ РАСПРЕДЕЛЕНИЙ П р и м е р 70 (стандартное нормальное распределение N0, 1 ). Математическое ожидание этого распределения существует, поскольку E |ξ| < ∞ : ∞ ∞ Z Z 2 2 2 2 2 −x /2 E |ξ| = √ xe dx = √ e−x /2 d(x2/2) = √ < ∞. 2π 2π 2π Математическое ожидание ξ равно ∞ Z 1 Eξ = xfξ (x) dx = √ ∞ Z 2 x e−x /2 dx = 0, 2π −∞ −∞ т. к. интеграл сходится, а подынтегральная функция нечётна. Далее, ∞ ∞ ∞ Z Z Z 2 2 2 1 2 2 E ξ2 = √ x2 e−x /2 dx = √ x2 e−x /2 dx = − √ x de−x /2 = 2π 2π −∞ ∞ 2 2x = − √ e−x /2 + 2 2π ∞ Z 2π 2 1 √ e−x /2 dx = 0 + 2π ∞ Z 2 1 √ e−x /2 dx = 1. 2π −∞ Поэтому D ξ = E ξ2 − (E ξ)2 = 1 − 0 = 1 . П р и м е р 71 (нормальное распределение Na, σ2 ). Мы знаем, что если ξ ∼ Na, σ2 , то η = ξ−a σ имеет стандартное нормальное распределение. Мы только что вычислили E η = 0, D η = 1. Тогда (над каждым равенством подписать, каким свойствам оно обязано! ) E ξ = E (ση + a) = σE η + a = a; D ξ = D (ση + a) = σ2 D η = σ2 . Итак, параметры a и σ2 нормального распределения суть его математическое ожидание и дисперсия. П р и м е р 72 (показательное распределение Eα ). Найдём для произвольного натурального числа k момент порядка k : ∞ ∞ ∞ Z Z Z 1 E ξk = xk fξ (x) dx = xk α e−αx dx = k (αx)k e−αx d(αx) = k!k . α −∞ α В последнем равенстве мы воспользовались гамма-функцией Эйлера: ∞ Z Γ(k + 1) = uk e−u du = k! Тогда E ξ = 1 , E ξ2 = 22 , D ξ = E ξ2 − (E ξ)2 = 12 . α α α § 4. Производящая функция моментов 95 П р и м е р 73 (стандартное распределение Коши C0, 1 ). Математическое ожидание распределения Коши не существует , т. к. расходится интеграл ∞ ∞ Z Z 1 1 1 2 E |ξ| = |x| ln(1 + x2 ) = +∞. dx = dx = lim 2 2 π(1 + x ) x→+∞ π π(1 + x ) −∞ Расходится он из-за того, что подынтегральная функция ведёт себя на бесконечности как 1/x . Поэтому не существуют ни дисперсия, ни моменты более высоких порядков этого распределения (так же как и распределения Ca, σ ). П р и м е р 74 (распределение Парето). У распределения Парето существуют только моменты порядка t < α, поскольку ∞ ∞ Z Z 1 1 E |ξ|t = xt α α+1 dx = α dx (α−t)+1 x x 1 1 сходится при α − t > 0 и расходится при α − t 6 0. У п р а ж н е н и е . Посчитать момент порядка t < α распределения Парето. При каких α у этого распределения существует дисперсия? А две тысячи триста семнадцатый момент? § 4. Производящая функция моментов Рассмотрим случайную величину ξ, у которой конечны моменты всех положительных порядков. Например, такова случайная величина с показательным распределением. Составим при некотором t ∈ R ряд 2 3 1 + tE ξ + t E ξ2 + t E ξ3 + . . . 2! 3! (19) и предположим, что этот ряд сходится, и что его сумма равна   t2 ξ2 t3 ξ3 E 1 + tξ + + + . . . = E e tξ . 2! 3! О п р е д е л е н и е 26. Производящей функцией моментов называется функция Mξ (t) действительного аргумента t, равная Mξ (t) = E e t ξ . Эта функция определена, если указанное математическое ожидание существует для всех t из некоторого отрезка, включающего t = 0. Вычислять производящую функцию моментов удобно по свойству (E1) математического ожидания. Смысл введения этой дополнительной функции кроется в её великолепных свойствах, главное из которых: разным распределениям отвечают разные производящие функции моментов. Название 96 ГЛАВА VII. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ РАСПРЕДЕЛЕНИЙ производящей функции моментов указывает ещё на одно полезное свойство: разлагая её в ряд Тейлора по степеням t, получаем коэффициенты разложения, равные моментам случайной величины. Соответственно, k -я производная этой функции в нуле равна моменту k -го порядка: E ξ = Mξ0 (0), (k) E ξ2 = Mξ00 (0), E ξk = Mξ (0). Полезное свойство производящей функции моментов — производящая функция моментов суммы независимых случайных величин равна произведению их производящих функций: Mξ+η (t) = Mξ (t) · Mη (t). П р и м е р 75. Пусть ξ ∼ Eα . Вычислим E ξ3 по производящей функции моментов. При t < α Mξ (t) = E e tξ ∞ Z tx −αx e αe = ∞ Z dx = α При t α e x(t−α) dx = α α−t  = 1−  t −1 α .  < 1 функцию Mξ (t) = 1 −  t −1 α можно разложить в ряд: 3 3 2 2 Mξ (t) = 1 + t + t 2 + t 3 + . . . = 1 + t · 1 + t · 2!2 + t · 3!3 + . . . α α α α 2! α 3! α Сравнивая этот ряд с разложением (19), находим E ξ3 = 3!3 . α П р и м е р 76. Пусть ξ ∼ N0, 1 . Вычислим E ξ4 по производящей функции моментов: ∞ ∞ Z Z 2 2 2 2 1 tξ tx 1 −x /2 t /2 √ e−(x−t) /2 dx = e t /2 . Mξ (t) = E e = e √ e dx = e 2π 2π −∞ −∞ Последний интеграл равен единице, покольку это интеграл по всей прямой от плотности нормального распределения с параметрами t и 1. При любом t функцию Mξ (t) = e t 2 Mξ (t) = 1 + t + 2 2/2 можно разложить в ряд: t4 t6 t2 t4 t6 + + . . . = 1 + + · 3 + · 3 · 5 + ... 2! 4! 6! 22 · 2! 23 · 3! Сравнивая этот ряд с разложением (19), находим E ξ4 = 3. Видно, что все моменты нечётных порядков стандартного нормального распределения равны нулю, а моменты чётного порядка 2k равны произведению всех нечётных чисел от 1 до 2k − 1 включительно: E ξ2k = 1 · 3 · 5 · . . . · (2k − 1). 97 § 5. Другие числовые характеристики распределений § 5. Другие числовые характеристики распределений Распределения можно характеризовать и многими другими показателями, большинство из которых находит основное применение в статистике. Здесь мы только кратко познакомим читателя с их определениями. Медианой распределения случайной величины ξ называется любое из чисел µ таких, что 1 1 P(ξ 6 µ) > , P(ξ > µ) > . 2 2 Медиана распределения всегда существует, но может быть не единственна. Например, у биномиального распределения с параметрами 3 и 1 медианой 2 будет любое число из отрезка [1, 2]. Действительно, ξ принимает значения 0, 1, 2 и 3 с вероятностями соответственно 1 , 3 , 3 и 1 . Поэтому 8 P(ξ 6 1) = 1 , 2 8 8 8 P(ξ > 2) = 1 . 2 Часто в таких случаях в качестве медианы берут середину «отрезка медиан». Для распределений с непрерывной и строго монотонной функцией распределения F медиана является единственным решением уравнения F (µ) = 1 . 2 Это точка, левее и правее которой на числовой прямой сосредоточено ровно по половине всей вероятностной «массы». Если распределение имеет плотность f, то площади каждой из областей под графиком плотности слева и справа от точки µ равны друг другу и равны 1 . 2 Медиана является одной из квантилей распределения. Пусть, для простоты, функция распределения F непрерывна и строго монотонна. Тогда квантилью уровня δ, где δ ∈ (0, 1), называется решение xδ уравнения F (xδ ) = δ. Квантиль уровня δ отрезает от области под графиком плотности область с площадью δ слева от себя. Справа от xδ площадь области под графиком плотности равна 1 − δ. Медиана является квантилью уровня 1 . 2 F (x) f (x) 1 0,8 1 2 1 2 δ 0,1 x0,1 µ x0,8 x xδ µ x Рис. 20. Медиана и квантили на графике функции распределения и плотности Квантили уровней, кратных 0,01, называют процентилями, квантили уровней, кратных 0,1, — децилями, уровней, кратных 0,25, — квартилями. 98 ГЛАВА VII. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ РАСПРЕДЕЛЕНИЙ Для нормального распределения Na, σ2 и медиана, и математическое ожидание равны a. Для несимметричных распределений медиана и математическое ожидание обычно не совпадают. П р и м е р 77. Найдём по таблице значений функции Φ(x) (стр. 121) значения некоторых часто употребляющихся квантилей стандартного нормального распределения: x0,005 = −x0,995 = −2,576, x0,05 = −x0,95 = −1,645, x0,025 = −x0,975 = −1,96, x0,1 = −x0,9 = −1,282, x0,5 = 0. Модой абсолютно непрерывного распределения называют любую точку локального максимума плотности распределения. Для дискретных распределений модой считают любое значение ai , вероятность которого pi больше, чем вероятности соседних значений. Распределение, обладающее единственной модой, называют унимодальным. Идеальным примером унимодального распределения является стандартное нормальное распределение. Плотность произвольного унимодального распределения может быть как более плоской, так и более «островершинной» по сравнению с кривой Гаусса, симметричной либо наклонённой в одну сторону. Для описания таких свойств плотности используют коэффициент эксцесса и коэффициент асимметрии распределения. Коэффициентом асимметрии распределения с конечным третьим моментом называется число   β1 = E ξ−a 3 , σ p где a = E ξ, σ = D ξ. Для симметричных распределений коэффициент асимметрии равен нулю. При β1 > 0 график плотности распределения более крутой слева и более пологий справа, при β1 < 0 — наоборот. Коэффициентом эксцесса распределения с конечным четвёртым моментом называется число   ξ−a 4 β2 = E − 3. σ Для всех нормальных распределений коэффициент эксцесса равен нулю. ξ−a Действительно, для ξ ∼ Na, σ2 величина η = имеет стандартное норσ мальное распределение по свойству 3 (стр. 63). Четвёртый момент E η4 = 3 этого распределения мы вычислили в примере 76. Поэтому β2 = 0. При β2 > 0 плотность распределения имеет более острую вершину, чем кривая Гаусса, при β2 < 0 — наоборот, более плоскую. § 6. Числовые характеристики зависимости случайных величин 99 § 6. Числовые характеристики зависимости случайных величин Зависимость двух случайных величин можно полностью описать их совместным распределением. Однако нахождение совместного распределения часто невозможно либо из-за его сложности, либо по причине отсутствия полной информации. Хотелось бы иметь более простые характеристики, позволяющие судить о наличии и силе зависимости случайных величин без вычисления их совместного распределения. Ковариация двух случайных величин. Мы знаем, что для независимых случайных величин с конечными вторыми моментами дисперсия их суммы равна сумме их дисперсий. В общем случае дисперсия суммы равна
D (ξ + η) = D ξ + D η + 2 E (ξη) − E ξ E η . (20) По свойству (E7) математического ожидания, величина E (ξη) − E ξ E η равна нулю, если случайные величины ξ и η независимы, но из равенства её нулю независимость отнюдь не следует: величины могут быть даже функционально зависимы, но иметь нулевую ковариацию, как в примере 61 на стр. 90. Тем не менее эту величину часто используют как некоторый «индикатор наличия зависимости» между двумя случайными величинами. О п р е д е л е н и е 27. Ковариацией cov(ξ, η)
случайных величин ξ и η называется число cov(ξ, η) = E (ξ − E ξ)(η − E η) = E (ξη) − E ξ E η. С в о й с т в о 13. Ковариация обладает следующими свойствами: cov(ξ, ξ) = D ξ, cov(ξ, η) = cov(η, ξ), cov(c ξ, η) = c cov(ξ, η). У п р а ж н е н и е . Доказать свойство 13. С в о й с т в о 14. Дисперсия суммы нескольких случайных величин вычисляется по любой из следующих формул: n n X X X X D (ξ1 + . . . + ξn ) = D ξi + cov(ξi , ξj ) = D ξi + 2 cov(ξi , ξj ). i=1 i=1 i6=j i 0 . Следовательно, ξ и ξ + η зависимы. Но величина cov(ξ, η) не отражает силу зависимости: скажем, при увеличении ξ и η в десять раз ковариация увеличится в сто раз, но величины не станут «более зависимыми». Нужно как-то нормировать ковариацию, получив из неё «безразмерную» величину, абсолютное значение которой: а) не менялось бы при умножении случайных величин на число; б) свидетельствовало бы о «силе зависимости» случайных величин. Следующая величина есть всего лишь нормированная ковариация. Коэффициент корреляции и его свойства. Дадим определение. О п р е д е л е н и е 28. Коэффициентом корреляции ρ(ξ, η) случайных величин ξ и η , дисперсии которых существуют и отличны от нуля, называется число cov(ξ, η) ρ(ξ, η) = p p . Dξ Dη П р и м е р 80. Рассмотрим продолжение примера 79, но пусть ξ и η не только независимы, но и имеют одинаковую дисперсию, не равную нулю. § 6. Числовые характеристики зависимости случайных величин 101 Найдём коэффициент корреляции величин ξ и ξ + η : cov(ξ, ξ + η) Dξ Dξ ρ(ξ, ξ + η) = √ √ = p p = p p = √1 . 2 D ξ D (ξ + η) Dξ Dξ + Dη D ξ 2D ξ Коэффициент корреляции оказался равен косинусу угла в 45◦ , образованного «векторами» ξ и ξ + η , когда ξ и η «ортогональны» (независимы) и их «длина» (дисперсия) одинакова. Т е о р е м а 27. Коэффициент корреляции обладает свойствами: (R1) если ξ и η независимы, то ρ(ξ, η) = 0; (R2) |ρ(ξ, η)| 6 1; (R3) |ρ(ξ, η)| = 1 тогда и только тогда, когда ξ и η линейно связаны. Д о к а з а т е л ь с т в о. Свойство (R1) мы уже много раз (сколько? ) упоминали и один раз доказали, и даже привели пример того, что свойство (R1) в обратную сторону неверно (пример 61 на стр. 90). ξ − Eξ Докажем (R2). Рассмотрим преобразование bξ = √ случайной велиDξ чины, называемое стандартизацией. Случайная величина bξ имеет нулевое математическое ожидание и единичную дисперсию: ξ − Eξ E bξ = E √ Dξ = Eξ − Eξ √ = 0; Dξ ξ − Eξ D (ξ − E ξ) = 1. E bξ 2 = D bξ = D √ = Dξ Dξ
Коэффициент корреляции теперь запишется проще: ρ(ξ, η) = E bξ · b η . Далее, неравенство (x ± y)2 > 0 равносильно неравенству 1 2 − (x2 + y 2 ) 6 xy 6 1 2 (x + y 2 ). 2 Подставив в него bξ вместо x, b η вместо y и взяв математические ожидания всех частей неравенства, получим свойство (R2):


1 1 − 1 = − E bξ 2 + b η 2 6 ρ(ξ, η) = E b ξ·b η 6 E bξ 2 + b η 2 = 1. (21) 2 2 Докажем свойство (R3). В одну сторону утверждение проверяется непосредственно: если η = aξ + b, то ( 1, a > 0; aD ξ E (ξ(aξ + b)) − E ξ · E (aξ + b) √ √ ρ(ξ, aξ + b) = = √ √ 2 = Dξ a Dξ D ξ D (aξ + b) −1, a < 0. Докажем вторую часть свойства (R3): если |ρ(ξ, η)| = 1 , то существуют числа a 6= 0 и b такие, что P(η = aξ + b) = 1 .
Рассмотрим сначала случай ρ(ξ, η) = ρ bξ, b η = 1 . Это возможно только когда второе неравенство в формуле (21) превращается в равенство:


2 1 E bξ · b η = E b ξ2 + b η 2 , т. е. E b ξ−b η = 0. 2 102 ГЛАВА VII. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ РАСПРЕДЕЛЕНИЙ
2 Математическое ожидание положительной
случайной величины bξ − b η мо2 жет быть равно нулю, если только bξ − b η = 0, т. е. если η − Eη p Dη ξ − Eξ = √ Dξ p η= √ , Dη Dξ p ξ + Eη − √ Dη Dξ E ξ = aξ + b. В случае ρ(ξ, η) = −1 нужно рассмотреть первое неравенство в формуле (21) и повторить рассуждения. Тем самым теорема 27 доказана. Полезно знать следующие часто употребляемые термины. Говорят, что ξ и η отрицательно коррелированы, если ρ(ξ, η) < 0; положительно коррелированы, если ρ(ξ, η) > 0; некоррелированы, если ρ(ξ, η) = 0. Смысл знака ρ(ξ, η) хорошо виден в случае ρ(ξ, η) = ±1. Тогда знак ρ равен знаку a в равенстве η = aξ + b. Так, ρ(ξ, η) = 1 означает, что чем больше ξ, тем больше η. Напротив, ρ(ξ, η) = −1 означает, что чем больше ξ, тем меньше η. Знак коэффициента корреляции в случае, когда |ρ(ξ, η)| < 1, можно трактовать как тенденцию «в среднем»: чем больше ξ, тем в среднем больше (меньше) η. В этом случае зависимость между ξ и η уже не линейная и, возможно, даже не функциональная. Следующее свойство показывает, что модуль коэффициента корреляции не меняется при линейных преобразованиях случайных величин (а вот знак изменится на противоположный, если a < 0). С в о й с т в о 15. При любых постоянных a 6= 0 и b имеет место равенство: |ρ(aξ + b, η)| = |ρ(ξ, η)|. У п р а ж н е н и е . Доказать свойство 15. П р и м е р 81. Найдём коэффициент корреляции случайных величин из примера 50 на стр. 74. По таблице совместного распределения вычислим E (ξη) : X E (ξη) = a i bj p i, j = 1 · 1 · 1 + 1 · 2 · 1 + 2 · 2 · 1 + 2 · 3 · 1 = 2, 4 4 8 8 i, j Зная распределения ξ и η, найдём их среднее и дисперсию: E ξ = 2 · 1 = 1, D ξ = 2 · 1 · 1 = 1 , E η = 3 · 1 = 3 , D η = 3 · 1 · 1 = 3 . 2 2 2 2 Вычислим коэффициент корреляции: cov(ξ, η) = 2 − 1 · 3 = 1 , 2 2 2 2 2 √ 1/2 2 p ρ(ξ, η) = p = √ . 3 1/2 · 3/4 2 4 § 7. Контрольные вопросы 103 § 7. Контрольные вопросы 1. Дать определение математического ожидания случайной величины с дискретным распределением. 2. Дать определение математического ожидания случайной величины с абсолютно непрерывным распределением. 3. Математическое ожидание случайной величины — число или функция? 4. Одинаковы ли математические ожидания у двух разных случайных величин с одним и тем же распределением? 5. Какой физический смысл имеет математическое ожидание? 6. Всегда ли математическое ожидание существует? 7. Привести пример распределения, математическое ожидание которого не существует. 8. Сколько в среднем очков выпадает при бросании игральной кости? 9. Как вычислять математическое ожидание функции от случайной величины с дискретным распределением? С абсолютно непрерывным распределением? 10. Пользуясь свойствами математического ожидания, вычислить E 1, E 3ξ и E ξ + 1 для ξ ∼ Na, σ2 . 11. Всегда ли математическое ожидание суммы равно сумме математических ожиданий? 12. Всегда ли математическое ожидание произведения равно произведению математических ожиданий? 13. Какой физический смысл имеет дисперсия? 14. Что такое среднеквадратическое отклонение? 15. Что позволяет сравнивать неравенство Йенсена? 16. Как меняется дисперсия при изменении случайной величины вдвое? 17. Можно ли привести пример распределения с дисперсией −1? 18. Что можно сказать про случайную величину, дисперсия которой нулевая? 19. Всегда ли дисперсия суммы равна сумме дисперсий? 20. Перечислить математические ожидания и дисперсии всех основных распределений. 21. Чему равен шестой момент стандартного нормального распределения? 22. Что такое производящая функция моментов и как она «производит» моменты? 23. Чем медиана отличается от моды? 104 ГЛАВА VII. ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ РАСПРЕДЕЛЕНИЙ 24. Какую площадь под графиком плотности отрезает медиана слева? Справа? 25. Что такое квантиль? Какую площадь под графиком плотности отрезает квантиль уровня 0,05 слева? Справа? 26. Найти все децили нормального стандартного распределения и построить по ним график функции Φ(x). 27. Для чего служат коэффициенты эксцесса и асимметрии? 28. Чему равны коэффициенты эксцесса и асимметрии стандартного нормального распределения? Любого нормального распределения? 29. Что показывает коэффициент корреляции? 30. Если ξ = 2η, чему равен их коэффициент корреляции? 31. Что можно сказать про случайные величины, если их коэффициент корреляции равен −1? 32. Чему равен коэффициент корреляции числа гербов и числа решек при ста бросках монеты? 33. Если каждую из двух случайных величин увеличить вдвое, как изменится их коэффициент корреляции? 34. Если каждую из двух случайных величин увеличить на два, как изменится их коэффициент корреляции? 35. Чему равен коэффициент корреляции независимых случайных величин? 36. Чему равен коэффициент корреляции ξ и ξ2 , где ξ ∼ N0, 1 ? Можно ли отсюда сделать вывод, что эти величины независимы? Г Л А В А VIII ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ Мы уже знакомы с некоторыми предельными теоремами теории вероятностей и знаем, что они служат для приближённого вычисления вероятностей событий, связанных с очень длинными сериями независимых испытаний. Все предельные теоремы, которые мы рассмотрим в настоящей главе, касаются поведения последовательности сумм (или средних арифметических) большого числа независимых случайных величин. Эти теоремы можно разбить на две категории: грубые свойства, называемые законами больших чисел, утверждают, что средние арифметические большого числа слагаемых приближаются в некотором смысле к постоянной, неслучайной величине (стабилизируются). Так, доля успехов в схеме Бернулли приближается к вероятности успеха в одном испытании. Более тонкие свойства, называемые собственно предельными теоремами, касаются скорости сближения среднего арифметического с постоянной и позволяют заменять распределение суммы подходящим нормальным распределением. § 1. Сходимость по вероятности Пусть ξ1 , ξ2 , . . . — бесконечная последовательность случайных величин, заданных на одном и том же вероятностном пространстве. Можно ли говорить о сходимости этой последовательности в том же смысле, в каком сходятся числовые последовательности? Напомним определение: числовая последовательность {bn } сходится к числу b при n → ∞, если для любого ε > 0 найдётся число N = N (ε) такое, что для любого n > N выполнено неравенство |bn − b| < ε. Для случайных величин такое определение сходимости ξn к числу b было бы слишком жёстким: оно требует, чтобы для n, начиная с некоторого, все значения случайных величин ξn попадали в интервал (b − ε, b + ε). Например, бросая n раз правильную монету, мы с положительной (но маленькой) вероятностью можем получить n гербов. В этом случае доля гербов среди всех испытаний равна единице и от ожидаемой в пределе 1 отличается суще2 ственно. Но вероятность столь неприятного события — получить одни лишь гербы — уменьшается с ростом числа испытаний. 106 ГЛАВА VIII. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ Итак, потребуем, чтобы вероятность события {|ξn − b| > ε}, состоящего из тех элементарных исходов ω, для которых ξn (ω) не попадает в « ε -окрестность» числа b, уменьшалась до нуля с ростом n . Такая сходимость называется сходимостью «по вероятности». О п р е д е л е н и е 29. Говорят, что последовательность случайных велиp чин {ξn } сходится по вероятности к числу b при n → ∞, и пишут: ξn −→ b, если для любого ε > 0 lim P (|ξn − b| > ε) = 0 n→∞ (или, равносильно, lim P (|ξn − b| < ε) = 1). n→∞ Сходимость по вероятности обладает обычными свойствами пределов числовых последовательностей: предел суммы (произведения, частного) сходящихся по вероятности последовательностей равен сумме (произведению, частному) пределов. Сходимость по вероятности не портится под действием непрерывной функp p ции: если ξn −→ b и g(x) непрерывна в точке b, то g(ξn ) −→ g(b) . Чтобы устанавливать сходимость по вероятности, нужно уметь доказывать сходимость вероятностей P (|ξn − b| > ε) к нулю. Прямое вычисление этих вероятностей не всегда возможно, особенно если ξn — сумма большого числа случайных величин. Получим оценки сверху для таких вероятностей. § 2. Вероятностные неравенства Т е о р е м а 28 (неравенство Маркова). Для любого x > 0
E |ξ| . P |ξ| > x 6 x Д о к а з а т е л ь с т в о. Если E |ξ| = ∞, неравенство становится тривиальным. Поэтому будем считать, что E ξ существует. Нам потребуется следующее понятие. Назовём индикатором события A случайную величину I(A), равную единице, если событие A произошло, и нулю, если A не произошло. По определению, величина I(A) имеет распределение Бернулли с параметром p = P(A) , и её математическое ожидание равно вероятности успеха p = P(A) . Индикаторы прямого и противоположного событий связаны равенством I(A) + I(A) = 1 . Поэтому для A = {|ξ| > x} имеем:
|ξ| = |ξ| · I(A) + I(A) > |ξ| · I(A) > x · I(A). Тогда

E |ξ| > E x · I(A) = x · P A) = x · P |ξ| > x . Осталось разделить обе части неравенства (22) на положительное x . (22) 107 § 3. Законы больших чисел С л е д с т в и е 11 (неравенство Чебышёва). Пусть D ξ существует. Тогда для любого x > 0
Dξ P |ξ − E ξ| > x 6 2 . x Д о к а з а т е л ь с т в о. Для x > 0 неравенство |ξ − E ξ| > x равносильно неравенству (ξ − E ξ)2 > x2 , поэтому 2 P |ξ − E ξ| > x = P (ξ − E ξ) > x
2

2 E ξ − Eξ Dξ 6 = 2 . 2 x x В качестве примера использования неравенства Чебышёва оценим вероятность случайной величине отличаться от своего математического ожидания более чем на три корня из дисперсии. Разумеется, для каждого распределения величина этой вероятности своя: для нормального распределения, например, 0,0027 — см. свойство 7. Мы получим верную для всех распределений с конечной дисперсией оценку сверху для вероятности случайной величине отличаться от своего математического ожидания более чем на три корня из дисперсии. √
1 С л е д с т в и е 12. Если D ξ < ∞ , то P |ξ − E ξ| > 3 D ξ 6 . 9 Д о к а з а т е л ь с т в о. Согласно следствию 11, p
Dξ 1 P |ξ − E ξ| > 3 D ξ 6  √ 2 = . 3 Dξ 9 § 3. Законы больших чисел Законами больших чисел (ЗБЧ) принято называть утверждения о том, при каких условиях среднее арифметическое случайных величин «стабилизируется» с ростом числа слагаемых. Всюду, где будут встречаться одинаково распределённые случайные величины ξi , число a = E ξ1 будет обозначать их (у всех одинаковое) математическое ожидание, σ2 — их дисперсию. Т е о р е м а 29 (ЗБЧ Чебышёва). Для любой последовательности ξ1 , ξ2 , . . . независимых и одинаково распределённых случайных величин с конечной дисперсией имеет место сходимость: ξ1 + . . . + ξn p −→ a. (23) n ЗБЧ утверждает, что среднее арифметическое большого числа одинаково устроенных случайных слагаемых сближается со средним значением одного слагаемого. Как бы сильно каждая случайная величина не отклонялась от своего математического ожидания, при суммировании эти отклонения «взаимно гасятся», так что среднее арифметическое приближается к постоянной величине. 108 ГЛАВА VIII. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ Требование конечности дисперсии связано исключительно со способом доказательства: утверждение останется верным, если требовать существования только первого момента. Д о к а з а т е л ь с т в о. Обозначим через Sn = ξ1 + . . . + ξn сумму первых n случайных величин. Из линейности математического ожидания получим:   E ξ1 + . . . + E ξn Sn E = = na = a. n n n Пусть ε > 0 . Воспользуемся неравенством Чебышёва (следствие 11) и тем, что дисперсия суммы независимых слагаемых равна сумме их дисперсий:   D ξ + . . . + D ξn D (Sn /n) Sn DS P −a >ε 6 = 2 n2 = 1 2 2 = 2 n n ε ε 2 = n2σ 2 = n ε σ2 nε2 n ε → 0 при n → ∞. З а м е ч а н и е 3. Мы не только доказали сходимость, но и получили оценку для вероятности среднему арифметическому любого числа независимых и одинаково распределённых величин отличаться от a = E ξ1 более чем на заданное ε :   2 ξ1 + . . . + ξn P −a > ε 6 σ2. (24) n nε Получим в качестве следствия из ЗБЧ Чебышёва закон больших чисел Бернулли. В отличие от ЗБЧ Чебышёва, описывающего предельное поведение среднего арифметического случайных величин с произвольными распределениями, ЗБЧ Бернулли — утверждение только для схемы Бернулли. Т е о р е м а 30 (ЗБЧ Бернулли). Пусть νn — число успехов в n испытаν p ниях схемы Бернулли с вероятностью успеха p . Тогда n −→ p . При этом n для любого ε > 0   νn pq P −p >ε 6 2. n nε Д о к а з а т е л ь с т в о. Величина νn — сумма независимых, одинаково распределённых случайных величин, имеющих распределение Бернулли с параметром p (индикаторов того, что в соответствующем испытании случился успех): νn = ξ1 + . . . + ξn , где ( 1, если в i-м испытании успех; ξi = 0, если в i-м испытании неудача; a = E ξ1 = p, σ2 = D ξ1 = pq. Осталось воспользоваться ЗБЧ в форме Чебышёва и неравенством (24). 109 § 4. Центральная предельная теорема П р и м е р 82. Правильная монета подбрасывается 10 000 раз. Оценим вероятность того, что число гербов отличается от 5 000 менее, чем на 100. Пусть νn — число гербов, выпавших в n = 10 000 испытаниях. Нужно оценить вероятность события n o n o νn νn 1 {4 900 < νn < 5 100} = 0,49 < < 0,51 = − < 0,01 . n n Поскольку p = q = 1 , искомая оценка выглядит так: 2   νn 1 P(4 900 < νn < 5 100) = 1 − P − > 0,01 > 1 − n 2 2 pq = 3. 2 4 n · 0,01 Итак, ЗБЧ Бернулли (а на самом деле, неравенство Чебышёва) позволяет заключить, что в среднем не более чем в четверти случаев при 10 000 1 на подбрасываниях монеты частота выпадения герба будет отличаться от 2 одну сотую или больше. На самом деле искомую вероятность мы вычислили в примере 37 на стр. 47. Она равна примерно 0,9545. Разница этого ответа 3 с оценкой из неравенства Чебышёва показывает, насколько это неравен4 ство является грубым. Для вычисления вероятностей следует пользоваться более тонкими предельными теоремами. § 4. Центральная предельная теорема Одинаково распределённые слагаемые. Если в условиях ЗБЧ среднее ξ + . . . + ξn S арифметическое n = 1 сходится по вероятности к a, то разn n Sn ность − a сходится к нулю. Оказывается, что эта разность ведёт себя n подобно величине √σ η, где η — случайная величина со стандартным норn мальным распределением. Иначе говоря, с ростом n распределение величины √   S − na n Sn − a = n√ σ n σ n становится всё более похожим на стандартное нормальное распределение. Это утверждение и называется «центральной предельной теоремой». Т е о р е м а 31 (центральная предельная теорема). Пусть ξ1 , ξ2 , . . . — независимые и одинаково распределённые случайные величины с конечной и ненулевой дисперсией σ2 и математическим ожиданием a. Тогда для любых x < y имеет место сходимость при n → ∞ Zy   2 Sn − na √ P x< < y → Φ(y) − Φ(x) = √1 e−t /2 dt. σ n 2π x 110 ГЛАВА VIII. ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ Заметим, что дробь Sn − na √ получилась стандртизацией величины Sn : σ n мы просто вычли из Sn её математическое ожидание E Sp n = na и поделили p p 2 эту разность на корень из дисперсии D Sn = nσ = σ n. Можно записать следующие приближённые равенства:       x − na Sn − na y − na y − na x − na P(x < Sn < y) = P √ < √ < √ ≈Φ √ − Φ √ ; (25) σ n σ n σ n σ n σ n   √  √  Sn y−a x−a P x< < y = P(nx < Sn < ny) ≈ Φ n −Φ n ; (26) σ n σ З а м е ч а н и е 4. Ещё раз напомним, что функция распределения стандартного нормального закона ищется либо по таблице (стр. 121), либо с помощью какого-либо программного обеспечения, но никак не путем нахождения первообразной от плотности нормального стандартного распределения. П р и м е р 83. При составлении отчёта требуется сложить 10 000 чисел, каждое из которых округлено с точностью до 10−5 . Предположим, что ошибки, возникающие при округлении чисел, независимы и равномерно распределены в интервале (−0,5 · 10−5 , 0,5 · 10−5 ). Найти границы, в которых с вероятностью 0,99 будет лежать суммарная ошибка. Р е ш е н и е. Заметим, что ошибки округления симметричны относительно нуля, и суммарная ошибка должна лежать в симметричных относительно нуля границах. Требуется найти такое x > 0, что P(−x < Sn < x) ≈ 0,99, где n = 10 000 , Sn = ξ1 +. . .+ξn , а слагаемые ξi суть независимые случайные величины с равномерным распределением в интервале (−0,5·10−5 , 0,5·10−5 ). Вычислим математическое ожидание и дисперсию слагаемых. Помним, что для равномерного распределения математическое ожидание равно середине отрезка, дисперсия равна одной двенадцатой квадрата длины отрезка: σ2 = D ξ1 = a = E ξ1 = 0, 10−10 , 12 σ= 1 √ . 2 3 · 105 По формуле (25), P(−x < Sn < x) ≈ Φ  x √ σ n   x −Φ − √ σ n   √  √  3 3 = Φ 2 3 · 10 x) − Φ −2 3 · 10 x . Чтобы найти x, найдём по таблице функции Φ(x) или возьмём в примере √ 3 77 на стр. 98 такое число u = 2 3 · 10 x, что Φ(u) − Φ(−u) = 1 − 2Φ(−u) = 0,99, т. е. Φ(−u) = 0,005. Число −u равно квантили уровня 0,005 стандартного нормального распре2,576 деления, поэтому u = 2,576, x = √ · 10−3 ≈ 74 · 10−5 . 2 3 Итак, суммарная ошибка округления десяти тысяч чисел с вероятностью не менее 0,99 лежит в границах (−74 · 10−5 , 74 · 10−5 ). 111 § 5. Центральная предельная теорема ЦПТ в схеме Бернулли. Пусть случайные величины ξi имеют распределение Бернулли и связаны с результатами отдельных испытаний схемы Бернулли, a = p, σ = pq, а величина Sn = νn есть число успехов в n испытаниях схемы Бернулли. Тогда центральная предельная теорема и её следствие (25) превращаются в уже знакомую нам интегральную теорему Муавра — Лапласа (стр. 47). Т е о р е м а 32 (интегральная теорема Муавра — Лапласа). Пусть νn — число успехов в n испытаниях схемы Бернулли с вероятностью успеха p . Тогда для любых x < y имеет место сходимость при n → ∞   νn − np < y → Φ(y) − Φ(x), P x< √ npq т.е. для любых k1 < k2 число успехов заключено в границах от k1 до k2 с вероятностью     k2 − np k1 − np P(k1 6 νn 6 k2 ) ≈ Φ √ −Φ √ . npq npq Разнораспределённые слагаемые. Центральной предельной теоремой пользуются также для приближённого вычисления вероятностей, связанных с суммами большого числа независимых, но не обязательно одинаково распределённых величин. Однако слагаемые должны быть не слишком «разными» — они должны вносить примерно одинаковый вклад в сумму, ни одно из слагаемых не должно существенно выделяться. Сформулируем один из возможных вариантов ЦПТ для разнораспределённых случайных величин. Пусть ξ1 , ξ2 , . . . — независимые случайные величины с конечными и ненулевыми дисперсиями D ξi = σ2i и математическими ожиданиями E ξi = ai . Говорят, что последовательность ξ1 , ξ2 , . . . удовлетворяет условию Ляпунова, если следующая дробь Ляпунова E |ξ1 − a1 |3 + . . . + E |ξn − an |3 q 3 σ21 + . . . + σ2n стремится к нулю при n → ∞. Т е о р е м а 33 (ЦПТ Ляпунова). Пусть ξ1 , ξ2 , . . . — независимые случайные величины, удовлетворяющие условию Ляпунова. Тогда для любых x < y имеет место сходимость при n → ∞     Sn − E Sn Sn − (a1 + . . . + an ) P x< √ 3). 4. Какие вероятности позволяет оценивать неравенство Чебышёва? 5. Как по неравенству Чебышёва оценить вероятность P(|ξ − E ξ| < x), если x > 0 и D ξ существует? Будет ли это оценка сверху или снизу? 6. Чем можно оценить вероятность случайной величине отличаться от своего математического ожидания более чем на три корня из дисперсии? Более, чем на четыре? На пять? 7. Каков смысл закона больших чисел? 8. Куда сходятся средние арифметические независимых и одинаково распределённых случайных величин с конечной дисперсией? 9. Как себя ведёт отношение числа успехов в схеме Бернулли к числу испытаний с ростом последнего? 10. Можно ли при каком-нибудь большом числе бросаний правильной монеты гарантировать, что частота выпадения орла отклонится от 0,5 не более, чем на 0,05? 11. Сформулировать ЦПТ. Какие вероятности она позволяет вычислять? 12. К какому распределению в условиях ЦПТ приближается распределеS − E Sn ние величины n√ ? 13. D Sn Чему равно математическое ожидание и дисперсия величины Sn − E S n √ ? D Sn 14. Для каких случайных величин верна ЦПТ Ляпунова? 15. Привести пример задачи, для решения которой необходима ЦПТ. Г Л А В А IX ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ В этой главе мы рассмотрим последовательности, состоящие, как правило, из зависимых между собой случайных величин с конечным или счётным числом значений. Такую последовательность можно считать процессом, описывающим изменения в состоянии какого-то объекта, если этот объект может находиться в одном из нескольких состояний и за один шаг менять случайным образом своё состояние. Мы рассмотрим здесь только последовательности, обладающие марковским свойством — состояние объекта в любой следующий момент времени зависит только от его состояния в настоящий момент времени, но не зависит от того, в каких состояниях объект находился до этого момента. Это свойство читают так: будущее при известном настоящем не зависит от прошлого. § 1. Цепи Маркова Пусть мы наблюдаем в отдельные моменты времени какой-то объект, который может находиться в одном из состояний Ek , где k ∈ Z. Свяжем с этим объектом последовательность целочисленных случайных величин ξ0 , ξ1 , ξ2 , . . . так: случайная величина ξn равна номеру состояния наблюдаемого объекта в момент времени n (или в n -ом испытании). Мы переходим от самих состояний к их номерам просто для удобства, и будем говорить «состояние k » вместо «состояние Ek ». П р и м е р 84. В студенческой столовой в качестве первого блюда в разные дни подают щи, борщ, солянку, рассольник, уху, окрошку, харчо и куриный суп. Можно рассматривать объект «первое блюдо в меню». Каждый день этот объект находится в одном из восьми возможных состояний. Можно перейти к случайным величинам ξn со значениями 1, 2, . . . , 8 так: например, ξ3 = 5, если третьего сентября в столовой уха. П р и м е р 85. Число клиентов, посетивших банк вчера, сегодня, завтра, послезавтра и т. д. — последовательность целочисленных случайных величин. П р и м е р 86. Численность (в тысячах человек) населения города в этом году, в предыдущем, в следующем и т. д. — последовательность целочисленных случайных величин. 114 ГЛАВА IX. ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ Описывать динамику изменения состояний объекта будем с помощью вероятностей. Во-первых, мы должны иметь распределение вероятностей для P состояния ξ0 в начальный момент времени: pk = P(ξ0 = k), pk = 1. Предположим теперь, что мы знаем все состояния k0 , . . . , kn−1 , i объекта в моменты времени 0, . . . , n−1, n. В каком состоянии окажется объект в момент времени n + 1? Это будущее состояние не определяется по предыстории объекта однозначно, а является случайным. Зависимость его от предыстории содержится в вероятностях: при данной предыстории объекта он в момент времени n + 1 окажется в состоянии j с вероятностью P(ξn+1 = j | ξ0 = k0 , . . . , ξn−1 = kn−1 , ξn = i) = p(k0 , . . . , kn−1 , i, j). Эта вероятность зависит от n+2 переменных. Если и далее вероятности переходов зависят от всей предыстории объекта, то описывать поведение объекта становится всё сложнее. Поэтому рассматривают последовательности {ξn }, для которых динамику задавать проще. Например, такие последовательности, для которых заданные выше вероятности зависят лишь от j (следующее состояние) и от i (состояние в настоящий момент), но не зависят от тех состояний, которые посетил объект до того, как попасть в i. Дадим точное определение. О п р е д е л е н и е 30. Последовательность целочисленных случайных величин ξ0 , ξ1 , ξ2 , . . . называется цепью Маркова (ЦМ), если для любого момента времени n и для любых состояний k0 , . . . , kn−1 , i, j P(ξn+1 = j | ξ0 = k0 , . . . , ξn−1 = kn−1 , ξn = i) = = P(ξn+1 = j | ξn = i) = pi,j (n + 1). Цепь Маркова называется однородной , если вероятность pi,j (n + 1) перейти за один шаг из состояния i в состояние j на (n + 1) -ом шаге не зависит от номера шага n + 1 : pi,j (n + 1) = pi,j . Мы будем рассматривать только однородные цепи Маркова. Распределение величины ξ0 называют начальным распределением цепи Маркова. Динамика любой однородной ЦМ полностью описывается заданием начального распределения pk = P(ξ0 = k) и вероятностей перехода pi,j за один шаг из состояния i в состояние j. Матрица P с элементами pi,j называется матрицей переходных вероятностей ЦМ. Эта квадратная матрица не обязательно имеет конечные размеры — её размеры совпадают с числом состояний цепи. Матрица P является стохастической, т. е. состоит из неотрицательных чисел, сумма которых в каждой строке равна единице. Действительно, сумма по i -й строке вероятностей перехода из состояния i за один шаг в одно из возможных состояний 115 § 1. Цепи Маркова равна вероятности перейти за шаг хоть куда-нибудь, т. е. единице: X X P = kpi,j k, pi,j > 0, pi,j = P(ξ1 = j | ξ0 = i) = 1. j j (n) Обозначим через pi,j вероятность за n шагов перейти из состояния i в j : (n) pi,j = P(ξn = i | ξ0 = j) = P(ξn+m = i | ξm = j), (n) P (n) = kpi,j k. Вычислим эту вероятность. Выйдя из состояния i, попасть в j за n шагов можно, если за (n − 1) шаг попасть в любое состояние k, и уже из него за один шаг попасть в j : X X (n−1) (n) pi,j = P(ξn−1 = k | ξ0 = i) · P(ξn = j | ξn−1 = k) = pi,k pk,j . k k Мы показали, что (i, j) -й элемент матрицы P (n) получается умножением строки матрицы P (n−1) на столбец матрицы P. Поэтому P (n) = P (n−1) · P = = P (n−2) ·P 2 = . . . = P n . Итак, матрица вероятностей перехода за n шагов есть n-я степень матрицы вероятностей перехода за один шаг. Чтобы найти безусловные вероятности цепи Маркова находиться после n шагов в состояниях j ∈ Z (распределение величины ξn ), воспользуемся формулой полной вероятности: X X (n) P(ξn = j) = P(ξ0 = i) · P(ξn = j | ξ0 = i) = pi pi,j . (27) i i П р и м е р 87. Лягушка прыгает по точкам 1, 2, 3. В каждой точке она 1 1 1 может задержаться на единицу времени 2 2 2 1 1 1 с вероятностью , либо куда-то пере2 2 2 прыгнуть. Из точек 1 и 3 она обязательно 2 3 1 прыгает в точку 2, из точки 2 она может 1 1 перепрыгнуть в любую из соседних с рав4 4 ными вероятностями. Рис. 21. Блуждание лягушки Запишем матрицу P вероятностей перехода этой однородной ЦМ и найдём матрицу вероятностей перехода за два шага:       p1,1 p1,2 p1,3 1/2 1/2 0 3/8 1/2 1/8 P = p2,1 p2,2 p2,3  = 1/4 1/2 1/4 , P (2) = P 2 = 1/4 1/2 1/4 . 0 1/2 1/2 1/8 1/2 3/8 p3,1 p3,2 p3,3 Можно вычислить вероятности перехода за 3, 4 и более шагов. Возникает естественный вопрос: пусть лягушка прыгает уже очень давно. Каковы шансы в произвольный момент времени обнаружить её в точке 1? В точке 2? 116 ГЛАВА IX. ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ § 2. Эргодичность конечной цепи Маркова (n) Рассмотрим поведение вероятностей pi,j перейти из состояния i в состо(n) яние j за n шагов при увеличении n. Предположим, что pi,j при n → ∞ имеют предел πj , не зависящий от i. Это означает, что вероятность попасть в состояние j через большой интервал времени не зависит от того, с какого состояния цепь стартовала. ЦМ «забыла» своё начальное положение. Величины πj можно трактовать как вероятности цепи оказаться в состоянии j через очень большой интервал времени. Распределение P(ξ = j) = πj называется стационарным распределением цепи Маркова, а такое поведение (n) вероятностей перехода за n шагов, когда pi,j → πj при n → ∞, называется эргодичностью ЦМ. Следующее утверждение приводит пример условий, при которых цепь Маркова будет эргодичной. Ограничимся для простоты случаем ЦМ с конечным числом состояний. Т е о р е м а 34. Пусть ЦМ {ξn , n > 0} имеет конечное число состояний и для некоторого n0 все элементы матрицы P (n0 ) (матрицы вероятностей перехода за n0 шагов) отличны от нуля. Тогда при любых i и j существуют пределы (n) lim pi,j = πj > 0. n→∞ Вероятности πj являются единственным решением системы уравнений X X πj = 1, πj = πi pi,j . (28) j i Система уравнений (28) получается из формулы полной вероятности: вероятность πj цепи, забывшей о своём начальном распределении, находиться в состоянии j равна сумме вероятностей цепи на предыдущем шаге находиться в одном из состояний i и за один шаг перейти из i в j. П р и м е р 88. Существует ли в примере 87 стационарное распределение? Условиям теоремы удовлетворяет n0 = 2 : вычисленная нами матрица P 2 состоит из ненулевых элементов. Найдём стационарное распределение из системы (28):  1 1 π1 + π2 + π3 = 1, π1 = π1 + π2 , 1 2 4 π1 = , π2 = 1 , π3 = 1 . 1 1 1 1 1 4 2 4 π2 = π1 + π2 + π3 , π3 = π2 + π3 , 2 2 2 4 2 Итак, давно прыгающая лягушка обнаруживается в точках 1 и 3 с вероятностями по 1 , и в точке 2 с вероятностью 1 . 4 2 117 § 3. Контрольные вопросы Система уравнений (28) означает также следующее: если в качестве начального распределения ЦМ взять стационарное: pk = πk , то распределение ЦМ и дальше останется тем же самым стационарным. Действительно, по формуле (27) получим: X X P(ξ1 = j) = P(ξ0 = i) · P(ξ1 = j | ξ0 = i) = πi pi,j = πj . i i То есть ЦМ, стартовавшая со стационарным начальным распределением, на каждом шаге имеет то же самое распределение. В этом случае говорят, что цепь работает в стационарном режиме. Рассмотрим ещё один пример. П р и м е р 89. Если студент накануне опоздал на занятие, сегодня он имеет 80% шансов прийти вовремя. Если же он вчера пришёл вовремя, то в 40% случаев опоздает сегодня. Как часто студент опаздывает на занятия? Р е ш е н и е. Имеется цепь Маркова с двумя состояниями: E1 — студент сегодня опоздал на занятия и E2 — студент сегодня пришёл вовремя. Матрица вероятностей перехода этой цепи равна   0, 2 0, 8 P = . 0, 4 0, 6 Все вероятности в этой матрице отличны от нуля, поэтому цепь эргодична. Решая для этой матрицы систему уравнений (28), получим: π1 + π2 = 1, π1 = 0, 2π1 + 0, 4π2 ; π1 = 1 / 3, π2 = 2 / 3. Итак, функционирующая в стационарном режиме цепь Маркова с вероятностью 1 / 3 пребывает в состоянии 1. Возвращаясь к студенту, находим, что с вероятностью 1 / 3 он опаздывает на занятия. Иначе говоря, в среднем он опаздывает на треть занятий. § 3. Контрольные вопросы 1. Что такое марковское свойство? 2. Дать определение цепи Маркова. 3. Что означает однородность цепи Маркова? 4. Будет ли цепью Маркова последовательность независимых и одинаково распределённых целочисленных случайных величин? Будет ли она однородной цепью Маркова? 5. Будет ли цепью Маркова последовательность сумм независимых и одинаково распределённых целочисленных случайных величин? Будет ли она однородной цепью Маркова? 118 ГЛАВА IX. ЭЛЕМЕНТЫ ТЕОРИИ СЛУЧАЙНЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ 6. Будет ли цепью Маркова последовательность произведений независимых и одинаково распределённых целочисленных случайных величин? Будет ли она однородной цепью Маркова? 7. Как по начальному распределению и переходным вероятностям найти распределение однородной ЦМ на любом шаге? Что изменится для неоднородной цепи Маркова? 8. Каким свойством обладают стохастические матрицы? 9. Как ведёт себя ЦМ с единичной матрицей переходных вероятностей? 10. Сколько переходных вероятностей будет у ЦМ с восемью состояниями? 11. Как найти вероятности перехода ЦМ за два шага? За три шага? 12. Что такое эргодичность цепи Маркова? 13. Что называют стационарным распределением ЦМ? Каков его смысл? 14. При каких условиях ЦМ с конечным числом состояний эргодична? 15. Как искать стационарное распределение? 16. Какое распределение имеет ЦМ на каждом шаге, если она стартовала со стационарного начального распределения? ПРИЛОЖЕНИЕ Таблица 1. Основные дискретные распределения Распределение, обозначение, параметры Возможные значения k P(ξ = k) Eξ Dξ Вырожденное Ic , c ∈ R c P(ξ = c) = 1 c Бернулли Bp p ∈ (0, 1) k = 0, 1 P(ξ = 0) = 1−p, P(ξ = 1) = p p p(1 − p) Биномиальное Bn, p p ∈ (0, 1) n = 1, 2, . . . k = 0, . . . , n Cnk pk (1 − p)n−k np np(1 − p) Пуассона Πλ λ>0 k = 0, 1, 2, . . . λk −λ e λ λ Геометрическое Gp p ∈ (0, 1) k = 1, 2, . . . p(1 − p)k−1 1 p 1−p p2 Гипергеометрическое n, K, N ∈ N 0 6 n, K 6 N k! целые от max(0, n+K−N ) до min(n, K) k C n−k CK N K n CN K n N K n N  K 1− N  N −n N −1 120 ПРИЛОЖЕНИЕ Таблица 2. Основные абсолютно непрерывные распределения Распределение, обозначение, параметры Плотность распределения Равномерное на отрезке [a, b], Ua, b , a < b   1 , x ∈ [a, b], b−a  0, x∈ 6 [a, b] 0, x > 0, x60 1 2 2 √ e−(x−a) /2σ , σ 2π σ 1 a+b 2 (b − a)2 12 −1,2 1 1 α α2 2 6 a σ2 — — — — λ λ 6 α α2 2 √ µ 2 , π σ2 + (x − a)2 Гамма Γα, λ , α > 0, λ > 0  λ  α xλ−1 e−αx , x > 0, Γ(λ)  0, x60 −∞ < x < ∞ (α > 1) 6(α3 +α2 −6α−2) ,α>4 α(α−3)(α−4) α−1 ,α>3 α 3 α−3 ( α , x > 1, xα+1 0, x<1 λ α −∞ < x < ∞ α2 α−2 2(α+1) 2 ,α>2 α −α|x−µ| e , λ r Парето, α > 0 Эксцесс −∞ < x < ∞ Коши Ca, σ , a ∈ R, σ > 0 Лапласа Lα, µ , α > 0, µ ∈ R Асимметрия (α−1)2 (α−2) Нормальное (гауссовское) Na, σ2 , a ∈ R, σ > 0 α e−αx , ( Dξ α Показательное (экспоненциальное) Eα = Γα, 1 , α>0 Eξ 121 ПРИЛОЖЕНИЕ 1 Таблица 3. Функция Φ(x) = √ 2π Zx e−t 2 /2 dt −∞ (функция распределения стандартного нормального закона) x −5 −4, 5 −4 −3, 8 −3, 6 −3, 4 −3, 2 −3 −2, 98 −2, 96 −2, 94 −2, 92 −2, 9 −2, 88 −2, 86 −2, 84 −2, 82 −2, 8 −2, 78 −2, 76 −2, 74 −2, 72 −2, 7 −2, 68 −2, 66 −2, 64 −2, 62 −2, 6 −2, 58 −2, 56 −2, 54 −2, 52 −2, 5 Φ(x) 0, 0000003 0, 0000034 0, 0000317 0, 0000724 0, 0001591 0, 0003370 0, 0006872 0, 00135 0, 00144 0, 00154 0, 00164 0, 00175 0, 00187 0, 00199 0, 00212 0, 00226 0, 00240 0, 00256 0, 00272 0, 00289 0, 00307 0, 00326 0, 00347 0, 00368 0, 00390 0, 00415 0, 00440 0, 00466 0, 00494 0, 00523 0, 00554 0, 00590 0, 00621 x −2, 48 −2, 46 −2, 44 −2, 42 −2, 4 −2, 38 −2, 36 −2, 34 −2, 32 −2, 3 −2, 28 −2, 26 −2, 24 −2, 22 −2, 2 −2, 18 −2, 16 −2, 14 −2, 12 −2, 1 −2, 08 −2, 06 −2, 04 −2, 02 −2 −1, 99 −1, 98 −1, 97 −1, 96 −1, 95 −1, 94 −1, 93 −1, 92 Φ(x) 0, 0066 0, 0069 0, 0073 0, 0078 0, 0082 0, 0087 0, 0091 0, 0096 0, 0102 0, 0107 0, 0113 0, 0119 0, 0125 0, 0132 0, 0139 0, 0146 0, 0154 0, 0162 0, 0170 0, 0179 0, 0188 0, 0197 0, 0207 0, 0217 0, 0228 0, 0233 0, 0239 0, 0244 0, 0250 0, 0256 0, 0262 0, 0268 0, 0274 x −1, 91 −1, 9 −1, 89 −1, 88 −1, 87 −1, 86 −1, 85 −1, 84 −1, 83 −1, 82 −1, 81 −1, 8 −1, 79 −1, 78 −1, 77 −1, 76 −1, 75 −1, 74 −1, 73 −1, 72 −1, 71 −1, 7 −1, 69 −1, 68 −1, 67 −1, 66 −1, 65 −1, 64 −1, 63 −1, 62 −1, 61 −1, 6 −1, 59 Φ(x) 0, 0281 0, 0287 0, 0294 0, 0301 0, 0307 0, 0314 0, 0322 0, 0329 0, 0336 0, 0344 0, 0351 0, 0359 0, 0367 0, 0375 0, 0384 0, 0392 0, 0401 0, 0409 0, 0418 0, 0427 0, 0436 0, 0446 0, 0455 0, 0465 0, 0475 0, 0485 0, 0495 0, 0505 0, 0516 0, 0526 0, 0537 0, 0548 0, 0559 x −1, 58 −1, 57 −1, 56 −1, 55 −1, 54 −1, 53 −1, 52 −1, 51 −1, 5 −1, 49 −1, 48 −1, 47 −1, 46 −1, 45 −1, 44 −1, 43 −1, 42 −1, 41 −1, 4 −1, 39 −1, 38 −1, 37 −1, 36 −1, 35 −1, 34 −1, 33 −1, 32 −1, 31 −1, 3 −1, 29 −1, 28 −1, 27 −1, 26 Φ(x) 0, 0571 0, 0582 0, 0594 0, 0606 0, 0618 0, 0630 0, 0643 0, 0655 0, 0668 0, 0681 0, 0694 0, 0708 0, 0721 0, 0735 0, 0749 0, 0764 0, 0778 0, 0793 0, 0808 0, 0823 0, 0838 0, 0853 0, 0869 0, 0885 0, 0901 0, 0918 0, 0934 0, 0951 0, 0968 0, 0985 0, 1003 0, 1020 0, 1038 122 ПРИЛОЖЕНИЕ Окончание табл. 3 x −1, 25 −1, 24 −1, 23 −1, 22 −1, 21 −1, 2 −1, 19 −1, 18 −1, 17 −1, 16 −1, 15 −1, 14 −1, 13 −1, 12 −1, 11 −1, 1 −1, 09 −1, 08 −1, 07 −1, 06 −1, 05 −1, 04 −1, 03 −1, 02 −1, 01 −1 −0, 99 −0, 98 −0, 97 −0, 96 −0, 95 −0, 94 Φ(x) 0, 1056 0, 1075 0, 1093 0, 1112 0, 1131 0, 1151 0, 1170 0, 1190 0, 1210 0, 1230 0, 1251 0, 1271 0, 1292 0, 1314 0, 1335 0, 1357 0, 1379 0, 1401 0, 1423 0, 1446 0, 1469 0, 1492 0, 1515 0, 1539 0, 1562 0, 1587 0, 1611 0, 1635 0, 1660 0, 1685 0, 1711 0, 1736 x −0, 93 −0, 92 −0, 91 −0, 9 −0, 89 −0, 88 −0, 87 −0, 86 −0, 85 −0, 84 −0, 83 −0, 82 −0, 81 −0, 8 −0, 79 −0, 78 −0, 77 −0, 76 −0, 75 −0, 74 −0, 73 −0, 72 −0, 71 −0, 7 −0, 69 −0, 68 −0, 67 −0, 66 −0, 65 −0, 64 −0, 63 −0, 62 Φ(x) 0, 1762 0, 1788 0, 1814 0, 1841 0, 1867 0, 1894 0, 1922 0, 1949 0, 1977 0, 2005 0, 2033 0, 2061 0, 2090 0, 2119 0, 2148 0, 2177 0, 2206 0, 2236 0, 2266 0, 2296 0, 2327 0, 2358 0, 2389 0, 2420 0, 2451 0, 2483 0, 2514 0, 2546 0, 2578 0, 2611 0, 2643 0, 2676 x −0, 61 −0, 6 −0, 59 −0, 58 −0, 57 −0, 56 −0, 55 −0, 54 −0, 53 −0, 52 −0, 51 −0, 5 −0, 49 −0, 48 −0, 47 −0, 46 −0, 45 −0, 44 −0, 43 −0, 42 −0, 41 −0, 4 −0, 39 −0, 38 −0, 37 −0, 36 −0, 35 −0, 34 −0, 33 −0, 32 −0, 31 −0, 3 Φ(x) 0, 2709 0, 2743 0, 2776 0, 2810 0, 2843 0, 2877 0, 2912 0, 2946 0, 2981 0, 3015 0, 3050 0, 3085 0, 3121 0, 3156 0, 3192 0, 3228 0, 3264 0, 3300 0, 3336 0, 3372 0, 3409 0, 3446 0, 3483 0, 3520 0, 3557 0, 3594 0, 3632 0, 3669 0, 3707 0, 3745 0, 3783 0, 3821 x −0, 29 −0, 28 −0, 27 −0, 26 −0, 25 −0, 24 −0, 23 −0, 22 −0, 21 −0, 2 −0, 19 −0, 18 −0, 17 −0, 16 −0, 15 −0, 14 −0, 13 −0, 12 −0, 11 −0, 1 −0, 09 −0, 08 −0, 07 −0, 06 −0, 05 −0, 04 −0, 03 −0, 02 −0, 01 Φ(x) 0, 3859 0, 3897 0, 3936 0, 3974 0, 4013 0, 4052 0, 4090 0, 4129 0, 4168 0, 4207 0, 4247 0, 4286 0, 4325 0, 4364 0, 4404 0, 4443 0, 4483 0, 4522 0, 4562 0, 4602 0, 4641 0, 4681 0, 4721 0, 4761 0, 4801 0, 4840 0, 4880 0, 4920 0, 4960 0, 5000 При x > 0 значения Φ(x) находят по правилу: Φ(x) = 1 − Φ(−x). ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ Абсолютно непрерывное распределение, 53 совместное распределение, 75 Асимметрия, 98 дисперсия, 93 математическое ожидание, 93 Гипергеометрическое распределение, 24, 60 Группа событий полная, 37 Байеса формула, 38 Бернулли закон больших чисел, 108 распределение, 58 схема, 43 формула, 43 Бернштейна пример, 41 Биномиальное распределение, 59 дисперсия, 92 математическое ожидание, 92 Дискретное пространство элементарных исходов, 21 распределение, 53 Дисперсия, 90 разности, 92 распределения Бернулли, 92 биномиального, 92 геометрического, 93 Коши, 95 нормального, 94 Парето, 95 Пуассона, 93 показательного, 94 равномерного, 93 стандартного нормального, 93 суммы, 91, 99 суммы n слагаемых, 99 Дополнение, 14 Достоверное событие, 14 Дробь Ляпунова, 111 Вероятности аксиомы, 17 свойства, 18 Вероятностная мера, 17 Вероятностное пространство, 17 Вероятность, 17 апостериорная, 38 априорная, 38 геометрическая, 32 классическая, 22 условная, 35 Выбор без возвращения, 27, 28 без учёта порядка, 28, 29 с возвращением, 27, 29 с учётом порядка, 28, 29 Вырожденное распределение, 58 дисперсия, 92 математическое ожидание, 92 Гамма-распределение, 65 Гамма-функция Эйлера, 65 Гаусса распределение, 61 Геометрическое распределение, 44, 59 Задача о встрече, 33 о рассеянной секретарше, 25 Закон больших чисел Бернулли, 108 Чебышёва, 107 Индикатор события, 106 Квантиль распределения, 97 Классическая вероятность, 22 Ковариация, 99 Корреляция, 100 Коши распределение, 66 124 ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ Коэффициент асимметрии, 98 корреляции, 100 свойства, 101 эксцесса, 98 Муавра — Лапласа приближение, 47, 48 теорема, 111 интегральная, 47 локальная, 48 Ляпунова дробь, 111 условие, 111 ЦПТ, 111 Невозможное событие, 14 Независимость случайных величин в совокупности, 80 событий, 39 в совокупности, 40 попарная, 41 Неравенство Йенсена, 91 Маркова, 106 Чебышёва, 107 Несовместные события, 15 Номер первого успеха, 44 Нормальное распределение, 61 дисперсия, 94 математическое ожидание, 94 свойства, 62 Марковская цепь, 114 Марковское свойство, 113 Математическое ожидание абсолютно непрерывного распределения, 87 дискретного распределения, 87 постоянной, 88 произведения, 89 распределения Бернулли, 92 биномиального, 92 геометрического, 93 Коши, 95 нормального, 94 Парето, 95 Пуассона, 93 показательного, 94 равномерного, 93 стандартного нормального, 93 суммы, 89 Матрица ковариаций, 78, 99 положительно определённая, 78 стохастическая, 114 Медиана распределения, 97 Мера вероятностная, 17 Множество всех подмножеств, 17 пустое, 14 Мода распределения, 98 Момент первый, 87 порядка k , 90 абсолютный, 90 абсолютный центральный, 90 центральный, 90 факториальный, 93 Монотонность вероятности, 18 Объединение событий, 14 Определение вероятности геометрическое, 32 классическое, 23 Парето распределение, 66 дисперсия, 95 математическое ожидание, 95 Пересечение событий, 14 Перестановка, 28 Плотность распределения, 53 распределения суммы, 81 совместного распределения, 75 Показательное распределение, 61 дисперсия, 94 математическое ожидание, 94 Поле событий, 16 Полиномиальное распределение, 49 Полная группа событий, 37 Полной вероятности формула, 37 Попарно несовместные события, 15 Правило трёх сигм, 64, 107 Пример Бернштейна, 41 Производящая функция моментов, 95 ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ Пространство элементарных исходов, 11 дискретное, 21 Противоположное событие, 14 Пуассона приближение, 46 распределение, 46, 59 Пустое множество, 14 Равномерное распределение, 60 дисперсия, 93 математическое ожидание, 93 Разбиение пространства исходов, 37 Размещение, 28 Распределение, 24 Бернулли, 58 моменты, 92 биномиальное, 59 моменты, 92 вектора абсолютно непрерывное, 75 вырожденное, 58 моменты, 92 Гаусса, 61 гамма, 65 геометрическое, 44, 59 моменты, 93 гипергеометрическое, 24, 60 Коши, 66 моменты, 95 маргинальное, или частное, 74 многомерное нормальное, 78 нормальное, 61 моменты, 94 свойства, 62 Парето, 66 моменты, 95 Пуассона, 46, 59 моменты, 93 показательное, 61 моменты, 94 полиномиальное, 49 равномерное, 60 моменты, 93 равномерное в области, 77 Симпсона, 85 случайной величины абсолютно непрерывное, 53 дискретное, 53 совместное, 73 125 стандартное нормальное, 62 моменты, 93 треугольное, 85 унимодальное, 98 хи-квадрат, 65 числа успехов, 43 Эрланга, 65 экспоненциальное, 61 моменты, 94 Свойства абсолютно непрерывного распределения, 58 вероятности, 17, 18 дисперсии, 91 математического ожидания, 88 моментов, 90 нормального распределения, 62 операций над событиями, 15 плотности, 54 плотности совместного распределения, 75 сходимости по вероятности, 106 таблицы совместного распределения, 74 функции распределения, 57 функции совместного распределения, 73 Свойство марковское, 113 нестарения геометрического распределения, 44 показательного распределения, 61 отсутствия последействия геометрического распределения, 44 показательного распределения, 61 Симпсона распределение, 85 Случайная величина, 51 Случайные величины независимые в совокупности, 80 некоррелированные, 102 одинаково распределённые, 56 отрицательно коррелированные, 102 положительно коррелированные, 102 Событие, 11, 16 достоверное, 14 невозможное, 14 противоположное (дополнительное), 14 События вложенные, 15 126 ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ независимые, 39 в совокупности, 40 попарно, 41 несовместные, 15 попарно несовместные, 15 Сочетание, 29 Среднее значение, 87 Среднеквадратическое отклонение, 90 Стандартное нормальное распределение, 62 дисперсия, 93 математическое ожидание, 93 Статистическая устойчивость, 10 Стационарное распределение цепи Маркова, 116 Стационарный режим цепи Маркова, 117 Схема Бернулли, 43 Сходимость по вероятности, 106 Счётная аддитивность вероятности, 17 σ -алгебра, 16 Таблица распределения, 53 совместного распределения, 74 Теорема закон больших чисел Бернулли, 108 Чебышёва, 107 Муавра — Лапласа, 111 интегральная, 47 локальная, 48 о перемножении шансов, 27 Пуассона, 46 умножения вероятностей, 36 ЦПТ, 109 ЦПТ Ляпунова, 111 центральная предельная, 109 Треугольное распределение, 85 Унимодальное распределение, 98 Уравнения Колмогорова, 116 Урновая схема, 27 Условие Ляпунова, 111 Условная вероятность, 35 Устойчивость по суммированию биномиального распределения, 83 гамма-распределения, 83 нормального распределения, 82 распределения Пуассона, 83 Факториальный момент, 93 Формула Байеса, 38 Бернулли, 43 включения-исключения, 18 полной вероятности, 37 свёртки, 81 Функция распределения, 54 вектора, 73 свойства, 57 совместного распределения, 73 Хи-квадрат распределение, 65 Центральная предельная теорема, 109 Цепи Маркова вероятности перехода, 114 матрица вероятностей перехода, 114 начальное распределение, 114 стационарное распределение, 116 стационарный режим, 117 эргодичность, 116 Цепь Маркова, 114 однородная, 114 ЦПТ Ляпунова, 111 Число перестановок, 28 размещений, 28 сочетаний, 29 Экспоненциальное распределение, 61 дисперсия, 94 математическое ожидание, 94 Эксцесс, 98 Элементарный исход, 11 Эргодичность цепи Маркова, 116 Эрланга распределение, 65 СПИСОК ЛИТЕРАТУРЫ 1. Бочаров П. П., Печинкин А. В. Теория вероятностей. Математическая статистика. М.: Гардарика, 1998, 328 с. 2. Вентцель Е. С. Теория вероятностей. М.: Высшая школа, 1999, 576 с. 3. Гнеденко Б. В. Курс теории вероятностей. М.: Наука, 1988, 406 с. 4. Колемаев В. А., Калинина В. Н. Теория вероятностей и математическая статистика. М.: ИНФРА-М, 1997, 302 с. 5. Пугачев В. С. Теория вероятностей и математическая статистика. М.: ФИЗМАТЛИТ, 2002, 496 с. 6. Чистяков В. П. Курс теории вероятностей. М.: Агар, 2000, 255 с. 7. Гмурман В. Е. Руководство к решению задач по теории вероятностей и математической статистике. М.: Высшее образование, 2006, 404 с. 8. Сборник задач по теории вероятностей, математической статистике и теории случайных функций / Под редакцией А. А. Свешникова. М.: Наука, 1970, 656 с. 9. Вентцель Е. С., Овчаров Л. А. Задачи и упражнения по теории вероятностей. М.: Высшая школа, 2000, 366 с. Наталья Исааковна Чернова ТЕОРИЯ ВЕРОЯТНОСТЕЙ Учебное пособие Редактор: О. А. Игнатова Корректор: Подписано в печать Формат бумаги 62 × 84/16, отпечатано на ризографе, шрифт №10, изд. л. , зак. № , тир. – экз., СибГУТИ 630102, Новосибирск, ул. Кирова, 86.