Закон больших чисел. Центральная предельная теорема

Закон больших чисел. Центральная предельная теорема Изучение статистических закономерностей позволило установить, что при некоторых условиях суммарное поведение большого количества случайных величин почти утрачивает случайный характер и становится закономерным (иначе говоря, случайные отклонения от некоторого среднего поведения взаимно погашаются). В частности, если влияние на сумму отдельных слагаемых является равномерно малым, закон распределения суммы приближается к нормальному. Математическая формулировка этого утверждения дается в группе теорем, называемой законом больших чисел. Неравенство Чебышева, используемое для доказательства дальнейших теорем, справедливо как для непрерывных, так и для дискретных случайных величин. Докажем его для дискретных случайных величин. Теорема 1(неравенство Чебышева). Доказательство. Пусть Х задается рядом распределения Х х1 х2 … хп р р1 р2 … рп Так как события |X – M(X)| < ε и |X – M(X)| ≥ ε противоположны, то р ( |X – M(X)| < ε ) + р ( |X – M(X)| ≥ ε ) = 1, следовательно, р ( |X – M(X)| < ε ) = 1 - р ( |X – M(X)| ≥ ε ). Найдем р ( |X – M(X)| ≥ ε ). D(X) = (x1 – M(X))²p1 + (x2 – M(X))²p2 + … + (xn – M(X))²pn . Исключим из этой суммы те слагаемые, для которых |X – M(X)| < ε. При этом сумма может только уменьшиться, так как все входящие в нее слагаемые неотрицательны. Для определенности будем считать, что отброшены первые k слагаемых. Тогда D(X) ≥ (xk+1 – M(X))²pk+1 + (xk+2 – M(X))²pk+2 + … + (xn – M(X))²pn ≥ ε² (pk+1 + pk+2 + … + pn). Отметим, что pk+1 + pk+2 + … + pn есть вероятность того, что |X – M(X)| ≥ ε, так как это сумма вероятностей всех возможных значений Х, для которых это неравенство справедливо. Следовательно, D(X) ≥ ε² р(|X – M(X)| ≥ ε), или р (|X – M(X)| ≥ ε) ≤ D(X) / ε². Тогда вероятность противоположного события p( | X – M(X)| < ε ) ≥1 - D(X) / ε², что и требовалось доказать. Теорема 2 (теорема Чебышева). Если Х1, Х2,…, Хп – попарно независимые случайные величины, дисперсии которых равномерно ограничены ( D(Xi) ≤ C), то для сколь угодно малого числа ε вероятность неравенства будет сколь угодно близка к 1, если число случайных величин достаточно велико. Замечание. Иначе говоря, при выполнении этих условий Доказательство. Рассмотрим новую случайную величину и найдем ее математическое ожидание. Используя свойства математического ожидания, получим, что Применим к неравенство Чебышева: Так как рассматриваемые случайные величины независимы, то, учитывая условие теоремы, имеем: Используя этот результат, представим предыдущее неравенство в виде: Перейдем к пределу при : Поскольку вероятность не может быть больше 1, можно утверждать, что Теорема доказана. Следствие. Если Х1, Х2, …, Хп – попарно независимые случайные величины с равномерно ограниченными дисперсиями, имеющие одинаковое математическое ожидание, равное а, то для любого сколь угодно малого ε > 0 вероятность неравенства будет как угодно близка к 1, если число случайных величин достаточно велико. Иначе говоря, Теорема 3 (теорема Бернулли). Если в каждом из п независимых опытов вероятность р появления события А постоянна, то при достаточно большом числе испытаний вероятность того, что модуль отклонения относительной частоты появлений А в п опытах от р будет сколь угодно малым, как угодно близка к 1: Доказательство. Введем случайные величины Х1, Х2, …, Хп, где Xi – число появлений А в i-м опыте. При этом Xi могут принимать только два значения: 1(с вероятностью р) и 0 (с вероятностью q = 1 – p). Кроме того, рассматриваемые случайные величины попарно независимы и их дисперсии равномерно ограничены (так как D(Xi) = pq, p + q = 1, откуда pq ≤ ¼ ). Следовательно, к ним можно применить теорему Чебышева при Mi = p: Но так как Xi принимает значение, равное 1, при появлении А в данном опыте, и значение, равное 0, если А не произошло. Таким образом, что и требовалось доказать. Замечание. Из теоремы Бернулли не следует, что Речь идет лишь о вероятности того, что разность относительной частоты и вероятности по модулю может стать сколь угодно малой. Разница заключается в следующем: при обычной сходимости, рассматриваемой в математическом анализе, для всех п, начиная с некоторого значения, неравенство выполняется всегда; в нашем случае могут найтись такие значения п, при которых это неравенство неверно. Этот вид сходимости называют сходимостью по вероятности. Закон больших чисел не исследует вид предельного закона распределения суммы случайных величин. Этот вопрос рассмотрен в группе теорем, называемых центральной предельной теоремой. Они утверждают, что закон распределения суммы случайных величин, каждая из которых может иметь различные распределения, приближается к нормальному при достаточно большом числе слагаемых. Этим объясняется важность нормального закона для практических приложений. Теорема 4 (центральная предельная теорема для одинаково распределенных слагаемых). Если Х1, Х2,…, Хп,… - независимые случайные величины с одинаковым законом распределения, математическим ожиданием т и дисперсией σ2, то при неограниченном увеличении п закон распределения суммы неограниченно приближается к нормальному. А.М.Ляпунов доказал центральную предельную теорему для условий более общего вида: Теорема 5 (теорема Ляпунова). Если случайная величина Х представляет собой сумму очень большого числа взаимно независимых случайных величин, для которых выполнено условие: где bk – третий абсолютный центральный момент величины Хк, а Dk – ее дисперсия, то Х имеет распределение, близкое к нормальному ( условие Ляпунова означает, что влияние каждого слагаемого на сумму ничтожно мало). Практически можно использовать центральную предельную теорему при достаточно небольшом количестве слагаемых, так как вероятностные расчеты требуют сравнительно малой точности. Опыт показывает, что для суммы даже десяти и менее слагаемых закон их распределения можно заменить нормальным. Частным случаем центральной предельной теоремы для дискретных случайных величин является теорема Муавра-Лапласа. Теорема 6 (теорема Муавра-Лапласа). Если производится п независимых опытов, в каждом из которых событие А появляется с вероятностью р, то справедливо соотношение: где Y – число появлений события А в п опытах, q = 1 – p. Доказательство. Будем считать, что где Хi – число появлений события А в i-м опыте. Тогда случайную величину (см. теорему 4) можно считать распределенной по нормальному закону и нормированной, следовательно, вероятность ее попадания в интервал (, ) можно найти по формуле Поскольку Y имеет биномиальное распределение, . Тогда Подставляя это выражение в предыдущую формулу, получим равенство (3). Следствие. В условиях теоремы Муавра-Лапласа вероятность того, что событие А появится в п опытах ровно k раз, при большом количестве опытов можно найти по формуле: где (значения этой функции приводятся в специальных таблицах). Пример. Найти вероятность того, что при 100 бросках монеты число выпадений герба окажется в пределах от 40 до 60. Применим формулу (3), учитывая, что п = 0,5. Тогда пр = 100·0,5 = 50, Тогда, если Следовательно, Пример. В условиях предыдущего примера найти вероятность того, что выпадет 45 гербов. Найдем тогда