Предельные теоремы теории вероятностей

Национальный Исследовательский Университет Высшая Школа Экономики. (Департамент Математики) Грибкова Надежда Викторовна Теория Вероятностей и Математическая Статистика (лекция 10) Санкт-Петербург, 2021 1 / 23 3 Глава 3. Предельные теоремы теории вероятностей §3.1. Неравенство Маркова, неравенство Чебышева Лемма 3.1 (Неравенство Маркова) Пусть ξ ≥ 0 — неотрицательная с.в. Для любого t > 0:
Eξ P ξ≥t ≤ t Доказательство. Докажем утверждение для непрерывного распределения с плотностью f (x) (для дискретного распределения доказательство аналогично). Z ∞ Z ∞ Z ∞ Eξ = x f (x) dx = x f (x) dx ≥ x f (x) dx −∞ t Z ∞
≥t f (x) dx = t P ξ ≥ t t 2 / 23 3 Неравенство Чебышева Лемма 3.2 (Неравенство Чебышева) Пусть ξ – случайная величина и пусть D(ξ) обозначает ее дисперсию. Для любого t > 0
Dξ P |ξ − Eξ| ≥ t ≤ 2 t Доказательство. Пишем

P |ξ − Eξ| ≥ t = P (ξ − Eξ)2 ≥ t 2 ≤ |{z} E(ξ − Eξ)2 Dξ = 2, 2 t t по лемме 3.1 где мы применили неравенство Маркова. 3 / 23 3 §3.2. Различные виды сходимости последовательностей с.в. Пусть ξ1 , ξ2 , . . . — последовательность случайных величин, заданных на одном и том же вероятностном пространстве. Определение 3.1 Говорят, что последовательность ξn сходится по вероятности к с.в. ξ: P ξn −→ ξ, n → ∞, если для ∀ε > 0
P |ξn − ξ| ≥ ε −→ 0, n → ∞. Определение 3.2 Последовательность ξn сходится c вероятностью 1 к с.в. ξ: п.н. ξn −→ ξ, n → ∞,
если P ω : ξn (ω) −→n→∞ ξ(ω) = 1. 4 / 23 3 Определение 3.3 Говорят, что последовательность ξn сходится в среднем порядка r > 0 к с.в. ξ: в ср. r ξn −→ ξ, n → ∞, если E ξn − ξ r −→ 0, n → ∞. Определение 3.4 Говорят, что последовательность ξn сходится к с.в. ξ по распределению: d ξn −→ ξ, n → ∞, если

Fξn (x) = P ξn < x −→ F (x) = P ξ < x в любой точке непрерывности предельной функции F (x). 5 / 23 3 Соотношения между типами сходимости 1. Из сходимости почти наверное (опр. 3.2) =⇒ сходимость по вероятности (опр. 3.1) =⇒ сходимость по распределению (опр. 3.4) 2. Из сходимости в среднем порядка r > 0 (опр. 3.3) =⇒ сходимость по вероятности (опр. 3.1). Доказательство п.2. Пусть последовательность ξn сходится к с.в. ξ в среднем порядка r > 0. Докажем, что она сходится по вероятности. Возьмем произвольное ε > 0 и рассмотрим

E|ξn − ξ|r P |ξn − ξ| ≥ ε = P |ξn − ξ|r ≥ εr ≤ −→n→∞ 0. εr Здесь было применено неравенство Маркова и условие сходимости в среднем порядка r . 6 / 23 3 §3.3. Закон больших чисел Пусть ξ1 , ξ2 , . . . , ξn , . . . — бесконечная последовательность случайных величин. Смысл закона больших чисел (ЗБЧ) заключается в следующем: для больших n, значение n 1X ξk ≈ const n k=1 – среднее арифметическое – становится практически не случайным и близким по значению к некоторой постоянной. Далее мы проясним точный смысл этого утверждения и условия выполнения ЗБЧ. 7 / 23 3 Закон больших чисел Определение 3.5 (Закон больших чисел) Пусть ξ1 , ξ2 , . . . , ξn , . . . — бесконечная последовательность случайных величин, имеющих математическое ожидание µn = Eξn , n = 1, 2, . . . . Говорят, что для последовательности выполняется закон больших чисел, если n
P 1X (3) ξk − µk −→n→∞ 0 n k=1 что означает, что ∀ ε > 0 P n n k=1 k=1 1X 1X ξk − µk ≥ ε n n ! −→n→∞ 0. (4) Говорят, что для последовательности выполняется усиленный закон больших чисел (УЗБЧ), если в (3) имеет место сходимость п.н. (с 8 / 23 вероятностью 1). 3 ЗБЧ Маркова Возникает естественный вопрос: при каких условиях для последовательности с.в. имеет место закон больших чисел? Теорема 3.1 (Теорема Маркова) Пусть ξ1 , ξ2 , . . . , ξn , . . . — последовательность случайных величин таких, что для любого n ∈ N P D ( nk=1 ξk ) = D(ξ1 + ξ2 + · · · + ξn ) < ∞. Кроме того, предположим, что n X 1 D ξk n2 ! −→n→∞ 0. (5) k=1 Тогда для последовательности выполняется ЗБЧ. 9 / 23 3 Доказательство. Докажем (4). Фиксируем произвольное ε > 0. По неравенству Чебышева имеем !
P P n n D n1 nk=1 ξk D ( nk=1 ξk ) (5) 1X 1X P ξk − µk ≥ ε ≤ = → 0. n n ε2 n 2 ε2 k=1 k=1 10 / 23 3 ЗБЧ Чебышева Теорема 3.2 (Теорема Чебышева) Пусть ξ1 , ξ2 , . . . , ξn , . . . — последовательность попарно независимых случайных величин с конечными дисперсиями, причем σk2 = D(ξk ) ≤ L < ∞. (6) Тогда для последовательности выполняется ЗБЧ. Доказательство. Теорема 3.2 следует из теоремы 3.1 (теоремы Маркова). Действительно, мы имеем ! ! n n X 1 1 X 2 (6) n L L D ξk = 2 σk ≤ 2 = −→n→∞ 0. n2 n n n k=1 k=1 Следовательно, условие (5) теоремы Маркова удовлетворены и ЗБЧ 11 / 23 3 УЗБЧ Хинчина Теорема 3.3 (Теорема Хинчина (УЗБЧ)) Пусть ξ1 , ξ2 , . . . , ξn , . . . — последовательность независимых одинаково распределенных случайных величин с математическим ожиданием Eξk = µ, k = 1, 2, . . . . Тогда n n k=1 k=1 1X 1X п.н. п.н. (ξk − µ) −→ 0 ⇐⇒ ξk −→ µ n n то есть для последовательности имеет место УЗБЧ. (Без доказательства). 12 / 23 3 Следствия Следствие 3.1 (ЗБЧ для одинаково распределенных с.в.) Пусть ξ1 , ξ2 , . . . , ξn , . . . — последовательность попарно независимых одинаково распределенных случайных величин с конечной дисперсией σ 2 = D(ξ1 ) < ∞. Тогда ЗБЧ выполняется, причем n 1X P ξk −→n→∞ µ = Eξ1 . n (7) k=1 Доказательство. Заметим, что условие (6) теоремы Чебышева выполнено D(ξn ) = D(ξ1 ) = σ 2 < ∞. Следовательно, ЗБЧ имеет место. Кроме того, n 1X nµ µk = = µ, n n k=1 поэтому в этом случае (3) трансформируется в (7). 13 / 23 3 Резюмируем. В большинстве важных и часто возникающих в приложениях случаях, когда ξk , k = 1, 2, . . . , независимы, имеют одинаковое распределение и σ 2 = D(ξ1 ) < ∞ закон больших чисел выполняется. Кроме того, в этом случае ЗБЧ имеет вид: n 1X P ξk −→n→∞ µ = Eξ1 , n k=1 и это соотношение означает. что для любого ε > 0, ! n 1X P ξk − µ ≥ ε −→n→∞ 0. n k=1 14 / 23 3 ЗБЧ в схеме Бернулли Вспомним, что мы имели дело с законом больших чисел в схеме испытаний Бернулли, который выглядел так: для любого ε > 0  ν  n P − p ≥ ε −→n→∞ 0, n (8) где νn – число успехов в n испытаниях, p – вероятность успеха в одном испытании. Следствие 3.2 (ЗБЧ в схеме Бернулли) Рассмотрим последовательность испытаний Бернулли с вероятностью p успеха в каждом испытании. Мы имеем νn P −→n→∞ p n (9) что эквивалентно (8). 15 / 23 3 Доказательство. Фактически, (9) (и следовательно, (8)) вытекают из следствия 3.1 (которое следует из теоремы Чебышева). Вспомним, что число успехов νn может быть представлено в виде: νn = ξ1 + ξ2 + · · · + ξn = n X ξk , k=1 где ξk — индикатор успеха в k−м испытании: ( 1, в случае успеха в k-м испытании, ξk = 0, в случае неудачи в k-м испытании, k = 1, 2, . . . , n. Случайные величины ξk , k = 1, 2, . . . независимы (т.к. испытания Бернулли независимые) и имеют одинаковое распределение (Бернулли) с Eξi = p и Dξi = p(1 − p). Тогда по следствию 3.1 n 1X νn P = ξk −→n→∞ Eξ1 = p, что означает (8). n n 16 / 23 3 Центральная предельная теорема (ЦПТ) §3.4. Центральная предельная теорема Пусть ξ1 , ξ2 , . . . , ξn , . . . — последовательность случайных величин с конечными дисперсиями. Обозначим µk = Eξk , σk2 = D(ξk ), и для каждого n ∈ N определим частичную сумму Sn = ξ 1 + ξ 2 + · · · + ξ n . и нормированную сумму Sn − ESn Sn0 = p . D(Sn ) Суть центральной предельной теоремы в том, что распределение Sn0 сходится к стандартному нормальному закону при n → ∞. То есть для достаточно больших n оно может приближенно рассматриваться как стандартное нормальное. 17 / 23 3 Более точно: Определение 3.6 (Центральная предельная теорема) Говорят, что для последовательности ξ1 , ξ2 , . . . , ξn , . . . имеет место центральная предельная теорема, если d Sn0 −→n→∞ Z ∼ N(0, 1), что означает, что P Sn0
0 Pn Ln = k=1 E|ξk − Bn2+δ µk |2+δ −→n→∞ 0, то имеет место центральная ЦПТ, то есть   Z x
S n − An 1 2 e −t /2 dt P Sn < x = P < x −→n→∞ Φ(x) = √ Bn 2 π −∞ для любого x ∈ R. 23 / 23