Формула полной вероятности. Теорема Байеса. Последовательные испытания. Схема Бернулли

Национальный Исследовательский Университет Высшая Школа Экономики. (Департамент Математики) Грибкова Надежда Викторовна Теория Вероятностей и Математическая Статистика (лекция 3) Санкт-Петербург, 2021 1 / 23 1 §1.11 Формула полной вероятности. Теорема Байеса Определение 1.1 Пусть (Ω, A, P) – вероятностное пространство. Совокупность событий {Hn ∈ A, n = 1, 2, 3, . . . } (конечная либо счетная) называется полной системой событий, если 1) H Si ∩ Hj = ∅, i 6= j, (т.е., события попарно несовместны) 2) n Hn = Ω (их сумма есть достоверное событие Ω) Теорема 1.1 (Формула полной вероятности) Пусть Hn , n = 1, 2, 3, . . . образуют полную систему событий (гипотез). При этом P(Hn ) 6= 0, n = 1, 2, . . . . Тогда для любого события A ∈ A X P(A) = P(A |Hn )P(Hn ). (1) n 2 / 23 1 Формула (1) содержит важное соотношение между условными и безусловными вероятностями. Сумма в (1) может быть конечной, либо счетной (т.е. рядом). Доказательство. Вначале пишем A=A∩Ω=A∩ [ n  [ Hn = (A ∩ Hn ) n Поскольку Hi ∩ Hj = ∅, i 6= j, мы имеем (A ∩ Hi ) ∩ (A ∩ Hj ) = ∅ для всех i 6= j. Следовательно, по аксиоме A.3 (счетной аддитивности) [  X X P(A) = P (A ∩ Hn ) = P(A ∩ Hn ) = P(A |Hn ) · P(Hn ), n n n где в последнем равенстве мы применили теорему умножения для двух событий. Теорема доказана. 3 / 23 1 Теорема Байеса Иногда в результате опыта известно, что наступило некоторое событие A (получена информация) и мы хотим переоценить вероятности событий Hn , n = 1, 2, 3, . . . , с учетом полученной информации. В этом контексте мы называем P(Hn ) — априорными (до опыта) вероятностями гипотез; P(Hn |A) — апостериорными (после опыта) вероятностями гипотез, n = 1, 2, 3, . . . . Теорема 1.2 (Теорема Байеса) Пусть Hn , n = 1, 2, 3, . . . – полная система событий (гипотез), P(Hn ) 6= 0, n = 1, 2, . . . , и A ∈ A – некоторое событие, P(A) 6= 0. Тогда для любого события из группы гипотез P(A |Hk )P(Hk ) P(Hk |A) = P , k = 1, 2, . . . . n P(A |Hn )P(Hn ) (2) 4 / 23 1 Доказательство. Для любого фиксированного k = 1, 2, . . . мы имеем P(Hk |A) = P(A ∩ Hk ) P(A |Hk )P(Hk ) =P P(A) n P(A |Hn )P(Hn ) Пример 1.1 В семье три дочери: Алиса, Бетси и Шарлотта. Каждый раз после обеда одна из дочерей моет посуду. Известно, что Алиса моет посуду в 60% случаев, Бетси – в 30% и Шарлотта (как младшая) моет посуду в 10% случаев. Вероятность разбить что-то при мытье посуды для Алисы составляет 0.01, для Бетси – 0.03, для Шарлотты – 0.05. После обеда из кухни послышался звон разбитой посуды. Кто вероятней всего мыл сегодня посуду? 5 / 23 1 Пример 1.1 (продолжение) События H1 = {Алиса мыла посуду}, H2 = {Бетси мыла посуду}, H3 = {Шарлотта мыла посуду} образуют полную систему событий (гипотез), поскольку эти события несовместны (одновременно не происходят) и H1 ∪ H2 ∪ H3 = Ω. P(H1 ) = 0.6, P(H2 ) = 0.3, P(H3 ) = 0.1 – априорные вероятности. Определим событие A = {что-то из посуды разбито}. Условные вероятности события A: P(A |H1 ) = 0.01, P(A |H2 ) = 0.03, P(A |H3 ) = 0.05 По теореме Байеса P(A |Hk )P(Hk ) , k = 1, 2, 3. P(Hk |A) = P3 n=1 P(A |Hn )P(Hn ) 6 / 23 1 Пример 1.1 (продолжение) Для k = 1 (Алиса) P(H1 |A) = 0.01 · 0.6 0.006 6 = = . 0.01 · 0.6 + 0.03 · 0.3 + 0.05 · 0.1 0.02 20 Для k = 2 (Бетси) P(H2 |A) = 0.03 · 0.3 0.009 9 = = . 0.01 · 0.6 + 0.03 · 0.3 + 0.05 · 0.1 0.02 20 Для k = 3 (Шарлотта) P(H3 |A) = 0.005 5 0.05 · 0.1 = = . 0.01 · 0.6 + 0.03 · 0.3 + 0.05 · 0.1 0.02 20 Следовательно, вероятней всего – посуду мыла Бетси (при условии, что что-то разбито). 7 / 23 1 Пример 1.2 Имеется две урны: I и II. В урне I лежат 5 красных шаров и 3 белых, в урне II лежит 3 красных шара и 1 белый шар. Из урны I случайным образом (не глядя) перекладываем 2 два шара в урну II, затем из урны II вынимаем наудачу один шар. Какова вероятность события A = {вынутый шар – белый}? Решение. Мы не знаем сколько шаров каждого цвета в урне II. Но мы можем ввести гипотезы: H1 = {2 красных шара были переложены во вторую урну}, H2 = {2 белых шара были переложены во вторую урну}, H3 = {1 красный и 1 белый шар были переложены во вторую урну}, и эти гипотезы образуют полную систему событий, поскольку они несовместны и H1 ∪ H2 ∪ H3 = Ω. Тогда, по формуле полной вероятности 3 X P(A) = P(A |Hn ) · P(Hn ) n=1 8 / 23 1 Пример 1.2 (продолжение) Вычислим все вероятности, входящие в формулу: P(H1 ) = 5 8 · 4 7 = 5 14 , P(H3 ) = 5 8 · 3 7 + 3 8 · P(H2 ) = 5 7 =2· 5 8 · 3 7 = 3 8 · 2 7 = 3 28 , 15 28 . Вычислим условные вероятности события A: P(A |H1 ) = 16 , P(A |H2 ) = 3 6 = 12 , P(A |H3 ) = 2 6 = 13 . Подставляя найденные значения в формулу полной вероятности, получаем P(A) = 3 X n=1 P(A |Hn ) · P(Hn ) = 1 3 1 15 7 1 5 · + · + · = 6 14 2 28 3 28 24 9 / 23 1 §1.12 Последовательные испытания. Схема Бернулли Если эксперимент представляет собой последовательность независимых опытов, производимых в одних и тех же условиях, мы говорим, что имеется последовательность независимых испытаний. Независимость понимается в том смысле, что события, относящиеся к разным опытам (к разным шагам последовательности) являются независимыми в совокупности. В частном случае, когда на каждом шаге последовательности (в каждом отдельном опыте) имеется только два возможных исхода: A и A, мы называем этот эксперимент последовательностью испытаний Бернулли. Поскольку испытания на каждом шаге последовательности производятся в одних и тех же условиях, событие A происходит в каждом испытании с одной и той же вероятностью p = P(A). 10 / 23 1 В терминологии схемы Бернулли событие A называется "успехом" , а противоположное событие A — "неудачей" . p = P(A) — называют вероятностью успеха в отдельном испытании, q = 1 − p = P(A) — вероятностью неудачи. Пример 1.3 Кость (кубик) подброшена 3 раза. Будем считать успехом наступление события A = {на верхней грани появилась цифра 6}. Исходы этого эксперимента Ω = {ωk , k = 1, . . . , 7}, где ω0 = {A, A, A}, ω1 = {A, A, A}, ω2 = {A, A, A}, ω3 = {A, A, A}, ω4 = {A, A, A}, ω5 = {A, A, A}, ω6 = {A, A, A}, ω7 = {A, A, A}. 11 / 23 1 Пример 1.3 (продолжение)
3 P(ω0 ) = 56 ;
2 P(ωi ) = 61 56 , i = 1, 2, 3;
2 P(ωi ) = 16 56 , i = 4, 5, 6;
3 P(ω7 ) = 16 . P("6"выпало в точности 1 раз) = P3 P("6"выпало в точности 2 раза) = i=1 P(ωi ) P6 = 3 61
5 2 6 =3
1 2 5 6 6 i=4 P(ωi ) – 1 успех. - 2 успеха. Имея в виду будущее, посмотрим на множитель 3, как на C31 = C32 = 3. 12 / 23 1 Формула Бернулли Пусть имеется последовательность испытаний Бернулли с вероятностью успеха P(A) = p. Рассмотрим первые n испытаний. Обозначим Pn (m) = P{успех A произошел в точности m раз в n испытаниях}. Теорема 1.3 (Формула Бернулли) Pn (m) = Cnm p m (1 − p)n−m (3) Доказательство. Обозначим Sk = {в k-м испытании событие A (успех) произошло} и Fk = {в k-м испытании событие A (неудача) произошло}. Тогда все исходы эксперимента могут быть записаны в виде цепочек: S1 ∩ F2 ∩ · · · ∩ Sn . Общее число таких (несовместных) цепочек равно 2n . Нас интересуют цепочки, в которых буква S (успех) встречается m раз. 13 / 23 1 продолжение доказательства. 1) Рассмотрим сначала случаи m = 0 и m = n. Мы имеем Pn (0) = P(F1 ∩ F2 · · · ∩ Fn ) = (1 − p)n , Pn (n) = P(S1 ∩ S2 · · · ∩ Sn ) = p n . 2) Теперь пусть 1 ≤ m ≤ n − 1. Вероятность любой из цепочек, в которой есть m букв S и (n − m) букв F (стоящих на определенных местах) равна p m (1 − p)n−m (и одинакова для всех таких цепочек). Каждая такая цепочка благоприятствует наступлению события B = {успех произошел в точности m раз}. Сколько всего таких цепочек, в которых буква S встречается m? Число таких цепочек числу способов выбрать m позиций из n, чтобы поставить там букву S, то есть Cnm . Таким образом, Pn (m) = P{успех произошел в точности m раз} = Cnm p m (1 − p)n−m Поскольку 0! = 1 (по определению), мы имеем Cn0 = Cnn = 1, поэтому результаты для случаев m = 0 и n = n (случай 1)) также соответствуют формуле (3). 14 / 23 1 Пусть m1 , m2 – целые числа, 0 ≤ m1 < m2 ≤ n. Обозначим Pn (m1 , m2 ) = P{A (успех) произошел хотя бы m1 раз, но не более, чем m2 раз}. Теорема 1.4 Pn (m1 , m2 ) = m2 X Cnk p k (1 − p)n−k k=m1 =1 − mX 1 −1 k=0 Cnk p k (1 − p)n−k − n X Cnk p k (1 − p)n−k (4) k=m2 +1 Вычисления производят по той части формулы (4), в которой меньше слагаемых. 15 / 23 1 Доказательство. Пусть νn обозначает число появлений успеха в n испытаниях Бернулли. Тогда мы можем написать Pn (m1 , m2 ) =P(m1 ≤ νn ≤ m2 ) = m2 X P(νn = k) = k=m1 m2 X Pn (k) k=m1   =1 − P {νn < m1 } или {νn > m2 } =1 − m1 X k=0 P(νn = k) − n X P(νn = k), k=m2 +1 где P(νn = k) = Cnk p k (1 − p)n−k , откуда следует (4). 16 / 23 1 Следствие 1.1 Для вероятности того, что успех произошел хотя бы один раз в n испытаниях, мы имеем Pn (1, n) = 1 − (1 − p)n Доказательство. Pn (1, n) = P(νn ≥ 1) = n X Cnk p k (1 − p)n−k k=1 =1 − P(νn < 1) = 1 − Pn (νn = 0) = 1 − (1 − p)n 17 / 23 1 Пример 1.4 Кость (идеальный кубик) подброшена 10 раз. Найти вероятность того, что "6" очков выпало по крайней мере 2 раза. По теореме 1.4 находим Pn (2, 10) = 10 X k=2 k C10  10  9  k  10−k 5 5 5 1 1 1 = 1 − C10 − C10 = 6 6 6 6 6  10    10 5 5 1 5 9 =1− − 10 =1−3 ≈ 0.8384944. 6 6 6 6 18 / 23 1 Наивероятнейшее число успехов в n испытаниях Число успехов в схеме n испытаний Бернулли может принимать значения m = 0, 1, . . . , n с вероятностями соответственно Pn (m) = P(νn = m) = Cnm p m (1 − p)n−m . Обозначим mn∗ наиболее вероятное число успехов, то есть точку максимума вероятности: Pn (mn∗ ) ≥ Pn (m), m = 0, 1, . . . , n. Теорема 1.7 Наивероятнейшее число успехов mn∗ удовлетворяет неравенствам (n + 1)p − 1 ≤ mn∗ ≤ (n + 1)p. (5) Заметим, что неравенства (5) могут быть записаны в эквивалентной форме: np − q ≤ mn∗ ≤ np + p, где q − 1 − p. 19 / 23 1 Замечание 1.1 Заметим, что разность между величиной в правой части неравенств
(5) и величиной в левой части равна L = (n + 1)p − (n + 1)p − 1 = 1 и что только одно целое число может попасть в интервал на прямой единичной длины, или два целых числа, если граничные точки этого интервала – целые числа. Таким образом, если число (n + 1)p не целое, мы имеем mn∗ = [(n + 1)p] – целая часть числа (n + 1)p, в противном случае есть два наивероятнейших числа успехов, имеющие одинаковую вероятность: 1) mn∗ = (n + 1)p = np + p, 2) mn∗ = (n + 1)p − 1 = np − q 20 / 23 1 Доказательство. Рассмотрим отношение вероятностей Pn (m) C m p m (1 − p)n−m = m−1n m−1 Pn (m − 1) Cn p (1 − p)n−m+1 p n! (m − 1)!(n − m + 1)! p n−m+1 = · · = · =: r 1 − p m!(n − m)! n! 1−p m Заметим, что Pn (m) > Pn (m − 1) ⇔ r > 1 ⇔ p n−m+1 · > 1 ⇔ p(n + 1) − mp > m − mp ⇔ p(n + 1) > m 1−p m 21 / 23 1 продолжение доказательства. Таким образом, мы имеем 1) Pn (m) > Pn (m − 1) если m < (n + 1)p; 2) Pn (m) = Pn (m − 1) если m = (n + 1)p; 3) Pn (m) < Pn (m − 1) если m > (n + 1)p. Следовательно, Pn (m) вначале возрастает по m, пока m < (n + 1)p,и затем убывает, когда m > (n + 1)p. Значит, если число (n + 1)p не целое, то для наивероятнейшего числа успехов mn∗ должны выполняться неравенства: Pn (mn∗ + 1) < Pn (mn∗ ), что в силу 3) возможно, когда mn∗ + 1 > (n + 1)p Pn (mn∗ − 1) < Pn (mn∗ ), что в силу 1) возможно, когда mn∗ < (n + 1)p. Таким образом, (n + 1)p − 1 ≤ mn∗ ≤ (n + 1)n, откуда следует (5). 22 / 23 1 конец доказательства. Остается заметить, что если (n + 1)p целое, то (n + 1)p = np + p будет наиболее вероятным числом успехов, но тогда, в силу 2), число (n + 1)p − 1 = np − q также является наиболее вероятным числом успехов, и их вероятности одинаковые. 23 / 23