Предельные теоремы теории вероятностей

Лекция 9. Тема: Примеры распределений случайных величин. Предельные теоремы теории вероятностей. Говорят, что пара случайных величин (𝑋, 𝑌) имеет двумерное нормальное распределение, если совместная плотность этой пары имеет вид 𝑓𝑋𝑌 (𝑥, 𝑦) = 1 2𝜋𝜎𝑥 𝜎𝑦 √1−𝜌 где 𝑄(𝑥, 𝑦) = ( 𝑥−𝑎𝑥 2 ) 𝜎𝑥 − 2𝜌 𝑥−𝑎𝑥 𝜎𝑥 ∙ 𝑒 2 − 1 𝑄(𝑥,𝑦) 2(1−𝜌2 ) 𝑦−𝑎𝑦 𝜎𝑦 +( , (1) 𝑦−𝑎𝑦 2 ) . 𝜎𝑦 Таким образом, двумерное нормальное распределение определяется пятью параметрами 𝑎𝑥 , 𝑎𝑦 , 𝜎𝑥2 , 𝜎𝑦2 , 𝜌, где 𝜎𝑥 > 0, 𝜎𝑦 > 0, −1 < 𝜌 < 1. Как мы знаем, из совместной плотности (1) пары (𝑋, 𝑌) можно найти плотности 𝑓𝑋 (𝑥) и 𝑓𝑌 (𝑦) случайных величин 𝑋 и 𝑌. Приведем только результаты: 2 2 1 𝑓𝑋 (𝑥) = 𝜎 𝑒 −(𝑥−𝑎𝑥 ) ⁄(2𝜎𝑥 ) , (2) 𝑥 √2𝜋 𝑓𝑌 (𝑦) = 𝜎 1 𝑦 √2𝜋 𝑒 −(𝑦−𝑎𝑦 ) 2 ⁄(2𝜎𝑦2 ) . (3) Таким образом, 𝑋 ∼ 𝒩(𝑎𝑥 , 𝜎𝑥2 ), 𝑌 ∼ 𝒩(𝑎𝑦 , 𝜎𝑦2 ). Параметры 𝑎𝑥 , 𝑎𝑦 , 𝜎𝑥2 , 𝜎𝑦2 являются математическими ожиданиями и дисперсиями случайных величин 𝑋 и 𝑌. Если ℎ(𝑥, 𝑦) – борелевская функция двух переменных, то ℎ(𝑋, 𝑌) – случайная величина (борелевскими являются непрерывные функции). Математическое ожидание случайной величины ℎ(𝑋, 𝑌) можно найти по формуле +∞ +∞ 𝑀(ℎ(𝑋, 𝑌)) = ∫−∞ ∫−∞ ℎ(𝑥, 𝑦)𝑓𝑋𝑌 (𝑥, 𝑦)𝑑𝑥𝑑𝑦 . (4) По формуле (4) можно найти ковариацию случайных величин 𝑋 и 𝑌. Приведем только результат: +∞ +∞ 𝑐𝑜𝑣(𝑋, 𝑌) = ∫−∞ ∫−∞ (𝑥 − 𝑎𝑥 )(𝑦 − 𝑎𝑦 )𝑓𝑋𝑌 (𝑥, 𝑦)𝑑𝑥𝑑𝑦 = 𝜌 𝜎𝑥 𝜎𝑦 . (5) Из формулы (5) следует, что 𝜌 – коэффициент корреляции 𝑟(𝑋, 𝑌): 𝑐𝑜𝑣(𝑋,𝑌) 𝑟(𝑋, 𝑌) = 𝜎 𝜎 = 𝜌. 𝑥 𝑦 Заметим, что по формуле (4) можно найти и остальные четыре параметра: +∞ +∞ 𝑀(𝑋) = ∫−∞ ∫−∞ 𝑥𝑓𝑋𝑌 (𝑥, 𝑦)𝑑𝑥𝑑𝑦 = 𝑎𝑥 , +∞ +∞ +∞ +∞ 𝐷(𝑋) = ∫−∞ ∫−∞ (𝑥 − 𝑎𝑥 )2 𝑓𝑋𝑌 (𝑥, 𝑦)𝑑𝑥𝑑𝑦 = 𝜎𝑥2 , +∞ +∞ 𝑀(𝑌) = ∫−∞ ∫−∞ 𝑦𝑓𝑋𝑌 (𝑥, 𝑦)𝑑𝑥𝑑𝑦 = 𝑎𝑦 , 2 𝐷(𝑌) = ∫−∞ ∫−∞ (𝑦 − 𝑎𝑦 ) 𝑓𝑋𝑌 (𝑥, 𝑦)𝑑𝑥𝑑𝑦 = 𝜎𝑦2 . Отметим важное свойство нормально распределенных случайных величин. Как известно, если случайные величины 𝑋 и 𝑌 независимы, то 𝑟(𝑋, 𝑌) = 0, т.е. эти случайные величины некоррелированы. В общем случае из некоррелированности случайных величин не следует их независимость. Но если 𝑋 ∼ 𝒩(𝑎𝑥 , 𝜎𝑥2 ), 𝑌 ∼ 𝒩(𝑎𝑦 , 𝜎𝑦2 ) и 𝑟(𝑋, 𝑌) = 0, то в совместной плотности (1) случайных величин 𝑋 и 𝑌 параметр 𝜌 = 𝑟(𝑋, 𝑌) = 0. Следовательно, их совместная плотность имеет вид 1 1 𝑓𝑋𝑌 (𝑥, 𝑦) = 2𝜋𝜎 𝑥 𝜎𝑦 где 𝑄(𝑥, 𝑦) = ( 𝑥−𝑎𝑥 2 ) 𝜎𝑥 +( 𝑒 −2𝑄(𝑥,𝑦) , (6) 𝑦−𝑎𝑦 2 ) . 𝜎𝑦 Но тогда 𝑓𝑋𝑌 (𝑥, 𝑦) = 𝑓𝑋 (𝑥)𝑓𝑌 (𝑦), что означает независимость случайных величин 𝑋 и 𝑌. Таким образом, в случае нормально распределенных случайных величин 𝑋 и 𝑌 их независимость равносильна их некоррелированности. Пусть пара случайных величин (𝑋, 𝑌) имеет двумерное нормальное распределение (1). 1 Зная совместную плотность (1) и частные плотности (2)-(3) случайных величин 𝑋 и 𝑌, можно найти условные плотности 𝜙(𝑦|𝑥) = 𝑓𝑋𝑌 (𝑥, 𝑦)⁄𝑓𝑋 (𝑥), 𝜙(𝑥|𝑦) = 𝑓𝑋𝑌 (𝑥, 𝑦)⁄𝑓𝑌 (𝑦) и +∞ условные математические ожидания (функции регрессии) 𝑀𝑥 (𝑌) = ∫−∞ 𝑦𝜙(𝑦|𝑥) 𝑑𝑦, 𝜎𝑦 +∞ 𝑀𝑦 (𝑋) = ∫−∞ 𝑥𝜙(𝑥|𝑦) 𝑑𝑥. Интегрирование приводит к формулам 𝑀𝑥 (𝑌) = 𝑎𝑦 + 𝜌 𝜎 (𝑥 − 𝑥 𝜎 𝑎𝑥 ), 𝑀𝑦 (𝑋) = 𝑎𝑥 + 𝜌 𝜎𝑥 (𝑦 − 𝑎𝑦 ). 𝑦 Функцию 𝑀𝑥 (𝑌) одной переменной x мы назвали функцией регрессии 𝑌 на 𝑋. Она является оптимальной в среднеквадратическом смысле оценкой для 𝑌. Таким образом, если пара случайных величин (𝑋, 𝑌) имеет двумерное нормальное распределение, то оптимальная в среднеквадратическом смысле оценка для 𝑌 принадлежит классу линейных функций. Функция 𝑀𝑥 (𝑌) используется для оценки среднего значения 𝑌 при заданном значении 𝑋=x. Аналогично, функцию 𝑀𝑦 (𝑋) одной переменной y мы назвали функцией регрессии X на Y. Она является оптимальной в среднеквадратическом смысле оценкой для X. Таким образом, если пара случайных величин (𝑋, 𝑌) имеет двумерное нормальное распределение, то оптимальная в среднеквадратическом смысле оценка для X принадлежит классу линейных функций. Функция 𝑀𝑦 (𝑋) используется для оценки среднего значения X при заданном значении Y=y. Кроме рассмотренных нами нормально распределенных случайных величин, рассмотрим еще два примера абсолютно непрерывных случайных величин и найдем их математические ожидания и дисперсии. Но сначала рассмотрим 5 примеров дискретных случайных величин и найдем их математические ожидания и дисперсии. Так как нормально распределенные случайные величины занимают особое место среди случайных величин, мы их рассмотрели в первую очередь. Говорят, что случайная величина 𝑋 имеет распределение Бернулли с параметром p, если 𝑋 принимает значения 1 и 0 с вероятностями p и 𝑞 = 1 − 𝑝 соответственно. Распределение 𝑋 можно задать в виде таблицы 𝑋 0 1 P 𝑞 p Такое распределение имеет случайная величина 𝑋, равная числу успехов в одном испытании в схеме Бернулли с вероятностью успеха p. Ясно, что 𝑀(𝑋) = 𝑝, 𝑀(𝑋 2 ) = 𝑝, 𝐷(𝑋) = 𝑀(𝑋 2 ) − [𝑀(𝑋)]2 = 𝑝 − 𝑝2 = 𝑝(1 − 𝑝) = 𝑝𝑞. (7) Говорят, что случайная величина 𝑋 имеет биномиальное распределение с параметрами n и p, где n – натуральное число, а 0 < 𝑝 < 1, если случайная величина 𝑋 принимает значения 𝑚 = 0,1, . . . , 𝑛 с вероятностями 𝑃(𝑋 = 𝑚) = 𝐶𝑛𝑚 𝑝𝑚 𝑞 𝑛−𝑚 . Распределение 𝑋 можно задать в виде таблицы … … 𝑛 𝑋 0 1 𝑚 𝑛 𝑚 𝑚 𝑛−𝑚 𝑛−1 P 𝑞 𝑛𝑝𝑞 … 𝐶𝑛 𝑝 𝑞 … 𝑝𝑛 Такое распределение имеет случайная величина 𝑋, равная числу успехов в 𝑛 испытаниях Бернулли c вероятностью успеха 𝑝. Прежде, чем найти математическое ожидание и дисперсию случайной величины с биномиальным распределением, обсудим необходимые для этого формулы. Как мы знаем, если случайные величины 𝑌 и 𝑍 имеют математические ожидания, то справедлива формула 𝑀(𝑌 + 𝑍) = 𝑀(𝑌) + 𝑀(𝑍). Методом математической индукции эту формулу можно обобщить для суммы 𝑛 случайных величин: 𝑀(∑𝑛𝑖=1 𝑋𝑖 ) = ∑𝑛𝑖=1 𝑀(𝑋𝑖 ). (8) Что касается дисперсии, как известно, если случайные величины 𝑌 и 𝑍 независимы, то 𝐷(𝑌 + 𝑍) = 𝐷(𝑌) + 𝐷(𝑍), а в общем случае, 𝐷(𝑌 + 𝑍) = 𝐷(𝑌) + 𝐷(𝑍) + 2𝑐𝑜𝑣(𝑌, 𝑍). Методом математической индукции эти формулы можно обобщить для суммы 𝑛 случайных величин: 𝐷(∑𝑛𝑖=1 𝑋𝑖 ) = ∑𝑛𝑖=1 𝐷(𝑋𝑖 ) (9) 2 в случае независимых случайных величин 𝑋1 , … , 𝑋𝑛 , а в общем случае 𝐷(∑𝑛𝑖=1 𝑋𝑖 ) = ∑𝑛𝑖=1 𝐷(𝑋𝑖 ) + 2 ∑𝑖<𝑗 𝑐𝑜𝑣(𝑋𝑖 , 𝑋𝑗 ). (10) Вернемся к случайной величине 𝑋, равной числу успехов в 𝑛 испытаниях Бернулли c вероятностью успеха 𝑝. Случайная величина 𝑋 имеет биномиальное распределение с параметрами n и p и может бать разложена в виде 𝑋 = ∑𝑛𝑖=1 𝑋𝑖 , где 𝑋𝑖 - случайная величина, равная числу успехов в i-м испытании в схеме Бернулли. Случайная величина 𝑋𝑖 имеет распределение Бернулли с параметром p. Так как в схеме Бернулли события, относящиеся разным испытаниям, являются независимыми в совокупности, то 𝑋1 , … , 𝑋𝑖 , … , 𝑋𝑛 – независимые одинаково распределенные случайные величины. По формулам (8)-(9) и (7) 𝑀(𝑋) = 𝑀(∑𝑛𝑖=1 𝑋𝑖 ) = ∑𝑛𝑖=1 𝑀(𝑋𝑖 ) = 𝑛𝑝, 𝐷(𝑋) = 𝐷(∑𝑛𝑖=1 𝑋𝑖 ) = ∑𝑛𝑖=1 𝐷(𝑋𝑖 ) = 𝑛𝑝𝑞. Говорят, что случайная величина 𝑋 имеет гипергеометрическое распределение с параметрами n, N и M, где n, N, M – натуральные числа, удовлетворяющие условиям 𝑛 ≤ 𝑁, 𝑀 ≤ 𝑁, если случайная величина 𝑋 принимает целые неотрицательные значения m, удовлетворяющие условиям 𝑚 ≤ 𝑀, 𝑚 ≤ 𝑛, 𝑛 − 𝑚 ≤ 𝑁 − 𝑀, с вероятностями 𝑃(𝑋 = 𝑚) = 𝑚 𝑛−𝑚 𝐶𝑀 𝐶𝑁−𝑀 𝑛 𝐶𝑁 . Гипергеометрическое распределение имеет случайная величина 𝑋, равная числу белых шаров среди n шаров, выбранных случайным образом (без возвращения) из урны, в которой N шаров, среди которых M белых шаров и 𝑁 − 𝑀 не белых. N Белые шары Не белые шары n M N-M m n-m Пусть n шаров извлекаются из урны по одному без возвращения и результат каждого извлечения фиксируется. Тогда 𝑋 можно разложить: 𝑋 = ∑𝑛𝑖=1 𝑋𝑖 , где 𝑋𝑖 - число белых шаров при i-м извлечении. Ясно, что 𝑋𝑖 имеет распределение Бернулли. Так как шары извлекаются наугад, то параметр 𝑝 = 𝑃(𝑋𝑖 = 1) найдем по классической схеме. Результатом извлечения являются упорядоченные комбинации. Общее число исходов равно числу размещений без повторений из 𝑁 по n, т.е. 𝐴𝑛𝑁 . В благоприятных для события {𝑋𝑖 = 1} исходах результатом i-го извлечения является белый шар. Для такого результата один белый шар из M белых шаров можно выбрать M способами. Результаты остальных извлечений образуют размещения без повторений из 𝑁 − 1 по 𝑛 − 1. По правилу произведения, число благоприятных исходов равно 𝑀𝐴𝑛−1 𝑁−1 . По классической схеме, 𝑝 = 𝑃(𝑋𝑖 = 1) = 𝑀𝐴𝑛−1 𝑁−1 𝐴𝑛 𝑁 (𝑁−1)⋯(𝑁−𝑛+1) 𝑀 = 𝑀 𝑁(𝑁−1)⋯(𝑁−𝑛+1) = 𝑁 . Так как 𝑋1 , … , 𝑋𝑛 имеют одинаковые распределения, то по формулам (7), (8) и (11) 3 (11) 𝑀 𝑀(𝑋) = 𝑀(∑𝑛𝑖=1 𝑋𝑖 ) = ∑𝑛𝑖=1 𝑀(𝑋𝑖 ) = 𝑛 𝑁 . (12) Дисперсию случайной величины 𝑋 найдем по формуле (10), так как случайные величины 𝑋𝑖 , 𝑋𝑗 коррелированы при всех 𝑖 ≠ 𝑗. Случайная величина 𝑋𝑖 𝑋𝑗 при 𝑖 ≠ 𝑗 имеет распределение Бернулли. Значение параметра этого распределения равно 𝑃(𝑋𝑖 𝑋𝑗 = 1). Найдем его по классической схеме. Общее число исходов эксперимента равно 𝐴𝑛𝑁 . В благоприятных для события {𝑋𝑖 𝑋𝑗 = 1} исходах результатами i-го и 𝑗-го извлечений является белый шар. Для такого результата два белых шара из M белых шаров можно выбрать 𝐴2𝑀 способами. Результаты остальных извлечений образуют размещения без повторений из 𝑁 − 2 по 𝑛 − 2. По правилу произведения, число благоприятных исходов равно 𝐴2𝑀 𝐴𝑛−2 𝑁−2 . По классической схеме, 𝐴2𝑀 𝐴𝑛−2 𝑁−2 𝑃(𝑋𝑖 𝑋𝑗 = 1) = 𝐴𝑛 𝑁 (𝑁−2)⋯(𝑁−𝑛+1) = 𝑀(𝑀 − 1) 𝑁(𝑁−1)⋯(𝑁−𝑛+1) = 𝑀(𝑀−1) 𝑁(𝑁−1) . (13) Отсюда при 𝑖 ≠ 𝑗, с учетом формул (7), (12) и (13), 𝑀(𝑀−1) 𝑀 𝑀 1 𝑀 𝑀 𝑝𝑞 𝑐𝑜𝑣(𝑋𝑖 , 𝑋𝑗 ) = 𝑀(𝑋𝑖 𝑋𝑗 ) − 𝑀(𝑋𝑖 )𝑀(𝑋𝑗 ) = 𝑁(𝑁−1) − 𝑁 ∙ 𝑁 = − 𝑁−1 ∙ 𝑁 (1 − 𝑁 ) = − 𝑁−1, (14) 𝑀 где 𝑝 = 𝑁 , 𝑞 = 1 − 𝑝. Заметим, что формулу (10) 𝐷(∑𝑛𝑖=1 𝑋𝑖 ) = ∑𝑛𝑖=1 𝐷(𝑋𝑖 ) + 2 ∑𝑖<𝑗 𝑐𝑜𝑣(𝑋𝑖 , 𝑋𝑗 ) можно записать в эквивалентной форме 𝐷(∑𝑛𝑖=1 𝑋𝑖 ) = ∑𝑛𝑖=1 𝐷(𝑋𝑖 ) + ∑𝑖≠𝑗 𝑐𝑜𝑣(𝑋𝑖 , 𝑋𝑗 ), (15) так как 2𝑐𝑜𝑣(𝑋𝑖 , 𝑋𝑗 ) = 𝑐𝑜𝑣(𝑋𝑖 , 𝑋𝑗 ) + 𝑐𝑜𝑣(𝑋𝑗 , 𝑋𝑖 ). Число упорядоченных пар (𝑋𝑖 , 𝑋𝑗 ), где 𝑖 ≠ 𝑗, равно 𝐴2𝑛 = 𝑛(𝑛 − 1). По формулам (7), (14) и (15) 𝑝𝑞 𝑀 𝑀 𝑛−1 𝐷(∑𝑛𝑖=1 𝑋𝑖 ) = ∑𝑛𝑖=1 𝐷(𝑋𝑖 ) + ∑𝑖≠𝑗 𝑐𝑜𝑣(𝑋𝑖 , 𝑋𝑗 ) = 𝑛𝑝𝑞 − 𝑛(𝑛 − 1) 𝑁−1 = 𝑛 𝑁 (1 − 𝑁 ) (1 − 𝑁−1). Говорят, что случайная величина 𝑋 имеет геометрическое распределение с параметром p, где 0 < 𝑝 < 1, если случайная величина 𝑋 принимает значения 𝑘 = 1, 2, … с вероятностями 𝑃(𝑋 = 𝑘) = 𝑝𝑞 𝑘−1, где 𝑞 = 1 − 𝑝. Распределение 𝑋 можно задать в виде таблицы k … 𝑋 1 2 … 𝑘−1 P 𝑝 pq … 𝑝𝑞 … Такое распределение имеет случайная величина 𝑋, равная номеру первого успеха в схеме Бернулли. Найдем математическое ожидание и дисперсию этой случайной величины: ′ 1 1 𝑘−1 𝑘−1 𝑘 ′ 𝑀(𝑋) = ∑+∞ = 𝑝 ∑+∞ = 𝑝(∑+∞ 𝑘=1 𝑘 𝑝𝑞 𝑘=1 𝑘 𝑞 𝑘=0 𝑞 ) = 𝑝 (1−𝑞 ) = 𝑝, 𝑀(𝑋 2 ) = ∑ +∞ 𝑘 2 𝑝𝑞 𝑘−1 = ∑ 𝑘=1 +∞ 𝑘−1 ∑𝑘=1 𝑘 𝑝𝑞 = 𝑝𝑞 ∑+∞ 𝑘=2 𝑘(𝑘 +∞ [(𝑘 2 − 𝑘) + 𝑘] 𝑝𝑞 𝑘−1 = ∑ 𝑘=1 − 1) 𝑞 𝑘−2 1 +𝑝= 𝑘 ′′ 𝑝𝑞(∑+∞ 𝑘=0 𝑞 ) +∞ (16) (𝑘 2 − 𝑘) 𝑝𝑞 𝑘−1 + 𝑘=1 1 1 ′′ 1 + 𝑝 = 𝑝𝑞 (1−𝑞) + 𝑝 = Из формул (16) и (17) следует, что 1+𝑞 1 𝑞 𝐷(𝑋) = 𝑀(𝑋 2 ) − [𝑀(𝑋)]2 = 𝑝2 − 𝑝2 = 𝑝2. 1+𝑞 𝑝2 . (17) (18) Говорят, что случайная величина 𝑋 имеет распределение Пуассона с параметром 𝜆 > 0, если случайная величина 𝑋 принимает значения 𝑚 = 0, 1, 2, . .. с вероятностями 𝜆𝑚 𝑃(𝑋 = 𝑚) = 𝑚! 𝑒 −𝜆 . Распределение 𝑋 можно задать в виде таблицы 1 … … 𝑋 0 𝑚 𝑚 −𝜆 −𝜆 𝜆 P 𝑒 … … 𝜆𝑒 𝑒 −𝜆 𝑚! Распределение Пуассона возникло у нас в теореме Пуассона как предельное распределение для числа успехов в n испытаниях в схеме Бернулли, когда число испытаний 𝑛 велико, вероятность успеха 𝑝 мала, а значение 𝜆 = 𝑝𝑛 и не мало, и не велико. Но это 4 распределение используется в разных задачах и вне схемы Бернулли. Найдем математическое ожидание и дисперсию этой случайной величины: 𝜆𝑚 ′ 𝜆𝑚 ′ −𝜆 −𝜆 𝜆 𝑀(𝑋) = ∑+∞ = 𝑒 −𝜆 𝜆 (∑+∞ 𝑚=1 𝑚 𝑚! 𝑒 𝑚=0 𝑚! ) = 𝑒 𝜆(𝑒 ) = 𝜆, 𝜆𝑚 𝜆𝑚 2 −𝜆 2 −𝜆 𝑀(𝑋 2 ) = ∑+∞ = ∑+∞ = 𝑒 −𝜆 𝜆2 ∑+∞ 𝑚=0 𝑚 𝑚! 𝑒 𝑚=0[(𝑚 − 𝑚) + 𝑚] 𝑚! 𝑒 𝑚=2 𝑚(𝑚 − 1) 𝜆𝑚 𝜆𝑚 ′′ (19) 𝜆𝑚−2 𝑚! + 𝜆 ′′ −𝜆 −𝜆 2 2 + ∑+∞ = 𝑒 −𝜆 𝜆2 (∑+∞ (20) 𝑚=0 𝑚 𝑚! 𝑒 𝑚=0 𝑚! ) + 𝜆 = 𝑒 𝜆 (𝑒 ) + 𝜆 = 𝜆 + 𝜆. Из формул (19) и (20) следует, что 𝐷(𝑋) = 𝑀(𝑋 2 ) − [𝑀(𝑋)]2 = 𝜆2 + 𝜆 − 𝜆2 = 𝜆. (21) Говорят, что случайная величина 𝑋 имеет имеет равномерное распределение на отрезке [𝑎, 𝑏], если плотность распределения случайная величина 𝑋 имеет вид 1 , если 𝑎 ≤ 𝑥 ≤ 𝑏, 𝑓(𝑥) = {𝑏 − 𝑎 0, если 𝑥 ∉ [𝑎, 𝑏]. Равномерное распределение имеет случайная величина, равная координате x точки, выбранной наудачу из отрезка [𝑎, 𝑏]. График плотности равномерного распределения: f 1 𝑏−𝑎 x a b Функция равномерного распределения и ее график: 0, если 𝑥 ≤ 𝑎, 𝑥−𝑎 , если 𝑎 < 𝑥 ≤ 𝑏, 𝐹(𝑥) = { 𝑏−𝑎 1, если 𝑥 > 𝑏. F 1 x a b Найдем математическое ожидание и дисперсию этой случайной величины: +∞ 𝑏 1 1 𝑥2 𝑏 𝑏 2 −𝑎2 𝑎+𝑏 𝑀(𝑋) = ∫−∞ 𝑥𝑓(𝑥)𝑑𝑥 = ∫𝑎 𝑥 𝑏−𝑎 𝑑𝑥 = 𝑏−𝑎 ∙ 2 | = 2(𝑏−𝑎) = 2 , 𝑎 +∞ 2 𝑏 2 1 1 𝑥3 𝑏 𝑏 3 −𝑎3 𝑏 2 +𝑎𝑏+𝑎2 2) 𝑀(𝑋 = ∫−∞ 𝑥 𝑓(𝑥)𝑑𝑥 = ∫𝑎 𝑥 𝑏−𝑎 𝑑𝑥 = 𝑏−𝑎 ∙ 3 | = 3(𝑏−𝑎) = . 3 𝑎 Из формул (22) и (23) следует, что 𝑏 2 +𝑎𝑏+𝑎2 𝑎+𝑏 2 𝑏 2 −2𝑎𝑏+𝑎2 (𝑏−𝑎)2 (22) (23) 𝐷(𝑋) = 𝑀(𝑋 2 ) − [𝑀(𝑋)]2 = −( 2 ) = = 12 . (24) 3 12 Говорят, что случайная величина 𝑋 имеет показательное распределение с параметром 𝜆 > 0, если случайная величина 𝑋 имеет плотность распределения 0, 𝑥 < 0, 𝑓(𝑥) = { −𝜆𝑥 𝜆𝑒 , 𝑥 ≥ 0. Показательное распределение используется в задачах, связанных со временем ожидания события. График плотности показательного распределения с параметром 𝜆 = 2: 5 2,5 f 2 1,5 1 0,5 x 1 2 3 4 5 6 7 8 9 Функция показательного распределения и ее график для значения 𝜆 = 2: 0, если 𝑥 < 0, 𝐹(𝑥) = { 1 − 𝑒 −𝜆𝑥 , если 𝑥 ≥ 0. 1,2 F 1 0,8 0,6 0,4 0,2 x 1 2 3 4 5 6 7 8 9 Найдем математическое ожидание и дисперсию этой случайной величины: +∞ +∞ +∞ 𝑥 +∞ 𝑀(𝑋) = ∫ 𝑥𝑓(𝑥)𝑑𝑥 = ∫ 𝑥𝜆𝑒 −𝜆𝑥 𝑑𝑥 = − ∫ 𝑥𝑑(𝑒 −𝜆𝑥 ) = − 𝜆𝑥 | + 𝑒 −∞ +∞ 1 +∞ 1 +∫0 𝑒 −𝜆𝑥 𝑑𝑥 = 0 − 𝜆𝑒 𝜆𝑥 | = 𝜆, (25) +∞ +∞ +∞ 𝑥 2 +∞ 𝑀(𝑋 2 ) = ∫ 𝑥 2 𝑓(𝑥)𝑑𝑥 = ∫ 𝑥 2 𝜆𝑒 −𝜆𝑥 𝑑𝑥 = − ∫ 𝑥 2 𝑑(𝑒 −𝜆𝑥 ) = − 𝜆𝑥 | + 𝑒 −∞ +∞ ∫0 2 +∞ 2𝑥𝑒 −𝜆𝑥 𝑑𝑥 = 0 + 𝜆 ∫0 2 𝑥𝜆𝑒 −𝜆𝑥 𝑑𝑥 = 𝜆2 . 26) Из формул (25) и (26) следует, что 2 1 1 𝐷(𝑋) = 𝑀(𝑋 2 ) − [𝑀(𝑋)]2 = 𝜆2 − 𝜆2 = 𝜆2 . (27) Перейдем к бесконечным последовательностям случайных величин. Пусть случайные величины 𝑋1 , . . . , 𝑋𝑛 , . .., заданы на одном и том же вероятностном пространстве Ω. Говорят, что последовательность случайных величин 𝑋1 , . . . , 𝑋𝑛 , . .. , сходится при 𝑛 → ∞ к случайной величине 𝑋 по вероятности, если для любого 𝜀 > 0 6 𝑃(|𝑋𝑛 − 𝑋| ≥ 𝜀) → 0 при 𝑛 → ∞. Для этого вида сходимости используется обозначение 𝑋𝑛 → 𝑋 при 𝑛 → ∞. 𝑃 Сходимость 𝑋𝑛 → 𝑋 при 𝑛 → ∞ означает, что для любого 𝜀 > 0 при больших 𝑛 событие 𝑃 |𝑋𝑛 − 𝑋| ≥ 𝜀 является практически невозможным. Нам понадобится следующая случайная величина с распределением Бернулли. Пусть 𝐴 – некоторое событие. Случайная величина 𝐼𝐴 (𝜔) = { 1, если 𝜔 ∈ 𝐴, 0, если 𝜔 ∈ 𝐴̅ называется индикатором множества 𝐴 и имеет следующее распределение: 𝐼𝐴 1 1 − 𝑃(𝐴) 𝑃(𝐴) P Случайная величина 𝐼𝐴 имеет распределение Бернулли с параметром 𝑝 = 𝑃(𝐴). По формулам (7) 𝑀(𝐼𝐴 ) = 𝑃(𝐴), 𝐷(𝐼𝐴 ) = 𝑃(𝐴)(1 − 𝑃(𝐴)). Ясно, что 𝐼𝐴 + 𝐼𝐴̅ = 1, Докажем следующую теорему: Теорема 1 (неравенство Маркова, Андрей Андреевич Марков (1856-1922) – русский математик). Для неотрицательной случайной величины 𝑋, имеющей математическое ожидание, при любом 𝜀 > 0 верно неравенство 𝑀(𝑋) 𝑃(𝑋 ≥ 𝜀) ≤ 𝜀 . Доказательство. Так как 𝑋 - случайная величина, то 𝐴 = {𝜔|𝑋(𝜔) ≥ 𝜀}, 𝐴̅ = {𝜔|𝑋(𝜔) < 𝜀} являются событиями. Ясно, что 𝑋 = 𝑋 ∙ 1 = 𝑋(𝐼𝐴 + 𝐼𝐴̅ ) = 𝑋𝐼𝐴 + 𝑋𝐼𝐴̅ ≥ 𝜀 𝐼𝐴 + 0 = 𝜀 𝐼𝐴 . Отсюда следует, что 𝜀𝐼𝐴 ≤ 𝑋 ⇔ 𝑀(𝜀𝐼𝐴 ) ≤ 𝑀(𝑋) ⇔ 𝜀𝑀(𝐼𝐴 ) ≤ 𝑀(𝑋) ⇔ 𝜀𝑃(𝐴) ≤ 𝑀(𝑋), т.е. 𝑀(𝑋) 𝑃(𝑋 ≥ 𝜀) ≤ 𝜀 . Из теоремы 1 следует неравенство Чебышева: Теорема 2 (неравенство Чебышева, Пафнутий Львович Чебышев (1821-1894) – русский математик, фамилия Чебышев произносится Чебышёв). Для случайной величины 𝑋, имеющей дисперсию, для любого 𝜀 > 0 верно неравенство 𝐷(𝑋) 𝑃(|𝑋 − 𝑀(𝑋)| ≥ 𝜀) ≤ 𝜀2 . Доказательство: По теореме 1 𝑀(𝑋−𝑀(𝑋))2 𝐷(𝑋) 𝑃(|𝑋 − 𝑀(𝑋)| ≥ 𝜀) = 𝑃((𝑋 − 𝑀(𝑋))2 ≥ 𝜀 2 ) ≤ = 𝜀2 . 𝜀2 Используя неравенство Чебышева, выведем закон больших чисел (ЗБЧ), означающий, что при большом числе случайных величин их средний результат почти перестает быть случайным и может быть предсказан с большой степенью определенности. Есть разные формулировки этого закона. Докажем закон больших чисел в форме Чебышева: Теорема 3 (ЗБЧ Чебышева). Пусть 𝑋1, . . . , 𝑋𝑛 , . .. - последовательность независимых и одинаково распределенных случайных величин с математическим ожиданием 𝑎 и дисперсией 𝜎 2 . Тогда 1 𝑛 ∑ 𝑋 → 𝑎 при 𝑛 → ∞. 𝑛 𝑖=1 𝑖 Доказательство: По определению, 𝑃 𝑛 ∑ 𝑋 𝑛 𝑖=1 𝑖 1 → 1 𝑝 𝑎 при 𝑛 → ∞, Если 𝑃 (|𝑛 ∑𝑛𝑖=1 𝑋𝑖 − 𝑎| ≥ 𝜀) → 0 при 𝑛 → ∞ для любого 𝜀 > 0. 7 1 Введем случайную величину 𝑌 = 𝑛 ∑𝑛𝑖=1 𝑋𝑖 . Из свойств математического ожидания и дисперсии 1 следует, что 1 1 1 𝑀(𝑌) = 𝑀 (𝑛 ∑𝑛𝑖=1 𝑋𝑖 ) = 𝑛 ∑𝑛𝑖=1 𝑀(𝑋𝑖 ) = 𝑛 𝑛𝑎 = 𝑎, 1 1 𝐷 (𝑛 ∑𝑛𝑖=1 𝑋𝑖 ) = 𝑛2 𝐷(∑𝑛𝑖=1 𝑋𝑖 ) = 𝑛2 ∑𝑛𝑖=1 𝐷(𝑋𝑖 ) = 1 𝑛𝜎2 𝑛2 𝜎2 = 𝑛 . Так как 𝑃 (|𝑛 ∑𝑛𝑖=1 𝑋𝑖 − 𝑎| ≥ 𝜀) = 𝑃(|𝑌 − 𝑀(𝑌)| ≥ 𝜀), а из неравенства Чебышева 𝑃(|𝑌 − 𝑀(𝑌)| ≥ 𝜀) ≤ 𝐷(𝑌) 𝜀2 , то, с учетом 𝐷(𝑌) = 𝜎2 1 𝐷(𝑌) = 𝜎2 𝑛 , получим 𝑃 (|𝑛 ∑𝑛𝑖=1 𝑋𝑖 − 𝑎| ≥ 𝜀) ≤ 𝑛𝜀2 . 1 1 Следовательно, 𝑃 (|𝑛 ∑𝑛𝑖=1 𝑋𝑖 − 𝑎| ≥ 𝜀) → 0 при 𝑛 → ∞, т.е. 𝑛 ∑𝑛𝑖=1 𝑋𝑖 → 𝑃 𝑎 при 𝑛 → ∞. Приведем закон больших чисел в форме Бернулли: Теорема 4 (теорема Бернулли). Пусть 𝑚 - число наступлений события 𝐴 в 𝑛 одинаковых независимых испытаниях и 𝑝 - вероятность наступления события 𝐴 в одном испытании. Тогда 𝑚 → 𝑝 при 𝑛 → ∞. 𝑛 𝑃 Доказательство: Пусть 1, если событие 𝐴 произошло в 𝑘 − м испытании; 𝑋𝑘 = { 0, если событие 𝐴 не произошло в 𝑘 − м испытании. Случайные величины 𝑋1 , . . . , 𝑋𝑛 при любом фиксированном 𝑛 образуют последовательность независимых и одинаково распределенных случайных величин с распределением Бернулли: 𝑋𝑘 1 𝑞 = 1−𝑝 𝑝 P 𝑚 1 По формулам (7) 𝑀(𝑋𝑘 ) = 𝑝, 𝐷(𝑋𝑘 ) = 𝑝𝑞. Так как 𝑚 = ∑𝑛𝑖=1 𝑋𝑖 , то 𝑛 = 𝑛 ∑𝑛𝑖=1 𝑋𝑖 . Из теоремы 3 следует, что 𝑚 𝑛 → 𝑃 𝑝 при 𝑛 → ∞. Многие из случайных явлений возникают в результате взаимодействия большого числа малых случайных возмущений. При определенных условиях суммарное действие таких возмущений приводит к результирующему возмущению, которое приближенно может рассматриваться как нормально распределенная случайная величина. Существует целый ряд предельных теорем, посвященных установлению условий, при которых возникает нормальный закон распределения. В силу важности этих теорем, все они называются центральными предельными теоремами (ЦПТ). Приведем центральную предельную теорему в форме Ляпунова: Теорема 5 (теорема Ляпунова, Александр Михайлович Ляпунов (1857-1918) – русский математик). Пусть 𝑋1 , . . . , 𝑋𝑛 , . .. - последовательность независимых и одинаково распределенных случайных величин с математическим ожиданием a и дисперсией 𝜎 2 , 𝑆𝑛 = 𝑆 −𝑛𝑎 ∑𝑛𝑖=1 𝑋𝑖 , 𝑍𝑛 = 𝑛 . 𝐹𝑛 (𝑥) = 𝑃(𝑍𝑛 < 𝑥) - функция распределения случайной величины 𝑍𝑛 . 𝜎 𝑛 √ Тогда для любого 𝑥 𝐹𝑛 (𝑥) → 𝑁(𝑥) при 𝑛 → ∞, где 𝑁(𝑥) – функция стандартного нормального распределения. 𝑆 −𝑛𝑎 Заметим, что случайная величина 𝑍𝑛 = 𝑛𝜎 𝑛 состоит при больших 𝑛 из большого √ числа малых случайных возмущений: 𝑆 −𝑛𝑎 𝑋 −𝑎 𝑍𝑛 = 𝑛𝜎 𝑛 = ∑𝑛𝑖=1 𝜎𝑖 𝑛 . У каждого возмущения 𝜀𝑖 = 1 𝑋𝑖 −𝑎 𝜎 √𝑛 √ √ следующие числовые характеристики: 𝑀(𝜀𝑖 ) = 0, 𝐷(𝜀𝑖 ) = . Как видим, суммарное действие этих малых возмущений приводит к нормальному распределению. 𝑛 8