Случайные события в теории вероятностей и математической статистике

РАЗДЕЛ 1. СЛУЧАЙНЫЕ СОБЫТИЯ ДИСЦИПЛИНА «ТЕОРИЯ ВЕРОЯТНОСТИ И МАТЕМАТИЧЕСКАЯ СТАТИСТИКА» 1 Введение Методы теории вероятностей широко применяются в различных отраслях науки и техники: в теории надежности, теории массового обслуживания, в теоретической физике, астрономии, теории стрельбы, теории ошибок наблюдений, теории автоматического управления, общей теории связи и во многих других теоретических и прикладных науках. Теория вероятностей служит для обоснования математической и прикладной статистики, которая используется при планировании и организации производства, при анализе технологических процессов, приемочном контроле качества продукции и для многих других целей. Краткая историческая справка. Первые работы, в которых зарождались основные понятия теории вероятностей, представляли собой попытки создания теории азартных игр (Джероламо Кардано, Христиан Гюйгенс, Блез Паскаль, Пьер Ферма и другие в XVI—XVII вв.). Следующий этап развития теории вероятностей связан с именами Якоба Бернулли (1654— 1705) - «Закон больших чисел», Муавра, Лапласа, Гаусса, Пуассона и др. Новый, наиболее плодотворный период связан с именами П. Л. Чебышева (1821—1894) и его учеников А. А. Маркова (1856—1922) и A. M. Ляпунова (1857—1918). В этот период теория вероятностей становится стройной математической наукой. Ее последующее развитие обязано в первую очередь отечественным математикам (С. Н. Бернштейн, В. И. Романовский, А. Н. Колмогоров, А. Я. Хинчин, Б. В. Гнеденко, Н. В. Смирнов и др.). В настоящее время ведущая роль в создании новых ветвей теории вероятностей также принадлежит российским математикам. РАЗДЕЛ 1. ОСНОВНЫЕ ПОНЯТИЯ И ТЕОРЕМЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ 1.1 Вероятность и частота появления события Теория вероятностей (ТВ) – это наука, изучающая закономерности случайных явлений: случайные события, случайные величины, случайные функции, их свойства и операции над ними. Событие – подмножество пространства исходов эксперимента. Событие – всякое явление, которое может произойти или не произойти в результате эксперимента. 2 Каждое из событий обладает определенной степенью возможности (одно может происходить чаще или реже другого). Эта степень возможности характеризуется числом, называемым вероятностью события. На практике это число можно оценить опытным путем как отношение количества опытов, в которых это событие произошло, к общему количеству опытов: P( A )  mn , где n – количество опытов, m – число благоприятных исходов, mn – частота. Установлено, что при большом n частота обладает свойством устойчивости и колеблется около вероятности P( A ) . В пределе при n  частота m совпадает с вероятностью P( A ) . То есть n P(A) limn m . (1.1) n Очевидно, что 0≤ P( A ) ≤1. Если P( A ) = 0, то в результате опыта событие не происходит. Это невозможное событие. Если P( A ) = 1, то событие обязательно происходит – достоверное. Для определения вероятности можно использовать непосредственный подсчет, а в некоторых случаях можно определять ее априорно. Если заранее известно общее количество исходов nобщ и количество благоприятных mблаг, то P( A )  mблаг . (1.2) nобщ Например, правильная игральная кость имеет 6 граней и при бросании равновероятно появление одной из них. Если событие A заключается в появлении, например, тройки или пятерки, то P( A ) =2/6=1/3. 1.2. Виды случайных событий Достоверное и невозможное события, определенные выше, являются двумя крайними случаями (по существу неслучайными событиями), между которыми находятся случайные события. 3 1. Полная группа событий. Несколько событий образуют полную группу, если в результате опыта произойдет хотя бы одно из них (или несколько). Пример 1: Если два стрелка выстрелили по мишени, то возможны 3 варианта: A – мишень поражена дважды, В – мишень поражена одной пулей, С – мишень не поражена. 2. Несовместные события. События несовместные, если в результате опыта никакие два из них не могут появиться вместе. Пример 2: Выпадение герба или решки при подбрасывании монеты. 3. Противоположные события. Противоположные события – это два события, составляющие полную группу несовместных событий. Пример 3: Попадание или промах при выстреле. 4. Равновозможные события. Это события, частоты (вероятности) появления которых одинаковы. Пример 4: Выпадение единицы, двойки, . . . , шестерки при бросании игральной кости. В случае использования стандартной игральной кости вероятности их появления одинаковы. 5. Зависимые события. Если вероятность появления одного события зависит от появления или не появления другого. Пример 5: Стрелки стреляют по очереди до поражения цели. Вероятность, что цель будет поражена вторым стрелком, зависит от того, будет или не будет цель поражена первым стрелком (не путать с вероятностью поражения цели при выстреле вторым стрелком). 6. Независимые события. Если вероятность появления одного события не зависит от появления или не появления другого. Пример 6: Вероятность поражения цели каждым стрелком при выстреле. 1.3. Подходы к определению вероятности. Комбинаторика и схема урн Для подсчета вероятностей можно использовать подход, согласно которому рассматривается пространство Ω(ω1,…ωn), содержащее равновозможные элементарные события ωi. Количество элементарных событий n называется мощностью  множества Ω(ω1,…ωn). Событие А происходит, если происходит одно из событий ωi, i=1…m. Мощность множества А(ω1,…ωm) равна m ( A  m ). В этом случае 4 P( А)  A  m . (1.3)  n • комбинаторике рассматриваются различные соединения элементов. К ним относятся размещения, перестановки и сочетания. Размещениями из “ n ” элементов по “ m ” называются такие их соединения, которые различаются друг от друга самими элементами или их порядком. Например: размещения из трех элементов a ,b,c по два: ab, ac, bc, ba, ca, cb. Число всех размещений из “ n ” различных элементов по “ m ” (обозначается Am ): n Am  n(n-1)(n-2 )(n-m 1)  n! . (1.4) n (n  m)! Логика вывода формулы заключается в следующем. Попытаемся перечислить все размещения. Поставим на первом месте любой из n элементов. На втором поставим любой из оставшихся n-1 элементов и т.д. до расстановки m элементов. Общее число размещений будет равно произведению. Такие размещения также называют размещениями без повторений (один элемент не может входить в соединение дважды). Существуют также размещения с повторениями, в этом случае их число определяется по формуле ~ (1.5) A m  n m n Пример: Число размещений из трех элементов по два равно A2 =3·2=6. 3 Это размещения ab, ac, ba, bc, ca и cb. Например, в размещениях ab, ba одни и те же элементы, но они отличаются друг от друга их порядком следования. Размещения ab, ac отличаются элементами b и c. Перестановками из n элементов называются такие их соединения, которые отличаются друг от друга только порядком входящих в них элементов. Например: перестановки из трех элементов a, b, c: abc, cba, bca, cab, bac, acb. Число всех перестановок из n различных элементов (обозначается Pn): Pn  1 2 3  n  n!  Ann . (1.6) Перестановка является частным случаем размещения, когда m=n. 5 Если среди n элементов a, b, c,… имеются одинаковые (элемент a повторяется  раз, b –  раз, c –  раз и т.д.), то Pn  n! !!! . (1.7) Логика вывода. Поставим на первом месте любой из n элементов. На втором поставим любой из оставшихся n-1 элементов и т.д. до расстановки последнего элемента. Общее число размещений будет равно произведению. Если среди n элементов один повторяется  раз, то отличающихся перестановок будет в ! меньше и т.д. Пример. Сколько перестановок можно составить из букв слова МАША? Имеем n=4 и буква А повторяется два раза. Поэтому число различных перестановок будет равно N=4!/2!=12. Сочетаниями из n элементов по m называются их соединения, различающиеся друг от друга только самими элементами. Пример. Сочетания из трех элементов по два: ab, ac, cb . Соединение, например, ba содержит те же элементы, что и ab. Поэтому это то же самое сочетание. Число всех сочетаний из n различных элементов по m (обозначается Cnm ): n( n  1 )( n  2 )...( n  m  1 ) Am n! Cnm   n  . (1.8) 1  2  3...  m m!( n  m )! Pm Логика вывода. Количество размещений из n элементов по m равно Аm . Среди них есть n повторяющиеся. Количество перестановок из m элементов есть Pm. Число сочетаний равно отношению количества размещений к количеству перестановок. Основное свойство сочетаний: Cnm  Cnnm . В этом легко убедиться, записав число сочетаний из n по m и по n-m. Методы комбинаторики часто используются при определении вероятностей в задачах, связанных с так называемой “схемой урн”. В урне содержатся шары и производится извлечение (берутся выборки) их из нее случайным образом. При этом различают выборки с возвращением (когда шары после выборки возвращаются обратно) и без. 6 1.4. Теоремы сложения и умножения вероятностей Произведение двух событий А∩В (А и В) – есть событие С=АВ, состоящее в одновременном появлении А и В (логическая операция И – конъюнкция). Пример 1. А – появление герба на первой монете, В – на второй. А и В – независимы. Вероятность Р(С=АВ)=Р(А)Р(В). Логику рассмотрим на примере схемы урн в случае независимых событий. В двух урнах n1 и n2 шаров, m1 и m2 из них белого цвета. Событие А – достается белый шар из первой урны, В – из второй. P( A)  m1 ; P(B)  m2 . Количество элементарных событий равно n1n2, так как с каждым n1 n2 из n1 шаров из первой урны можно взять любой из n2 шаров из второй урны. Количество благоприятствующих событий, т.е. произведение событий АВ равно m1m2, т.е. с каждым из m1 белых из первой урны можно взять белый шар из второй. Следовательно, P( AB)  m1m2  P( A)P(B) . (1.9) n n 1 2 Теорема умножения вероятностей. Если события независимы, то вероятность произведения этих событий равна произведению вероятностей Р(С=АВ)=Р(А)Р(В). (1.10) Сумма двух событий АUВ (А или В) – есть событие С=А+В, состоящее в выполнении А или • или обоих вместе (логическая операция ИЛИ – дизъюнкция). В случае несовместных событий Р(А+В)=Р(А)+Р(В). (1.11) В случае совместных Р(А+В)=Р(А)+Р(В)-Р(АВ). (1.12) A AB B Это – теорема сложения вероятностей. Её также можно обобщить на большее количество событий. Формулу (1.12) удобно иллюстрировать диаграммой Венна. На рисунке области событий А и В пересекаются (совместные, или совместимые события). Область пересечения – событие АВ. В сумму областей область пересечения входит два раза. Поэтому в (1.12) из суммы вероятностей вычитается вероятность произведения. 7 Пример 2. Вероятность попадания в цель первым стрелком Р(А)=0.6, а вторым стрелком Р(В)=0.8. Цель поражена, если в нее было хотя бы одно попадание. Стрелки сделали по одному выстрелу. Вероятность поражения цели равна сумме вероятностей совместных событий Р(АВ)=0.6+0.8-0.60.8=0.92. Заметим, что если бы не учли, что события совместны, и нашли вероятность как сумму вероятностей, то получили бы вероятность больше единицы. При вычислении суммы иногда удобно перейти к противоположным событиям A, B . Вероятность того, что события одновременно не наступят, равна произведению P( А )Р( В )  (1  P( А ))(1  Р( В )). Вероятность суммы событий А+В дополняет вероятность предыдущего произведения до 1 и совпадает с вышеприведенной. Аналогично можно вычислить вероятность суммы трех и более событий. 1.5. Условная вероятность события Условная вероятность события А, вычисленная при условии, что имело место событие В, обозначается через Р(А/B) (или РВ(А)). Теорема умножения вероятностей в случае зависимых событий. Если события зависимы, то вероятность произведения равна произведению вероятности одного события на условную вероятность другого при условии, что первое имело место. Р(АВ)=Р(В)Р(А/В)=Р(А)Р(В/А). (1.13) Обратим внимание на симметричность формулы относительно событий. Теорема. События независимы тогда и только тогда, когда Р(АВ)=Р(А)Р(В). (1.14) • случае независимых событий Р(А/В)=Р(А). Справедливо обратное утверждение: если выполняется (1.14), то события независимы. В самом деле, пусть выполняется (1.14). В общем случае Р(АВ)=Р(А)Р(В/А) и при выполнении (1.14) имеем Р(В/А)=Р(В), то есть вероятность события В не зависит от того, произошло или нет событие А и, следовательно, события независимы. 8 1.6. Формула полной вероятности Следствием обеих основных теорем – теоремы сложения вероятностей н теоремы умножения вероятностей – является так называемая формула полной вероятности. Пусть требуется определить вероятность некоторого события А, которое может произойти вместе с одним из событий: H1, H2 ,..., Hn , образующих полную группу несовместных событий. Докажем, что в этом случае n P( A)  P(Hi )P( A / Hi ) (1.15) i1 Формула носит название формулы полной вероятности. Доказательство. Так как события H1, H2 ,..., Hn образуют полную группу, то событие А может появиться только в комбинации с каким-либо из них: A  H1A  H2A ... Hn A Так как события H1, H2 ,..., Hn несовместны, то и комбинации H1A, H2A,..., Hn A также несовместны; применяя к ним теорему сложения, получим: n P( A)  P(H1A)  P(H 2 A)  ...  P(H n A)  P(Hi A) i1 Применяя к событию Hi A теорему умножения для случая зависимых событий, получим: n P( A)  P(Hi )P( A / Hi ) i1 что и требовалось доказать. Пример. В магазине имеются микросхемы трех заводов в количестве: первого завода – 50%, второго - 30% и третьего - 20%. Вероятность того, что микросхема является бракованной, для различных заводов составляет соответственно 0.2, 0.1 и 0.3. Найти вероятность того, что купленная микросхема окажется годной. Обозначим событие Bi (i=1,2,3) – микросхема i-го завода; События Bi составляют полную группу несовместных событий с вероятностями P(H1)=0.5, P(H2)=0.3, P(H3)=0.2. Условные 9 вероятности: P(А/H1)=0.8; P(А/H2)=0.9; P(А/H1)=0.7. По формуле полной вероятности находим вероятность покупки в магазине годной микросхемы Р(А)=0.5∙0.8+0.3∙0.9+0.2∙0.7=0.81. 1.7. Формула Байеса Формула Байеса используется для определения апостериорной (после опыта, априорной – до опыта) вероятности. Рассмотрим Р(АВi) =Р(А)Р(Вi /А)= Р(Вi)Р(А/Вi) Отсюда с учетом формулы полной вероятности получаем формулу Байеса P(B / A)  P(Bi )P( A / Bi )  P(Bi )P( A / Bi ) . (1.16) i P( A) P(Bi )P( A / Bi ) i Формула Байеса определяет апостериорную (или послеопытную) вероятность. Если в результате опыта наблюдалось событие А, то вероятность того, что этому событию сопутствовало событие Вi, определяется по формуле (1.16). Пример. Возьмем условия предыдущей задачи и допустим, что купленная микросхема оказалась годной. Тогда апостериорная вероятность того, что микросхема изготовлена, например, первым заводом равна P(B1 / A)  P(B1 )P( A / B1 )  0.5 0.8  0.5 . P( A) 0.81 Аналогично для второго завода P(B2 / A)  P(B2 )P( A / B2 )  0.30.9  0.3, P( A) 0.81 то есть в первом случае апостериорная вероятность меньше, а в последнем случае больше, чем априорная. Это произошло потому, что условная вероятность годной микросхемы для первого завода меньше полной вероятности, а второго завода, наоборот, больше. 10 2 ПОВТОРЕНИЕ ИСПЫТАНИЙ 2.1. Повторные независимые испытания. Формула Бернулли Пусть производится n независимых опытов и Р(А)=р – вероятность появления события А в одном опыте, а Р( А )=1-р=q - вероятность его непоявления, то есть вероятность противоположного события А . Рассмотрим событие Вm, заключающееся в том, что событие А появится ровно m раз в n повторных независимых испытаниях. Это может произойти при различных вариантах, например, A1 ...Am m1 ... n , . . . , 1... n-m А n-m1...А n . A A А А Число всех комбинаций (слагаемых) равно Сnm . Вероятность каждого слагаемого по теореме умножения независимых событий равна рmqn m . Так как комбинации между собой несовместны, то по теореме сложения имеем P( B m )  P  C m p m q nm . (2.1) mn n Эту формулу называют формулой Бернулли. Вероятности Pm,n в (2.1) представляют собой члены разложения бинома Ньютона ( q  p )n  n  Cnm p m q nm . Поэтому говорят, что число появлений события А подчиняется m0 биномиальному закону. Пример. Испытываются n=6 элементов электронной системы. Вероятность выдержать испытания каждым p=0.6, соответственно вероятность отказа q=1-p=0.4. Найдем вероятность отказа всех элементов и вероятность того, что годным будет только один из них: P  C 0 p 0 q 60  6! p 0 q 60  q 6  0.46  0.004096 . 0,6 6 0!(6  0)! P  C1 p1q 61  6! p1q 61  6  p  q5  6  0.6  0.45  0.036864 . 1,6 6 1!(6 1)! Если, например, надо найти вероятность, что будет от двух до четырех годных элементов, то благодаря несовместности событий P2≤m≤4,6=P2,6+ P3,6+ P4,6. 11 2.2. Наивероятнейшее число появлений события Найдем число m - наивероятнейшее число появлений события при независимых испытаниях, т.е. такое m, при котором Pm,n  Cnm pm qnm  max . Если бы функция f ( m )была непрерывной,то для определения экстремума можно было бы воспользоваться необходимым условием экстремума (производная по параметру равна нулю). Но рассматриваемая функция дискретна, необходимое и достаточное условие экстремума неприменимо. Поэтому воспользуемся тем обстоятельством, что слева от экстремума-максимума отношение следующего значения к предыдущему больше единицы (функция возрастает), а справа от экстремума – наоборот. Поэтому рассмотрим два неравенства: Pm,n Cnm pmqn m n! (m 1)!(n  m 1)! p (n  m 1) p     1 P C m 1 p m 1 n m 1 m!(n  m)! n! q mq 1,n n q m и аналогично Pm1,n  p  n  m 1. P q m 1 m,n Из первого неравенства находим np  p  m , из второго - np  p 1  m Поэтому получается, что m (целое число) лежит в пределах np+p-1 ≤ m ≤ np+p. (2.2) Пример. Вероятность изготовления нестандартных блоков р=0.004. Найти наивероятнейшее число нестандартных блоков в партии из 1000 штук. Имеем 1000∙0.004+0.004-1 ≤ m ≤ 1000∙0.004+0.004 3.004 ≤ m ≤ 4.004 => mопт=4. Вероятность этого события P4,1000=C41000p4q996≈1.95∙10-5. 2.3. Локальная теорема Лапласа Пусть в схеме повторных независимых испытаний n=10000; m=5000. Найдем P5000,10000= С100005000 p5000q5000. Принципиально вычислить эту вероятность можно, но подобный расчет достаточно трудоемок. Если n велико (более 30), а р>0.1, то справедлива приближенная локальная формула Лапласа 12 P  C m p m q nm  1  ( m  np ), m,n n npq npq где (x)  1 e x2 2 - функция Гаусса. 2 Функция Гаусса – четная, т.е. φ0(-x)=φ0(x). 2.4. Интегральная теорема Лапласа Пусть в случае биномиального закона требуется найти вероятность того, что событие появится в n испытаниях не менее и не более заданного числа раз: ma  m  mb , P(ma  m  mb ). Назовем функцией распределения вероятность события 0  m  mc , тоесть mc Fn (mc )  P(0  m  mc )  Cnm pmqnm . m0 Тогда P(ma  m  mb )  Fn (mb )  Fn (ma ) . В случае n  возникает проблема вычисления функции распределения. Поэтому воспользуемся локальной теоремой Лапласа  C m p m q nm  1  m  np  (x)  1 e x2 P ( ), где 2 . m,n n npq npq 2 mc 1 m  np Соответственно Fn (mc )   0 ( ) . Fn (mc ) - ступенчатая функция. При n  m0 npq npq ширина ступеньки стремится к нулю и сумма превращается в интеграл, так что: если m  np  x , то при m=0 имеем x   np , и при n  x  . npq npq 13 m  mc , то x  mc  np x 1 e t 2 n  . Здесь ( x ) Если и Fn (x)  Φ(x)  при 2 dt npq  2 • функция Лапласа. Соответственно P(a  x  b) (b) (a) , или P(m  m  m ) ( mb  np ) ( ma  np ) . (2.3) a b npq npq Этот факт и представляет собой интегральную теорему Лапласа. Свойства функции Лапласа ( x ) : 1.(  )  P( x  )  0 - вероятность невозможного события. 2. (  )  P( x  ) 1 - вероятность достоверного события. 3. ( x ) 1 ( x ) , т.к. 0 ( x )  0 ( x ) . 4. P( x  0 ) =( 0 )  0.5 . 5.  ( x )  0 ( x )  0 , т.е. ( x ) - монотонная неубывающая (возрастающая) функция. Функция ( x ) называется также интегралом вероятностей и табулирована. Кроме того, x t 2 табулирована функция 1( x )  1 e 2 dt ; (x)  0.5 1 (x) . 2 С помощью 1( x ) удобно находить вероятность попадания в симметричный интервал P( x  a )  21( a ), например: P( x  1)  0.682689 ; P( x  2)  0.9545 ; P( x  3)  0.9973 ; P( x  4)  0.999937 14 В интервал 3 попадает 99.73% случайных точек, то есть практически 100%. Забегая вперед, заметим, что 0 ( x ) и ( x ) являются плотностью и интегральной функцией распределения центрированной нормированной случайной величины Х, т.е. случайной величины с нулевым средним и единичной дисперсией  2 =1 (или со среднеквадратичным отклонением – с.к.о.  =1 (сигма)). В случае неединичной дисперсии  2 и ненулевого среднего значения случайной величины  вместо P( x  3 )  0.9973 будем иметь P( x    3  )  0.9973. То есть с вероятностью, близкой к единице, все значения будут лежать в трехсигмовом интервале относительного среднего значения. Это правило трех сигм. 2.5. Формула Пуассона Рассмотрим предельное поведение Pm,n прибольшом n.Проанализируем C m  n! . Так как C nm  C m , то ограничимся m≤ n/2 и более того, случаем m  n. n m!( n  m )! n n Имеем C m  n(n 1)(n  2)...(n  m 1)  nm (1  1 )...(1  m 1 ) . n m! m! n n При n можно приближенно считать, что С m  nm так, что n m! P  nm pmqnm  1 ( np )m qn . (2.4) m, n m! m! q Если m  0.1n , то относительная погрешность приближенного значения менее 1%. Имеет место: Теорема. Если n, p0, так что npa (a – фиксированное положительное число), то вероятность m успехов в схеме независимых испытаний стремится к a m e a при любых m. m! a m (1  a 1 np 1 a m (1  p) n 1 ) n Доказательство: запишем Pm,n  ( ) m q n   n . m! (1  p) m m! (1  p) m m! q Имеем (1  p )m 1 при p0. Воспользуемся вторым замечательным пределом: 1 a a  n lim ( 1  x ) x  e . Имеем (1  )n  [(1  a ] a  ea . ) n n x 15 Итак, Cm pmqnm  am ea . (2.5) n m! Это закон редких событий (Пуассона). Пример. АТС обслуживает 1000 абонентов. В данном интервале времени любой абонент может сделать вызов с вероятностью p=0.005. Необходимо найти вероятность того, что в данном интервале времени будет не более шести вызовов. При а=np=5 имеем 6 a i 2 3 4 5 6 Pm6,n  ea  e5 (1 5  5  5  5  5  5 )  0.755. i! 2 6 24 120 720 i 0 2.6. Отклонение относительной частоты от вероятности появления в случае независимых событий Проводится n независимых испытаний. Вероятность появления одного события P( A)  p. В n опытах событие появилось m раз. Оценим вероятность P ( m  p   ) , где  >0 – заданное n n m  p  эквивалентно    m  p   , или p    m  p   , или число. Неравенство n n n ( p  )n  m  ( p  )n . В соответствии с интегральной теоремой Лапласа вероятность последнего события равна ( ( p   )n  np ) ( ( p   )n  np ) ( n ) (  n )  npq npq npq npq (2.6) n n 2( ) 1  2 ( ). npq 1 npq Пример. Сколько раз нужно подбросить монету, чтобы гарантировать, что с вероятностью 0.95 отклонение относительной частоты от 0.5 не превысит 0.01? Решение: Имеем p=0.5; ε=0.01, P ( m  1   )  0.95. n n 2 По (2.6.1) 21 (0.01 n )  0.95. (x)  1 1 (x)  0.5  0.475  0.975 . 1 (1  1 ) 2 2 2 16 По таблице интегральной функции распределения нормального закона находим x=1.96. Поэтому 0.01 n  0.01 1.96 n 0.5 0.5 0.5 и n  1.962 0.52  4 0.25 10000 . 0.012 0.0001 2.7. Теорема Бернулли m  p   ) 1 приn , Теорема утверждает, что Pn ( или равноценно n m  p   )  0 при n . P ( n n n , то есть Имеем P ( m  p  )  2 ( n )  2  1 1 при частота появления n n 1 pq 2 события проявляет устойчивость. Говорят, что частота появления события (отношение m ) n стремится к величине вероятности р. 17 РАЗДЕЛ 2. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ. ЗАКОНЫ РАСПРЕДЕЛЕНИЯ В СТАТИСТИКЕ ДИСЦИПЛИНА «ТЕОРИЯ ВЕРОЯТНОСТИ И МАТЕМАТИЧЕСКАЯ СТАТИСТИКА» 1 3 ДИСКРЕТНЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ Случайная величина (СВ) в результате опыта принимает одно из возможных значений. Если значения дискретны (например x1, x2, …), то имеем дискретную случайную величину (ДСВ). Если значения любые из интервала [a, b], то имеем непрерывную случайную величину (НСВ). Случайное событие А можно свести к ДСВ, приняв, например, в случае появления события А a x1=1 , в случае непоявления события, то есть события А - x2=0. 3.1 Закон распределения дискретной случайной величины Полной характеристикой ДСВ является закон распределения, который устанавливает соответствие между значениями и вероятностями их появления. Он задается в виде таблицы или графика. Задание закона распределения таблицей i х1 х2 . . . хn pi p1 p2 . . . pn Соединяя точки прямыми, получаем многоугольник распределения. иваем по результатам опыта pi  lim mi N  N Р.(х) р1 р2 р3 рn х х1 х2 3 хn Рис.2.2.1. Многоугольник распределения дискретной случайной величины , 2 Если pi неиз вест ны, то их оцен где mi - количество наблюдений результата xi в N опытах. Пример 1. В случае биномиального распределения имеем pi  Сni pi qn i . Пример 2. Геометрическое распределение характеризует количество опытов m до первого появления события А. Обозначим вероятность появления события в одном опыте через Р(А)=р. Соответственно Р( А )  1  р  q . Если первый раз событие происходит в m-ом опыте, то в предыдущих m-1 опытах оно не происходило. Поэтому Р(m)= рqm 1 . Соответственно таблица распределения имеет вид mi 1 2 . . . m . . . pi p pq . . . pqm-1 . . . 3.2. Простейший поток событий. Распределение Пуассона Поток событий (ПС) – это последовательность событий, наступающих в произвольные моменты времени. Различают следующие виды ПС: Стационарный ПС, если вероятность P(t) появления m событий за время t, зависит только от m и t, но не зависит от начала отсчета времени. ПС с отсутствием последействия, если вероятности появления того или иного события на непересекающихся интервалах времени не зависят друг от друга. Ординарный ПС, если вероятностью появления двух и более событий на малом интервале времени t можно пренебречь. ПС называется простейшим, если он стационарный, ординарный и без последействия. Найдем для простейшего ПС вероятность появления m событий. Пусть α – интенсивность потока, то есть частота появления события А в единицу времени. Разобьем интервал [T, T+t] на n одинаковых промежутков длиной t  t . t   t - вероятность появления события за t. n n Вероятность непоявления 1   t дополняет вероятность появления до 1 (вероятностью 2-х и n более появлений события пренебрегаем ввиду ординарности). Пусть вероятность появления m событий за время t соответствует биномиальному закону. В пределе имеем: 3 P ( m )  lim C m (  t )m (1   t )nm  lim n( n 1)...(n  m 1) (  t )m (1   t )nm  n n n t n n n n m! (  t )m 1 m 1  t  n  t (  t )m  lim 1(1  )...(1  )[(1  ) t ]  t (1  )m  e t . m! n n n n n m! 1 Здесь мы вновь воспользовались вторым замечательным пределом lim (1  x ) x  e x Пример. Интенсивность вызовов автоматической телефонной станции (АТС) α=2 (вызова в минуту). Считая поток простейшим, найти вероятность того, что за t=5 мин. не будет ни одного вызова, будет один, будет не больше двух. Решение: 1. P5(0)=e-2·5=e-10. • P5(1)= ( 2 5 )1 e25 10e10 . 1! • P5(1)+ P5(2)+ P5(0)=e-10+10e-10+ ( 2  5 )2 e10  61e10 . 2! 3.3. Математическое ожидание (МО) МО – это средневзвешенное с весами, равными вероятностям появления отдельных значений, значение случайной величины M [ X ] n   xi pi . (3.1) i1 Если представить, что в точках хi числовой оси (тонкого стержня) сосредоточены массы рi  xi pi ,то МО представляет собой центр масс (  pi  1 ). Другая интерпретация: МО представляет собой центр, около которого группируются результаты опытов. Оценкой среднего по выборке является n выборочное среднее х  1  xi . Эта величина по вероятности сходится к МО при n . n i 1 Можно трактовать МО как среднее арифметическое. Необходимо помнить, что МО, как и другие числовые характеристики, является неслучайной величиной. Выборочное среднее х в случае конечного объема выборки является случайной величиной, зависящей от выборки. По другой выборке получим другую оценку математического ожидания. Кроме того, существуют разные оценки МО. Пример 1. Найдем МО биномиального распределения. 4 n По определению (4.1.1) имеем M [ Х ]  iCni pi qn i . Для вычисления рассмотрим бином 6. 0 n Ньютона ( p  q) n  Cni p i q ni . Продифференцируем его по p: i 0 n( p  q )n1 n Cniipi1qni . i0 Теперь умножим на p: np( p  q )n 1  n iCni pi qn i  M [ X ]  np , так как p+q=1. i 0 Пример 2. Найдем МО геометрического распределения P(m) = pqm-1.  По определению (4.1.1) имеем M [x]  ipqi1  p(1  2q  3q2  ...). i1 Умножим на q: qM [ Х ]  p( q  2q2  3q3  ...) и составим разность между данным выражением и предыдущим: (1  q)M [x]  p(1  q  q 2  ...)  p 1 1 . Поэтому M [ Х ]  1  1 .  q 1 1  q p При вычислении бесконечной суммы 1  q  q2  ... мы воспользовались формулой для суммы членов бесконечно убывающей геометрической прогрессии S  a0 , где а0 начальный 1  q член, q – знаменатель геометрической прогрессии. Пример 3. Найдем МО закона Пуассона.   a i M[ Х ]  iPt (i)  ea i i! i0 i0  aea (1  a  a22!  ea (0  a  2 a2  3 a3 ...)  2! 3!  ...)  aea ea  a . Здесь мы воспользовались разложением экспоненты в ряд. Таким образом, математическое ожидание закона Пуассона M[X]=a – представляет собой среднюю интенсивность потока событий. 3.4. Дисперсия дискретной случайной величины Дисперсия вводится для характеристики степени рассеивания возможных значений около M[X]. Дисперсия СВ – это МО квадрата центрированной СВ, то есть 5 D[ Х ] ( x  M [ Х ])2 p i  M {[ Х  M [ Х ]]2 } , (3.2) i i  Х  M [ Х ] . где центрированная СВ – отклонение от МО Х Вычитание МО означает перенос начала координат в точку х=М[Х]. Очевидно, что МО центрированной СВ равно нулю, поскольку мы перенесли начало отсчета в эту точку: M [ Х ]  M [ Х  M [ Х ]]  M [ Х ]  M [ M [ Х ]]  M [ Х ]  M [ Х ]  0 . При выводе использовались свойства МО, которые мы рассмотрим позднее. В частности, МО постоянной величины равно этой постоянной величине. Так как дисперсия имеет размерность квадрата СВ, то вводится среднеквадратическое (оно же среднеквадратичное) отклонение (с.к.о.)  x   ( x ) D[ Х ] , имеющее размерность СВ. Возведем центрированное отклонение в квадрат и затем возьмем МО от каждого слагаемого D[ X ]  M [ X 2 ]  2M [ XM [ X ]]  M [M [ X ]]2   M [ X 2 ]  2M [ X ]M [ X ]  [M [ X ]]2  M [ X 2 ]  [M [ X ]]2 . (3.3) Дисперсия аналогична центральному моменту инерции, то есть моменту инерции относительно центра тяжести. Пример 1. Найдем дисперсию биномиальной СВ. Имеем: M [ Х 2 n ] i 2Cni pi qn i i 0 Продифференцируем по p:  n  n i i ni . Рассмотрим бином Ньютона ( q p ) Cn p q . i0  n  n i i1 ni n( q p ) Cnip q . i 0 n Умножим на p: np( q  p )n1 iCni pi qni . i0 Продифференцируем еще раз по p: n( n 1) p( q  p )n2  n( q  p )n1  n i2Cni pi1qni . i0 Умножим на p: n( n 1) p2 ( q  p )n2  np( q  p )n1 n i2Cni pi qni  M [ X 2 ] . i0 6 Отсюда с учетом того, что p+q = 1, находим M [ X 2 ]  n2 p2  np2  np ; D[ X ]  M [ Х 2 ]  [ M [ X ]]2  n2 p2  np2  np  n2 p2  np(1  p )  npq; • x npq. Возвращаясь к теореме Лапласа о том, что биномиальное распределение превращается в нормальное, видим, что среднее и дисперсия нормального закона совпадают при этом со средним и дисперсией биномиального распределения. Пример 2. Найдем дисперсию геометрического распределения. При определении МО геометрического распределения было получено (1 2q  3q2 ...)  1 . (1 q)2 Рассмотрим МО квадрата СВ: M [ Х 2 ]  p(12  22 q  32 q2  ...). Умножим (4.4) на q: q(1  2q  3q2  ...)  q . Дифференцируя левую и правую части (1q) 2 по q, получим 12  22 q  32 q2  ...  1q . Подставляя эту величину в выражение для МО 3 ( 1q ) квадрата СВ и вычисляя дисперсию, получим D[ Х ]  М [ Х 2 ]  [ М [ Х ]]2  p(1q )  ( 1 )2  1 p  q . (1q )3 p (1q )2 p2 Здесь в выводе было использовано соотношение p=1-q. Пример 3 . Найдем дисперсию закона Пуассона ( Pm,n  a m ea ). m! Имеем i2aiea  iai1  ( i 1)ai1  ai1 M [ X 2 ]   aea   aea [   ]  i! ( i 1)! i0 i1( i 1)! i1 i1( i 1)!  a i2  a i1  aea [ a    ] aea ( aea  ea )  a2  a. i2( i  2 )! i1( i 1)! D[ X ]  M [ X 2 ]  ( M [ X ])2  a2  a  a2  a . 7 4 НЕПРЕРЫВНЫЕ СЛУЧАЙНЫЕ ВЕЛИЧИНЫ 4.1. Законы распределения одномерной случайной величины • случае непрерывных случайных величин закон распределения является непрерывной функцией. Различают интегральную (кумулятивную) функцию распределения и дифференциальный закон – плотность распределения. Интегральная функция распределения F(x)=P(X≤x), где x – фиксированное число. Число xp , удовлетворяющее уравнению p  F (xp ) , называется квантилем, соответствующим вероятности р. Знание F(x) позволяет определить вероятность попадания в заданный интервал [а, b]: P(a≤X≤b)=P(X≤b)-P(X≤a)=F(b)-F(a). Интегральная функция распределения обладает очевидными свойствами: 1. F(x) – неубывающая, то есть F(x2)≥F(x1), если x2≥x1, так как чем шире интервал, тем больше вероятность того, что случайная величина попадет в него. 2. F(-∞)=0 – невозможное событие Ø. 3. F(∞)=1 – достоверное событие Ω, так как значение случайной величины обязательно попадает в одну из точек всех возможных значений. 4. 0 ≤ F(x) ≤1 - вероятность лежит в диапазоне между вероятностями невозможного и достоверного событий. 5. Вероятность того, что непрерывная случайная величина примет конкретное значение x=c, равна нулю P(c ≤ X ≤ c)=F(c)-F(c)=0. Вспомним, что в случае дискретной случайной величины вероятность конкретного события не равна 0. По определению плотность распределения (дифференциальный закон): f ( x )  lim P( x  X  x  x )  lim F( x  x )  F( x )  F ( x ). (4.1) x x x 0 x0 Отсюда вытекает второе название – дифференциальный закон. Обратно имеем F( x )  х  f ( t )dt . (4.2)  Для вероятности попадания в интервал (a, b) имеем b Р( a  Х  b )  F( b )  F( а )  f ( х )dх , (4.3) а 8 то есть вероятность попадания в заданный интервал равна площади под кривой плотности распределения f(x) на данном интервале. Плотность распределения обладает свойствами: 1. f(x) ≥ 0, так как F(x) – неубывающая функция. b 2. P( a  X  b )  F( b )  F( a )  f ( t )dt a  3.  f ( t )dt  F(  )  F(  ) 1 - условие нормировки.  Пример. Рассмотрим равномерное распределение с плотностью  если a  x  b; c, f (x)  если x [a,b]. 0, f(x) c x a b b 1 Решение. Из условия нормировки cdt  c(b  a) 1. определим величину c  . a b  a • литературе равномерный закон обозначают R(a,b). Для ЭВМ в различных языках программирования и математических пакетах имеется возможность генерирования равномерных случайных чисел с законом R(0,1). Так как числа генерируются от некоторого начального числа, то существует возможность повторения последовательности чисел. В этом смысле они не являются случайными. Полное название таких чисел – квазиравномерные псевдослучайные. Первое название – из-за дискретности, второе – из-за возможности воспроизведения последовательности. 4.2. Законы распределения системы случайных величин Системой случайных величин называют совокупность нескольких СВ, значения которых совместно описывают результат случайного явления. Например: координаты точки на плоскости (двумерная СВ); в трёхмерном пространстве (трёхмерная СВ). Систему СВ любой физической природы принято трактовать как точку ( n  мерный вектор) в n  мерном пространстве, что 9 позволяет привлечь аппарат аналитической геометрии и линейной алгебры для описания и преобразования СВ. Пример 1. Вероятность попадания СВ на площадку ds  dx1dx2 равна объёму столбика х1+dx1 х1 х1 f(х1,x2) Вероят- ностный элемент f(х2,x1)ds х2 х2+dx2 х2 ds=dх1dx2 f ( x1 , x2 )dx1dx2 - вероятностному элементу (в.э.), изображенному на рисунке. Имеем P(x1  X1  x1  dx1 ; x2  X 2  x2  dx2 )  f (x1 , x2 . (4.4) Интегральная функция распределения k–мерной СВ по определению равна F(x1,…,xk)=P(X1x1,…,Xkxk). В частности, в случае двумерной СВ имеем F(x1,x2)=P(X1x1, X2x2)= x1 x2 f ( x1 ,x2 )dx1dx2 . =   (4.5)  Отсюда двумерная плотность (дифференциальный закон) есть f(x1, x2)= F (x1, x2 ) . (4.6) x x 2 1 ◦ случае одномерной СВ вероятностный элемент равен f(х)dх. Аналогично определяется в.э. • случае k-мерного случайного вектора. Вероятность попадания в полосу шириной dx2 параллельно оси x1 (не зависит от x1 ) равна Px 2  X 2  x 2  dx 2  f x x 2 dx dx 2  f 2 x 2 dx 2 . (4.7)  1 1    Отсюда f2 x2   f x1 , x2 dx1 . (4.8)  Это безусловная плотность распределения X 2 . Она определена интегрированием по лишней переменной X1 . Аналогично 10 f1 x1   f x1 , x2 dx2 . (4.9)  Если известна k-мерная плотность f x1 ...xk , то плотность распределения k1-мерного вектора получается интегрированием по лишним переменным: f x1...xk1   ... f x1...xk dxk1 1...dxk . (4.10)   Исходя из определения и физического смысла интегральной и дифференциальной функций распределения вытекают свойства. 1) числовые значения1 ,x2  лежат в пределах,x2 1; 2) F x1 ,x2  неубывающая функция от каждого из аргументов, т.е. F x1 ,x2   F x1, ,x2, , если0Fx1Fx x1  x, и x2  x ,,2 . Поэтому f x1 ,x2  как частная производная – неотрицательная функция; 3) F, 0 как вероятность невозможного события; 4) F,1 как вероятность достоверного события. 4.3. Начальные и центральные моменты Наиболее полной характеристикой непрерывной случайной величины является закон распределения (интегральный или дифференциальный). Числовые характеристики полностью определяются законом и менее информативны. Тем не менее, они дают представление о некоторых обобщенных свойствах (о рассеивании, о наиболее вероятном значении и т.д.). Наибольшее распространение нашли моменты СВ или функции от нее. Заметим, что числовые характеристики для непрерывных и дискретных случайных величин определяются аналогично. Разница в том, что в дискретном случае имеем средневзвешенные суммы (с весами, равными вероятностям значений ДСВ), а в непрерывном случае имеем интегралы (с весами, равными плотности распределения значений НСВ). Математическим ожиданием (МО) функции ( x ) СВ Х называется ее среднее, взвешенное с весом, равным плотности распределения f ( x ): 11  M [( x )] ( x ) f ( x )dx . (4.11)  n В случае ДСВ имеем M [( x )]  ( xi ) pi . (4.12) i1 Если ( x )  xk , то имеем начальный момент порядка k :  k  M [ Х k ]    xk f ( x )dx . (4.13)  n Аналогично для ДСВ  k  xik pi . (4.14) i1 МО СВ Х является моментом первого порядка M [ Х ] 1  n  xf ( x )dx или M [ Х ] 1  xi pi . (4.15)  i1 МО определяет «центр» области вероятных значений СВ, около которого распределяются (группируются) на числовой оси случайные точки. Если перенести начало отсчета в «центр», то  Х 1 . получим центрированную СВ Х Моменты центрированной СВ называют центральными   k   Х k f (x)dx  (x 1 )k f (x)dx , k  0, 1, . . . (4.16)   При этом 0 0 1 – условие нормировки, 1  0 («центр» центрированной СВ совпадает с началом координат). Второй центральный момент – дисперсия  D[ Х ]  M [ Х 2 ]  2  ( x 1 )2 f ( x )dx . (4.17)  Дисперсия – мера рассеивания СВ относительно среднего значения. Чтобы размерность меры рассеивания совпала с размерностью СВ, вводится среднеквадратичное (или среднеквадратическое) отклонение (с. к. о.):  x  ( x ) D[ x ] . Если преобразовать (4.16) с учетом (4.13), то получим выражение центральных моментов через начальные k k  (1)k i Ckii1k i . (4.18) i0 12 В частности  2  2 2 ,  3  3  3 1  2 3 , … (4.19) 1 2 1 Отсюда можно наоборот выразить начальные моменты через центральные. 4.4. Характеристики положения Эти характеристики предназначены для указания на особенности формы кривой распределения или на некоторые особенности положения. Асимметрия или скошенность Sx - безразмерное число S x  3 . (4.20) x3 В случае симметричных распределений S x  0 . Если S x  0 , то асимметрия правосторонняя, то есть правый «хвост» распределения длиннее левого и наоборот. Эксцесс или крутость E x - безразмерное число E x  4  3 . По Кендалу E  4 . (4.21) x4 4 • случае нормального закона Ex  0 (или Е=3). Если плотность распределения более острая, чем у нормального закона, то Ex  0 (Е>3) и наоборот. К числовым характеристикам СВ относятся мода M 0 x , медиана M ex и r-статистики. Мода M 0 x - наиболее вероятное значение СВ или значение непрерывной СВ, которому соответствует максимум плотности вероятности. Существуют распределения с несколькими экстремумами-максимумами плотности распределения, т.е. много модальные распределения, например, двумодальные. Медиана M ex - такое число, при котором P( Х  M ex )  P( Х  M ex )  0,5 . Медиана непрерывной СВ X определяет точку на оси X , абсцисса которой делит площадь под кривой распределения СВ пополам. Если плотность симметрична относительно некоторой точки X и имеет в ней максимум, то среднее значение, мода и медиана совпадают с этой точкой, т.е. М [ Х ] 1  M 0 x  M ex . 13 Рассмотрим независимую выборку объема n: х1,…,хn . Расположим члены выборки в неубывающий вариационный ряд (ряд по возрастанию значений): х(1),…,х(n). Член х(r) вариационного ряда называют r-статистикой случайной величины Х. • частности х(1) – наименьшее значение, х(n) – наибольшее значение. Разница между ними w= х(n) - х(1) – размах. Размах, как и с.к.о., характеризует разброс случайной величины около среднего значения. Средний член вариационного ряда (средняя r-статистика) в случае нечетного n и среднее арифметическое средних членов в случае четного n представляет собой оценку медианы распределения. 4.5. Числовые характеристики системы случайных величин Для условной СВ применяются аналогичные числовые характеристики. В частности, условное математическое ожидание и дисперсия   M [ Х / Y ]   xf ( x / y )dx; D( Х / Y )   [ x  M ( Х / Y )] 2 f ( x / y )dx . (4.22)   • качестве меры линейной связи между двумя СВ используется центральный смешанный момент (корреляционный) – МО произведения ЦСВ:  Rxy  M [ Х Y ]  (x  M [ X ])( y  M [Y ]) f (x, y)dxdy . (4.23)  Если СВ независимы, то они и не коррелированны. Обратное утверждение в общем случае неверно. Пример 1. Пусть f(x) – четная функция и y  x2 . Найдем Rxy . Rxy  M [ ХY ]  M [ Х 3 ]    x3 f ( x )dx  0 . (4.24)  Здесь Х в силу симметричности распределения был центрированной СВ. Итак, (4.24) свидетельствует о том, что Х и Y некоррелированы. В то же время они связаны друг с другом функциональной зависимостью, другими словами, зависимы (одна однозначно определяет другую). При этом если даже, например, Х распределена по нормальному закону, то другая имеет другой закон. Этот пример иллюстрирует, что из некоррелированности не следует независимость. 14 Только в случае нормального закона понятия некоррелированности и независимости эквивалентны. Чтобы мера связи не зависела от масштаба СВ, вводят нормированную корреляционную функцию или коэффициент корреляции  xy  Rxy . (4.25)  x y xy  Докажем, что 1. Рассмотрим Z   y X  x Y . Так как D всегда >0, то имеем D(Z )  M [Z 2 ]   2 D( X )  2 y R xy   2 D[Y ]  0 , y x x или 2 2 2  2 R xy  0 1   xy  0   xy 1. (4.26) x y x y 4.6 Теоремы о числовых характеристиках 1. Математическое ожидание неслучайной величины с равно этой величине M[c]=c; M (с)   xi pi  c 1  c . 2. Дисперсия неслучайной величины равна нулю, то есть D(c)=0. Имеем D[ с ]  M [ c  M ( c )] 2  M [ c  c ] 2  M [ 0 ] 2  0 . 3. Вынесение неслучайной величины за знак математического ожидания: M [ cХ ]  c M [ Х ] . 4. Вынесение неслучайной величины за знак дисперсии 2 2  y  c x . D[cХ ]  M[c2 X ]  c2 M[ X ]  c2 x2 ; 5. Математическое ожидание суммы M [ Х У ]  M [ Х ]  M [У ] . 6. Математическое ожидание линейной функции M [ ai Х i  bi ] [ ai M [ Х i ]  bi ] . 7. Дисперсия суммы D[ Х Y ]  D[ Х ]  D[У ]  2Rxy . Если Х и У некоррелированы, то D[ Х Y ]  D[ Х ]  D[Y ] . 8. Дисперсия линейной функции D[ a Х i  b ] a2 D[ Х i ]  2 a a R . i i i j ij i  j 15 9. Математическое ожидание произведения СВ M [ ХУ ]  M [ Х ]M [У ]  Rxy . В частном случае, когда Rxy  0 , математическое ожидание произведения случайных величин равно произведению математических ожиданий. При вычислении Rxy достаточно центрировать один множитель. Действительно  M [ X ] M [У ]  Rxy . M [ X (Y  M [У ])]  M [ XY ]  M [ XM [У ]]  Rxy Здесь использовано то, что математическое ожидание ЦСВ равно нулю. При доказательстве этих теорем следует иметь ввиду, что в случае непрерывной СВ дискретные суммы (математические ожидания) заменяются на соответствующие интегралы. Математическое ожидание – сумма или интеграл, а это линейные операторы (сумма или интеграл суммы равен сумме сумм или интегралов) и постоянный множитель можно выносить из под знака суммы или интеграла. 16 РАЗДЕЛ 3. ЗАКОНЫ РАСПРЕДЕЛЕНИЯ В СТАТИСТИКЕ ДИСЦИПЛИНА «ТЕОРИЯ ВЕРОЯТНОСТИ И МАТЕМАТИЧЕСКАЯ СТАТИСТИКА» 1 5 НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕ СЛУЧАЙНОЙ ВЕЛИЧИНЫ 5.1. Одномерное нормальное распределение Нормальный закон имеет наибольшее распространение среди других, так как является пределом, к которому приближаются другие законы при некоторых типичных условиях. На основании центральной предельной теоремы, например, сумма независимых или слабо зависимых СВ с любыми законами и соизмеримыми дисперсиями приближается к нормальному закону при большом количестве слагаемых ( n  ). Стандартное обозначение нормального закона 1  ( x )2 N( , 2 ) ;  – среднее;  2 – дисперсия. Плотность распределения f ( x )  e 2 2 – 2 гауссова кривая. Множитель при экспоненте взят из условия нормировки  1   ( x )2 2 2  f ( x )dx   e dx =1. (5.1)  2  Покажем, что это так. Для этого введем новую переменную t  x   . Тогда имеем  dx  du ; рассмотрим   u2 x  u   f ( x )dx  1  e  2 du . Для вычисления интеграла 2    x2  y2  u2  e 2 dxdy  (  e 2 du )2 . Перейдем к полярным координатам и определим   Якобиан преобразования координат I x   cos ; y   sin ; Тогда dxdy  I dd  dd; x y I  x y  x2  y 2   2 . cos sin    ; (5.2)   sin  cos  В результате получим x2  y2 2  2 2  2  2 2  e 2 dxdy   e 2 dd   d e 2 d( )  2( e 2 )|o  2  2  o o o o 2  •  f ( x )dx 1,  M [ Х ] 1  21 что и требовалось доказать. Математическое ожидание равно   ( x )2    u 2   u 2   xe 2 2 dx  1  ue 2 du   e 2 du   . (5.3) 2        Здесь перешли к новой переменной u  x ; dx   du ; x   u   и учли, что первый  u2 1 e du 1 по интеграл от нечетной функции при симметричных пределах равен нулю, а 2 2  условию нормировки плотности распределения. Для дисперсии имеем 1   ( x )2 2 2 2 D[ Х ]  ( x   ) e dx  2   2  t 2  t 2    te 2 |   e  2 dt   2 . 2      2   t 2  t 2e 2 dt  2  (5.4) Здесь после перехода к нормированной центрированной переменной t интеграл взят по частям при e t 2 v e t 2 t 2  dv ; ; u=t; du=dt. Дисперсия - это второй параметр нормального 2 d 2 2 закона, используемый в обозначении N( , 2 ) . По определению интегральной функции распределения имеем (t  )2 x x x u 2  F (x)  Р( Х  x)   f (x)dt   e e du  Ф( x ) 1 2 2 dt  1 2   2 2    Здесь использован переход к безразмерной нормированной переменной t   u ; dt   du ; .  Вероятность попадания в отрезок [х1, х2] равна P( x  x  x 2 )  F( x 2 )  F( x )  Ф( x1  ) Ф( x2  ) . (5.5) 1 1   Теперь найдем вероятность попадания в интервал  3 относительно среднего значения, то есть x1    3 ; x2    3 . 3 P( x  3 )  Ф(   3   ) Ф(   3   )  Ф(3) Ф(3)  0,9973 .   Это рассмотренное ранее правило «трех сигм». В случае нормального закона N(, 2) СВ практически лежит в пределах  3 около среднего значения. x    xн – центрированная  нормированная СВ. Рассмотрим характеристики формы кривой плотности N( , 2 ) . Коэффициент асимметрии S х  3 . Так как распределение симметрично, то все нечетные 3 центральные моменты равны нулю то есть Sх=0. Эксцесс (крутость) E x  4 -3. 4 Интегрируя по частям, выразим момент 2k ,н нормированной центрированной случайной величины через момент 2k 2,н  t 2 2k 1 t 2   2k   t 2 2к ,н  1  t 2k e 2 dt  t 2 e 2 1  t 2k 2e 2 dt  ( 2k 1)2k 2,н . 2  - 2  При интегрировании по частям полагали: v e t 2 t 2k 1  u. 2 ; Выражая момент 2k 2,н через предыдущий 2k 4,н и так далее до 2 1, окончательно получим 2к ,н  ( 2k 1 )!! , где (2k-1)!!=13 5 ( 2k 1)- двойной факториал. В случае ненормированной нормальной случайной величины имеем 2k  ( 2k 1)!! 2k (5.6) f(x) Если подставить в (5.6) k=2, получим  4 13 4 и 4 Ех>0 Ex   3 =0. Норм.  4 Ех<0 Чтобы сравнивать другие распределения с Ех=0 x нормальным из эксцесса вычитают 3, то есть полагают Эксцесс Е х характеризует Ех=Е–3. Если у какого-либо распределения Ех 0, то “размах” больше, плотность распределения более плоская, а крутость распределения 4 если Ех>0, то наоборот, более острая. При этом эксцесс (как и коэффициент асимметрии) не зависит от величины дисперсии, так как является нормированной (безразмерной) величиной. Наивероятнейшее значение (мода) и медиана совпадают с М[X]=  ввиду симметричности распределения. Нормальное распределение одномодально. На практике встречаются также многомодальные распределения (плотность распределения имеет несколько экстремумов-максимумов). 5.2. Многомерное нормальное распределение В обозначении многомерного нормального закона N ( { i },( i , j )) используются: { i } - вектор-строка средних значений компонент Х i ; (i , j ) - корреляционная (ковариационная) матрица. Обозначим также через (  i , j ) обратную матрицу, через i , j и  i , j - определители матриц. Рассмотрим нормальный закон на плоскости (k=2). В этом случае { }  { ,  }; (    (5.7) )  11 12  . i 12 i, j     22  21 На главной диагонали стоят дисперсии 12  11 ; 22  22 . В силу симметричности матрицы  ( )   2   ;  2 2(1  2 ) .  1 1 2  ij ij ji 1221 1 2 ij   2  1 2   1 2 2  1      12 (1   2 ) 1 2 (1   Обратная матрица ( ij  2 )  (5.8) )     1 .    (1   2 )  2 (1   2 )    1 2 2  Заметим, что обратная матрица получается из присоединенной (союзной) матрицы, деленной на определитель матрицы. Присоединенная матрица составлена из алгебраических дополнений транспонированной матрицы (в нашем случае в силу симметричности матрицы транспонированная матрица совпадает с исходной). Плотность распределения 5 1 ( x  )2 ( x  )( x  ) ( x  )2 1  [ 1 1 2  1 1 2 2  2 2 ] , x2 )  2(1 2 ) 12 1 2 22 f (x1 2 e . (5.9) 2 1   2 1 f ( x1 , x2 ) mx1 2 mx2 x2 1 Закон зависит от пяти параметров: 1,2,12,22иρ. Если X1 , X 2 некоррелированы, то ρ=0 и двумерная плотность распределения распадается на ( x  i )2 1 i произведение одномерных:f ( х1 , х2 )  f1( х1 ) f2 ( х2 ) , где fi ( xi )  e 2i2 , i 2 i  1, 2 , что означает независимость компонент. Отсюда следует, что в случае нормального закона из некоррелированности следует независимость, то есть эти понятия эквивалентны. Если k=3, то имеем СВ в трехмерном пространстве. В случае k>3 имеем k-мерное пространство и эллипсоид в нём (k-мерный эллипсоид). 5.4. Вероятность попадания в прямоугольник Определим вероятность попадания случайной величины в область, ограниченную прямоугольником, длины сторон которого равны 2a и 2b. Интегрируя плотность распределения по прямоугольной области, получим: 6  1  2   2 ( 1 2 ) P( 1  a, 2  b )  1 b a 2  2  2 d1d2   e 1 2 2  2 b a 1  2  2 1 a 1 1 b 1  2 d1  2 d2   e 2  e 2 (5.12) 2 2 a 2 b 1  [ Ф( a )  Ф(  a )]  [ Ф( b )  Ф(  b )].   2   2 1 1 5.5. Теоремы, связанные с нормальным распределением Можно сформулировать следующие теоремы. Теорема 1. Если ( X1 ...X k ) ~ N({ i },(ij )), то L  c1x1  ... ck xk N( ci i ,ijci c j ). То есть линейная комбинация нормальных случайных величин является нормальной случайной величиной. имеет также Теорема 2. Если ( X1...X k ) ~ N({ i },(ij )), то условная СВ xk x1...xk 1 имеет k 1 1  r pq ;  k k  элемент обратной матрицы (ij )1  ( ij ) ; N (k  r (xr  r ), ), где r  kk  pq r 1  ( pq )- матрица из ( ij ) без k-строки и k-столбца; (  pq )  обратная ( pq ) матрица; ( r pq ) - матрица, полученная из ( pq ) заменой r-го столбца последним столбцом матрицы (ij ) (без последнего элемента  k k ). Таким образом, условные случайные величины из многомерного нормального закона также являются нормальными случайными величинами. Теорема 3. В случае k-мерного нормального распределения среднее и дисперсия условной СВ x1 / x2 ...xk 1 совпадают соответственно с функцией среднеквадратичной линейной регрессии и со средней остаточной дисперсией величины x1 / x2 ...xk 1. Под функцией среднеквадратичной регрессии понимается функция обеспечивающая минимум дисперсии (квадрата с.к.о. СВ от неё). 7 6 ЗАКОНЫ РАСПРЕДЕЛЕНИЯ В СТАТИСТИКЕ 6.1.  2 - распределение (Хи-квадрат) Закон случайной величины 2 обозначается Х2(k) или  2 ( k ) , где k – число степеней свободы. Здесь  2 следует понимать как простую переменную, а не квадрат переменной  . Плотность распределения, математическое ожидание и дисперсия равны k 2 f  2  1   2  2  1 2 M [  2 ]  k ; D[  2 ]  2k . (6. 1)   e 2 ,  2  0 ;  k  2    2Г    2   Здесь Г( k )  хk 1eх dx - гамма-функция от k. Пример случайной величины, распределенной по закону Х2(k) дает следующая теорема. Теорема 1. Если x1...xk ~ N i ,ij , то k   ij ( xi  i )x j   j ~  2 k . i , j В частности, если корреляционная матрица fк() к=3 1 . . . является единичной ij     . 1 . .  , то есть к=1 к=5    . . . 1  компоненты независимы и имеют одинаковые k 2 k . Число Рис. 6.1. Плотность единичные дисперсии, то  х2 ~  распределения закона X2(k) i степеней свободы в данном случае совпадает с количеством независимых слагаемых в сумме (композиции), что и поясняет физический (или математический) смысл и название – число степеней свободы. 8 6.2 Распределение Стьюдента (t-распределение) Закон обозначается S(k), k –число степеней свободы.    k 1 Плотность распределения равна f x Г  k 1   x2  2  t  . (6.2)  2     , k 1    k Г   k  2 Распределение симметрично и имеет математическое ожидание и дисперсию, равные k M[t]=0; D[t]= . (6.3) k  2 f t  1 e t 2 При k  D[ t ] 1 и 2 . То есть закон распределения t 2 стремится к нормальному закону N(0,1). Распределение Интегральная функция распределения Стьюдента Ft степеней свободы k. Стьюдента шире, то есть Ex  0 . табулирована при различном числе 9 РАЗДЕЛ 4. ТОЧЕЧНОЕ И ИНТЕРВАЛЬНОЕ ОЦЕНИВАНИЕ, СТАТИСТИЧЕСКИЕ ГИПОТЕЗЫ ДИСЦИПЛИНА «ТЕОРИЯ ВЕРОЯТНОСТИ И МАТЕМАТИЧЕСКАЯ СТАТИСТИКА» 1 10 ОСНОВЫ ВЫБОРОЧНОГО МЕТОДА Неизвестные параметры случайных событий, величин и функций на практике оцениваются по результатам опытов или наблюдений. Пусть имеется выборка x  ( x1 ...xn ) . В общем виде ставится задача: используя информацию, доставляемую выборкой x, сделать выводы об истинном значении 0 неизвестного параметра  , т.е. оценить точку 0 . Статистика - любая случайная величина, являющаяся функцией только от выборки X. Например,  1  xi ; sx2  1 (хi - )2 ; w  xmax  xmin и т. д. x х n n 1 10.1 Точечное оценивание При точечном оценивании ищут статистику T  T( x ) , значение которой при заданной реализации x  ( x1 ,...,xn ) выборки Х принимается за приближенное значение параметра 0 . Говорят, что статистика T(X) оценивает  , или что она есть оценка  . Например, T  x - оценка среднего значения; T  sx2 - оценка дисперсии. Интуитивно ясно, что для оценивания  можно использовать различные оценки и чтобы выбрать лучшую из них, надо иметь критерий сравнения качества оценок. Любой критерий определяется мерой близости оценки к истинному значению. Оценка, минимизирующая меру близости, - оптимальная оценка. Пусть  - скалярный параметр. T(X) - несмещённая оценка  , если M [ T( x )]  . (10.1) Если надо оценить функцию ( ), то условие несмещённости принимает вид M [T( x )] ( ). (10. 2) Оценка состоятельна, если M [T( x )]  при n . (10.3) Пусть T * и T- две несмещенные оценки. Если D[T * ]  D[T ], то T * - несмещённая оценка • равномерно минимальной дисперсией, или эффективная оценка. Для смещённых оценок можно ввести величину b()  M[T (x)]  - смещение оценки. Имеем M [ T( x )  ] 2  D[ T( x )]  b2 ( ) - средний квадрат ошибки. Действительно, для 2 математического ожидания (среднего) квадрата отклонения оценки от ее математического ожидания получим M [T ]2  D[T ]  b2 . Здесь мы возвели в квадрат и нашли математическое ожидание каждого слагаемого, воспользовавшись свойствами математического ожидания. Для несмещенной оценки средний квадрат совпадает с дисперсией оценки, так как в этом случае b = 0. Следовательно, среднее квадрата отклонений минимально, если берется отклонение от среднего. Именно поэтому оценка должна быть несмещенной. Для СВ наиболее важные числовые характеристики - среднее, дисперсия и корреляционная матрица. Их оценками соответственно являются выборочное среднее, выборочная дисперсия и выборочный элемент корреляционной матрицы  1  xi ;  x2  1 ( xi  )2 , sij  1 ( xi  i )( x j  j ). (10. 4) x x x x n n 1 n 1 Эти оценки несмещённые, состоятельные и в большинстве случаев являются эффективными, то есть оценками с минимальной дисперсией. 10.2 Интервальное оценивание При интервальном оценивании ищут две такие статистики T1  T1 ( X ) и T2  T2 ( X ) , где T1