Теория вероятностей и математическая статистика

Курс лекций по теории вероятностей и математической статистике Сожержание Пояснительная записка 3 Обращение к студенту 3 Лекция 1. Основные понятия и термины. Основы комбинаторики. Классическая вероятность. 4 1.1. Основы теории множеств. 4 1.2. Алгебра событий. 5 1.3. Аксиомы теории вероятностей 7 1.4. Основные правила теории вероятностей 8 Теорема сложения вероятностей. 9 Теорема умножения вероятностей. 9 1.5. Формула полной вероятности и формула Байеса 11 Формула полной вероятности. 11 Формула Байеса (формула вероятностей гипотез). 11 1.6. Классическое определение вероятности. Основные формулы исчисления вероятностей 12 Понятие об аксиоматическом построении теории вероятностей 16 1.7. Примеры решения задач по теме 19 1.8. Контрольные задания 25 Лекция 2. Случайные величины, их распределения и числовые характеристики 28 2.1. Случайные величины 28 2.2. Функция распределения 28 2.2. Числовые характеристики дискретных случайных величин 30 2.3. Дисперсия дискретных случайных величин 31 2.4. Непрерывные случайные величины 33 2.5. Дифференциальная функция распределения (плотность распределения). 33 2.6. Математическое ожидание и дисперсия непрерывных случайных величин. 34 2.7. Некоторые законы распределения случайных величин 35 2.8. Примеры решения задач по теме 41 Дискретные случайные величины 41 Непрерывные случайные величины 46 2.9. Контрольные задания 51 Лекция 3. Неравенство Чебышёва. Законы больших чисел и предельные теоремы. 52 3.1. Неравенство Чебышёва. 52 3.2.Закон больших чисел в форме Чебышёва 53 3.3. Предельные теоремы 53 1. Локальная теорема Муавра-Лапласа. 53 2. Интегральная теорема Муавра-Лапласа. 54 3.4. Центральная предельная теорема. 55 4. Теорема Пуассона. 56 3.5. Примеры решения задач по теме 57 3.6. Контрольные задания 59 Лекция 4. Основы математической статистики 59 4.1. Относительная частота как оценка вероятности 60 4.2. Эмпирическая функция распределения, как оценка функции распределения 61 4.3. Среднее выборочное, как оценка математического ожидания 63 4.4. Задача точечного оценивания 63 Метод максимального правдоподобия Р. Фишера 64 Метод моментов 69 4.5. Оценка плотности вероятности 71 4.6. Интервальное оценивание 73 4.7. Проверка статистических гипотез 77 Критерий Колмогорова 79 Критерий 2 Пирсона 80 Критерий Стьюдента 83 4.8. Метод наименьших квадратов 84 4.9. Примеры решения задач по теме 88 4.10. Контрольное задание 91 Пояснительная записка 1. ЦЕЛИ И ЗАДАЧИ ДИСЦИПЛИНЫ Цель преподавания курса – дать студентам научное представление о случайных событиях и величинах, а также о методах их исследования. Это необходимо для изучения целого ряда дисциплин: «Многомерные статистические методы», «Эконометрика», «Методы оценки финансового риска» и других В соответствии с целью студенты должны усвоить методы количественной оценки случайных событий и величин. Кроме того, они должны научиться содержательно интерпретировать формальные результаты. Курс базируется на дифференциальном и интегральном исчислении, а также на линейной алгебре. В свою очередь, является основой для ряда дисциплин, как развивающих методы теории вероятностей и математической статистики, так и использующих эти методы для решения реальных экономических задач. 2. ТРЕБОВАНИЯ К УРОВНЮ ОСВОЕНИЯ СОДЕРЖАНИЯ ДИСЦИПЛИНЫ В результате изучения курса студент должен: Знать и уметь использовать: - основные понятия и методы теории вероятностей и математической статистики - вероятностные, статистические модели простейших систем и процессов в естествознании и экономике; - вероятностные модели для конкретных процессов и проводить необходимые расчёты. Иметь навыки: - исследования моделей, оценки пределов применения результатов; -использования основных методов обработки экспериментальных данных. 3. РЕКОМЕНДОВАННАЯ ЛИТЕРАТУРА 1. Гмурман Е.В., Курс теории вероятностей и математической статистики– М.: Высшая школа, 2000. 2. Гмурман Е.В., Руководство к решению задач по теории вероятностей и математической статистике– М.: Высшая школа, 2001. 3. Колемаев В.А., Староверов О.В., Турундаевский В.Б. Теория вероятностей и математическая статистика. – М.: Высшая школа, 1990. 4. Пугачев В.С. Теория вероятностей и математическая статистика. – М.: Наука, 1979. 5. Захаров В.Н., Севастьянов Б.А., Чистяков В.П. Теория вероятностей. – М.: Наука, 1983. 6. Иванова В.М., Калинина В.Н. и др. Математическая статистика. – М.: Высшая школа, 1981. 7. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Основы моделирования и первичная обработка данных. – М.: Финансы и статистика, 1983. Обращение к студенту Уважаемый слушатель! Изучение дисциплины “Основы теории вероятностей и математической статистики” ставит вышеуказанные в пояснительной записке цели и задачи. В процессе освоения данной дисциплины Вам необходимо: - изучить конспект лекций; - выполнить контрольные задания, приводимые в конце каждой лекции; - выполнить расчетно-графическое задание; - сдать экзамен Внимательно прочтите следующие замечания: 1. При изучении курса “Основы ТВиМС ” помимо конспекта лекций настоятельно рекомендуется использовать книги, на которые даны ссылки выше в пояснительной записке. 2. При изучении конспекта особое внимание обращайте на приводимые решения задач в конце каждой лекции. 3. Решение контрольных задач должно обязательно сопровождаться комментариями и ссылками на используемые утверждения, формулы, теоремы и пр. 4. Выполнение контрольного задания по математической статистике (Лекция 4) и расчетно-графического задания рекомендуется проводить с использованием MS Excel. После выполнения контрольных заданий и РГЗ Вы будете допущены к экзамену. Экзаменационная оценка по дисциплине выставляется с учетом качества всех выполненных работ. Желаем успехов в изучении курса “Основы теории вероятностей и математической статистики”! Лекция 1. Основные понятия и термины. Основы комбинаторики. Классическая вероятность. 1.1. Основы теории множеств. Теория вероятностей -  математическая наука, изучающая закономерности в случайных явлениях. Одним из основных понятий является понятие случайного события (в дальнейшем просто событие). Событием называется всякий факт (исход), который в результате опыта (испытания, эксперимента) может произойти или не произойти. Каждому из таких событий можно поставить в соответствие определенное число, называемое его вероятностью и являющееся мерой возможного совершения этого события. Современное построение теории вероятностей основывается на аксиоматическом подходе и опирается на элементарные понятия теории множеств. Множество – это любая совокупность объектов произвольной природы, каждый из которых называется элементом множества. Множества обозначаются по-разному: или одной большой буквой или перечислением его элементов, данным в фигурных скобках, или указанием (в тех же фигурных скобках) правила, по которому элемент относится к множеству. Например, конечное множество М натуральных чисел от 1 до 100 может быть записано в виде   М = {1, 2, …,100} = {i - целое; 1 i 100}.   Предположим, что производится некоторый опыт (эксперимент, испытание), результат которого заранее неизвестен, случаен. Тогда множество всех возможных исходов опыта представляет пространство элементарных событий, а каждый его элемент (один отдельный исход опыта) является элементарным событием. Любой набор элементарных событий (любое их сочетание) считается подмножеством (частью) множества   и является случайным событием, т. е. любое событие А – это подмножество множества : А . Например, пространство элементарных событий при бросании игральной кости составляет шесть возможных исходов = {1, 2, 3, 4, 5, 6}. С учетом пустого множества , которое вообще не содержит элементов, в пространстве может быть выделено в общей сложности 26 = 64 подмножества:   ; {1}; … ; {6}; {1, 2}; … ; {5, 6}; {1, 2, 3}; … ; .   В общем случае, если множество содержит n элементов, то в нем можно выделить 2n подмножеств (событий). Рассматривая событие (ведь каждое множество есть свое собственное подмножество), можно отметить, что оно является достоверным событием, т. е. осуществляется при любом опыте. Пустое множество как событие является невозможным, т. е. при любом опыте заведомо не может произойти. Для предыдущего примера: достоверное событие = {1, 2, 3, 4, 5, 6} = {выпадение одного из шести очков}; невозможное событие = {7} = {выпадение 7 очков при одном бросании игральной кости}. Совместные (несовместные) события – такие события, появление одного из которых не исключает (исключает) возможности появления другого. Зависимые (независимые) события – такие события, появление одного из которых влияет (не влияет) на появление другого события. Противоположное событие относительно некоторого выбранного события А – событие, состоящее в не появлении этого выбранного события (обозначается ). Полная группа событий – такая совокупность событий, при которой в результате опыта должно произойти хотя бы одно из событий этой совокупности. Очевидно, что события А и составляют полную группу событий. Одна из причин применения теории множеств в теории вероятностей заключается в том, что для множеств определены важные преобразования, которые имеют простое геометрическое представление и облегчающее понимание смысла этих преобразований. Оно носит название диаграммы Эйлера-Венна, и на ней пространство изображается в виде прямоугольника, а различные множества – в виде плоских фигур, ограниченных замкнутыми линиями. Пример диаграммы, иллюстрирующей включение множеств C B А, приведен на рис. 1. Рис. 1   Видно, что B является подмножеством А, а C – подмножеством B (и одновременно подмножеством А).   1.2. Алгебра событий.  В прикладных задачах основными являются не прямые, а косвенные методы вычисления вероятностей интересующих нас событий через вероятности других, с ними связанных. Для этого нужно уметь выражать интересующие нас события через другие, т. е. использовать алгебру событий. Отметим, что все вводимые ниже понятия справедливы тогда, когда события о которых идет речь, представляют собой подмножества одного и того же пространства элементарных событий . Сумма или объединение событий  А1, А2, …, Аn – такое событие А, появление которого в опыте эквивалентно появлению в том же опыте хотя бы одного из событий А1, А2, …, Аn. Сумма обозначается:   (1)   где - знак логического сложения событий, - знак логической суммы событий. Произведение или пересечение событий А1, А2, …, Аn – такое событие А, появление которого в опыте эквивалентно появлению в том же опыте всех событий А1, А2, …, Аn одновременно. Произведение  обозначается   (2)  где - знак логического умножения событий, - знак логического произведения событий. Операции сложения и умножения событий обладают рядом свойств, присущих обычным сложению и умножению, а именно: переместительным, сочетательным и распределительным свойствами, которые очевидны и не нуждаются в пояснении. Диаграммы Эйлера-Венна для суммы (а) и произведения (б) двух событий А1 и  А2 приведены на рис. 2.           а)   б)   Рис. 2   Суммой (объединением) событий А1 и  А2 является событие, состоящее в появлении хотя бы одного из этих событий (заштрихованная область на рис. 2, а). Произведение  событий А1 и  А2 это событие, состоящее в совместном выполнении обоих событий (заштрихованное пересечение событий А1 и  А2 – рис. 2, б). Из определения суммы и произведения событий следует, что  А = АА; А = А ; = А ; А = АА; = А ; А = А .  Если события Аi (i=1, … , n) или { Аi }n i=1  составляют полную группу событий, то их сумма есть достоверное событие   = (3)   Изображение противоположного события приведено на рис. 3. Область дополняет А до полного пространства . Из определения противоположного события следует, что   (4)   Другие свойства противоположных событий отражены в законах де Моргана:   (5)   поясняемых рис. 4.                     Рис. 3   Рис. 4     1.3. Аксиомы теории вероятностей   Сопоставим каждому событию А число, называемое, как и прежде, его вероятностью и обозначаемое P(A) или P{A}. Вероятность выбирают так, чтобы она удовлетворяла следующим условиям или аксиомам:   P() = 1; P() = 0. (6)   P() P(A) P(). (7) Если Ai и Aj несовместные события, т. е. Ai Aj = , то   P(Ai Aj) = P(Ai) + P(Aj). (8)   Приведенные аксиомы постулируются, и попытка доказать их лишена смысла. Единственным критерием справедливости является степень, с которой теория, построенная на их основе, отражает реальный мир. Аксиому  (8) можно обобщить на любое конечное число несовместных событий { Аi }n i=1:   (9)   С помощью аксиом можно вычислить вероятности любых событий (подмножеств пространства ) с помощью вероятностей элементарных событий. Вопрос о том, как определить вероятности элементарных событий, является риторическим. На практике они определяются либо из соображений, связанных с возможными исходами опыта (например, в случае бросания монеты естественно считать вероятности выпадения орла или решки одинаковыми), или на основе опытных данных (частот). Последний подход широко распространен в прикладных инженерных задачах, поскольку позволяет косвенно соотнести результаты анализа с физической реальностью. Предположим, что в опыте пространство можно представить в виде полной группы несовместных и равновозможных событий А1, А2, …, Аn. Согласно (3) их сумма представляет достоверное событие:   = .,   так как события А1, А2, …, Аn несовместны, то согласно аксиомам (6) и (9):   = P() = 1. (10)   Поскольку события А1, А2, …, Аn равновозможны, то вероятность каждого из них одинакова и равна     Отсюда непосредственно получается частотное определение вероятности любого события A:   (11)   как отношение числа случаев (mA), благоприятных появлению события А, к общему числу случаев (возможному числу исходов опыта) n. Совершенно очевидно, что частотная оценка вероятности есть не что иное как следствие аксиомы сложения вероятностей. Представив, что  число n неограниченно возрастает, можно наблюдать явление, называемое статистическим упорядочением, когда частота события А все меньше изменяется и приближается к какому-то постоянному значению, которое и представляет вероятность события А.   1.4. Основные правила теории вероятностей   Вероятности сложных событий можно вычислять с помощью вероятностей более простых, пользуясь основными правилами (теоремами): сложения и умножения вероятностей. Теорема сложения вероятностей. Если А1, А2, …, Аn - несовместные события и А – сумма этих событий, то вероятность события А равна сумме вероятностей событий А1, А2, …, Аn:   (12)   Эта теорема непосредственно следует из аксиомы сложения вероятностей (8). В частности, поскольку два противоположных события А и несовместны и образуют полную группу, то сумма их вероятностей   P(A) + P( ) = 1 (13)   Чтобы сформулировать в общем случае теорему умножения вероятностей, введем понятие условной вероятности. Условная вероятность события А1 при наступлении события А2 – вероятность события А1, вычисленная в предположении, что событие А2 произошло:   P(А1 А2) = P(А1 А2)/P(А2). (14)   Теорема умножения вероятностей. Вероятность произведения (совместного появления) двух событий А1 и А2 равна вероятности одного из них, умноженной на условную вероятность другого, в предположении, что первое событие произошло:   (15)   Для любого конечного числа событий теорема умножения имеет вид   (16)   В случае, если события А1 и А2  независимы, то соответствующие условные вероятности     поэтому теорема умножения вероятностей принимает вид   (17)   а для конечного числа n независимых событий   (18)   Следствием правил сложения и умножения вероятностей является теорема о повторении опытов (схема Бернулли): опыты считаются независимыми, если вероятность того или иного исхода каждого из них не зависит от того, какие исходы имели другие опыты. Пусть в некотором опыте вероятность события А равна P(А) = p, а вероятность того, что оно не произойдет P( ) = q, причем, согласно (13)   P(A) + P( ) = p + q = 1   Если проводится n независимых опытов, в каждом из которых событие А появляется с вероятностью p, то вероятность того, что в данной серии опытов событие А появляется ровно m раз, определяется по выражению   (19)   где - биномиальный коэффициент.   Например, вероятность однократной ошибки при чтении 32-разрядного слова в формате ЭВМ, представляющего комбинацию 0 и 1, при вероятности ошибки чтения двоичного числа p = 10-3, составляет по (19)     где q = 1- p = 0,999; n = 32; m = 1. Вероятность отсутствия ошибки чтения при m = 0, C032 = 1     Часто возникают задачи определения вероятностей того, что некоторое событие А произойдет по меньшей мере m раз или не более m раз. Подобные вероятности определяются сложением вероятностей всех исходов, которые составляют рассматриваемое событие. Расчетные выражения для такого типа ситуаций имеют вид:     где Pn(i) определяется по (19). При больших m вычисление биномиальных коэффициентов Cnm и возведение в большие степени p и q связано со значительными трудностями, поэтому целесообразно применять упрощенные способы расчетов. Приближение, называемое теоремой Муавра-Лапласа, используется, если npq>>1, а |m-np|<(npq)0,5, в таком случае выражение (19) записывается:   (20)   1.5. Формула полной вероятности и формула Байеса Формула полной вероятности. Если по результатам опыта можно сделать n исключающих друг друга предположений (гипотез) H1, H2, … Hn, представляющих полную группу несовместных событий (для которой  ), то вероятность события А, которое может появиться только с одной из этих гипотез, определяется:   P(A) = P(Hi ) P(A Hi ), (21)   где P(Hi) – вероятность гипотезы Hi; P(А| Hi) – условная вероятность события А при гипотезе Hi. Поскольку событие А может появиться с одной из гипотез H1, H2, … Hn, то А = АH1 H2 …АHn  , но H1, H2, … Hn несовместны, поэтому     В виду зависимости события А от появления события (гипотезы) Hi P(AHi) = P(Hi)· P(А| Hi), откуда и следует выражение (21).   Формула Байеса (формула вероятностей гипотез). Если до опыта вероятности гипотез H1, H2, … Hn были равны P(H1), P(H2), …, P(Hn), а в результате опыта произошло событие А, то новые (условные) вероятности гипотез вычисляются:   (22)   Доопытные (первоначальные) вероятности гипотез P(H1), P(H2), …, P(Hn) называются априорными, а послеопытные - P(H1| А), … P(Hn| А) – апостериорными. Формула Байеса позволяет «пересмотреть» возможности гипотез с учетом полученного результата опыта. Доказательство формулы Байеса следует из предшествующего материала. Поскольку P(Hi А) = P(Hi) P(А| Hi) = P(Hi) P(Hi| А): откуда, с учетом (21), получается выражение (22). Если после опыта, давшего событие А, проводится еще один опыт, в результате которого может произойти или нет событие А1, то условная вероятность этого последнего события вычисляется по (21), в которую входят не прежние вероятности гипотез P(Hi), а новые - P(Hi| А):   (23)   Выражение (23) также называют формулой для вероятностей будущих событий. 1.6. Классическое определение вероятности. Основные формулы исчисления вероятностей Разберём весьма частный, однако, часто встречающийся случай:  состоит из конечного числа N равновероятных событий. Понятие ''равновероятности'' здесь является исходным, неопределяемым. Основанием для суждения о равновозможности, равновероятности обычно слу­жит физическая симметрия, равноправие исходов. Понятие "вероятность" здесь уже является производным, определяемым: вероятностью P(A) события A называется P(A)=, где N(A) – число элементарных событий, благоприятствующих событию A. В этих условиях выведем основные формулы исчисления вероятностей. 1. Вероятность достоверного события равна 1: P()=1. Это очевидно, так как  N()=N. 2. Вероятность невозможного события равна 0: P()=0.  Это ясно, поскольку N()=0. 3. P()=1–P(A). Справедливость равенства следует из равенства N(A)+ +N()=N. 4. 0P(A)1 для A, поскольку 0N(A)N. 5. AB  P(A)P(B), поскольку в этом случае N(A)N(B). 6. Для любых событий A и B: P(AB)P(A), так как N(AB)N(A). 7. Теорема сложения для несовместимых событий. Если события A и B несовместимы, то вероятность их суммы равна сумме вероятностей: P(A+B)=P(A)+P(B). Действительно, N(A+B)=N(A)+N(B) и остаётся разделить это равенство на N. 8. Теорема сложения в общем случае: P(A+B)=P(A)+P(B)–P(AB). Действительно, из определения суммы событий: N(A+B)=N(A)+N(B)– –N(AB). Деля почленно это равенство на N, убеждаемся в справедливости теоремы. 9. Обобщение теоремы сложения на n событий: P(A1+A2++An)=(–1)k+1P(Aj1Aj2Ajk). Формула доказывается методом математической индукции несложно, но громоздко. Во внутренней сумме число слагаемых, очевидно, равно и суммирование ведётся по всевозможным наборам различных натуральных индексов  j1, j2,  , jk. 10. Условная вероятность. Добавим к комплексу условий, реализация которых интерпретируется как опыт, ещё одно условие: произошло событие B; это возможно практически лишь в случае, когда P(B)>0. Все опыты, в которых B не произошло, мы как бы игнорируем. Считаем, что добавление события B к комплексу условий не нарушает равновероятности исходов и не меняет природы самих исходов. Теперь опыт может иметь лишь один из N(B) исходов, а из них событию A благоприятствуют N(AB) исходов. В соответствии с классическим определением, вероятность события A при условии, что произошло событие B, равна: P(A|B)===. Таким образом, по существу, условная вероятность ничем не отличается от обычной, безусловной вероятности. В случае, если AB, формула для условной вероятности упрощается: P(A|B)=, так как здесь AB=A. 11. Теорема умножения: вероятность совместного наступления двух событий равна произведению вероятности одного из них на условную вероятность другого при условии, что первое произошло: P(AB)=P(B)P(A|B)=P(A)P(B|A). Первая из этих формул для P(B)>0 является лишь формой записи формулы пункта 10 для условной вероятности; вторая получена из неё перестановкой местами A и B, что для P(A)>0 возможно. Вместе с тем ясно, что теорема умножения верна и для случая P(A)=0 или P(B)=0, но при этом она становится тривиальной и бессодержательной. 12. Независимость событий. Будем говорить, что событие A не зависит от события B, если P(A|B)=P(A). В этом случае теорема умножения упрощается: P(AB)=P(A)P(B). И наоборот, для событий, имеющих положительную вероятность, из последней формулы следует независимость события A от B: P(A|B)===P(A). Таким образом, второе эквивалентное определение независимости: события A и B, имеющие положительные вероятности, независимы, если вероятность их произведения равна произведению их вероятностей: P(AB)=P(A)P(B). События A и B в этом определении симметричны: если событие A не зависит от B, то и B не зависит от A. Если события A и B независимы, то независимы также и события A и . Действительно: P(|A)+P(B|A)=+===1, откуда: P(|A)=1–P(B|A)=1–P(B), а это и доказывает наше утверждение. Ясно, что независимы также и события , . Если события A и B независимы, то они не могут быть несовместимыми: если A и B – одновременно несовместимы и независимы, то, с одной стороны, AB= и P(AB)=0, а, с другой, – P(AB)=P(A)P(B), что противоречит предположению о положительности вероятностей P(A) и P(B). Обобщение понятия независимости на n событий: события A1, A2,  , An называются независимыми в совокупности, если для любого набора различных индексов j1, j2,  , jk вероятность произведения событий Aj1Aj2Ajk равна произведению вероятностей событий Aj1, Aj2,  , Ajk: P(Aj1Aj2Ajk)=P(Aj1)P(Aj2)P(Ajk). Можно думать, что для независимости событий в совокупности достаточно попарной независимости, Конкретные примеры, однако, доказывают, что это не так. Таким образом, для независимых событий легко вычислять вероятность произведения, а для несовместимых событий легко вычислять вероятность суммы. Если события A1, A2,  , An независимы, то P(A1+A2++An)=P()=1–P()P()P(). Если события A1, A2,  , An несовместимы, то P()=P()=1–P(A1+A2++An)=1–P(Ak). 13. Теорема умножения для n событий: P(A1A2An)=P(A1)P(A2An|A1). Учитывая, что условные вероятности ничем не отличаются от безусловных – лишь добавляется к комплексу условий ещё одно, которое в дальнейшем терять или отбрасывать нельзя, – можем продолжить: P(A1A2An)=P(A1)P(A2|A1)P(A3An|A1A2)  . Окончательно: P(A1A2An)=P(A1)P(A2|A1)P(A3|A1A2)P(An|A1A2An–1). Эта теорема позволяет дать ещё одно определение независимости в совокупности: события A1, A2,  , An, имеющие положительные вероятности, независимы в совокупности, если для любого набора неравных индексов P(Aj1Aj2Ajk|Ai1Ai2Aim)=P(Aj1Aj2Ajk), что легко устанавливается по теореме умножения и формуле для условных вероятностей. 14. Формула полной вероятности. Пусть A1, A2,  , An – любое разбиение пространства , B – любое событие. Тогда B=B=B(A1+A2++An)=BA1+BA2++BAn и получаем формулу полной вероятности: P(B)=P(BAk)=P(Ak)P(B|Ak). Обычно A1, A2,  , An – взаимоисключающие друг друга ситуации, в которых может происходить событие B. 15. Формулы Байеса. В обозначениях предыдущего пункта: P(Ak|B)==, k=1, 2,  , n, и мы получили формулы Байеса, которые называют также формулами вероятностей гипотез: если событие B может произойти лишь с одним и только одним из событий A1, A2,  , An и оно действительно произошло, то, спрашивается, с каким из событий Ak оно произошло? Можно сделать n гипотез и, соответственно, формулы Байеса дают апостериорные вероятности P(Ak|B) для этих гипотез, выражая их через априорные вероятности P(Am) и условные вероятности P(B|Am) того, что в условиях m-ой гипотезы произойдёт событие B. Таковы основные формулы исчисления вероятностей. Они получены в условиях весьма частного случая – классической схемы, т. е. для пространства конечного числа N равновероятных элементарных событий. В этой схеме число событий, которым благоприятствуют ровно k исходов, равно , а общее число различных событий, следовательно, равно 2N. Весьма неожиданно, что все полученные формулы являются общими и в действительности сохраняют свою силу для любого пространства элементарных событий. Покажем это. Понятие об аксиоматическом построении теории вероятностей Пусть дано пространство элементарных событий . Множество  событий A, B, C,  назовём полем событий, если а) ; б) A, B  A+B, AB, , . Таким образом, введённые действия с событиями: сложение, умножение и переход к противоположному событию – не выводят нас из поля событий, поле событий замкнуто относительно этих операций. Очевидно, также, что . Примем следующие три аксиомы: I. Любому событию A из поля событий  приведено в соответствие неотрицательное число P(A), называемое вероятностью события A. II. P()=1: вероятность достоверного события равна единице. III. Аксиома сложения. Вероятность суммы несовместимых событий равна сумме их вероятностей. Если A1, A2,  , An – попарно несовместимые события, то P(A1+A2++An)=P(Ak). Тройка (, , P()) называется вероятностным пространством. Таким образом, поле событий  является областью определения вероятностной функции P(), при этом, как будет показано ниже (4), отрезок [0; 1] является областью её значений. Все пятнадцать формул исчисления вероятностей оказываются следствием трёх только что введённых аксиом. Действительно: 1. P()=1 по II аксиоме. 2. +=, =, поэтому по III аксиоме: P()+P()=P(), откуда P()=0. В классической схеме были справедливы и обратные утверждения: если P(A)=1, то событие A – достоверное; если P(A)=0, то событие A – невозможное. В общей же схеме обратные утверждения, вообще говоря, ошибочны. При­ходится вводить особые названия для событий единичной и нулевой вероятности: если P(A)=1, то говорят, что событие A происходит почти наверное, если P(A)=0, говорят, что событие A почти наверное не происходит. Пожалуй, именно это различие значительно усложняет строгую теорию вероятностей по сравнению с классическим случаем. 3. A+= и A=. Поэтому по аксиомам III и II: P(A)+P()=P()=1. Отсюда: P()=1–P(A). 4. По аксиоме I: P(A)0. Так как P(A)+P()=P()=1, и, ввиду аксиомы I: P()0, то P(A)1. Итак, для любого события A: 0P(A)1. 5. Если AB, то B=A+B, и слагаемые здесь несовместимы. По аксиоме III: P(B)=P(A)+P(B); по I аксиоме: P(B)0; поэтому P(B)P(A). 6. Для любых двух событий A и B: P(AB)P(A). Действительно: A=AB+A и по аксиомам III и I: P(A)=P(AB)+P(A)P(AB). 7. Формула P(A+B)=P(A)+P(B) в случае, когда AB=, верна по аксиоме III. 8. Докажем теорему сложения для двух событий: P(A+B)=P(A)+P(B)–P(AB). Очевидно, A+B=A+B, B=AB+B, причём в обоих равенствах справа слагаемые несовместимы. По III аксиоме: P(A+B)=P(A)+P(B), P(B)=P(AB)+P(B). Вычитая почленно нижнее равенство из верхнего, получим теорему сложения. 9. Теорема сложения для n событий P(A1+A2++An)=(–1)k+1P(Aj1Aj2Ajk) является прямым следствием теоремы сложения для двух событий. 10. Формула для условной вероятности P(A|B)= является определением условной вероятности в предположении, что вероятность P(B) ненулевая: P(B)>0. Вероятность P(A|B) показывает, какая часть ве­роятности P(B) приходится на долю события A. 11. Прямым следствием определения условной вероятности оказывается формула: P(AB)=P(B)P(A|B)=P(A)P(B|A). 12. Совершенно так же, как и в классической схеме, на основе последних формул строится понятие независимости событий: события A и B независимы в том и только в том случае, когда P(AB)=P(A)P(B). 13. Теорема умножения для n событий P(A1A2An)=P(A1)P(A2|A1)P(A3|A1A2)P(An|A1A2An–1) является прямым следствием теоремы умножения для двух событий. 14, 15. Выводы формулы полной вероятности и формул вероятностей гипотез воспроизводятся без изменений: для любого события B и любого разбиения пространства  (=A1+A2++An): P(B)=P(Ak)P(B|Ak), P(Ak|B)==, k=1, 2,  , n. В более полных, чем наш, курсах теории вероятностей приходится рассматривать также и суммы бесконечного числа событий и, соответственно, требовать, чтобы эта операция не выводила из поля событий: для бесконечной последовательности попарно несовместимых событий A1, A2,  , An,  требуют, чтобы An. Такие поля событий называются борелевскими полями или сигма-алгебрами. Приходится для борелевского поля событий усиливать аксиому III, распространяя её и на бесконечные суммы попарно несовместимых событий: P(An)=P(An). Любопытно отметить, что в изложенном аксиоматическом построении те­ории вероятностей не нашлось места такому понятию, как событие "произо­шло" или "не произошло". Теория вероятностей оказывается частью теории меры, причём характерными свойствами вероятностной меры оказываются её неотрицательность: P(A)0 и нормированность на единицу: P()=1. Про­сматривая выведенные свойства вероятностной функции P(), можно заметить, что она ведёт себя подобно массе: единичная "масса вероятности" распределяется в пространстве . Если нас интересует вероятность некоторого события A, то мы должны подсчитать, сколько этой массы досталось множеству A. 1.7. Примеры решения задач по теме Задача 1. В группе 30 студентов. Необходимо выбрать старосту, заместителя старосты и профорга. Сколько существует способов это сделать? Решение. Старостой может быть выбран любой из 30 студентов, заместителем - любой из оставшихся 29, а профоргом – любой из оставшихся 28 студентов, т.е. n1=30, n2=29, n3=28. По правилу умножения общее число N способов выбора старосты, его заместителя и профорга равно N=n1n2n3=302928=24360. Задача 2. Два почтальона должны разнести 10 писем по 10 адресам. Сколькими способами они могут распределить работу? Решение. Первое письмо имеет n1=2 альтернативы – либо его относит к адресату первый почтальон, либо второй. Для второго письма также есть n2=2 альтернативы и т.д., т.е. n1=n2=…=n10=2. Следовательно, в силу правила умножения общее число способов распределений писем между двумя почтальонами равно . Задача 3. В ящике 100 деталей, из них 30 – деталей 1-го сорта, 50 – 2-го, остальные – 3-го. Сколько существует способов извлечения из ящика одной детали 1-го или 2-го сорта? Решение. Деталь 1-го сорта может быть извлечена n1=30 способами, 2-го сорта – n2=50 способами. По правилу суммы существует N=n1+n2=30+50=80 способов извлечения одной детали 1-го или 2-го сорта. Задача 5. Порядок выступления 7 участников конкурса определяется жребием. Сколько различных вариантов жеребьевки при этом возможно? Решение. Каждый вариант жеребьевки отличается только порядком участников конкурса, т.е. является перестановкой из 7 элементов. Их число равно Задача 6. В конкурсе по 5 номинациям участвуют 10 кинофильмов. Сколько существует вариантов распределения призов, если по всем номинациям установлены различные премии? Решение. Каждый из вариантов распределения призов представляет собой комбинацию 5 фильмов из 10, отличающуюся от других комбинаций, как составом, так и их порядком. Так как каждый фильм может получить призы как по одной, так и по нескольким номинациям, то одни и те же фильмы могут повторяться. Поэтому число таких комбинаций равно числу размещений с повторениями из 10 элементов по 5: Задача 7. В шахматном турнире участвуют 16 человек. Сколько партий должно быть сыграно в турнире, если между любыми двумя участниками должна быть сыграна одна партия? Решение. Каждая партия играется двумя участниками из 16 и отличается от других только составом пар участников, т.е. представляет собой сочетания из 16 элементов по 2. Их число равно Задача 8. В условиях задачи 6 определить, сколько существует вариантов распределения призов, если по всем номинациям установлены одинаковые призы? Решение. Если по каждой номинации установлены одинаковые призы, то порядок фильмов в комбинации 5 призов значения не имеет, и число вариантов представляет собой число сочетаний с повторениями из 10 элементов по 5, определяемое по формуле Задача 9. Садовник должен в течении трех дней посадить 6 деревьев. Сколькими способами он может распределить по дням работу, если будет сажать не менее одного дерева в день? Решение. Предположим, что садовник сажает деревья в ряд, и может принимать различные решения относительно того, после какого по счету дерева остановиться в первый день и после какого – во второй. Таким образом, можно представить себе, что деревья разделены двумя перегородками, каждая из которых может стоять на одном из 5 мест (между деревьями). Перегородки должны стоять там по одной, поскольку иначе в какой-то день не будет посажено ни одного дерева. Таким образом, надо выбрать 2 элемента из 5 (без повторений). Следовательно, число способов . Задача 10. Сколько существует четырехзначных чисел (возможно, начинающихся с нуля), сумма цифр которых равна 5? Решение. Представим число 5 в виде суммы последовательных единиц, разделенных на группы перегородками (каждая группа в сумме образует очередную цифру числа). Понятно, что таких перегородок понадобится 3. Мест для перегородок имеется 6 (до всех единиц, между ними и после). Каждое место может занимать одна или несколько перегородок (в последнем случае между ними нет единиц, и соответствующая сумма равна нулю). Рассмотрим эти места в качестве элементов множества. Таким образом, надо выбрать 3 элемента из 6 (с повторениями). Следовательно, искомое количество чисел Задача 11. Сколькими способами можно разбить группу из 25 студентов на три подгруппы А, В и С по 6, 9 и 10 человек соответственно? Решение. Здесь n=25, k=3, n1=6, n2=9, n3=10. Согласно формуле, число таких разбиений равно Задача 12. Сколько существует семизначных чисел, состоящих из цифр 4, 5 и 6, в которых цифра 4 повторяется 3 раза, а цифры 5 и 6 – по 2 раза? Решение. Каждое семизначное число отличается от другого порядком следования цифр, при этом фактически все семь мест в этом числе делятся на три группы: на одни места ставится цифра «4», на другие места – цифра «5», а на третьи места – цифра «6». Таким образом, множество состоит из 7 элементов (n=7), причем n1=3, n2=2, n3=2, и, следовательно, количество таких чисел равно Задача 13. Прибор содержит 3 элемента с вероятностями отказа 0,1;0,4 и 0,2. Найти вероятности отказа а) одного элемента; б) двух или трех элементов; в) хотя бы одного элемента. Решение. Обозначим - cобытие, означающее отказ - го элемента, - отказ одного элемента, - отказ двух или трех элементов, - отказ хотя бы одного элемента. Тогда для случая а) запишем , где - событие, означающее безотказную работу элемента . Слагаемые этой суммы – несовместные события. Поэтому, согласно формуле для несовместных событий, Сомножители в последнем выражении – независимые события, значит, в соответствии с формулой для независимых событий . Поскольку (формула ), получаем . В случае б) имеем . Как и в случае а) справедливы следующие соотношения: . В случае в) искомое событие , причем слагаемые – совместные события, и для вычисления вероятности нужно использовать формулу для произвольных событий, но можно решить задачу проще, используя противоположное событие и формулу . Так как означает отказ одного или двух или трех элементов, то - событие, дополняющее до полной группы – означает безотказную работу всех трех элементов. Поскольку и события , , независимы, получаем . Задача 14. В урне 10 белых и 5 черных шаров. Из урны извлекают два шара. Найти вероятность того, что шары а) белые; б) одного цвета; в) разного цвета. Решение. Пусть событие означает извлечение белого шара, - извлечение черного шара и пусть индекс есть номер извлечения. Тогда в случае а) искомое событие имеет вид (первый шар – белый и второй шар – белый). Поскольку и зависимы, используем формулу вероятности произведения для произвольных событий: . находим согласно классическому определению вероятности : , где - общее число случаев, - число случаев, благоприятных событию . Так как среди 15 шаров 10 белых, получаем . есть условная вероятность события (второй шар – белый) при условии, что (первый шар – белый) произошло. Но если первым взят белый шар, то среди 14 оставшихся шаров белых – 9, поэтому . Получаем: . В случае б) искомое событие есть ( оба шара белые или оба шара черные), причем слагаемые несовместны, а сомножители зависимы. Тогда вероятность согласно формулам , равна: . В случае в) будем находить вероятность события ( первый шар белый, второй - черный или наоборот, первый – черный, а второй – белый). Получим в соответствии с формулами , . Задача 15. Среди 14 билетов 4 выигрышных. Найти вероятность того, что из 6 купленных билетов ровно 2 выигрышных. Решение. Можно использовать способ решения, рассмотренный в задаче 2 (искомое событие запишется в виде суммы 15 слагаемых). Поступим иначе и решим задачу с помощью классического определения вероятности события (формула (4)): , где - общее число случаев, - число случаев, благоприятных событию . Из 14 билетов 6 штук можно выбрать способами. Здесь - число сочетаний из 14 элементов по 6 элементов. Значит, . Два выигрышных билета могут быть выбраны из 4 билетов способами. Остальные (4 билета) должны быть невыигрышными, их можно выбрать из 10 невыигрышных способами. Так как на один способ выбора двух выигрышных билетов приходится способов выбора невыигрышных билетов, то на способов выбора двух выигрышных билетов приходится способов выбора невыигрышных билетов. Итак, . Тогда . Число сочетаний из элементов по элементов находим по формуле : . При этом получим: . Задача 16. В первой урне 20 шаров, среди них 3 белых, во второй урне 15 шаров и среди них 2 белых. Из первой урны взяли шар и переложили во вторую. Какова вероятность, что шар, взятый после этого из второй урны, белый? Решение. Пусть событие - извлечение белого шара из второй урны. Возможны две гипотезы: - из первой урны взяли белый шар, - из первой урны взяли шар другого цвета. По формуле полной вероятности вероятность события с учетом двух гипотез равна : . Вероятности гипотез составляют, . Найдем условные вероятности. Если из первой урны взяли белый шар и переложили во вторую, то во второй урне стало 16 шаров, среди которых 3 белых. Поэтому . Если же из первой урны взяли шар другого цвета и переложили во вторую, то во второй урне стало 16 шаров, но число белых шаров (их 2) не изменилось и, значит, . Подставив полученные значения в формулу полной вероятности, найдем : . Задача 17. Один завод производит в 3 раза меньше приборов, чем второй. Вероятность безотказной работы прибора первого завода – 0,9, второго – 0,7. случайным образом выбранный прибор отказал. Какова вероятность, что он сделан на втором заводе? Решение. Обозначим - событие, состоящее в том, что выбранный прибор отказал. Возможны две гипотезы: - прибор сделан на первом заводе, - на втором. Задача решается по формуле Бейеса, так как событие – прибор отказал – произошло. Запишем формулу Бейеса для случая двух гипотез: . Найдем вероятности гипотез и до опыта. На один прибор первого завода приходится 3 прибора второго завода, значит доля первого завода , второго . Найдем условные вероятности. Вероятность отказа прибора при условии, что он изготовлен на первом заводе, равна . Если же прибор сделан на втором заводе, то вероятность отказа . Осталось найти вероятность гипотезы после опыта ( то есть при условии, что произошло): . 1.8. Контрольные задания 1. Рабочий обслуживает три независимо работающих станка. Событие Аi ={ i-ый станок в течении часа потребует наладки}, Р(Аi)=0,2, i=1,2,3. Выразить события: а) ровно два станка потребуют наладки; б) не более двух потребуют наладки; в) хотя бы один потребует наладки. Найти вероятность события в). 2. Стрелок делает три выстрела, при этом он поражает цель с вероятностью 0,6 при одном выстреле. Событие Аi={ i-ая пуля попала в цель }, i=1,2,3. Выразить события: а) было хотя бы одно попадание; б) ровно одно попадание; в) не менее двух попаданий. Найти вероятность события в). 3. В коробке 4 детали. Мастер извлекает детали до тех пор, пока не вытащит годную. Событие = { i-ая извлеченная деталь является годной }, Выразить события, состоящие в том, что мастер сделал а) ровно одно извлечение; б) ровно 2 извлечения; в) не менее двух извлечений. Найти вероятность б). 4. Пусть А,В,С – три произвольных события. Найти выражение для событий, состоящих в том, что: а) произошли все три события; б) произошло хотя бы одно из событий; в) произошли хотя бы два события; г) произошли два и только два события; д) произошло ровно одно событие; е) ни одно событие не произошло; ж) произошло не более двух событий. 5. Прибор состоит из трех блоков первого типа и четырех блоков второго типа. Событие Аi ={исправен i-ый блок первого типа}, i=1,2,3, Вj = {исправен j-ый блок второго типа}, j=1,2,3,4. Прибор работает, если исправны хотя бы один блок первого типа и не менее трех блоков второго типа. Найти выражение для события С, которое соответствует работающему состоянию прибора. 6. В пакете с леденцами лежит 4 красных, 5 желтых и 6 зеленых конфет. Найти вероятность наудачу вынуть подряд 3 конфеты одного цвета. 7. В партии из 20 изделий 4 бракованных. Найти вероятность того, что в выборке из 5 изделий не более одного бракованного. 8. В лифт 9-этажного дома на первом этаже входят 6 человек. Для каждого человека равновероятен выход на любом из 8 этажей. Известно, что все вышли на разных этажах. При этом условии найти вероятность, что на первых трех этажах вышли два человека. 9. Три пассажира садятся в поезд, случайно выбирая любой из 6 вагонов. Какова вероятность, что хотя бы один из них сядет в первый вагон, если известно, что они сели в разные вагоны? 10. В ящике 12 красных , 8 зеленых и 10 синих шаров .Наудачу вынимаются два шара. Какова вероятность, что вынутые шары разного цвета, если известно, что не вынут синий шар? 11. Шесть шаров случайным образом раскладывают в три ящика. Найти вероятность, что во всех ящиках разное число шаров при условии, что все они не пустые. 12. Двое шахматистов равной силы играют 4 партии. Найти вероятность, что победил первый, если известно, что каждый выиграл хоть один раз. 13. В лифт на цокольном этаже входят 5 человек. Считая для каждого человека равновероятном выход на любом из 9 этажей, найти вероятность того, что двое из них выйдут на одном этаже, а остальные на разных. 14. Известно, что 5-значный номер телефона имеет все цифры разные. Какова вероятность при этом условии, что среди них ровно четная (0 считаем четной цифрой и телефонный номер может начинаться с нуля). 15. Пять человек случайным образом (независимо друг от друга) выбирают любой из 7 вагонов поезда. Известно, что некоторые 2 вагона остались пустыми. Какова вероятность при этом условии, что все сели в различные вагоны, в том числе в первый и во второй? 16. В урне 5 белых и 10 черных шаров. Извлечены 6 шаров (с возвращением). Известно, что среди них есть белые шары. При этом условии найти вероятность того, что среди них будут также не менее двух черных шаров. 17. Семь пассажиров случайным образом выбирают один из 9 вагонов поезда. Известно, что они сели в разные вагоны, при этом условии найти вероятность того, что в первых трех вагонах поезда будут ехать два человека. 18. Распределяются 5 шаров по трем ящикам. Известно, что нет пустых ящиков. При этом условии найти вероятность, что в первом ящике лежит один шар. 19. В четырех группах учится 100 человек (по 25 человек в каждой). На олимпиаду отобрано 5 человек. Какова вероятность, что среди них будут представители всех классов? 20. Сколько раз надо бросить игральную кость, чтобы на 95% быть уверенным в том, что хотя бы при одном бросании появится «шестерка»? 21. Известно, что в пятизначном номере телефона все цифры разные. Найти вероятность того, что среди них есть цифры 1 и 2. 22. Бросают три кубика. Какова вероятность того, что хотя бы на одном из них выпадет «шестерка», если известно, что на всех кубиках выпали разные грани? 23. Фирма участвует в 4 проектах, каждый из которых может закончиться неудачей с веростностью 0,1. В случае неудачи одного проекта вероятность разорения фирмы равна 20%, двух – 50%, трех – 70%, четырех – 90%. Найти вероятность разорения фирмы. 24. Два аудитора проверяют 10 фирм (по 5 фирм каждый), у двух из которых имеются нарушения. Вероятность обнаружения нарушений первым аудитором равна 80%, вторым – 90%. Найти вероятность, что обе фирмы-нарушители будут выявлены. 25. В первой урне лежат один белый и три черных шара, а во второй урне – 2 белых и 1 черный шар. Из первой урны во вторую перекладывается не глядя один шар, а затем один шар перекладывается из второй урны в первую. После этого из первой урны вынули один шар. Найти вероятность, что он белый. 26. В прибор входит комплект из двух независимых деталей, вероятность для которых выйти из строя в течение года соответственно равна 0,1 и 0,2. Если детали исправны, то прибор работает в течение года с вероятностью 0,99. Если выходит из строя только первая деталь, то прибор работает с вероятностью 0,7, а если только вторая – то с вероятностью 0,8. Если выходят из строя обе детали, прибор будет работать с вероятностью 0,1. Какова вероятность, что прибор будет работать в течение года? 27. Электроэнергия поступает в город через три электролинии, каждая из которых может быть отключена с вероятностью 0,1. Если отключена одна электролиния, город испытывает недостаток электроэнергии с вероятностью 0,8. Если отключены три электролинии, недостаток электроэнергии ощущается с вероятностью 0,5. Если же отключены все три электролинии, то недостаток электроэнергии есть с вероятностью 1. В случае, когда работают все электролинии, недостатка энергии нет. Какова вероятность, что в день проверки город испытывает недостаток электроэнергии? 28. Фирма нарушает закон с вероятностью 0,25. Аудитор обнаруживает нарушения с вероятностью 0,75. Проведенная им проверка не выявила нарушений. Найти вероятность, что они на самом деле есть. 29. Изделие имеет скрытые дефекты с вероятностью 0,2. В течение года выходит из строя 75% изделий со скрытыми дефектами и 15% изделий без дефектов. Найти вероятность, что изделие имело скрытые дефекты, если оно вышло из строя в течение года. 30. Из урны, где было 4 белых и 6 черных шаров, потерян один шар неизвестного цвета. После этого из урны извлечены (без возвращения) два шара, оказавшиеся белыми. При этом условии найти вероятность, что потерян был черный шар. 31. Производственный брак составляет 4%. Каждое изделие равновероятным образом поступает к одному из двух контролеров, первый из которых обнаруживает брак с вероятностью 0,92, второй – 0,98. Какова вероятность, что признанное годным изделие является бракованным. 32. В центральную бухгалтерию корпорации поступили пачки накладных для проверки и обработки. 90% пачек были признаны удовлетворительными: они содержали 1% неправильно оформленных накладных. Остальные 10% накладных были признаны неудовлетворительными, т.к. они содержали 5% неправильно оформленных накладных. Какова вероятность того, что взятая наугад накладная оказалась неправильно оформленной? (р1=0,1; р2=0,014) 33. Известно, что проверяемая фирма может уйти от налогов с вероятностью 40% и выбрать для этого одну из трех схем (равновероятно). Найти вероятность, что фирма уходит от налогов по третьей схеме, если по первым двум схемам нарушений не обнаружено. 34. Стрелок А поражает мишень с вероятностью 0,6., стрелок Б - с вероятностью 0,5 и стрелок В – с вероятностью 0,4. Стрелки дали залп по мишени, и две пули попали в цель. Что вероятнее: попал стрелок В в мишень или нет? 35. Имеются три партии по 20 деталей в каждой. Число стандартных деталей в первой, второй и третьей партиях соответственно равно 20, 15 и 10. Из наудачу выбранной партии извлечена деталь, оказавшейся стандартной. Деталь возвращают в партию и вторично из той же партии наугад извлекают деталь, которая оказывается стандартной. Найти вероятность того, что детали были извлечены из третьей партии. Лекция 2. Случайные величины, их распределения и числовые характеристики 2.1. Случайные величины Определение. Случайной величиной называют переменную величину, которая в зависимости от исхода испытания случайно принимает одно значение из множества возможных значений. Примеры: Число появления герба при трех бросаниях монеты. Случайные величины обозначают прописными буквами X,Y,Z,…, а их возможные значения – x,y,z,… Дискретной случайной величиной называется случайная величина, принимающая отдельные друг от друга значения, которые можно перенумеровать. Непрерывной случайной величиной называется случайная величина, возможные значения которой непрерывно заполняют какой-то промежуток. Ряд распределения ( закон распределения) Соотношение, устанавливающее тем или иным способом связь между возможными значениями случайной величины и их вероятностями, называется рядом распределения: … … где . Графическое изображение ряда распределения называется многоугольником распределения. 2.2. Функция распределения Ряд распределения не является исчерпывающей характеристикой, он существует только для дискретных случайных величин, для непрерывной случайной величины такой характеристики построить нельзя. Функцией распределения случайной величины называется функция , выражающая вероятность того, что принимает значения меньше, чем : . Свойства : 1) 0≤ F(x) ≤ 1; 2) Функция есть неубывающая функция; 3) ; 4) ; 5) Для дискретных случайных величин есть разрывная ступенчатая функция, непрерывная слева. Пример 1. Стрелок производит по мишени три выстрела. Вероятность попадания в мишень при каждом выстреле 0,3. Построить ряд распределения числа попаданий. Решение. Строим ряд распределения вероятностей, используя формулу: Пример 2. Случайная величина задана рядом распределения . Найти функцию распределения случайной величины X и построить ее график. Решение. 1. Если , то . 2. Если , то . 3. Если , то . 4. Если , то 5. Если , то . Строим график. 2.2. Числовые характеристики дискретных случайных величин Закон распределения полностью задает дискретную случайную величину. Однако часто встречаются случаи, когда закон распределения случайной величины неизвестен. В таких случаях случайную величину изучают по ее числовым характеристикам. Одной из таких характеристик является математическое ожидание. Пусть некоторая случайная величина Х с конечным числом своих значений задана законом распределения: Х ……. ……. Определение. Математическим ожиданием дискретной случайной величины называют сумму произведений всех возможных значений величины Х на соответствующие вероятности, или ( ее среднее значение), вычисляемое по формуле: . Пример 1. Случайная величина – число очков, выпавших при однократном бросании игральной кости. Определить M(X). Решение. 1 2 3 4 5 6 Имеем ; Свойства математического ожидания. 1. Математическое ожидание постоянной величины С равно этой величине. 2. Постоянный множитель можно выносить за знак математического ожидания, т.е. М(СХ) = СМ(Х). 3. Математическое ожидание суммы двух случайных величин X и Y равно сумме их математических ожиданий: M(X+Y) = M(X) + M(Y) Определение. Случайные величины X и Y называются независимыми, если закон распределения каждой из них не зависит от того, какое возможное значение приняла другая величина. Пример двух независимых случайных величин – суммы выигрыща по каждому из двух билетов по двум различным денежно-вещевым лотереям. 4. Математическое ожидание произведения двух независимых случайных величин равно произведению их математических ожиданий: M(XY) = M(X)∙M(Y) 5. Математическое ожидание разности двух случайных величин X и Y равно разности их математических ожиданий: M(X-Y) = M(X) – M(Y). Пример 1. Найти математическое ожидание случайной величины Z = X + 2Y, если известны математические ожидания случайных величин X и Y M(X) = 5, M(Y) = 3. Пример 2. Независимые случайные величины заданы законами распределения: Х 1 3 4 Р 0,2 0,6 Y 0,5 1 5 Р 0,4 0,1 Найти математическое ожидание М(YХ). 2.3. Дисперсия дискретных случайных величин Определение. Дисперсией случайной величины называют математическое ожидание квадрата отклонения случайной величины от ее математического ожидания: или Величина x – M(X) называется отклонением случайной величины от ее математического ожидания. Свойства дисперсии 1. Дисперсия постоянной величины С равна нулю. 2. Постоянный множитель можно выносить за знак дисперсии, возведя его в квадрат D(CX) = C2D(X). 3. Дисперсия суммы двух независимых случайных величин равна сумме дисперсий этих величин D(X+Y) = D(X) + D(Y). 4. Дисперсия разности двух независимых случайных величин равна сумме дисперсий этих величин D(X–Y) = D(X) + D(Y). Пример. Дисперсия случайной величины Х равна 3. Найти дисперсию следующих величин: а) –3Х, б) 4Х–3. Средним квадратическим отклонением случайной величины называется корень квадратный из ее дисперсии: , . Пример 1. Случайная величина – число очков, выпавших при однократном бросании игральной кости. Определить . Решение. 1 2 3 4 5 6 Имеем ; . . 2.4. Непрерывные случайные величины Для непрерывной случайной величины, в отличие от дискретной, нельзя построить ряд распределения. Поэтому непрерывную случайную величину изучают другим способом. Пусть Х - непрерывная случайная величина с возможными значениями из (а,в). Тогда для нее существует функция распределения F(х) = P(х2, так как плотность обращается в нуль на полуоси . Итак, получена функция распределения Следовательно, Задача 2. Для случайной величины x из задачи 1 вычислить математическое ожидание и дисперсию. Решение. Далее, и значит, Задача 3. Пусть задана случайная величина . Вычислить вероятность . Решение. Здесь и . Согласно указанной выше формуле, получаем: Задача 4. Случайная величина x равномерно распределена на отрезке [0, 2]. Найти плотность случайной величины . Решение. Из условия задачи следует, что Далее, функция является монотонной и дифференцируемой функцией на отрезке [0, 2] и имеет обратную функцию , производная которой равна Кроме того, , . Следовательно, Значит, Задача 5. Пусть двумерный случайный вектор (x, h) равномерно распределен внутри треугольника . Вычислить вероятность неравенства x>h. Решение. Площадь указанного треугольника равна (см. рис. 7.1). В силу определения двумерного равномерного распределения совместная плотность случайных величин x, h равна Событие соответствует множеству на плоскости, т.е. полуплоскости. Тогда вероятность Рис. 7.1. На полуплоскости B совместная плотность равна нулю вне множества и 1/2 – внутри множества . Таким образом, полуплоскость B разбивается на два множества: и . Следовательно, двойной интеграл по множеству B представляется в виде суммы интегралов по множествам и , причем второй интеграл равен нулю, так как там совместная плотность равна нулю. Поэтому . Если задана совместная плотность распределения случайной пары (x,h), то плотности и составляющих x и h называются частными плотностями и вычисляются по формулам: Для непрерывно распределенных случайных величин с плотностями рx(х), рh(у) независимость означает, что при любых х и у выполнено равенство . Задача 6. В условиях предыдущей задачи определить, независимы ли составляющие случайного вектора x и h. Решение. Вычислим частные плотности и . Имеем: Аналогично, Очевидно, что в нашем случае , и потому случайные величины x и h зависимы. Числовые характеристики для случайного вектора (x,h) можно вычислять с помощью следующей общей формулы. Пусть — совместная плотность величин x и h, а y(х,у) — функция двух аргументов, тогда . В частности, Задача 7. В условиях предыдущей задачи вычислить . Решение. Согласно указанной выше формуле имеем: . Представив треугольник в виде , двойной интеграл можно вычислить как повторный: Задача 8. Пусть x и h — независимые случайные величины, распределенные по показательному закону с параметром . Вычислить плотность суммы . Решение. Поскольку x и h распределены по показательному закону с параметром , то их плотности равны Следовательно, Поэтому Если x<0, то в этой формуле аргумент функции отрицателен, и поэтому . Следовательно, Если же , то имеем: Таким образом, мы получили ответ: Задача 9. Двумерный случайный вектор (x, h) равномерно распределен внутри треугольника . Найти условное распределение x при условии h=y и функцию регрессии jx|h(y). Решение. Как было показано ранее (см. задачи 2 и 3), и Поделив первую плотность на вторую, получаем условную плотность: Таким образом, речь идет о равномерном распределении на промежутке (0, 2–y). Функцию регрессии вычисляем как математическое ожидание равномерного распределения. Получаем jx|h(y)=(2–y)/2, 00 справедливо неравенство:              P{|X|y}. Неравенство Чебышёва записывают и в других формах. Например, применим его к случайной величине X–MX, в предположении, что существует дисперсия DX: P{|X–MX|y}=. Для противоположного события: P{|X–MX|0. Перейдём здесь к пределу при n+: P{|–a|0. Мы получили так называемый закон больших чисел в форме Чебышёва. 3.2.Закон больших чисел в форме Чебышёва   Среднее арифметическое отличается от истинного среднего значения a меньше сколь угодно малого y>0 при достаточно большом числе наблюдений с вероятностью, сколь угодно близкой к единице. В частности, закон больших чисел Чебышёва действует в схеме повторных независимых равноточных измерений без систематической погрешности любой физической величины a и оправдывает нашу интуитивную веру в среднее арифметическое как хорошее приближение для a. Мы получаем уверенность в том, что при достаточно большом числе измерений мы будем знать истинное значение измеряемой величины a сколь угодно точно со сколь угодно большой вероятностью. Однако закон больших чисел указывает лишь очень грубо, сколько наблюдений достаточно выполнить, чтобы добиться заданной точности: если мы хотим, чтобы P{|–a|0, любом фиксированном целом m0 и   при n: =e–λ. Для достаточно больших n величина становится как угодно близкой к своему пределу. Обозначая =p,  λ=np, можем записать приближённое равенство: pmqn–me–λ, т.е. биномиальные вероятности можно считать пуассоновскими: B(n,p) (λ), причём λ=np. Поскольку в точной формулировке m и λ фиксированы, а n, то можно рассчитывать на малую погрешность приближения при большом n, малом p и умеренном np. 3.5. Примеры решения задач по теме Задача 1. В 400 испытаниях Бернулли вероятность успеха в каждом испытании равна 0,8. С помощью неравенства Чебышева оценить вероятность того, что разница между числом успехов в этих испытаниях и средним числом успехов будет меньше 20. Решение. Число успехов в этих испытаниях распределено по закону Бернулли, поэтому среднее число успехов равно М=np=400×0,8=320, а дисперсия D=npq=400×0,8×0,2=64. Тогда в силу неравенства Чебышева имеем: Вычислим эту же вероятность с помощью приближенной (интегральной) формулы Муавра-Лапласа: Задача 2. В продукции цеха детали отличного качества составляют 50. Детали укладываются в коробки по 200 шт. в каждой. Какова вероятность того, что число деталей отличного качества в коробке отличается от 100 не более, чем на 5? Решение. Пусть i – случайное число деталей отличного качества в i-ой коробке, тогда при n=200, p=q=1/2 получим: Задача 3. Используя условия задачи 1, указать, в каких границах с вероятностью 0,997 находится число деталей отличного качества в коробке. Решение. По таблице функции Лапласа при условии находим u=3, и следовательно, Sn лежит в пределах , т.е. число деталей отличного качества в коробке с вероятностью 0,997 находится в пределах 100  21. Задача 3. Используя условия задачи 1, определить, сколько деталей надо взять, чтобы с вероятностью, не меньшей 0,99, можно было утверждать, что число деталей отличного качества среди них не менее 100. Решение. Обозначим . Используя нормальное приближение, получаем . Отсюда , а из таблицы 2 и свойств функции Лапласа получаем неравенство . Обозначив , с учетом p=q=1/2, приходим к квадратному неравенству х2 –2,3х–2000, решая которое, получаем n236. Можно предложить и другой метод. А именно, пусть i – число деталей, которые пришлось перебрать, чтобы найти i-ую деталь отличного качества (включая ее саму). Случайные величины имеют геометрическое распределение с параметром p=1/2. Можем вычислить M=1/p=2, D=(1–p)/p2=2. Используя ЦПТ, получаем неравенство , откуда следует n200+14,142,32=232,8 или, округляя, n234. Результаты получаются близкие, но первый метод более точен и потому предпочтительней. Вторым методом лучше пользоваться, если нужно определить границы, в которых лежит неизвестное число деталей. Задача 4. Доходы жителей города имеют математическое ожидание 10 тыс. руб. и среднее квадратическое отклонение 2 тыс. руб. (в месяц). Найти вероятность того, что средний доход 100 случайно выбранных жителей составит от 9,5 до 10,5 тыс. руб. Решение. Переформулируем условие задачи для суммарного дохода: он должен составлять от 950 до 1050 тыс. руб. Используя ЦПТ, получаем: Задача 5. Срок службы электрической лампы имеет показательное распределение с математическим ожиданием 1000 часов. Найти вероятность того, что средний срок службы для 100 ламп составит не менее 900 часов. Решение. Примем для простоты 1000 часов за единицу времени. Вспомним числовые характеристики показательного распределения: М=, D=. Отсюда следует, что среднее квадратическое отклонение совпадает с математическим ожиданием (и оба они здесь равны единице). Переформулируя условие задачи для суммарного срока службы и используя ЦПТ, получаем: 3.6. Контрольные задания 1. Устройство содержит 2000 одинаковых элементов с вероятностью отказа для каждого за время , равной 0,001. Найти вероятность того, что за время откажут а) меньше трех элементов; б) не меньше одного элемента. 2. Вероятность поражения мишени при одном выстреле 0,8. Найти вероятность того, что при 100 выстрелах мишень будет поражена 88 раз. 3. Игральную кость бросают 125 раз. Найти вероятность того, что относительная частота появления шестерок отклонится от его вероятности не более чем на 0,1. 4. В продукции цеха детали отличного качества составляют 85. Детали укладываются в коробки по 800 шт. в каждой. Какова вероятность того, что число деталей отличного качества в коробке отличается от 680 не более, чем на 10? 5. В 1600 испытаниях Бернулли вероятность успеха в каждом испытании равна 0,3. С помощью неравенства Чебышева оценить вероятность того, что разница между числом успехов в этих испытаниях и средним числом успехов будет меньше 50. Лекция 4. Основы математической статистики В теории вероятностей о вероятностях, законах распределения, параметрах случайных величин говорится как о чём-то данном, известном. Но встаёт вопрос: откуда их взять? Как найти параметры хотя бы приближённо? Как проверить предположение о том, что некоторая случайная величина распределена, например, по нормальному закону? На эти и подобные им вопросы отвечает математическая статистика, причём информацию для ответов она берёт из наблюдений над случайными событиями и величинами. При этом наблюдения ведутся над реальными объектами и моделями, тогда как теория вероятностей изучает математические модели, в значительной степени идеализированные и абстрагированные. Соотношение между выводами математической теории и поведением реального мира приобретает уже не философский, а практический смысл. Можно сказать, что математическая статистика заведует связями теории вероятностей с внешним миром. Ниже мы будем рассматривать одну единственную статистическую модель: предполагается, что существует случайная величина X, которую можно наблюдать повторно n раз в независимых опытах. Результатом таких наблюдений оказываются n значений, которые X приняла в n экспериментах: (x1, x2,  , xn), – так называемая выборка, n – объём выборки. На все вопросы о случайной величине X математическая статистика берётся отвечать по выборке. В каждом опыте мы наблюдаем одну и туже случайную величину X; все опыты по предположению независимы. Можно считать, что фактически мы наблюдаем n-мерную случайную величину (X1, X2,  , Xn) с независимыми компонентами, распределёнными одинаково – по тому же закону, что и X. Выборка (x1, x2,  , xn) есть наблюдённое значение случайной величины (X1, X2,  , Xn), выборка – одно из её возможных значений; её можно представить точкой в n-мерном евклидовом пространстве. Всё множество точек, которые могут быть выборками, образует так называемое выборочное пространство. По сути дела выборка – элементарное событие, а выборочное пространство – пространство элементарных событий . Часто смотрят на выборку (x1, x2,  , xn) как на случайную величину и не вводят особого обозначения (X1, X2,  , Xn) для случайной величины. Если XN(a,), то выборочным пространством оказывается всё евклидово пространство Rn. Если X(λ), то выборочное пространство совпадает с целочисленной решёткой главного координатного угла. Если XR(0, 1), то  – единичный n-мерный куб. Пусть XF(x, ): F(x, ) – функция распределения случайной величины X. Тогда совместная функция распределения выборки: F(x1, x2,  , xn)=F(xi, ). Если X имеет плотность вероятности p(x, ), то совместная плотность вероятности выборки равна p(x1, x2,  , xn)= p(xi, ). Познакомимся с важнейшими задачами математической статистики и с их статистическими решениями. 4.1. Относительная частота как оценка вероятности Пусть имеется событие A, вероятность которого P(A)=p – неизвестна, и мы хотим найти её хотя бы приблизительно. Из курса теории вероятностей ответ нам известен: хорошим приближением для вероятности является относительная частота события. Если в n независимых опытах событие A произошло m раз, то P(A). При этом: 1. В среднем мы не ошибаемся: M()p. Это свойство оценки называется несмещённостью. 2. Дисперсия оценки как угодно мала при достаточно большом числе опы­тов: D()=0 при n. Дисперсия играет роль среднего квадрата ошибки. 3. Вероятность заметных отклонений относительной частоты от вероятности мала по закону больших чисел. Это свойство оценки называется состоятельностью. Оно может быть усилено, поскольку по закону больших чисел P{p}=1. Итак, относительная частота – несмещённая, состоятельная оценка для вероятности со сколь угодно малой среднеквадратической ошибкой. Разумеется, нужно понимать, что полученный ответ точно укладывается в рамки той единственной модели, которую мы взялись изучать в математической статистике. Можно считать, что мы имеем здесь дело с биномиальной случайной величиной X, а выборка состоит из одного наблюдения m. Либо можно считать, что мы имеем дело здесь со случайной величиной 1, если событие A произошло, 0, если событие A не произошло. Очевидно, X – дискретная случайная величина с двумя возможными значениями 1 и 0, а вероятности этих значений p и q=1–p. Мы уже встречались с подобной величиной и выяснили, что MX=p, DX=pq. Соответственно выборка (x1, x2,  , xn) состоит из m единиц и n–m нулей, выборочное пространство состоит из вершин n-мерного единичного куба, и (x1+x2++xn)=, так что ответ мы действительно получаем в терминах выборки: p=P(A)(x1+x2++xn)==. 4.2. Эмпирическая функция распределения, как оценка функции распределения Пусть функция распределения случайной величины X неизвестна. Обозначим её F(x). Требуется хотя бы приблизительно её найти. Получим выборку (x1, x2,  , xn) и по ней построим так называемую эмпирическую функцию распределения: Fn(x)=, –yr. В частности, если все наблюдения различны (так будет, например, почти наверное для непрерывной случайной величины X), то вариационный ряд состоит из n порядковых статистик и 0, если xy1, , если ykyn. Очевидно, Fn(x) – ступенчатая неотрицательная монотонная функция, имеющая разрывы в точках yi, где она совершает скачки величины . Она обладает всеми свойствами функции распределения и задаёт закон распределения дискретной случайной величины с возможными значениями yi и вероятностями . Она и решает нашу задачу приближённого описания F(x). Действительно, рассмотрим событие A={X0, т. е., если (x1, x2,  , xn) сходится по вероятности к оцениваемому параметру. Ещё лучше, если имеет место обычная сходимость почти наверное. Расскажем здесь о двух способах получения точечных оценок: о методе максимального правдоподобия и методе моментов. Метод максимального правдоподобия Р. Фишера Изложим этот метод отдельно для непрерывного и для дискретного случаев. a. Пусть X – дискретная случайная величина с возможными значениями xi, вероятности которых pi() зависят от неизвестного параметра ; аналитический вид функций pi() известен. Наблюдаем X независимым образом n раз. Пусть значение xi наблюдалось mi раз. Вероятность получить ту выборку, которую мы получили, равна ()=L() – функция неизвестного параметра . При каких-то значениях  она меньше, при других – больше. Если эта вероятность при некотором  очень мала, то, надо полагать, такая выборка и не должна обычно наблюдаться. Но мы же её получили. Можно думать, что это произошло потому, что вероятность её получить достаточно велика. Принцип максимального правдоподобия состоит в том, чтобы в качестве оценки параметра  брать то значение , при котором вероятность L() нашей выборки максимальна. Функция L() получила название функции правдоподобия, а значение , при котором функция правдоподобия достигает максимума, получило название оценки максимального правдоподобия параметра . Изложенное рассуждение есть лишь эвристическое соображение, основанное на здравом смысле, а не на строгой логике, и вполне могло привести нас к неудаче. Практическое применение принципа Фишера, однако, приводит часто к весьма разумным и полезным результатам. Они-то и оправдывают этот принцип. b. Пусть X – непрерывная случайная величина с плотностью вероятности p(x, ). Совместная плотность вероятности выборки равна L()= p(xi, ) и называется функцией правдоподобия. Принцип максимального правдоподобия состоит здесь в том, чтобы в качестве оценки параметра  брать точку , в которой L() достигает максимума. Сделаем несколько вычислительных замечаний. Если L() – дифференцируемая функция, то поиск максимума ведётся обычными средствами анализа: ищется корень уравнения L()=0 и проверяется, действительно ли в нём экстремум. Часто в этом случае удобнее искать максимум не функции L(), а функции lnL(), используя монотонность логарифма. Если параметр  меняется в конечном отрезке, то нужно исследовать также и концы отрезка. Если параметр  векторный, то вместо обычной производной приходится рассматривать частные производные. Посмотрим, как действует этот метод на конкретных примерах. 1. X(λ), =λ. Функция правдоподобия: L(λ)=  lnL(λ)=mk(klnλ–λ–lnk!). Лишь конечное число сомножителей в выражении L(λ) отлично от единицы, так что вопрос о сходимости бесконечного произведения не встаёт. Имеем: lnL(λ)=0  mk(–1)=0  kmk–mk=0 и так как mk=n, то корнем lnL(λ) является =kmk=. Т. к. L(λ) при λ>0 положительна и, очевидно, L(0)=0, L(λ)=0, то экстремумом L(λ) может быть только максимум. Поскольку параметр λ пуассоновской случайной величины является её математическим ожиданием, то результат , как мы знаем, весьма хорош. 2. XB(n, p). Считаем n известным, а p параметром: =p: Функция правдоподобия: L(p)=(pkqn–k)mk. Здесь не следует путать n с объёмом выборки, который равен mk. Имеем: lnL(p)=mk[ln+klnp+(n–k)ln(1–p)]. Найдём корень производной функции lnL(p): lnL(p)=0  mk(–)=0. Корень полученного уравнения: =. Мы вновь получили разумный результат, поскольку np=MX, а =. Методом максимального правдоподобия Р. Фишера нами получена та же оценка математического ожидания биномиального закона, какую бы мы написали для np – выборочное среднее. 3. Найдём оценку максимального правдоподобия для вероятности события A: P(A)=p, =p. Будем считать, что n раз наблюдаются значения случайной величины 1, если событие A произошло, 0, если событие A не произошло. Функция правдоподобия: L(p)=pm(1–p)n–m. Имеем: lnL(p)=mlnp+(n–m)ln(1–p)  lnL(p)=0  –=0  =, – корень уравнения. На концах отрезка [0, 1] функция L(p) обращается в ноль, а в остальных точках отрезка она положительна, так что единственная точка экстремума является точкой максимума. Таким образом, метод максимального правдоподобия советует брать в качестве оценки вероятности события A его относительную частоту, что, как мы знаем, хорошо. 4. XExp(), =. Функция правдоподобия: L()=e–xk, если xk0, и L()0, если хотя бы одно из xk=0. Так как все выборочные значения xk положительны, то lnL()=0  –xk=0  = Результат следует признать разумным, поскольку предлагается для брать в качестве приближения , а =MX. 5. XN(a,). Здесь параметр  состоит из двух компонент: =(a, ). Функция правдоподобия: L(a, )=exp(–), откуда: lnL(a, )=–nln–nln–(xk–a)2. Уравнения для нахождения точки экстремума: lnL(a, )=(xk–a)=0, lnL(a, )=––(xk–a)2=0. Отсюда находим точку экстремума (,): =xk=, =. Таким образом, для нормального закона в качестве оценки максимального правдоподобия мы получаем: для параметра a – выборочное среднее, а для дисперсии 2 – так называемую выборочную дисперсию (её обозначают S2): a, 2(xk–)2=S2. Легко проверить, что точка (,) действительно является точкой максимума функции L(a, ). 6. XR(a, b); =(a, b). Плотность вероятности равномерного закона: , если xa, b, 0, если xa, b. Функция правдоподобия: ,  xka, b, 0, если xka, b. Здесь мы имеем случай, когда максимум достигается не в корне производной, а в точке разрыва функции правдоподобия. Ясно, что максимум может достигаться лишь в случае, когда все наблюдения xk находятся в промежутке [a, b], а при этом выражение тем больше, чем ближе b к a, но сближать a и b можно лишь не выпуская все наблюдения из отрезка [a, b]. Следовательно, maxL(a, b) достигается при =xk, =xk. Перейдем теперь к методу моментов. Метод моментов Пусть XF(x, 1, 2,  , r), причём аналитический вид функции распределения случайной величины X известен. Для нахождения r неизвестных параметров нужно иметь r уравнений. Мы знаем, что хорошим приближением для функции распределения оказывается эмпирическая функция распределения: Fn(x)F(x). Можно надеяться, что и числовые характеристики этих функций также близки друг к другу, в частности, близки моменты. Эмпирическая функция распределения представляет собой закон распределения дискретной случайной величины, возможные значения которой совпадают с выборочными значениями xi, а вероятности их равны , в частности, для непрерывной случайной величины X с вероятностью 1 эти вероятности равны . Выражения для моментов эмпирической функции распределения Fn(x) (их называют выборочными моментами) нетрудно написать: ml=xkl, l=(xk–)l. Необходимые нам уравнения для нахождения параметров 1, 2,  , r мы получим, приравнивая соответствующие моменты случайной величины X моментам распределения Fn(x): ml(1, 2,  , r)=xkl, l=1, 2,  , r,        () или: ml(1, 2,  , r)=, l(1, 2,  , r)=(xk–)l, l=1, 2,  , r. Успех этого метода в значительной степени зависит от того, сколь сложной оказывается соответствующая система уравнений (() или ()). Решения системы и берутся в качестве оценок , ,  , r для параметров 1, 2,  , r. Например, для нормального закона система () имеет вид: a=, 2=(xk–)2=S2, что совпадает с оценкой максимального правдоподобия, и это подтверждает разумность идеи. Вообще, для произвольной случайной величины по методу моментов для математического ожидания – первого начального момента – мы получаем MX, а для дисперсии – второго центрального момента: DX(xk–)2=S2, т. е. выборочную дисперсию. Первая оценка, как мы уже знаем, несмещенная, состоятельная, с дисперсией =DX, которая при n сколь угодно мала. А второй оценкой займёмся здесь. В частности, обнаружим, что она имеет смещение, т. е. имеет систематическую погрешность. С этой целью вычислим: MS2=DX. Итак, MS2=DX, что указывает на смещённость S2 как оценки для DX. Однако множитель для больших n близок к единице, и смещение асимптотически исчезает. Практики часто этой систематической ошибкой пренебрегают. Нетрудно её полностью исключить, если переписать последнее равенство в таком виде: M(S2)=DX, т.е. несмещенная оценка для дисперсии (обозначим её s2) равна s2=S2=(xk–)2. Вся поправка состоит лишь в том, чтобы делить сумму квадратов на число наблюдений без единицы. Вместе с тем, этот пример показывает, что ни метод максимального правдоподобия, ни метод моментов не гарантируют несмещённости их оценок. Отметим полезное тождество: nS2=(n–1)s2=(xk–)2. Мы решили здесь как частный случай задачу IV: нашли точечную несмещённую оценку дисперсии случайной величины X, имеющей дисперсию: DXs2=(xk–)2. 4.5. Оценка плотности вероятности Пусть X – непрерывная случайная величина с плотностью вероятности p(x) (рис. 4). Требуется найти эту плотность, хотя бы приближённо, в точке x. Пусть  – произвольный достаточно малый интервал с центром в точке x. Очевидно, если интервал  достаточно мал, а x – точка непрерывности плотности p(x), то P{X}=p(x)dxp(x). Здесь буквой  мы обозначили и интервал как множество точек, и его длину. Отсюда: p(x)P{X},                    () причём ошибка этого приближения тем меньше, чем меньше . Стоящую в () вероятность P{X} мы умеем приближённо оценивать частотой события {X}: P{X}, где m – число наблюдений в выборке, попавших в интервал . Ошибка этого приближения в среднем тем меньше, чем больше n и m, а для того, чтобы m было достаточно велико, нужно, чтобы интервал  был не слишком мал (иначе вероятность попасть в него при наблюдениях будет мала). Итак: p(x), и процедура оценки плотности выглядит следующим образом: производим группировку наблюдений и по интервальному вариационному ряду находим оценку плотности p(x) в точках xk: p(xk). Графически можно отложить ординаты длины в абсциссах xk. Далее появляются две возможности: можно либо соединить полученные точки ломаной линией – получим полигон частот (рис. 5), либо провести через них горизонтальные отрезки – получим гистограмму (рис. 6). Полигон и гистограмма и дают приближение для плотности p(x). Закон больших чисел Бернулли и общеизвестные теоремы математического анализа позволяют утверждать, что в точках непрерывности плотности p(x) отклонения от неё гистограммы и полигона будут как угодно малы со сколь угодно большой вероятностью при достаточно больших n и N и достаточно малом . Нужно помнить, что, с одной стороны,  нужно делать малым, чтобы уменьшить ошибку от замены интеграла площадью ступеньки, а с другой стороны, нельзя взять  слишком малым, чтобы не увеличить вероятностную ошибку от замены вероятности на относительную частоту. 4.6. Интервальное оценивание Пусть XF(x, ), причём вид функции распределения F(x, ) известен, а параметр  неизвестен (считаем его одномерным). Требуется по выборке указать такой интервал [, ], который с заданной вероятностью P накрывает неизвестный параметр : P{}=P. Сам интервал [, ] называется доверительным, а P – доверительной вероятностью. Концы интервала – функции от выборки: =(x1, x2,  , xn), =(x1, x2,  , xn) и являются случайными величинами. Желательно иметь P близким к единице, а интервал – поменьше. Однако увеличивая P, мы будем получать всё более широкие интервалы и тем самым всё менее информативные интервалы, всё менее интересные. Желательным свойством можно считать условие: –0, тог­да при достаточно большом числе наблюдений можно как угодно точно локализовать параметр . В качестве P обычно берут числа 0,99, 0,95, 0,9. Выбор доверительной вероятности зависит от практических последствий в случае, когда доверительный интервал не накроет . При P=0,9 следует ожидать, что в среднем мы будем промахиваться в десятой части всех применений данного доверительного интервала. Если это не страшно, то можно брать P=0,9. Если же нас в этих случаях ждут большие материальные потери или это ведёт к опасностям для человеческой жизни, то такая доверительная вероятность недопустимо мала. Легко строить доверительный интервал для , если мы имеем для параметра точечную оценку (x1, x2,  , xn) и хотя бы приближённо знаем закон её распределения. Именно в этом случае по закону распределения , задавая P, мы можем находить такое y, чтобы P{|–|y}=P. Иногда P называют надёжностью оценки, а y – её точностью. Здесь мож­но переписать неравенство под знаком вероятности в следующем виде: P{–y+y}=P, и искомый доверительный интервал имеет вид [–y, +y] и длину 2y. Разберём несколько задач на построение доверительных интервалов. 1. Приближённый доверительный интервал для вероятности события. Пусть имеется событие A и для его вероятности P(A)=p мы хотим построить доверительный интервал, сделав n опытов. Допустим, что в этих опытах событие A наступило m раз. По интегральной теореме Муавра-Лапласа: P{ab}dy. Возьмём a=–y, b=y: P{||y}dy=(y), y>0. Стоящее под знаком вероятности неравенство заменим равносильным: P{m2–2mnp+n2p2y2npq}(y), y>0, или, заменяя q на 1–p: P{p2(n2+y2n)–p(2mn+y2n)+m20}(y), y>0. Кривая y=p2(n2+y2n)–p(2mn+y2n)+m2 как функция p является параболой. Пусть её корни p1, p2, причём p10 и теперь мы можем указать процедуру построения доверительного интервала для p: a) Задаём доверительную вероятность P. b) По P находим y из уравнения (y)=P; корень уравнения легко определяется с помощью таблицы функции Лапласа. c) Решаем квадратное уравнение p2(n2+y2n)–p(2mn+y2n)+m2=0, находим его корни p1, p2, p10. Заменим неравенство под знаком вероятности равносильным, разрешив его относительно a: P{–a+}=(y) и можно сформулировать процедуру построения доверительного интервала для параметра a: a) Задаём доверительную вероятность P. b) По P с помощью таблицы функции Лапласа находим y из уравнения (y)=P. c) Искомый доверительный интервал имеет вид –, +, Отметим, что длина доверительного интервала сколь угодно мала при больших n: 0. 3. Доверительные интервалы для параметров нормального закона. Пусть XN(a, ) и оба параметра неизвестны. Воспользуемся следующей теоремой о выборочном среднем и выборочной дисперсии S2 для выборки из нормального закона: a) N(a, ); b) nS2; c) S2 – независимые случайные величины; d) (–a)Tn–1. Пункт a) этой теоремы очевиден, пункт d) следует из трёх предыдущих. Действительно, N(0, 1); n–1 и из независимости и S следует, что отношение := рас­пределено по закону Стьюдента с (n–1) степенями свободы. Пункты b) и c) примем без доказательства. Ограничимся только следующими замечаниями. В выражении = слагаемые – квадраты случайных величин , распределённых по нормальному закону; если бы они были независимыми, то, как мы знаем, сумма была бы распределена по закону n2; однако они связаны линейной зависимостью: =0. Оказывается, это влияет лишь на число степеней свободы у 2, понижая его на единицу. Можно вместо величин (x1, x2,  , xn) ввести с помощью линейного преобразования такие новые величины, которые остаются независимыми и нормальными, причем и S2 выражаются через различные новые переменные. Это и обеспечивает независимость. К тому же S2 выражается через квадраты ровно (n–1) таких новых величин, что и приводит к . Осуществление этой программы мы здесь опустим. Теперь построить доверительный интервал для a уже нетрудно: P{|–a|y}=2pTn–1(t)dt, y>0, или P{–ySa+yS}=2pTn–1(t)dt. Строим доверительный интервал так: a) Задаём P. b) По P из таблицы распределения Стьюдента находим значение y из урав­нения pTn–1(t)dt=. c) Нужный интервал имеет вид: –yS, +yS. Теорема о выборочном среднем позволяет построить доверительные интервалы также для 2 и . Действительно, так как nS2, то для любых x1, x2, таких, что 0x1C, где C – пороговое значение критерия, и тогда вероятности ошибок выглядят так: P=P(K(x1, x2,  , xn)>C|H}, =P(K(x1, x2,  , xn)C|}. Из этих формул видно, что мы можем контролировать P и , если будем знать закон распределения критерия K как случайной величины, хотя бы приближённо при условии справедливости гипотезы H и при условии справедливости гипотезы . Для данной гипотезы H обычно удаётся подобрать такой критерий K, что закон распределения его при истинности гипотезы H известен, и P можно контролировать. Однако, при истинности мы, вообще говоря, не можем оценить , но утешением оказывается то обстоятельство, что для хорошо подобранных критериев при n вероятность 0, и хотя мы не можем её вычислить, всё-таки остается уверенность, что при достаточно большом объёме выборки ошибка второго рода будет как угодно мала. Известная опасность кроется в том, что мы, как правило, не можем сказать, достаточно ли большим является доступный нам объём выборки. Максимально допустимую величину вероятности ошибки первого рода P называют уровнем значимости критерия; задав P, находят порог C из условия: P(K>C|H}=P. Обычные значения уровня значимости для практики: P=0,01; 0,05; 0,1. (В дискретном случае, правда, в качестве значений P могут быть не любые числа, и это надо учитывать, иначе только что написанное уравнение окажется неразре­шимым). Уравнение же решается по таблицам точного или приближённого закона распределения критерия K. Например, построив критическую область для уровня значимости P=0,05, мы должны считаться с тем, что в сотне применений критерия мы в среднем пять раз отвергнем гипотезу, которая на самом деле верна. Если фактические последствия этих ошибок нас не пугают, то можем пользоваться данной критической областью. Если же они представляются неприемлемыми, то можем уменьшить P, но при этом увеличится , и мы должны взвесить: приемлемы ли для нас последствия ошибок второго рода. Если нет, то остаётся либо отказаться от изучаемого критерия, либо увеличить число наблюдений: для разумно выбранного критерия при этом P и  уменьшаются. Критерий должен обладать свойством реагировать на правильность или ошибочность гипотезы: он должен иметь тенденцию быть малым, если гипотеза верна, и быть большим, если она ошибочна. Ясно, что если критерий ведёт себя наоборот, т. е. принимает малые значения, если гипотеза ошибочна, и большая, если она верна, то это тоже нас устроит; нужно лишь составлять критическую область из малых значений критерия. Рассмотрим три важнейших критерия математической статистики: Колмогорова, Пирсона, Стьюдента. Критерий Колмогорова Пусть X – непрерывная случайная величина. Проверяется гипотеза H: некоторая функция F(x) является ни чем иным, как функцией распределения случайной величины X. А. Н. Колмогоров доказал следующую теорему:  если F(x) – истинная функция распределения, то при С>0:            P{|Fn(x)–F(x)|>C}=2(–1)k+1e–2k2C2. Стоящая справа сумма – одна из семейства тета-функций – табулирована и не представляет трудностей при работе. Считаем, что n достаточно велико, чтобы было справедливо приближённое равенство: P{|Fn(x)–F(x)|>C}2 (–1)k+1e–2k2C2. Теорема Колмогорова подсказывает нам выбор критерия для проверки гипотезы H: K(x1, x2,  , xn)=|Fn(x)–F(x)|. Если H верна, то эмпирическая функция Fn(x) близка к истинной функции распределения F(x): Fn(x)F(x), и критерий имеет тенденцию быть малым. Если H не верна, то истинная функция распределения в какой-то области оси Ox отличается от Fn(x) на конечную величину, а поскольку Fn(x) близка к истинной функции распределения, то в этой области отклонение |Fn(x)–F(x)| конечно, а множитель делает критерий большим. Кроме того, по теореме Колмогорова мы приближённо знаем закон распределения. Сформулируем процедуру проверки гипотезы H: a) Задаём P. b) Из таблицы распределения Колмогорова находим значение C из уравнения  2 (–1)k+1e–2k2C2=P. c) Вычисляем K: K=|Fn(x)–F(x)|. d) Сравниваем K и С: если K>С, то гипотезу H отвергаем, если KС, то H принимаем. Ошибку второго рода контролировать эффективно не удаётся, так как распределения критерия при гипотезе мы не знаем. Однако можно доказать, что если H не верна, то при достаточно большом n из закона больших чисел следует, что критерий K отвергнет ошибочную гипотезу со сколь угодно большой вероятностью. Недостатком критерия Колмогорова представляется то, что гипотеза долж­на точно задавать закон распределения F(x). На практике чаще всего известен тип закона, но неизвестны параметры. Применение критерия Колмогорова не допускает оценки параметров по той же выборке, по которой вычисляется сам критерий, – это было бы прямой подгонкой. Однако, не запрещается оценить параметры по другой выборке, после чего функция распределения F(x) становится известной, и процедура проверки может применяться. Критерий 2 Пирсона Пусть A1, A2,  , Ak – полная группа попарно несовместных событий, p1, p2,  , pk – их вероятности. Предположим, что в n независимых испытаниях эти события произошли, соответственно, m1, m2,  , mk раз, mi=n. Как доказал Пирсон, в этих условиях P=, т.е. величина 2= в пределе имеет 2-распределение с (k–1) степенями свободы. Считаем n достаточно большим, чтобы можно было пользоваться приближённым равенством. Теорема Пирсона лежит в основе проверки нескольких статистических гипотез. Простейшая из них касается дискретной случайной величины X с возможными значениями x1, x2,  , xk. Гипотеза H состоит в том, что вероятности этих значений p1, p2,  , pk. Получаем выборку, которая состоит из m1, m2,   , mk раз повторившихся возможных значений x1, x2,  , xk. Применима теорема Пирсона, причём Ai={X=xi}, 1, 2,  , k. Она подсказывает, что в качестве критерия следует взять величину K=2=. Приближённо закон её распределения даёт теорема Пирсона. Кроме того, mi как абсолютные частоты событий Ai, подчиняются биномиальному закону: miB(n, pi), i=1, 2,  , k, Mmi=npi, и, если гипотеза H верна, то minpi, так что числители в сумме 2, следует ожи­дать, малы, а знаменатели при достаточно большом n велики и критерий 2 имеет тенденцию быть малым. Если же гипотеза H не верна, то i, для которого P{X=xi}pi и minpi, где pi – истинное значение вероятности P{X=xi}. Числитель i-ого слагаемого близок к n2(pi–pi)2, а само слагаемое примерно равно , причём . При достаточно большом n мы попадём в критическую область, поскольку критерий имеет тенденцию быть большим для неверной гипотезы. Итак, процедура проверки гипотезы H по критерию Пирсона выглядит следующие образом: a) Задаём уровень значимости P. b) По таблицам 2-распределения находим пороговое значение C из уравнения =P. c) Вычисляем 2=. d) Сравниваем 2 и C: если 2>C, то H отвергается; если 2C, то H принимается. Из изложенного ясно, что все приближения, допущенные в процессе проверки, будут с большой вероятностью удовлетворительными, если для i будут достаточно большими величины npi. Поэтому, если i, для которых pi слишком малы, следует проводить группировку наблюдений и соответственно менять гипотезу, присоединяя маловероятные значения xi к соседним или объединяя их вместе. Группировку наблюдений в соответствующую группировку возможных значений нужно, в частности, проводить в случае, если число возможных значений k бесконечно. Ошибку второго рода вновь невозможно эффективно контролировать, так как, если H не верна, мы обычно не знаем, что же имеет место в действительности. Однако утешением является уверенность в том, что при достаточно большом n вероятность принять неверную гипотезу как угодно мала для сколь угодно близких альтернатив. Критерий 2 Пирсона можно применять и для проверки той же гипотезы, что и критерий Колмогорова: F(x) – функция распределения непрерывной случайной величины X. С этой целью разобьем ось Ox на интервалы i такие, чтобы вероятности pi=P{Xi} были достаточно велики (достаточно велики должны быть числа npi). Роль событий Ai играют Ai={Xi} и проверяется гипотеза H: pi=P{Xi}, i. Пожалуй, все критерии выглядят более убедительными, когда они отвер­гают гипотезу, чем когда они её принимают: первое заключение делается по событию, которое практически невероятно и всё-таки произошло, а второе – по событию, которое весьма вероятно и действительно произошло. Здесь же это различие особенно чувствуется, так как мы фактически деформировали гипотезу, заменили её её следствием, из которого сама она не следует: если следствие отвергается, то отвергается и сама гипотеза; если же следствие принимается, это еще не доказывает верности самой гипотезы. Выбор числа интервалов и их размеры определяются тем, чтобы в интервалы попадало достаточно большое число наблюдений: работа критерия Пирсона основана на том, сколь хорошо выполняется для i приближение minpi, если H справедлива, и сколь плохо выполняется оно хотя бы для некоторых i, если H не справедлива. А на это можно рассчитывать лишь при достаточно большом числе наблюдений, попавших в интервалы i. Как оказалось, критерием 2 Пирсона можно пользоваться и в том случае, когда гипотеза задаёт закон распределения с точностью до параметров, например, в дискретном случае H: pi=pi(1, 2,  , r), i=1, 2,  , k, и r неизвестных параметров оцениваются по той же выборке, которая используется для проверки самой гипотезы. Единственное изменение в процедуре проверки состоит в том, что в распределении 2 нужно брать число степеней свободы не k–1, а k–r–1. Критерий Стьюдента Пусть случайная величина X распределена по нормальному закону, и проверяется гипотеза H, состоящая в том, что число a есть ни что иное, как математическое ожидание X: H: a=MX. Как мы установили выше, выборочное среднее и выборочная дисперсия подчиняются следующему закону: =Tn–1. Дробь Стьюдента распределена по закону, носящему его имя, с n–1 степенями свободы. При условии справедливости H P=. Эта теорема подсказывает выбор критерия для проверки гипотезы H: K(x1, x2,  , xn)=. Закон его распределения нам известен, и критерий ведет себя именно так, как нужно: если гипотеза H верна, следует ожидать малых значений K, если H не верна, не следует ожидать малых значений K. Процедура проверки такова: a) Задаём P. b) По таблицам распределения Стьюдента находим порог С из уравнения pTn–1(t)dt=. c) Вычисляем K=. d) Сравниваем K и С: если K>С, то H отвергается; если KС, H принимается. Можно видоизменить критерий Стьюдента для следующего случая: имеются две независимые нормальные случайные величины X и Y, и получены две выборки (x1, x2,  , xn) и (y1, y2,  , ym). Дисперсии равны, но неизвестны: 1=2=. Проверяется гипотеза H: MX=MY. Очевидно, в условиях справедливости H: –N(0; ), (xi–)2, (yj–)2, (xi–)2+(yj–)2, и мы можем составить дробь Стьюдента: =Tn+m–2. Очевидно, в качестве критерия нужно взять K= с критической областью K>С. 4.8. Метод наименьших квадратов Сначала изложим метод наименьших квадратов в невероятностной интерпретации, как метод решения задачи аппроксимации. Начнём с простейшего – линейного – случая. На плоскости дано множество точек (xi, yi), i=1, 2,  , n, явно располагающихся вблизи некоторой прямой. Из-за того, что глазу из всех линий проще всего выделить прямую, и того, что линейный случай часто встречается на практике, этот случай и занял особое место. Требуется в каком-то смысле наилучшим образом провести прямую, вокруг которой группируются точки. Обычно выбирают прямую, руководствуясь принципом наименьших квадратов: ищут прямую y=1x+0, максимизирующую сумму квадратов =(yi–1xi–0)2. Разность yi–1xi–0 интерпретируется как ошибка отклонения ординаты i-ой точки от искомой прямой. Выбор в качестве меры отклонения точек (xi, yi) от точек прямой – суммы квадратов ошибок условен: можно было бы взять, на­пример, сумму модулей или сумму четвёртых степеней, однако это вызвало бы дополнительные аналитические и вычислительные трудности без видимых преимуществ. Как и все принципы, принцип наименьших квадратов не требует доказательства; он опирается на здравый смысл, а его полезность и разумность подтверждается практическим его применением. Найдем прямую, минимизирующую , обычным способом: =–2(yi–1xi–0)=0, =–2(yi–1xi–0)xi=0, или 1xi+0n=yi, 1xi2+0xi=yixi. Решение очевидно: 1=, 0=. Аналогично по множеству точек (xi, yi) можно искать аппроксимирующий полином y=0+1x+2x2++kxk степени k. При этом мы должны минимизировать сумму квадратов =(yi–0–1xi–2xi2––kxik)2. Соответствующая система уравнений для неизвестных коэффициентов 0, 1,  , k называется системой нормальных уравнений и имеет вид: 0n+1xi++kxik=yi, 0xi+1xi2++kxik+1=xiyi, ........................... 0xik+1xik+1++kxi2k=xikyi, В каждой сумме индекс суммирования i меняется от 1 до n. Решение полученной системы линейных неоднородных уравнений легко определяется по правилу Крамера. Удобно записать систему нормальных уравнений в сокращённом матричном виде. Для этого определим три матрицы-столбца: X=, Y=, =, и так называемую структурную матрицу размера (k+1)n: A=. Тогда легко проверить, что система нормальных уравнений записывается в форме: AAT=AY, где AT – матрица, транспонированная по отношению к матрице A. Если матрица AAT имеет обратную, то решение системы нормальных урав­нений сразу выписывается =(AAT)–1AY. Формулы линейного случая входят сюда как частный случай при k=1. Заменой функций и переменных к рассмотренным случаям можно свести и многие неполиномиальные зависимости. Например, для y=1lnx+0, вместо то­чек (xi, yi) можно рассматривать точки (lnxi, yi): получаем линейную зависимость с помощью введения логарифмического масштаба по одной из осей. Для функции y= следует взять точки (exi, yi2), i=1, 2,  , n, и т. д. Полиномиальная аппроксимация часто появляется в следующем варианте: если мы аппроксимируем точки функцией f(x), то для аналитических функций бывает возможно ограничиться частью степенного ряда, дающей достаточную точность. Описанная задача часто применяется практиками, и в таком виде метод наименьших квадратов не имеет никакого отношения к теории вероятностей. Он возникает как задача аппроксимации, как сокращённый аналитический способ представления наблюдений. Вероятностный аспект появляется, например, в такой ситуации: имеются две физические величины, связанные детерминированным законом y=0+1x+2x2++kxk, но значения коэффициентов неизвестны и строгое выполнение закона не вызывает сомнений. Значение переменной x при эксперименте пусть задаётся точно, а в измерение величины y вкрадываются ошибки, так что опытные точки (xi, yi), i=1, 2,  , n, могут даже не удовлетворять уравнению. Если бы ошибок при измерении величины y не было, то достаточно было бы (k+1) наблюдений, что­бы найти все коэффициенты. Ошибки приводят к тому, что, если пытаться решать систему yi=0+1xi+2xi2++kxik, i=1, 2,  , n, то она обычно оказывается противоречивой, несовместной. Выход указывает принцип наименьших квадратов. Состоит он в том, чтобы выбрать коэффициенты, минимизируя сумму квадратов ошибок =yi2, yi=yi–(0+1xi+2xi2++kxik). Вероятностный подход даёт возможность увидеть, когда принцип наименьших квадратов, как он сформулирован, хорош и когда плох. В сумму  те точки, которые лежат на искомой кривой, вносят нулевой вклад; наибольший же вклад вносят наиболее ошибочные наблюдения, именно они и начинают особенно заметно влиять на результат, хотя менее всего заслуживают такого влияния. В особенности плохо, когда на оси Ox есть участки наиболее точных измерений и участки очень грубых измерений. Участки грубых наблюдений получают право определять сумму, вносить в неё основной вклад. Ясно, что наиболее естественный случай применения принципа наименьших квадратов – случай, когда априори средний квадрат ошибок одинаков во всех наблюдениях. Если систематических погрешностей в измерениях нет, т. е. Myi=0 для i, то это означает, что дисперсии ошибок должны быть одинаковы, или как говорят, наблюдения должны быть равноточными. Если же наблюдения не равноточные, но дисперсии известны: Dyi=i2, то можно внести коррективы в принцип наименьших квадратов, введя в сумму  весовые множители, уравнивающие априорный вклад в сумму всех наблюдений, минимизировать =. К сожалению, как правило, параметры i2 бывают неизвестны, и практики обрабатывают наблюдения так, словно они равноточные. Чаще всего, когда путем замены x и y приводят зависимость y=f(x) к линейной или полиномиальной с целью применить метод наименьших квадратов, то нарушают именно равноточностъ измерений, если она до этого была, придавая повышенный вес одним участкам наблюдений перед другими, причём обычно этот факт практиками молчаливо игнорируется. По поводу этого, однако, можно сказать, как и по поводу любого принципа, что если последствия его применения, связанные с ним ошибки нас устраивают, не чрезмерны, то всё в порядке. В таком изложении метод наименьших квадратов применим к ошибкам yi, как угодно распределённым. Если же ошибки распределены по нормальному закону: yiN(0, i), то полученные по методу наименьших квадратов оценки параметров 0, 1,  , k совпадают с их оценками по методу максимального правдоподобия: ведь неизвестные коэффициенты 0, 1,  , k становятся параметрами распределения случайной величины y. 4.9. Примеры решения задач по теме Задача 1. Методом моментов по выборке X 3 4 5 n 70 20 10 найти точечную оценку параметра , предполагая, что теоретическое распределение является показательным: Решение. Согласно методу моментов нужно приравнять начальный теоретический момент первого порядка (математическое ожидание ) к начальному эмпирическому моменту первого порядка (выборочному среднему ): . По формулам (18) для показательного распределения имеем: . Выборочное среднее находим по формуле : , где - варианта выборки, - частота , - объем выборки. Получаем . Приравнивая моменты, находим : => . Задача 2. Найти доверительный интервал для оценки математического ожидания нормального распределения при доверительной вероятности (надежности), равной , если выборочное среднее , среднее квадратическое отклонение , а объем выборки . Решение. Доверительный интервал для математического ожидания при нормальном распределении равен : , где - выборочное среднее, - среднее квадратическое отклонение, - объем выборки, , - затабулированная функция Лапласа . Так как , из соотношения получаем и с помощью таблиц находим . Тогда и . Задача 3. По выборке из 24 вариант выдвинута гипотеза о нормальном распределении генеральной совокупности. Используя критерий Пирсона при уровне значимости среди заданных значений = {34, 35, 36, 37, 38} указать: а) наибольшее, для которого нет оснований отвергать гипотезу; б) наименьшее, начиная с которого гипотеза должна быть отвергнута. Решение. Найдем число степеней свободы с помощью формулы : , где - число групп выборки (вариант), - число параметров распределения. Так как нормальное распределение имеет 2 параметра ( и ), получаем . По таблице критических точек распределения , по заданному уровню значимости и числу степеней свободы определяем критическую точку . В случае а) для значений , равных 34 и 35, нет оснований отвергать гипотезу о нормальном распределении, так как . А наибольшее среди этих значений . В случае б) для значений 36, 37, 38 гипотезу отвергают, так как . Наименьшее среди них . Задача 4. По данным корреляционной таблицы найти выборочный корреляционный момент (ковариацию): X Y -1 1 2 2 20 10 30 3 10 20 10 Решение. Выборочный корреляционный момент определяется равенством : . Здесь , - варианты (наблюдавшиеся значения) признаков и , - частота пары вариант , - объем выборки, , - выборочные средние. Найдем выборочные средние с помощью соотношения : , , где , - частоты вариант и . Так как , получаем ,. Тогда Задача 5. Найти выборочное уравнение прямой линии регрессии: а) на , б) на , если известны: выборочные средние , , выборочные дисперсии , , выборочный коэффициент корреляции . Решение. а) Выборочное уравнение прямой линии регрессии на имеет вид , где , . Поскольку , , получаем уравнение , или . б) Согласно выборочному уравнению прямой линии регрессии на : . Поэтому получаем , или . 4.10. Контрольное задание По данным задач № 1-10 необходимо: 1. Начертить графики: полигон, гистограмм, эмпирическую функцию распределения. 2. Вычислить среднюю арифметическую, дисперсию, среднее квадратическое отклонение. 3. Рассчитать и построить теоретические нормальные кривые f (х) и F (х). 4. Определить вероятность Р (х1 < х < х2). 5. Произвести оценку степени близости теоретического распределения эмпирическому ряду с помощью критерия согласия Пирсона. 1. Распределение затрат на 100 руб. продукции по предприятиям хлопчатобумажной промышленности. Инт-л 96,3-97,3 97,3–98,3 98,3–99,3 99,3–100,3 100,3-101,3 101,3-102,3 102,3-103,3 103,3-104,3 104,3-105,3 Кол-во предприятий 3 3 12 12 24 18 17 4 2 Р (98,4 < х < 101,2) = ? 2. Распределение объема товарной продукции на 1 кв.м производственной площади (в млн.руб.) Инт-лы 0-0,2 0,2-0,4 0,4-0,6 0,6-0,8 0,8-1,0 1,0-1,2 1,2-1,4 Кол-во предприятий 7 11 26 24 17 10 5 Р (0,35 < х < 1,03) = ? 3 Распределение объема основных фондов (млрд.руб.) предприятий трикотажной промышленности. Инт-лы 2,0-2,14 2,14-2,28 2,28-2,42 2,42-2,56 2,56-2,70 2,70-2,84 2,84-2,98 2,98-3,12 Кол-во предприятий 5 12 18 40 15 5 3 2 Р (2,29 < х < 2,97) = ? 4. Распределение оплаты труда на одном из малых предприятий за месяц. Инт-лы 260-274 274-288 288-302 302-316 316-330 330-344 344-358 358-372 Кол-во работ 1 2 9 25 28 18 12 5 Р (275 < х < 342) = ? 5. Распределение производственных площадей (тыс.м2) предприятий текстильной промышленности. Инт-л 1,03-1,37 1,37-1,71 1,71-2,05 2,05-2,39 2,39-2,73 2,73-3,07 3,07-3,41 3,41-3,75 3,75-4,09 Кол-во пред-ий 2 12 15 17 23 12 14 3 2 Р (2,31 < х < 2,99) = ? 6. Распределение средних удоев молока в фермерском хозяйстве (литров) от одной коровы за день. Инт-л 7,5-10,5 10,5-13,5 13,5-16,5 16,5-19,5 19,5-22,5 22,5-25,5 25,5-28,5 28,5-31,5 31,5-34,5 Кол-во коров 2 6 10 17 33 11 9 7 5 Р (15,4 < х < 28,4) = ? 7. Распределение средней урожайности (ц/га) в фермерских хозяйствах области. Инт-л 9,8-13,2 13,2-16,6 16,6-20,0 20,0-23,4 23,4-26,8 26,8-30,2 30,2-33,6 33,6-37,0 Кол-во хоз-в 2 4 8 30 29 14 10 3 Р (23,4 < х < 32,9) = ? 8. Распределение декадной выручки от реализации (млн.руб.) в коммерческих торговых палатках микрорайона. Инт-лы 5-10 10-15 15-20 20-25 25-30 30-35 35-40 Кол-во палаток 3 10 19 30 20 14 4 Р (31,7 < х < 32,4) = ? 9. Распределение длины резьбы на муфте вентилей (в мм). Инт-л 51,48 -51,72 51,72 -51,96 51,9 6-52,20 52,20 -52,44 52,44 -52,68 52,68-52,92 52,92-53,16 53,16-53,40 Кол-во дет-ей 3 4 18 19 288 21 6 1 Р (51,9 < х < 52,4) = ? 10. Распределение индекса цен по группе продовольственных товаров (%). Инт-л 98,4-99,6 99,6-100,8 100,8-102,0 102,0-103,2 103,2-104,4 104,4-105,6 105,6-106,8 106,8-108,0 108,0-109,2 Кол-во 3 7 18 19 20 17 13 2 1 Р (х > 100) = ?