Элементы математической статистики

Лекция №3 . Элементы математической статистики 1.Основные понятия 2.Числовые характеристики выборки 3.Эмпирическая функция распределения 4. Построение интервального статистического ряда 5. Гистограмма относительных частот  6. Статистические оценки параметров генеральной совокупности. Точечные оценки. Интервальные оценки. 7 .Проверка статистических гипотез Литература 1 .Курзенев, Владимир Анатольевич. Основы математической статистики для управленцев : учеб. пособие для студентов вузов, обучающихся по специальности 061700 "Статистика", 351000 "Антикризис. упр." и др. экон. специальностям : [учеб. пособие с примерами и задачам. Санкт-Петербург : Изд-во СЗАГС, 2005 (СПб. : Санкт-Петербургская типография » 6). - 205, [1] с. : ил., табл.; 21 см.; ISBN 5-89781-172-5 (В пер.) 2. Гмурман, В. Е. Теория вероятностей и математическая статистика: учебник для СПО / В. Е. Гмурман. — 12-е изд. — М. : Издательство Юрайт, 2017. — 479 с. —ISBN 978-5-534-00859-3. — Режим доступа : www.biblio-online.ru/book/535E35F5-83AD-48A3-833E-DE002FC2268A; 3. Гмурман, В. Е. Руководство к решению задач по теории вероятностей и математической статистике: учебное пособие для СПО / В. Е. Гмурман. — 11-е изд., перераб. и доп. — М. : Издательство Юрайт, 2017. — 404 с. — (Серия : Профессиональное образование). — ISBN 978-5-534-00935- 4. Теория вероятностей и математическая статистика [Электронный ресурс]: учебное пособие/ Шилова З.В., Шилов О.И.— Электрон. текстовые данные.— Саратов: Ай Пи Ар Букс, 2015.— 158 c.— Пер­вые за­да­чи Математической статистики (МС) поя­ви­лись в тру­дах Я. Бер­нул­ли (1654-1705), , П. Ла­п­ла­са(1646-1716) и С. Пу­ас­со­на(1781-1840). В Рос­сии ме­то­ды Математической статистики в при­ме­не­нии к де­мо­гра­фии и стра­хо­во­му де­лу раз­ви­вал на ос­но­ве тео­рии ве­ро­ят­но­стей В. Я. Бу­ня­ков­ский (1804-1889). Ре­шаю­щее зна­че­ние для даль­ней­ше­го раз­ви­тия МС име­ли ра­бо­ты пред­ста­ви­те­лей российской шко­лы тео­рии ве­ро­ят­но­стей 2-й половины 19-го  – начала 20 веков . (П. Л. Че­бы­шев, А. А. Мар­ков, А. М. Ля­пу­нов) В соз­да­нии об­щей тео­рии ста­ти­стических оце­нок, про­вер­ки ги­по­тез зна­чи­тель­на роль пред­ста­ви­те­лей анг­ло-американской . шко­лы (Стью­дент (псевд. У. Гос­се­та), Р. Фи­шер, Э. Пир­сон, Ю. Ней­ман, А. Вальд), дея­тель­ность ко­то­рых на­ча­лась в 1-й четв. 20 века. На ос­но­ве МС ин­тен­сив­но раз­ра­ба­ты­ва­ют­ся ста­ти­стические ме­то­ды ис­сле­до­ва­ния и кон­тро­ля мас­со­во­го про­из­вод­ст­ва, ста­ти­стические ме­то­ды в об­лас­ти фи­зи­ки, биологии, гид­ро­ло­гии, кли­ма­то­ло­гии, ас­тро­но­мии, социологии, ме­ди­ци­ны и др. Основные понятия Математическая статистика изучает методы сбора и статистической обработки  экспериментальных данных  для получения научных и практических выводов. Статистические экспериментальные данные появляются в результате исследования массовых явлений, которые носят случайный характер. Во многих своих разделах математическая статистика опирается на теорию вероятностей, позволяющую оценить надежность и точность выводов, делаемых на основании ограниченного статистического материала (например, оценить необходимый объем выборки для получения результатов требуемой точности ) Статистическими данными называются сведения о числе объектов в какой-либо более или менее обширной совокупности, обладающих теми или иными признаками. Здесь важно понять, что статистика имеет дело именно с количеством объектов, а не с их описательными признаками. В математической статистике кроме того изучается общая теория проверки гипотез. Рассматривают гипотезы о значениях параметров и характеристик, о проверке однородности (то есть о совпадении характеристик или функций распределения в двух выборках), о соответствии эмпирической функции распределения и заданной функцией распределения, о симметрии распределения и др. В теории вероятностей рассматриваются случайные величины с заданным распределением или случайные эксперименты, свойства которых целиком известны. Предмет теории вероятностей — свойства и взаимосвязи этих величин (распределений). Наблюдатель( экспериментатор ) имеет набор числовых результатов, полученных повторением одного и того же случайного эксперимента в одинаковых условиях. Примером такой серии экспериментов может служить социологический опрос, набор экономических показателей или, наконец, последовательность выпадения гербов и решек при многократном подбрасывании монеты. При этом возникают следующие вопросы: Если мы наблюдаем одну случайную величину — как по набору ее значений в нескольких опытах сделать как можно более точный вывод о ее распределении и о параметрах распределения ? Для ответа на эти вопросы этого приходится несколько раз измерять значения изучаемой случайной величины. Полученный набор значений рассматривается как выборка из гипотетической генеральной совокупности . Источник: https://iia-rf.ru/men/chto-takoe-mat-statistika-osnovnye-ponyatiya-matematicheskoi-statistiki/ Основная задача математической статистики состоит в том, что для изучения генеральной совокупности объёма  из неё производится выборка, состоящая из  элементов, которая адекватно характеризует всю совокупность (свойство представительности). И на основании исследования этой выборочной совокупности  с высокой достоверностью можно оценить основные  характеристики генеральной совокупности: выявить закон распределения генеральной совокупности и оценить его важнейшие числовые параметры, такие как генеральная средняя , генеральная дисперсия  и среднее квадратическое отклонение . Итак, пусть имеется случайная величина Х с функцией распределения F(x). Определение Набор значений x1, x2, …, xn, случайной величины Х, полученных в результате n опытов, называется выборкой объема n. Предполагается, что опыты произведены в одинаковых условиях и независимо. В математической статистике различают генеральную совокупность и выборку из нее. Генеральной совокупностью – называется все счетное множество некоторых объектов или элементов, интересующих исследователя; Важным параметром является объем совокупности – количество образующих ее элементов. Совокупности большого объема можно исследовать только выборочным путем, делая выборку из нее. В этом и состоит основной метод МС - выборочный метод Суть выборочного метода состоит в исследовании представительной выборочной совокупности – для достоверной характеристики совокупности генеральной. Данный метод экономит трудовые и материальные затраты, поскольку исследование всей совокупности зачастую затруднено или невозможно. Выборкой называется некоторая часть генеральной совокупности, то, что непосредственно изучается. Выборки классифицируются по репрезентативности, объему, способу отбора и схеме испытаний: Репрезентативная выборка-это выборка ,адекватно отображающая генеральную совокупность в качественном и количественном отношениях. Иными словами репрезентативная выборка представляет собой меньшую по размеру , но точную модель той генеральной совокупности которую она должна отражать . Репрезентативность зависит от объема, чем больше объем, тем выборка репрезентативней. По схеме испытаний – выборки могут быть независимые и зависимые. По объему выборки делят на малые и большие. К малым относят выборки, в которых число элементов n ≤ 30. Понятие большой выборки не определено, но большой считается выборка в которой число элементов > 200 и средняя выборка удовлетворяет условию 30≤ n≤ 200. Это деление условно. Выборка, расположенная в порядке возрастания ее значений , называется вариационным рядом. Если выборка объема n содержит r различных элементов x1, x2, …, xr , причем элемент xi встречается mi раз, то число mi называется абсолютной частотой (частотой) элемента xi. Статистическим рядом называется последовательность пар (xi , mi), оформленная в виде таблицы. Обычно в первой строке содержатся элементы xi, расположенные в порядке возрастания, а во второй - их частоты mi . Полигоном частот выборки называется ломаная с вершинами в точках (xi , mi). 2.Числовые характеристики выборки Пусть x1, x2, …, xn – наблюдавшиеся в эксперименте значения случайной величины Х. 1)Генеральная средняя Генеральной средней называется среднее арифметическое  всех значений этой совокупности: 2 )Выборочное среднее: Выборочное среднее -это  среднее арифметическое всех значений выборки: . Обозначается как Х с черточкой сверху: . При наличии одинаковых вариант формула запишется компактнее:  – как сумма произведений вариант  на соответствующие частоты . 3)Выборочная дисперсия: . Выборочная дисперсия  – это среднее арифметическое квадратов отклонений всех вариант выборки от её средней:  – для несгруппированных данных, и:  – для сформированного вариационного ряда, где  – кратные (одинаковые по значению) варианты в дискретном случае либо середины частичных интервалов – в интервальном, и  – соответствующие частоты. Значения выборочной дисперсии  будут давать систематически заниженную оценку генеральной дисперсии . И поэтому выборочную дисперсию следует «поправить» по формуле:  ( сверху над S ставится «волна») –формула для исправленной( несмещенной ) выборочной дисперсии –обоснование этого факта и этой формулы имеется в специализированной литературе по математической статистике. 4) Мода Мода  дискретного вариационного ряда – это варианта с максимальной частотой. . Моду легко отыскать по таблице, и ещё легче на полигоне частот – это абсцисса самой высокой точки. 5)Медиана. Медиана  вариационного ряда – это значение, которое делит его на две равные части (по количеству вариант). Пример . Кубик подбрасывали 50 раз . Произведены наблюдения над СВХ- число выпавших очков. Результаты наблюдений таковы ( в случайном порядке выпадали такие значения): 1,1, 2,4,5,2,6,1,5,4,2,………6,1,4,3,3( 50 чисел, называемых вариантами) Составлен вариационный ряд наблюдаемых значений СВ : 1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,3,3,3,3,3,3,3,3,3,3,4,4,4,4,4,4,4,4, 5,5,5,5,5,5,5,5,5,5,5,5,6,6,6,6,6,6 Далее составлен статистический ряд (xi , mi) в виде таблицы: xi 1 2 3 4 5 6 mi 10 5 10 8 12 5 Для заданной выборки: а) построить полигон частот . б) найти моду, выборочное среднее и дисперсию. Решение. 1) Построим полигон частот заданной выборки. Для этого определим вершины (xi , mi) ломаной: (1,10); (2,5); (3,10); (4,8); (5,12); (6,5). Следовательно, имеем: 2) Вычислим теперь выборочное среднее: . 3) Вычислим выборочную дисперсию: 4)Мода  =5 (видно по графику полигона частот ) 5) Медиана Медиану можно отыскать несколькими способами. Если даны первичные данные, то сортируем их по возрастанию и находим середину ранжированного ряда: . Почему именно 13-е число? Потому что перед ним находится 12 чисел и после него тоже 12 чисел, таким образом, значение  разделило ряд на две равные части, а значит, является медианой. Этот номер можно также найти аналитически: – если совокупность содержит нечётное количество чисел (наш случай), то делим её объём пополам:  и округляем полученное значение в большую сторону: 13 – получая тем самым срединный номер. – если совокупность содержит чётное количество чисел, например, 20, то делаем то же самое: , и медианное значение здесь рассчитывается как среднее арифметическое 10-го и следующего числа: . Пример 2 Студенческая группа сдала коллоквиум по  ТВ и МС  со следующими результатами: Требуется определить среднюю успеваемость группы Сбором статистических данных здесь занимался преподаватель Роль вариант  здесь играют полученные оценки, а   – это соответствующие частоты – количество студентов, которые получили ту или иную оценку. Подсчитаем общую численность группы ( обьем выборки):   Обратим внимание на следующую вещь: двоечников и отличников мало, а «средних» студентов много. И возникает вопрос: как вычислить среднюю оценку по всей совокупности? Это можно сделать с помощью так называемой  выборочного среднего значения (средневзвешенной средней):  – средняя успеваемость по группе. Задание. 1. Подсчитать выборочную дисперсию , характеризующую степень разброса возможных значений относительно выборочного среднего . 2.Построить полигон частот 3.Эмпирическая функция распределения Эмпирическая функция распределения  строится по выборке и приближает теоретическую функцию распределения , известную из курса ТВ. Покажем на конкретном примере как ее строить. Пример 3 По результатам выборочного исследования рабочих цеха были установлены их квалификационные разряды: 4, 5, 6, 4, 4, 2, 3, 5, 4, 4, 5, 2, 3, 3, 4, 5, 5, 2, 3, 6, 5, 4, 6, 4, 3. Требуется: – составить вариационный ряд и построить полигон частот; – найти относительные частоты и построить эмпирическую функцию распределения. -найти медиану Решение: 1. Подсчитаем  объем выборки, т.е. количество рабочих. . 2. Построим вариационный ряд : 2,2,2,3,3,3,3,3,4,4,4,4,4,4,4,4, 5,5,5,5,5,5,6,6,6 3 . Построим статистический ряд Построенный статистический ряд также называют статистическим распределением выборки, 4. Построим полигон частот. Это статистический аналог многоугольника распределения дискретной случайной величины  Полигон частот – это ломаная, соединяющая соседние точки : … Найдём относительные частоты , для этого каждую частоту  делим на    Замечание: сумма относительных частот равна единице! . 5) Построим эмпирическую функцию распределения . Это статистический аналог функции распределения  из ТВ . Данная функция определяется, как отношение: , где  – количество вариант СТРОГО МЕНЬШИХ, чем , при этом «икс» «пробегает» все значения от «минус» до «плюс» бесконечности. Очевидно, что на интервале , и, кроме того, функция равна нулю ещё и в точке . Потому, что значение  определяет количество вариант, которые СТРОГО меньше двух, а это количество равно нулю. На промежутке  – и опять обратите внимание, что значение  не учитывает рабочих 3-го разряда, т.к. речь идёт о вариантах, которые СТРОГО меньше трёх. На промежутке   и далее процесс продолжается по принципу накопления частот: – если , то ; – если , то ; – и, наконец, если , то  – и в самом деле, для ЛЮБОГО «икс» из интервала  ВСЕ частоты расположены СТРОГО левее этого «икс». Саму функцию принято записывать таким образом: а её график представляет собой ступенчатую фигуру: Эмпирическая функция распределения не убывает  и принимает значения из промежутка , 6) Найдем далее медиану Медиану можно отыскать несколькими способами. Если даны первичные данные, то сортируем их по возрастанию и находим середину ранжированного ряда: . Почему именно 13-е число? Потому что перед ним находится 12 чисел и после него тоже 12 чисел, таким образом, значение  разделило ряд на две равные части, а значит, является медианой. Этот номер можно также найти аналитически: – если совокупность содержит нечётное количество чисел (наш случай), то делим её объём пополам:  и округляем полученное значение в большую сторону: 13 – получая тем самым срединный номер. – если совокупность содержит чётное количество чисел, например, 20, то делаем то же самое: , и медианное значение здесь рассчитывается как среднее арифметическое 10-го и следующего числа: . 4. Построение интервального статистического ряда Предпосылкой построения интервального вариационного ряда  является тот факт, что исследуемая величина принимает слишком много различных значений.  Сначала определяется интервал, в пределах которого варьируются значения, затем данный интервал делится на частичные интервалы, и по каждому интервалу подсчитываются частоты – количество вариант, которые в него попали. Покажем на конкретном примере: Пример 4 По результатам исследования цены некоторого товара в различных торговых точках города, получены следующие данные (в некоторых денежных единицах): Требуется составить вариационный ряд распределения, построить гистограмму и полигон относительных частот , построить эмпирическую функцию распределения. Мы имеем  выборочная совокупность объемом   Построим интервальный статистический ряд : 1)Находим самое маленькое число в выборке и самое большое значение –  ден. ед. – 2) Построим интервальный статистический ряд . Для этого сначала вычислим размах выборки:  ден. ед. – длина общего интервала, в пределах которого варьируется цена. Теперь его нужно разбить на частичные интервалы. Сколько интервалов рассмотреть? Воспользуемся формулой Стерджеса:  , где  – десятичный логарифм  от объёма выборки и  – оптимальное количество интервалов, при этом результат округляют до ближайшего левого целого значения. В нашем случае получаем:  интервалов. Следует отметить, что правило Стерджеса носит рекомендательный, но не обязательный характер. Нередко в условии задачи прямо сказано, на какое количество интервалов нужно проводить разбиение (на 4, 5, 6, 10 и т.д.), и тогда следует придерживаться именно этого указания. Длины частичных интервалов могут быть различны, но в большинстве случаев используется равные интервалы:  – длина частичного интервала И так как мы прибавили 0,04, то по 5 частичным интервалам получается «перебор»: . Поэтому от самой малой варианты  отмеряем влево 0,1 (половину «перебора») и к значению 5,7 начинаем прибавлять по , получая тем самым частичные интервалы. При этом сразу рассчитываем их середины  (например, ) – – убеждаемся в том, что самая большая варианта  вписалась в последний частичный интервал и отстоит от его правого конца на 0,1. Далее подсчитываем частоты по каждому интервалу. Правило: если варианта попадает на «стык» интервалов, то её следует относить в правый интервал. У нас такая варианта встретилась одна:  – и её нужно причислить к интервалу . В результате получаем интервальный вариационный ряд, при этом обязательно убеждаемся в том, что ничего не потеряно: , и, кроме того, рассчитываем относительные частоты  по каждому интервалу, которые уместно округлить до двух знаков после запятой: Получили интервальный статистический ряд : Гистограмма относительных частот  3)Построим  в примере 4 гистограмму относительных частот –. Гистограмма относительных частот – это фигура, состоящая из прямоугольников, ширина которых равна длинам частичных интервалов, а высота – соответствующим относительным частотам: При этом допустимо использовать разрыв по оси абсцисс.( начинать со значения х=4) Площадь гистограммы равна единице, и это статистический аналог функции плотности распределения непрерывной случайной величины. Построенный чертёж даёт наглядное и весьма точное представление о распределении цен на ботинки по всей генеральной совокупности. Вместе с гистограммой нередко требуют построить полигон. Без проблем, полигон относительных частот – это ломаная, соединяющая соседние точки , где  – середины интервалов: 4)Построим в пр. №4 эмпирическую функцию распределения. , где  – количество вариант СТРОГО МЕНЬШИХ, чем «икс», который «пробегает» все значения от «минус» до «плюс» бесконечности. . Находим накопленные относительные частоты: И строим кусочно-ломаную линию, с промежуточными точками , где  – правые концы интервалов, а  – относительная частота, которая успела накопиться на всех «пройденных» интервалах: При этом  если  и  если . Как известно, эмпирическая функция распределения  не убывает, принимает значения из промежутка  и, кроме того, непрерывна. Эмпирическая функция распределения является аналогом функции распределения НСВ   Статистические оценки параметров генеральной совокупности. Точечные оценки. Интервальные оценки. На основании исследования выборочной совокупности  с высокой достоверностью можно оценить основные  характеристики генеральной совокупности: выявить закон распределения генеральной совокупности и оценить его важнейшие числовые параметры, такие как генеральная средняя , генеральная дисперсия  и среднее квадратическое отклонение . Для оценки этих параметров нужно вычислить соответствующие выборочные значения 1) выборочное среднее  позволяет нам оценить генеральную среднюю , причём, оценить её точечно, то есть одним числом. Точечная оценка- это оценка одним числом Если из той же генеральной совокупности мы будем проводить многократные выборки, то в общем случае у нас будут получаться различные выборочные средние, и каждая из них представляет собой точечную оценку генерального значения .  Несмещённой точечной оценкой генеральной дисперсии  является исправленная выборочная дисперсия , и соответственно, стандартного отклонения  – исправленное стандартное отклонение . Недостаток точечных оценок состоит в том, что при небольшом объёме выборки получатся выборочные значения, которые далеки от истины. И в этих случаях логично потребовать, чтобы выборочная характеристика  отличалась от генерального значения  менее, чем на некоторое положительное значение  Это требование можно записать с помощью модуля: Значение  называется точностью оценки Замечание: точность оценки также обозначают через  («эпсилон»). Но статистические методы не позволяют 100%-но утверждать, что рассчитанное значение  будет удовлетворять этому неравенству. Можно говорить лишь о вероятности , с которой это неравенство осуществится:  . Раскроем модуль Интервал  называется доверительным интервалом и представляет собой интервальную оценку генерального значения  по найденному выборочному значению . Данный интервал с вероятностью  «накрывает» истинное значение . Эта вероятность называется доверительной вероятностью или надёжностью интервальной оценки Надёжность «гамма» (или «бэта») задаётся самим исследователем Обычно выбирают варианты  Доверительный интервал для оценки генеральной средней нормально распределённой генеральной совокупности 1. Покажем на примере построение доверительного интервала для оценки МО при известном значении генеральной совокупности. Пример Известно, что генеральная совокупность распределена нормально со средним квадратическим отклонением . Найти доверительный интервал для оценки математического ожидания   с надежностью 0,95, если выборочная средняя , а объем выборки . (здесь известно стандартное отклонение  генеральной совокупности.) Если оно не известно, и тогда решение будет другим – из генеральной совокупности проведена выборка в   и по её результатам найдена выборочная средняя:   Выборочная средняя – это точечная оценка неизвестной нам генеральной средней . По условию, требуется найти интервал , которой с вероятностью  накроет истинное значение . Будет неверным сказать, что  попадёт в этот интервал. Решение . Точность оценки рассчитывается по формуле , где  – коэффициент доверия. Этот коэффициент отыскивается из соотношения , где  – функция Лапласа. В данном случае , следовательно: И по таблице значений функции Лапласа  находим, что значению   соответствует аргумент . Таким образом, точность оценки: и искомый доверительный интервал: Этот интервал с вероятностью   (надёжностью) накрывает истинное генеральное значение  . Ответ: . 2)Если генеральное стандартное отклонение  не известно то доверительный интервал строится по той же формуле: , но с поправкой, что коэффициент доверия  рассчитывается с помощью распределения Стьюдента. Значение   можно найти с помощью таблицы значений распределения Стьюдента, Согласно этой таблице, доверительной вероятности  и объёму выборки  соответствует коэффициент доверия: (В стандартной таблице приводятся значения для так называемого уровня значимости  и числа степеней свободы .) Вычислим точность оценки: Таким образом, искомый доверительный интервал:  – данный интервал с вероятностью  накрывает истинное значение  измеряемой величины . Ответ:  ЗАМЕЧАНИЕ 1  Следует обратить внимание, генеральное ли нам дано отклонение  или исправленное выборочное . От этого зависит, какую формулу нужно использовать, эту: , где ,где используется таблица значений функции Лапласа или эту: , где  отыскивается с помощью распределения Стьюдента. ЗАМЕЧАНИЕ 2 При увеличении объёма выборки , распределение Стьюдента стремится к нормальному распределению, и поэтому уже при  допускается нахождение  с помощью того же соотношения . Построение доверительного интервала для оценки генеральной дисперсии и стандартного отклонения Рассмотрим пример : По   измерениям найдено исправленное среднее квадратическое отклонение . Предполагая, что результаты измерений распределены нормально, построить доверительный интервал для оценки истинного значения  (генерального стандартного отклонения) с надёжностью . Решение:  Доверительный интервал для оценки неизвестной дисперсии  нормально распределённой генеральной совокупности определяется следующим образом : , где  – распределение «хи-квадрат» , а ,  – его критические значения, вычисленные для ,  Данный интервал с вероятностью  (надёжностью) накрывает истинное значение . И если из всех частей неравенства извлечь корни, то получим соответствующий интервал для оценки генерального стандартного отклонения: Значения  известны, и осталось разобраться с нижним этажом. Во-первых, вычислим: и теперь, по таблице критических значений распределения   находим: Обратите внимание, что получены различные значения, и наш доверительный интервал будет асимметричным :  – не забываем извлечь корни из знаменателей!  – таким образом, с вероятностью  можно утверждать, что данные интервал накроет генеральное стандартное отклонение . Как видите, интервал асимметричен относительно выборочного значения , и его широкий диапазон объясним малым объёмом выборки Как и для распределения Стьюдента, при увеличении  распределение хи-квадрат стремится к нормальному, и уже при  можно использовать приближенную формулу: , где коэффициент доверия определяется из знакомого лапласовского соотношения . Проверка статистических гипотез Проверка статистической гипотезы — это процесс принятия решения о том, противоречит ли рассматриваемая статистическая гипотеза наблюдаемой выборке данных. Часто делают выборку, чтобы определить аргумен­ты против гипотезы относительно (генеральной совокупности). Этот процесс известен как проверка гипотез (проверка статистических гипотез), он представляет количественную меру аргументов про­тив определенной гипотезы. Выдвигаемую гипотезу называют нулевой и обозначают через . Обычно это наиболее очевидная и правдоподобная гипотеза (хотя это вовсе не обязательно). И в противовес к ней рассматривают альтернативную или конкурирующую гипотезу . Например, к гипотезе : генеральная средняя нормально распределённой совокупности равна ,  можно сформулировать разные конкурирующие гипотезы:  или конкретно , это зависит от условия и данных той или иной задачи. Поскольку нулевая гипотеза выдвигается на основании выборочных данных, то она может оказаться как правильной, так и неправильной – заранее неизвестно.  И поэтому она подлежит статистической проверке. Проверка осуществляется с помощью статистических критериев – это специальные случайные величины, которые принимают различные действительные значения. В разных задачах критерии разные, и мы рассмотрим их в конкретных примерах. В результате проверки нулевая гипотеза либо принимается, либо отвергается в пользу альтернативной. При этом есть риск допустить ошибки двух типов: Ошибка первого рода состоит в том, что гипотеза  будет отвергнута, хотя на самом деле она правильная. Вероятность допустить такую ошибку , т.е. максимально допускаемая исследователем вероятность ошибочного отклонения нулевой гипотезы называется уровнем значимости и обозначается буквой  («альфа»).  Ошибка второго рода состоит в том, что гипотеза  будет принята, но на самом деле она неправильная. Вероятность совершить эту ошибку обозначают буквой  («бета»). Значение  называют мощностью критерия – это вероятность отвержения неправильной гипотезы. Уровень значимости задаётся исследователем самостоятельно, наиболее часто выбирают значения . И тут возникает мысль, что чем меньше «альфа», тем вроде бы лучше. Но это только вроде: при уменьшении вероятности - отвергнуть правильную гипотезу растёт вероятность  - принять неверную гипотезу (при прочих равных условиях). Поэтому перед исследователем стоит задача грамотно подобрать соотношение вероятностей  и , при этом учитывается тяжесть последствий, которые повлекут за собой та и другая ошибки. Установлено 5 стадий при проверке гипотез: 1.Определение нулевой () и альтернативной гипотезы () при исследовании. Определение уровня значимости критерия. 2. Отбор необходимых данных из выборки. 3. Вычисление значения статистики критерия, отвечающей . 4. Вычисление критической области, проверка статистики критерия на предмет попадания в критическую область. 5 .Интерпретация достигнутого уровня значимости р и результатов.Выводы Все статистические гипотезы делятся на два вида: 1 )Гипотезы о законе распределения статистической совокупности. 2) Вторая большая группа гипотез касается числовых характеристик стат. совокупностей, закон распределения которых уже известен: – Гипотеза о генеральной средней нормального распределения – – Гипотеза о равенстве генеральных средних двух распределений  – Гипотеза о генеральной дисперсии нормального распределения; – Гипотеза о равенстве ген. дисперсий двух нормальных распределений; Определение нулевой и альтернативной гипотез, уровня статистической значимости Всегда проверяют нулевую гипотезу (), которая отвергает проверяемое утверждение (например, разница средних равняется нулю). Затем определяют альтернативную гипотезу (), которая принимается, если нулевая гипотеза неверна. Альтернативная гипотеза больше относится к той теории, которую собираются исследовать. В некоторых случаях можно использовать односторонний критерий для гипотезы , Получение статистики критерия, определение критической области Критическая область. Для принятия решения об отклонении или не отклонении нулевой гипотезы необходимо также определить критическую область проверки гипотезы. Выделяют 3 вида критических областей: двусторонняя:  Рис. 1 Двусторонняя критическая область левосторонняя:  Рис. 2 Левосторонняя критическая область правосторонняя:  Рис. 3 Правосторонняя критическая область  - заданный исследователем уровень значимости. Если наблюдаемое значение критерия (K) принадлежит критической области (Kкр, заштрихованная область на рис.1-3), гипотезу  отвергают, если не принадлежит - не отвергают. Для краткости можно записать и так: | K | > Kкр - отклоняем H0 | K | < Kкр - не отклоняем H0 Получение значения р (достигнутого уровня значимости) Все статистики критерия подчиняются известным теоретическим распределениям вероятности. Значение статистики критерия, полученное из выборки, связывают с уже известным распределением, которому она подчиняется, чтобы получить значение р, площадь обоих "хвостов" (или одного "хвоста", в случае односторонней гипотезы) распределения вероятности. Значение р — это вероятность получения вычисленного значения критерия или его еще большего значения, если нулевая гипотеза верна. Иными словами, p - это вероятность отвергнуть нулевую гипотезу при условии, что она верна. Уровень значимости (т.е. выбранная "граница отсечки") задается произвольно. На уровне 5% можно отвергнуть нулевую гипотезу, когда она верна. Если это может привести к серьезным последствиям, необходимо потребовать более веских аргументов, прежде чем отвергнуть нулевую гипотезу, например, выбрать значение  = 0,01 (или 0,001). Алгоритм проверки статистической гипотезы 1) Обработка выборочных данных и выдвижение основной  и конкурирующей  гипотез. 2) Выбор статистического критерия . Это непрерывная случайная величина, принимающая различные действительные значения. В разных задачах критерии разные. 3) Выбор уровня значимости , 4) Нахождение критического значения  – это значение случайной величины , которое зависит от выбранного уровня значимости , а также от других параметров. Критическое значение определяет критическую область. Она бывает левосторонней, правосторонней и двусторонней (красная штриховка): Критическая область – это область отвержения нулевой гипотезы. Незаштрихованную область называют областью принятия гипотезы. 5) Далее на основании выборочных данных рассчитывается наблюдаемое значение критерия: . И делается вывод : – Если  в критическую область НЕ попадает, то гипотеза  на уровне значимости  принимается. Здесь был риск с вероятностью   отвергнуть правильную гипотезу. Однако не нужно думать, что нулевая гипотеза доказана и 100% правильна, ведь существует вероятность  – вероятность совершить ошибку 2-го рода (приняли неверную гипотезу). – Если  попадает в критическую область, то гипотеза  на уровне значимости  отвергается (при этом, если, например, , то в среднем в 5 случаев из 100 мы отвергнем правильную гипотезу, т.е. совершим ошибку 1-го рода). Разберём одну из наиболее распространённых гипотез: Гипотеза о генеральной средней нормального распределения Постановка задачи такова: предполагается, что генеральная средняя  нормального распределения равна некоторому значению . Это нулевая гипотеза: Для проверки гипотезы на уровне значимости  проводится выборка объема  и рассчитывается выборочная средняя . Исходя из полученного значения и специфики той или иной задачи, можно сформулировать следующие конкурирующие гипотезы: 1)  2)  3)  4) , где  – конкретное альтернативное значение генеральной средней. При этом возможны две принципиально разные ситуации: а) если генеральная дисперсия  известна. Тогда в качестве статистического критерия  рассматривают случайную величину , где  – случайное значение выборочной средней. Почему случайное? Потому что в разных выборках мы будем получать разные значения , и заранее предугадать это значение невозможно. Далее находим критическую область. Для конкурирующих гипотез  и  (случай ) строится левосторонняя область, для гипотез  и  (случай ) – правосторонняя, и для гипотезы  – двусторонняя – т. к. конкурирующее значение генеральной средней может оказаться как больше, так и меньше -го. Чтобы найти критическую область нужно отыскать критическое значение . Оно определяется из соотношения   – для односторонней области (лево- или право-) и  – для двусторонней области, где  – выбранный уровень значимости, а  – старая знакомая функция Лапласа. Теперь на основании выборочных данных рассчитываем наблюдаемое значение критерия: это можно было сделать и раньше, но такой порядок более последователен и логичен. Результаты: 1) Для левосторонней критической области. Если , то гипотеза  на уровне значимости  принимается. Если , то отвергается. И картинки тут недавно были, просто заменю букву: 2) Правосторонняя критическая область. Если , то гипотеза  принимается, в случае  (красный        цвет) – отвергается: 3) Двусторонняя критическая область. Если  (незаштрихованный интервал), то гипотеза  принимается, в противном случае – отвергается: условие принятия гипотезы часто записывают компактно – с помощью модуля: Пример Из нормальной генеральной совокупности с известной дисперсией  извлечена выборка объёма  и по ней найдена выборочная средняя . Требуется на уровне значимости 0,01 проверить нулевую гипотезу  против конкурирующей гипотезы . Прежде чем приступить к решению, пару слов о смысле такой задачи. Есть генеральная совокупность с известной дисперсией и есть веские основания полагать, что генеральная средняя равна 20 (нулевая гипотеза). В результате выборочной проверки получена выборочная средняя 19,3, и возникает вопрос: это результат случайный или же генеральная средняя и на самом деле меньше двадцати? – в частности, равна 19 (конкурирующая гипотеза). Решение: по условию, известна генеральная дисперсия , поэтому для проверки гипотезы  используем случайную величину . Найдём критическую область. Для этого нужно найти критическое значение. Так как конкурирующее значение   меньше чем , то критическая область будет левосторонней. Критическое значение  определим из соотношения: . для уровня значимости : По таблице значений функции Лапласа  определяем, что этому значению функции соответствует аргумент . Таким образом, при  (красная критическая область) нулевая гипотеза отвергается, а при  – принимается: В данном случае . Вычислим наблюдаемое значение критерия: , поэтому на уровне значимости  нулевую гипотезу  принимаем. Ответ: на уровне значимости 0,01 нулевую гипотезу принимаем. Гипотеза о законе распределения генеральной совокупности. Критерий согласия Пирсона Итак, после разгрома двух десятков задач ставим вишенку на торт статистических гипотез, а именно разбираем важнейшую гипотезу о виде (законе) распределения и распространённые тематические примеры. Рассмотрим генеральную совокупность, распределение которой неизвестно.  Однако есть основание полагать, что она распределена по некоторому закону  (чаще всего, нормально). Это предположение может появиться как до, так и в результате статистического исследования, когда мы извлекли и изучили выборку объёма . И нам требуется на уровне значимости  проверить нулевую гипотезу  – о том, что генеральная совокупность распределена по закону против  конкурирующей гипотезы  о том, что она по нему НЕ распределена. Как проверить эту гипотезу? Постараюсь объяснить кратко. Как вы знаете, выборочные данные группируются в дискретный или интервальный вариационный ряд с вариантами   и соответствующими частотами  Поскольку эти данные взяты из практического опыта, то выборочный вариационный ряд называют эмпирическим рядом, а частоты  – эмпирическими частотами. Далее строятся графики, рассчитываются выборочные характеристики (выборочная средняя , выборочная дисперсия  и другие), словом, выполняются все те хорошие дела, которыми мы занимались на протяжении многих уроков. На основе некоторых выборочных характеристик по специальным формулам, которые зависят от проверяемого закона , строится теоретическое распределение, где для тех же вариант  рассчитываются теоретические частоты . И возникает вопрос: значимо или незначимо различие между эмпирическими  и соответствующими теоретическими  частотами? Для ответа на это вопрос рассматривают различные статистические критерии, которые называют критериями согласия, и наиболее популярный из них разработал Карл Пирсон:  При достаточно большом  (объёме выборки) распределение этой случайной величины близкО к распределению хи-квадрат с количеством степеней свободы , где  – количество оцениваемых параметров закона . …всем понятно, почему величина  случайная? – по той причине, что в разных выборках мы будем получать разные, заранее непредсказуемые эмпирические частоты. Далее строится правосторонняя критическая область: Критическое значение  можно отыскать с помощью соответствующей таблицы или Экселя (Пункт 11б). Наблюдаемое значение критерия рассчитывается по эмпирическим и найденным теоретическим частотам: Если , то на уровне значимости  нет оснований отвергать гипотезу  о том, что генеральная совокупность распределена по закону . То есть, различие между эмпирическими и теоретическими частотами незначимо и обусловлено случайными факторами (случайностью самой выборки, способом группировки данных и т.д.) Если , то нулевую гипотезу отвергаем, иными словами эмпирические и теоретические частоты отличаются значимо, и это различие вряд ли случайно. Обратите внимание на формулировку, которую я выделил жирным цветом – такая формулировка напоминает нам о том, что принятие статистической гипотезы ещё означает её истинность, поскольку существует -вероятность того, что мы приняли неправильную гипотезу (совершили ошибку второго рода). И, наконец, бараны коровы, которые нас уже заждались. Реалистичность фактических данных оставлю на совести автора методички сельскохозяйственной академии: Пример 53 По результатам выборочного исследования найдено распределение средних удоев молока в фермерском хозяйстве (литров) от одной коровы за день: На уровне значимости 0,05 проверить гипотезу о том, что генеральная совокупность (средний удой коров всей фермы) распределена нормально. Построить гистограмму частот и теоретическую кривую. …если не любите молоко, то пусть это будет чай, сок, пиво или какой-то другой напиток, который вам нравится :) Чтобы было интереснее исследовать эту волшебную ферму. Решение: на уровне значимости  проверим гипотезу  о нормальном распределении генеральной совокупности против конкурирующей гипотезы  о том, что она так НЕ распределена. Используем критерий  согласия Пирсона . Эмпирические частоты известны из предложенного интервального ряда, и осталось найти теоретические. Для этого нужно вычислить выборочную среднюю  и выборочное стандартное отклонение . Выберем в качестве вариант  середины частичных интервалов (длина каждого интервала ) и заполним расчётную таблицу: Внимание! Если вы не понимаете, как заполнять эту таблицу, или не знаете, как это сделать быстро, то обязательно обратитесь к Примеру 16, там есть все объяснения и видео! Вычислим выборочную среднюю:  литра Выборочную дисперсию вычислим по формуле: И выборочное стандартное отклонение:  литра. По причине большого объёма выборки его исправлением можно пренебречь. Теоретические частоты рассчитываются по формуле: , где  – знакомая функция Гаусса, а . Входные данные известны:   и мы заполняем ещё одну расчётную таблицу: Все вычисления удобно проводить в Экселе и на всякий случай я распишу одну строчку:  – здесь выгодно использоваться встроенную экселевскую функцию =НОРМРАСП(0,0330; 0; 1; 0), первый аргумент которой равен текущему значению . За неимением Экселя и калькулятора пользуйтесь стандартной таблицей, которая есть практически в любой книге по терверу. И, наконец, теоретическая частота: , довольно часто её округляют до целого значения, но без округления результат всё же точнее. Надеюсь, на данный момент уже все умеют протягивать (копировать) формулы по образцу, а если нет, то я всё равно научу :) Решил таки записать отдельный ролик, хотя особой технической новизны тут нет: // видео ожидается Построим гистограмму эмпирических частот и теоретическую кривую, которая проходит через точки : О технике построения гистограммы в MS Excel я рассказывал на уроке об интервальном ряде распределения, вот нужный ролик на Ютубе, и далее через правый клик к ней добавляется нормальная кривая. И перед тем, как сравнивать теоретические и эмпирические частоты, следует объединить интервалы с малыми (меньше пяти) частотами. В данном случае объединяем два первых и два последних интервала, для этого суммируем частоты, обведённые красным цветом, и получаем оранжевые результаты: Это нужно для того, чтобы сгладить неоправданно большое расхождением между малыми частотами по краям выборки. Действие не обязательное, но крайне желательное, ибо студентов на моей памяти из-за этого заставляли переделывать задание. Найдём критическое значение  критерия согласия Пирсона. Количество степеней свободы определяется по формуле , где  – количество интервалов, а  – количество оцениваемых параметров рассматриваемого закона распределения. Так как мы объединяли интервалы, то теперь их не девять, а . У нормального закона мы оцениваем  параметра. Пояснение:  – это оценка неизвестного генерального матоожидания, а  – это оценка неизвестного генерального стандартного отклонения, итого два оцениваемых параметра. Таким образом,  и для уровня значимости : Это значение можно найти по таблице критических значений распределения хи-квадрат или с помощью Калькулятора (Пункт 11б). При  нулевая гипотеза отвергается, а при  таких оснований нет: Вычислим наблюдаемое значение критерия , и для этого удобно заполнить ещё одну расчётную табличку: На всякий пожарный пример расчёта: . В нижней строке таблицы у нас получилось готовое значение , поэтому на уровне значимости 0,05 гипотезу  о нормальном распределении генеральной совокупности отвергаем. Иными словами различие между эмпирическими и теоретическими частотами статистически значимо и вряд ли объяснимо случайными факторами. Ответ: на уровне значимости 0,05 гипотезу о нормальном распределении отвергаем