Статистика

ЛЕКЦИЯ И ЗАДАНИЕ Слово «статистика» настолько широко используется в современном мире, что порой не ясно, о чем же собственно идет речь. Казалось бы, словосочетания «статистика футбольного матча» и «математическая статистика» должны иметь что-то общее, ведь и там и там речь идет о некоей статистике. Увы, это далеко не так: в первом случае речь идет о неких суммарных данных (столько-то голов забито, столько-то получено желтых и красных карточек игроками, столько-то минут добавлено арбитром в первом и во втором тайме и так далее). Во втором – о методах и приемах анализа данных применительно к данным самой разной природы. Таким образом, в первом случае речь идет о некоей форме представления данных о футбольном матче в базу данных (если, конечно, таковая существует), которые еще требуют своего дальнейшего анализа, то во втором случае речи о какой-либо базе данных вообще нет. Хорошо, когда речь идет о статистике футбольного матча – многие понимают, о чем идет речь. Когда же речь заходит, например, о «статистике туризма», то это сразу же вызывает и непонимание, и недоумение. О чем же действительно идет речь? Идет ли речь о числе отдохнувших на Кипре или же о существовании каких-то специальных методов, используемых исключительно в данной науке, именуемой «статистика туризма». Конечно, имеется и еще один вариант: «статистика туризма» - это всем хорошо известная прикладная статистика с примерами из туристического бизнеса. Если речь идет о числе отдохнувших там-то и там-то, то тогда студентам следует читать курс по формированию специфических (для данного вида бизнеса) баз данных. Если же это прикладная статистика с соответствующими примерами, то тогда студентам следует читать курс прикладной статистики с решением примеров, которые представляют интерес для развития туристического бизнеса. То, что было сказано выше о «статистике туризма», в полной мере относится и к «статистике системы здравоохранения», и к «статистике науки и инноваций», «статистике национального богатства», «статистике труда», «статистике населения» и ко всем прочим статистикам. И чтобы не было в дальнейшем путаницы, мы будем говорить только о прикладной статистике, об анализе данных, а не об их накоплении или записи в какую-либо базу данных. При этом рассматриваемые примеры будут иметь отношение к соответствующей области человеческой деятельности. Современная статистика (или, можно сказать иначе, наука, занимающаяся вопросами анализа информации, накопленной в результате наблюдений или экспериментов) обладает рядом характерных черт, которые нужно учитывать при работе с данными. Прежде всего, нужно понимать, что статистика – наука договорная. Например, считается, что для получения хорошей оценки для среднего арифметического необходимо иметь примерно десять значений случайной величины. Для оценки дисперсии – тридцать значений. Многие методы анализа данных базируются на предположении, что исходные данные распределены по нормальному закону. Считается также, что если некое событие произошло, а его вероятность меньше величины 0.05 (или 0.01, или 0.001 – выбор этой величины зависит от самого исследователя), то произошло практически невозможное событие. И это дает нам право высказать некое утверждение об имеющихся данных. Заметим, что вероятность 0.05 не такая уж и маленькая, но, тем не менее, результат, полученный с такой вероятностью, считается невозможным и противоречащим неким нашим исходным предположениям. Итак, необходимо повторить еще раз – в статистике существует ряд общепринятых договоренностей, которым необходимо следовать при обработке (анализе) исходных данных. Несколько слов о том, для чего нужна статистика. Представим себе такую ситуацию. Каждый из присутствующих закончил с отличием СПбГУСЭ, получил диплом о высшем образовании, решил заняться своим собственным бизнесом и открыл свой маленький обувной магазин. Заключил договор с поставщиком, чтобы тот каждый месяц поставлял равные по количеству партии обуви всех требуемых размеров. Что же произойдет через месяц-другой? Начнется обычное затоваривание: одних размеров обуви на складе скопятся горы, в то время как других будет хронически не хватать. В чем же дело? А все дело в том, что спрос на тот или иной вид обуви случайный (и мы не можем заранее спланировать сколько и какой именно обуви купят в тот или иной день, месяц, год…), и покупателям совсем неинтересно, сколько и какой обуви вы получаете от поставщика. Понятно, что затоваривание может обернуться огромными потерями (необходимо платить за складские помещения, воровство, насекомые-вредители, крысы и так далее). Чтобы избавиться от этого и уменьшить свои потери, вы решаете проанализировать те данные, которые скопились у вас к этому моменту времени (благо, что современные средства, кассовые аппараты позволяют сохранить всю эту информацию). Итак, по каждому виду обуви вы получаете следующую информацию: в первый день было куплено пар обуви, во второй день - пар обуви, и так далее. В последний -ый день - пар обуви. Для простоты будем считать, что дням (два месяца). За это же время (в начале каждого месяца) вы получили от поставщика пар данного вида обуви. Определение 1. Совокупность результатов экспериментов или наблюдений , ,…, называется выборкой. Величина называется объемом выборки. Вы начинаете анализировать полученную выборку по продаже данного вида обуви (понятно, что по всем другим видам обуви анализ будет проводиться по точно такой же схеме). Сразу же замечаете, что, если выполняется равенство , и при этом (), то данного вида обуви вам не хватает (и по крайней мере в самый последний день его в магазине уже не было). Если так, то при подписании нового договора с поставщиком объем поставок данного вида товара может быть увеличен (а насколько именно – это зависит, прежде всего, от скорости его потребления). Если же выполняется неравенство , то это означает, что данный вид товара не был распродан полностью. Соответственно, при заключении нового договора с поставщиком объем поставок должен быть уменьшен. А насколько же именно он должен быть уменьшен? И тут вы вспоминаете, что был некий курс статистики, где объясняли, как именно следует анализировать вот такие случайные данные, как определить происходит ли нарастание спроса на тот или иной вид товара или же, наоборот, происходит спад. А также множество других важных и полезных методов анализа данных, которые позволяют и минимизировать риск, и увеличить прибыль, и дать надежный прогноз изменения во времени важных и/или интересных показателей… В современной статистике существует огромное число разделов, предназначенных для решения различных групп задач. Из всего этого множества разделов можно выделить четыре основных или базовых раздела, без знания которых понять цели и задачи других разделов будет крайне проблематично. Первый раздел: оценки и их свойства, доверительные интервалы, проверка гипотез. Второй раздел: корреляционный анализ. Третий раздел: регрессионный анализ. И четвертый раздел: дисперсионный анализ. Рассмотрим кратко содержание первого раздела. Определение 2. Любая функция от элементов выборки называется оценкой. Самая простая оценка, с которой многие сталкивались еще в школе, - это среднее арифметическое, когда все годовые оценки, полученные школьником, складываются и делятся на число предметов: , (1) где - число школьных предметов (объем выборки), а - оценка, полученная за тот или иной учтенный предмет. Прежде, чем рассматривать другие оценки, необходимо определить те группы данных, для которых предназначены те или иные оценки. Существуют различные классификации данных, но в первом приближении можно выделить следующие три основные группы. Первую группу составляют количественные данные, для которых выполняются все арифметические операции (по крайней мере, они осмыслены). К таким данным могут быть отнесены цены на товар, объем продаж или закупок и так далее. Вторую группу составляют ранговые данные (их еще также называют категоризированные данные) – это такие данные, для которых мы можем указать отношение порядка (что-то больше чего-то), но все арифметические операции (или же их часть) в действительности лишены смысла. Пример: мы разбили всех сотрудников фирмы на две категории – 1 категория - до 50 лет, и 2 категория - после 50 лет. Понятно, что все сотрудники, которые принадлежат к первой группе, младше всех тех сотрудников, которые принадлежат ко второй группе. Но никаких оснований утверждать, что одни старше других в два раза у нас нет. В рассматриваемом примере мы не можем поделить одно число на другое (вследствие бессмысленности такой операции), но можем воспользоваться формулой (1) и найти среднее арифметическое. Оно, среднее арифметическое, в общем-то тоже лишено смысла, но допускает некую осмысленную интерпретацию: если полученное значение среднего арифметического больше 1.5, то это означает, что сотрудников второй (старшей) группы в фирме больше, чем сотрудников первой (младшей) группы. Сходная ситуация наблюдается и со школьными отметками. Тот, кто знает предмет на пять, вовсе не в два с половиной раза знает лучше того, кто знает на два. Поскольку тот, кто знает на два, предмета вообще не знает (и в этом случае надо было бы делить на ноль). И тот, кто знает на три – тоже не в полтора раза знает предмет лучше двоечника. Так что понятно, что операция деления в данном случае лишена какого-либо смысла. Среднее арифметическое еще сохраняет некий смысл, однако, далеко не в полной мере отражает способности ученика. Наконец, третью группу составляют качественные данные, для которых мы не можем указать даже отношение порядка. К таким данным могут быть отнесены цвет обуви, фасон обуви и так далее. Сейчас мы будем рассматривать только количественные данные. Однако, нужно помнить, что в современной статистике для каждого типа данных существуют свои методы и приемы анализа. Среднее арифметическое – не единственная оценка такого плана, которая позволяет как-то характеризовать имеющуюся выборку. Можно указать еще ряд аналогичных оценок, также дающих некие средние значения. Например, среднее геометрическое, определяемое следующей формулой: . (2) (Для вычисления среднего геометрического требуется перемножить все числа выборки и извлечь корень N-й степени) Здесь важно отметить, что, в отличие от среднего арифметического (1), среднее геометрическое существует не всегда. Если в выражении (2) - четное, а под корнем стоит отрицательное число, то среднего геометрического не существует (формально, конечно, оно существует, но характеризовать вещественную выборку чисто мнимым или комплексным числом нецелесообразно). Еще одной характеристикой выборки служит медиана. Определение 3. Медианой называется такое значение на действительной оси, по обе стороны от которого находится одинаковое количество элементов выборки. Пусть сначала объем выборки - четное число и все числа в выборке разные. Пусть также выборка ранжирована: . У такой выборки существуют два «средних» элемента с номерами и . Поскольку все элементы выборки разные, то любое число, находящееся между элементами выборки с номерами и удовлетворяет определению оценки медианы. На практике берут в качестве оценки среднее арифметическое этих двух элементов выборки: . Если же нечетное и все элементы выборки разные, то оценкой медианы является «средний» элемент выборки с номером : . Наконец, все вычисления оценки медианы остаются в силе и в том случае, когда в выборке есть одинаковые элементы. Но при этом важно помнить одно – если мы проводим границу так, что она совпадает с несколькими одинаковыми элементами выборки, то эти точки не относятся ни к одной, ни к другой стороне. В таком случае вполне может реализоваться ситуация, при которой медианы не существует. Например, выборка из следующих четырех элементов - , - не имеет медианы. Если мы проводим границу через точку , то слева от границы нет ни одной точки, а справа – ровно одна точка . Любая точка из открытого интервала также не может быть медианой – слева от нее будет лежать три точки (нули), а справа – только одна (точка один). Таким образом, мы не можем выбрать какое-либо значение на числовой оси, слева и справа от которого лежит одинаковое число точек выборки. Наконец, имеется еще одна характеристика выборки этого же уровня – мода. Определение 4. Для непрерывной случайной величины модой называется такое ее значение (или значения), при которой плотность достигает своего максимума (локального или глобального). Если плотность имеет один максимум (как, например, нормальное распределение), то такое распределение называется унимодальным. Если два максимума – бимодальным; в общем случае распределение может быть полимодальным. Определение 5. Для дискретной случайной величины модой называется такое значение (или значения) случайной величины, которое имеет наибольшую вероятность (при статистическом анализе выборки из значений дискретной случайной величины модой считается такое значение, которое встречается в выборке чаще других). В литературе встречается мнение, что мода в основном используется для данных третьего типа (для качественных данных; например, можно заметить, что мужские ботинки черного цвета покупают чаще, чем мужские ботинки других цветов). Однако, понятно, что мода может быть вычислена и для количественных данных. Если, например, мы имеем выборку значений дискретной случайной величины, то модой является число ; данная выборка унимодальна. Если имеем выборку , то выборка бимодальна – мода равна и , . Для непрерывной случайной величины определение моды встречает определенные трудности, связанные с тем, что фактически не существует такого метода, который бы гарантировал однозначное и правильное восстановление искомой плотности распределения случайной величины. Мы рассмотрим только один из множества существующих методов, который по своей сути является полуэмпирическим. Итак, пусть нам дана выборка , ,…, , в которой все значения – вещественные числа. Поскольку сейчас мы рассматриваем случай, когда все эти значения являются значениями непрерывной случайной величины, то вероятность того, что в выборке есть совпадающие числа, равна нулю. Идея нахождения моды проста: сначала участок прямой, где располагаются экспериментальные точки, делим на некие интервалы одинаковой длины, а потом подсчитываем число точек выборки, которые попали в каждый из таких интервалов. Средняя точка интервала, в который попало больше всего точек выборки, объявляется модой. Алгоритм построения эмпирической плотности распределения (гистограммы) состоит из следующих этапов: Сначала вычисляем размах выборки по формуле: (3) (размах выборки по определению равен разности самого большого числа и самого маленького числа в имеющейся выборке). Потом по формуле Старджеса (Starges) находим число интервалов, на которые будем «разбивать» исходную выборку: (очевидно, величина , вычисляемая по этой формуле, не является целочисленной, поэтому округляем до целого значения). Это позволяет нам найти длину интервала, поделив размах выборки (3) на количество интервалов : . Осталось решить последний вопрос – как выбрать левую границу самого первого интервала? Если мы решим этот вопрос, то сможем вычислить сразу же и правую границу первого интервала, прибавив к найденному значению (левой границы первого интервала) величину . А поскольку правая граница первого интервала является в то же время и левой границей второго интервала, то мы получаем возможность рекуррентно (последовательно) вычислить границы всех требуемых интервалов. Сразу же заметим, что правая граница последнего интервала должна быть больше величины - в этом случае мы имеем гарантию того, что все точки выборки лежат в каком-либо из построенных нами интервалов. Теперь, возвращаясь к вопросу о нахождении левой границы самого первого интервала, замечаем, что у нас есть только два ограничения: левая граница должна быть меньше величины , и, кроме этого, в первом интервале должно находиться не менее одной точки выборки. Понятно, что первый интервал, не содержащий ни одной точки выборки, не представляет для нас никакого интереса. Итак, один из вариантов выбора левой границы заключается в следующем: эта граница выбирается так, чтобы самая левая точка выборки оказалась в центре первого интервала. Таким образом, получаем следующую формулу для нахождения левой границы : . Правая граница первого интервала, очевидно, определяется по формуле: , и при этом левая граница второго интервала равна правой границе первого интервала: . Следующий шаг нахождения моды для выборки, состоящей из значений непрерывной случайной величины, состоит в следующем: мы находим число точек выборки, которые попали в разные интервалы. Если в какой-то из интервалов попало наибольшее число точек выборки, то тогда середина этого интервала объявляется модой распределения. Если же имеется несколько интервалов с одинаковым числом точек, то тогда соответствующие середины интервалов объявляются модами. Итак, повторим еще раз. Выше дано описание четырех различных оценок для числовой выборки. Среднее арифметическое (1) существует всегда. Среднее геометрическое (2) может не существовать. Медиана и мода также могут не существовать для конкретной выборки. Заметим, эти оценки иногда называют средними характеристиками выборки. Заметим также, что одними средними характеристиками охарактеризовать выборку нельзя. Вернемся к простому примеру со школьными отметками: понятно, что два ученика, один из которых всегда учился только на «хорошо» и имел оценку 4 по всем предметам, а другой учился на «три» и «пять», вполне могут иметь один и тот же средний бал. Но знания у них при этом могут быть качественно различными! Следующая группа оценок предназначена для описания разброса выборочных значений около среднего арифметического (или, иными словами, для характеристики расположения значений выборки на числовой оси). Одна из таких оценок представлена выше – это размах выборки (3), определяемый как разность максимального и минимального значений в выборке. Однако эта оценка далеко не в полной мере отражает характер расположения точек выборки на прямой, поскольку из всей выборки она вычисляется только по двум крайним значениям. Гораздо чаще для этих же целей используется выборочная дисперсия, которая определяется следующей формулой: , (4) где - среднее арифметическое, - объем выборки. Заметим, что выборочная дисперсия всегда неотрицательна (поскольку в формуле (4) складываются неотрицательные числа), и равна нулю только в одном единственном случае, когда все выборочные значения равны: . Если же это не выполняется, то выборочная дисперсия строго больше нуля. Выборочная дисперсия (4) обладает рядом свойств, которые всегда нужно иметь в виду при анализе данных. Во-первых, если метод сбора данных и/или прибор, с помощью которого производятся измерения, имеют регулярную ошибку (то есть вместо величины мы фиксируем величину , где ), то это никак не сказывается на величине дисперсии. Во-вторых, если мы меняем масштаб измерений (например, вместо грамм переходим к килограммам, вместо метров – километры, вместо копеек - рубли и так далее), иными словами, умножаем все элементы исходной выборки на некую постоянную величину , , то дисперсия выборки при этом изменяется в раз. Это последнее свойство представляется не совсем удобным и есть определенное желание, чтобы при линейном изменении элементов выборки величина, характеризующая разброс выборочных значений, также изменялась линейно. Именно поэтому во многих случаях предпочитают использовать другую величину, которая называется стандартным отклонением: . Величина стандартного отклонения изменяется линейно при линейном изменении элементов исходной выборки. Наконец, имеется еще одна важная характеристика выборки, которая называется ошибкой среднего и которая также связана с выборочной дисперсией: . (5) При подготовке отчета или научной статьи, в которых представлен анализ каких-либо данных, в качестве основных показателей, характеризующих исходную выборку, указывают именно среднее арифметическое и ошибку среднего . Пример 1. Пусть нам дана следующая выборка: 1,1,1,2,3,4,2,2,4,0, которая описывает сделанные продажи какого-либо вида обуви за 10 дней (таким образом, объем данной выборки ). Вычислим последовательно все характеристики выборки, которые были рассмотрены выше. Среднее арифметическое: , Среднее геометрическое: Мода: (именно эти числа встречаются в выборке чаще других) Медиана: не существует. Действительно, в выборке содержится четное число членов, и если бы все элементы выборки были разные, то нам надо было бы найти два «средних» элемента (пятый и шестой в упорядоченной по возрастанию или убыванию выборке) и вычислить для них среднее арифметическое. Однако, в рассматриваемом случае эти два «средних» элемента равны 2. Поэтому и среднее арифметическое для них также равно двум. Но проводя медиану через число 2, мы получаем, что «слева» от этого числа 2 мы имеем 4 точки выборки (0,1,1,1), а «справа» - три точки выборки (3,4,4). Поэтому поделить выборку пополам никак не удается в нашем случае. Размах: Выборочная дисперсия: Стандартное отклонение: Ошибка среднего: Рассмотрим следующую ситуацию. Для своего магазинчика обуви вы проводите расчет среднего объема продаж в день какого-либо вида обуви. Собрали данные за первый месяц и получили некое число. Потом собрали данные за второй месяц и снова подсчитали средний объем продаж в день – получилось некое новое число, не равное среднему числу продаж за предыдущий месяц. Провели расчеты для данных за третий месяц – и снова некое новое число. Почему же так происходит? Дело в том, что расчет среднего (арифметического) значения производится каждый раз для каких-то случайных чисел. Поэтому и результат расчетов – среднее арифметическое, - тоже случайное число (но только с другим распределением, не совпадающим с распределением элементов выборки). Вот если бы мы могли продавать обувь бесконечное время, а потом полученные данные использовать для определения среднего… Тогда бы мы, конечно, нашли истинное значение среднего объема продаж… А что это такое – истинное значение среднего объема продаж обуви в день? Для того, чтобы это выяснить, рассмотрим несколько иную ситуацию. Пусть нам дан детский игральный кубик с шестью гранями. При каждом бросании этого кубика в результате мы получаем целое число от 1 до 6. Когда кубик правильный и каждое такое число появляется с вероятностью 1/6, то тогда математическое ожидание (среднее значение) равно 3.5. Однако, если мы будем бросать кубик по 100 раз, а потом подсчитывать среднее арифметическое, то мы будем получать числа близкие к 3.5 (а иногда и весьма далекие от этого значения), но не равные этой величине. Вот если мы будем делать достаточно большое число бросаний кубика, то результат будет все ближе и ближе к данной величине. Это хорошо для игрального кубика – мы заранее знаем теоретический результат. А в случае с продажами обуви мы, конечно, знаем, что такое истинное значение среднего существует, но каково оно – нам не известно. Для того, чтобы как-то оценить истинное значение среднего арифметического, используют доверительный интервал. Определение 6. Доверительным интервалом называется такой конечный или бесконечный отрезок прямой, в котором истинное значение среднего арифметического находится с некоторой заданной вероятностью. Вероятность (стандартные значения для : 0.999, 0.99, 0.95), с которой истинное значение находится в интервале, называется доверительной вероятностью. Величина называется уровнем значимости и, по своей сути, является вероятностью ошибки – с вероятностью истинное значение среднего находится вне доверительного интервала. К этому определению необходимо сделать некоторые замечания. Во-первых, когда по выборке мы начинаем строить доверительный интервал (вычислять его границы), то всегда должны помнить, что выбор доверительной вероятности – это исключительно прерогатива исследователя. Мы сами должны задать эту вероятность. Во-вторых, если мы захотим построить доверительный интервал для , то мы это и так знаем и выборка нам в этом случае совсем не нужна – такой доверительный интервал совпадает со всей действительной осью. И получаемый при этом результат нам также заранее известен – где-то на действительной оси находится истинное значение среднего. В-третьих, большей доверительной вероятности соответствует и больший доверительный интервал. На чем основан выбор доверительной вероятности? Вопрос достаточно сложный, каждый исследователь решает его сам, и каких-то общепринятых рецептов для выбора этой вероятности не существует. Существуют общепринятые стандартные значения, указанные выше; выбирая одну из этих вероятностей, мы заранее считаем, что вероятность ошибки (уровень значимости) при нашем выборе крайне мала. Но что именно такое «крайне мала» или «крайне велика» та или иная вероятность? Если охотник стреляет в цель и промахивается с вероятностью 0.05 (соответственно, попадает в цель с вероятностью 0.95), то многие скажут, что это – очень хороший результат и вероятность 0.05 мала. Если же у парашютиста парашют не раскрывается с вероятностью 0.05, то все скажут, что это – огромная вероятность. Поэтому можно дать лишь один совет. Если по тем или иным причинам выбрана величина доверительной вероятности, то все исследование должно быть проведено с использованием выбранного значения. Итак, пусть нам дана выборка , ,…, . Для этой выборки вычисляем среднее арифметическое по формуле (1) и ошибку среднего по формуле (5). Теперь у нас есть возможность построить симметричный доверительный интервал, границы которого определяются следующими соотношениями: левая граница равна , правая граница равна . В этих соотношениях присутствует некое выражение , которое зависит от двух показателей: - числа степеней свободы (в данном случае – объем выборки минус 1), и - уровня значимости. Для величины (распределение Стьюдента) созданы специальные таблицы, которые организованы следующим образом. Сверху над каждой колонкой чисел в таблице указан уровень значимости, а рядом с каждой строкой таблицы – число степеней свободы. Соответственно, для каждого значения и в таблице находим ровно одно число, которое и необходимо использовать для нахождения границ доверительного интервала. Продолжение примера 1. Поскольку в примере 1 объем выборки , то, соответственно, число степеней свободы равно 9. Выбираем уровень значимости равным 0.05. По таблице находим, что искомая величина в данном случае (при имеющихся и выбранных показателях) равна 2.26. Таким образом, имеем: , . * * * Контрольная работа 1. В Интернете или по справочной литературе найти данные (не менее 50 значений) по значениям какой-либо случайной величины. Это может быть изменение курса рубля по отношению к доллару (по дням, или по неделям, или по месяцам…). Это может быть изменение цен на какой-либо продукт; это может быть число выехавших туристов (по месяцам) в ту или иную страну; это могут быть примеры данных, связанных с деятельностью Вашей компании, и так далее. 2. Для найденных данных произвести вычисления - среднего арифметического, - среднего геометрического, - моды и - медианы; - кроме этого, вычислить для этих же данных значения размаха выборки, - выборочной дисперсии, - стандартного отклонения, - ошибки среднего; - полученные результаты вычислений и значения из таблицы для распределения использовать для нахождения границ доверительного интервала для среднего арифметического. 3. Из этих первичных данных построить гистограмму и полигон. 4. На примере данных о результатах экономической деятельности фирмы, в которой Вы работаете, (стоимости продукции, работ и услуг) за отчетный и предыдущий периоды; или данных, полученных из интернета или по справочной литературе, рассчитайте индексы стоимости, цен (тарифов) и физического объема, агрегатные и средние индексы.