Прикладная эконометрика Обработка статистических данных, построение гистограмм

Прикладная эконометрика│ Обработка статистических данных, гистограммы Прикладная эконометрика Обработка статистических данных, построение гистограмм Подготовил: Аскольд Подвезько, дэн Прикладная эконометрика│ Обработка статистических данных, гистограммы Цели Категоризация методов, используемых в экономике (количественные, качественные) Различия между методами эконометрики и методами операционного исчисления Нахождение параметров популяции Построение гистограммы и распределения Нахождение основных параметров по имеющейся гистограмме и функции распределения и их различия Подготовил: Аскольд Подвезько, дэн 2 Прикладная эконометрика│ Обработка статистических данных, гистограммы Обработка данных с помощью методов научного исследования Обработка данных с помощью методов научного исследования • Вопрос о затраченном решается с помощью времени - моделей и • Вопрос о денежных - компьютеров затратах • Вопрос о надежности результатов • Вопрос о проверке правильности результатов Подготовил: Аскольд Подвезько, дэн 3 Прикладная эконометрика│ Обработка статистических данных, гистограммы уровни познания 4 уровня познания • • • • Мудрость Знания Информация Данные MCDA и эконометрика позволяют достигнуть высшего уровня Подготовил: Аскольд Подвезько, дэн 4 Прикладная эконометрика│ Обработка статистических данных, гистограммы уровни познания 4 уровня познания • Мудрость • Знания • Информация • Данные MCDA и эконометрика позволяют достигнуть высшего уровня, потому что: + Цель = + Понимание = + Значение = + Контекст = http://www.pursuant.com/blog/redefining-fundraising-data/ Подготовил: Аскольд Подвезько, дэн 5 Прикладная эконометрика│ Обработка статистических данных, гистограммы 4 уровня познания: • • Мудрость • Знания Информация • Данные уровни познания Эконометрика • MCDA результаты требует усилий для того, интерпретировать чтобы «отойти» от прошлого легко потому что сложно интерпретировать+ Цель = результаты БУДУЩЕЕ ПРОШЛОЕ + Понимание = + Значение = + Контекст = http://www.pursuant.com/blog/redefining-fundraising-data/ Подготовил: Аскольд Подвезько, дэн 6 Прикладная эконометрика│ Обработка статистических данных, гистограммы уровни познания Перфокарта (punchard) для табуляторной машины Hollerith, 1890 - машина позволяля только суммировать данные Фирма “The Hollerith Electric Tabulating System” вместе с 3 другими фирмами основали IBM в 1924 Подготовил: Аскольд Подвезько, дэн Прикладная эконометрика│ Обработка статистических данных, гистограммы Обработка данных с Примеры “информативных данных” помощью методов научного исследования • Статистические данные о коммерческих банках Литвы AB DnB UAB AB AB AB NORD Medicinos Parex SEB bankas bankas bankas bankas bankas SNORAS AB Swedbank AB AB Šiaulių Ūkio bankas bankas CAMEL Criteria Capital CAPITAL 6.39 10.29 10.14 7.31 6.43 11.29 9.26 8.05 NII 2.58 2.77 2.17 2.09 0.08 3.15 1.52 0.80 TL 86.36 66.17 87.00 71.10 53.18 76.60 80.05 71.82 DELINQ 3.36 3.02 5.56 2.94 7.66 6.45 0.95 5.51 LD 4.77 1.88 4.33 6.45 1.39 5.52 2.08 2.12 M-gement NIC 24.33 30.95 52.82 29.61 27.66 27.61 22.15 32.25 PPP 2.47 1.98 -0.75 1.25 1.95 3.16 0.78 0.08 NI -3.93 0.05 -7.77 -10.60 0.18 -9.11 -1.67 -2.08 DEP 33.10 113.31 41.55 56.57 148.07 84.11 92.74 110.93 LIQ 37.61 55.31 40.74 60.31 41.26 45.50 34.61 50.86 Assets Earnings Liquidity Подготовил: Аскольд Подвезько, дэн 8 Прикладная эконометрика│ Обработка статистических данных, гистограммы Обработка данных с помощью методов научного исследования Примеры “информативных данных” • продажи за 4-х недельный срок … видно только, что от 8 до 22 в день. Подготовил: Аскольд Подвезько, дэн 9 Прикладная эконометрика│ Обработка статистических данных, гистограммы Обработка данных с помощью методов научного исследования Ежечасно за последние 65 часов “информативные данные” СТАТИСТИКА ПО ИЗГОТОВЛЕННЫМ БОЛТАМ … от 100 до 298 болтов в час Длина в выборке из 80 болтов Длина от 30.0 мм до 84.1 мм Подготовил: Аскольд Подвезько, дэн Прикладная эконометрика│ Обработка статистических данных, гистограммы Обработка данных с помощью методов научного исследования Примеры “информативных данных” • ВВП Литвы, World Bank Statistics 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 7.90E 8.43E 1.01E 1.13E 1.10E 1.14E 1.22E 1.42E 1.86E 2.27E +09 +09 +10 +10 +10 +10 +10 +10 +10 +10 2005 2006 2007 2008 2009 2010 2011 2012 2013 2.61E 3.02E 3.93E 4.74E 3.71E 3.67E 4.31E 4.23E 4.59E +10 +10 +10 +10 +10 +10 +10 +10 +10 Подготовил: Аскольд Подвезько, дэн 11 Прикладная эконометрика│ Обработка статистических данных, гистограммы Обработка данных с “информативные данные” помощью методов научного исследования • Количество товара в штуках, приобретенное за день Подготовил: Аскольд Подвезько, дэн 12 Прикладная эконометрика│ Обработка статистических данных, гистограммы Обработка данных с помощью методов научного исследования Рассматриваются различные типы данных Можем ли мы установить по данным - какой метод обработки использовать? - на каком уровне познания окажемся при этом? вопрос • Нам нужен “статистический автомобиль” или “мой, особенный автомобиль”? • Нас интересует “статистическая еда” или “наша любимая еда”? Подготовил: Аскольд Подвезько, дэн 13 Прикладная эконометрика│ Обработка статистических данных, гистограммы Необходимость использования проверенных методов Результат от неправильного использования методов Результат от неосознанного отказа использования методов Vasa корабль. Подготовил: Аскольд Подвезько, дэн 14 Прикладная эконометрика│ Обработка статистических данных, гистограммы табуляция данных Метод табуляции позволяет устанавливать частоты событий Чтобы найти количество интервалов, можно приблизительно найти длину интервала h, где r – размер выборки. Подготовил: Аскольд Подвезько, дэн В 1786 William Playfair (1759-1823) предложил идею графического представления данных в статистике: в виде линейной диаграммы и гистограммы, что он воплотил в свои работы по экономике 15 Прикладная эконометрика│ Обработка статистических данных, гистограммы табуляция данных Что можно делать после табуляции • создать отчет • построить диаграммы • построить стохастическую модель Подготовил: Аскольд Подвезько, дэн 16 Прикладная эконометрика│ Обработка статистических данных, гистограммы табуляция данных Что можно делать после табуляции • создать отчет Подготовил: Аскольд Подвезько, дэн 17 Прикладная эконометрика│ Обработка статистических данных, гистограммы • создать диаграммы (после табуляции) табуляция данных 52 69 9 <20 61 20-40 135 148 160 148 135 40-60 60-80 140 80-100 120 100-120 100 >120 80 61 60 52 40 20 9 6 9 100-120 >120 <20 20-40 40-60 60-80 80-100 Подготовил: Аскольд Подвезько, дэн где здесь - категории? - объекты? 18 Прикладная эконометрика│ Обработка статистических данных, гистограммы табуляция данных Что можно делать после табуляции • построить стохастическую модель (использовать диаграмму для построения походящего вероятностного распределения) что нужно 148 135 сделать, чтобы использовать гистограмму, 61 52 как 9 9 6 вероятностное распределение?19 Подготовил: Аскольд Подвезько, дэн 160 140 120 100 80 60 40 20 <20 20-40 40-60 60-80 80-100 100-120 >120 Прикладная эконометрика│ Обработка статистических данных, гистограммы Модель сэра Френсис Галтон- эксперимент В ХIX веке сэр Френсис Галтон, один из родоначальников теории статистики, изобрел механическое приспособление, иллюстрирующее кривую нормального распределения. Она появляется при естественном наличии и комбинации большого количества независимых событий и воздействий (факторов) Подготовил: Аскольд Подвезько, дэн 20 Прикладная эконометрика│ Обработка статистических данных, гистограммы Модель сэра Френсис Галтон- эксперимент Что означает «построить статистическую модель»? Представленная модель отражает реальность. На анимации видно, как биномиальное распределение постепенно переходит в нормальное распределение (Центральная предельная теорема) Подготовил: Аскольд Подвезько, дэн 21 Прикладная эконометрика│ Обработка статистических данных, гистограммы Модель сэра Френсис Галтон- эксперимент - Аппроксимация теоремы МуавраЛапласа. - Впервые нормальное распределение упоминается в книге Абрама Муавра «Доктрина вероятностей», 1738 Подготовил: Аскольд Подвезько, дэн 22 Прикладная эконометрика│ Обработка статистических данных, гистограммы Модель сэра Френсис Галтон- эксперимент Биномиальное распределение стремится к нормальному распределению: Функция нормального распределения n Подготовил: Аскольд Подвезько, дэн 23 Прикладная эконометрика│ Обработка статистических данных, гистограммы Реальное распределение оценок студентов Подготовил: Аскольд Подвезько, дэн 24 Прикладная эконометрика│ Обработка статистических данных, гистограммы Распределение роста женщин и мужчин в США ПАРАМЕТРЫ: • Средний рост мужчин: 69.3 Среднеквадр. отклонение: 2.8 • Средний рост женщин: 64 in. Среднеквадр. Подготовил: Аскольд Подвезько, дэн отклонение : 2.8 Прикладная эконометрика│ Обработка статистических данных, гистограммы количественные методы BESM 6, 1967 (БЭСМ 6) Minsk 32, 1968 Подготовил: Аскольд Подвезько, дэн Прикладная эконометрика│ Обработка статистических данных, гистограммы количественные методы • Analysis of socio-economic, socio-political, financial data by experienced experts • MCDA, operational research methods • Methods of econometrics • Statistical (Bayes) analysis • Decision trees • Cost/profit analysis • Present value analysis • Internal rate of return of capital • Optimisation Подготовил: Аскольд Подвезько, дэн Прикладная эконометрика│ Обработка статистических данных, гистограммы статистические методы Статистические эконометрические методы НЕ позволяют получить надежные результаты в случаях когда данные не идеальные В таких случаях важно мнение эксперта (ЛПР). Мнение и предпочтения ЛПР имеют решающее значение, когда: • данные распределены не по симметричному нормальному распределению; • имеется корреляция (взаимосвязь )в данных; • малое количество оцениваемых объектов; • нестабильность в данных; • данные отсутствуют • когда Вы хотите не «среднестатистический» автомобиль и не «среднестатистическое» блюдо? Подготовил: Аскольд Подвезько, дэн Прикладная эконометрика│ Обработка статистических данных, гистограммы количественные методы • Предлагаются проверенные как временем, так и математически методы количественной оценки • Мы должны научится правильно ими пользоваться И знать их ограничения и минусы Подготовил: Аскольд Подвезько, дэн Прикладная эконометрика│ Обработка статистических данных, гистограммы акцент на проверенные методи и правильность использования А если неверно использовать методы, их глубоко не зная? Лучше избегать ошибок, связанных с затонувшим кораблем Ваза у Стокгольма в 1628 г. Подготовил: Аскольд Подвезько, дэн 30 Прикладная эконометрика│ Обработка статистических данных, гистограммы введение в вероятностный подход не находящиеся под контролем данные (факторы) (напр. окружающей среды) Находящиеся под контролем данные (принятия решений) Математическая модель давление на стенку измерено точно, если известны m и v каждой молекулы Результат Какого типа данные использует стохастическая модель ? + Какого типа значения этих данных ? Подготовил: Аскольд Подвезько, дэн 31 Прикладная эконометрика│ Обработка статистических данных, гистограммы Количественные методы • - - Количественные методы эконометрики часто не предлагают надежных прогнозов, т.к.: они основываются только на данных не любая информация может быть количественной данные из прошлого могут не иметь предполагаемого влияния, как в используемой модели Подготовил: Аскольд Подвезько, дэн Прикладная эконометрика│ Обработка статистических данных, гистограммы частоты считаем вручную Получение гистограмм В 1786 William Playfair (17591823) предложил идею графического представления данных в статистике гистограммы связь с теорией вероятности Подготовил: Аскольд Подвезько, дэн 33 Прикладная эконометрика│ Обработка статистических данных, гистограммы Получение гистограмм Пример “информативных данных” СТАТИСТИКА ПО ИЗГОТОВЛЕННЫМ БОЛТАМ Длина от 30.0 мм до 84.1 мм Подготовил: Аскольд Подвезько, дэн Ежечасно за последние 65 часов … от 100 до 298 болтов за час Длина выборки из 80 болтов Прикладная эконометрика│ Обработка статистических данных, гистограммы Получение гистограмм: частоты Интервал Частота Подготовил: Аскольд Подвезько, дэн Относительная частота 35 Прикладная эконометрика│ Обработка статистических данных, гистограммы Получение гистограмм: частоты Советы для Excel Интервал, мм Частота Относительная частота - правые границы интервалов – открытые, чтобы по 2 раза не учитывать тот же объект Подготовил: Аскольд Подвезько, дэн • Все данные – в один столбец • Сортировка min->max • Разбивка на интервалы длиной h, напр. по формуле • Подсчитываем кол-во объектов в каждом интервале r – размер выборки (у нас 65) 36 184 Прикладная эконометрика│ Обработка статистических данных, гистограммы Получение гистограмм: частоты 223 Советы для Excel • Все данные – в один столбец • Сортировка min-max • Хmin, Хmax • Подсчитываем колво объектов в каждом интервале Подготовил: Аскольд Подвезько, дэн 100 112 117 119 124 125 127 127 136 138 139 139 … 254 267 296 298 169 177 296 165 230 250 156 119 181 237 188 183 136 124 174 189 223 230 … 37 Прикладная эконометрика│ Обработка статистических данных, гистограммы Свойства гистограмм • шкала Х непрерывная -> не отдельные столбцы • площадь каждого столбца имеет значение - какое? • конец интервала не входит в начало следующего Получение гистограммы Интервал, мм Частота Относительная частота Интервалы обозначаются: [30;35) [35;40) [40;45) … длина болта Подготовил: Аскольд Подвезько, дэн 38 Прикладная эконометрика│ Обработка статистических данных, гистограммы • площадь каждого столбца имеет значение Если частоты малые, то они объединяются, чтобы площадь в интервале-классе была более значимой (минимум 3 частоты в классе) Получение гистограммы какая частота в классе “>65mm” ? В какой класс зачисляется болт 45mm ? длина болта Подготовил: Аскольд Подвезько, дэн 39 Прикладная эконометрика│ Обработка статистических данных, гистограммы красным выделен отсортированный столбец Получение гистограммы 46.4 43.8 49.9 30 52.2 44.1 55.7 30.2 70.2 44.5 64.1 30.6 46.3 44.6 46.8 33.3 52.1 44.7 47.5 35.5 49 45 52 35.7 41.7 45.1 30 35.9 45.8 45.1 42.1 36.3 52.5 45.8 42.9 36.8 45.1 45.9 53.8 36.8 33.3 46.1 52.7 37.8 35.5 46.2 35.9 40.5 42.4 46.3 46.5 41.3 53 46.3 46.3 41.7 49.9 46.4 36.8 42.1 35.7 46.5 47 42.4 51.2 46.8 51.2 42.7 58.8 47 61.1 42.9 30.6 47.5 61.3 42.9 42.9 47.7 68.7 43 Подготовил: Аскольд Подвезько, дэн 56.7 30.2 46.1 54.4 45 44.5 37.8 45.9 47.7 56 49.5 50.5 53.2 59.2 55.3 44.1 54.8 46.2 56.5 36.3 49 49.3 49.5 49.5 49.7 49.9 49.9 49.9 50.5 50.9 51.2 51.2 51.4 52 52.1 52.2 52.5 52.7 53 53.2 56 43 60.6 51.4 49.9 54 40.5 49.5 44.6 50.9 41.3 44.7 84.1 43.8 49.3 36.8 57.5 45.1 42.7 49.7 53.8 54 54.4 54.8 55.3 55.7 56 56 56.5 56.7 57.5 58.8 59.2 60.6 61.1 61.3 64.1 68.7 70.2 84.1 интервалы: [30;35) [35;40) [40;45) … 40 Прикладная эконометрика│ Обработка статистических данных, гистограммы Получение статистических данных из распределения и функции распределения НУЖНО: для наших данный или процесса найти подходящее распределение, потому что • оно описывает данные • может быть использовано для прогнозирования • может быть использовано в эконометрических моделях Распределение и функция распределения (кумулятивная диаграмма частот) (кумулятивная) функция распределения Подготовил: Аскольд Подвезько, дэн распределение 41 Прикладная эконометрика│ Обработка статистических данных, гистограммы Получение статистических данных из распределения и функции распределения Имея функцию распределения легко найти - медиану - количество болтов в интервале, напр. сколько болтов [50mm; 63mm] (в процентах) ? 92 60 50 медиана, Подготовил: Аскольд Подвезько, дэн 63 соответствует частоте 50% 42 Прикладная эконометрика│ Обработка статистических данных, гистограммы обзор теории статистики Можем строить на базе - табуляции (разделения на интервалы обычно одинакового размера) - таблицы с частотами используя советы для Excel ЗАЧЕМ? ЧТОБЫ ОПИСАТЬ ДАННЫЕ С ПОМОЩЬЮ 1-2 ПАРАМЕТРОВ (КАКИХ?) 43 Подготовил: Аскольд Подвезько, дэн 4 уровня познания Прикладная эконометрика│ Обработка статистических данных, гистограммы • Мудрость обработка данных с помощью эконометрики • Знания • Информация • Данные ЕСЛИ данные подходящие, эконометрика предлагает различные методы, использующие вероятностное распределение. Эконометрические методы : • Проверка гипотез • Доверительные интервалы • Нахождение вероятностей • Нахождение параметров регрессии • …другие… В ОСНОВНОМ, МЕТОДЫ ПРЕДНАЗНАЧЕНЫ, ЧТОБЫ АДЕКВАТНО ОТРАЗИТЬ ПРОШЛОЕ, НО НЕБОЛЬШОЕ КОЛИЧЕСТВО СПЕЦИАЛИСТОВ МОЖЕТ ИХ ИСПОЛЬЗОВАТЬ ДЛЯ ПРИНЯТИЯ РЕШЕНИЙ И ДЛЯ ТОГО, ЧТОБЫ ВЛИЯТЬ НА БУДУЩЕЕ Подготовил: Аскольд Подвезько, дэн 44 Прикладная эконометрика│ Обработка статистических данных, гистограммы обзор теории статистики Обзор теории статистики 1. Вероятностная методика для нахождения статистических параметров 2. Нахождение требуемых величин 3. Доверительные интервалы 4. Проверка гипотез a) b) c) d) Вероятностная методика для нахождения статистических параметров Параметры популяции. Популяция, стохастическая переменная, математическое ожидание, распределение. Параметр рассеяния. Дисперсия, среднеквадратическое отклонение… Параметры формы распределения. Моменты. Ковариация, корреляция, регрессия. Подготовил: Аскольд Подвезько, дэн 45 Прикладная эконометрика│ Обработка статистических данных, гистограммы Вычисление параметров популяции a) Параметры популяции. Арифметическое среднее = мат.ожидание E[Y] (если все события-объекты равновероятностны) • В формулу входят ВСЕ события-объекты • На мат.ожидание влияют удаленные, экстремальные значения Медиана (квартили, децили, quartiles, deciles, процентили) • Среднее значение в отсортированном списке (напр., по возрастающей) • На значение медианы НЕ влияют удаленные, экстремальные значения, поэтому она наиболее подходит для информации о зарплатах Мода • Наиболее часто встречающийся объект или его параметр • Может быть нестабильна Подготовил: Аскольд Подвезько, дэн 46 Прикладная эконометрика│ Обработка статистических данных, гистограммы Вычисление параметров популяции Зачем нужны параметры популяции? „Median Annual Pay by College Major“ http://www.payscale.com/college-salaryreport/common-jobs-for-majors Подготовил: Аскольд Подвезько, дэн 47 Прикладная эконометрика│ Обработка статистических данных, гистограммы Вычисление параметров популяции Среднее количества голов у человека = 1.00...001 В этом случае, объект (человек) лучше описывается: Модой • Наиболее часто встречающийся случай Медианой • Среднее значение в отсортированном списке Подготовил: Аскольд Подвезько, дэн 48 Прикладная эконометрика│ Обработка статистических данных, гистограммы Методы получения вероятностей Методы требуют установить вероятности Классический метод Вероятности задаются, следуя принципу, что события-объекты равновероятностны Метод относительных вероятностей Вероятности задаются, следуя результатам экспериментов или накопленных значений из прошлого Субъективный метод Вероятности задаются (меняются) следуя мнению ЛПР Подготовил: Аскольд Подвезько, дэн Прикладная эконометрика│ Обработка статистических данных, гистограммы Классический метод Методы получения вероятностей Вероятности задаются, следуя принципу, что события-объекты равновероятностны  Пример с игральной костью Если в эксперименте n равновероятностных исходов, следуя классическому методу каждому исходу задается вероятность 1/n Эксперимент: бросается игральная кость Множество исходов: S = {1, 2, 3, 4, 5, 6} Вероятности: Каждому событию (выпавшая цифра) начисляется вероятность 1/6 Подготовил: Аскольд Подвезько, дэн 50 Прикладная эконометрика│ Обработка статистических данных, гистограммы получение вероятностей суммы цифр на 2-х брошенных костях 1 кость 2 кость СУММА 1 1 2 1 2 3 1 3 4 1 4 5 1 5 6 1 6 7 2 1 3 2 2 4 2 3 5 2 4 6 2 5 7 2 6 8 1 кость 2 кость СУММА 3 1 4 3 2 5 3 3 6 3 4 7 3 5 8 3 6 9 4 1 5 4 2 6 4 3 7 4 4 8 4 5 9 4 6 10 1 кость 2 кость СУММА 5 1 6 5 2 7 5 3 8 5 4 9 5 5 10 5 6 11 6 1 7 6 2 8 6 3 9 6 4 10 6 5 11 6 6 12 Подготовил: Аскольд Подвезько, дэн Прикладная эконометрика│ Обработка статистических данных, гистограммы Метод относительных вероятностей Методы получения вероятностей  Пример: фирма проката Владелец фирмы проката хотел бы узнать вероятности количества востребованных инструментов за день. За 40 дней получены следующие данные Количество востребованных Количество ДНЕЙ инструментов 4 1 6 2 18 3 10 4 2 Подготовил: Аскольд Подвезько, дэн ! Обычно получаем: (что это?) Прикладная эконометрика│ Обработка статистических данных, гистограммы Методы получения вероятностей Метод относительных вероятностей  Пример: фирма проката Вероятность получается путем разделения ЧАСТОТЫ (кол-ва дней) на все количество дней (40) Количество Количество востребованных ДНЕЙ вероятность инструментов .10 4 .15 6 1 .45 4/40 18 2 .25 10 3 .05 2 4 1.00 40 Подготовил: Аскольд Подвезько, дэн Прикладная эконометрика│ Обработка статистических данных, гистограммы формула для получения мат. ожидания Определение E(X), мат. ожидание X: n E ( X )  x1 p1  ...  xn pn   xi pi i 1 • Если все события равновероятны, берется среднее арифметическое Веса в сумме взвешенного среднего – вероятности. Сумма всех вероятностей всегда равна единице Подготовил: Аскольд Подвезько, дэн Прикладная эконометрика│ Обработка статистических данных, гистограммы xi x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 x11 pi p1 p2 p3 p4 p5 p6 p7 p8 p9 p10 p11 xi pi x1 p1 x2 p2 x3 p3 x4 p4 x5 p5 x6 p6 x7 p7 x8 p8 x9 p9 x10 p10 x11 p11 S xi pi = E(X) формула мат. x для получения p x pожидания i i i i 2 1/36 2/36 3 2/36 6/36 4 3/36 12/36 5 4/36 20/36 6 5/36 30/36 7 6/36 42/36 8 5/36 40/36 9 4/36 36/36 10 3/36 30/36 11 2/36 22/36 12 1/36 12/36 Выписываются все возможные значения стохастической переменной Х Подготовил: Аскольд Подвезько, дэн Прикладная эконометрика│ Обработка статистических данных, гистограммы xi x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 x11 pi p1 p2 p3 p4 p5 p6 p7 p8 p9 p10 p11 xi pi x1 p1 x2 p2 x3 p3 x4 p4 x5 p5 x6 p6 x7 p7 x8 p8 x9 p9 x10 p10 x11 p11 S xi pi = E(X) формула мат. x для получения p x pожидания i i i 2 1/36 2/36 3 2/36 6/36 4 3/36 12/36 5 4/36 20/36 6 5/36 30/36 7 6/36 42/36 8 5/36 40/36 9 4/36 36/36 10 3/36 30/36 11 2/36 22/36 12 1/36 12/36 Выписываются все вероятности для всех возможных значений Х Подготовил: Аскольд Подвезько, дэн i Прикладная эконометрика│ Обработка статистических данных, гистограммы xi x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 x11 pi p1 p2 p3 p4 p5 p6 p7 p8 p9 p10 p11 xi pi x1 p1 x2 p2 x3 p3 x4 p4 x5 p5 x6 p6 x7 p7 x8 p8 x9 p9 x10 p10 x11 p11 S xi pi = E(X) формула мат. x для получения p x pожидания i i i i 2 1/36 2/36 3 2/36 6/36 4 3/36 12/36 5 4/36 20/36 6 5/36 30/36 7 6/36 42/36 8 5/36 40/36 9 4/36 36/36 10 3/36 30/36 11 2/36 22/36 12 1/36 12/36 Вероятности перемножаются с «нашими» 11 значениями, взятыми из конкретного эксперимента с 2 костями Подготовил: Аскольд Подвезько, дэн 7 Прикладная эконометрика│ Обработка статистических данных, гистограммы xi x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 x11 pi p1 p2 p3 p4 p5 p6 p7 p8 p9 p10 p11 xi pi x1 p1 x2 p2 x3 p3 x4 p4 x5 p5 x6 p6 x7 p7 x8 p8 x9 p9 x10 p10 x11 p11 S xi pi = E(X) формула мат. x для получения p x pожидания i i i i 2 1/36 2/36 3 2/36 6/36 4 3/36 12/36 5 4/36 20/36 6 5/36 30/36 7 6/36 42/36 8 5/36 40/36 9 4/36 36/36 10 3/36 30/36 11 2/36 22/36 12 1/36 12/36 Получаем мат. ожидание Подготовил: Аскольд Подвезько, дэн 8 Прикладная эконометрика│ Обработка статистических данных, гистограммы формула для получения мат. ожидания xi x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 x11 pi p1 p2 p3 p4 p5 p6 p7 p8 p9 p10 p11 xi pi x1 p1 x2 p2 x3 p3 x4 p4 x5 p5 x6 p6 x7 p7 x8 p8 x9 p9 x10 p10 x11 p11 S xi pi = E(X) xi pi xi pi 2 1/36 2/36 3 2/36 6/36 4 3/36 12/36 5 4/36 20/36 6 5/36 30/36 7 6/36 42/36 8 5/36 40/36 9 4/36 36/36 10 3/36 30/36 11 2/36 22/36 12 1/36 12/36 Конкретно в нашем случае Подготовил: Аскольд Подвезько, дэн 9 Прикладная эконометрика│ Обработка статистических данных, гистограммы формула для получения мат. ожидания xi x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 x11 pi p1 p2 p3 p4 p5 p6 p7 p8 p9 p10 p11 xi pi x1 p1 x2 p2 x3 p3 x4 p4 x5 p5 x6 p6 x7 p7 x8 p8 x9 p9 x10 p10 x11 p11 S xi pi = E(X) xi pi xi pi 2 1/36 2/36 3 2/36 6/36 4 3/36 12/36 5 4/36 20/36 6 5/36 30/36 7 6/36 42/36 8 5/36 40/36 9 4/36 36/36 10 3/36 30/36 11 2/36 22/36 12 1/36 12/36 X может принять значение 2 с вероятностью 1/36; перемножаем. Подготовил: Аскольд Подвезько, дэн 10 Прикладная эконометрика│ Обработка статистических данных, гистограммы формула для получения мат. ожидания xi x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 x11 pi p1 p2 p3 p4 p5 p6 p7 p8 p9 p10 p11 xi pi x1 p1 x2 p2 x3 p3 x4 p4 x5 p5 x6 p6 x7 p7 x8 p8 x9 p9 x10 p10 x11 p11 S xi pi = E(X) xi pi xi pi 2 1/36 2/36 3 2/36 6/36 4 3/36 12/36 5 4/36 20/36 6 5/36 30/36 7 6/36 42/36 8 5/36 40/36 9 4/36 36/36 10 3/36 30/36 11 2/36 22/36 12 1/36 12/36 X может принять значение 3 с вероятностью 2/36 ; перемножаем. Подготовил: Аскольд Подвезько, дэн 11 Прикладная эконометрика│ Обработка статистических данных, гистограммы формула для получения мат. ожидания xi x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 x11 pi p1 p2 p3 p4 p5 p6 p7 p8 p9 p10 p11 xi pi x1 p1 x2 p2 x3 p3 x4 p4 x5 p5 x6 p6 x7 p7 x8 p8 x9 p9 x10 p10 x11 p11 S xi pi = E(X) Подготовил: Аскольд Подвезько, дэн xi pi xi pi 2 1/36 2/36 3 2/36 6/36 4 3/36 12/36 5 4/36 20/36 6 5/36 30/36 7 6/36 42/36 8 5/36 40/36 9 4/36 36/36 10 3/36 30/36 11 2/36 22/36 12 1/36 12/36 12 Прикладная эконометрика│ Обработка статистических данных, гистограммы формула для получения мат. ожидания xi x1 x2 x3 x4 x5 x6 x7 x8 x9 x10 x11 pi p1 p2 p3 p4 p5 p6 p7 p8 p9 p10 p11 xi pi x1 p1 x2 p2 x3 p3 x4 p4 x5 p5 x6 p6 x7 p7 x8 p8 x9 p9 x10 p10 x11 p11 S xi pi = E(X) xi pi xi pi 2 1/36 2/36 3 2/36 6/36 4 3/36 12/36 5 4/36 20/36 6 5/36 30/36 7 6/36 42/36 8 5/36 40/36 9 4/36 36/36 10 3/36 30/36 11 2/36 22/36 12 1/36 12/36 252/36 = 7 Получаем мат. ожидание Подготовил: Аскольд Подвезько, дэн 14 Прикладная эконометрика│ Обработка статистических данных, гистограммы формула для получения мат. ожидания Alternative notation for E(X): n E ( X )  x1 p1  ...  x n pn   x i pi  m X i 1 Для мат. ожидания ПОПУЛЯЦИИ используется m, а для ВЫБОРКИ – Х с чертой. В чем разница ПОПУЛЯЦИЯ – ВЫБОРКА? Подготовил: Аскольд Подвезько, дэн 15 Прикладная эконометрика│ Обработка статистических данных, гистограммы Вычисление параметров популяции Вспомним медиану и моду Медиана • Среднее значение (по частотам!), в сортированных данных Мода • Наиболее часто встречающееся событие/объект Подготовил: Аскольд Подвезько, дэн 65 Прикладная эконометрика│ Обработка статистических данных, гистограммы Нахождение параметров из распределения и функции распределения Находим медиану из кумулятивной функции распределения соответствующее ему распределение Подготовил: Аскольд Подвезько, дэн 66 Прикладная эконометрика│ Обработка статистических данных, гистограммы Нахождение параметров из распределения и функции распределения Помним, как найти медиану из функции распределения Как найти количество болтов [50мм; 63мм] (в %)? 92 Ответ: ? 60 50 медиана Подготовил: Аскольд Подвезько, дэн 63 67 Прикладная эконометрика│ Обработка статистических данных, гистограммы Нахождение параметров из распределения и функции распределения Моду несложно найти из распределения Подготовил: Аскольд Подвезько, дэн 68 Прикладная эконометрика│ Обработка статистических данных, гистограммы Нахождение параметров из распределения и функции распределения • На мат. ожидание влияют экстремальные значения • Медиана делит площадь под распределением на 2 одинаковые части Подготовил: Аскольд Подвезько, дэн 69 Прикладная эконометрика│ Обработка статистических данных, гистограммы Нахождение параметров из распределения и функции распределения Мода показана. Где медиана? (см. определение вероятности далее) Распределение нам дано: x1 x2 Как получить частоты из распределения? Частоты для значений x1 , x2 (если XАскольд –непрерывная ) Подготовил: Подвезько, дэн – температура, стоимость…70 Прикладная эконометрика│ Обработка статистических данных, гистограммы определение вероятности Определение вероятности - нестандартно P (X< x1) x1 x2 Как получить частоты из распределения? Частоты для значений x1 , x2 (если XАскольд –непрерывная ) Подготовил: Подвезько, дэн – температура, стоимость…71 Прикладная эконометрика│ Обработка статистических данных, гистограммы Взаимодействие параметров Где мат.ожидание, медиана примерно, в двугорбовом распределении f X Подготовил: Аскольд Подвезько, дэн 72 Прикладная эконометрика│ Обработка статистических данных, гистограммы Взаимодействие параметров f Медиана Мат. ожидание X Подготовил: Аскольд Подвезько, дэн 73 Прикладная эконометрика│ Обработка статистических данных, гистограммы Взаимодействие параметров f Медиана Площадь = 0.5 Мат. ожидание X Это одно распределение или два? Подготовил: Аскольд Подвезько, дэн 74 Прикладная эконометрика│ Обработка статистических данных, гистограммы Взаимодействие параметров На мат. ожидание влияют удаленные значения f Медиана Площадь = 0.5 мат. ожидание X Подготовил: Аскольд Подвезько, дэн 75 Прикладная эконометрика│ Обработка статистических данных, гистограммы Находим частоту - медианы (в обоих случаях) Взаимодействие параметров количество болтов кумулятивные частоты Подготовил: Аскольд Подвезько, дэн проценты Прикладная эконометрика│ Обработка статистических данных, гистограммы Взаимодействие параметров Находим количество болтов (в %) с длинной в интервале [45mm, 55mm]? Подготовил: Аскольд Подвезько, дэн Прикладная эконометрика│ Обработка статистических данных, гистограммы Взаимодействие параметров Зачем - параметры распределения - само распределение? Подготовил: Аскольд Подвезько, дэн Прикладная эконометрика│ Обработка статистических данных, гистограммы Parameters revisited Зачем - параметры распределения - само распределение? Например, чтобы знать лицо нашего клиента: Подготовил: Аскольд Подвезько, дэн Прикладная эконометрика│ Обработка статистических данных, гистограммы Параметры Обзор теории статистики 1. Вероятностная методика для нахождения статистических параметров 2. Нахождение требуемых величин 3. Доверительные интервалы 4. Проверка гипотез a) b) c) d) Вероятностная методика для нахождения статистических параметров Параметры популяции. Популяция, стохастическая переменная, математическое ожидание, распределение. Параметр рассеяния. Дисперсия, среднеквадратическое отклонение… Параметры формы распределения. Моменты. Ковариация, корреляция, регрессия. Подготовил: Аскольд Подвезько, дэн Прикладная эконометрика│ Обработка статистических данных, гистограммы дисперсия 2 2 xi pi xi – m (xi – m) (xi – m) pi 2 3 4 1/36 2/36 3/36 –5 –4 –3 25 16 9 0.69 0.89 0.75 5 6 7 8 9 10 11 12 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 –2 –1 1 2 3 4 5 4 1 1 4 9 16 25 0.44 0.14 0.00 0.14 0.44 0.75 0.89 0.69 5.83 Получаем дисперсию для случая бросания 2-х игральных костей Подготовил: Аскольд Подвезько, дэн 12 Прикладная эконометрика│ Обработка статистических данных, гистограммы дисперсия - обозначение Дисперсия популяции  E X  m 2 X   X2 Примечание: для выборки используется обозначение s. Подготовил: Аскольд Подвезько, дэн 13 Прикладная эконометрика│ Обработка статистических данных, гистограммы Среднеквадратическое отклонение -обозначение Среднеквадратическое отклонение популяции X  E X  m 2  X Среднеквадратическое отклонение – квадратный корень из дисперсии Подготовил: Аскольд Подвезько, дэн Прикладная эконометрика│ Обработка статистических данных, гистограммы Среднеквадратическое отклонение –альтернативная ф-ла  X2  E  X 2   m 2   X2  E  X  m  2   E  X 2  2 mX  m 2   E  X 2   E  2 mX   E m 2   E  X 2   2 mE  X   m 2  E X 2   2m 2  m 2  E X 2   m 2 Подготовил: Аскольд Подвезько, дэн 7 Прикладная эконометрика│ Обработка статистических данных, гистограммы моменты распределений нормальное распределение«основное» коэфф ассимметрии = 0 ; эксцесс = 3 коэфф ассимметрии = 0 ; эксцесс = 20 Skewness = 0.6 ; kurtosis = 5 коэфф ассимметрии = -0.1 эксцесс = 5 Подготовил: Аскольд Подвезько, ;дэн коэфф ассимметрии = 0.6 ; эксцесс = 5 Прикладная эконометрика│ Обработка статистических данных, гистограммы Вычисление параметров распределения - ЗАДАЧА Данные: 0.3 1.2 1.7 1.9 2.1 2.6 3 0.7 1.2 1.8 1.9 2.2 2.6 3.6 1 1.3 1.8 1.9 2.2 2.7 3.6 1 1.5 1.8 2 2.3 2.7 3.7 1.2 1.5 1.9 2 2.4 2.7 4.3 1) Создать столбец и сортировать по возрастающей (data>sort) 2) Разделить (мин, макс) на 5 интервалов (для табуляции) 3) Найти частоты 4) Начертить гистограмму 5) Подсчитать (или найти) параметры (среднее, мода, медиана) и параметры рассеяния (дисперсия, среднеквадр. отклонение) Подготовил: Аскольд Подвезько, дэн 86 Прикладная эконометрика│ Обработка статистических данных, гистограммы Вычисление параметров распределения - ОТВЕТЫ 13 14 12 10 Частота 10 8 6 4 4 4 4 2 1. Среднее= 2.066 2. Мода = 1.9 3. Медиана = 1.9 Момент, № Зачение дисперсия 0.755 2 разброс данных среднекв. откл. 0.869 2 разброс данных 3 положителен 4 Распределение уже нормального коэфф ассимметрии 0.493 эксцесс 3.139 Подготовил: Аскольд Подвезько, дэн 87 Прикладная эконометрика│ Обработка статистических данных, гистограммы моменты распределений Момент №3 - коэфф ассимметрии (Moment number: 3 – skewness) Подготовил: Аскольд Подвезько, дэн 3  E Y  mY      Y3 88 Прикладная эконометрика│ Обработка статистических данных, гистограммы моменты распределений Момент №4 - эксцесс (Moment number: 4 – kurtosis) normal distribution 4  E Y  mY      Y4 Skewness = 0 ; kurtosis = 3 Skewness = -0.1 ; kurtosis = 5 Подготовил: Аскольд Подвезько, дэн Skewness = 0 ; kurtosis = 20 89 Skewness = 0.6 ; kurtosis = 5 Прикладная эконометрика│ Обработка статистических данных, гистограммы примеры Женщины с высшим образованием Женщины без высшего образования Мужчины с высшим образованием Мужчины без высшего образования Подготовил: Аскольд Подвезько, дэн Прикладная эконометрика│ Обработка статистических данных, гистограммы Равномерное примеры распределений и им соответствующих функций распределения функция распределения Подготовил: Аскольд Подвезько, дэн 91 Прикладная эконометрика│ Обработка статистических данных, гистограммы экспоненциальное примеры распределений и им соответствующих функций распределения функция распределения Подготовил: Аскольд Подвезько, дэн 92 Прикладная эконометрика│ Обработка статистических данных, гистограммы нормальное примеры распределений и им соответствующих функций распределения функция распределения Подготовил: Аскольд Подвезько, дэн 93 Прикладная эконометрика│ Обработка статистических данных, гистограммы логонормальное примеры распределений и им соответствующих функций распределения функция распределения Подготовил: Аскольд Подвезько, дэн 94 Прикладная эконометрика│ Обработка статистических данных, гистограммы Хи-квадрат примеры распределений и им соответствующих функций распределения функция распределения Подготовил: Аскольд Подвезько, дэн 95 Прикладная эконометрика│ Обработка статистических данных, гистограммы F-распределение (Фишера) примеры распределений и им соответствующих функций распределения функция распределения Подготовил: Аскольд Подвезько, дэн 96 Прикладная эконометрика│ Обработка статистических данных, гистограммы t- распределение Стьюдента примеры распределений и им соответствующих функций распределения функция распределения Подготовил: Аскольд Подвезько, дэн 97 Прикладная эконометрика│ Обработка статистических данных, гистограммы Beta- распределение примеры распределений и им соответствующих функций распределения функция распределения Подготовил: Аскольд Подвезько, дэн 98 Прикладная эконометрика│ Обработка статистических данных, гистограммы распределение экстремальных примеры распределений и им соответствующих функций распределения значений функция распределения Подготовил: Аскольд Подвезько, дэн 99 Прикладная эконометрика│ Обработка статистических данных, гистограммы логистическое распределение примеры распределений и им соответствующих функций распределения функция распределения Подготовил: Аскольд Подвезько, дэн 100 Прикладная эконометрика│ Обработка статистических данных, гистограммы Парето - распределение примеры распределений и им соответствующих функций распределения функция распределения Подготовил: Аскольд Подвезько, дэн 101 Прикладная эконометрика│ Обработка статистических данных, гистограммы Степенное распределение примеры распределений и им соответствующих функций распределения функция распределения Подготовил: Аскольд Подвезько, дэн 102 Прикладная эконометрика│ Обработка статистических данных, гистограммы Weibull распределение примеры распределений и им соответствующих функций распределения функция распределения Подготовил: Аскольд Подвезько, дэн 103 Прикладная эконометрика│ Обработка статистических данных, гистограммы распределение арксинус примеры распределений и им соответствующих функций распределения функция распределения Подготовил: Аскольд Подвезько, дэн 104 Прикладная эконометрика│ Обработка статистических данных, гистограммы Beta распределение примеры распределений и им соответствующих функций распределения функция распределения • time allocation in project management control systems; • proportions of the minerals in rocks in stratigraphy; • probability of HIV transmission. Подготовил: Аскольд Подвезько, дэн 105 Прикладная эконометрика│ Обработка статистических данных, гистограммы Irwin–Hall распределение примеры распределений и им соответствующих функций распределения функция распределения Подготовил: Аскольд Подвезько, дэн 106 Прикладная эконометрика│ Обработка статистических данных, гистограммы Треугольное распределение примеры распределений и им соответствующих функций распределения функция распределения Подготовил: Аскольд Подвезько, дэн 107 Прикладная эконометрика│ Обработка статистических данных, гистограммы Биномиальное распределение примеры распределений и им соответствующих функций распределения функция распределения Подготовил: Аскольд Подвезько, дэн 108