Статистические методы обработки информации

Математические основы обработки информации Лекция 7 Статистические методы обработки информации Преподаватели: Котова Светлана Николаевна, ст.пр. кафедры экспериментальной математики и информатизации образования e-mail: s.kotova@narfu.ru Томилова Анна Евгеньевна, к.п.н., доцент кафедры экспериментальной математики и информатизации образования e-mail: a.tomilova@narfu.ru Ширикова Татьяна Сергеевна, к.п.н., доцент кафедры экспериментальной математики и информатизации образования e-mail: t.shirikova@narfu.ru Основные математические средства представления информации • Математическая логика • Теория множеств • Математическая статистика – раздел математики, разрабатывающий методы изучения массовых явлений на основе обработки опытных данных. Литература • Снегурова В.И. и др. Математика для педагогических специальностей. • Стефанова Н.Л. Основы математической обработки информации. • Глотова М.Ю., Самохвалова Е.А. Математическая обработка информации. • Обработка данных психолого-педагогического исследования. Научно-популярная литература • Пере Грима Абсолютная точность и другие иллюзии. Секреты статистики (2014 г.) Определение Количественное свойство – свойство объекта исследования, которое может иметь разную степень проявления. Качественное свойство – свойство объекта исследования, относительно которого можем только сказать, обладает им объект или нет. Какие из перечисленных свойств являются качественными: посещаемость учебных занятий; обучаемость; эрудированность; воспитанность, должность, семейное положение? Организация и представление статистических данных «Если бы не было статистики, мы даже не подозревали бы о том, как хорошо мы работаем» (к/ф «Служебный роман») Существует три вида лжи: ложь, наглая ложь и статистика. премьер-министр Великобритании Бенджамин Дизраэли Значимость знания статистики • правильное понимание, использование и оценка достоверности статистической информации; • подготовка отчетов; • подготовка и проведение научно-исследовательской работы … Пробки в Москве в час дня Объем знаний, усваиваемых студентом В ночь перед экзаменом За семестр Статистика как наука и отрасль практической деятельности Основная цель – разработка методов систематизации, обработки и использования данных, собранных в результате экспериментов, опытов, наблюдений и т.п., для получения научных и практических выводов Схема статистического изучения: 1. Сбор данных. 2. Группировка сведений. 3. Нахождение обобщающих характеристик. Статистические данные • • • • Требования к сбору данных: достоверность однотипность массовость числовая форма Пример. Оценка правильности сбора данных Цель – определение уровня профессионально-личностной подготовки выпускников педагогических направлений. Метод сбора – письменный опрос студентов (анкетирование). Объект исследования – студенты выпускного курса САФУ, 70 человек. Вопрос анкеты: «Какие качества личности учителя Вы считаете наиболее значимыми?» Результаты опроса: Высокие профессиональные знания 77,9% Высокая требовательность 20,6% Искренность, честность 33,8% Доброжелательность 85,3% Уравновешенность Количество сданных анкет 50% 68 Генеральная совокупность и выборка Генеральная совокупность — это набор объектов, о которых необходимо получить информацию. • Генеральная совокупность состоит из всех объектов, которые имеют качества, свойства, интересующие исследователя. • Иногда генеральная совокупность — это все взрослое население определённого региона (например, когда изучается отношение потенциальных избирателей к кандидату), чаще всего задаётся несколько критериев, определяющих объекты исследования. Например, женщины 10-89 лет, использующие крем для рук определённой марки не реже одного раза в неделю, и имеющие доход не ниже 5 тысяч рублей на одного члена семьи. Генеральная совокупность и выборка Выборка — подмножество генеральной совокупности (небольшой набор объектов, извлеченных из генеральной совокупности). Выборочная совокупность — это необходимый для исследования минимум результатов (случаев, испытуемых, объектов, событий, образцов) отобранных с помощью определённой процедуры из генеральной совокупности. Выборка может рассматриваться в качестве репрезентативной или нерепрезентативной. Выборка будет репрезентативной при обследовании большой группы людей, если внутри этой группы есть представители разных подгрупп, только так можно сделать верные выводы. Генеральная совокупность и выборка Выборка должна быть репрезентативной, должна давать наиболее полную, адекватную информацию об особенностях генеральной совокупности. В силу закона больших чисел можно утверждать, что выборка будет репрезентативной, если ее осуществлять случайно. Пример: выборка, состоящая из 60 учеников старших классов, гораздо хуже представляет совокупность, чем выборка из тех же 60 человек, в которую войдут по 3 ученика из каждого класса. Главной причиной тому — неравное возрастное распределение в классах. Следовательно, в первом случае репрезентативность выборки низкая, а во втором случае репрезентативность высокая (при прочих равных условиях). Случайная величина Объем совокупности – это число объектов этой совокупности. Объем генеральной совокупности обозначается N, выборочной – n. Случайная величина – величина, измеряемая в ходе эксперимента, которая может изменяться при многократном повторении одного и того же эксперимента в независимых друг от друга условиях. Значение случайной величины - результат измерения некоторого свойства элемента выборки. По множеству возможных значений различают дискретные, непрерывные и смешанные случайные величины. Случайная величина Дискретными называются случайные величины, значениями которых являются только отдельные точки числовой оси. (Число их может быть как конечно, так и бесконечно). Пример: Число родившихся девочек среди ста новорожденных за последний месяц- это дискретная случайная величина, которая может принимать значения 1,2,3,… Непрерывными называются случайные величины, которые могут принимать все значения из некоторого числового промежутка. Пример: Расстояние, которое пролетит снаряд при выстреле- это непрерывная случайная величина, значения которой принадлежат некоторому промежутку [a; b]. Случайная величина Пусть из генеральной совокупности извлечена выборка, причем значение x1–наблюдалось n1 раз, x2 - n2 раз,… xk nk раз. n = n1+n2+...+nk– объем выборки. Наблюдаемые значения называются вариантами, а последовательность вариант, записанных в возрастающем порядке - вариационным рядом. В некоторых источниках вариационный ряд ≡ статистический ряд Число наблюдений называются частотами (абсолютными частотами), а их отношение к объему выборки - относительными частотами или статистическими вероятностями. Вариационный и статистический ряды Статистический ряд – способ описания массива значений случайной величины, при котором указываются варианты и их абсолютные частоты (или относительные частоты) Вариационный ряд Если количество вариант велико или выборка производится из непрерывной генеральной совокупности, то вариационный ряд составляется не по отдельным точечным значениям, а по интервалам значений генеральной совокупности. Такой вариационный ряд называется интервальным. Длины интервалов при этом должны быть равны. Статистическим распределением выборки называется перечень вариант и соответствующих им частот или относительных частот. Статистическое распределение можно задать также в виде последовательности интервалов и соответствующих им частот (суммы частот, попавших в этот интервал значений) Дискретный статистический ряд распределения величины Х Значения изучаемого свойства Х Абсолютные частоты ni Относительные частоты ni n х1 х2 х3 … хi … хk-1 хk k n1 n2 n3 … ni … nk-1 nk  ni n 1 k ν1 ν2 ν3 … νi … νk-1 νk v i 1 1 xi – числа шкалы (номинальной, порядковой, интервальной, отношений) Пример Статистический ряд распределения значений величины X – отношение респондента к своей профессии по результатам опроса 120 человек X ni n 1 2 3 4 5 не нравится больше не нравится, чем нравится нейтрально больше нравится, чем не нравится нравится 19/120 21/120 18/120 50/120 12/120 Интервальный статистический ряд распределения Пример. Интервальный ряд распределения величины Y – время сбоя в работе компьютеров (в ч.) по результатам регистрации сбоев в течение одного рабочего дня (с 900 до 2100) Y ni n [9; 11) [11; 13) [13; 15) [15; 17) [17; 19) [19; 21) 5/29 6/29 5/29 4/29 4/29 5/29 Вариационный и статистический ряды Вариационный и статистический ряды Вариационный ряд и статистический ряд Размах вариации (R) вычисляется как разность между максимальным и минимальным значениями признака Вариационный ряд и статистический ряд Мода (модальное значение признака в совокупности) — наиболее часто повторяющееся значение варианта или, проще, вариант с наибольшей частотой. Вариационный ряд и статистический ряд Вариационный ряд и статистический ряд Вариационный ряд и статистический ряд Характеристики рассеивания выборки Характеристики рассеивания выборки Характеристики рассеивания выборки Определение Высокая требовательность Искренность, честность Уравновешенность Высокие профессиональные знания 90 80 70 60 50 40 30 20 10 Доброжелательность Метод ранжирования – расположение собранных данных в определенном порядке и приписывание им чисел, показывающих место в списке данных Определение Классификация – разбиение совокупности данных на части по некоторому признаку (признак классификации) Группировка – объединение совокупности данных в группы, однородные по какому-либо признаку (признак группировки) Измерение – это алгоритмическая операция, которая данному наблюдаемому состоянию объекта ставит в соответствие определенное обозначение (символ). Критерии правильности классификации/группировки 1. 2. 3. Известен признак классификации/ группировки и все его значения. Все собранные данные распределены на группы, т.ч. в одной группе находятся данные с одинаковыми значениями, в разных – с разными. Нет данного, которое попало в несколько групп или не отнесено ни к одной группе. Интервальный статистический ряд распределения Если у вас имеется набор величин, для которых целесообразнее провести интервальное разбиение, поступаем следующим образом: 1) Составляем вариационный ряд (ранжируем величины) и находим объем всей выборки n. 2) Для определения количества интервалов удобно воспользоваться формулой Стерджеса: 3) 4) Следует отметить, что правило Стерджеса носит рекомендательный, но не обязательный характер. Нередко в условии задачи прямо сказано, на какое количество интервалов нужно проводить разбиение (на 4, 5, 6, 10 и т.д.), и тогда следует придерживаться именно этого указания. Находим размах вариации (R): Интервальный статистический ряд распределения 5) Вычисляем длину интервала: Эту величину для удобства можно округлить (при этом разумнее изменить начало и конец вариационного проранжированного ряда) Пример: Получена длина интервала 0,96, мы её округляем (для удобства) до 1, тем самым прибавляем 0,04. Тогда по 5 частичным интервалам (здесь ранее получено k=5) у нас получается «перебор»: Поэтому от самой малой варианты отмеряем влево 0,1 (половину «перебора») и к значению конца промежутка прибавляем также 0,1. После этого начинаем прибавлять по 1, получая тем самым частичные интервалы. Виды шкал Шкалирование – приписывание данным числовых значений по определенному правилу, переносящему некоторые свойства значений исследуемого признака на свойства чисел. Типы шкал Неметрические Номинальные (наименований) Метрические Интервальные Порядковые (ранговые) Шкалы отношений Типы шкал Сохраняемые свойства « = » / « » Отношение Операции «>»/«<» «+»/«–» «»/«:» Номинальная (наименований) Порядковая (ранговая) Интервальная + – – – + + – – + + + – Отношений + + + + Тип шкалы Отношение Операции Номинальная (номинативная) шкала Приписывание определённого номера классу (группе) данных Пример: Типы темперамента Значение шкалы Холерик 1 Сангвиник 2 Флегматик 3 Меланхолик 4 Номинальная (номинативная) шкала Определение • Абсолютная частота – число, показывающее сколько раз в серии опытов встречалось i-ое значение шкалы. • Относительная частота – число, показывающее, величину доли всех опытов, в которых встречалось i-ое значение шкалы ni n ni  100 % n n – количество всех опытов, ni – абсолютная частота i-го значения Порядковая шкала Порядковая (ранговая) шкала Ранжирование классов и последовательно чисел так, отношение «больше-меньше» Пример: приписывание им чтобы сохранялось Уровни развития мотивации учения подростков Доминирование внешних мотивов учения Низкий уровень 1 Согласованность внешних и внутренних мотивов учения Норма 2 Доминирование внутренних мотивов учения Высокий уровень 3 Интервальная шкала Интервальная шкала • задать единицу измерения (эталонный класс), выбрать нулевой класс, ранжировать остальные классы • по удаленности от нулевого в выбранной единице измерения и приписать числа ранжированным классам так, чтобы сохранялось отношение «на … единиц больше / меньше» Шкала Цельсия 0 – температура таяния льда 100 – температура кипения воды при стандартном атмосферном давлении Шкала Фаренгейта 0 – точка замерзания смеси из воды, льда и нашатыря 100 – нормальная температура тела человека Пример При измерении температуры по шкале Цельсия можно сказать: «Температура воды при нагреве от 9о до 18о увеличилась в 2 раза». Справедливо ли это утверждение при измерении температуры по шкале Фаренгейта? Формула перевода: 5 F  C  32 9 Абсолютная шкала (шкала отношений) Шкала отношений • задать нулевое значение измеряемого количественного свойства (значение сравнимо с отсутствием свойства у класса объектов), • задать единицу измерения (эталонный класс), • задать способ измерения, позволяющий установить во сколько раз проявление свойства данного класса объектов больше или меньше единицы (эталона). Шкала Кельвина 0 – температура прекращения хаотического движения частиц любого вещества 1 – тройная точка воды (температура в сочетании с давлением, при которых наблюдаются сразу три состояния воды: жидкое, газообразное, твердое) Задание: Определите, в какой шкале представлено каждое из приведенных ниже измерений 1. 2. 3. 4. 5. Порядковый номер испытуемого в списке для его идентификации. Количество вопросов в анкете, как мера трудоемкости опроса. Упорядочивание испытуемых по времени решения тестовых задач. Академический статус: ассистент, старший преподаватель, доцент, профессор – как мера продвижения по службе / как указание на принадлежность к категории. Количество негативных реакций за рабочий день как показатель агрессивности / как показатель стрессовой опасности профессиональной ситуации.