Статистическая совокупность наблюдений. Сбор и формирование

Лекции Статистическая совокупность наблюдений. Сбор и формирование Любое статистическое исследование выражается в следующих основных ступенях: - массовое статистическое наблюдение, сбор информации; - сводка и группировка статистических данных, формирование совокупности; - построение статистических показателей и их анализ. Статистическим наблюдением называется процесс получения данных о каких-либо явлениях путем регистрации их существенных признаков. Наблюдения являются важнейшим звеном в статистическом исследовании, так как они дают материал, который в дальнейшем будет подвергнут обработке и анализу. Если материалы, собранные при статистическом наблюдении, будут неполными или неточными, это может повлечь за собой получение неправильного результата при анализе. Поэтому основными требованиями, предъявляемыми к наблюдению, являются правильность и безошибочность его проведения. Организация наблюдения имеет две основные формы. Первая – регистрация отдельных единиц наблюдения и запись результатов на специальных бланках. Таким образом, могут формироваться «журнал наблюдений» или «таблица наблюдений». Статистическими данными можно назвать сведения о некотором числе объектов, обладающих теми или иными признаками. Метод исследования статистических данных называется статистическим. Характерной особенностью настоящего этапа развития естественных и технических наук является широкое применение статистических методов и математики во всех областях знания. Но статистические методы в применении к различным областям настолько своеобразны, что их невозможно объединить в одну науку. Рис. 1. Виды статистического наблюдения Рассмотрим применение математических методов исследования статистических данных для решения вопросов горного дела, экономики, организации и управления горным производством. Статистика находит все большее применение в технике. Однако нельзя переоценивать статистические методы. Правильное применение математического анализа не может быть сведено к одним математическим приемам, а требует, прежде всего, предварительного теоретического анализа, хорошего знания физической сущности явления. Внедрение математической статистики в производственную практику поможет найти дополнительные пути к повышению культуры производства, эффективности использования оборудования и росту производительности труда, снижению себестоимости и увеличению рентабельности. Вопросы рентабельности, себестоимости и т.д. рассматриваются в разделах и экономической и математической статистики. Общими чертами статистического метода в различных областях знаний являются: сведения к подсчету числа объектов, входящих в те или иные группы; рассмотрение распределения количественных признаков; применение выборочного метода, когда детальное исследование всех объектов обширной совокупности (например, массы полезного ископаемого) затруднительно; использование теории вероятностей при оценке достаточного числа наблюдений. Для некоторых наук вопросы применения вероятностно-статистических методов и машинной математики более или менее разработаны, для других, например, горного дела, еще очень много надо сделать. Статистические методы опираются на массовые, повторяющиеся явления, в которых изменчивость обусловливается рядом причин. При этом задача статистики – установить характер этой изменчивости. При исследовании различных физических, химических, экономических, технических процессов часто встречаются явления, называемые случайными. Как бы точно и подробно ни выполнялись условия отдельных экспериментов, невозможно достичь того, чтобы результаты полностью совпали. Результаты отдельных определений прочностных характеристик одной и той же породы еще больше будут отличаться друг от друга, если эти определения производятся в натуре, в различных участках горного массива, так как вариации факторов, сопровождающие эксперименты и порождающие различия результатов, будут еще более заметны. Случайные отклонения неизбежно сопутствуют любому закономерному явлению, накладываясь на него. В природе нет ни одного физического явления, в котором не присутствовали бы в той или иной мере случайности. В ряде практических задач случайными элементами пренебрегают. При этом из бесчисленного множества признаков, влияющих на данное явление, выделяется главное, влиянием остальных, второстепенных, пренебрегают. Таким образом изучают некоторую модель явления. Затем применяется тот или иной аппарат (например, дифференциальные уравнения) для описания данного явления. Так можно выявить основную закономерность, свойственную данному явлению, и есть возможность предсказать результат при заданных условиях. Чем больше учтено признаков, влияющих на явление, тем точнее получаемый результат. Эта схема решения пригодна лишь для задач, где исход опыта зависит от основного количества главных признаков, остающихся постоянными от опыта к опыту. Множество сопутствующих качеств можно приблизительно представить в виде схемы (рис. 2). При изучении любого процесса, явления можно выделить совокупность однородных единиц. Такова совокупность отдельных объемов, блоков многоделимой массы горной породы. Такова совокупность единиц средств труда, с помощью которых осуществляется эксперимент: группа мащин, приборов или деталей определенного типа. Совокупность, состоящая из однородных единиц, обладающих количественной общностью, составляет статистическую совокупность. Рис. 2. Классификация наблюдений Главное орудие статистики – обобщающие показатели, основанные на данных массового наблюдения. Для успешного применения методов математической статистики надо правильно разграничить совокупности, под- лежащие обобщению. Такое разграничение производится методом группировки. Группировка – важнейшее положение математической статистики. Необходимо отметить еще одно обстоятельство: математическая статистика тесно связана с теорией вероятностей. На предельных теоремах теории вероятностей базируется большинство выводов математической статистики. Определение необходимого объема наблюдений Как уже указывалось, под статистическим наблюдением понимают планомерный, научно организованный систематический сбор данных о явлениях и процессах путем регистрации заранее намеченных существенных признаков. Статистическое наблюдение осуществляется в двух формах: представление отчетности и проведение специально организованных статистических наблюдений. При этом оно должно быть организовано таким образом, чтобы в результате были получены объективные, точные данные об изучаемом явлении, на основе которых можно правильно оценить и планировать развитие производства. В зависимости от степени полноты охвата наблюдением изучаемого явления или объекта различают сплошное и несплошное статистическое наблюдение (рис. 3). При сплошном наблюдении обследованию подвергаются все без исключения единицы изучаемой совокупности, а при несплошном – только часть их. Различают следующие основные виды несплощного наблюдения: выборочное наблюдение, монографическое обследование и метод основного массива. Наиболее совершенным, научно обоснованным способом несплошного наблюдения является выборочное наблюдение, при котором статистическому обследованию подвергаются не все единицы изучаемой совокупности, а лишь отобранные в определенном порядке и обеспечивающие получение данных, характеризующих всю совокупность в целом. К этому виду наблюдений прибегают в тех случаях, когда необходимо сэкономить силы и средства при проведении исследования, так как статистические исследования массовых совокупностей весьма трудоемки. Рис. 3. Оценка статистического наблюдения При выборочном наблюдении неизбежна некоторая свойственная ему погрешность, так как обследованию подвергается не вся совокупность, а только ее часть. Ошибки, свойственные выборочному наблюдению, называются ошибками репрезентативности (представительства). Ошибки характеризуют размер расхождения между данными выборочного наблюдения и всей совокупности в целом. Различают случайные и систематические ошибки репрезентативности. Случайные ошибки обусловлены тем, что выбранная совокупность недостаточно точно воспроизводит всю совокупность. Их размеры и пределы заранее можно вычислить на основании закона больших чисел, а главное – довести до незначительных размеров путем включения в выборку достаточного количества единиц совокупности. Систематические ошибки возникают при нарушении принципа случайности отбора единиц совокупности для наблюдения. Их можно избежать, осуществляя строгий объективный отбор единиц совокупности, при котором каждая из них имела бы абсолютно одинаковую возможность попасть в выборку. В статистической литературе принято называть совокупность единиц, из которой производится отбор, генеральной совокупностью, а ее численность обозначают буквой N. Часть единиц, попавшая в выборку, называется выборочной совокупностью, а их численность обозначается буквой n. Обобщающими характеристиками генеральной и выборочной совокупностей являются средняя и дисперсия: и σ2. При формировании выборки применяют различные виды, схемы и способы отбора. По виду отбор единиц наблюдения подразделяют на индивидуальный (за прием отбирается одна единица), групповой (за один прием отбирается группа или серия единиц) и комбинированный. В зависимости от участия отобранной единицы в дальнейшей выборке различают повторную и бесповторную схемы отбора. В первом случае отобранная однажды единица возвращается обратно в генеральную совокупность и снова участвует в выборке. При бесповторной схеме отбора ранее отобранная единица не возвращается в генеральную совокупность и не может быть подвергнута повторному обследованию. Бесповторный отбор дает более точные результаты по сравнению с повторным, так как при одном и том же объеме выборки наблюдение охватывает большее количество единиц изучаемой совокупности. Как правило, при выборочном наблюдении следует применять бесповторную схему отбора. И только в тех случаях, когда бесповторный отбор нельзя провести, применяется повторная схема отбора. По способу формирования выборки различают, собственно-случайный, механический, типический, серийный и комбинированный отбор. При собственно-случайном способе формирования выборки включение единиц в выборочную совокупность может осуществляться по схеме повторного или бесповторного отбора при помощи жеребьевки или таблицы случайных чисел. Такой способ формирования выборки является наиболее простым, но он уступает другим способам с точки зрения репрезентативности и точности результатов, а также из-за сложности в организационном отношении. При механическом способе формирования выборки отбор единиц из генеральной совокупности производится механически через определенный интервал (например, выбирается каждая пятая, десятая и т. д. единица). Все единицы в изучаемой совокупности предварительно располагаются в определенном порядке (например, по алфавиту, местоположению и т.п.). Данный способ отбора является разновидностью собственно-случайного отбора, но имеет ряд организационных преимуществ и всегда бывает бесповторным. Поэтому средняя ошибка и необходимая численность механической выборки определяются по формулам собственно-случайной бесповторной выборки. В тех случаях, когда генеральная совокупность неоднородна по показателям, подлежащим изучению, применяется типический способ отбора, при котором вся генеральная совокупность делится предварительно на группы по определенному типическому признаку, из которых в дальнейшем собственно-случайным или механическим способом формируется выборочная совокупность. Типический способ отбора также может быть как повторным, так и бесповторным. Из всех типических групп можно отобрать число единиц, пропорциональное их численности, и непропорциональное. В зависимости от этого различают пропорциональный и непропорциональный типический отбор. При серийном способе отбора вместо случайного отбора единиц совокупности осуществляется отбор групп (серий), внутри которых производится сплошное наблюдение. Точность серийной выборки зависит от межсерийной дисперсии (дисперсии групповых средних), а не от величины общей дисперсии. При планировании выборочного наблюдения возникает вопрос о необходимой численности выборки. Последнюю можно определить, исходя из допустимой ошибки при выборочном наблюдении, вероятности, с которой нужно гарантировать величину устанавливаемой ошибки, меры колеблемости изучаемого признака и способа отбора. Необходимая численность выборки определяется на основе предельной ошибки выборки. Если предельную ошибку выборки обозначить буквой σ, то последнюю можно определить из выражения σ = Tμ где μ – средняя ошибка выборки; Т – коэффициент, зависящий от вероятности, с которой гарантируется ошибка выборки (коэффициент доверия). Значения вероятности (P) для различных значений Т приведены в таблице (табл. 3). Предельная ошибка выборки зависит от трех факторов: степени колеблемости явления (σ2), объема выборки (n) и от необходимой гарантированной вероятности (Р). Формулы для вычисления предельных ошибок выборки при различных способах отбора приведены в таблице (табл. 1). Таблица 1 Способ отбора Схема отбора Предельная ошибка выборки Собственно-случайный и механический отбор Повторный Бесповторный Типический отбор Повторный Бесповторный Серийный отбор Повторный Бесповторный В табл. 1 приняты следующие условные обозначения: – средняя из групповых дисперсий; – межсерийная дисперсия; r – число отобранных серий; R – число серий в генеральной совокупности. Величину можно определить из выражения: где – средняя в отдельных сериях; – общая средняя для всей совокупности. Проведя необходимые вычисления и пользуясь расчетными формулами (табл. 2), определить необходимую численность выборки при различных способах и схемах отбора. Таблица 2 Расчетные формулы для определения необходимой численности при различных способах и схемах отбора Способ отбора Схема отбора Численность выборки Собственно-случайный и механический отбор Повторный Бесповторный Типический отбор Повторный Бесповторный Серийный отбор Повторный Бесповторный Из приведенных в табл. 2 формул для определения необходимой численности выборки при различных способах и схемах отбора видно, что они зависят лишь от схемы отбора (повторный отбор или бесповторный). Способ отбора влияет следующим образом; в формуле для необходимой численности выборки при собственно-случайном или механическом способе вместо общей дисперсии σ2 используют среднюю из внутригрупповых дисперсий при типическом способе отбора и межсерийную дисперсию при серийном способе. При этом в последнем случае вместо числа единиц в генеральной совокупности N используют число серий в генеральной совокупности R. В связи с вышеизложенным в лабораторной работе при типическом и серийном способах отбора предварительно определяются значения или . Одномерная совокупность наблюдений. Вариационный ряд Анализ работы горного предприятия (группы горных предприятий) начинается с анализа одного показателя. Как правило, в качестве первого показателя выбирается результирующий показатель, и для него проводится полный анализ. Эта одномерная совокупность представляется в виде вариационного ряда. Анализ проводится как вручную, так и с помощью статистических программ. Конечная цель – установить вид распределения этой одномерной совокупности. Для этого высказывается гипотеза. Но гипотеза о том, что данная одномерная совокупность подчиняется выбранному закону распределения, требует статистического подтверждения и доказательства. В качестве теоретического предположения принимаются: нормальный, логарифмически-нормальный и экспоненциальный виды распределения. Для проверки выбранного вида распределения рассчитываются характеристики, по которым можно, с некоторой вероятностью, сделать вывод о правомерности данного вида распределения. Будем считать, что предварительно проведены исследования статистической возможности использования данной совокупности. Установлено, что совокупность достаточна по объему, репрезентативна, и в совокупности нет ошибок и промахов. Все это дает основание для построения вариационного ряда. Вариационным рядом называется ранжированная совокупность дискретных значений и соответствующая каждому значению частота. Такой ряд называется дискретным. Вариационный ряд может быть дискретным и интервальным. Вариационный ряд можно считать распределенным признаком. Если совокупность очень велика по объему, или не имеет повторяющихся значений, или состоит из непрерывных значений, то представляется в виде интервального вариационного ряда. Интервальный вариационный ряд состоит не из конкретных значений совокупности, а из некоторых интервалов этих значений и соответствующих каждому интервалу частот. Другими словами, в интервальном вариационном ряду объединяются несколько значений совокупности как некоторый интервал. Интервалы могут быть разными или одинаковыми. Рассчитываются значения критерия Пирсона, служащего основой для принятия(отрицания) гипотезы. Ранжированный ряд (табл. 3) представляется как ряд исходных значений (вариант), расположенных в некотором порядке (убывания или возрастания) значений. Обычно значения располагают от меньшего к большему. Таблица 3 Порядковый номер варианта 1 2 … … N Значение варианта x1 x2 … … xn Дискретный вариационный ряд (табл. 4) понимается как ранжированный ряд распределения, где каждому значению варианта ставятся в соответствие его частота или частость. Частота – абсолютное число значений данного варианта в данном ряду, частость – относительное число значений данного варианта (отнесенное к общему числу наблюдений). Таблица 4 Порядковый номер варианта Признак X Частота Частость 1 x1 m1 m'1 2 x2 m2 m'2 … … … … i xi mi m'i … … … … k xk mk m'k Необходимо проверить соотношения: где k – число различных значений вариант; i – текущее значение варианта (i = 1, 2, ..., k); mi - частота i-го варианта; m'i – частость i-го варианта, N – количество наблюдений. Приведенные соотношения могут служить для проверки правильности построения дискретного вариационного ряда. Результаты сводят в таблицу (табл. 3). Для построения интервального вариационного ряда определяется ширина интервала ряда распределения (h). Приближенное значение h вычисляется по эмпирической формуле Стерджесса: где xmax – наибольшее значение варианта в данном ряду; xmin – наименьшее значение варианта в данном ряду; N – общее число наблюдений в данном ряду или N – количество вариантов (объем выборки). За окончательное значение h принимается значение, близкое к расчетному, но округленное так, чтобы интервалы оказались удобными для расчетов. Ширину интервала можно принимать одинаковой и разной для различных интервалов вариационного ряда. В каждом интервале различают нижнюю и верхнюю границы. Нижнюю границу (меньшее значение) первого интервала следует выбрать так, чтобы меньшее значение ряда было включено в первый интервал, и средне-интервальное значение первого интервала было удобным для дальнейших расчетов. В конкретный интервал включаются все значения варианта, удовлетворяющие неравенству где xj – значение варианта ряда; j = 1, 2, …, N; (xmin)i – нижняя граница (меньшее значение) i-го интервала; (xmax)i – верхняя граница (большее значение) i-го интервала. Значения (.Хтш), и (Хпмх);, связаны соотношением Начальный (первый) и конечный (последний) интервалы можно сделать открытыми. Интервальный вариационный ряд представлен таблицей (табл. 5). Заполняя таблицу, следует иметь в виду принятые обозначения: n – число интервалов; i – порядковый номер интервала (i = 1, 2, …, n) (xmin)i – нижняя граница интервала i; (xmax)i – верхняя граница интервала i; mi – статистическая частота интервала i. Таблица 5 Порядковый номер интервала (xmin : xmax)i mi m'i Mi 1 (xmin : xmax)1 2 (xmin : xmax)2 … … i (xmin : xmax)i … … n (xmin : xmax)n m'i – статистическая частость интервала i; – средне-интервальное значение, Мi – накопленная статистическая частота данного интервала, Для первого интервала M1 = m1, для последнего интервала Мn = N. Последнее соотношение служит проверкой правильности построения интервального вариационного ряда. Анализ данных в MS Excel MS Excel имеет большое число статистических функций. Некоторые являются встроенными, некоторые доступны после установки пакета анализа. Обращение к «Пакету анализа» Средства, включенные в пакет анализа данных, доступны через команду «Анализ данных» в ленте инструментов «Данные». Если эта команда отсутствует в ленте инструментов, то необходимо выполнить следующие действия: 1. Открыть вкладку «Файл», нажать кнопку «Параметры» и выбрать категорию «Надстройки». 2. В раскрывающемся списке «Управление» выбрать пункт «Надстройки Excel» и нажмите кнопку «Перейти». 3. В диалоговом окне «Надстройки» установить флажок «Пакет анализа», а затем нажмите кнопку ОК. Описательная статистика Описательная статистика (Descriptive statistics) – техника сбора и суммирования количественных данных, которая используется для превращения массы цифровых данных в форму, удобную для восприятия и обсуждения. Цель описательной статистики – обобщить первичные результаты, полученные в результате наблюдений и экспериментов. Пример. Пусть дан набор данных по руднику, состоящих из двух показателей, представленных в таблице 1. Таблица 1 Набор данных по руднику «А» x y 3 9 2 7 4 12 5 15 6 17 7 19 8 21 9 23,4 10 25,6 11 27,8 Выбрав в ленте инструментов вкладку «Данные», далее группу «Анализ», далее средство анализа «Анализ данных», далее инструмент анализа «Описательная статистика», получаем одномерный статистический отчет, содержащий информацию о центральной тенденции и изменчивости или вариации входных данных. Рис. 1. Диалоговое окно инструмента анализа «Описательная статистика» В состав описательной статистики входят такие характеристики: среднее; стандартная ошибка; медиана; мода; стандартное отклонение; дисперсия выборки; эксцесс; асимметричность; интервал; минимум; максимум; сумма; счет. Результаты расчетов инструмента анализа «Описательная статистика» для двух переменных из набора данных А приведен в таблице 2. Таблица 2 Описательная статистика для набора данных по руднику «А» Характеристика x y Среднее 6,5 17,68 Стандартная ошибка 0,957427108 2,210922382 Медиана 6,5 18 Стандартное отклонение 3,027650354 6,991550456 Дисперсия выборки 9,166666667 48,88177778 Эксцесс -1,2 -1,106006058 Асимметричность -0,128299221 Интервал 9 20,8 Минимум 2 7 Максимум 11 27,8 Сумма 65 176,8 Счет 10 10 Наибольший (1) 11 27,8 Наименьший (1) 2 7 Уровень надежности (95,0%) 2,16585224 5,001457714 Центральная тенденция Измерение центральной тенденции заключается в выборе числа, которое наилучшим способом описывает все значения признака набора данных. Такое число имеет как свои достоинства, так и недостатки. Рассмотрим две характеристики этого измерения, а именно: среднее значение и медиану. Главная цель среднего – представление набора данных для последующего анализа, сопоставления и сравнения. Значение среднего легко вычисляется и может быть использовано для последующего анализа. Оно может быть вычислено для данных, измеряемых по интервальной шкале, и для некоторых данных, измеряемых по порядковой шкале. Среднее значение рассчитывается как среднее арифметическое набора данных: сумма всех значений выборки, деленная на объем выборки. "Сжимая" данные таким образом, мы теряем много информации. Среднее значение очень информативно и позволяет делать вывод относительно всего исследуемого набора данных. При помощи среднего мы получаем возможность сравнивать несколько наборов данных или их частей. При анализе данных средним не следует злоупотреблять, необходимо учитывать его свойства и ограничения. Известны характеристики, показывающие некорректность использования этой меры центральной тенденции для некоторых случаев. Свойства среднего - при расчете среднего не допускаются пропущенные значения данных. - среднее может вычисляться только для числовых данных и для дихотомических шкал. - для одного набора данных может быть рассчитано одно и только одно значение среднего. Информативность среднего значения переменной высока, если известен ее доверительный интервал. Доверительным интервалом для среднего значения является интервал значений вокруг оценки, где с данным уровнем доверия находится «истинное» среднее популяции. Вычисление доверительных интервалов основывается на предположении нормальности наблюдаемых величин. Ширина доверительного интервала зависит от размера выборки и от разброса данных. С увеличением размера выборки точность оценки среднего возрастает. С увеличением разброса значений выборки надежность среднего падает. Если размер выборки достаточно большой, качество среднего увеличивается независимо от выполнения предположения нормальности выборки. Медиана – точная середина выборки, которая делит ее на две равные части по числу наблюдений. Обязательным условием нахождения медианы является упорядоченность выборки. Таким образом, для нечетного количества наблюдений медианой выступает наблюдение с номером (n+1)/2, где n – количество наблюдений в выборке. Для четного числа наблюдений медианой является среднее значение наблюдений n/2 и (n+2)/2. Некоторые свойства медианы - для одного набора данных может быть рассчитано одно и только одно значение медианы. - медиана может быть рассчитана для неполного набора данных, для этого необходимо знать номера наблюдений по порядку, общее количество наблюдений и несколько значений в середине набора данных. Характеристики вариации данных Наиболее простыми характеристиками выборки являются максимум и минимум. Минимум – наименьшее значение выборки. Максимум – наибольшее значение выборки. Размах – разница между наибольшим и наименьшим значениями выборки. Дисперсия – среднее арифметическое квадратов отклонений значений от их среднего. Стандартное отклонение – квадратный корень из дисперсии выборки – мера того, насколько широко разбросаны точки данных относительно их среднего. Эксцесс показывает «остроту пика» распределения, характеризует относительную остроконечность или сглаженность распределения по сравнению с нормальным распределением. Положительный эксцесс обозначает относительно остроконечное распределение (пик заострен). Отрицательный эксцесс обозначает относительно сглаженное распределение (пик закруглен). Если эксцесс существенно отличается от нуля, то распределение имеет или более закругленный пик, чем нормальное, или, напротив, имеет более острый пик (возможно, имеется несколько пиков). Эксцесс нормального распределения равен нулю. Асимметрия или асимметричность показывает отклонение распределения от симметричного. Если асимметрия существенно отличается от нуля, то распределение несимметрично, нормальное распределение абсолютно симметрично. Если распределение имеет длинный правый хвост, асимметрия положительна; если длинный левый хвост – отрицательна. Выбросы (outliers) – данные, резко отличающиеся от основного числа данных. При обнаружении выбросов перед исследователем стоит дилемма: оставить наблюдения-выбросы либо от них отказаться. Второй вариант требует серьезной аргументации и описания. Полезным будет провести анализ данных с выбросами и без и сравнить результаты. Следует помнить, что при применении классических методов статистического анализа, которые, как правило, не являются робастными (устойчивыми), наличие выбросов в наборе данных приводит к некорректным результатам. Если набор данных относительно мал, исключение данных, которые считаются выбросами, может заметно повлиять на результаты анализа. Наличие выбросов в наборе данных может быть связано с появлением так называемых «сдвинутых» значений, связанных с систематической ошибкой, ошибок ввода, ошибок сбора данных и т.д. Иногда к выбросам могут относиться наименьшие и наибольшие значения набора данных. Корреляционный анализ Корреляционный анализ применяется для количественной оценки взаимосвязи двух наборов данных, представленных в безразмерном виде. Корреляционный анализ дает возможность установить, ассоциированы ли наборы данных по величине. Коэффициент корреляции, всегда обозначаемый латинской буквой r, используется для определения наличия взаимосвязи между двумя свойствами. Связь между признаками (по шкале Чеддока) может быть сильной, средней и слабой. Тесноту связи определяют по величине коэффициента корреляции, который может принимать значения от -1 до +1 включительно. Критерии оценки тесноты связи показаны на рисунке 2. Рис. 2. Количественные критерии оценки тесноты связи Коэффициент корреляции Пирсона Коэффициент корреляции Пирсона r, который является безразмерным индексом в интервале от -1,0 до 1,0 включительно, отражает степень линейной зависимости между двумя множествами данных. Показатель тесноты связи между двумя признаками определяется по формуле линейного коэффициента корреляции: где x – значение факторного признака; y – значение результативного признака; n – число пар данных. Парная корреляция – это связь между двумя признаками: результативным и факторным или двумя факторными. Варианты связи, характеризующие наличие или отсутствие линейной связи между признаками: - большие значения из одного набора данных связаны с большими значениями другого набора (положительная корреляция) – наличие прямой линейной связи; - малые значения одного набора связаны с большими значениями другого (отрицательная корреляция) – наличие отрицательной линейной связи; - данные двух диапазонов никак не связаны (нулевая корреляция) – отсутствие линейной связи. В качестве примера возьмем набор данных по руднику «А» (таблица 1). Необходимо определить наличие линейной связи между признаками x и y. Для графического представления связи двух переменных использована система координат с осями, соответствующими переменным x и y. Построенный график, называемый диаграммой рассеивания, показан на рисунке 3. Данная диаграмма показывает, что низкие значения переменной x соответствуют низким значениям переменной y, высокие значения переменной x соответствуют высоким значениям переменной y. Этот пример демонстрирует наличие явной связи. Рис. 3. Диаграмма рассеивания Таким образом, мы можем установить зависимость между переменными x и y. Рассчитаем коэффициент корреляции Пирсона между двумя массивами (x и y) при помощи специализированной функции MS Excel: =PEARSON(массив1;массив2). В результате получаем значение коэффициент корреляции равный 0,998364, т.е. связь между переменными x и y является весьма высокой. Используя пакет анализа MS Excel и инструмент анализа «Корреляция», можно построить корреляционную матрицу. Рис. 4. Диалоговое окно инструмента анализа «Корреляция» Любая зависимость между переменными обладает двумя важными свойствами: величиной и надежностью. Чем сильнее зависимость между двумя переменными, тем больше величина зависимости и тем легче предсказать значение одной переменной по значению другой переменной. Величину зависимости легче измерить, чем надежность. Надежность зависимости не менее важна, чем ее величина. Это свойство связано с представительностью исследуемой выборки. Надежность зависимости характеризует, насколько вероятно, что эта зависимость будет снова найдена на других данных. С ростом величины зависимости переменных ее надежность обычно возрастает. Регрессионный анализ Основная особенность регрессионного анализа: при его помощи можно получить конкретные сведения о том, какую форму и характер имеет зависимость между исследуемыми переменными. Последовательность этапов регрессионного анализа Рассмотрим кратко этапы регрессионного анализа. 1. Формулировка задачи. На этом этапе формируются предварительные гипотезы о зависимости исследуемых явлений. 2. Определение зависимых и независимых (объясняющих) переменных. 3. Сбор статистических данных. Данные должны быть собраны для каждой из переменных, включенных в регрессионную модель. 4. Формулировка гипотезы о форме связи (простая или множественная, линейная или нелинейная). 5. Определение функции регрессии (заключается в расчете численных значений параметров уравнения регрессии) 6. Оценка точности регрессионного анализа. 7. Интерпретация полученных результатов. Полученные результаты регрессионного анализа сравниваются с предварительными гипотезами. Оценивается корректность и правдоподобие полученных результатов. 8. Предсказание неизвестных значений зависимой переменной. При помощи регрессионного анализа возможно решение задачи прогнозирования и классификации. Прогнозные значения вычисляются путем подстановки в уравнение регрессии параметров значений объясняющих переменных. Решение задачи классификации осуществляется таким образом: линия регрессии делит все множество объектов на два класса, и та часть множества, где значение функции больше нуля, принадлежит к одному классу, а та, где оно меньше нуля, - к другому классу. Задачи регрессионного анализа Рассмотрим основные задачи регрессионного анализа: установление формы зависимости, определение функции регрессии, оценка неизвестных значений зависимой переменной. Установление формы зависимости Характер и форма зависимости между переменными могут образовывать следующие разновидности регрессии: - положительная линейная регрессия (выражается в равномерном росте функции); - положительная равноускоренно возрастающая регрессия; - положительная равнозамедленно возрастающая регрессия; - отрицательная линейная регрессия (выражается в равномерном падении функции); - отрицательная равноускоренно убывающая регрессия; - отрицательная равнозамедленно убывающая регрессия. Однако описанные разновидности обычно встречаются не в чистом виде, а в сочетании друг с другом. В таком случае говорят о комбинированных формах регрессии. Определение функции регрессии Вторая задача сводится к выяснению действия на зависимую переменную главных факторов или причин, при неизменных прочих равных условиях, и при условии исключения воздействия на зависимую переменную случайных элементов. Функция регрессии определяется в виде математического уравнения того или иного типа. Оценка неизвестных значений зависимой переменной Решение этой задачи сводится к решению задачи одного из типов: - оценка значений зависимой переменной внутри рассматриваемого интервала исходных данных, т.е. пропущенных значений; при этом решается задача интерполяции; - оценка будущих значений зависимой переменной, т.е. нахождение значений вне заданного интервала исходных данных; при этом решается задача экстраполяции. Обе задачи решаются путем подстановки в уравнение регрессии найденных оценок параметров значений независимых переменных. Результат решения уравнения представляет собой оценку значения целевой (зависимой) переменной. Рассмотрим некоторые предположения, на которые опирается регрессионный анализ. Предположение линейности, т.е. предполагается, что связь между рассматриваемыми переменными является линейной. Так, в рассматриваемом примере мы построили диаграмму рассеивания и смогли увидеть явную линейную связь. Если же на диаграмме рассеивания переменных мы видим явное отсутствие линейной связи, т.е. присутствует нелинейная связь, следует использовать нелинейные методы анализа. Предположение о нормальности остатков. Оно допускает, что распределение разницы предсказанных и наблюдаемых значений является нормальным. Для визуального определения характера распределения можно воспользоваться гистограммами остатков. При использовании регрессионного анализа следует учитывать его основное ограничение. Оно состоит в том, что регрессионный анализ позволяет обнаружить лишь зависимости, а не связи, лежащие в основе этих зависимостей. Регрессионный анализ дает возможность оценить степень связи между переменными путем вычисления предполагаемого значения переменной на основании нескольких известных значений. Уравнение регрессии Уравнение регрессии выглядит следующим образом: Y=a+bX При помощи этого уравнения переменная Y выражается через константу a и угол наклона прямой (или угловой коэффициент) b, умноженный на значение переменной X. Константу a также называют свободным членом, а угловой коэффициент – коэффициентом регрессии или B-коэффициентом. В большинстве случав (если не всегда) наблюдается определенный разброс наблюдений относительно регрессионной прямой. Остаток – это отклонение отдельной точки (наблюдения) от линии регрессии (предсказанного значения). Для решения задачи регрессионного анализа в MS Excel выбираем в ленте инструментов вкладку «Данные», далее группу «Анализ», далее средство анализа «Анализ данных» и инструмент анализа «Регрессия». Задаем входные интервалы X и Y. Входной интервал Y – это диапазон зависимых анализируемых данных, он должен включать один столбец. Входной интервал X – это диапазон независимых данных, которые необходимо проанализировать. Число входных диапазонов должно быть не больше 16. Рис. 5. Диалоговое окно инструмента анализа «Регрессия» На выходе процедуры в выходном диапазоне получаем отчет, приведенный в таблицах 3-5. Таблица 3 Регрессионная статистика Множественный R 0,998364 R-квадрат 0,99673 Нормированный R-квадрат 0,996321 Стандартная ошибка 0,42405 Наблюдения 10 Сначала рассмотрим верхнюю часть расчетов, представленную в таблице 3 – регрессионную статистику. Величина R-квадрат, называемая также мерой определенности, характеризует качество полученной регрессионной прямой. Это качество выражается степенью соответствия между исходными данными и регрессионной моделью (расчетными данными). Мера определенности всегда находится в пределах интервала [0;1]. В большинстве случаев значение R-квадрат находится между этими значениями, называемыми экстремальными, т.е. между нулем и единицей. Если значение R-квадрата близко к единице, это означает, что построенная модель объясняет почти всю изменчивость соответствующих переменных. И наоборот, значение R-квадрата, близкое к нулю, означает плохое качество построенной модели. В нашем примере мера определенности равна 0,99673, что говорит об очень хорошей подгонке регрессионной прямой к исходным данным. Множественный R – коэффициент множественной корреляции R – выражает степень зависимости независимых переменных (X) и зависимой переменной (Y). Множественный равен квадратному корню из коэффициента детерминации, эта величина принимает значения в интервале от нуля до единицы. В простом линейном регрессионном анализе множественный R равен коэффициенту корреляции Пирсона. Действительно, множественный R в нашем случае равен коэффициенту корреляции Пирсона из предыдущего примера (0,998364). Таблица 4 Коэффициенты регрессии Коэффициенты Стандартная ошибка t-статистика Y-пересечение 2,694545455 0,33176878 8,121757129 Переменная X 1 2,305454545 0,04668634 49,38177965 * Приведен усеченный вариант расчетов Теперь рассмотрим среднюю часть расчетов, представленную в таблице 4. Здесь даны коэффициент регрессии b (2,305454545) и смещение по оси ординат, т.е. константа a (2,694545455). Исходя из расчетов, можем записать уравнение регрессии таким образом: Y= x2,305454545+2,694545455 Направление связи между переменными определяется на основании знаков (отрицательный или положительный) коэффициентов регрессии (коэффициента b). Если знак при коэффициенте регрессии – положительный, связь зависимой переменной с независимой будет положительной. В нашем случае знак коэффициента регрессии положительный, следовательно, связь также является положительной. Если знак при коэффициенте регрессии – отрицательный, связь зависимой переменной с независимой является отрицательной (обратной). В таблице 5 представлены результаты вывода остатков. Для того чтобы эти результаты появились в отчете, необходимо при запуске инструмента анализа «Регрессия» активировать чекбокс (галочку) «Остатки» в исходном диалоговом окне. Таблица 5 Остатки Наблюдение Предсказанное Y Остатки Стандартные остатки 1 9,610909091 -0,610909091 -1,528044662 2 7,305454545 -0,305454545 -0,764022331 3 11,91636364 0,083636364 0,209196591 4 14,22181818 0,778181818 1,946437843 5 16,52727273 0,472727273 1,182415512 6 18,83272727 0,167272727 0,418393181 7 21,13818182 -0,138181818 -0,34562915 8 23,44363636 -0,043636364 -0,109146047 9 25,74909091 -0,149090909 -0,372915662 10 28,05454545 -0,254545455 -0,636685276 При помощи этой части отчета мы можем видеть отклонения каждой точки от построенной линии регрессии. Наибольшее абсолютное значение остатка в нашем случае – 0,778, наименьшее – 0,043. Для лучшей интерпретации этих данных воспользуемся графиком исходных данных и построенной линией регрессии, представленными на рисунке 6. Как видим, линия регрессии достаточно точно «подогнана» под значения исходных данных. Следует учитывать, что рассматриваемый пример является достаточно простым и далеко не всегда возможно качественное построение регрессионной прямой линейного вида. Рис. 6. Исходные данные и линия регрессии Осталась нерассмотренной задача оценки неизвестных будущих значений зависимой переменной на основании известных значений независимой переменной, т.е. задача прогнозирования. Имея уравнение регрессии, задача прогнозирования сводится к решению уравнения Y = x2,305454545+2,694545455 с известными значениями x. Результаты прогнозирования зависимой переменной Y на шесть шагов вперед представлены в таблице 6. Таблица 6 Результаты прогнозирования переменной Y x Y(прогнозируемое) 11 28,05455 12 30,36 13 32,66545 14 34,97091 15 37,27636 16 39,58182 Если функция регрессии определена, интерпретирована и обоснована, и оценка точности регрессионного анализа соответствует требованиям, можно считать, что построенная модель и прогнозные значения обладают достаточной надежностью. Прогнозные значения, полученные таким способом, являются средними значениями, которые можно ожидать. Метод наименьших квадратов в MS Excel Метод наименьших квадратов – это математическая процедура составления линейного уравнения, максимально соответствующего набору упорядоченных пар, путем нахождения значений для a и b, коэффициентов в уравнении прямой. Цель метода наименьших квадратов состоит в минимизации общей квадратичной ошибки между значениями y и ŷ. Если для каждой точки мы определяем ошибку ŷ, метод наименьших квадратов минимизирует: где n – число упорядоченных пар вокруг линии. максимально соответствующей данным. Это понятие проиллюстрировано на рисунке 1. Рис. 1. Упорядоченные пар вокруг линии регрессии Линия, максимально соответствующая данным (линия регрессии) минимизирует общую квадратичную ошибку четырех точек на графике. Пример. Пусть на руднике «А» в одновременной выемке находятся пять очистных блоков, в которых добывается медно-никелевые руды, с применением камерно-целиковой системы разработки со скважинной отбойкой. В одном из блоков систематически стало повышаться разубоживание руды, из-за примешивания пустых пород и закладочного материала, происходящее во время отбойки массива пород. Для анализа качества добываемой руды и разработки соответствующих мероприятий в течение нескольких месяцев было проведено статистическое наблюдение за уровнем ее разубоживания. В таблице 1 представлены коэффициенты разубоживания руды (%) в очистном блоке рудника «А» за последние несколько месяцев его работы. Таблица 1 Набор исходных данных по очистному блоку Месяц Коэффициент разубоживания руды, % 1 8 2 6 3 10 4 6 5 10 6 13 7 9 8 11 9 15 10 17 Целью задачи является узнать, на сколько увеличивается со временем коэффициент разубоживания руды, поэтому «Месяц» будет независимой переменной, а «Коэффициент разубоживания» - зависимой. С помощью метода наименьших квадратов определяем уравнение, максимально соответствующее данным, путем вычисления значений a, отрезка на оси y, и b, наклона линии: a = yср – bxср где xср – среднее значение x, независимой переменной; yср – среднее значение y, независимой переменной. В таблице 2 суммированы необходимые для этих уравнений вычисления. Таблица 2 Суммированные значения переменных Месяц Коэффициент разубоживания руды x y xy x2 y2 1 8 8 1 64 2 6 12 4 36 3 10 30 9 100 4 6 24 16 36 5 10 50 25 100 6 13 78 36 169 7 9 63 49 81 8 11 88 64 121 9 15 135 81 225 10 17 170 100 289 x = 55 x = 105 xy = 658 x2 = 385 y2 = 1221 Кривая эффекта будет определяться следующим уравнением: ŷ=5,13+0,976x Поскольку уравнение имеет положительный наклон – 0,976, то можно сделать вывод, что коэффициент разубоживания руды увеличивается на 1% в месяц. На рисунке 2 представлена кривая эффекта с упорядоченными парами. Таблица 3 Расчет ожидаемого коэффициента разубоживания Месяц Коэффициент разубоживания руды (фактический), % Коэффициент разубоживания руды (ожидаемый), % ŷ=5,13+0,976x 1 8 6,106 2 6 7,082 3 10 8,058 4 6 9,034 5 10 10,01 6 13 10,986 7 9 11,962 8 11 12,938 9 15 13,914 10 17 14,89 Рис. 2. Линия регрессии с упорядоченными парами Ожидание в отношении коэффициента разубоживания в течение следующего полугода (месяца 16) будет вычисляться так: ŷ = 5.13 + 0,976x = 5,13 + 0,976(16) ≈ 20,7 = 21 предмет Специализированная функция «Тенденция» в MS Excel В Excel имеется функция для расчета значения по методу наименьших квадратов. Это функция называется ТЕНДЕНЦИЯ. Синтаксис у нее следующий: ТЕНДЕНЦИЯ (известные значения Y; известные значения X; новые значения X; конст), где известные значения Y – массив зависимых переменных, в нашем случае, коэффициент разубоживания руды; известные значения X – массив независимых переменных, в нашем случае это месяц; новые значения X – новые значения X (месяца), для которого функция ТЕНДЕНЦИЯ возвращает ожидаемое значение зависимых переменных (коэффициент разубоживания руды); конст – необязательный. Логическое значение, которое указывает, требуется ли, чтобы константа b была равна 0. Например, на рисунке показана функция ТЕНДЕНЦИЯ, используемая для определения ожидаемого количества предметов на столике в ванной для 16-го месяца. Метод линейного программирования в MS Excel Используя метод линейного программирования, можно решать задачи по определению оптимальной сети разведочных скважин и выработок, расчету крепи горных выработок, нагрузки на отдельные лавы и угольные пласты, сечения горных выработок, по условиям вентиляции. Возможно также упрощенное решение и более крупных задач по определению производительности шахты и размеров шахтного (рудничного) поля. В общем случае методом линейного программирования могут быть решены задачи, в которых целевая функция является линейной функцией многих переменных, а ограничивающие условия заданы системой линейных равенств и неравенств. Задача сводится к отысканию экстремума (точки min и max) линейной функции вида При наличии ограничивающих условий т.е. в общем случае т.е. в общем случае В качестве ограничивающих условий могут быть приняты лимиты по капиталовложениям, другим видам затрат, по удельным расходам материала, сырья, топлива, по времени выполнения работ, уровню производительности машин и оборудования и т.д. Задачи программирования с небольшим числом переменных (5-10) могут быть решены вручную, но лучше все более или менее сложные задачи решать с применением пакета анализа «Поиск решений» в программе Microsoft Excel. Для решения задач линейного программирования обычно применяют симплекс-метод и метод обобщенного приведенного градиента (ОПГ). Пример. Рассмотрим рудник, состоящий из двух участков, на каждом из которых с учетом горно-геологических условий могут применяться две системы разработки. Плановое качество руды определено содержанием полезного компонента в пределах 6,8-7,2%, а объем добычи должен быть не менее 500 тыс. т. Коэффициенты извлечения руды из недр для систем разработки равны 0,6 и 0,7. Остальные данные по участкам и системам разработки указаны в таблице. № участка Содержание полезного компонента, % Затраты на добычу руды (руб/т) при системах разработки Минимальная добыча руды, тыс. т Максимальная добыча руды, тыс. т I II 1 6 3,0 2,5 180 320 2 8 2,0 1,5 200 360 Какими системами разработки на участках можно обеспечить выполнение плановых и технологических условий с минимальными суммарными затратами на добычу? Решение: обозначим через xi искомый объем добычных работ на i-м участке при использовании j-й системы разработки Запишем математическую модель задачи. Целевая функция – суммарные затраты на добычу При наличии ограничивающих условий: а) по плановой добыче б) по качеству руды в) по общему объему добычи участков с учетом запасов г) по неотрицательности искомых объемов добычи После необходимых преобразований ограничивающее условие «б» запишем в виде двух неравенств: Заполняем таблицу в программе Microsoft Excel по следующему алгоритму: 1. В ячейках А2:D2 указываем начальные значения величин xij (нули); 2. В ячейках А3:D3 разместим коэффициенты при неизвестных из левых частей ограничений; 3. В ячейки А4:D5 вводим значения условий по качеству руды (по содержаниям полезного компонента и по коэффициентам извлечения руды из недр); 4. В ячейки А6:B6 вводим величины минимальной добычи; 5. В ячейки А7:B7 - величины максимальной добычи; 6. В ячейках А8:D8 указываем затраты на добычу 1 т руды; 7. В ячейки Е4:Е5 вводим формулы для упрощения расчета левых частей неравенств: =СУММПРОИЗВ($A$2:$D$2;A4:D4); =СУММПРОИЗВ($A$2:$D$2;A4:D4;A5:D5); 8. В ячейку Н2 записываем целевую функцию =СУММПРОИЗВ(A2:D2;A8:D8); 9. В ячейки F3:F7 вводим формулы для расчета левых частей неравенств: =СУММПРОИЗВ($A$2:$D$2;A3:D3); =6,8*E4-E5; =E5-7,2*E4; =СУММ(A2:B2); =СУММ(C2:D2); 10. В ячейки G3:G5 записывается ограничивающие условия (правые части неравенств) Заполнение таблицы исходных данных 11. Выполним команду «Данные→Анализ→Поиск решения» – откроется диалоговое окно «Параметры поиска решения» (предварительно установить в «Надстройках Excel»); Заполнение диалогового окна «Параметры поиска решения» 12. В поле «Оптимизировать целевую функцию» мышью укажем ячейку, содержащую оптимизируемое значение (H2). Решение задачи оптимального применения систем разработки Оптимизация позволила выявить, что и на первом и на втором участках следует применять только II систему разработки, добывая соответственно по участкам 200 и 300 тыс. т руды. При таком планировании минимальные затраты на добычу составят 950 тыс. руб. Значения в ячейках F3 = 500 и F5 = 0 показывают, что первое и третье ограничения выполняются как равенства, т.е. суммарная добыча составит 500 тыс.т, а содержание полезного компонента 7,2%.