Статистические методы изучения стохастических связей во внешней торговле

5. СТАТИСТИЧЕСКИЕ МЕТОДЫ СВЯЗЕЙ ВО ВНЕШНЕЙ ТОРГОВЛЕ Основные вопросы: ИЗУЧЕНИЯ СТОХАСТИЧЕСКИХ 1. Понятие о стохастической (статистической) и корреляционной связи. 2. Условия применения и задачи корреляционно-регрессионного анализа. 3. Парный регрессионный анализ. 4. Показатели тесноты парной линейной зависимости и их интерпретация. 5. Оценка значимости уравнения регрессии 6. Точечный и интервальный прогноз по уравнению линейной регрессии. 7. Построение парного нелинейного уравнения, метод линеаризации. 1. Понятие о стохастической (статистической) и корреляционной связи Современная наука изучает взаимосвязи явлений природы и общества в интересах повышения управляемости и предсказуемости исследуемых процессов. Величины, характеризующие различные свойства явлений, могут быть независимыми или взаимосвязанными. Различают два вида зависимостей между величинами (факторами): функциональную и статистическую. При функциональной зависимости двух величин значению одной из них обязательно соответствует одно или несколько точно определенных значений другой величины. Функциональная связь двух факторов возможна лишь при условии, что вторая величина зависит только от первой и не зависит ни от каких других величин. Функциональная связь одной величины с множеством других возможна, если эта величина зависит только от этого множества факторов. В реальных ситуациях существует бесконечно большое количество свойств самого объекта и внешней среды, влияющих друг на друга, поэтому такого рода связи не существуют, иначе говоря, функциональные связи являются математическими абстракциями. Их применение допустимо тогда, когда соответствующая величина в основном зависит от соответствующих факторов. При исследовании данных таможенной статистики большинство параметров (вес, стоимость, цена товара и т.д.) следует считать случайными, что исключает проявление однозначного соответствия значений. Воздействие общих факторов, наличие объективных закономерностей в поведении объектов приводят лишь к проявлению статистической зависимости. Статистической называют зависимость, при которой изменение одной из величин влечет изменение распределения других (другой), и эти другие величины принимают некоторые значения с определенными вероятностями. Функциональную зависимость в таком случае следует считать частным случаем статистической: значению одного фактора соответствуют значения других факторов с вероятностью, равной единице. Однако на практике такое рассмотрение функциональной связи применения не нашло. Более важным частным случаем статистической зависимости является корреляционная зависимость, характеризующая взаимосвязь значений одних случайных величин со средним значением других, хотя в каждом отдельном случае любая взаимосвязанная величина может принимать различные значения. Термин «корреляция» был введен в науку выдающимся английским естествоиспытателем Френсисом Гальтоном в 1886 г. Корреляция – статистическая взаимосвязь двух или нескольких случайных величин (либо величин, которые можно с некоторой допустимой степенью точности считать таковыми). При этом, изменения одной или нескольких из этих величин приводят к систематическому изменению другой или других величин. Математической мерой корреляции двух случайных величин служит коэффициент корреляции. Корреляционная связь между признаками может возникать различными путями, важнейшим из них является причинная зависимость вариации результативного признака от вариации факторного признака, т.е. результативный признак формирует свои значения под влиянием изменения значения факторного признака. Классификация корреляционных связей может быть различной в зависимости от признака, положенного в ее основу. Корреляционные связи различаются: – по направлению: 1) прямые (положительные), когда зависимая переменная растет с увеличением факторного признака; 2) обратные (отрицательные), при которых рост зависимой переменной сопровождается уменьшением факторного признака; – по аналитической форме: 1) линейные, когда между признаками проявляются линейные отношения; 2) нелинейные, когда взаимосвязь между признаками в среднем выражается нелинейной функцией. Прямолинейной может быть, например, связь между стажем работы сотрудника таможенных органов и результативностью применяемых им интуитивных профилей рисков. Интересно, что в то же время криволинейной может быть, например, связь между уровнем мотивации и эффективностью выполнения сотрудником задачи (рис. 1). При повышении мотивации эффективность выполнения задачи сначала возрастает, затем достигается оптимальный уровень мотивации, которому соответствует максимальная эффективность выполнения задачи; дальнейшему повышению мотивации сопутствует уже снижение эффективности. Рис.1. Связь между эффективностью решения задачи и силой мотивационной тенденции – по количеству взаимодействующих факторов: 1) парные, если характеризуется связь двух признаков; 2) множественные, если изучаются более чем две переменные; – по силе: 1) слабые 2) сильные; при этом сила связи интерпретируется в соответствии с общепринятыми критериями; – по характеру связи: 1) непосредственные; 2) косвенные, если существует третья величина, являющаяся связующим звеном между изучаемыми признаками; 3) ложные – связи, установленные формально и подтвержденные только количественными оценками, не имеющими под собой качественной основы или вообще бессмысленные. В наиболее общем виде задача таможенной статистики в области изучения взаимосвязей состоит в количественной оценке их наличия и направления, а также характеристике силы и формы влияния одних факторов на другие. Для ее решения применяются две группы методов, одна из которых включает в себя методы корреляционного анализа, а другая – регрессионный анализ. В то же время ряд исследователей объединяет эти методы в корреляционно-регрессионный анализ, что имеет под собой некоторые основания: наличие целого ряда общих вычислительных процедур, взаимодополнения при интерпретации результатов и др. Поэтому в данном контексте можно говорить о корреляционном анализе в широком смысле – когда всесторонне характеризуется взаимосвязь. В то же время выделяют корреляционный анализ в узком смысле – когда исследуется сила связи – и регрессионный анализ, в ходе которого оцениваются ее форма и воздействие одних факторов на другие. Задачи собственно корреляционного анализа сводятся к измерению тесноты связи между варьирующими признаками, определению неизвестных причинных связей и оценке факторов оказывающих наибольшее влияние на результативный признак. Задачи регрессионного анализа лежат в сфере установления формы зависимости, определения функции регрессии, использования уравнения для оценки неизвестных значении зависимой переменной. Решение названных задач опирается на соответствующие приемы, алгоритмы, показатели, применение которых дает основание говорить о статистическом изучении взаимосвязей. Следует заметить, что традиционные методы корреляции и регрессии широко представлены в разного рода статистических пакетах программ для ЭВМ. Исследователю остается только правильно подготовить информацию, выбрать удовлетворяющий требованиям анализа пакет программ и быть готовым к интерпретации полученных результатов. Алгоритмов вычисления параметров связи существует множество, и в настоящее время вряд ли целесообразно проводить такой сложный вид анализа вручную. Вычислительные процедуры представляют самостоятельный интерес, но знание принципов изучения взаимосвязей, возможностей и ограничений тех или иных методов интерпретации результатов является обязательным условием исследования. Методы оценки тесноты связи подразделяются на корреляционные (параметрические) и непараметрические. Параметрические методы основаны на использовании, как правило, оценок нормального распределения и применяются в случаях, когда изучаемая совокупность состоит из величин, которые подчиняются закону нормального распределения. На практике это положение чаще всего принимается априори. Собственно, эти методы – параметрические – и принято называть корреляционными. Непараметрические методы не накладывают ограничений на закон распределения изучаемых величин. Их преимуществом является и простота вычислений. Применение методов корреляционно-регрессионного анализа для выявления связи между признаками, характеризующими таможенные правонарушения (в интересах управления рисками), рекомендовано Всемирной таможенной организацией. При этом особую значимость приобретают технологии компьютерной обработки статистических данных в интересах выявления скрытых закономерностей – технологии Data Mining. 2. Условия применения и задачи корреляционно-регрессионного анализа. Проблемы его применения для изучения связей во внешней торговле Поскольку корреляционная связь является статистической, первым условием возможности ее изучения является общее условие всякого статистического исследования: наличие данных по достаточно большой совокупности явлений. По отдельным явлениям можно получить совершенно превратное представление о связи признаков, ибо в каждом отдельном явлении значения признаков кроме закономерной составляющей имеют случайное отклонение (вариацию). Какое именно число явлений достаточно для анализа корреляционной и вообще статистической связи, зависит от цели анализа, требуемой точности и надежности параметров связи, от числа факторов, корреляция с которыми изучается. Обычно считают, что число наблюдений должно быть не менее чем в 5–6, а лучше – не менее чем в 10 раз больше числа факторов. Еще лучше, если число наблюдений в несколько десятков или в сотни раз больше числа факторов, тогда закон больших чисел, действуя в полную силу, обеспечивает эффективное взаимопогашение случайных отклонений от закономерного характера связи признаков. Вторым условием закономерного проявления корреляционной связи служит условие, обеспечивающее надежное выражение закономерности в средней величине. Кроме уже указанного большого числа единиц совокупности для этого необходима достаточная качественная однородность совокупности. Нарушение этого условия может извратить параметры корреляции. Иногда как условие корреляционного анализа выдвигают необходимость подчинения распределения совокупности по результативному и факторным признакам нормальному закону распределения вероятностей. Это условие связано с применением метода наименьших квадратов при расчете параметров корреляции: только при нормальном распределении метод наименьших квадратов дает оценку параметров, отвечающую принципам максимального правдоподобия. На практике эта. предпосылка чаще всего выполняется приближенно, но и тогда метод наименьших квадратов дает неплохие результаты. Однако при значительном отклонении распределений признаков от нормального закона нельзя оценивать надежность выборочного коэффициента корреляции, используя параметры нормального распределения вероятностей или распределения Стьюдента. Еще одним спорным вопросом является допустимость применения корреляционного анализа к функционально связанным признакам. Можно ли, например, построить уравнение корреляционной зависимости размеров стоимости экспорта картофеля, от объема продажи и цены? Ведь произведение объема продажи и цены равно стоимости экспорта в каждом отдельном случае. Как правило, к таким жестко детерминированным связям применяют только индексный метод анализа. Однако на этот вопрос можно взглянуть и с другой точки зрения. При индексном анализе стоимости экспорта предполагается, что количество экспортируемого картофеля и его цена независимы друг от друга, потому-то и допустима абстракция от изменения одного фактора при измерении влияния другого, как это принято в индексном методе. В реальности количество и цена не являются вполне независимыми друг от друга. Корреляционно-регрессионный анализ учитывает межфакторные связи, следовательно, дает нам более полное измерение роли каждого фактора: прямое, непосредственное его влияние на результативный признак; косвенное влияние фактора через его влияние на другие факторы; влияние всех факторов на результативный признак. Если связь между факторами несущественна, индексным анализом можно ограничиться. В противном случае его полезно дополнить корреляционнорегрессионным измерением влияния факторов, даже если они функционально связаны с результативным признаком. 3. Парный регрессионный анализ Термин регрессия (regression (лат.) – отступление, возврат к чему-либо) связан со спецификой одной из конкретных задач, решенных на стадии становления метода, и в настоящее время не отражает всей сущности метода, но продолжает применяться. Регрессия – зависимость среднего значения случайной величины у от одной или нескольких других случайных величин (свободных переменных): Регрессионным анализом называется поиск такой функции f, которая описывает эту зависимость. Регрессия может быть представлена в виде суммы неслучайной и случайной составляющих. где – функция регрессионной зависимости, связывающая переменные x и y; εi – значение некоторой случайной величины (с нулевым средним значением), соответствующее i-му наблюдению. Регрессионный анализ позволяет получить статистическую модель изучаемого процесса, которая при определенных условиях может использоваться для дальнейшего анализа, ситуации или управления этой ситуацией. Полученную зависимость можно представить на графике, при этом множество точек будет называться полем корреляции или диаграммой рассеяния. При построении диаграммы рассеяния рекомендуется масштабы по осям x и y выбирать так, чтобы значения обоих признаков укладывались на отрезках приблизительно равной длины. По направленности точек поля корреляции можно сделать вывод о направленности связи. Если все точки поля соединить отрезками прямой линии строго по мере роста х, получится эмпирическая линия и регрессии. Простейшим видом корреляционной связи является линейная связь между двумя признаками: результатом и фактором. Значение такой связи состоит в том, что среди всех факторов, влияющих на результат, как правило, есть один наиважнейший, который в основном определяет вариацию результативного признака. Если предполагается, что исследуемая связь носит линейный характер, в качестве модели выбирается класс линейных функций . Если считается, что связь нелинейная, то определяется соответствующая форма нелинейной зависимости, например: (парабола), (гипербола) и т.д. Получаемое уравнение регрессии должно давать хорошее приближение к реальной тенденции взаимосвязи результата и фактора. Постановка задачи. По имеющимся данным n статистических наблюдений за совместным изменением двух параметров x и y {(xi,yi), i=1,2,...,n} необходимо определить аналитическую зависимость ŷ=f(x), наилучшим образом описывающую данные наблюдений. Построение уравнения регрессии осуществляется в два этапа (предполагает решение двух задач): – спецификация модели (определение вида аналитической зависимости (ŷ=f(x)); – оценка параметров выбранной модели. Спецификация модели Парная регрессия применяется, если имеется доминирующий фактор, который и используется в качестве объясняющей переменной. Применяется три основных метода выбора вида аналитической зависимости: – графический (на основе анализа поля корреляций); – аналитический, т. е. исходя из теории изучаемой взаимосвязи; – экспериментальный, т. е. путем сравнения величины остаточной дисперсии Dост или средней ошибки аппроксимации , рассчитанных для различных моделей регрессии (метод перебора). Понятие «свободные» или «независимые переменные» (x1, x2, …, xn) во многих случаях не соответствует реальной ситуации: «независимые переменные» могут быть зависимы и влиять одна на другую. Часто термин «независимые переменные» используется в другом контексте: это переменные, значения которых в процессе определения отклика, могут устанавливаться произвольно, независимо. Оценка параметров модели Уравнение парной линейной зависимости: называется уравнением парной линейной регрессии, где: – среднее значение результата при определенном значении факторного признака. а – свободный член уравнения b – коэффициент регрессии, измеряющий вариацию результата у, приходящуюся на единицу вариации фактора х. Для оценки параметров модели регрессии выбирается определенный метод. Наиболее эффективным методом оценивания параметров рассматриваемой модели является метода наименьших квадратов. Метод наименьших квадратов обеспечивает наименьшую сумму квадратов отклонения фактических значений результата (уi) от теоретических значений результата ( i) которые были получены по уравнению связи: или Рассмотрим необходимые условия минимума функции f(a,b): Рассмотрим первое условие: Разделив обе части уравнения на ненулевое значение (-2n), получим: Или, учитывая, что , получим Рассмотрим второе условие: , тогда Разделив обе части уравнения на ненулевое значение (-2n), получим: Подставляя значение a из первого условия или , откуда . Таким образом, коэффициенты линейного уравнения регрессии могут быть найдены из системы: Свободный член а уравнения отражает влияние прочих факторов, не включенных в уравнение. Отрицательность этого фактора отражает то, что совокупное влияние прочих факторов противоположно направлено по сравнению с этим фактором. Коэффициент регрессии b говорит о том, что при измерении факторного признака на единицу своего значения от своей средней происходит изменение результирующего признака в ту же сторону от своего среднего значения в используемых единицах измерения. Однако для сравнительного анализа силы связи разных признаков коэффициент регрессии b использовать нельзя, т.к. его величина зависит от единиц измерения признаков, поэтому для сравнительной характеристики силы связи признаков используют другой показатель – коэффициентом эластичности. Коэффициент эластичности выражается в процентах и объясняется следующим образом: при изменении факторного признака на 1% от своей средней результат у изменяется на величину коэффициента эластичности от своей средней. Для линейной регрессии коэффициент эластичности равен: По полученному уравнению регрессии можно определить теоретическое значение результата, для чего необходимо в построенное уравнение подставить фактическое значение факторного признака. 4. Показатели тесноты парной линейной зависимости и их интерпретация Наличие связи между двумя признаками называется парной корреляцией. Пусть y – анализируемый показатель; x – фактор, под влиянием которого изменяется y. Первым шагом в проведении исследования является построение специального графика, называемого корреляционным полем или диаграммой рассеяния, где на оси абсцисс откладывается значение x, по оси ординат – y, а точки соответствуют сочетаниям первичных наблюдений x и y. По расположению точек, по их концентрации в определенном направлении можно судить о наличии связи. Показателями тесноты парной линейной зависимости являются линейный коэффициент корреляции и коэффициент детерминации. Коэффициент корреляции: Тесноту связи между признаками оценивают по следующему правилу:  связь весьма тесная, если ≥0,9  связь тесная, если 0,7≤ <0,9  связь умеренная, если 0,5≤ <0,7  связь слабая, если ≤0,5 Существует несколько альтернативных определений коэффициента детерминации, однако в случае линейной регрессии он равен квадрату коэффициента корреляции. Коэффициент детерминации xy r выражается в процентах и показывает, какая доля дисперсии результативного признака объясняется влиянием независимых переменных. В случае линейной регрессии коэффициент детерминации показывает долю вариации результата y, обуславливаемую вариацией фактора x. 5. Оценка значимости уравнения регрессии Прежде чем использовать полученное уравнение регрессии в дальнейшем анализе оценивают существенность изучаемой связи и качество построенного уравнения регрессии. Оценка существенности связи проводится по F-критерию Фишера. F-критерий Фишера заключается в проверке гипотезы Но о статистической незначимости уравнения регрессии. Для этого выполняется сравнение фактического Fфакт и критического (табличного) Fтабл значений F-критерия Фишера. Fфакт определяется из соотношения значений факторной и остаточной дисперсий, рассчитанных на одну степень свободы: где n – число единиц совокупности; m – число степеней свободы. Для линейной регрессии m=1. Fтабл – максимально возможное значение критерия под влиянием случайных факторов при степенях свободы k1 = m, k2 = n – m – 1 (для линейной регрессии m = 1) и уровне значимости α. Уровень значимости α – вероятность отвергнуть правильную гипотезу при условии, что она верна. Обычно величина α принимается равной 0,05 или 0,01. Если Fтабл < Fфакт, то Н0-гипотеза о случайной природе оцениваемых характеристик отклоняется и признается их статистическая значимость и надежность. Если Fтабл>Fфакт, то гипотеза Н0 не отклоняется и признается статистическая незначимость, ненадежность уравнения регрессии. Средняя ошибка аппроксимации – среднее относительное отклонение расчетных значений от фактических. Построенное уравнение регрессии считается удовлетворительным, если значение A не превышает 10-12%. Причиной недостатка хорошего качества уравнения является несоответствие формы связи линейной. 6. Точечный и интервальный прогноз по уравнению линейной регрессии Точечный прогноз заключается в получении прогнозного значения уp, которое определяется путем подстановки в уравнение регрессии соответствующего (прогнозного) значения xp Интервальный прогноз заключается в построении доверительного интервала прогноза, т. е. нижней и верхней границ уpmin, уpmax интервала, содержащего точную величину для прогнозного значения ). Доверительный интервал всегда определяется с заданной вероятностью (степенью уверенности), соответствующей принятому значению уровня значимости α. Предварительно вычисляется стандартная ошибка прогноза : где , и затем строится доверительный интервал прогноза, т. е. определяются нижняя и верхняя границы интервала прогноза ; ; где 7. Построение парного нелинейного уравнения, метод линеаризации Для нелинейных уравнений регрессии, приводимых к линейным с помощью преобразования (x, y) → (x’, y’), система нормальных уравнений имеет вид (4.2) в преобразованных переменных x’, y’. Степенная функция: Линеаризация данного уравнения осуществляется путем логарифмирования обеих частей: ; ; Рассчитав a’ необходимо в интересах дальнейшего прогнозирования перейти к коэффициенту a исходного степенного уравнения: Коэффициент эластичности для степенного уравнения регрессии с учетом выражения (4.3) будет иметь вид: Таким образом, коэффициент b степенного регрессионного уравнения является коэффициентом эластичности для данной формы связи переменных. Для нелинейных уравнений регрессии вместо линейного коэффициента парной корреляции рассчитывается индекс корреляции 0≤ρxy≤1 Долю дисперсии, объясняемой регрессией, в общей дисперсии результативного признака y для нелинейного уравнения связи характеризует индекс детерминации Значимость нелинейного уравнения связи также определяется по F-критерию Фишера. Фактическое значение критерия Fфакт определяется по формуле: Fтабл определяется из таблицы при степенях свободы k 1 = m, k2 = n – m – 1 (для рассматриваемой степенной регрессии m = 1) и уровне значимости α. Если Fтабл < Fфакт, то признается статистическая значимость и надежность оцениваемых характеристик. Если Fтабл > Fфакт, то признается статистическая незначимость, ненадежность уравнения регрессии. Наряду с F-критерием Фишера для оценки нелинейного уравнения регрессии можно использовать среднюю ошибку аппроксимации . Прогноз и оценка прогноза по нелинейному уравнению регрессии проводится аналогично линейному уравнению регрессии. Пример. Рассмотреть и оценить взаимосвязь для одной исследуемой субпозиции ТН ВЭД ТС между факторами: вес одного упаковочного места (в кг) и относительно разности между весом брутто-нетто (РБН). По имеющимся данным построить прогноз, выполнить его оценку. Показатель РБН рассчитывается по формуле: РБН = (вес брутто – вес нетто) / вес брутто · 100%. Результаты эмпирического распределения исследуемых признаков для товарной подсубпозиции 1605209100 ТН ВЭД ТС «варено-мороженые креветки» представлены в табл.1 Таблица 1 Результаты эмпирического распределения исследуемых признаков Вес места РБН x y 5 6,2 6 7,9 7 8,3 8 6,6 9 7,5 11 9,0 12 10,5 Будем считать, что при увеличении веса 1 места происходит уменьшение разницы между весом брутто и нетто, это идея, в основе которой лежит природа вещей, поэтому целесообразно в качестве влияющего независимого фактора x выбрать показатель «вес 1-го места» (в кг), а в качестве результативного, зависимого y РБН (в %). Построим уравнение парной линейной зависимости для показателей x и y. Таблица 2. Расчет параметров парной линейной регрессии x y xy x2 ŷ |ŷ-y| (ŷ-y)2 (x- 2 (y- 2 5 6 7 8 9 11 12 6,2 7,9 8,3 6,6 7,5 9,0 10,5 31,0 47,4 58,1 52,8 67,5 99,0 126,0 25 36 49 64 81 121 144 6,5 7,0 7,4 7,9 8,3 9,2 9,7 0,3 0,9 0,9 1,3 0,8 0,2 0,8 0,1 0,9 0,8 1,6 0,7 0,1 0,7 10,80 5,22 1,65 0,08 0,51 7,37 13,80 2,20 1,06 0,34 0,02 0,10 1,50 2,81 Среднее 8,29 8 68,83 74,29 Сумма 5,3 4,76 39,43 8,04 На основе представленных в табл. 4.2 данных в соответствии с (4.2) выполним расчет параметров a и b регрессионного уравнения: С использованием параметров a и b выполним расчет теоретических значений результативного параметра и внесем их в табл. 4.2. Рассчитаем с использованием выражения среднюю ошибку аппроксимации полученного регрессионного уравнения: Полученное значение средней ошибки аппроксимации не превышает установленный предел 12%, поэтому уравнение по данному критерию можно считать удовлетворительным. Выполним оценку значимости уравнения по F-критерию Фишера: Вычисление табличного значения F-критерия Фишера с использованием MS Excel при степенях свободы k1 = m=1, k2 = n – m – 1 = 7 – 1 – 1 = 5 дает следующий результат: FРАСПОБР(0,05;1;5)=6,6. Поскольку Fтабл < Fфакт, то можно признать статистическую значимость и надежность оцениваемого уравнения регрессии. Рассчитаем коэффициент корреляции с использованием: Полученное значение коэффициента корреляции показывает, что связь между факторной и результирующей переменной весьма тесная. Рассчитаем коэффициент детерминации Полученное значение коэффициента детерминации показывает, что 0,62 дисперсии результативного признака объясняется влиянием независимых переменных. Рассчитаем коэффициент эластичности Эxy: Коэффициент эластичности свидетельствует, что при изменении факторного признака (веса упаковочного места) на 1% от своей средней результат у (РБН) изменяется на 0,46% от своей средней. Выполним прогноз значения РБН для веса одного упаковочного места 6,5 кг: Остаточная дисперсия Ошибка прогноза Табличное значение коэффициента Стьюдента при α=0,05 и n=7 можно определить с помощью функции MS Excel СТЬЮДРАСОБР(α, n) и тогда tфакт=2,36. Таким образом прогнозное значение будет лежать в диапазоне, определяемом величиной ∆ = 2,36 ∙ 1,05 = 2,48. Иначе говоря, прогнозное значение принимает вид: 7,18 ± 2,48.