Анализ стохастических ВР

ЛЕКЦИЯ 2. АНАЛИЗ СТОХАСТИЧЕСКИХ ВР (СВР). АЛГОРИТМЫ ПРОГНОЗИРОВАНИЯ СВОЙСТВ ДИНАМИЧЕСКИХ СИСТЕМ ПО СВР. УКАЗАНИЯ К ЛР-2 МОТИВАЦИЯ. СВР ПОРОЖДАЕТСЯ ЛЮБОЙ ДИНАМИЧЕСКОЙ СИСТЕМОЙ «... истинные законы не могут быть линейными» А. Эйнштейн «... Создание общей теории нелинейных систем вряд ли возможно» Р. Фейнман Введение в проблему. Особенности нелинейных систем • И. Пригожин: «переходы, перестройки в процессе самоорганизации неуправляемы (в традиционном смысле), переход (выбор пути из возможных) в нелинейных хаотических системах совершается под действием неопределённых флуктуаций» • «Случайные» и «неопределённые» процессы -- это не одно и то же. Случайные процессы – это статистические, вероятностные процессы и явления, они обладают статистической устойчивостью, к ним применим весь аппарат теории вероятностей (законы распределения, оценки, числовые характеристики и т.д.). И. Пригожин: в процессе перехода (смене состояний) закон больших чисел не работает. «Эффект бабочки» (Лоренц) малое влияние на систему может иметь большие и непредсказуемые эффекты Детерминированный хаос 1,2 Модель Фейгенбаума: xn+1=αxn(1–xn) xn+1=αxn(1–xn)+ξ α=2 1 α=2, шум α=4 0,8 0,6 0,4 0,2 -0,2 -0,4 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Время, у.ед. МОТИВАЦИЯ. СВР ПОРОЖДАЕТСЯ ЛЮБОЙ ДИНАМИЧЕСКОЙ СИСТЕМОЙ СУПЕРСИСТЕМЫ: Турбулентные потоки воздуха от крыла самолета при посадке нелинейные, многомерные и Многосвязные. В таких системах протекают сложные переходные процессы и возникают критические и хаотические режимы. Проблемы системного синтеза=(поиск общих объективных законов процессов управления в динамических системах), являются весьма актуальными, трудными и во многом практически недоступными для классической науки, в частности, существующей теории управления. Странные аттракторы встречаются гораздо чаще, чем мы думаем МЕТОДЫ МОДЕЛИРОВАНИЯ ВРЕМЕННЫХ РЯДОВ. История вопроса Временной ряд (ВР)- последовательность упорядоченных во времени числовых показателей, характеризующих состояние изучаемого явления (процесса) в динамике. и нестационарные временные ряды. Стационарный ВР (СВР)- ряд, функция распределения значений которого не зависит от времени (средние значения и дисперсии постоянны, это основные характеристики СВР). X(t) = f(t) + ξ (t), X(t) - временной ряд; f(t) – тренд; ξ(t) –шум. Нестационарный ВР (НестацВР) - функция распределения которого меняется со временем. НестацВР может быть представлен в виде двух составляющих: детерминированной компоненты f(t) (тренда) и случайной компоненты ξ(t). Идентификация ВР – «навязывание» ВР функциональной модели и определение конкретных ее параметров. Идентификация СтацВР: на базе моделей авторегрессии Идентификация НестацВР: на базе методов прямой экстраполяции, использующих различные трендовые модели (по формуле регрессии). Метод наименьших квадратов (МНК) позволяет найти оценки параметров модели. Идея: определение параметров (коэффициентов) одновременно для всех моделей; КЛАССИКА: Бокс Дж., Дженкинс Г. (1974) Анализ временных рядов. Прогноз и управление. − М.: Мир, 1974. 5 ОСНОВНЫЕ ХАРАКТЕРИСТИКИ ВРЕМЕННЫХ РЯДОВ Основные систематические компоненты ВР: 1) тренд - систематическая линейная или нелинейная компонента, изменяющаяся во времени; 2) сезонность - периодические колебания уровней временного ряда внутри промежутка наблюдения (год,...); 3) цикличность - периодические колебания, выходящие за рамки промежутка наблюдения. Правильнее будет сказать, что для данной точности (сколь угодно большой, но конечной) можно всегда указать такой промежуток времени, для которого становится невозможным сделать предсказания. И этот промежуток (и в этом вся соль) не так уж велик. 6 «Фейнмановские лекции по физике» Наиболее распространенные группы методов анализа СВР - КОРРЕЛЯЦИОННЫЙ АНАЛИЗ, используемый для выявления характерных особенностей ряда (периодичностей, тенденций и т. д.); - СПЕКТРАЛЬНЫЙ АНАЛИЗ, позволяющий находить периодические составляющие временного ряда; - МЕТОДЫ СГЛАЖИВАНИЯ И ФИЛЬТРАЦИИ, РЕГРЕССИОННЫЕ МЕТОДЫ предназначенные для преобразования временных рядов с целью удаления высокочастотных и сезонных колебаний; - модели АВТОРЕГРЕССИИ, СКОЛЬЗЯЩЕГО СРЕДНЕГО, ЭМПИРИЧЕСКОЙ МОДОВОЙ ДЕКОМПОЗИЦИИ, для исследования случайной составляющей временного ряда; - методы ПРОГНОЗИРОВАНИЯ (нейросетевой метод, методы нелинейной динамики, методы на базе цепей Маркова,...); 7 ОСНОВНЫЕ ЭТАПЫ МОДЕЛИРОВАНИЯ ВР Постановочный: формируется цель исследования и набор переменных. Априорный: анализ сущности изучаемого объекта, формирование и формализация априорной (известной до начала моделирования) информации. Параметризация: выбор общего вида модели (например, функции f(X)), выявление связей. Информационный: сбор необходимой статистической информации – наблюдаемых значений переменных. Идентификация модели: статистический анализ модели и оценка ее параметров. Верификация модели: проверка «истинности», адекватности модели, ее соответствия моделируемому реальному объекту или процессу. ВСЕ ДИНАМИЧЕСКИЕ СИСТЕМЫ ПОРОЖДАЮТ ВРЕМЕННЫЕ РЯДЫ КАК РЕЗУЛЬТАТЫ НАБЛЮДЕНИЙ. ВСЕ РЕАЛЬНЫЕ СИСТЕМЫ 1) ДИНАМИЧЕСКИЕ 2) НЕЛИНЕЙНЫЕ 8 НЕКОТОРЫЕ МЕТОДЫ МОДЕЛИРОВАНИЯ ВРЕМЕННЫХ РЯДОВ Метод Регрессионные методы Достоинства Простота, гибкость, прозрачность моделирования; единообразие анализа и проектирования Недостатки Сложность определения функциональной зависимости; трудоемкость нахождения коэффициентов Трудоемкость и ресурсоемкость идентификации модели Простота, гибкость, Авторегрессионные прозрачность методы моделирования; Методы Простота моделирования; Недостаточная гибкость, экспоненциального единообразие анализа и узкая применимость сглаживания проектирования Сложность выбора архитектуры, жесткие Нейросетевые Нелинейность моделей, требования к обучающей методы высокая адаптивность выборке, ресурсоемкость процесса обучения «…нередко случается, что ловкой обработкой одного и того же материала можно выжать из него при помощи этого приема прямо противоположные заключения» (о методах группировки данных по интервалам) А.А. Чупров, 1960. 9 МОДЕЛИ ВР НА ОСНОВЕ ЗАВИСИМОСТИ РЕЗУЛЬТАТИВНОГО ПРИЗНАКА ОТ «СТАРЫХ» ЗНАЧЕНИЙ ПЕРЕМЕННЫХ (ЛАГОВЫХ) Суть РЕГРЕССИОННОГО АНАЛИЗА заключается в нахождении наиболее важных факторов, которые влияют на зависимую переменную. Переменные разделяются на: • Экзогенные (независимые) – переменные, значения которых задаются извне, являются управляемыми (x); • Эндогенные (зависимые) – переменные, значения которых определяются внутри модели, или взаимозависимые (y); • Лаговые – экзогенные или эндогенные переменные, датированные предыдущими моментами времени (xt-1, yt-1); • Предопределенные – лаговые и текущие экзогенные переменные (xt, xt-1), а также лаговые эндогенные переменные (yt-1). 1. Регрессионные модели с одним уравнением: зависимая (объясняемая, результативная) переменная у=f(x, β)=f(x1, …, xm, β 1, …, β k), x1, …, xm - независимые (объясняющие, факторные) переменные, β1, …, βk – параметры. Вид f(x, β) определяет линейные и нелинейные модели. 2. Регрессионные модели как системы одновременных уравнений: тождества и регрессионные уравнения, каждое из которых может, кроме объясняющих переменных, включать в себя также объясняемые переменные из других уравнений системы. ПРИМЕРЫ 1. Факторы (независимые переменные), влияющие на число абитуриентов (зависимая переменная), выбравших ВУЗ. 2. Регрессия числа мигрантов в зависимости от 1) среднего уровня зарплат; 2) уровня инфраструктуры; 2) климатических свойств … 3. Моделирование дорожных аварий как функции качества дорого, скорости, погоды и т.д. 4. Регрессия количества потерь и убытков от пожаров как функции от а) числа пожарных 10 станций; б) времени обработки вызова; в) географических особенностей местности.... МОДЕЛИ ВР НА ОСНОВЕ РЕГРЕССИИ ПРИМЕР. Поиск и идентификации зависимости расстояния, пройденного автомобилем после подачи сигнала об остановке, от скорости. Идея: группировка данных приводит к повышению достоверности прогноза вне анализируемого диапазона независимой переменной для регрессионных моделей. Равномерная дискретизация пространственной объясняющей переменной ⇒ аналог временного ряда Сгруппированные данные По приведенным результатам использования F-критерия Фишера для различных типовых регрессионных зависимостей, видим, что все модели оказались статистически значимыми. Справка. Критерий Фишера – критерий, который используется для сравнения двух относительных показателей, характеризующих частоту определенного признака, имеющего два значения. Достоинство метода: соответствие полученного значения критерия точному значению уровня 11 значимости p. МОДЕЛИ ВР НА ОСНОВЕ РЕГРЕССИИ F-критерий Фишера Все модели оказались статистически значимыми. Ввиду разной функциональной формы выбор наилучшей модели оказывается невозможным. 12 МОДЕЛИ ВРЕМЕННЫХ РЯДОВ. АВТОРЕГРЕССИЯ АВТОРЕГРЕССИЯ (Auto Regressive, AR) – модель временных рядов, в которой значение временного ряда в данный момент времени может быть выражено в виде линейной комбинации предыдущих значений этого же ряда и случайной ошибки, обладающей свойством «белого шума». Авторегрессионная модель (AR(p)) порядка р, определяется по формуле: 𝒚𝒚𝒕𝒕 = 𝒂𝒂𝟏𝟏 𝒚𝒚𝒕𝒕−𝟏𝟏 + ⋯ + 𝒂𝒂𝒑𝒑 𝒚𝒚𝒕𝒕−𝒑𝒑 + 𝜺𝜺𝒕𝒕 , где 𝑎𝑎1 , … , 𝑎𝑎𝑝𝑝 − оцениваемые параметры авторегрессии; 𝜀𝜀𝑡𝑡 - белый шум. Модель AR(1) – случайный процесс, протекающий в системе, если вероятность любого состояния системы в будущем зависит только от её состояния в настоящий момент и не зависит от её состояний в прошлом: 𝑦𝑦𝑡𝑡 = 𝑎𝑎0 + 𝑎𝑎1 𝑦𝑦𝑡𝑡−1 + 𝜀𝜀𝑡𝑡 , где 𝑎𝑎1 , … , 𝑎𝑎𝑝𝑝 − оцениваемые параметры авторегрессии; 𝜀𝜀𝑡𝑡 – белый шум, M𝜀𝜀𝑡𝑡 = 0. Достоинства: простота и прозрачность моделирования; единообразие анализа и проектирования. Недостатки: большое число параметров модели, идентификация которых неоднозначна и ресурсоемка, низкая адаптивность моделей, а также линейность и, как следствие, отсутствие способности моделирования нелинейных процессов, часто встречающихся на практике. 13 МОДЕЛИ ВР. МОДЕЛЬ АВТОРЕГРЕССИИ AR(p). АВТОРЕГРЕССИОННАЯ МОДЕЛЬ СКОЛЬЗЯЩЕГО СРЕДНЕГО ARMA(p,q) Авторегрессия (Auto Regressive, AR) – линейная комбинация предыдущих p наблюдений ВР= yt a1 yt −1 +…+ a p yt − p и случайной ошибки ε t , обладающей свойством «белого шума» (нулевое математическое ожидание и постоянная дисперсия): y= a0 + a1 yt −1 +…+ a p yt − p + ε t , t ≥ 1, t где a0 ,…, a p - оцениваемые параметры авторегрессии AR(p); Пример 1. Модель AR(1) yt = a0 + a1 yt −1 + ε t , t ≥ 1. Условие a1 < 1 есть условие стационарности процесса AR(1). Недостатки: - линейность модели исключает надежное моделирование нелинейных процессов (как известно, «все реальные объекты – нелинейны»); - большое число параметров модели, идентификация которых трудоемка и неоднозначна; - низкая адаптивность моделей (в силу линейности и характера случайной составляющей). Скользящее среднее (Moving Average, MA) – процесс, текущее значение которого моделируется в виде линейной комбинации значений случайных ошибок («белых шумов»): yt = γ 0ε t + γ 1ε t −1 + …+ γ qε t −q , t ≥ 1, где γ 0 ,…, γ q - параметры скользящего среднего, часто полагают γ 0 = 1. Пример 2. MA(0) – собственно процесс белого шума; MA(1) y= ε t + γ 1ε t −1 , t ≥ 1 часто t используют на практике, в теории стохастического управления. Модель ВР ARMA(p,q) реализуется как сумма AR(p) – модели и МА(q)-модели: 14 y= a0 + a1 yt −1 +…+ a p yt − p + γ 0ε t + γ 1ε t −1 + …+ γ qε t −q , t ≥ 1. t МОДЕЛИ ВР. МЕТОД ЭКСПОНЕНЦИАЛЬНОГО СГЛАЖИВАНИЯ (метод Брауна) Применяется с целью определения тенденции и прогнозирования для нестационарных временных рядов вида y= bt + ε t t yt := y ( t ) - временной ряд; bt - константа либо «медленно» изменяющаяся со временем функция; ε t - случайная функция (например, ошибка измерений). Функцию bt можно понимать как скользящее среднее, в котором последним наблюдениям приписываются большие веса, чем предпоследним. Простое экспоненциальное сглаживание реализуется формулой: St = α yt + (1 − α ) St −1 , t ≥ 1; Примеры встроенных функций для автоматизации процесса сглаживания: - Matlab (имеется библиотека для приближения и сглаживания данных): функция smooth (сглаживание по методу скользящего среднего, фильтр СавицкогоГолея, построение линейной и квадратичной регрессионной моделей,...); - Microsoft Excel: функция Экспоненциальное сглаживание (Tools Data Analysis - Exponential Smoothing) 15 НЕКОТОРЫЕ МОДЕЛИ ВРЕМЕННЫХ РЯДОВ. Экспоненциальное сглаживание ОСОБЕННОСТИ модели. 1) Модель работает только при небольшом горизонте прогнозирования. 2) Не учитываются тренд и сезонные изменения. 3) Много модификаций: -модель: Хольта (учитывается линейный тренд) - модель Хольта-Уинтерса (мультипликативные экспоненциальный тренд и сезонность) - модель Тейла-Вейджа (аддитивные линейный тренд и сезонность) МОДЕЛИ ВР. AR, ARMA, ARIMA. Бокс Дж., Дженкинс Г. Анализ временных рядов, прогноз и управление 17 МОДЕЛИ ВР. AR, ARMA, ARIMA АРПСС, ARIMA (Auto Regressive Integrated Moving Average, Бокс и Г. Дженкинс, 1974) интегрированная модель авторегрессии скользящего среднего для задачи прогнозирования. Statistica, MatLab, MathCad, SQL Server Analysis Services, Excel,...). Алгоритм построения модели ARIMA (p, q, d) 1) Приведение ряда к стационарности: a) анализ автокорреляционной функции (АКФ, ACF); b) анализ частной автокорреляционной функции (ЧАКФ, PACF). Если АКФ демонстрирует «быстрое затухание», то ряд стационарный. Иначе применяют оператор взятия последовательных разностей; значение параметра d (порядок разности) определяет порог, после которого ряд из очередных разностей будет стационарным. С той целью исследуется график ряда и автокоррелограмма. 2) Идентификация модели, или определение общего класса модели (AR, MA, ARMA, ARIMA). 3) Оценивание параметров модели: метод наименьших квадратов; метод максимального правдоподобия; метод моментов. 18 ОСТОРОЖНОСТЬ В ПРИМЕНЕНИИ ПРОГНОЗИРОВАНИЯ по AR-моделям Trigonometric, Box-Cox transformation, ARMA, Trend, Seasonality TBATS-модели. (2011) Графики цен великолепны, чтобы предсказывать прошлое. Питер Линч (америк.инвестор) ОСТОРОЖНОСТЬ В ПРОГНОЗАХ. Динамические композиции Эффективность динамически настраиваемой композиции 20%-30% для конкретной задачи прогнозирован ия Воронцов К.В., Егорова Е.В. (моделирования ARIMA по реальным объемам продаж в супермаркете) В 2000-х годах лауреат Нобелевской премии по экономике Р. Соллоу изучил влияние внедрения компьютеров на рост производительности труда в различных отраслях американской экономики. Проведённое исследование привело к выводу, получившему название «КОМПЬЮТЕРНЫЙ ПАРАДОКС» – внедрение компьютеров в производство не привело к росту производительности труда ни в одной области… кроме производства компьютеров. От «УПРАВЛЕНИЯ ДЕНЬГАМИ» и экспортными потоками углеводородов к «УПРАВЛЕНИЮ ТЕХНОЛОГИЯМИ» представляется крайне важным (из программы развития цифровой экономики до 2024 г.) МОДЕЛИ ВРЕМЕННЫХ РЯДОВ. МЕТОД МНОЖЕСТВЕННОЙ СТРЕЛЬБЫ (метод Бока, Bock H.G.) а) Метод подгонки начального условия. Процесс подгонки сходится к локальному минимуму, где траектория модели и оценки параметров сильно отличаются от истинных; б) Метод множественной стрельбы. Процесс подгонки сходится к глобальному минимуму, где траектория модели и оценки параметров близки к истинным 21 МЕТОД ЭМПИРИЧЕСКОЙ МОДОВОЙ ДЕКОМПОЗИЦИИ (EmpiricalModeDecomposition, EMD). ЛР-2 Ключевое предположение. Временной ряд – совокупность (сумма) колебательных процессов Каждый колебательный процесс может быть представлен функцией внутренней моды (intrinsic mode function - IMF), определяемой т.о.: 1. число экстремумов и число нулевых пересечений функции должны быть равными или отличаться самое большее на 1. 2. В любой точке функции IMF среднее значение огибающих, определенных локальными максимумами и локальными минимумами=0. То, что мы в настоящее время считаем частицами, есть на самом деле волны Э. Шрёдингер m(t)={O1(t)+O2(t)}/2 O1(t),O2(t) – верхняя и нижняя огибающие, соответственно 22 АЛГОРИТМ EMD. Просеивание=последовательное вычисление функций hi(t) Этап 1. Шаг 1. Определяются все локальные экстремумы ВР: массивы (хmax(t), уmax(t)) максимумов и массивы (xmin(t), ymin(t)) минимумов всех экстремумов. Этап 1. Шаг 2. Кубическим сплайном вычисляются верхняя (красный цвет) и нижняя (синий цвет) огибающие ВР. Определяется функция средних значений m1(t) между огибающими и находим первое приближение к первой функции моды IMF: h1(t) = y(t) –m1(t), h0(t)= y(t), t=0,1,2,....T Этап 1. Шаг 3. Полагая y(k):=h1(k), находят второе приближение к первой функции моды IMF – функцию h2(t): h2(t) = h1(t) – m2(t) ⇒ .................................... hi(t) = hi-1(t) –mi(t), i≥1, ⇒ пока не наступит неизменяемая форма Критерий останова внутренних итераций - задание предела по нормализованной квадратичной разности между двумя последовательными операциями приближения: h ( t ) − hi −1 ( t ) hi ( t ) − hi −1 ( t ) ∑ t =1 i , t : 0,1,.. δi = T ∑t = 2 hi −1 ( t ) ∑ t =1 hi2−1 ( t ) T δi i1 arg min {δi < ε}. i = i1 arg min {δi < ε}. i Итерации на 1-м этапе прекращаются как только число δi станет меньше, чем некоторая заданная 24 заранее величина. EMD. Просеивание=последовательное вычисление функций hi(t) Критерий останова внутренних итераций - задание предела по нормализованной квадратичной разности между двумя последовательными операциями приближения (ИЛИ задание максимального количества итераций): δι = Σt {|hi-1(t) - hi-1(t)|2 / hi-1(t)2} Этап 1. Шаг i1. hi1(t) = hi-1(t) – mi(t), i≥1, ⇒ неизменяемая форма, т.е. δi1<ε Тогда полагаем с1(t)=hi1(t), t:=0,1,2,....,T (моменты отсчета ВР) Компоненты сj(k) EMD практических ВР-сигналов физически значимы и отображают различные физические процессы, отображенные в виде ВР. Последнее значение hi1(k) итераций принимается за высокочастотную функцию с1(t)=hi1(t) моды семейства IMF, которая входит в состав исходного ВР y(t); получают и низкочастотную составляющую r1(t): = y (t) – c1(t). Этап 2. Шаг i1+1. Функция r1(k) обрабатывается как новые данные y1(t):= r1(t) аналогично шагам 1- i1 ⇒ вторая модовая функция IMF – c2(t),....: ..................................................................................................................................... Этап n. Шаг end*. Достигается декомпозиция (и реконструкция) сигнала в n–модовом приближении в сумме с остатком rn(k): Получение остатков ri происходит до тех пор, x (t ) yreconstructed = (t ) n ∑ c (t ) + r (t ) j =1 j n пока вновь вычисленный остаток не окажется монотонной функцией, из которой уже нельзя будет выделить эмпирическую моду 25 АЛГОРИТМ ЭМПИРИЧЕСКОЙ МОДОВОЙ ДЕКОМПОЗИЦИИ r1 ( t ) = y ( t ) − c1 ( t ) , t := 0,1,.. y1= y1 ( t ) − c2 ( t ) , ( t ) : r1 ( t ) ,....., r= 2 (t ) y2 ( t ) := r2 ( t ) ........................................ { x ( t ) y= = rec ( t ) } yk ( t ) , ck ( t ) , rk ( t ) ⇒ ck ( t ) , k = 1, n, rn ( t ) n ∑ c (t ) + r (t ) j =1 j n Снятие тренда 26 АЛГОРИТМ ЭМПИРИЧЕСКОЙ МОДОВОЙ ДЕКОМПОЗИЦИИ АЛГОРИТМ ЭМПИРИЧЕСКОЙ МОДОВОЙ ДЕКОМПОЗИЦИИ Критерий останова внешних итераций (остановка декомпозиции ВР по схеме ИЛИ) 1. Остаток rn(t) становится монотонной функцией без экстремумов (остаток превращается в тренд). 2. Компонент cj(t) или остаток rn(t) во всем интервале задания сигнала становятся несущественными по своим значениям или мощности по сравнению с сигналом. 3. Заданием относительной среднеквадратической погрешности реконструкции по δ без учета остатка rn(t). Компоненты EMD практических ВР-сигналов физически значимы и отображают различные физические процессы, отображенные в виде ВР. ПРИМЕР ПОЛНОЙ ДЕКОМПОЗИЦИИ СИГНАЛА (с остановом по критерию 2). Входной ВР (красный); ВР-сигнал обратной реконструкции (пунктир). 28 АЛГОРИТМ ЭМПИРИЧЕСКОЙ МОДОВОЙ ДЕКОМПОЗИЦИИ (разный масштаб) Выделяются высокочастотные компоненты по убыванию частоты 29 EMD-ЛР. Пример. Поиск экстремумов, построение огибающих и средней между двумя огибающими Картинка некорректная 30 EMD-ЛР. Пример. Результат 3-х просеиваний (сверху вниз c1, r1) 31 EMD-ЛР. Пример. Результат 3-х просеиваний (сверху вниз c2, r2) 32 EMD-ЛР. Пример. Результат 3-х просеиваний (сверху вниз c3, r3) 33 EMD-ЛР. Пример. Результат 3-х просеиваний (сверху вниз c1, c2, c3) 34 EMD-ЛР. Пример. Исходный и восстановленный ряды за три этапа Масштаб? Неверный результат 35 Дополнение. МЕТОД ХУАНГА-ГИЛЬБЕРТА . МЕТОД ЭМПИРИЧЕСКОЙ МОДОВОЙ ДЕКОМПОЗИЦИИ (EmpiricalModeDecomposition, EMD). Ключевое предположение. !!! Любые данные есть совокупность колебательных процессов ⇒ - Каждый режим, линейный или нелинейный, стационарный или нестационарный, представляет простое колебание, которое в определенной степени «симметрично» относительно локального среднего значения ⇒ имеет экстремумы и нулевые пересечения. - Каждый из колебательных режимов может быть представлен функцией внутренней моды (intrinsic mode function - IMF), определяемой т.о.: 1. Число экстремумов и число нулевых пересечений функции должны быть равными или отличаться самое большее на 1. 2. В любой точке функции IMF среднее значение огибающих, определенных локальными максимумами и локальными минимумами, должно быть нулевым. - Любой произвольный ВР можно разделить на семейство функций внутренних мод IMF ⇒ Алгоритм эмпирической модовой декомпозиции сигнала. https://studfiles.net/previe w/5830081/page:3/ 37 АЛГОРИТМ ЭМПИРИЧЕСКОЙ МОДОВОЙ ДЕКОМПОЗИЦИИ ВР-1 Шаг 1. Определяются все локальные экстремумы ВР: массивы (хmax(k), уmax(k)) максимумов и массивы (xmin(k), ymin(k)) минимумов всех экстремумов. Шаги 1 и 2 δ = 0.001 количество превышает 6-8 итераций не Шаг 3 Шаг 2. Любым (кубическим) сплайном вычисляются верхняя (красный цвет) и нижняя (синий цвет) огибающие ВР. Определяется функция средних значений m1(k) между огибающими (черный цвет) и находим первое приближение к первой функции моды IMF: h1(k) = y(k) – m1(k). Сплайн – непрерывно дифференцируемая функция, имеющая в заданных точках значения, совпадающие со значениями с интерполируемой функции (требуют также и совпадения первых производных); на каждом частичном отрезке [xi, xi+1] является некоторым полиномом. Шаг 3. Полагая y(k):=h1(k), находят второе приближение к первой функции моды IMF – функцию h2(k): h2(k) = h1(k) – m2(k) ⇒ hi(k) = hi-1(k) – mi(k), i≥1, ⇒неизменяемая форма Критерий останова внутренних итераций - задание предела по нормализованной квадратичной разности между двумя последовательными операциями приближения (ИЛИ задание максимального количества итераций): δ = Σk |hi-1(k) - hi-1(k)|2 / Σk hi-1(k)2 38 АЛГОРИТМ ЭМПИРИЧЕСКОЙ МОДОВОЙ ДЕКОМПОЗИЦИИ ВР-2 при δ = 0.001 - количество итераций не превышает 6-8 Шаг i. hi(k) = hi-1(k) – mi(k), i≥1 ⇒ получили неизменяемую форму Критерий останова внутренних итераций - задание предела по нормализованной квадратичной разности между двумя последовательными операциями приближения (ИЛИ задание максимального количества итераций): δ = Σk |hi-1(k) - hi-1(k)|2 / Σk hi-1(k)2 Шаг 4*. Последнее значение hi(k) итераций принимается за высокочастотную функцию с1(k)=hi(k) моды семейства IMF, которая входит в состав исходного ВР y(k); получают и низкочастотную составляющую r1(k) = y(k) – c1(k). Шаг 5*. Функция r1(k) обрабатывается как новые данные y(k):= r1(k) аналогично шагам 1-4* ⇒ вторая модовая функция IMF – c2(k),....: Шаг 6*. Достигается декомпозиция сигнала в n–модовом приближении в сумме с остатком rn(k): = x(k ) n ∑c (k ) + r (k ) j =1 j n 39 АЛГОРИТМ ЭМПИРИЧЕСКОЙ МОДОВОЙ ДЕКОМПОЗИЦИИ ВР Критерий останова внешних итераций (остановка декомпозиции ВР по схеме ИЛИ) 1. Остаток rn(k) становится монотонной функцией без экстремумов (остаток превращается в тренд). 2. Компонент cj(k) или остаток rn(k) во всем интервале задания сигнала становятся несущественными по своим значениям или мощности по сравнению с сигналом. 3. Заданием относительной среднеквадратической погрешности реконструкции по δ без учета остатка rn(k). Компоненты EMD практических ВР-сигналов физически значимы и отображают различные физические процессы, отображенные в виде ВР. ПРИМЕР ПОЛНОЙ ДЕКОМПОЗИЦИИ СИГНАЛА (с остановом по критерию 1). Входной ВР (красный); ВР-сигнал обратной реконструкции (пунктир). 40 АЛГОРИТМ ЭМПИРИЧЕСКОЙ МОДОВОЙ ДЕКОМПОЗИЦИИ ВР. ПРИМЕНЕНИЕ-1 Пример 1. Данные электропрофилирования методом срединного градиента, с питающей линией AB=400 м и приемной линией MN=10 м, проведенного с целью решения инженерногеологических задач в пределах Верхнекамского месторождения калийномагниевых солей (Пермский край). Долгаль А.С., Христенко Л.А. Очистка сигналов датчиков от шумов при проведении физических экспериментов на основе EMD. 41 АЛГОРИТМ ЭМПИРИЧЕСКОЙ МОДОВОЙ ДЕКОМПОЗИЦИИ ВР. ПРИМЕНЕНИЕ-2 EMD-анализ данных девиации (флуктуации) периода вращения Земли. Всем выделенным функциям IMF сопоставлены определенные процессы, которыми и вызвано их формирование: - влияние штормов и тайфунов, месячных вариаций мощности приливов, - явления Эль-Ниньо (колебание температуры поверхностного слоя воды в экваториальной части Тихого океана) - прочие факторы. физические с12 с10+с11+с12 Σсi, i=8,9,10,11,12 Σсi, i=7,8,9,10,11,12 42 An Introduction to Hilbert-Huang Transform: A Plea for Adaptive Data Analysis. Norden E. Huang. Research Center for Adaptive Data Analysis. National Central University АЛГОРИТМ ЭМПИРИЧЕСКОЙ МОДОВОЙ ДЕКОМПОЗИЦИИ ВР. ПРИМЕНЕНИЕ-3 (СГЛАЖИВАНИЕ И ПРОГНОЗИРОВАНИЕ) EMD-сглаживание. Произвольный фрагмент котировок USDCHF, Daily состоящий из 100 значений цен "Open". Получены четыре IMF и остаток. Получена сумма с остатком всех IMF, за исключением первой. При отбрасывании двух первых IMF результирующая кривая будет более гладкой. EMD-прогнозирование: построение на базе выделенных IMF 1) прогноз для каждой из IMF и остатка по отдельности с помощью любого экстраполятора, учитывающего периодичность прогнозируемых последовательностей; 2) отдельные прогнозы суммируются, формируя искомый результат. Здесь: линейная экстраполяция на 10 отсчетов вперед. https://www.mql5.com/ru/articles/439 43 ФУНКЦИИ MATHLAB (для работы с рядами) Функции MATLAB позволяют решать следующие задачи: - приближение полиномами по методу наименьших квадратов; - интерполяция одномерных данных сплайнами; - приближение сглаживающими сплайнами; - приближение сплайнами в смысле наименьших квадратов; - интерполяция и приближение двумерных и многомерных данных сплайнами, являющимися тензорным произведением одномерных сплайнов; - сглаживание сплайнами типа тонких пластин; - приближение рациональными сплайнами; - построение выпуклой оболочки двумерных и многомерных данных; - построение триангуляции Делоне в N-мерном пространстве; - построение диаграммы Вороного в N-мерном пространстве; - нахождение ближайшей точки; - приближение разбросанных данных; - построение линейных и нелинейных параметрических моделей для приближения данных. 44 ПРИМЕР ПРОГРАММИРОВАНИЯ с использованием средств пакета MATLAB Линейная прогнозирующая нейронная сеть. Пример программы: T=[14.0 14.7 14.7 15.1 15.2 15.3 15.8 16.0 17.2 ... %значения 20 20.2 23.1 23 22 20.9 22.1 22.2 24.1 28 27.9 ...%временного 26.2 24.5 22 20 22.2 23.3 22.6 21.4 22.8 22.2 ...%ряда 24.3 28.4 28.7 26.6 21.6 21.1 20.5 23.2 24.7 25.5]; Q=length(T); График значений прогноза и time=1:Q; ошибок прогноза M=max(T); T=T./M; %масштабирование исходного временного ряда P=zeros(5,Q);%5 - глубина памяти алгоритма прогноза P(1,2:Q)=T(1,1:(Q-1)); P(2,3:Q)=T(1,1:(Q-2)); P(3,4:Q)=T(1,1:(Q-3)); P(4,5:Q)=T(1,1:(Q-4)); P(5,6:Q)=T(1,1:(Q-5)); net=newlind(P,T);%создание нейронной сети %(проектирование нового линейного слоя) a=sim(net,P);%опрос сети e=T-a;%вычисление ошибки subplot(2,1,1) plot(time,M*a,time,M*T,'*')%построение графика прогнозируемых значений subplot(2,1,2) plot(time,M*e,time,0)%построение графика ошибок прогноза ФУНКЦИИ STATISTICA Enterprise (для работы с рядами) - полный набор графических интерфейсов, - разведочный анализ данных (РАД; Exploratory data analysis, EDA) Дж. Тьюки (J. W. Tukey, 1977); Ф. Мостеллер (F. Mosteller), Д. Хоаглин (D. Hoaglin), П. Веллеман (P. Velleman); С.А. Айвазян, В. =М. Бухштабер, И.С. Енюков, Л.Д. Мешалкин. Выявление основных структур данных; ∙ Обнаружение отклонений и аномалий в данных; ∙ Проверка основных гипотез о распределении данных; ∙ Разработка начальныx моделей распределений данных - описательные и внутригрупповые статистики: Выявление закономерностей в наборах данных среднее, стандартное отклонение, дисперсия, доверительные интервалы, ошибки среднего, корреляция Пирсона, Спирмена, Т-критерии и другие критерии групповых различий, таблицы частот, ......... множественная регрессия, непараметрическая статистика: Колмогорова-Смирнова, Манна-Уитни и другие, подгонка распределений,... - прогностические и аналитические методы – спектральный анализ, адаптивные методы прогнозирования (экспоненциальное декомпозиции, нейронные сети; сглаживание), модели АРПСС (ARIMA), методы сезонной - система в автоматическом режиме перебирает большое число моделей, подгоняя их к каждому ряду продаж и анализирует точность каждой из этих моделей на основе независимой оценки ошибки с помощью метода кросспроверки; - возможность создания на основе полученных результатов итоговых отчетов. 46 НЕКОТОРЫЕ СИСТЕМЫ АНАЛИЗА И ПРОГНОЗИРОВАНИЯ СОСТОЯНИЙ СЛОЖНЫХ СИСТЕМ WEKA ( http://www.cs.waikato.ac.nz/ml/weka), RapidMiner (http://rapid-i.com/content/view/124/1/), Полигон алгоритмов (http://poligon.machinelearning.ru), ЭЙСДОС (http://www.cs.tut.fi/~lasip/), ДЕЛЬТА (http://lc.kubagro.ru/aidos/),..... Настольные приложения - проект LASIP (Local Approximations in Signal and Image Processing, http://www.cs.tut.fi/~lasip/), реализованный в программной среде MATLAB: новые статистические методы восстановления зашумленного и размытого одномерного сигнала, графических изображений, видео и 3D микроскопий; - WAVELAB 850 (набор Matlab функции, которые были использованы авторами в различных алгоритмах вейвлет-анализа http://www-stat.stanford.edu/~wavelab/); - BEAMLAB 200 (включает в себя около 900 Matlab файлов, данных, а также демонстрационные скрипты, http://www-stat.stanford.edu/~beamlab/); - SYMMLAB 090 (около 100 Matlab файлов http://www-stat.stanford.edu/~symmlab/). Независимые приложения: Advanced Signal Processing Toolkit Demo (http://zone.ni.com); Mealy and Moore Sequence Recognition Demo, (http://www.mathworks.com); Computer Science Lab of Université Paris 6 (http://www-connex.lip6.fr/~artieres); Pattern Recognition Demo (http://cgi.di.uoa.gr/~stpatrec/Demo_Download.htm). Интеллектуальные системы на базе методов распознавания образов: ЛОРЕГ, ЭКСИЛОР, AgSDK и MAS DK – для разработки мультиагентных систем; AT-ТЕХНОЛОГИЯ – для поддержки разработки веб-ориентированных интегрированных экспертных систем; 47 ЛИТЕРАТУРА (Нелинейная динамика и ВР)-1 1. Anishchenko V.S., Pavlov A.N. Global reconstruction in application to multichannel communication // Phys.Rev. E. 1998. 2. Baake E., Baake M., Bock H.G., and Briggs K.M. Fitting ordinary differential equations to chaotic data // Phys. Rev. A, 1992. 3. Feigin A.M., Konovalov I.B., Molkov Y.I. Toward an understanding of the nonlinear nature of atmospheric photochemistry: essential dynamic model of the mesospheric photochemical system. // J. Geophys. Res. 1998. 4. Granger C. W. J., Watson M. W. Time series and spectral methods in econometrics. In Handbook of Econometrics, V. II. North Holland: Elsevier Science B.V., 1997. 5. Huang, et al The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis // Proc. R. Soc. Lond. A. 1998. 6. J.A. Sheinkman, B. LeBaron. Nonlinear Dynamics and Stock Returns // Journal of Business. 1989. 7. Lorenz H.W. Nonlinear Dynamical Economics and Chaotic. – Motion.Berlin: Springer-Verlag. 1993. 8. Schreiber T. Interdisciplinary application of nonlinear time series methods // Phys. Rep. 1999. 9. Takens F. Detecting strange attractors in turbulence // In: Dynamical Systems and Turbulence. Lecture Notes in Mathematics. Berlin: Springer–Verlag, 1980. 10. J.-P. Ecmann N S. Oliffson Kamphorst and D. Ruelle. Recurrence Plots of Dynamical Systems. 1987 Europhys. http://iopscience.iop.org/0295-5075/4/9/004. 11. Горшков В.А., Касаткин С.А. Идентификация временных рядов авиационных событий методами и алгоритмами нелинейной динамики (теория и анализ). 2008. 12. Г.Шустер. Детерминированный хаос. Введение. Москва Мир, 1988. 13. Афанасьев В.Н., Юзбашев М.М. Анализ временных рядов и прогнозирование. М.: Финансы и статистика, 2001. 14. Безручко Б.П., Смирнов Д.А. Математическое моделирование и хаотические временные ряды. Саратов: Колледж, 2005. 15. Бокс Дж., Дженкинс Г. Анализ временных рядов. Прогноз и управление. Части 1 и 2. М.: «Мир», 1974. 16. Воронцов К.В., Егорова Е.В. Динамически адаптируемые композиции алгоритмов прогнозирования // Искусственный Интеллект. 2006. 17. Езекиэл М., Фокс К. Методы анализа корреляций и регрессий. М.: Статистика, 1966. 18. Кашьяп Р.Л., Рао А.Р. Построение динамических стохастических моделей по экспериментальным данным. М.: Наука, 1985. 19. Кендалл Дж., Стьюарт А. Многомерный статистический анализ и временные ряды. М.: Наука, 1986. 20. Кендэл М. Временные ряды. М.: Финансы и статистика, 1981. 21. Коваленко Д.С., Костенко В.А., Васин Е.А. Исследование применимости алгебраического подхода к анализу временных рядов // Методы и средства обработки информации. Изд. ВМиК МГУ. 2005. 22. Колесникова С.И., Лаходынов В.С., Цой Ю.Р. Исследование качества распознавания состояний стохастической системы // Информационные технологии. 2010. 23. Колесникова С.И. Метод распознавания и оценивания состояний слабоформализованного динамического объекта на основе разметки временного ряда // Известия РАН. Теория и системы управления. – 2011. – № 3. ЛИТЕРАТУРА (Нелинейная динамика и ВР)-2 24. The Hilbert-Huang transform and its applications / editors, Norden E. Huang, Samuel S.P. Shen. - World Scientific Publishing Co. Pte. Ltd. 5 Toh Tuck. Link, Singapore 596224 25. Huang N. E. Shen Z., Long S. R., Wu M. C., Shih H. H., Zheng Q., Yen N.-C., Tung С. C., and Liu H. H. The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis. Proceedings of R. Soc. London, Ser. A, 454, pp. 903-995, 1998. 26. An Introduction to Hilbert-Huang Transform: A Plea for Adaptive Data Analysis. Norden E. Huang. Research Center for Adaptive Data Analysis. National Central University. 27. Quek, S., Tua, P., and Wang, Q. Detecting anomalies in beams and plate based on the Hilbert–Huang transform of real signals. Smart Materials and Structures 12, 2003, pp. 447-460. 28. Давыдов В.А., Давыдов А.В. Очистка геофизических данных от шумов с использованием преобразования Гильберта-Хуанга.// Электронное научное издание "Актуальные инновационные исследования: наука и практика", 2010, № 1. http://www.actualresearch.ru. 29. https://www.mql5.com/ru/articles/439 (помощь в реализации)