Непараметрические методы анализа случайных процессов и временных рядов

Лекция 3 НЕПАРАМЕТРИЧЕСКИЕ МЕТОДЫ АНАЛИЗА СЛУЧАЙНЫХ ПРОЦЕССОВ И ВРЕМЕННЫХ РЯДОВ Слайд 2 Целью лекции является изложение основ непараметрических и параметрических методов обработки случайных процессов (СП). В ней изложены разделы статистики стационарных СП в рамках корреляционной теории. Определение случайного процесса и временного ряда Случайный процесс является функцией X(t, ω) двух переменных tT, ωΩ, т.е. времени t и элементарного случайного события ω. Если T–подмножество действительных чисел, то это СП с непрерывным временем, если T принадлежит множеству целых чисел, то имеем случайную последовательность или временной ряд. Существует два эквивалентных подхода к изучению СП. Если рассматривать X(ω) при фиксированных значениях t, то получаем при каждом t случайную величину, и в этом случае СП определяется как семейство случайных величин X (t , ω)  { X (t1, ω),, X (t j , ω), }, где переменная t может принимать любые значения от – ∞ до ∞. Слайд 3 Или фиксируется элементарное событие ω и при каждом ωi получаем неслучайную функцию x(t) от tT, которая называется реализацией СП. Тогда СП определяется ансамблем реализаций. X (t , ω)  {x(t , ω1 ), , x(t , ωi ), }. Ансамбль может содержать бесконечное число реализаций. Таким образом, любая реализация x(t, ω) является одной из дважды бесконечного множества функций, порожденных СП. Это множество дважды бесконечно, так как возможно бесконечное множество значений функций в любой момент времени t и имеется бесконечно много таких моментов времени. В дальнейшем, как это принято в прикладной теории СП, вместо X(t,ω) будем писать X(t). Написание СП без указания аргумента ω может быть оправдано, т.к. при проведении экспериментов регистрируются значения X(t) и t без регистрации значений ω. В этом случае используем для СП обозначения 1 X (t )  { X (t j )} или X (t )  {x j (t )}, j  1, 2, . Свойства СП полно описываются бесконечномерной функцией распределения вероятностей. Однако на практике возможно вычисление только конечномерных функций распределения. Возникает вопрос: какими свойствами должна обладать система распределений, чтобы она была системой конечномерных распределений какого-либо СП? Ответ на этот вопрос дает теорема Колмогорова о конечномерных распределениях. В соответствии с этой теоремой для конечномерных функций распределения должны быть справедливы условия симметрии и согласованности. Слайд 4 СП можно изучать методами, применяемыми в математическом анализе. Важнейшим является класс СП, интегрируемых в квадрате, в L2 = L2(Ω, ℱ, P). Тогда СП X(t), tT можно рассматривать как некоторую кривую в пространстве L2. Скалярное произведение случайных величин X и Y пространства L2 определим как математическое ожидание произведения этих величин [2, 9] ( X ,Y )  M[ XY ] . Тогда среднее или математическое ожидание СП в момент времени t определяется формулой mx (t )  ( X (t ), 1)  M[ X (t )] . Слайд 5 Автокорреляционная функция (АКФ) для моментов t1, t2 определяется выражением ~ ~ Rxx (t1, t2 )  M[ X (t1 ) X (t2 )] , где X~ (t )  X (t )  M[ X (t )]  центрированный СП. Если используется скалярное произведение, то АКФ определяется по формуле Rxx (t1, t2 )  ( X (t1 ), X (t2 ))  ( X (t1 ), 1)  ( X (t2 ), 1). Слайд 6 При рассмотрении двух процессов X(t) и Y(t) вводят понятие взаимной корреляционной функции (ВКФ) ~ ~ ~ ~ Rxу (t1, t2 )  M[ X (t1) Y (t2 )]  ( X (t1), Y (t2 )). Раздел теории СП, который использует только понятия средних и корреляционных функций, называется корреляционной теорией СП. Отметим, что в рамках этой теории можем рассматривать только линейные преобразования СП. Важнейшими классами СП являются гауссовские, стационарные и стационарные эргодические СП. 2 Слайд 7 Гауссовские случайные процессы – это СП, у которых все конечномерные функции распределения нормальны, т.е. система величин (X(t1) ,…, X(tn)) имеет нормальное распределение при любых t1, …, tn T. Ценность нормального распределения состоит в том, что n-мерное нормальное распределение выражается через математическое ожидание и АКФ процесса, для определения которой достаточно знания двумерной плотности вероятности. Слайд 8 Стационарные случайные процессы. СП X(t), tT ⊆ ℝ является стационарным в узком смысле, если для любого действительного τ его конечномерная функция распределения не меняется при сдвиге на τ f ( x1, , xn ; t1, , tn )  f ( x1, , xn ; t1  τ, , tn  τ). СП называется стационарным в широком смысле (слабо стационарным), если среднее значение постоянно, а АКФ зависит только от разности времен t2 – t1 = τ M[ X (t )]  mx  const , Rxx (t1, t2 )  Rxx ( τ). Два стационарных СП X(t) и Y(t) стационарно связаны в широком смысле, если их ВКФ зависит только от разности t2 – t1 = τ. Реальные СП являются нестационарными. Стационарность – это математическая абстракция. Многие нестационарные СП на конечных интервалах времени можно аппроксимировать стационарным процессом. Вопрос о том, когда реальный процесс можно с достаточной степенью точности аппроксимировать стационарным СП, решается на основе изучения экспериментальной реализации и знания механизма ее генерации процесса. Выдвинутую гипотезу о стационарности трудно проверить, так как понятие стационарности связано с осреднением по ансамблю. При наличии единственной реализации проверка стационарности означает, что характеристики по отрезкам (сегментам) одной и той же реализации не меняются «значимо». Такая стационарность не характеризует процесс в целом, а только исследуемую реализацию. Слайд 9 Приведем важнейшие свойства АКФ и ВКФ стационарных в широком смысле СП: Rxx (0)  | Rxx ( τ) |, Rxx ( τ)  Rxx ( τ), | Rxy ( τ) |2  Rxx (0) R yy (0), Rxy ( τ)  Ryx ( τ). 3 Слайд 10 Спектральная плотность мощности (СПМ) стационарного СП определяется как Фурье-преобразование АКФ  S xx (ω)    Rxx (τ)e jωτ dτ,    ω   . Если АКФ строго действительная функция и обладает свойством симметрии Rxx(τ) = Rxx(–τ), то СПМ является строго действительной положительной функцией, и ее можно записать так  S xx (ω)  2 0 Rxx (τ) cos(ωτ)dτ,    ω   . Отсюда видно, что СПМ симметричная функция Sxx(ω) = Sxx( - ω) Взаимная спектральная плотность мощности (ВСПМ) определяется как Фурьепреобразование ВКФ  S xy (ω)    Rxy (τ)e jωτ dτ,    ω   . Поскольку Rxy(τ) ≠ Rxy(–τ), то ВСПМ в общем случае является комплексной функцией со свойством Sxy(ω) = S*yx(ω), где * – означает знак комплексного сопряжения. Слайд 11 Эргодичность. Рассмотрим особенности экспериментального изучения свойств СП. Теоретики любят оперировать с ансамблем реализаций, получение которого предполагает наличие множества макроскопически идентичных систем, каждая из которых обеспечивает одинаковые условия протекания процесса и одинаковые условия его регистрации. Однако в реальных условиях можно допустить только мысленное существование множества идентичных систем. Обычно у исследователя одна лаборатория, одна установка, на которой он может наблюдать единственную реализацию [4, 11] на конечном отрезке времени [0, T]. Необходимо оценить характеристики СП по этой реализации, заменяя усреднение по множеству реализаций, усреднением по времени. Свойство, обеспечивающее такую замену, называется эргодическим. Не будем касаться эргодичности стационарных в узком смысле СП, рассмотрим эргодичность для СП стационарных в широком смысле. В теореме Неймана рассматривается сходимость в среднеквадратичном. Из нее следует, что если Z(t) = Z[(X(t)] – некоторая стационарная функция стационарного СП X(t) со средним mz, то выборочное среднее mˆ z  1 T  z (t )dt T 0 (3.1) сходится в среднеквадратичном к mz. Необходимое и достаточное условие эргодичности по отношению к среднему mz определяется соотношением 4 2 2 T τ 1 T  lim M   z (t )dt  mz   lim  0 (1  ) Rzz ( τ) dτ  0. T  T T 0  T  T Если этот предел существует, то среднее можно вычислить по единственной реализации бесконечной длительности или для конечных Т оценку по формуле mz  lim 1 T  T T  0 z (t ) dt . Поскольку необходимое и достаточное условие эргодичности проверить невозможно из-за отсутствия ансамбля реализации, то приходится довольствоваться содержательными суждениями о выполнении достаточного условия эргодичности lim Rzz ( τ)  0 , τ  для соблюдения которого достаточно убывания корреляционной связи с увеличением расстояния между сечениями. Заметим, что результаты такого анализа не распространяются на СП в целом, они только применимы к данной реализации или, в крайнем случае, к некоторому подмножеству реализаций ансамбля (если таковые могут иметь место). Слайд 12 Необходимое и достаточное условие эргодичности по отношению к АКФ получим, определив СП Z(t) как Z (t )  X~ (t ) X~ (t  v) . Так как mz  M[ X~ (t ) X~ (t  v)]  Rxx (v) , то вместо эргодичности по отношению к среднему СП Z(t) получаем эргодичность по отношению к АКФ. АКФ Rzz() относительно просто находится только для гауссовских СП и тогда условие эргодичности имеет вид [5] 2 T τ 2 ( τ)  R ( τ  v) R ( τ  v)] dτ  0. (1  )[Rxx xx xx  T  T T lim (3.2) Если условие (3.2) соблюдается, то АКФ можно найти по единственной реализации Rxx (τ)  lim 1 T  T T  0 ~x (t )~x (t  τ)dt, или для конечных Т – оценку АКФ Rˆ xx ( τ)  1 T | τ| ~ ~ x (t ) x (t  τ)dt. .  T| τ| Концепция эргодичности по отношению к АКФ требует принятия допущения стационарности СП вплоть до четвертого момента распределения. Отсюда следует, что условие эргодичности для негауссовских процессов будет несколько другим. В целом, эргодические по отношению к АКФ СП не являются эргодическими по отношению к СПМ. Оценка СПМ, найденная по единственной реализации, является 5 смещенной и несостоятельной. Истинную СПМ можно получить только по всему ансамблю. Если условие стационарности и эргодичности применимы, то СП можно изучать по одной реализации. Однако класс стационарных эргодических СП весьма широк. Поэтому приходится делать дополнительные предположения, связанные с конкретным типом распределения. Чаще всего полагают, что распределение гауссово. Класс СП с данным типом распределения также очень широк, поэтому возможна дальнейшая детализация, например, по типу АКФ или по характеристикам выбросов СП. Выбор семейства вероятностных моделей, к которому нужно отнести реализацию исследуемого СП, невозможен только на основе использования статистической информации. На практике для выбора семейства моделей СП нужно использовать данные, основанные на содержательном анализе природы изучаемого явления. Общую методику построения модели процесса приводить не будем, а ограничимся лишь изложением основных положений построения модели. Слайд 13 Выбор класса моделей Главным в прикладной статистике является выбор класса моделей. Он позволяет выделить задачи, которые представляют наибольший интерес для анализа. В качестве первичного шага при выборе класса моделей можно предложить анализ имеющейся априорной информации об изучаемом процессе. Источниками такой информации могут быть литературные данные, точка зрения ведущих специалистов, мнение персонала, эксплуатирующего систему, в которой генерируется данный СП, графики реализаций СП. Эта информация может быть уточнена и дополнена в ходе проведения предварительных экспериментов. По результатам анализа априорной информации выдвигается гипотеза о том, что данные порождены одной из моделей среди множества возможных классов. При решении практической задачи число возможных классов может быть достаточно большим. В каждом классе нужно найти наиболее подходящую модель и затем по некоторому множеству критериев проверить, какая из моделей удовлетворяет наибольшему числу критериев проверки адекватности. Кроме этого, модель должна обеспечивать удовлетворительный прогноз. Конечно, такой подход требует большой вычислительной работы. Однако задачу можно упростить, рассматривая отдельно задачу выбора класса и проверки адекватности. Анализ результатов большого числа работ по экспериментальному исследованию статистических характеристик реальных СП позволяет сделать вывод, что во многих случаях модель СП можно представить в виде следующей структуры [5, 11]: Z (t )  B(t )  C(t )  X (t )  N (t ) , 6 Функция B(t) обусловлена медленными, постепенными изменениями условий работы или характеристик оборудования и свойств сырья, например, медленным изменением нагрузки агрегата по заданному графику, старением катализатора в химических реакторах, отложением солей на поверхностях нагрева теплообменников, постепенным уменьшением запасов газа в газоносных слоях месторождения. Эту функцию можно выделить из наблюдаемого процесса Z(t) методами сглаживания, например, с помощью ОМНК, экспоненциальными фильтрами Брауна, текущим средним [10, 11, 18]. Компоненты C(t) формируются в результате самых разнообразных периодических явлений и операций: сезонных изменений в потреблении продукта (например, зимой потребление газа и электроэнергии больше, а летом меньше), суточной периодичностью производственного процесса, периодических технологических циклов у потребителей продукции, периодических переключений оборудования. Вопросы выделения периодических компонент рассмотрены в работах [5, 11, 13, 15, т. 2]. Помеха N(t) представляет собой комбинацию различных СП, которые возникают в чувствительных элементах, в каналах связи, в измерительных устройствах и преобразователях. В большинстве случаев помеха является высокочастотным СП, который можно считать по отношению к X(t) белым шумом. Такая помеха легко подавляется одним из известных фильтров нижних частот. Случайная функция X(t) формируется в результате одновременного действия множества независимых или слабо связанных друг с другом факторов, сравнимых по эффекту своего участия в образовании X(t). В дальнейшем случайную функцию, которая остается после выделения из Z(t) составляющих B(t), C(t), N(t), будем считать стационарным СП. Не каждый СП содержит все перечисленные компоненты. Важность того или иного компонента зависит от решаемой задачи, в одних задачах это могут быть периодические компоненты, в других – исследователю более важен медленно изменяющийся компонент B(t). Модель представляет собой некоторую идеализацию реального процесса. Очевидно, реальному процессу можно поставить в соответствие несколько изоморфных моделей из различных классов. Важно выбрать класс моделей так, чтобы он был, применим к широкому кругу задач, отражал существенные свойства изучаемого процесса. В то же время выбранный класс должен быть таким, чтобы статистическая теория, применяемая к нему, была достаточно простой, а параметры моделей допускали четкую интерпретацию. В некоторых случаях требование простоты статистической теории может оказаться решающим. Например, часто в качестве исходной гипотезы берут класс моделей СП с нормальным законом распределения, что значительно упрощает математический аппарат. Однако многие реальные процессы описываются более сложными рас- 7 пределениями и семейство, принадлежащее к нормальному закону распределения, не всегда обеспечивает требуемую полноту описания. В этом случае также можно применить модели с нормальным распределением с последующим исследованием влияния отклонений от нормальности. Если отклонения окажутся существенными, то следует применить нормализующие преобразования исходных данных (см. п. 2.4.2). Слайд 14 Основные задачи статистики случайных процессов Задачи статистики СП можно формулировать с разной степенью общности и с различных позиций. В настоящее время теория статистики СП интенсивно развивается, и она не только полностью использует математический аппарат статистики случайных величин, но и применяет методы, присущие только для СП. Характерно, что число этих методов растет из года в год. Наличие большого числа методов связано с весьма большим множеством возможных типов семейств моделей, которые, содержат множество элементов с конкретными параметрами. Ориентироваться в этом множестве моделей становится всё труднее. Ограничимся рассмотрением простых задач, которые не выходят за рамки корреляционной теории. Основания статистики СП составляют две задачи: задача статистической проверки гипотез и статистического оценивания, включая основные понятия несмещенность, состоятельность, эффективность. Эти задачи те же, что и в классической теории случайных величин, однако при решении конкретных задач встречаются значительные трудности и явления нового порядка. В основные трудности связаны с наличием зависимости между семейством сечений, сложной структурой наблюдаемого СП, а в случае данных с непрерывным временем и распределением в бесконечномерных пространствах. Теория проверки статистических гипотез, наиболее часто используется в задачах обнаружения сигнала на фоне шума. Здесь по данным наблюдаемой реализации нужно определить, справедлива ли гипотеза: о том, что реализация содержит сигнал или справедлива гипотеза о том, что она содержит один лишь шум. Рассмотрим две группы методов оценивания статистик СП. Первая из них относится к непараметрическим методам оценивания и, для того, чтобы их различать от методов свободных от распределения (см. лекцию 2), будем называть эти методы классическими. Вторая группа методов дает параметрическое описание статистик. К методам оценивания тесно примыкают задачи фильтрации и прогнозирования процессов, в которых требуется оценить значения самого процесса в фиксированный момент времени. Изложим некоторые понятия, связанные с задачей оценивания. Выборка. Объём выборки. Исходными данными статистики СП являются наблюдения отрезка единственной реализации из мыслимого ансамбля реализаций X(t) = 8 {xj(t)}, j =1, 2, … , который определен для всех tT. В соответствии с принятой в математической статистике терминологией, ансамбль реализаций иногда будем называть выборочным пространством X. Статистический анализ СП проводится с целью описания по заданной реализации свойств выборочного пространства X. Эта задача аналогична задаче оценки свойств генеральной совокупности по выборочным данным, рассматриваемой в статистике независимых случайных величин, теория которой строится в предположении, что выборка из генеральной совокупности осуществляется простым случайным выбором, где каждое значение из совокупности имеет одинаковую вероятность быть выбранным. При анализе СП такой выбор невозможно осуществить, однако идею случайного выбора будем использовать, считая наблюдаемую реализацию результатом случайного выбора из мыслимого выборочного пространства X. Результат случайного выбора называется выборкой. В статистике СП это реализация конечной длительности T. Количественной мерой выборки является объём выборки или число степеней свободы. В статистике независимых случайных величин под объёмом выборки понимается число n наблюдаемых значений x1, x2, …, xn случайной величины X, полученных простым случайным выбором из генеральной совокупности. Заметим, что количество информации в выборке пропорционально объёму выборки. В статистике СП результатом эксперимента является одна реализация и, очевидно, объём выборки должен быть связан с длительностью наблюдения реализации или с длиной реализации T. Однако длина реализации может служить мерой объёма выборки только для последовательности некоррелированных случайных величин. Для определения объёма выборки реализации СП нужно, кроме длины реализации T, учитывать степень связи между сечениями X(t), которая измеряется нормированной АКФ rxx(τ). Мерой протяжённости связи служит интервал корреляции τk – расстояние между сечениями X(t) и X(t+τ), начиная с которого можно считать эти сечения некоррелированными. Если известен τk, то объём выборки реализации СП определяется по формуле n = T/τk. Величина n совпадает с числом некоррелированных отсчетов СП на длине T. Существуют различные оценки τk стационарного эргодического СП. Рассмотрим наиболее часто используемые оценки τk. Слайд 15 1. Пусть ε – некоторая сколь угодно малая положительная величина. Интервал корреляции оценивается по значению аргумента τk нормированной АКФ rxx(τ), начиная с которого выполняется соотношение rxx ( τ)  ε для всех τ  τ k1 . 2. По площади, заключенной под кривой нормированной АКФ 9  τk2  2  0 rxx ( τ) dτ. 3. При определении дисперсии АКФ часто используется следующая интегральная форма интервала корреляции  2 τкв k  2 0 rxx ( τ)dτ. Величина τкв k в значительной мере отличается от τ k1 . 4. Если неизвестна АКФ, но задана реализация не менее чем дважды дифференцируемого процесса, то k можно оценить по среднему числу пересечений процессом в единицу времени своего среднего значения (среднее число нулей nox) и по среднему числу максимумов процесса в единицу времени mox [10] 1 / mox  τ k  nox . Если же известно только nox, то k приближённо равен τ k  2 / nox . Отметим, что знание k важно не только при определении объёма выборки. Он используется и при решении задачи выбора шага дискретизации по времени СП [10]. Слайд 16 Критерии точности оценок. Задача оценивания некоторых неизвестных параметров распределения СП по выборке является одной из важнейших задач математической статистики. В общих чертах эта задача состоит в следующем. Пусть дана реализация x(t), t = 1, …, n СП X(t), распределение которого зависит от неизвестного ненаблюдаемого параметра θ =(η1, …,ηn). Оценкой, или статистикой, называется функционал на Rn, зависящий от наблюдений x(t), t = 1, …, n. Обозначим оценку параметра θ через θˆ  θˆ ( X1,..., X n ). Существует много способов нахождения оценки θ̂ по наблюдениям xt . Нужно найти такую оценку, чтобы ей можно было бы дать предпочтение перед всеми другими оценками θ̂ . Решение, какую величину θ̂ принять за наилучшую оценку, зависит от критерия, который будем измерять функцией риска оценки W (θˆ , θ), зависящей от наблюдаемой оценки θ̂ и ненаблюдаемого параметра θ . Наиболее часто функцию риска выбирают так, чтобы она зависела от ошибки (θˆ  θ) . Рассмотрим случай, когда θ скаляр, θ  η . В качестве меры ошибки возьмём квадратичный критерий. Тогда функция риска равна 2 W (η̂, η)  M η̂  η . Величина M η̂  η 2 является средним квадратом ошибки оценки η̂ . Использование среднего квадрата ошибки в качестве характеристики точности оценок не дает полной информации об оценке. Полная информация содержится толь- 10 ко в распределении η̂ . Однако в большинстве случаев точное распределение оценки трудно найти и, кроме того, оно зависит от ненаблюдаемого истинного параметра η. В ряде случаев распределения оценок удовлетворительно аппроксимируются хорошо известными распределениями, такими, как нормальное, t, χ2 и F-распределения. Тогда можно найти интервальные оценки параметра η. Чтобы оценка была «хорошей», она должна удовлетворять условиям, которые были впервые выдвинуты Фишером1. Согласно этим условиям, оценка должна быть несмещённой, состоятельной и эффективной. Статистика η̂ называется несмещённой оценкой параметра η, если математическое ожидание оценки равно самому параметру η M[ηˆ ]  η . (3.3) Если условие (3.3) не соблюдается, то оценка смещена или, как говорят, содержит систематическую ошибку. Статистика η̂ называется состоятельной оценкой параметра η (или сходящейся к η), если при неограниченном увеличении объёма выборки ( n   ) разброс η̂ около истинного значения параметра η стремится к нулю. Очевидно, что состоятельность является наиболее необходимым и желательным свойством оценки. Однако существуют различные способы измерения разброса, следовательно, существуют и различные типы сходимости. Рассмотрим только сходимость в среднеквадратичном (ср. кв.). Другие типы сходимости изложены в [2, 9]. Состоятельность в среднеквадратичном. Под этой сходимостью понимают обращение в нуль среднего квадрата отклонения η̂ n от η при n   2 lim M η̂n  η  0 . (3.4) n  Сходимость в среднем квадратичном часто записывают в виде l. i. m. ηˆ n  η . Обозначение l. i. m. составлено из начальных букв английского названия этого предела (limit in the mean square). 1 Фишер (Fisher) Роналд Эйлмер (10.2.1890 – 29.7.1962) – английский статистик и генетик. 11 Оценки минимальной дисперсии. Неравенство Крамера-Рао. Состоятельность является важнейшей характеристикой оценки. Однако это еще не говорит о том, насколько эти оценки хороши при небольших объемах выборок и нет ли лучших оценок. Для семейства функций распределения {F(x, η), ηθ}, достаточно регулярно зависящих от параметра η, можно указать нижнюю границу дисперсии всех несмещенных оценок параметра. В ряде случаев эта граница является точной нижней границей и существуют оценки параметра, на которых она достижима. Такие оценки называются эффективными. Сравнение дисперсии конкретной оценки с нижней границей позволяет судить, насколько близка данная оценка к оптимальной. Пусть дана выборка n независимых случайных величин {X1, …, Xn}, имеющих одинаковый закон распределения f(xi, η) = f(x, η). По этой выборке находится оценка η̂ параметра η η̂  η̂( x1, ..., xn )  η̂(x) , x  ( x1, ..., xn ). Плотность вероятностей случайных величин X1, …, Xn, зависящая от η, запишется в виде f ( x1, ..., xn ; η)  f ( x, η) и пусть M[η̂]  η  Δη – смещённая оценка параметра η. Здесь Δη – величина смещения. В этих условиях справедливо неравенство M[(η̂  η)2 ]  1  Δη2  2  ∂ ln f ( x, η)   f x, ηdx n   ∂η    , (3.5) называемое неравенством Крамера-Рао1. Знаменатель выражения (3.5) I является мерой количества информации в выборке, а I/n – количество информации в отдельном наблюдении. I n  ∂ ln f ( x, η)  2  f ( x, η)dx .   ∂η     В случае равенства в формуле(3.5) получаем наименьшее достижимое значение общей дисперсии смещённой оценки. Если оценка ηˆ ( x ) несмещённая, то получаем неравенство для дисперсии оценки ηˆ ( x) . Неравенство впервые получено Эйткиным и Сильверстоуеном (Aitken A.C. and Cilverstone H.) в 1942 г. и вновь открыто Рао (Rao B.R.) в 1945 г. и Крамером (Cramer H.) в 1946 г. 1 12 1    ∂ ln f ( x, η)  2   f ( x, η) dx . σ 2η̂  n   ∂η        (3.6) Пример 3.1. Пусть дана выборка независимой случайной величины объёма n из совокупности с нормальным распределением f ( x, m)  1  ( x  m)2  exp  . 2σ2  σ 2π  Оценивая среднее значение m, необходимо определить наименьшее достижимое значение дисперсии σ 2m̂ оценки m̂ . Находим 1 ( x  m) 2   ( x  m) 2  ∂ ln f ( x, m)  2  ∂     .      ln ∂m 2σ 2  σ4    ∂m  σ 2 π 2 Мера количества информации равна  I  n   ( x  m) 2 n . f ( x, m) dx  4 σ σ2 Подставив это значение в формулу (3.6), получаем дисперсию оценки среднего 2  σ 2 / n , из которой видно, что наименьшая дисперсия оценки обратно пропорциоσm ˆ нальна объему выборки. Для уменьшения среднеквадратического отклонения оценки в k раз, объём выборки нужно увеличить в k 2 раз, т. е. σ mˆ  σ / n . Решение задачи нахождения эффективных оценок в общем случае сложно. Однако существует класс так называемых наилучших линейных оценок, нахождение которых относительно просто. Для построения линейных оценок не требуется более сильных предложений, чем конечность моментов первого и второго порядков выборки и дисперсия линейной оценки является естественной нормой эффективности оценки. 3.1.4. Задача наилучшей линейной оценки Пусть задан гильбертов СП X(t)  ℍx, tR [2, 9, 10] и независимая случайная величина ηℍx, характеризующая X(t). Требуется найти такую оценку η̂ величины η по наблюдениям X(t) на [0,T], чтобы она давала наилучшее приближение к η в смысле минимума среднеквадратического отклонения 2 || η  η̂ ||  min || η  ~ η ||  {M η  η̂ }1/ 2 . ηH ~ η В качестве оценки линейную комбинацию η̂  c1 X t 1    cn X t n , где η̂  ℍ, с. Так как комбинация Xt, t[0,T] η  ηˆ η ηˆ  ηˆ ( X (t ) | t  0, T ) возьмем c1 X t 1 H ~η c2 X t η̂ 2 Рис.10.1. Геометрическая интерпретация оценивания η 13 Xt, ηℍx, то η̂ как линейная будет представлять подпро- странство ℍῆ пространства ℍx. Подпространство ℍῆ образует оболочку, натянутую на векторы Xt1, …, Xtn, каждая точка которой соответствует некоторому возможному значению оценки ~η . Рассмотрим случай n = 2. Тогда подпространство ℍῆ представляет собой плоскость, проходящую через начало координат и натянутую на векторы c1 X t и c2 X t 2 1 (рис.3.1). Для нахождения ближайшего к ηℍx вектора нужно из конца η опустить перпендикуляр на плоскость оценок ℍῆ. Проекция вектора η на ℍῆ – вектор ηˆ  пр H η ( ηˆ  пр H η означает проекцию) будет ближайшим к η из всех векторов подпространства оценок ℍῆ, т.е. длина перпендикуляра, равная || η  ηˆ || , будет минимальна. Поскольку вектор η  ηˆ ортогонален к η̂ , то скалярное произведение этих векторов равно нулю (η  ηˆ , ηˆ )  0 . Очевидно, что вектор η  ηˆ будет ортогонален и к компонентам c1 X t1 , c2 X t2 (η  η̂, c j X t j )  0 , j  1, 2 или, учитывая свойства скалярного произведения, (η  η̂, X t j )  0 j  1, 2 . (3.7) Выражение (3.7) справедливо и для произвольного n. В этом случае элементом наилучшего приближения опять будет вектор η̂ , являющийся проекцией вектора ηℍx на ℍῆ, т. е. снова ищем вектор η  ηˆ , ортогональный к каждому из векторов Xt1, …, Xtn. Тогда (η  η̂, X t j )  0, j  1, , n или, записав это выражение через математическое ожидание, получим M[( η  η̂) X t ]  0, j  1, , n . j Подставив в это выражение оценку η̂ , находим M[(η  in1ci X t X t )]  0, j  1, , n . i j Решив эту систему, найдем коэффициенты сi, i = 1, …, n, обеспечивающие наилучшую линейную оценку величины η η̂  in1ci X t i в смысле минимума среднеквадратической оценки min || η  ~ η || || η  η̂ ||  {M(η  η̂)2}1/ 2 . ~ ηH ~ η Нетрудно показать, что η̂ есть наилучшая оценка. Действительно, для любой другой оценки ῆℍῆ получим 14 2 2 2 2 η~ η  η  η̂  η̂  ~ η  η  η̂  η̂  ~ η  2(η  η̂, η̂  ~ η) . В силу ортогональности векторов ( η  ηˆ ) и ( ηˆ  ~η ) скалярное произведение в третьем слагаемом равно нулю, поэтому имеем 2 2 2 2 η~ η  η  η̂  η̂  ~ η  η  η̂ . Отсюда видно, что η̂ есть наилучшее приближение величины η . В общем случае среднеквадратическое отклонение линейной оценки не меньше среднеквадратического отклонения наилучшей оценки, но в частном случае, когда процесс гауссовский, наилучшей оценкой среди всех возможных оценок будет линейная оценка. Пример.3.2. Как и в примере 3.1, даны n наблюдений независимой случайной величины Χ = (x1, …, xn). Найдем наилучшую линейную несмещенную оценку среднего m̂  i ci xi . Из соотношения M[mˆ ]  M[i ci X i ]  mi ci  m следует, что оценка будет несмещенной при i ci  1 . В силу независимости наблюдений, дисперсия оценки равна σ m2ˆ  i ci2σ 2x и имеет единственный минимум при c1  c2    cn  1 / n . Следовательно, оптимальная линейная оценка равна среднеарифметическому значению наблюдений mˆ  1 n  xi n i 1 с дисперсией σ 2m  1 n 2 σ 2x  σx  n . n2 i 1 Сравнение полученных результатов с выводами примера 3.1 показывает, что среднеарифметическая оценка среднего является наилучшей линейной оценкой, обеспечивающей точную нижнюю грань неравенства Крамера-Рао. 3.1.5. Предварительная обработка данных Общие методы предварительной обработки данных были изложены в гл.1 и 2. Рассмотрим некоторые проблемы предварительной обработки, касающиеся только СП. Цель этой обработки – дальнейшее уточнение априорно принятой модели. Реальные СП, как правило, могут быть описаны только моделью нестационарного процесса. Простейшей среди этих моделей является модель нестационарного процесса со стационарным остатком. Такая модель, кроме стационарной части, содержит ряд других компонент, таких как тренды, сезонные изменения, низкочастотные возмущения, возможно периодического или почти периодического характера, высокочастотные возмущения (см. п. 3.2). Тренды и низкочастотные возмущения. Вопрос, когда реализацию можно представить моделью, состоящей из отдельных компонент, не простой. Например, компо- 15 нент B(t) может содержать как непериодические детерминированные, так и низкочастотные, по сравнению с X(t), случайные составляющие. Случайные составляющие не могут быть статистически надежно описаны в пределах длины реализации, достаточной для анализа компоненты X(t). Если реализация СП содержит малое число периодов какой-либо из гармоник C(t), сравнимой по мощности с X(t), то эту гармонику также будем относить к компоненту B(t). Важным моментом здесь является то, что компонент B(t) имеет СПМ, сосредоточенную в области нулевых частот. В этом случае наблюдения Y(t) можно рассматривать как реализацию со стационарным остатком X(t) и для выделения «регулярного» компонента B(t) применить классические методы сглаживания [10, 18] или методы регрессионного анализа, оценивая параметры регрессии ОМНК. Проблема разделения наблюдений на «регулярный» и случайный компонеты подробно обсуждается в книге В. Н. Тутубалина [16]. Это разделение трудно осуществить на строгом научном уровне. Неизвестную «регулярную» функцию B(t) можно считать многочленом. Такое предположение основано на известной математической теореме. Согласно этой теореме любая непрерывная функция на любом отрезке с любой степенью точности может быть аппроксимирована полиномом достаточно высокой степени. Достаточно «высокой» считается полином не выше 3 – 5 степени. Оценка параметров полиномов выше 5-й степени связана с решением плохо обусловленных систем уравнений (п. 3.4.2). Заметим, что тренд по существу является реализацией СП с низкочастотным спектром, и описание его полиномом пригодно для наблюдаемых данных, но применение этого полинома для прогноза тренда весьма рискованно. Высокочастотные возмущения. Для исключения этих возмущений можно применить предварительную фильтрацию. Частично с ними можно бороться с помощью правильного выбора шага дискретности по времени Δt. Малая величина Δt не позволяет значительно уменьшить шум. Выбор оптимального шага дискретности – это компромисс между подавлением шума и описанием случайного компонента с малым искажением. Выбор шага дискретности по времени. Обработка данных производится на ЭВМ, и поэтому процедура дискретизации является неизбежной. Любая дискретизация приводит к некоторой потере информации. Важно выбрать Δt так, чтобы эти потери были в пределах заданных допустимых границах. Потеря информации от дискретизации становится более прозрачной, если применить частотное описание. Если частота дискретизации ω0, то частоты спектра, превышающие частоту Найквиста ωN = ω0/2, будут интерпретироваться как вклад частот ниже ωN. Это означает, что СПМ дискретизированного процесса SΔ(ω) будет представлять собой сумму периодически повторяющихся спектров непрерывного процесса Sxx(ω) 16 SΔ (ω)   k   S xx (ω  kω0 ) . Информация о частотах, превышающих частоту ωN, полностью теряется. Поэтому важно принять меры против искажения интересующей нас части спектра ниже частоты ωN. Это достигается путем предварительной фильтрации. Если исследуемый СП низкочастотный с высшей частотой, равной ωв, то достаточно применить предварительный фильтр с частотой среза ωв и провести дискретизацию с шагом Δt = π/ωв без потери информации. Если процесс не является низкочастотным, то неизбежно искажение от применения предварительной фильтрации. Шаг дискретности должен быть меньше, чем интересующая нас наименьшая постоянная времени. Однако слишком малый шаг не позволяет уменьшить уровень высокочастотных помех. Компромиссным вариантом может служить метод выбора Δt по характеристикам особых точек, который изложен в работах [5, 10]. Неоднородные выборки. Принципы обработки неоднородных выборок и выборок, содержащих аномальные наблюдения, изложены в п.2.2. Ограничимся указанием возможности обнаружения неоднородностей в исследуемой реализации с помощью вейвлет-преобразования (ВП) и сингулярного разложения, которые изложены в гл.112 данного справочного пособия. Упражнения и задачи 1. Даны два сечения СП X(t) = Xt и X(s) = Xs, в гильбертовом пространстве ℍx [2, 6, 9]. Скалярное произведение каждой пары Xt, Xs ℍx определим следующим образом: M[ X t X s ]  ( X t , X s ) . Проверьте, удовлетворяет ли такое определение математического ожидания всем условиям скалярного произведения. Если в ℍx определено скалярное произведение, то норму вектора Xt ℍx можно определить так || X t || ( X t , X s ) . Докажите, что такое определение нормы удовлетворяет обычным требованиям нормы. 3. СП X(t) можно представить в виде суммы центрированного СП и неслучайного математического ожидания ~ X (t )  X (t )  m x (t ) . Используя свойства скалярного произведения, докажите, что X~ (t ) и mx (t ) не коррелированны, то есть mx (t )  X~ (t ) . 4. Пусть X  ( x1 ,, xn ) , где xk имеют распределение Пуассона 2. f ( x, λ )  P ( X  x )  λx λx e , x  0, 1,  , λ  0 . x! 17 Определите границу неравенства Крамера-Рао дисперсии несмещенной оценки параметра λ. 5. Исследуемый процесс является кусочно-линейным на интервале дискретизации. Нужна ли в этом случае предварительная фильтрация? 6. СП дискретизируется по времени после предварительной фильтрации. На какую величину уменьшается дисперсия процесса, если частота Найквиста ωN? 18