Авторегрессия второго порядка. Процессы скользящего среднего. Линейные нестационарные модели

ЛЕКЦИЯ 4.

АВТОРЕГРЕССИЯ ВТОРОГО ПОРЯДКА

ПРОЦЕСС ЮЛА

Для того чтобы процесс был стационарным, корни  характеристического уравнения     () должны быть вне единичного круга, т.е. . Это означает, что на параметры авторегрессионого уравнения накладываются следующие ограничения:

Действительно, если - корни уравнения

                                                   ,                                                 (1)

то уравнение авторегрессии второго порядка

                                                    (2)

можно представить как

                                        (3)

Действительно,

Следовательно,

                                                                                                   ()

Что и требовалось доказать (пункт 1). Это теорема Виета.

Делаем в уравнении (3) замену переменных:

                                                                                                         (4)

                                           тогда                                              (5)

(5) можно представить, как

                                             или                                               (6)

Чтобы процесс  был стационарен, должен быть меньше 1 или .

Аналогично (4) представляем как

                                                                                                       (7)

Для стационарности процесса ,  должно быть больше 1.

Действительно, раскрываем (7):

.

Аналогично разворачиваем уравнение (6), используя рекурентность составляющих:

.

Для стационарности процессов и необходимо чтобы и .

Какие это накладывает ограничения на и :

1.  если , то  из (), отсюда  или

2.  уравнение  имеет корни: , , .

I.  Пусть корни вещественные, т.е. дискриминант . Возможны следующие ситуации:

a)  , . Выбираем меньший по модулю корень:

(т.к. модуль положительного числа есть само число, а под корнем значение большее, чем ).

,

т.к. , то делим на :

, или

b)  , . Второй корень по абсолютной величине меньше, поэтому берем , причем корень больше , значит модуль отрицательного числа равен числу, противоположному данному:

корень - отрицательное число, , но меньше по модулю, чем корень.

,

т.к. , то:

c)  , . Меньший по абсолютной величине корень - , причем числитель  меньше 0:

 или

делим на :

,

т.к. , то модуль :

 или

d)  , . Меньший по абсолютной величине корень - , причем числитель , значит модуль равен самому числу:

следовательно, при возведении в квадрат знак неравенства меняется на противоположный.

  или

II.  Пусть корни  и  - комплексные, т.е. , тогда т.к. квадрат модуля комплексного числа равен сумме квадратов действительной и мнимой частей

 т.к. квадрат числа >0,

отсюда .

Таким образом, для стационарности процесса  необходимо, чтобы  и  находились в треугольной области:

                                                                                                            (8)

Далее посмотрим, как будет выглядеть для (АР2) автокорреляционная функция. Запишем авторегрессионый процесс порядка p:

Умножим обе части уравнения на :

Переходя к математическим ожиданиям получим:

                                                                   (9)

Заметим, что матожидание   при k > 0, т.к.  может включать лишь импульсы  до момента t-k и зависит от  и предшествующих e, но не будущих импульсов.

Поделив все члены выражения (9) на  находим выражение для автокорреляционной функции:

                                                                 (10)

Это выражение можно записать иначе, используя оператор сдвига назад:

                                 ,                                  (11)

где .

Если  - корни полинома (i = 1, …, p), то по теореме Виета

Обозначим через . Т.к. по теореме Виета (из )

, то

Тогда:

Следовательно, характеристическое уравнение

                                                                                      (12)

Для авторегрессии второго порядка:

или                                            (13)

Производим замену переменных:

                                                 (14)

Тогда из первого уравнения (14) имеем:

                            (15)

Из (14)

Т.к. - это следует из выражения автокорреляционной функции для (АР,2)

Т.к. , то , отсюда

Следовательно,

Выразим, используя теорему Виета, и через и;  , тогда  

или

, т.е.

Следовательно,                                                    (*)

Из второго уравнения (14) ,

или, используя рекуррентный характер соотношения:

= … используя (15) … =

    (16)

Далее используем (*) для

Итак,                          (17)

причем - корни характеристического уравнения (1)

Когда корни действительны, автокорреляционная функция состоит из совокупности затухающих экспонент. Это происходит, когда  и соответствует областям 1 и 2, лежащим выше параболической границы. Конкретнее: в области 1 автокорреляционная функция затухает, оставаясь положительной, что соответствует положительному доминирующему корню [G] в (17). В области 2 затухающая функция автокорреляции знакопеременна, что соответствует отрицательному доминирующему корню [G].

Если корни - комплексные (), процесс авторегрессии второго порядка ведет себя как псевдопериодической.

Это поведение отражается на функции автокорреляции, т.к. заменой  , если в уравнении 2 корня, и один - сопряженный, то другой - комплексно-сопряженный) получаем:

                                                    (18)

Комплексное число можно представить как

Т.к. , то существует такой угол , что , т.е.

(т.к. - длина вектора).

Тогда комплексно-сопряженное число .

Делаем замену переменных в (17): . Тогда

Умножим и разделим это выражение на :

Тогда существует такой угол , что

,

Тогда

          (18)

Нетрудно заметить, что                                            (19)

Стало быть, зная , можно найти ; .

Действительно, известно, что ():

Отсюда

Следовательно,                                                           (20)

, следовательно - затухающий коэффициент,

а для случая комплексных корней () см. (8)

Наконец,                                                             (21)

На самом деле, из () имеем:

Выражение (18) показывает, что коррелограмма (или автокорреляционная функция) в процессе Юла является затухающей синусоидой.

Здесь появляются новые ограничения на :

1.  должно быть отрицательным, чтобы d было действительным

()

2.   т.к.  не может быть больше 1, то

                                                                                                                   (22)

3.  ()

4.  Тогда                                                                                                          (23)

В противном случае ряд не будет колебаться в определенных пределах, а будет неограниченно расходиться.

Итак, в области 3 и 4 автокорреляционная функция - затухающая синусоида

Попробуем очертить область допустимых значений для .

Уравнение Юла-Уокера

Из уравнения (10) имеем (для автокорреляционной функции)

или т.к.                                                       (24)

Решив (24) относительно , получим

                                                      (25)

Уравнения (24) можно решить также относительно , что дает

                                                      (26)

Используя условия стационарности (8) и выражение (26) для , можно показать, что допустимые значения  для стационарности процесса АР(2) должны лежать в области

, что следует из анализа корреляционной матрицы (см. выше)

На рис.2 показана область допустимых значений параметров , на рис.3 - соответствующая область допустимых значений .

Дисперсия процесса равна .

Итак, теоретически коррелограмма должна была бы давать нам метод для распознавания авторегрессионого процесса, при котором колебания в коррелограмме затухают. Но… (Дженкинс, Баттс…Спектральный анализ и его приложения).

 ОПРЕДЕЛЕНИЕ ПОРЯДКА ПРОЦЕССА АВТОРЕГРЕССИИ

Простой метод основан на том, что если в подбираемой модели взято недостаточное число членов, то выборочная оценка остаточной дисперсии будет завышена за счет тех членов, которые еще не включены в модель. Лишь когда правильное число членов включено в модель, получается правильная оценка остаточной дисперсии.

Это наводит на мысль о том, что если выборочную оценку остаточной дисперсии построить в зависимости от k (лага, размера запаздывания), то кривая