Оценки максимального правдоподобия. Ковариационные матрицы вектора ошибок обеих оценок. Байесовская оценка, страница 4

Если матрица Н^ТН неособенная, что может быть, если столбцы Н линейно независимы, то

и оценка (5.6.14) имеет вид  

                                                                         (5.6.15)

где  - линейная операция оценивания.

Таким образом, при линейной схеме наблюдений решение квадратичной задачи (5.6.12) приводит к линейным оценкам.

Выясним свойства полученных оценок.

1.

                                                    (5.6.16)

или                                    

Отсюда следует, что

, или

что возможно, если  и тогда ортогональная проекция вектора х на N(H) равна нулю,  либо, когда

N(H)=0,

где N(A) – множество векторов  для которых Нх=0 – нулевой вектор, т.е.

В этом случае

Н⁺Н=I, при этом матрица Н^ТН неособенная и

                                                                    (5.6.17)

Таким образом, простейшая оценка МНК в самом общем случае является смещенной, причем смещение оценки равно (I-H⁺H)x. В случае линейно независимых столбцов матрицы Н оценку (5.6.15) можно записать в следующем виде:

,(5.6.18)   

или

где , откуда

, т.е. простейшая линейная оценка МНК является несмещённой.

2.   Ковариационная матрица оценки

Поскольку

, то

, где , или

         (5.6.19)

Матрица  называется информационной матрицей. Эта матрица симметричная и если матрица наблюдения Н полного ранга, тогда матрица Н^ТН неособенная, т.е.

и в этом случае матрица S является положительно определённой.

Вектор

называется вектором остатков.

Величина

называется остаточной суммой квадратов.

Имеем для вектора остатков

- ортогональная проекция вектора z на N(H^T).

Величина этого вектора равна

или

3.   Вектор ошибки оценки равен

, тогда

Ковариационная матрица вектора  равна

        (5.8.8)

Оценка (5.6.18) является наилучшей линейной несмещенной оценкой (НЛНО), поскольку среди всех линейных и несмещенных оценок, она минимизирует сумму дисперсий компонент вектора ошибки

.

5.6.3 Обобщенные оценки наименьших квадратов.

Рассмотрим общий случай отыскания оценок наименьших квадратов для произвольно определённой ковариационной матрицы ошибок наблюдения. Решение этой задачи сводится к уже рассмотренной простейшей схеме только для новой переменной.

Пусть

                                                     z=Hx+v,                                  (5.6.20)

где Еv=0 и . Введем в рассмотрение новую переменную, для чего положим

, тогда уравнение наблюдения (5.6.20) для новой переменной можно записать в виде

                                         ,               (5.6.21) где  - (m x n)

.

При этом

.

НЛНО для схемы (5.6.21) имеет место при минимизации функционала

                                                                       (5.6.22)

и согласно (5.6.15) равна                                                                                              

                                                                                  (5.6.23)

Тогда для обобщенной схемы наилучшая линейная несмещённая оценка (НЛНО) для исходной переменной имеет вид

                      (5.6.24)

или                      

                        (5.6.25)

Учитывая, что

v=z-Hx,

окончательно получим

                                        ,                  (5.6.26)

где

Оценка (5.6.25) является оптимальной в том смысле, что среди всех линейных и несмещенных оценок вида

доставляет минимальное значение сумме компонент вектора ошибки

и одновременно минимизирует обобщённую дисперсию ошибки .