Статистический анализ экспериментальных данных методом наименьших квадратов (Раздел 8 учебного пособия "Статистические методы обработки экспериментальных данных"), страница 2

Существует широкий класс задач, в которых МНК является оптимальным методом обработки данных. В других классах задач использование МНК часто оправдывается алгоритмической простотой его реализации ценой небольших потерь в оптимальности получаемого результата. Для нелинейных задач статистического анализа данных зачастую невозможно использование каких-либо других методов, кроме МНК.

Эти и другие причины объясняют широкое распространение МНК при статистическом анализе экспериментальных данных, в частности, при выявлении функциональных зависимостей. Исторически МНК возник значительно раньше других методов обработки данных. Вероятностное обоснование МНК дано К. Гауссом в начале XIX в. и А.А. Марковым в начале XX в.

Предположим, что требуется определить компоненты вектора

                                              A_<k> = (a₁, a₂,…, a_k)^т,

который в общем случае не поддаётся непосредственному наблюдению. Однако можно наблюдать вектор

                                             Y_<n> = ( y₁,  y₂,…, y_n)^т,

функционально связанный с искомым вектором A_<k>:

                                               Y_<n> = F_<n>(t; A_<k>).                  (8.2.1)

При этом соотношение размерностей векторов A и Y может быть произвольным. В частном случае A может быть скалярной величиной, а Y – вектором, и наоборот.

В общем случае вектор-функция F является нелинейной. Схема оценивания, в которой по наблюдениям в некоторые моменты времени t_i,  одного набора параметров (в данном случае компонентов вектора Y) необходимо оценить компоненты другого набора параметров (компоненты вектора A), функционально связанного с первым, называется схемой косвенных наблюдений.

Процесс наблюдения всегда сопровождается ошибками. Наблюдаемое значение функции (8.2.1) в момент времени t_i отклоняется от теоретического вследствие случайных факторов. Следовательно, результат наблюдения всегда представляет собой реализацию случайной величины. В общем случае ошибка наблюдения нелинейным образом связана с наблюдаемой функцией.

На практике часто удаётся путём линеаризации уравнений модели (8.2.1) относительно случайных ошибок свести уравнения к форме, когда случайные ошибки входят аддитивно или мультипликативно (см. §1.1). Однако наиболее простым и самым распространённым типом связи ошибок наблюдения и наблюдаемых величин является линейная аддитивная связь, когда модель наблюдения может быть представлена уравнениями

                               ,  , (8.2.2)

где  – вектор аддитивной ошибки в i-й момент наблюдения.

В дальнейшем будем рассматривать эту схему наблюдения. Уравнения типа (8.2.2) называются уравнениями наблюдения. Поскольку компоненты вектора являются случайными неизвестными наблюдателю величинами, то для поиска оценок вектора A_<k> используется уравнение вида

                                            ,               (8.2.3)

которое может оказаться и несовместным, поскольку отражает наблюдаемый процесс приближённо. Поэтому уравнение (8.2.3) принято называть условным.

Если моменты времени  t_i,   представляют собой известные и в данной задаче фиксированные величины, то фактически вектор-функция F является функцией только вектора A. Поэтому в дальнейшем в число аргументов будем включать моменты  времени t_i тогда, когда они либо неизвестны, либо известны с ошибкой. С учётом сказанного уравнение наблюдения запишется в виде

                                          .             (8.2.4)

В соответствии с методом наименьших квадратов оценки компонентов вектора A отыскиваются на основе минимизации суммы квадратов отклонений между Y и F: