Метод наименьших квадратов и специальные интерполяционные многочлены

Выпишем формулу (2.12.5) при . Получим     По имеющейся таблице и по только что написанной формуле можно
получить значение функции только для . Тогда  и  По данной таблице можно получить еще два значения функции для  , так как вклад последнего члена формулы для   меньше  , поэтому для   четвертые разности не понадобятся (их нет для значений  ). Структура формулы для  для этих значений не изменится, только разности, входящие в формулу, сдвинутся по таблице для   вверх, а для   - вниз на одну позицию (для   они обведены пунктиром):

3. Метод наименьших квадратов и специальные интерполяционные многочлены

3.1. Постановка задачи и вывод формул метода наименьших квадратов

Задача наименьших квадратов возникает в самых различных областях науки и техники, например, к ней приходят при статистической обработке экспериментальных данных. Пусть функция   задана таблицей приближенных значений , полученных с ошибками  Предположим, что для аппроксимации функции  используется линейная модель:   где  - заданные базисные функции,   - параметры модели, являющиеся одновременно коэффициентами обобщенного многочлена. Часто используется одна из наиболее простых моделей  - полиномиальная модель.

В случае, когда уровень неопределенности исходных данных высок, нет смысла требовать точного совпадения значений обобщенного многочлена  в точках   с заданными значениями  , то есть использовать интерполяцию. Кроме того, при интерполяции происходит повторение ошибок наблюдений, в то время как при обработке экспериментальных данных желательно сглаживание ошибок. Тем не менее нужно потребовать, чтобы

                                       (3.1.1)

Эта же система в матричной форме имеет вид                                             (3.1.2)

Существуют разные дополнительные критерии, позволяющие решить эту систему, так как в общем случае при  она, вообще говоря, несовместна. Выбор , позволяющий наилучшим образом удовлетворить  (3.1.2) в методе наименьших квадратов, состоит в том минимизируется среднее квадратическое уклонение

                                            (3.1.3)

Итак, линейная задача метода наименьших квадратов состоит в следующем. Надо найти обобщенный многочлен , для которого среднеквадратическое уклонение  Этот многочлен называется многочленом наилучшего среднего квадратического приближения. Так как набор функций  всегда заранее определен, задача заключается в нахождении вектора  при условии  Для решения нашей задачи воспользуемся общим приемом дифференциального исчисления, а именно выпишем необходимые условия экстремума функции нескольких переменных (приравняем частные производные нулю):

                                                   (3.1.4)

Тогда получим  Изменим в первом слагаемом порядок суммирования:

                                   (3.1.5)

Уравнение (3.1.5) называется нормальной системой метода наименьших квадратов.

Если вернуться к обозначениям формулы (3.1.2), то, как нетрудно видеть, систему (3.1.5) можно записать в виде

                                                           (3.1.6)

Матрица  называется матрицей Грама[*]. Если еще ввести вектор  , то система (3.1.6) перепишется в виде  - система линейных уравнений относительно вектора  . Можно показать, что если среди точек  нет совпадающих и , то определитель системы (3.1.6) отличен от нуля, и, следовательно, эта система имеет единственное решение:  Обобщенный полином с такими коэффициентами будет обладать минимальным средним квадратическим отклонением .

Если , то обобщенный многочлен, если система функций  степенная, совпадает с полиномом Лагранжа для системы точек , причем  При  построение такого точного интерполяционного многочлена невозможно. Таким образом, аппроксимация функций представляет собой более общий процесс, чем интерполирование.

Если , то нормальная система (3.1.5) принимает следующий вид:

                                           (3.1.7)

Запишем  систему  (3.1.7) в  развернутом  виде  в двух  наиболее  простых случаях при

 и   В случае, когда приближение осуществляется многочленом первой степени , уравнения метода наименьших квадратов имеют следующий вид:

                                                    (3.1.8)

- нормальная система для  в развернутом виде. Пусть теперь  Аналогично получим 

                                     (3.1.9)

- нормальная система для  в развернутом виде для квадратичного сглаживания.

Метод вычисления параметров  с помощью решения нормальной системы кажется весьма привлекательным. Действительно, задача сводится к стандартной системе линейных алгебраический уравнений с квадратной матрицей. Однако вычислительная практика показывает, что без специального выбора базисных функций  уже при  нормальная система обычно оказывается плохо обусловленной