Метод наименьших квадратов. РЕАЛЬНАЯ ФИЗИКА. Глоссарий по физике

Метод наименьших квадратов - метод оценивания неизвестных параметров теоретич. моделей по косвенным измерениям при параметрич. анализе данных (см. Анализ данных ).H. к. м. был предложен К. Гауссом (С. GauB, 1809) для задач геодезии и астрономии в след. формулировке. Пусть существует модель явления, в к-рой x - вектор аргументов, а - вектор неизвестных параметров. Для определения параметров а проводятся косвенные измерения, т. е. измеряются не сами параметры a, a функции этих параметров f (х|а), вычисляемые согласно модели. Благодаря ошибкам измерения e_n результаты измерения Y_n равны

Относительно e_n предполагается, что они являются чисто случайными величинами, т. е. при многократном проведении измерений их ср. значения равны нулю, M(e_n) = 0, M(Y_n) = f(x_n|a), а также что они некорре-лированы и их дисперсии равны s²_n , M(e_ne_m)= s²_nd_nm. Согласно Гауссу, в качестве оценки а (оценки H. к. м.) следует взять величину а^{^}, минимизирующую выражение

При этом подразумевается, что число измерений N>=I, где I - число неизвестных параметров a_i.

Обобщением метода на случай коррелиров. ошибок измерения, M(e_ne_m) = S_nm, является поиск величины

из условия минимума квадратичной формы

H. к. м. используют при обработке результатов наблюдений, в разл. задачах регрессионного анализа и т. д. Напр., в физике элементарных частиц его применяют для оценки импульса частицы по измерениям координат точек её траектории в магн. поле и оценки параметров плотности распределения р(х|а)случайной величины c по числу событий Y_n в ячейках гистограммы.

Оптимальность оценки H. к. м. Использование метода обусловлено оптим. свойствами его оценки для моделей с линейной зависимостью M(Y_n)= f(x_n|a)от параметров а. Рассмотрим их. Итак, пусть

Выражение (1) в этом случае кратко записывается в виде

где T - символ транспонирования. В предположении, что ранг матрицы А больше или равен I, оценка H. к. м. равна

Из (3) следует, что

является линейной оценкой, т. е. линейной функцией измерений Y_n. Если усреднить (3) по ошибкам измерения, то оказывается, что

Благодаря ошибкам измерения

имеет шумовую составляющую, к-рая характеризуется матрицей ошибок (ковариационной матрицей):

Диагональные элементы К_ii являются дисперсиями ошибок, содержащихся в

В исследование оптимальности H. к. м. внёс вклад А. А. Марков, к-рый в 1900 доказал след. утверждение (теорема Гаусса - Маркова): среди всех линейных несмещённых оценок минимальными дисперсиями К_ii обладает оценка (3), т. е. оценка Н. к. м.

В том случае, когда S = s²

, где s² - неизвестный параметр,

- известная матрица, несмещённой оценкой s² является величина

Подчеркнём, что перечисленные оптим. свойства оценки H. к. м. не зависят от вида распределения вектора e, а лишь от предположения справедливости линейной связи (2).

Иногда оказывается, что между искомыми параметрами а_i существует связь, отражающая физ. закономерность:

Напр., импульсы всех частиц в точке взаимодействия удовлетворяют закону сохранения 4-импульса. Учёт такой априорной информации приводит к уменьшению ошибок оценок параметров. Если связи (4) линейны, т. е.

то оценка

H. к. м., удовлетворяющая (5), имеет вид

Можно убедиться, что оценка (6) является несмещённой, а для её матрицы ошибок K_G выполняется

В случае нелинейных связей (4) задача построения оценки H. к. м., удовлетворяющей (4), существенно усложняется и решается численными методами.

Разновидности H. к. м. Важным частным случаем H. к. м. является c²-метод, к-рый используется при работе с данными, сгруппированными в гистограмму. В этом случае Y_n есть числа событий в ячейках гистограммы. При больших значениях Y_n их можно рассматривать как независимые случайные величины, распределённые по нормальному закону. Если изучаемое распределение есть р(х|а), где x - измеряемая случайная величина, а - вектор неизвестных параметров, то ср. число событий в ячейке гистограммы

(а) равно

(M - полное число событий), а дисперсия Y_n равна

(а). Тогда, согласно H. к. м., оценка а должна находиться из минимума выражения

Для упрощения задачи минимизации (7)

(а) в знаменателе (7) часто заменяют на Y_n (модифицированный c²-метод). Своё назв. метод получил по той причине, что при больших Y_n (приближение нормального распределения) Ф(а =

) распределено по c²-pаспрe-делению с числом степеней свободы N - I - 1.

Если функции f(x|a)или р(х|а)нелинейны, то поиск оценки а осуществляется одним из методов численной минимизации (1) или (7). Тем не менее можно получить ряд асимптотич. свойств (при N

) оценки H. к. м.

Оценка H. к. м. состоятельна, т. е. при N

один из корней системы ур-ний дФ/дa_i = 0 сходится к точному значению а. Оценка H. к. м. асимптотически распределена по нормальному закону. Однако матрица ошибок

больше обратной к информац. матрице (см. Максимального правдоподобия метод), т. е. оценка H. к. м. не является эффективной. При конечных N оценка H. к. м. является смещённой и неэффективной. Эфф. способом изучения её свойств является Монте-Карло метод: задаваясь значением а из области возможных значений, получают выборку Y_n; по Y_n находят оценку

и строят выборочные среднее

и матрицу ошибок (вообще говоря, выборочное распределение). Отметим, что на практике широко используют приближённое выражение для матрицы ошибок

В том частном случае, когда распределение Y_n является многомерным нормальным распределением, кова-риац. матрица к-рого не зависит от a, H. к. м. совпадает с методом макс. правдоподобия. В этом случае оценка H. к. м. обладает оптим. свойствами, присущими оценке максимума правдоподобия. Кроме того, F(a =

) распределено по c²-распределению с числом степеней свободы N - I.

Для нелинейных f(x|a)и р(х|а)широкое использование H. к. м. обусловлено двумя причинами: 1) метод не требует знания функции распределения Y_n, а лишь среднего M(Y_n) = f(x_n|a)и матрицы ошибок S; 2) задача минимизации квадратичных форм (1) и (7) значительно проще задачи минимизации функций более общего вида, к-рые появляются в др. методах оценивания.

Литература по методу наименьших квадратов

Знаете ли Вы, как разрешается парадокс Ольберса?
(Фотометрический парадокс, парадокс Ольберса - это один из парадоксов космологии, заключающийся в том, что во Вселенной, равномерно заполненной звёздами, яркость неба (в том числе ночного) должна быть примерно равна яркости солнечного диска. Это должно иметь место потому, что по любому направлению неба луч зрения рано или поздно упрется в поверхность звезды.
Иными словами парадос Ольберса заключается в том, что если Вселенная бесконечна, то черного неба мы не увидим, так как излучение дальних звезд будет суммироваться с излучением ближних, и небо должно иметь среднюю температуру фотосфер звезд. При поглощении света межзвездным веществом, оно будет разогреваться до температуры звездных фотосфер и излучать также ярко, как звезды. Однако в дело вступает явление "усталости света", открытое Эдвином Хабблом, который показал, что чем дальше от нас расположена галактика, тем больше становится красным свет ее излучения, то есть фотоны как бы "устают", отдают свою энергию межзвездной среде. На очень больших расстояниях галактики видны только в радиодиапазоне, так как их свет вовсе потерял энергию идя через бескрайние просторы Вселенной. Подробнее читайте в FAQ по эфирной физике.