Метод наименьших квадратов. РЕАЛЬНАЯ ФИЗИКА. Глоссарий по физике

Метод наименьших квадратов - метод оценивания неизвестных параметров теоретич. моделей по косвенным измерениям при параметрич. анализе данных (см. Анализ данных ).H. к. м. был предложен К. Гауссом (С. GauB, 1809) для задач геодезии и астрономии в след. формулировке. Пусть существует модель явления, в к-рой x - вектор аргументов, а - вектор неизвестных параметров. Для определения параметров а проводятся косвенные измерения, т. е. измеряются не сами параметры a, a функции этих параметров f (х|а), вычисляемые согласно модели. Благодаря ошибкам измерения e_n результаты измерения Y_n равны

Относительно e_n предполагается, что они являются чисто случайными величинами, т. е. при многократном проведении измерений их ср. значения равны нулю, M(e_n) = 0, M(Y_n) = f(x_n|a), а также что они некорре-лированы и их дисперсии равны s²_n , M(e_ne_m)= s²_nd_nm. Согласно Гауссу, в качестве оценки а (оценки H. к. м.) следует взять величину а^{^}, минимизирующую выражение

При этом подразумевается, что число измерений N>=I, где I - число неизвестных параметров a_i.

Обобщением метода на случай коррелиров. ошибок измерения, M(e_ne_m) = S_nm, является поиск величины

из условия минимума квадратичной формы

H. к. м. используют при обработке результатов наблюдений, в разл. задачах регрессионного анализа и т. д. Напр., в физике элементарных частиц его применяют для оценки импульса частицы по измерениям координат точек её траектории в магн. поле и оценки параметров плотности распределения р(х|а)случайной величины c по числу событий Y_n в ячейках гистограммы.

Оптимальность оценки H. к. м. Использование метода обусловлено оптим. свойствами его оценки для моделей с линейной зависимостью M(Y_n)= f(x_n|a)от параметров а. Рассмотрим их. Итак, пусть

Выражение (1) в этом случае кратко записывается в виде

где T - символ транспонирования. В предположении, что ранг матрицы А больше или равен I, оценка H. к. м. равна

Из (3) следует, что

является линейной оценкой, т. е. линейной функцией измерений Y_n. Если усреднить (3) по ошибкам измерения, то оказывается, что

Благодаря ошибкам измерения

имеет шумовую составляющую, к-рая характеризуется матрицей ошибок (ковариационной матрицей):

Диагональные элементы К_ii являются дисперсиями ошибок, содержащихся в

В исследование оптимальности H. к. м. внёс вклад А. А. Марков, к-рый в 1900 доказал след. утверждение (теорема Гаусса - Маркова): среди всех линейных несмещённых оценок минимальными дисперсиями К_ii обладает оценка (3), т. е. оценка Н. к. м.

В том случае, когда S = s²

, где s² - неизвестный параметр,

- известная матрица, несмещённой оценкой s² является величина

Подчеркнём, что перечисленные оптим. свойства оценки H. к. м. не зависят от вида распределения вектора e, а лишь от предположения справедливости линейной связи (2).

Иногда оказывается, что между искомыми параметрами а_i существует связь, отражающая физ. закономерность:

Напр., импульсы всех частиц в точке взаимодействия удовлетворяют закону сохранения 4-импульса. Учёт такой априорной информации приводит к уменьшению ошибок оценок параметров. Если связи (4) линейны, т. е.

то оценка

H. к. м., удовлетворяющая (5), имеет вид

Можно убедиться, что оценка (6) является несмещённой, а для её матрицы ошибок K_G выполняется

В случае нелинейных связей (4) задача построения оценки H. к. м., удовлетворяющей (4), существенно усложняется и решается численными методами.

Разновидности H. к. м. Важным частным случаем H. к. м. является c²-метод, к-рый используется при работе с данными, сгруппированными в гистограмму. В этом случае Y_n есть числа событий в ячейках гистограммы. При больших значениях Y_n их можно рассматривать как независимые случайные величины, распределённые по нормальному закону. Если изучаемое распределение есть р(х|а), где x - измеряемая случайная величина, а - вектор неизвестных параметров, то ср. число событий в ячейке гистограммы

(а) равно

(M - полное число событий), а дисперсия Y_n равна

(а). Тогда, согласно H. к. м., оценка а должна находиться из минимума выражения

Для упрощения задачи минимизации (7)

(а) в знаменателе (7) часто заменяют на Y_n (модифицированный c²-метод). Своё назв. метод получил по той причине, что при больших Y_n (приближение нормального распределения) Ф(а =

) распределено по c²-pаспрe-делению с числом степеней свободы N - I - 1.

Если функции f(x|a)или р(х|а)нелинейны, то поиск оценки а осуществляется одним из методов численной минимизации (1) или (7). Тем не менее можно получить ряд асимптотич. свойств (при N

) оценки H. к. м.

Оценка H. к. м. состоятельна, т. е. при N

один из корней системы ур-ний дФ/дa_i = 0 сходится к точному значению а. Оценка H. к. м. асимптотически распределена по нормальному закону. Однако матрица ошибок

больше обратной к информац. матрице (см. Максимального правдоподобия метод), т. е. оценка H. к. м. не является эффективной. При конечных N оценка H. к. м. является смещённой и неэффективной. Эфф. способом изучения её свойств является Монте-Карло метод: задаваясь значением а из области возможных значений, получают выборку Y_n; по Y_n находят оценку

и строят выборочные среднее

и матрицу ошибок (вообще говоря, выборочное распределение). Отметим, что на практике широко используют приближённое выражение для матрицы ошибок

В том частном случае, когда распределение Y_n является многомерным нормальным распределением, кова-риац. матрица к-рого не зависит от a, H. к. м. совпадает с методом макс. правдоподобия. В этом случае оценка H. к. м. обладает оптим. свойствами, присущими оценке максимума правдоподобия. Кроме того, F(a =

) распределено по c²-распределению с числом степеней свободы N - I.

Для нелинейных f(x|a)и р(х|а)широкое использование H. к. м. обусловлено двумя причинами: 1) метод не требует знания функции распределения Y_n, а лишь среднего M(Y_n) = f(x_n|a)и матрицы ошибок S; 2) задача минимизации квадратичных форм (1) и (7) значительно проще задачи минимизации функций более общего вида, к-рые появляются в др. методах оценивания.

Литература по методу наименьших квадратов

Знаете ли Вы, что cогласно релятивистской мифологии "гравитационное линзирование - это физическое явление, связанное с отклонением лучей света в поле тяжести. Гравитационные линзы обясняют образование кратных изображений одного и того же астрономического объекта (квазаров, галактик), когда на луч зрения от источника к наблюдателю попадает другая галактика или скопление галактик (собственно линза). В некоторых изображениях происходит усиление яркости оригинального источника." (Релятивисты приводят примеры искажения изображений галактик в качестве подтверждения ОТО - воздействия гравитации на свет)
При этом они забывают, что поле действия эффекта ОТО - это малые углы вблизи поверхности звезд, где на самом деле этот эффект не наблюдается (затменные двойные). Разница в шкалах явлений реального искажения изображений галактик и мифического отклонения вблизи звезд - 10¹¹ раз. Приведу аналогию. Можно говорить о воздействии поверхностного натяжения на форму капель, но нельзя серьезно говорить о силе поверхностного натяжения, как о причине океанских приливов.
Эфирная физика находит ответ на наблюдаемое явление искажения изображений галактик. Это результат нагрева эфира вблизи галактик, изменения его плотности и, следовательно, изменения скорости света на галактических расстояниях вследствие преломления света в эфире различной плотности. Подтверждением термической природы искажения изображений галактик является прямая связь этого искажения с радиоизлучением пространства, то есть эфира в этом месте, смещение спектра CMB (космическое микроволновое излучение) в данном направлении в высокочастотную область. Подробнее читайте в FAQ по эфирной физике.