Метод наименьших квадратов

 

Перед тем, как начинать рассмотрение МГУА, было бы полезно вспомнить или узнать впервые метод наименьших квадратов — наиболее распространенный метод подстройки линейно зависимых параметров.

Рассмотрим для примера МНК для трех аргументов:

Пусть функция T=T(U, V, W) задана таблицей, то есть из опыта известны числа U­_i, V_i, W_i, T_i (i = 1, …, n). Будем искать зависимость между этими данными в виде:

                                                   (ф. 1)

где a, b, c — неизвестные параметры.

Подберем значения этих параметров так, чтобы была наименьшей сумма квадратов уклонений опытных данных T_i и теоретических T_i = aU_i + bV_i + cW_i, то есть сумма:

                                 (ф. 2)

Величина s является функцией трех переменных a, b, c. Необходимым и достаточным условием существования минимума этой функции является равенство нулю частных производных функции s по всем переменным, то есть:

                                                   (ф. 3)

Так как:

                                          (ф. 4)

то система для нахождения a, b, c будет иметь вид:

                                 (ф. 5)

Данная система решается любым стандартным методом решения систем линейных уравнений (Гаусса, Жордана, Зейделя, Крамера).

Рассмотрим некоторые практические примеры нахождения приближающих функций:

1. y = ax² + bx + g

Задача подбора коэффициентов a, b, g сводится к решению общей задачи при T=y, U=x², V=x, W=1, a=a, b=b, g=c.

2. f(x, y) = asin(x) + bcos(y) + g/x

Задача подбора коэффициентов a, b, g сводится к решению общей задачи при T=f, U=sin(x), V=cos(y), W=1/x, a=a, b=b, g=c.

Если мы распространим МНК на случай с m параметрами,

                                          (ф. 6)

то путем рассуждений, аналогичных приведенным выше, получим следующую систему линейных уравнений:

                                 (ф. 7)

Где,

Моделирование многомерной функции распреде

Ления векторов признаков изображений объекта

Факторный Анализ(FA)

Факторный анализ (ФА), как и многие методы анализа многомерных данных, опирается на гипотезу о том, что наблюдаемые переменные являются косвенными проявления относительно небольшого числа неких скрытых факторов. ФА, таким образом, это совокупность моделей и методов ориентированных на выявление и анализ скрытых (латентных)зависимостей между наблюдаемыми переменными. В контексте задач распознавания, наблюдаемыми переменными обычно являются признаки объектов.

Модели с латентными переменными применяются при решении следующих задач:

· понижение размерности признакового пространства,

· классификация объектов на основе сжатого признакового пространства,

· косвенной оценки признаков, не поддающихся непосредственному измерению,

· преобразование исходных переменных к более удобному для интерпретации виду.

Факторный анализ использует предположение о том, что исходные наблюдаемые переменные (распределенные по нормальному закону!) x_i могут быть представлены в виде линейной комбинации факторов, также распределенных нормально:

x_i=∑_k=1..m(a_ikF_k) + u_i; i=1,...,n;

В этой модели присутствуют две категории факторов: общие факторы (common factors) F_k и специфические факторы(unique factors) u_i. Фактор называется общим, если он оказывает влияние на две и более наблюдаемые переменные (математически это выражается в наличии как минимум двух существенно отличающихся от нуля коэффициентов a_ik для данного фактора F_k). Каждый из специфических факторов u_i несет информацию только об одной переменной x_i. Матрица a_ik называется матрицей факторных нагрузок (factor loadings) и задает влияние общих факторов на наблюдаемые переменные.

Содержательно, специфические факторы соответствуют необъясненной общими факторами изменчивости набора наблюдаемых переменных. Таким образом их можно рассматривать как случайную ошибку наблюдения или шум, не являющийся ценной информацией для выявления скрытых закономерностей и зависимостей. Важным предположением является независимость u_i между собой. Обычно, однако не всегда, общие факторы F_k предполагаются некоррелированными (ортогональными).

Важными понятиями ФА являются общность и специфичность наблюдаемой переменной. На языке ФА доля дисперсии отдельной переменной, принадлежащая общим факторам (и разделяемая с другими переменными) называется общностью, дисперсия же приходящаяся на специфический фактор - специфичностью.

Целью ФА является выявление общих факторов F_k, специфических факторов u_i и матрицы факторных нагрузок A таким образом, чтобы найденные общие факторы объясняли наблюдаемые данные наилучшим образом, то есть чтобы суммарная общность переменных была максимальна (а соответственно специфичность - минимальна).

Отличие Факторного Анализа (Factor Analysis, FA) от Метода Главных Компонент (Principal Components Analysis, PCA)

· Результатом ФА является модель, в явном виде описывающая зависимость наблюдаемых переменных от скрытых факторов (МГК это описательный анализ данных, без получения модели);

· ФА предусматривает ошибку моделирования (специфический фактор) для каждой из наблюдаемых переменных, в то время как МГК пытается объяснить всю изменчивость, включая шум, зависимостью от главных компонент;

· В МГК главные компоненты являются линейными комбинациями наблюдаемых переменных. В ФА наблюдаемые переменные являются линейными комбинациями общих и специфических факторов;

· Получаемые в результате ФА факторы могут быть использованы для интерпретации наблюдаемых данных;

· Главные компоненты некоррелированны (что эквивалентно их ортогональности при переносе начала координат в центр масс исходного набора), факторы же - не обязательно;

· МГК можно рассматривать как частный случай ФА, когда все специфические факторы приняты равными нулю, а общие факторы ортогональны.

1234	Поделиться:

Воспользуйтесь поиском по сайту: