 |
Матричное представление метода наименьших квадратов при оценке параметров
|
|
|
|
Обозначим i-е наблюдение зависимой переменной как yi, а объясняющих переменных через x1i, x2i,..., хpi. Тогда модель множественной линейной регрессии можно представить в виде:
yi = b0 + b1×x1i + b2×x2i +…+ bp×xpi+ ei, (5.4)
где i = 1,2,..., n;
ei удовлетворяет приведенным ниже предпосылкам 1-5 пункта 5.2.
Модель (5.4), в которой зависимая переменная yi, возмущения ei и объясняющие переменные xi1, xi2,..., хip удовлетворяют приведенным ниже (пункт 5.2) предпосылкам 1-5 регрессионного анализа и, кроме того, предпосылке 6 о невырожденности матрицы (независимости столбцов) значений объясняющих переменных (см. далее), называется классической нормальной линейной моделью множественной регрессии (Classic Normal Linear Multiple Regression model).
Включение в регрессионную модель новых объясняющих переменных усложняет получаемые формулы и вычисления. Это приводит к целесообразности использования матричных обозначений. Матричное описание регрессии облегчает как теоретические концепции анализа, так и необходимые расчетные процедуры.
Введем обозначения:
Y=(y1, y2,…,yn)' — матрица-столбец, или вектор, значений зависимой переменной размера n (знаком «'» обозначается операция транспонирования матриц);
— матрица значений объясняющих переменных, или матрица плана размера nх(p+1) (обращаем внимание на то, что в матрицу X дополнительно введен столбец, все элементы которого равны 1, т.е. условно полагается, что в модели (5.4) свободный член b0 умножается на фиктивную переменную хi0, принимающую значение 1 для всех i: хi0 = 1, (i = 1,2,..., n);
b = (b1, b2,…,bn)' — матрица-столбец, или вектор параметров размера (р+1);
e = (e1, e2,... en)' — матрица-столбец, или вектор возмущений (случайных ошибок, остатков) размера n.
Тогда в матричной форме модель регрессии по генеральной совокупности (5.4) примет вид:
|
|
|
Y= X×b+e. (5.5)
Оценкой (приближением) этой модели по выборке является уравнение
Y=X×b+e, (5.5')
где b = (b0, b1,...,bp), е = (е1, е2,...,. еn)'.
Для оценки вектора неизвестных параметров b применим метод наименьших квадратов. Так как произведение транспонированного вектора е' на сам вектор е равно
,
то условие минимизации остаточной суммы квадратов запишется в виде:
(5.6)
Учитывая, что при транспонировании произведения матриц получается произведение транспонированных матриц, взятых в обратном порядке, т.е. (Xb)'=b'X' после раскрытия скобок получим:
.
Произведение Y'Xb есть матрица размера (1хn)[nх(p+1)]х [(p+l)xl]=(lxl), т.е. величина скалярная, следовательно, оно не меняется при транспонировании, т.е. Y'Xb = (Y'Xb)' = b'X'Y. Поэтому условие минимизации (5.6) примет вид:
. (5.7)
На основании необходимого условия экстремума функции нескольких переменных S(b0, b1,..., bp), представляющей (5.6), необходимо приравнять нулю частные производные по этим переменным или в матричной форме — вектор частных производных
.
Для вектора частных производных в курсе высшей математики доказаны следующие формулы:
,
где b и с — вектор-столбцы; А — симметрическая матрица, в которой элементы, расположенные симметрично относительно главной диагонали, равны.
Справедливость приведенных формул проиллюстрируем на примере.
Пример 1. Пусть
.
Так как
.
,
то
,
и
.
Поэтому, полагая с = X'Y, а матрицу А = X'∙X (она является симметрической), найдем
,
откуда получаем систему нормальных уравнений в матричной форме для определения вектора b:
. (5.8)
Найдем матрицы, входящие в это уравнение. (Здесь под знаком S подразумевается 
). Матрица А = Х'Х представляет матрицу сумм первых степеней, квадратов и попарных произведений n наблюдений объясняющих переменных:
. (5.9)
Матрица X'Y есть вектор произведений n наблюдений объясняющих и зависимой переменных:
|
|
|
.(5.10)
В частном случае из рассматриваемого матричного уравнения (5.8) с учетом (5.9) и (5.10) для одной объясняющей переменной (р = 1) нетрудно получить уже рассмотренную в теме 3 систему нормальных уравнений. Действительно, в этом случае матричное уравнение (5.8) принимает вид:
,
откуда непосредственно следует система нормальных уравнений для парной линейной регрессии.
|
|
|
