 |
3.4. Выборочные оценки и доверительные интервалы
|
|
|
|
3. 4. Выборочные оценки и доверительные интервалы
В многомерном регрессионном анализе матричным аналогом дисперсии одной переменной является ковариационная матрица å b вектора оценок параметров b:
,
где sij = M[(bi-M(bi))× (bj-M(bj))] - ковариации (корреляционные моменты) оценок параметров bi и bj. На главной диагонали этой матрицы находятся дисперсии оценок параметров регрессии:
sii = M[(bi-M(bi))× (bi-M(bi))] = sbi2.
Путем преобразований (см. [5, с. 92]) получаем ковариационную матрицу:
| å b =s2(Х’X)-1. | (3. 10) |
Таким образом, с помощью обратной матрицы (Х’X)-1 определяется как сам вектор оценок b, так и дисперсии-ковариации его компонент.
Выше мы показали, что оценка b вектора b по МНК является несмещенной и обладает наименьшей дисперсией, т. е. является эффективной (“наилучшей”).
Рассмотрим оценку дисперсии s2 возмущений e=Y – Xb (подробный вывод см. [5, с. 95]). Соответствующее выражение для несмещенной выборочной оценки s2 параметра s2 возмущений e:
 .
| (3. 11) |
Оценим значимость коэффициентов bj множественной регрессии, а затем и доверительного интервала для них.
Нулевая гипотеза Но: b= 0 отвергается с уровнем значимости a, если:
| ç t ç = ç bj - bjç / sbj > t1-a, n-p-1 sbj. | (3. 12) |
Поэтому доверительный интервал для параметра bj:
| bj - t1-a, n-p-1 sbj £ bj £ bj + t1-a, n-p-1 sbj. | (3. 13) |
Аналогично доверительному интервалу (2. 26) для Мх(Y) парной регрессии построим доверительный интервал для условного МО Мх(Y) множественной регрессии:
 - t1-a, k  £ Mx(Y) £ + t1-a, k ,
| (3. 14) |
где - групповая средняя, определяемая по уравнению регрессии;
|
|
|
=  - стандартная ошибка групповой средней ;
| (3. 15) |
| Хо' = (1 x10 x20... xp0) - вектор значений объясняющих переменных. | |
На основе выражения (3. 14) можно оценивать ошибку (конус) прогноза в среднем.
Однако индивидуальное значение прогноза имеет больший доверительный интервал. Ранее мы рассмотрели его для парной регрессии (см. формулу (2. 28)). Аналогичный интервал для индивидуальных значений зависимой переменной 
множественной регрессии:
 - t1-a, n-p-1  £ £ + t1-a, n-p-1k ,
| (3. 16) |
где  .
| (3. 17) |
Аналогично доверительному интервалу для s2 парной регрессии (2. 31) строится доверительный интервал и для множественной регрессии с соответствующим изменением числа степеней свободы для c2:
 .
| (3. 18) |
3. 5. Оценка значимости и адекватности множественной регрессии
Как и в случае парной регрессии оценить значимость множественной регрессионной модели - значит подтвердить или опровергнуть суждение о том, что эта модель соответствует наблюденным данным.
Для решения задачи также используется дисперсионный анализ, согласно которому для сумм квадратов отклонений справедливо равенство: Q = QR + Qe.
Для этих сумм квадратов нетрудно записать матричные выражения:
Q = å (yi -  )2 = å yi2-(å yi)2/n = Y ' Y - n 2,
| (3. 19) |
Qe = å (yi -  )2 = Y'Y – b' X 'Y,
| (3. 20) |
| QR = Q - Qe = b'X'Y - n 2.
| (3. 21) |
Гипотеза Но о равенстве нулю всех параметров модели (b1=b2=... = bр = 0) отвергается, если фактическое значение статистики Фишера-Снедекора больше ее табличного значения:
F =  > Fa, p, n-p-1.
| (3. 22) |
Ранее в выражении (2. 36) для оценки адекватности, прогностической силы парной регрессионной модели вводился коэффициент детерминации:
R2 = QR / Q = 1 - Qe / Q.
Для множественной регрессии коэффициент R2 может быть рассчитан по формулам:
R2 = QR / Q = 
| (3. 23) | ||
| или
| |||
R2 = 1 - Qe / Q = 
| (3. 24) | ||
| или | |||
R2 = 
| (3. 25) | ||
где e = Y - Xb,  = ( , , ... ), y =(Y - ) - n -мерные векторы
|
| e'e = å ei2 = å (yi - )2
|
| y'y = å (yi - )2.
|
Несмотря на достоинства коэффициента детерминации R2, судить только по нему о качестве - адекватности - модели некорректно. Дело в том, что R2 растет с увеличением числа объясняющих переменных, включаемых в модель, что не всегда верно. Поэтому применяют скорректированный (адаптированный) коэффициент детерминации 
:
=  .
| (3. 26) |
или
=  .
| (3. 27) |
Как видно, чем больше объясняющих переменных р, тем меньше в сравнении с R2 при прочих равных условиях. Таким образом, в модель должны включаться только те объясняющие переменные, которые действительно информативны и существенно влияют на объясняемую переменную Y.
|
|
|
