 |
Вопросы для самоконтроля. 6. Обобщенная линейная модель множественной регрессии. 6.1. Признаки обобщенной линейной модели
|
|
|
|
Вопросы для самоконтроля
1. В чем отличие временного ряда от пространственной выборки?
2. Назовите и охарактеризуйте компоненты временного ряда.
3. Назовите типы задач анализа временного ряда.
4. В чем отличие и сходство стационарных рядов в узком и широком смысле?
5. Охарактеризуйте как можно полнее временной ряд типа белого шума, каким образом он присутствует в теории регрессионного анализа, почему он так называется, как он может быть изображен графически.
6. Почему ç r(t)ç убывает при увеличении t?
7. Какой вид должна иметь коррелограмма случайного процесса типа " белый шум"?
8. В чем суть содержательного подхода к выбору сглаживающей функции f(t)?
9. В чем суть графического подхода к выбору сглаживающей функции f(t)?
10. Может ли метод скользящих средних конкурировать с МНК?
11. В каких случаях эффективно применение авторегрессионных моделей?
6. Обобщенная линейная модель множественной регрессии
6. 1. Признаки обобщенной линейной модели
Коренное отличие обобщенной модели от классической состоит только в виде ковариационной квадратной матрицы вектора возмущений: вместо матрицы å e=s2Еn для классической модели имеем матрицу å e=W для обобщенной. Последняя имеет произвольные значения ковариаций и дисперсий. Например, ковариационные матрицы классической и обобщенной моделей для двух наблюдений (n=2) в общем случае будут иметь вид:
,
.
Формально обобщенная линейная модель множественной регрессии (ОЛММР) в матричной форме имеет вид:
| Y = Xb + e | (6. 1) |
и описывается системой условий:
1. e - случайный вектор возмущений с размерностью n; Х - неслучайная матрица значений объясняющих переменных (матрица плана) с размерностью nx(p+1); напомним, что 1-й столбец этой матрицы состоит из n единиц;
|
|
|
2. M(e) = 0n - математическое ожидание вектора возмущений равно ноль-вектору;
3. å e= M(ee¢ ) = W, где W - положительно определенная квадратная матрица; заметим, что произведение векторов e‘e дает скаляр, а произведение векторов ee¢ дает матрицу размерностью nxn.
4. Ранг матрицы Х равен р+1, который меньше n; напомним, что р+1 - число объясняющих переменных в модели (вместе с фиктивной переменной), n - число наблюдений за результирующей и объясняющими переменными.
Следствие 1. Оценка параметров модели (6. 1) обычным МНК
| b= (X’X)-1X’Y | (6. 2) |
является несмещенной и состоятельной, но неэффективной (неоптимальной в смысле теоремы Гаусса-Маркова). Для получения эффективной оценки нужно использовать обобщенный метод наименьших квадратов.
Следствие 2. Для классической модели ковариационная матрица вектора оценок параметров определялась формулой:
| å b = s2(X’X)-1. | (6. 3) |
Эта оценка для обобщенной модели является смещенной (следовательно, и неэффективной). В работе [1, с. 676] эта оценка названа неработоспособной и неприменимой для обобщенной ЛММР.
Следствие 3. Для обобщенной модели ковариационная матрица вектора оценок параметров определяется другой формулой (вывод см. в работе [5, с. 151]):
| å b* = (X’X)-1X’WX(X’X)-1. | (6. 4) |
6. 2. Обобщенный метод наименьших квадратов
Проблема эффективности линейной несмещенной оценки вектора b для обобщенной ЛММР решается с помощью теоремы Айткена.
Теорема Айткена: в классе линейных несмещенных оценок вектора b для обобщенной ЛММР оценка
| b* = (X’W-1X)-1X’W-1XY | (6. 5) |
имеет наименьшую ковариационную матрицу (доказательство см. в работе [5, с. 152]). При этом математическое ожидание оценки b* равно b: М(b*)=b, т. к. М(e)=0.
|
|
|
В случае классической модели, т. е. при выполнении требования å e=W=s2Еn, оценка b* обобщенного МНК совпадает с оценкой b обычного МНК.
Доказательство теоремы Айткена основано на утверждении матричной алгебры: если W - симметричная невырожденная матрица nxn, то она представима (хотя и неединственным способом) в виде произведения некоторых двух матриц:
| W=PP’, | (6. 6) |
где Р - невырожденная матрица nxn.
От обобщенной модели Y=Xb+e путем умножения слева на обратную матрицу Р-1 перейдем к ее некоторому образу Y*:
| Y*= Р-1Y= Р-1Xb+ Р-1e=X*b+e*. | (6. 7) |
Модель (6. 7) удовлетворяет всем требованиям КЛММР. Следовательно, оценка b* по выражению (6. 5) или аналогично (6. 2):
| b*= (X*’X*)-1X*’Y* | (6. 8) |
наиболее эффективна в классе всех линейных несмещенных оценок, являясь точкой минимума обобщенного критерия МНК:
| S*= å e*i2=e*’e*=(Y*-X*b)’(Y*-X*b)=e’We, | (6. 9) |
где e*= Р-1e - см. выражение (6. 7).
Для обобщенной регрессионной модели, в отличие от классической, коэффициент детерминации, вычисляемый в матричных обозначениях по формуле:
| (6. 10) |
не является удовлетворительной мерой качества модели. Он может даже выходить за интервал [0; 1], и добавление (удаление) объясняющей переменной не обязательно приводит к его увеличению (уменьшению). Поэтому коэффициент детерминации используется только как приближенная характеристика.
Для практической реализации обобщенного МНК необходимо знать ковариационную матрицу W вектора возмущений, что случается весьма редко. Поэтому приходится вводить дополнительные условия относительно структуры матрицы W. Только тогда мы приходим к практически реализуемому обобщенному МНК. Наиболее важные виды структур матрицы W рассмотрим позднее.
|
|
|
