Парная регрессия и метод наименьших квадратов
Будем предполагать в рамках модели (2.2) линейную зависимость между двумя переменными Y и X. Т.е. имеем модель парной регрессии в виде: Yi = a + bXi + ui, i =1,…, n. а. E ui =0, i =1,…, n. б. в. X 1, …, X n – неслучайные величины. Предположим, что имеется выборка значений Y и X. Обозначим арифметические средние (выборочные математические ожидания) для переменных X и Y:
Запишем уравнение оцениваемой линии в виде:
где Пусть (Xi, Yi) одна из пар наблюдений. Тогда отклонение этой точки (см. рис. 2.1) от оцениваемой линии будет равно e i= Y i - Принцип метода наименьших квадратов (МНК) заключается в выборе таких оценок
![]()
X
Рис. 2.1. Иллюстрация принципа МНК
Необходимым условием для этого служит обращение в нуль частных производных функционала: по каждому из параметров. Имеем: Упростив последние равенства, получим стандартную форму нормальных уравнений, решение которых дает искомые оценки параметров:
Из (2.7) получаем:
Пример. Для иллюстрации вычислений при отыскании зависимости с помощью метода наименьших квадратов рассмотрим пример (табл. 2.1). Таблица 2.1 Индивидуальное потребление и личные доходы (США, 1954-1965 гг.)
Заметим, что исходные данные должны быть выражены величинами примерно одного порядка. Вычисления удобно организовать, как показано в таблице 2.2. Сначала рассчитываются
Оцененное уравнение регрессии запишется в виде Следующая важная проблема состоит в том, чтобы определить, насколько "хороши" полученные оценки и уравнение регрессии. Этот вопрос рассматривается по следующим стадиям исследования: квалифицирование (выяснение условий применимости результатов), определение качества оценок, проверка выполнения допущений метода наименьших квадратов. Относительно квалифицирования уравнения Таблица 2.2 Рабочая таблица расчетов (по данным табл. 2.1)
Полученное уравнение
Заметим, что ошибка прогноза e i фактически является оценкой значений u i. График ошибки e i представлен на рис. 2.2. Следует отметить факт равенства нулю суммы S e i=0, что согласуется с первым ограничением модели парной регрессии - E ui =0, i =1,…, n. Ñ Рис. 2.2. График ошибки прогноза
В модели (2.2) функция f может быть и нелинейной. Причем выделяют два класса нелинейных регрессий: q регрессии, нелинейные относительно включенной объясняющей переменной, но линейные по параметрам, например полиномы разных степеней - Yi = a 0 + a 1 Xi + a 2 Xi 2+ ui, i =1,…, n или гипербола - Yi = a 0 + a 1/ Xi + u i, i =1,…, n; q регрессии нелинейные по оцениваемым параметрам, например степенная функция - Yi = a 0 В первом случае МНК применяется так же, как и в линейной регрессии, поскольку после замены, например, в квадратичной параболе Yi = a 0 + a 1 Xi + a 2 Xi 2+ ui переменной Xi 2 на X 1i: Xi 2= X 1i, получаем линейное уравнение регрессии Yi = a 0 + a 1 Xi + a 2 X 1i+ ui, i =1,…, n. Во втором случае в зависимости от вида функции возможно применение линеаризующих преобразований, приводящих функцию к виду линейной. Например, для степенной функции Yi = a 0 Однако для, например, модели Yi = a 0+ a 2
Воспользуйтесь поиском по сайту: ![]() ©2015 - 2025 megalektsii.ru Все авторские права принадлежат авторам лекционных материалов. Обратная связь с нами...
|