Простая нелинейная регрессия

Лабораторная работа №7

Анализируя диаграммы рассеяния двумерной совокупности данных, можно выявить три различных типа взаимосвязей между переменными X и Y.

1. Линейная взаимосвязь.

2. Отсутствие взаимосвязи.

3. Нелинейная взаимосвязь.

Линейная взаимосвязь играет такую же важную роль для двумерных данных, как и нормальное распределение для одномерных данных. Прежде всего, линейную зависимость между переменными X и Y легче анализировать. Корреляционный и регрессионный анализ линейной взаимосвязи двумерной совокупности данных был рассмотрен в предыдущих лабораторных работах. На диаграмме рассеяния точки случайным образом могут концентрироваться вокруг прямой линии, или быть достаточно широко разбросаны, образуя некоторое облако. Набор данных линейной взаимосвязи не должен содержать сильных выбросов.

Отсутствие взаимосвязи представляет собой особый случай линейной взаимосвязи, когда соответствующая диаграмма рассеяния имеет совершенно случайный характер, т. е. продвигаясь по ней слева направо, мы не обнаруживаем тенденции направленности вверх (увеличение) или вниз (уменьшение). Такая диаграмма имеет вид либо круглого, либо овального облака. Овал может иметь вертикальную или горизонтальную ориентацию, но без наклона. Фактически, если совокупность данных характеризуется отсутствием взаимосвязи, то, изменяя шкалу той или другой переменной, можно добиться того, что диаграмма рассеяния будет иметь круговую или овальную форму разброса точек.

Нелинейная взаимосвязь характеризуется тем, что в двумерной совокупности данных точки на диаграмме рассеяния группируются вокруг некоторой кривой линии. Поскольку разновидностей кривых может быть чрезвычайно много, анализ нелинейной взаимосвязи существенно сложнее, чем линейной. Для переменных X и Y с нелинейной зависимостью корреляционный и регрессионный анализ следует использовать с осторожностью. В некоторых задачах бывает полезно преобразовать одну или обе переменные таким образом, чтобы получить между ними линейную взаимосвязь. Это позволяет упростить анализ (применив корреляцию и регрессию к линейной взаимосвязи), а полученные результаты, если удается, преобразовывают обратно в исходную форму.

Важным шагом при выборе нелинейной формы зависимости является изучение графика. Ниже на рисунке изображены четыре выпуклые нелинейные кривые, которые могут быть получены на графике. Метка для каждой кривой обозначает направление выпуклости.

Направление выпуклости соответствует определенному виду функции регрессии. Так, для данных, имеющих выпуклость в сторону северо-запада (СЗ), используются степенные
(при x >1) и логарифмические функции; для данных, имеющих выпуклость в сторону юго-запада (ЮЗ), используются степенные, логарифмические или экспоненциальные функции; данным с выпуклостью в сторону юго-востока (ЮВ) соответствуют степенные (при x >1) и экспоненциальные функции. Кроме того, все четыре кривые данных могут быть смоделированы квадратичной функцией (полиномом второй степени).

Если вид данных на графике не подходит к указанным выше примерам, то следует использовать какую-либо другую форму зависимости. Например, если данные имеют две выпуклости (S -форма), то можно применить кубическую функцию (полином третьей степени).

В данной лабораторной работе рассмотрим четыре модели нелинейной зависимости между двумя переменными X и Y: полиномиальную, логарифмическую, степенную и экспоненциальную. В качестве примера используем данные о ценах объектов недвижимости (см. лабораторную работу №5, таблицу 1). Зависимой переменной Y является стоимость в тысячах долларов, а независимой переменной X – площадь в квадратных метрах.

Из проведенного в лабораторной работе №6 линейного регрессионного анализа для указанных данных получены график линейной функции регрессии и график остатков. На графике остатков видно, что первые два объекта недвижимости с небольшой площадью и последние несколько объектов с большой площадью имеют отрицательные остатки. Это наблюдение показывает, что нелинейное приближение может дать лучшие результаты. При внимательном рассмотрении диаграммы рассеяния (см. лабораторную работу №5, задание 1) можно заметить, что график функции регрессии имеет небольшую выпуклость в сторону СЗ, хотя кривизна небольшая. Следовательно, для анализа можно использовать квадратичную, степенную или логарифмическую функции.