Линейная регрессия (англ. Linear regression) — используемая в статистике регрессионная модель зависимости одной (объясняемой, зависимой) переменной y от одной или нескольких других переменных (факторов, регрессоров, независимых переменных) x с линейной функцией зависимости.

Модель линейной регрессии является часто используемой и наиболее изученной в эконометрике. А именно изучены свойства оценок параметров, получаемых различными методами при тех или иных предположениях о вероятностных характеристиках факторов и случайных ошибок модели. Предельные (асимптотические) свойства оценок нелинейных моделей также выводятся исходя из аппроксимации последних линейными моделями. Необходимо отметить, что с эконометрической точки зрения более важное значение имеет линейность по параметрам, чем линейность по факторам модели.

Определение

Регрессионная модель

где -параметры модели, - случайная ошибка модели, называется линейной регрессией, если функция регрессии имеет вид

где - параметры (коэффициенты) регрессии, - регрессоры (факторы модели), k- количество факторов модели.

Коэффициенты линейной регрессии показывают скорость изменения зависимой переменной по данному фактору, при фиксированных остальных факторах (в линейной модели эта скорость постоянна):

Параметр , при котором нет факторов, называют часто константой. Формально - это значение функции при нулевом значении всех факторов. Для аналитических целей удобно считать, что константа - это параметр при "факторе", равном 1 (или другой произвольной постоянной, поэтому константой называют также и этот "фактор"). В таком случае, если перенумеровать факторы и параметры исходной модели с учетом этого (оставив обозначение общего количества факторов - k), то линейную функцию регрессии можно записать в следующем виде, формально не содержащем константу:

- вектор регрессоров, - вектор-столбец параметров (коэффициентов)

Линейная модель может быть как с константой, так и без константы. Тогда в этом представлении первый фактор либо равен единице, либо является обычным фактором соответственно.

Парная и множественная регрессия

В частном случае, когда фактор единственный (без учета константы), говорят о парной или простейшей линейной регрессии:

Когда количество факторов (без учета константы) больше 1-го, то говорят о множественной регрессии.

Примеры

1.Модель затрат организации (без указания случайной ошибки):

-совокупные затраты, -постоянные затраты (не зависящие от объема производства), -переменные затраты, пропорциональные объему производства, - удельные или средние (на единицу продукции) переменные затраты, - объем производства.

2.Простейшая модель потребительских расходов (Кейнс):

-потребительские расходы, - располагаемый доход, - "предельная склонность к потреблению", - автономное (не зависящее от дохода) потребление.

Матричное представление

Пусть дана выборка объемом n наблюдений переменных y и x. Обозначим t - номер наблюдения в выборке. Тогда - значение переменной y в t-м наблюдении, - значение j-го фактора в t-м наблюдении. Соответственно, - вектор регрессоров в t-м наблюдении. Тогда линейная регрессионная зависимость имеет место в каждом наблюдении:

Введем обозначения:

- вектор наблюдений зависимой переменой y, - матрица факторов. - вектор случайных ошибок.

Тогда модель линейной регрессии можно представить в матричной форме:

Классические предположения

В классической линейной регрессии предполагается, что наряду со стандартным условием выполнены также следующие предположения:

1) Гомоскедастичность (постоянная или одинаковая дисперсия) или отсутствие гетероскедастичности случайных ошибок модели:

2) Отсутствие автокорреляции случайных ошибок:

Данные предположения в матричном представлении модели формулируются в виде одного предположения о структуре ковариационной матрицы вектора случайных ошибок:

Кроме указанных предположений в классической модели факторы предполагаются детерминированными (нестохастическими). Кроме того, формально требуется, чтобы матрица имела полный ранг (), то есть предполагается, что отсутствует полная коллинеарность факторов.

При выполнении классических предположений обычный метод наименьших квадратов позволяет получить достаточно качественные оценки параметров модели.

Методы оценки

• Метод наименьших квадратов
• Обобщенный метод наименьших квадратов
• Метод инструментальных переменных
• Метод максимального правдоподобия
• Метод моментов
• Обобщенный метод моментов
• Квантильная регрессия

См. также

• Регрессионный анализ

Литература