Автокорреляция остатков означает. Причины автокорреляции остатков. Список использованной литературы

Задание . Приведены данные за 15 лет по темпам прироста заработной платы Y(%), производительности труда X 1 (%), а также по уровню инфляции X 1 (%).
Постройте уравнение линейной регрессии прироста заработной платы от производительности труда и уровня инфляции. Проверьте качество построенного уравнения регрессии с надежностью 0,95. Проведите проверку наличия в модели автокорреляции на уровне значимости 0,05.

Решение находим с помощью калькулятора .
Уравнение множественной регрессии может быть представлено в виде:
Y = f(β , X) + ε
где X = X(X 1 , X 2 , ..., X m) - вектор независимых (объясняющих) переменных; β - вектор параметров (подлежащих определению); ε - случайная ошибка (отклонение); Y - зависимая (объясняемая) переменная.
теоретическое линейное уравнение множественной регрессии имеет вид:
Y = β 0 + β 1 X 1 + β 2 X 2 + ... + β m X m + ε
β 0 - свободный член, определяющий значение Y, в случае, когда все объясняющие переменные X j равны 0.

Прежде чем перейти к определению нахождения оценок коэффициентов регрессии, необходимо проверить ряд предпосылок МНК.
Предпосылки МНК.
1. Математическое ожидание случайного отклонения ε i равно 0 для всех наблюдений (M(ε i) = 0).
2. Гомоскедастичность (постоянство дисперсий отклонений). Дисперсия случайных отклонений ε i постоянна: D(ε i) = D(ε j) = S 2 для любых i и j.
3. отсутствие автокорреляции.
4. Случайное отклонение должно быть независимо от объясняющих переменных: Y eixi = 0.
5. Модель является линейное относительно параметров.
6. отсутствие мультиколлинеарности. Между объясняющими переменными отсутствует строгая (сильная) линейная зависимость.
7. Ошибки ε i имеют нормальное распределение. Выполнимость данной предпосылки важна для проверки статистических гипотез и построения доверительных интервалов.

Эмпирическое уравнение множественной регрессии представим в виде:
Y = b 0 + b 1 X 1 + b 1 X 1 + ... + b m X m + e
Здесь b 0 , b 1 , ..., b m - оценки теоретических значений β 0 , β 1 , β 2 , ..., β m коэффициентов регрессии (эмпирические коэффициенты регрессии); e - оценка отклонения ε.
При выполнении предпосылок МНК относительно ошибок ε i , оценки b 0 , b 1 , ..., b m параметров β 0 , β 1 , β 2 , ..., β m множественной линейной регрессии по МНК являются несмещенными, эффективными и состоятельными (т.е. BLUE-оценками).

Для оценки параметров уравнения множественной регрессии применяют МНК.
1. Оценка уравнения регрессии .
Определим вектор оценок коэффициентов регрессии. Согласно методу наименьших квадратов, вектор s получается из выражения:
s = (X T X) -1 X T Y
Матрица X

1	3.5	4.5
1	2.8	3
1	6.3	3.1
1	4.5	3.8
1	3.1	3.8
1	1.5	1.1
1	7.6	2.3
1	6.7	3.6
1	4.2	7.5
1	2.7	8
1	4.5	3.9
1	3.5	4.7
1	5	6.1
1	2.3	6.9
1	2.8	3.5

Матрица Y

9
6
8.9
9
7.1
3.2
6.5
9.1
14.6
11.9
9.2
8.8
12
12.5
5.7

Матрица X T

1	1	1	1	1	1	1	1	1	1	1	1	1	1	1
3.5	2.8	6.3	4.5	3.1	1.5	7.6	6.7	4.2	2.7	4.5	3.5	5	2.3	2.8
4.5	3	3.1	3.8	3.8	1.1	2.3	3.6	7.5	8	3.9	4.7	6.1	6.9	3.5

Умножаем матрицы, (X T X)

Находим обратную матрицу (X T X) -1

0.99	-0.12	-0.1
-0.12	0.0246	0.00393
-0.1	0.00393	0.0194

Вектор оценок коэффициентов регрессии равен
s = (X T X) -1 X T Y =

y(x) = 0,99 -0,12 -0,1 -0,12 0,0246 0,00393 -0,1 0,00393 0,0194 * 133,5 552,41 659,84 = 0,27 0,53 1,48

Уравнение регрессии (оценка уравнения регрессии)
Y = 0.27 + 0.53X 1 + 1.48X 2
Проверка на наличие автокорреляции остатков .
Важной предпосылкой построения качественной регрессионной модели по МНК является независимость значений случайных отклонений от значений отклонений во всех других наблюдениях. Это гарантирует отсутствие коррелированности между любыми отклонениями и, в частности, между соседними отклонениями.
Автокорреляция (последовательная корреляция) определяется как корреляция между наблюдаемыми показателями, упорядоченными во времени (временные ряды) или в пространстве (перекрестные ряды). Автокорреляция остатков (отклонений) обычно встречается в регрессионном анализе при использовании данных временных рядов и очень редко при использовании перекрестных данных.
В экономических задачах значительно чаще встречается положительная автокорреляция , нежели отрицательная автокорреляция . В большинстве случаев положительная автокорреляция вызывается направленным постоянным воздействием некоторых неучтенных в модели факторов.
Отрицательная автокорреляция фактически означает, что за положительным отклонением следует отрицательное и наоборот. Такая ситуация может иметь место, если ту же зависимость между спросом на прохладительные напитки и доходами рассматривать по сезонным данным (зима-лето).
Среди основных причин, вызывающих автокорреляцию , можно выделить следующие:
1. Ошибки спецификации. Неучет в модели какой-либо важной объясняющей переменной либо неправильный выбор формы зависимости обычно приводят к системным отклонениям точек наблюдения от линии регрессии, что может обусловить автокорреляцию.
2. Инерция. Многие экономические показатели (инфляция, безработица, ВНП и т.д.) обладают определенной цикличностью, связанной с волнообразностью деловой активности. Поэтому изменение показателей происходит не мгновенно, а обладает определенной инертностью.
3. Эффект паутины. Во многих производственных и других сферах экономические показатели реагируют на изменение экономических условий с запаздыванием (временным лагом).
4. Сглаживание данных. Зачастую данные по некоторому продолжительному временному периоду получают усреднением данных по составляющим его интервалам. Это может привести к определенному сглаживанию колебаний, которые имелись внутри рассматриваемого периода, что в свою очередь может служить причиной автокорреляции.
Последствия автокорреляции схожи с последствиями гетероскедастичности : выводы по t- и F-статистикам, определяющие значимость коэффициента регрессии и коэффициента детерминации, возможно, будут неверными.
Обнаружение автокорреляции
1. Графический метод
Есть ряд вариантов графического определения автокорреляции. Один из них увязывает отклонения ε i с моментами их получения i. При этом по оси абсцисс откладывают либо время получения статистических данных, либо порядковый номер наблюдения, а по оси ординат – отклонения ε i (либо оценки отклонений).
Естественно предположить, что если имеется определенная связь между отклонениями, то автокорреляция имеет место. Отсутствие зависимости скорее всего будет свидетельствовать об отсутствии автокорреляции.
Автокорреляция становится более наглядной, если построить график зависимости ε i от ε i-1
2. Коэффициент автокорреляции .

Если коэффициент автокорреляции r ei 3. Критерий Дарбина-Уотсона .
Этот критерий является наиболее известным для обнаружения автокорреляции.
При статистическом анализе уравнения регрессии на начальном этапе часто проверяют выполнимость одной предпосылки: условия статистической независимости отклонений между собой. При этом проверяется некоррелированность соседних величин e i .

y	y(x)	e i = y-y(x)	e 2	(e i - e i-1) 2
9	8.77	0.23	0.053	0
6	6.18	-0.18	0.0332	0.17
8.9	8.17	0.73	0.53	0.83
9	8.26	0.74	0.55	0.000109
7.1	7.52	-0.42	0.18	1.35
3.2	2.69	0.51	0.26	0.88
6.5	7.67	-1.17	1.37	2.83
9.1	9.12	-0.0203	0.000412	1.32
14.6	13.58	1.02	1.05	1.09
11.9	13.53	-1.63	2.65	7.03
9.2	8.41	0.79	0.63	5.86
8.8	9.07	-0.27	0.0706	1.12
12	11.93	0.0739	0.00546	0.12
12.5	11.69	0.81	0.66	0.54
5.7	6.92	-1.22	1.49	4.13
			9.53	27.27

Для анализа коррелированности отклонений используют статистику Дарбина-Уотсона :

DW = 27.27/9.53 = 2.86
Критические значения d 1 и d 2 определяются на основе специальных таблиц для требуемого уровня значимости α, числа наблюдений n = 15 и количества объясняющих переменных m=1.
Автокорреляция отсутствует, если выполняется следующее условие:
d 1 Не обращаясь к таблицам, можно пользоваться приблизительным правилом и считать, что автокорреляция остатков отсутствует, если 1.5 2.5, то автокорреляция остатков присутствует .
Для более надежного вывода целесообразно обращаться к табличным значениям.
По таблице Дарбина-Уотсона для n=15 и k=1 (уровень значимости 5%) находим: d 1 = 1.08; d 2 = 1.36.
Поскольку 1.08 присутствует.

В эконометрических исследованиях часто возникают ситуации, когда дисперсия остатков постоянна, но наблюдается статистическая зависимость остатков эконометрической модели между собой. Это явление называют автокорреляцией остатков .

В общем случае автокорреляция (последовательная корреляция) – это взаимосвязь упорядоченных во времени или в пространстве последовательных элементов соответственно временного или пространственного ряда данных.

На рис.5.5 показана зависимость Y от X , а также линия оцененного по этим данным уравнения парной линейной регрессии. Уже по рисунку видно, что оцененная регрессия не очень хороша: зависимость Y от X явно нелинейна. Если использовать проведенную регрессионную прямую, скажем, для прогнозирования дальнейшей динамики Y , результат будет неудовлетворительным.

Рис.5.5. К вопросу об автокорреляции остатков

Как же можно выразить формально неудовлетворительность полученного уравнения регрессии?

Мы видим, например, на рис.5.5, что в этом случае отклонения от линии регрессии не случайно распределены вокруг нее, а обладают определенной закономерностью. Эта закономерность, в частности, выражается в одинаковом, как правило, знаке каждых двух соседних отклонений . Это может являться следствием:

Неверной спецификации модели (ввиду нелинейного характера связи переменных);

Воздействием какого-то фактора, не включенного в модель в качестве объясняющей переменной. Величина такого неучтенного фактора может менять свою динамику в рассматриваемый период, отклоняясь в достаточно длительные промежутки времени в ту или иную сторону от своего среднего значения. Это, очевидно, может служить причиной длительных устойчивых отклонений зависимой переменной от линии регрессии.

Обе указанные причины свидетельствуют о том, что существует возможность улучшить уравнение регрессии путем оценивания какой-то новой нелинейной формулы или включения некоторой новой объясняющей переменной.

Зависимость, показанная на рис.5.5, очевидно, нелинейна. Но это – крайний случай. Далеко не всегда бывает столь же очевидно, что отклонения от регрессионной прямой имеют неслучайный, закономерный характер. Для оценки степени такой неслучайности необходимо ввести количественную меру .

Итак, одним из основных предполагаемых свойств отклонений наблюдаемых значений от регрессионной формулы является их статистическая независимость между собой .

Мы рассмотрим наиболее простую модель, в которой ошибки образуют так называемый авторегрессионный процесс первого порядка , т.е. когда ошибки зависят только от ошибок предыдущего периода. Применение обычного метода наименьших квадратов в этом случае дает несмещенные и состоятельные оценки параметров, однако можно показать, что оценка дисперсии оказывается смещенной вниз , что может отрицательно сказаться при проверке гипотез о значимости оценок параметров. Образно говоря, МНК рисует более оптимистичную картину, чем есть на самом деле.

Следовательно, последствия автокорреляции состоят в том, что:

- оценка дисперсии при использовании МНК является заниженной .

Большинство тестов на наличие автокорреляции в ошибках модели (наиболее широко используется тест Дарбина-Уотсона ) используют следующую идею: если корреляция есть у ошибок , то она присутствует и в остатках , получаемых после применения к модели обычного метода наименьших квадратов.

То есть, поскольку значения ошибок остаются неизвестными ввиду неизвестности истинных значений параметров модели, то проверяется статистическая независимость их аналогов – отклонений . При этом проверяется обычно их некоррелированность (являющаяся необходимым, но недостаточным атрибутом независимости ), причем некоррелированность не любых, а соседних величин .

- соседние во времени значения (в случае временных рядов);

- соседние по возрастанию переменной Х значения (в случае перекрестных выборок).

“Первого порядка ” означает, что остатки зависят только от остатков предыдущего периода.

Практически, однако, используют тесно связанную с статистику Дарбина-Уотсона, обозначаемую как DW-статистика или как d‑статистика , и рассчитываемую по формуле:

. (5.13)

.

Автокорреляция остатков обычно встречается в регрессионном анализе при использовании данных временных рядов. Поэтому в дальнейших выкладках вместо символа i используется символ t, отражающий момент наблюдения, объем выборки при этом будем обозначать символом T. В экономических задачах значительно чаще встречается так называемая положительная автокорреляция (), нежели отрицательная автокорреляция ().

В большинстве случаев положительная автокорреляция вызывается направленным постоянным воздействием некоторых неучтенных в модели факторов.

Среди основных причин, вызывающих появление автокорреляции, можно выделить ошибки спецификации, инерцию в изменении экономических показателей, эффект паутины, сглаживание данных.

Последствия автокорреляции в определенной степени сходны с последствиями гетероскедастичности. Среди них при применении МНК обычно выделяют следующие:

1. Оценки параметров, оставаясь линейными и несмещенными, перестают быть эффективными. Следовательно, они перестают обладать свойствами наилучших линейных несмещенных оценок (BLUE-оценок).

2. Дисперсии оценок являются смещенными. Часто дисперсии, вычисляемые по стандартным формулам, являются заниженными, что влечет за собой увеличение -статистик. Это может привести к признанию статистически значимыми объясняющие переменные, которые в действительности таковыми могут и не являться.

3. Оценка дисперсии регрессии является смещенной оценкой истинного значения , во многих случаях занижая его.

4. В силу вышесказанного выводы по - и -статистикам, определяющим значимость коэффициентов регрессии и коэффициента детерминации, возможно, будут неверными. Вследствие этого ухудшаются прогнозные качества модели.

В силу неизвестности значений параметров уравнения регрессии неизвестными будут также и истинные значения отклонений . Поэтому выводы об их независимости осуществляются на основе оценок , полученных из эмпирического уравнения регрессии. Рассмотрим возможные методы определения автокорреляции.

1) Графический метод.

Существует несколько вариантов графического определения автокорреляции. Один из них, увязывающий отклонения с моментами их получения (их порядковыми номерами ), приведен на рис. 5.5. Это так называемые последовательно-временные графики. В этом случае по оси абсцисс обычно откладываются либо время (момент) получения статистических данных, либо порядковый номер наблюдения, а по оси ординат – отклонения (либо оценки отклонений ).

Рис. 5. 5

Естественно предположить, что на рис. 5.5, а-г имеются определенные связи между отклонениями, т.е. автокорреляция имеет место. Отсутствие зависимости на рис. 5.5,д скорее всего свидетельствует об отсутствии автокорреляции.

Например, на рис. 5.5,б отклонения вначале в основном отрицательные, затем положительные, потом снова отрицательные. Это свидетельствует о наличии между отклонениями определенной зависимости. Более того, можно утверждать, что в этом случае имеет место положительная автокорреляция остатков. Она становится весьма наглядной, если график 5.5,б дополнить графиком зависимости от (рис. 5.6).

Рис. 5. 6

Подавляющее большинство точек на этом графике расположено в I и III четвертях декартовой системы координат, подтверждая положительную зависимость между соседними отклонениями.

Следует заметить, что в современных компьютерных прикладных программах для решения задач по эконометрике аналитическое выражение регрессии дополняется графическим представлением результатов. На график реальных колебаний зависимой переменной накладывается график колебаний переменной по уравнению регрессии. Сопоставив эти два графика, можно выдвинуть гипотезу о наличии автокорреляции остатков. Если эти графики пересекаются редко, то можно предположить наличие положительной автокорреляции остатков.

2) метод рядов.

Этот метод достаточно прост: последовательно определяются знаки отклонений . Например,

(-----)(+++++++)(---)(++++)(-),

т.е. 5 «-», 7 «+», 3 «-», 4 «+», 1 «-» при 20 наблюдениях.

Ряд определяется как непрерывная последовательность одинаковых знаков. Количество знаков в ряду называется длиной ряда .

Визуальное распределение знаков свидетельствует о неслучайном характере связей между отклонениями. Если рядов слишком мало по сравнению с количеством наблюдений , то вполне вероятна положительная автокорреляция. Если же рядов слишком мало, то вероятна отрицательная автокорреляция. Для более детального анализа предлагается следующая процедура. Пусть

– объем выборки;

– общее количество знаков «+» при наблюдениях (количество положительных отклонений );

– общее количество знаков «-» при наблюдениях (количество положительных отклонений );

– количество рядов.

При достаточно большом количестве наблюдений () и отсутствии автокорреляции СВ имеет асимптотически нормальное распределение с

Тогда, если , то гипотеза об отсутствии автокорреляции не отклоняется.

Для небольшого числа наблюдений () Свед и Эйзенхарт разработали таблицы критических значений количества рядов при наблюдениях. Суть таблиц в следующем.

На пересечении строки и столбца определяются нижнее и верхнее значения при уровне значимости .

При установлении автокорреляции необходимо в первую очередь

проанализировать правильность спецификации модели.Если после ряда

усовершенсвований регрессии автокорреляция по-прежнему имеет место, то возможны определенные преобразования, устраняющие автокорреляцию. Среди них выделяется авторегрессионная схема первого порядка AR(1).

Контрольные вопросы:

1. В чем суть гетероскедастичности?

2. Приведите аргументы в пользу графического теста, теста Парка и теста Глейзера.

3. Приведите схему теста Голдфельда-Квандта.

4. В чем суть метода взвешенных наименьших квадратов (ВНК)?

5. Что такое автокорреляция?

6. Назовите основные причины автокорреляции.

7. Перечислите основные методы обнаружения автокорреляции.

8. Каковы последствия автокорреляции?

Рассматривая последовательность остатков как временной ряд, можно построить график их зависимости от времени. В соответствии с предпосылками МНК остатки должны быть случайными. Однако при моделировании временных рядов нередко встречается ситуация, когда остатки содержат тенденцию или циклические колебания. Это свидетельствует о том, что каждое следующее значение остатков зависит от предшествующих. В этом случае говорят об автокорреляции остатков.

Автокорреляция в остатках может быть вызвана несколькими причинами, имеющими различную природу.

• 1. Она может быть связана с исходными данными и вызвана наличием ошибок измерения в значениях результативного признака.
• 2. В ряде случаев автокорреляция может быть следствием неправильной спецификации модели. Модель может не включать фактор, который оказывает существенное воздействие на результат и влияние которого отражается в остатках, вследствие чего последние могут оказаться автокоррелированными.

Существуют два наиболее распространенных метода определения автокорреляции остатков:

• 1) построение графика зависимости остатков от времени и визуальное определение наличия или отсутствия автокорреляции.
• 2) использование критерия Дарбина -- Уотсона и расчет величины:

Таким образом, d есть отношение суммы квадратов разностей последовательных значений остатков к остаточной сумме квадратов по модели регрессии.

Алгоритм выявления автокорреляции остатков на основе критерия Дарбина -- Уотсона следующий. Выдвигается гипотеза Н0 об отсутствии автокорреляции остатков. Альтернативные гипотезы Н1 и Н1* состоят, соответственно, в наличии положительной или отрицательной автокорреляции в остатках.

Далее по специальным таблицам определяются критические значения критерия Дарбина -- Уотсона dL и dU для заданного числа наблюдений n, числа независимых переменных модели k и уровня значимости б . По этим значениям числовой промежуток разбивают на пять отрезков. Принятие или отклонение каждой из гипотез с вероятностью осуществляется следующим образом:

есть положительная автокорреляция. Принимается гипотеза H1 с вероятностью (1- б ).

зона неопределенности.

автокорреляция остатков нет.

зона неопределенности.

есть отрицательная автокорреляция. Принимается гипотеза H1* с вероятностью (1-б).

Если фактическое значение критерия Дарбина -- Уотсона попадает в зону неопределенности, то на практике предполагают существование автокорреляции остатков и отклоняют гипотезу Hо.

Есть несколько существенных ограничений на применение критерия Дарбина -- Уотсона:

• 1. Он неприменим к моделям, включающим в качестве независимых переменных лаговые значения результативного признака, т.е. к моделям авторегрессии.
• 2. Методика расчета и использования критерия Дарбина-Уотсона направлена только на выявление автокорреляции остатков первого порядка.
• 3. Критерий Дарбина-Уотсона дает достоверные результаты только для больших выборок.

Автокорреляция остатков может возникать по нескольким причинам:

Во-первых, иногда автокорреляция связана с исходными данными и наличием ошибок измерения в значениях Y.

Во-вторых, иногда причину автокорреляции остатков следует искать в формулировке модели. В модель может быть не включен фактор, оказывающий существенное воздействие на результат, но влияние у которого отражается в остатках, вследствие чего последние могут оказаться автокоррелированными. Зачастую этим фактором является фактор времени t.

Иногда, в качестве существенных факторов могут выступать лаговые значения переменных , включенных в модель. Либо в модели не учтено несколько второстепенных факторов, совместное влияние которых на результат существенно ввиду совпадения тенденций их изменения или циклических колебаний.

Автокорреляция бывает явной и неявной.

Явная наблюдается в случае, когда известна точная зависимость между уровнями шоковой переменной, полученными в различные моменты времени.

Неявная – когда такая зависимость является стохастической:

Зависимость такого вида достаточно часто встречается при анализе временных рядов и носит название модели авторегрессии первого порядка AP (1).

К последствиям наличия в модели автокорреляции относятся:

а) увеличение дисперсий оценок параметров модели;

б) смещение оценок, полученных по МНК;

в) снижение значимости оценок параметров.

Если ρ >0, то автокорреляция будет положительной, а если ρ < 0 – отрицательной.

Наиболее популярным критерием диагностики эконометрической модели на наличие автокорреляции является тест Дарбина-Уотсона.

Кроме точечной проверки наличия автокорреляции шоковой переменной на практике проверяют статистические гипотезы следующих видов:

Критерии проверки гипотез 1) и 2) основаны на специальных таблицах Дарбина-Уотсона, в которых по уровню надежности содержаться доверительные границы статистики .

Однако, существуют особые ограничения при использовании теста Дарбина-Уотсона.

1) Модель должна содержать свободный член ;

2) Модель не должна содержать лаговых переменных.

В других учебниках существует деление автокорреляции на чистую и ложную .

Чистая вызывается зависимостью случайного члена от прошлых значений. Она, в свою очередь, делится на автокорреляцию первого порядка, второго порядка и высших порядков.

Ложная автокорреляция вызывается неправильной спецификацией модели.

Причинами чистой автокорреляции могут быть:

1. Инерция. Трансформация и изменение многих экономических показателей обладает инерционностью.

2. Эффект паутины. Многие экономические показатели реагируют на изменение экономических условий с временным лагом (запаздыванием).

3. Сглаживание данных. Усреднение данных по некоторому продолжительному интервалу времени.

Последствия автокорреляции:

1. Истинная автокорреляция не приводит к смещению оценок регрессии, но оценки перестают быть эффективными.

2. Автокорреляция (особенно положительная) часто приводит к уменьшению стандартных ошибок коэффициентов, что влечет за собой увеличение t -статистик.

3. Оценка дисперсии остатков S e 2 является смещенной оценкой истинного значения σ e 2 , во многих случаях занижая его.

4. В силу вышесказанного выводы по оценке качества коэффициентов и модели в целом, возможно, будут неверными. Это приводит к ухудшению прогнозных качеств модели.