Предпосылки метода наименьших квадратов

Июль 21, 2022

Главная
Математика
Предпосылки метода наименьших квадратов

Содержание

2. Исследование остаточных величин. В задачу регрессионного анализа входит не только построение самой модели, но и исследование
3. Оценки параметров регрессии должны отвечать определенным критериям: Несмещенность оценки (математическое ожидание остатков равно нулю). Эффективность (оценки
4. Указанные критерии оценок (несмещенность, состоятельность, эффективность) обязательно учитываются при разных способах оценивания. Так как метод наименьших
5. Исследование остатков εi предполагают проверку наличия следующих пяти предпосылок МНК (теорема Гаусса-Маркова): случайный характер остатков; нулевая
6. Если распределение случайных остатков не соответствует некоторым предпосылкам МНК, то следует корректировать модель.
7. Прежде всего, проверяется случайный характер остатков - первая предпосылка МНК. С этой целью строится график зависимости
8. εi yi ∧
9. Если на графике получена горизонтальная полоса (из точек, как показано на рис.), то остатки εi представляют
11. В этих случаях необходимо либо применять другую функцию, либо вводить дополнительную информацию и заново строить уравнение
12. Вторая предпосылка МНК относительно нулевой средней величины остатков означает, что Это означает, что случайное отклонение в
13. В соответствии с третьей предпосылкой МНК требуется, чтобы дисперсия остатков была гомоскедастичной. Это значит, что для
14. Иллюстрация определения гетероскедастичности
15. Примеры гетероскедастичности: дисперсия остатков растет по мере увеличения x;
16. дисперсия остатков достигает максимальной величины при средних значениях переменной х и уменьшается при минимальных и максимальных
17. максимальная дисперсия остатков при малых значениях х и дисперсия остатков однородна по мере увеличения значений х
18. Метод Гольдфельда — Квандта При малом объеме выборки, что наиболее характерно для эконометрических исследований, для оценки
19. Упорядочение n наблюдений по мере возрастания переменной у. Исключение из рассмотрения С центральных наблюдений; при этом
20. Разделение совокупности из (n – C) наблюдений на две группы (соответственно с малыми и большими значениями
21. При выполнении нулевой гипотезы о гомоскедастичности отношение R будет удовлетворять F -критерию с (n-C-2p):2 степенями свободы
22. Пример использования метода Гольдфельда — Квандта Поступление доходов в бюджет Санкт-Петербурга (у — млрд руб.) в
24. В соответствии с уравнением найдены теоретические значения и отклонения от их фактических значений , т. е.
25. Итак, остаточные величины обнаруживают тенденцию к росту по мере увеличения и
26. Этот вывод подтверждается и по критерию Гольдфельда – Квандта. Для его применения необходимо определить сначала число
27. Проверка регрессии на гетероскедастичность.
29. Величина , что превышает табличное значение – F-критерия 4,28 при 5 %-ном уровне значимости для числа
30. Четвертая предпосылка МНК - отсутствие автокорреляции остатков, т. е. значения остатков распределены независимо друг от друга.
31. Автокорреляция остатков означает наличие корреляции между остатками текущих и предыдущих (последующих) наблюдений. Коэффициент корреляции между и
32. При использовании F-критерия Фишера и t-критерия Стьюдента делаются предположения относительно поведения остатков –остатки представляют собой независимые
33. Наряду с предпосылками МНК должны соблюдаться определенные требования относительно переменных, включаемых в модель: соотношение 1 фактор
34. Обобщенный метод наименьших квадратов
35. Обобщенный метод наименьших квадратов При нарушении гомоскедастичности и наличии автокорреляции остатков рекомендуется вместо традиционного МНК использовать
36. Метод взвешенных наименьших квадратов. Случай парной регрессии Получили уравнение регрессии без свободного члена, но с дополнительной
37. Метод взвешенных наименьших квадратов. Случай парной регрессии На практике, значения дисперсии остатков, как правило, не известны.
39. Скачать презентацию

Слайд 2

Исследование остаточных величин.
В задачу регрессионного анализа входит не только построение самой

модели, но и исследование случайных отклонений, т.е. остаточных величин.

Слайд 3

Оценки параметров регрессии должны отвечать определенным критериям:
Несмещенность оценки (математическое ожидание остатков

равно нулю).
Эффективность (оценки имеют наименьшую дисперсию).
Состоятельность (дисперсия оценок параметров при возрастании числа наблюдений стремится к нулю)

Слайд 4

Указанные критерии оценок (несмещенность, состоятельность, эффективность) обязательно учитываются при разных способах

оценивания.
Так как метод наименьших квадратов строит оценки регрессии на основе минимизации суммы квадратов остатков, то очень важно исследовать поведение остаточных величин регрессии εi.

Слайд 5

Исследование остатков εi предполагают проверку наличия следующих пяти предпосылок МНК (теорема

Гаусса-Маркова):
случайный характер остатков;
нулевая средняя величина остатков, не зависящих от x;
гомоскедастичность – дисперсия каждого отклонения одинаковая для всех значений x;
отсутствие автокорреляции остатков. Значения остатков распределены независимо друг от друга;
остатки подчиняются нормальному распределению.

Слайд 6

Если распределение случайных остатков не соответствует некоторым предпосылкам МНК, то следует

корректировать модель.

Слайд 7

Прежде всего, проверяется случайный характер остатков - первая предпосылка МНК.
С

этой целью строится график зависимости остатков εi от теоретических значений результативного признака y .

∧

Слайд 8

εi
yi
∧

Слайд 9

Если на графике получена горизонтальная полоса (из точек, как показано на

рис.), то остатки εi представляют собой случайные величины и МНК оправдан, теоретические значения y аппроксимируют фактические значения y.
Возможны следующие случаи: если εi зависит от y , то:
остатки не случайны (рис. а);
остатки не имеют постоянной дисперсии (рис. в);
остатки носят систематический характер (рис. б).

∧

Слайд 10

Слайд 11

В этих случаях необходимо либо применять другую функцию, либо вводить дополнительную

информацию и заново строить уравнение регрессии до тех пор, пока остатки не будут случайными величинами.

Слайд 12

Вторая предпосылка МНК относительно нулевой средней величины остатков означает, что
Это

означает, что случайное отклонение в среднем не оказывает влияния на зависимую переменную. В каждом конкретном наблюдении случайный член может быть либо положительным, либо отрицательным, но он не должен иметь систематического смещения.
Если ошибка имеет не нулевое среднее значение, то оценки по МНК окажутся смещенными.

Слайд 13

В соответствии с третьей предпосылкой МНК требуется, чтобы дисперсия остатков была

гомоскедастичной. Это значит, что для каждого значения фактора остатки должны иметь одинаковую дисперсию. Если это условие не соблюдается, то имеет место гетероскедастичность.
Наличие гетероскедастичности можно наглядно видеть из графика зависимости остатков от теоретических значений результативного признака.

Слайд 14

Иллюстрация определения гетероскедастичности

Слайд 15

Примеры гетероскедастичности:
дисперсия остатков растет по мере увеличения x;

Слайд 16

дисперсия остатков достигает максимальной величины при средних значениях переменной х и

уменьшается при минимальных и максимальных значениях х;

Слайд 17

максимальная дисперсия остатков при малых значениях х и дисперсия остатков однородна

по мере увеличения значений х

Слайд 18

Метод Гольдфельда — Квандта
При малом объеме выборки, что наиболее характерно

для эконометрических исследований, для оценки гетероскедастичности может использоваться метод Гольдфельда — Квандта.

Слайд 19

Упорядочение n наблюдений по мере возрастания переменной у.
Исключение из рассмотрения С

центральных наблюдений; при этом (n - С): 2 > р, где р — число оцениваемых параметров.

Метод Гольдфельда — Квандта

Слайд 20

Разделение совокупности из (n – C) наблюдений на две группы (соответственно

с малыми и большими значениями фактора x) и определение по каждой из групп уравнений регрессии.
Определение остаточной суммы квадратов для первой (S1) и второй (S2) групп и нахождение их отношения:

Метод Гольдфельда — Квандта

Слайд 21

При выполнении нулевой гипотезы о гомоскедастичности отношение R будет удовлетворять F

-критерию с (n-C-2p):2 степенями свободы для каждой остаточной группы квадратов.
Чем больше величина превышает табличное значение F-критерия, тем более нарушена предпосылка о равенстве дисперсий остаточных величин.

Метод Гольдфельда — Квандта

Слайд 22

Пример использования метода Гольдфельда — Квандта
Поступление доходов в бюджет Санкт-Петербурга (у

— млрд руб.) в зависимости от численности работающих на крупных и средних предприятиях (х -тыс. чел.) экономики районов за 1994 г.

Слайд 23

Слайд 24

В соответствии с уравнением
найдены теоретические значения и отклонения от их фактических

значений , т. е. .

Слайд 25

Итак, остаточные величины обнаруживают тенденцию к росту по мере увеличения и

Слайд 26

Этот вывод подтверждается и по критерию Гольдфельда – Квандта.
Для его

применения необходимо определить сначала число исключаемых центральных наблюдений C.
При n=20 берем C=4 (при n=60 C= 16 , при n=30 C=8). Тогда в каждой группе будет по 8 наблюдений . Результаты расчетов представлены в таблице.

Слайд 27

Проверка регрессии на гетероскедастичность.

Слайд 28

Слайд 29

Величина , что превышает табличное значение – F-критерия 4,28 при 5

%-ном уровне значимости для числа степеней свободы 6 для каждой остаточной суммы квадратов , подтверждая тем самым наличие гетероскедастичности.

Слайд 30

Четвертая предпосылка МНК - отсутствие автокорреляции остатков, т. е. значения остатков распределены

независимо друг от друга.

Слайд 31

Автокорреляция остатков означает наличие корреляции между остатками текущих и предыдущих (последующих)

наблюдений. Коэффициент корреляции между и , где - остатки текущих наблюдений, - остатки предыдущих наблюдений (например, j = i - 1), может быть определен по формуле:

Слайд 32

При использовании F-критерия Фишера и t-критерия Стьюдента делаются предположения относительно поведения

остатков –остатки представляют собой независимые случайные величины с нулевым средним; они имеют одинаковую (постоянную) дисперсию и подчиняются нормальному распределению.

Слайд 33

Наряду с предпосылками МНК должны соблюдаться определенные требования относительно переменных, включаемых

в модель:
соотношение 1 фактор на 6-7 наблюдений;
факторы должны быть свободны от мультиколлинеарности.

Слайд 34

Обобщенный метод наименьших квадратов

Слайд 35

Обобщенный метод наименьших квадратов
При нарушении гомоскедастичности и наличии автокорреляции остатков рекомендуется

вместо традиционного МНК использовать обобщенный МНК. Его для случая устранения гетероскедастичности часто называют методом взвешенных наименьших квадратов.
Метод применим, если известны дисперсии для каждого наблюдения.
Основан на делении каждого наблюдаемого значения на соответствующее ему стандартное отклонение остатков.

Слайд 36

Метод взвешенных наименьших квадратов. Случай парной регрессии
Получили уравнение регрессии без свободного

члена, но с дополнительной объясняющей переменной z и с «преобразованным» остатком ν. Можно показать, что для него выполняются условия Гаусса-Маркова 1 – 5.

Слайд 37

Метод взвешенных наименьших квадратов. Случай парной регрессии
На практике, значения дисперсии остатков,

как правило, не известны. Для применения метода ВНК необходимо сделать реалистичные предположения об этих значениях. Например:
Дисперсии пропорциональны xi:
Дисперсии пропорциональны xi2:

Предпосылки метода наименьших квадратов

Содержание

Исследование остаточных величин.В задачу регрессионного анализа входит не только построение самой

Оценки параметров регрессии должны отвечать определенным критериям:Несмещенность оценки (математическое ожидание остатков

Указанные критерии оценок (несмещенность, состоятельность, эффективность) обязательно учитываются при разных способах

Исследование остатков εi предполагают проверку наличия следующих пяти предпосылок МНК (теорема

Если распределение случайных остатков не соответствует некоторым предпосылкам МНК, то следует

Прежде всего, проверяется случайный характер остатков - первая предпосылка МНК. С

εiyi∧

Если на графике получена горизонтальная полоса (из точек, как показано на

В этих случаях необходимо либо применять другую функцию, либо вводить дополнительную

Вторая предпосылка МНК относительно нулевой средней величины остатков означает, что Это

В соответствии с третьей предпосылкой МНК требуется, чтобы дисперсия остатков была

Иллюстрация определения гетероскедастичности

Примеры гетероскедастичности: дисперсия остатков растет по мере увеличения x;

дисперсия остатков достигает максимальной величины при средних значениях переменной х и

максимальная дисперсия остатков при малых значениях х и дисперсия остатков однородна

Метод Гольдфельда — Квандта При малом объеме выборки, что наиболее характерно

Упорядочение n наблюдений по мере возрастания переменной у.Исключение из рассмотрения С

Разделение совокупности из (n – C) наблюдений на две группы (соответственно

При выполнении нулевой гипотезы о гомоскедастичности отношение R будет удовлетворять F

Пример использования метода Гольдфельда — КвандтаПоступление доходов в бюджет Санкт-Петербурга (у

В соответствии с уравнениемнайдены теоретические значения и отклонения от их фактических

Итак, остаточные величины обнаруживают тенденцию к росту по мере увеличения и

Этот вывод подтверждается и по критерию Гольдфельда – Квандта. Для его

Проверка регрессии на гетероскедастичность.

Величина , что превышает табличное значение – F-критерия 4,28 при 5

Четвертая предпосылка МНК - отсутствие автокорреляции остатков, т. е. значения остатков распределены

Автокорреляция остатков означает наличие корреляции между остатками текущих и предыдущих (последующих)

При использовании F-критерия Фишера и t-критерия Стьюдента делаются предположения относительно поведения

Наряду с предпосылками МНК должны соблюдаться определенные требования относительно переменных, включаемых

Обобщенный метод наименьших квадратов

Обобщенный метод наименьших квадратовПри нарушении гомоскедастичности и наличии автокорреляции остатков рекомендуется

Метод взвешенных наименьших квадратов. Случай парной регрессииПолучили уравнение регрессии без свободного

Метод взвешенных наименьших квадратов. Случай парной регрессииНа практике, значения дисперсии остатков,

Похожие презентации

Исследование остаточных величин.
В задачу регрессионного анализа входит не только построение самой

Оценки параметров регрессии должны отвечать определенным критериям:
Несмещенность оценки (математическое ожидание остатков

Прежде всего, проверяется случайный характер остатков - первая предпосылка МНК.
С

εi
yi
∧

Вторая предпосылка МНК относительно нулевой средней величины остатков означает, что
Это

Примеры гетероскедастичности:
дисперсия остатков растет по мере увеличения x;

Метод Гольдфельда — Квандта
При малом объеме выборки, что наиболее характерно

Упорядочение n наблюдений по мере возрастания переменной у.
Исключение из рассмотрения С

Пример использования метода Гольдфельда — Квандта
Поступление доходов в бюджет Санкт-Петербурга (у

В соответствии с уравнением
найдены теоретические значения и отклонения от их фактических

Этот вывод подтверждается и по критерию Гольдфельда – Квандта.
Для его

Обобщенный метод наименьших квадратов
При нарушении гомоскедастичности и наличии автокорреляции остатков рекомендуется

Метод взвешенных наименьших квадратов. Случай парной регрессии
Получили уравнение регрессии без свободного

Метод взвешенных наименьших квадратов. Случай парной регрессии
На практике, значения дисперсии остатков,