Линейная модель множественной регресии

Содержание

Слайд 2

1) Модель множественной регресии (МР) 2) 3)

1)

Модель множественной регресии (МР)

2)

3)

Слайд 3

Матричная запись

Матричная запись

Слайд 4

1) Выборочная модель МР 2)

1)

Выборочная модель МР

2)

Слайд 5

Матричная запись

Матричная запись

Слайд 6

Рекомендация: Целесообразно: объем выборки должен быть в 6-7 раз больше числа независимых переменных. Число степеней свободы:


Рекомендация:
Целесообразно:
объем выборки должен быть в 6-7 раз больше числа независимых

переменных.

Число степеней свободы:

Слайд 7

Независимые переменные – величины неслучайные, возмущения - есть СВ. МО возмущений

Независимые переменные – величины неслучайные, возмущения - есть СВ.
МО возмущений равны

0.
Дисперсия возмущений постоянна
(условие гомоскедастичности).
Слайд 8

4. Отсутствие автокорреляции в возмущениях и их некоррелированность со всеми НП.

4. Отсутствие автокорреляции в возмущениях и их некоррелированность со всеми НП.
5.

Возмущения распределены по нормальному закону.
6. Отсутствие мультиколлинеарности (между НП отсутствует сильная линейная связь).
Слайд 9

Для классической нормальной линейной модели МР МНК-оценки параметров модели имеют наименьшую

Для классической нормальной линейной модели МР МНК-оценки параметров модели имеют наименьшую

дисперсию в классе линейных несмещенных оценок
Слайд 10

2. Оценка параметров линейной модели МР

2. Оценка параметров линейной
модели МР

Слайд 11

Метод наименьших квадратов Оценки параметров ЛММР согласно МНК будем искать из

Метод наименьших квадратов

Оценки параметров ЛММР согласно МНК будем искать из условия:
Условиями

минимума функции являются равенство нулю первых производных по коэффициентам УМР.
Слайд 12

1) 2) Матричный метод 3)

1)

2)

Матричный метод

3)

Слайд 13

1) Гомоскедастичность Гетероскедастичность 2)

1)

Гомоскедастичность

Гетероскедастичность

2)

Слайд 14

Понятие автокорреляции

Понятие автокорреляции

Слайд 15

Обобщенный метод наименьших квадратов Теорема. Если в схеме Гаусса-Маркова не выполняется

Обобщенный метод наименьших квадратов
Теорема. Если в схеме Гаусса-Маркова не выполняется предпосылка

о гомоскедастичности и некорелированности случайных возмущений, то наилучшей линейной процедурой оценки параметров модели является:

Р - матрица ковариаций случайных возмущений
(положительно определенная матрица)

Слайд 16

Взвешенный метод наименьших квадратов Теорема. Если в схеме Гаусса-Маркова не выполняется

Взвешенный метод наименьших квадратов
Теорема. Если в схеме Гаусса-Маркова не выполняется предпосылка

о гомоскедастичности случайных возмущений, то наилучшей линейной процедурой оценки параметров модели является:

Р - матрица ковариаций случайных возмущений :

Слайд 17

Взвешенный метод наименьших квадратов

Взвешенный метод наименьших квадратов

Слайд 18

Мультиколлинеарность (МТК) – это явление высокой взаимной коррелированности НП. Два вида

Мультиколлинеарность (МТК) – это явление высокой взаимной коррелированности НП.

Два вида МТК: 1)

совершенная (строгая, полная) 2) несовершенная (частичная)

Полная МТК при наличии функциональных связей между НП. Это нарушение требования к рангу матрицы:

2)

1)

Слайд 19

Последствия МТК: Оценки коэффициентов УМР ненадежны и неустойчивы (увеличиваются стандартные ошибки

Последствия МТК:

Оценки коэффициентов УМР ненадежны и неустойчивы (увеличиваются стандартные ошибки оценок

и уменьшаются t-статистики МНК-оценок)
МНК-оценки коэффициентов неустойчивы (чувствительны к изменениям данных и размерности выборки)
Возможность получения неверного знака у коэффициентов регрессии
Слайд 20

Последствия МТК: Оценки коэффициентов УМР становятся очень чувствительными к ошибкам спец.

Последствия МТК:

Оценки коэффициентов УМР становятся очень чувствительными к ошибкам спец.
Осложнение

процесса определения наиболее существенных факторов
Затрудняет экономическую интерпретацию коэффициентов УМР (выделение характеристик влияния факторов на ЗП в чистом виде)
ОДНАКО:
Оценки коэффициентов остаются несмещенными
Оценки коэффициентов немультикол.
факторов не ухудшаются
Слайд 21

Причины возникновения МТК: НП характеризуют одну и туже сторону экон. процесса

Причины возникновения МТК:

НП характеризуют одну и туже сторону экон. процесса
Использование в

модели НП, суммарное значение которых есть постоянная величина
НП, являющиеся элементами друг друга
НП могут иметь общий временный тренд, относительно которой они совершают малые колебания
Наблюдается фиктивная (ложная) линейная связь.
Слайд 22

Методы устранения мультиколлинеарности Переход к смещенным методам оценивания «Ридж – регрессия» («гребневая регрессия»)

Методы устранения мультиколлинеарности

Переход к смещенным методам оценивания

«Ридж – регрессия» («гребневая регрессия»)

Слайд 23

Регрессия на главных компонентах

Регрессия на главных компонентах

Слайд 24

Слайд 25

Тема №1. Линейные эконометрические модели Оценивание параметров ЭМ с учетом ограничений

Тема №1. Линейные эконометрические модели

Оценивание параметров ЭМ с учетом ограничений

Слайд 26

Ограничения 1) 2) 3)

Ограничения

1)

2)

3)

Слайд 27

Целевая функция 1) при ограничениях 2) 3)

Целевая функция

1)

при ограничениях

2)

3)

Слайд 28

Тема №1. Линейные эконометрические модели 5. Проверка качества линейных моделей МР (самостоятельная проработка)

Тема №1. Линейные эконометрические модели

5. Проверка качества линейных моделей МР
(самостоятельная

проработка)
Слайд 29

Проверка статических гипотез Виды статистических гипотез: 1) Нулевые (основные); 2) альтернативные

Проверка статических гипотез

Виды статистических гипотез:
1) Нулевые (основные);
2) альтернативные (конкурирующие).

Альтернативная гипотеза H1

- гипотеза, которая противоречит нулевой.

Нулевая гипотеза H0 - проверяемая гипотеза

Слайд 30

Проверка статических гипотез Ошибка первого рода – отвергается нулевая гипотеза, когда

Проверка статических гипотез

Ошибка первого рода – отвергается нулевая гипотеза, когда она

верна.
Обозначают α и наз. уровнем значимости (размером критерия)

Ошибка второго рода –принимается нулевая гипотеза, когда верна альтернативная гипотеза.
Обозначают β и вероятность 1- β не совершить ошибку второго рода наз. мощностью критерия

Слайд 31

Проверки статистических гипотез Случайная величина К, построенная по результатам наблюдений для

Проверки статистических гипотез

Случайная величина К, построенная по результатам наблюдений для проверки

нулевой гипотезы, наз. статистическим критерием.

Основа схемы построения статистического критерия – разделение выборочного пространства на две области:
область отклонения нулевой гипотезы (критическая обл.)
область принятия нулевой гипотезы

Слайд 32

Критическая область Область принятия гипотезы H0 Статистическая проверка гипотез

Критическая область

Область принятия гипотезы H0

Статистическая проверка гипотез

Слайд 33

Проверка статических гипотез Статистический критерий определяется заданием: 1) статистической гипотезы Н0;

Проверка статических гипотез

Статистический критерий
определяется заданием:
1) статистической гипотезы Н0;
2) уровня значимости

α;
3) статистики критерия;
4) критической области.

Критерий наз. наиболее мощным, если из всех критериев с заданным уровнем значимости он обладает наибольшей мощностью

Слайд 34

1. Нахождением критических точек, соответствующих заданным уровням значимости . 2. Нахождением

1. Нахождением критических точек, соответствующих заданным уровням значимости .

2. Нахождением уровня

значимости P (значимой вероятности) , соответствующего наблюдаемому значению статистического критерия.
Если значимость P меньше заданного стандартного уровня значимости , то нулевая гипотеза отвергается в пользу альтернативной.

Два способа проверки гипотез:

Слайд 35

2. Задается уровень значимости 1. Формулировка нулевой и альтернативной гипотез 3.

2. Задается уровень значимости

1. Формулировка нулевой и альтернативной гипотез

3. Определение

объема выборки n.

Общая схема проверки гипотез

4. Выбор статистического критерия для проверки нулевой гипотезы.

4. Выбор статистического критерия для проверки нулевой гипотезы.

6. Вычисление наблюдаемого значения статистического критерия.

5. Определение критической области и области принятия гипотезы.

7. Принятие статистического решения.

Проверка гипотез при двусторонней КО тесно связано с интервальным оцениванием.

Слайд 36

1. Нахождением критических точек, соответствующих заданным уровням значимости . 2. Нахождением

1. Нахождением критических точек, соответствующих заданным уровням значимости .

2. Нахождением уровня

значимости P (значимой вероятности) , соответствующего наблюдаемому значению статистического критерия.
Если значимость P меньше заданного стандартного уровня значимости , то нулевая гипотеза отвергается в пользу альтернативной.

Два способа проверки гипотез:

Слайд 37

Общая СумКО (TSS) Факторная СумКО (ESS) Остаточная СумКО (RSS) Качество подгонки данных моделью

Общая СумКО (TSS)

Факторная СумКО (ESS)

Остаточная СумКО (RSS)

Качество подгонки данных моделью

Слайд 38

Коэффициенты R2 в разных моделях с разным числом наблюдений (и переменных) несравнимы

Коэффициенты R2 в разных моделях с разным числом наблюдений (и переменных)

несравнимы
Слайд 39

1) 2) Скорректированные коэффициенты в разных моделях с разным числом наблюдений (и переменных) ограниченно сравнимы

1)

2)

Скорректированные коэффициенты в разных моделях с разным числом наблюдений (и переменных)

ограниченно сравнимы
Слайд 40

1) 2)

1)

2)

Слайд 41

Проверка значимости коэффициентов

Проверка значимости коэффициентов

Слайд 42

Проверка статических гипотез Статистический критерий определяется заданием: 1) статистической гипотезы Н0;

Проверка статических гипотез

Статистический критерий
определяется заданием:
1) статистической гипотезы Н0;
2) уровня значимости

α;
3) статистики критерия;
4) критической области.
Слайд 43

Критическая область Область принятия гипотезы H0 Статистическая проверка гипотез

Критическая область

Область принятия гипотезы H0

Статистическая проверка гипотез

Слайд 44

Проверка статических гипотез Ошибка первого рода – отвергается нулевая гипотеза, когда

Проверка статических гипотез

Ошибка первого рода – отвергается нулевая гипотеза, когда она

верна.
Обозначают α и наз. уровнем значимости (размером критерия)

Ошибка второго рода –принимается нулевая гипотеза, когда верна альтернативная гипотеза.
Обозначают β и вероятность 1- β не совершить ошибку второго рода наз. мощностью критерия

Слайд 45

Проверка значимости коэффициент b0

Проверка значимости коэффициент b0

Слайд 46

1) 3) 2)

1)

3)

2)

Слайд 47

- параметр значим 1) 2) 3) Проверка значимости коэф. УМР Общий случай

- параметр значим

1)

2)

3)

Проверка значимости коэф. УМР

Общий случай

Слайд 48

Вычисление критической точки РС

Вычисление критической точки РС

Слайд 49

1) Доверительный интервал 2) Предельная ошибка

1)

Доверительный интервал

2)

Предельная ошибка

Слайд 50

- прин. H1 1) 2) 3) Односторонние проверка значимости коэф. УМР

- прин. H1

1)

2)

3)

Односторонние проверка значимости коэф. УМР

Слайд 51

- правосторонняя 1) 2) 3) Односторонние гипотезы - левосторонняя Если имеется

- правосторонняя

1)

2)

3)

Односторонние гипотезы

- левосторонняя

Если имеется информация о знаках коэф.

Знак «+»

Знак

«-»
Слайд 52

Слайд 53

Оценка значимости УМР 1) 2) 3)

Оценка значимости УМР

1)

2)

3)

Слайд 54

- прин. H1 1) 2) 4) Тестирование одного линейного ограничения Общий случай

- прин. H1

1)

2)

4)

Тестирование одного линейного ограничения

Общий случай

Слайд 55

- модель значима 1) 2) 3)

- модель значима

1)

2)

3)

Слайд 56

Вычисление критической точки РФ для правосторонней критической области

Вычисление критической точки РФ
для правосторонней критической области

Слайд 57

Меры точности РМ: 1. Средняя квадратическая ошибка остаточной компоненты на 1

Меры точности РМ: 1. Средняя квадратическая ошибка остаточной компоненты на 1 степень

свободы (стандартная ошибка регрессии RMSE)

Определение точности РМ

Основная величина для измерения качества модели (чем она меньше, тем лучше)

Значения RMSE в однотипных моделях с разным числом наблюдений и (или) переменных сравнимы

Слайд 58

- хороший подбор РМ 2. Средняя относительная ошибка аппроксимации

- хороший подбор РМ

2. Средняя относительная ошибка аппроксимации

Слайд 59

Типичные ошибки в использовании показателей качества ПР

Типичные ошибки в использовании показателей качества ПР

Слайд 60