Парная линейная регрессия и метод наименьших квадратов

Август 9, 2022

Главная
Математика
Парная линейная регрессия и метод наименьших квадратов

Содержание

2. Цели лекции Раскрыть понятие регрессии. Познакомиться с методом наименьших квадратов – методом построения линейного уравнения регрессии.
3. Виды зависимостей между переменными 1. Функциональные: Y = f(X). Имеют место при исследовании связей между неслучайными
4. Виды статистических зависимостей а) Корреляционные: при изменении одной из величин изменяется среднее значение другой (связь между
5. Пример: Регрессионная зависимость y 2 Y=2+x Возможные значения y для данного значения x x
6. Что такое регрессионный анализ? Регрессионный анализ – наиболее часто используемый инструмент в эконометрике. Регрессионный анализ представляет
7. Определение регрессии Регрессия – функциональная зависимость между объясняющими переменными и условным математическим ожиданием (средним значением) зависимой
8. Регрессионные модели Mx[Y] = ϕ(X) − парная регрессия, Mx[Y] = ϕ(X1,…,Xm) − множественная регрессия, где ϕ(X)
9. Пример: Парная регрессия Мы хотим определить зависимость между продажами и затратами на рекламу. y – продажи.
10. Пример: Множественная регрессия Мы хотим определить связь между потреблением, доходом семьи, финансовыми активами семьи и размером
11. Регрессионные уравнения Y = M[Y/x] + ε = ϕ(x) + ε − уравнение парной регрессии, Y
12. Причины обязательного присутствия случайного фактора Невключение в модель всех объясняющих переменных. Неправильный выбор функциональной формы модели.
13. Этапы построения качественного уравнения регрессии 1. Определение конечных целей эконометрического моделирования, набора участвующих в модели факторов
14. Этапы построения качественного уравнения регрессии 4. Выбор формулы уравнения регрессии (спецификация уравнения регрессии). 5. Определение параметров
15. Выбор формы парной регрессии В случае парной регрессии выбор формулы обычно осуществляется по графическому изображению реальных
16. Примеры взаимосвязи между переменными а) Взаимосвязь между Y и X близка к линейной: Y = a
17. Парная линейная регрессия Модель линейной регрессии является наиболее распространенной (и простой) зависимостью между переменными, а также
18. Модель Кейнса Рассмотрим модель Кейнса зависимости частного потребления С от располагаемого дохода I: С = С0+bI,
19. Модель парной линейной регрессии Теоретическая парная линейная регрессионная модель: где β0, β1 − теоретические коэффициенты регрессии,
20. Задачи линейного регрессионного анализа Задачи линейного регрессионного анализа состоят в том, чтобы по имеющимся статистическим данным
21. Эмпирическое уравнение регрессии По выборке ограниченного объема нельзя точно определить теоретические значения β0 и β1.. Можно
22. Эмпирическое уравнение регрессии В результате имеем: где ei – оценка теоретического случайного отклонения εi . Оценки
23. Эмпирическое и теоретическое уравнения регрессии Соотношение между теоретическим и эмпирическим уравнениями регрессии схематично имеет вид:
24. Задача определения коэффициентов регрессии Задача состоит в нахождении по выборке данных оценок b0 и b1 так,
25. Метод наименьших квадратов Наиболее распространена методом наименьших квадратов (МНК), реализующий минимизацию суммы квадратов отклонений: Основные особенности
26. Метод наименьших квадратов Пусть по выборке данных (xi, yi), i = 1, 2, …, n, требуется
27. Метод наименьших квадратов В этом случае минимизируется функция: Т.к. функция Q(b0,b1) непрерывна, выпукла и ограничена снизу,
28. Метод наименьших квадратов Приравняем нулю частные производные и затем разделим на n оба уравнения:
29. Оценки метода наименьших квадратов Решив последнюю систему уравнений, получим:
30. Матричная форма записи МНК эквивалентен ортогональности матрицы Х и вектора е:
31. Выводы 1. Оценки МНК являются функциями от выборки, что позволяет их легко рассчитать. 2. Оценки МНК
32. Выводы 4. Эмпирическое уравнение регрессии построено так, что 5. Случайные отклонения ei не коррелированы с наблюдаемыми
33. Другие методы определения коэффициентов регрессии Другие методы определения коэффициентов регрессии: метод наименьших модулей (МНМ), метод моментов
34. Пример (A) построения уравнения регрессии При анализе зависимости объема потребления Y (у.е.) домохозяйства от располагаемого дохода
35. Пример (A) построения уравнения регрессии Для определения вида зависимости построим корреляционное поле:
36. Пример (A) построения уравнения регрессии По расположению точек на корреляционном поле делаем предположение о линейной зависимости:
37. Пример (A) построения уравнения регрессии Т.о., уравнение парной линейной регрессии имеет вид: Изобразим данную прямую регрессии
38. Пример (A). Таблица расчетов по МНК
40. Скачать презентацию

Слайд 2

Цели лекции
Раскрыть понятие регрессии.
Познакомиться с методом наименьших квадратов – методом построения

линейного уравнения регрессии.

Слайд 3

Виды зависимостей между переменными
1. Функциональные: Y = f(X).
Имеют место при исследовании

связей между
неслучайными переменными. Такие связи в
эконометрике не рассматриваются.
2. Статистические: изменение одной из величин влечет изменение закона распределения другой (доход – потребление, цена – спрос и т.д.).

Слайд 4

Виды статистических зависимостей
а) Корреляционные: при изменении одной из величин изменяется среднее

значение другой (связь между переменными не носит направленного характера)
M[Y/X = x] = Mx[Y] = ϕ(x), M[X/Y = y] = My[X] = ψ(y),
где M[Y/X = x] − м. о. случайной величины Y, вычисленное при условии, что случайная величина X приняла значение x, ϕ(x) ≠ const, ψ(y) ≠ const.
б) Регрессионные: односторонняя зависимость среднего значения случайной величины Y от одной X или нескольких X1,…,Xm случайных величин.

Слайд 5

Пример: Регрессионная зависимость
y
2
Y=2+x
Возможные значения y для данного значения x
x

Слайд 6

Что такое регрессионный анализ?
Регрессионный анализ – наиболее часто используемый инструмент в

эконометрике.
Регрессионный анализ представляет собой анализ форм связи, устанавливающих количественные соотношения между случайными величинами изучаемого случайного процесса.

Слайд 7

Определение регрессии
Регрессия – функциональная зависимость между объясняющими переменными и условным математическим

ожиданием (средним значением) зависимой переменной, которая строится с целью прогнозирования этого среднего значения при фиксированных значениях объясняющих переменных.

Слайд 8

Регрессионные модели
Mx[Y] = ϕ(X) − парная регрессия,
Mx[Y] = ϕ(X1,…,Xm) − множественная

регрессия,
где ϕ(X) ≠ const,
X − объясняющая, входная, предсказывающая,
экзогенная, неслучайная переменная, фактор,
регрессор, факторный признак;
Y − зависимая, объясняемая, выходная,
результирующая, эндогенная, случайная
переменная, результирующий признак.

Слайд 9

Пример: Парная регрессия
Мы хотим определить зависимость между продажами и затратами на рекламу.
y

– продажи.
x – рекламные расходы.

Слайд 10

Пример: Множественная регрессия
Мы хотим определить связь между потреблением, доходом семьи, финансовыми активами

семьи и размером семьи.
y – потребительские расходы.
x1 – доход семьи.
x2 – финансовые активы семьи.
x3 – размер семьи.

Слайд 11

Регрессионные уравнения
Y = M[Y/x] + ε = ϕ(x) + ε −

уравнение парной регрессии,
Y = M[Y/x1 ,…, xm] + ε = ϕ(x1 ,…, xm) + ε − уравнение множественной регрессии,
где ε − случайный фактор (остаток), обусловленный многими причинами.
В зависимости от вида функции ϕ(x) модели делятся на линейные и нелинейные.

Слайд 12

Причины обязательного присутствия случайного фактора
Невключение в модель всех объясняющих переменных.
Неправильный выбор

функциональной формы модели.
Агрегирование переменных (факторы представляют собой комбинацию других переменных).
Ошибки измерений.
Ограниченность статистических данных.
Непредсказуемость человеческого фактора.

Слайд 13

Этапы построения качественного уравнения регрессии
1. Определение конечных целей эконометрического моделирования, набора

участвующих в модели факторов и их роли (постановочный этап).
2. Предмодельный анализ экономической сущности изучаемого явления (априорный этап).
3. Сбор необходимой статистической информации (информационный этап).

Слайд 14

Этапы построения качественного уравнения регрессии
4. Выбор формулы уравнения регрессии (спецификация уравнения

регрессии).
5. Определение параметров выбранного уравнения (параметризация).
6. Анализ качества уравнения и проверка его адекватности эмпирическим данным, совершенствование уравнения (верификация).

Слайд 15

Выбор формы парной регрессии
В случае парной регрессии выбор формулы обычно осуществляется

по графическому изображению реальных статистических данных в виде точек (корреляционное поле или диаграмма рассеивания).

Слайд 16

Примеры взаимосвязи между переменными
а) Взаимосвязь между Y и X близка к

линейной: Y = a + bX
б) Взаимосвязь близка к квадратической: Y = a + bX + cX2
в) Взаимосвязь между Y и X отсутствует. Какую бы мы ни выбрали форму связи, результаты проверки ее качества будут неудачными

Слайд 17

Парная линейная регрессия
Модель линейной регрессии является
наиболее распространенной (и простой)
зависимостью между переменными,

а также
может служить начальной точкой
эконометрического анализа.

Слайд 18

Модель Кейнса
Рассмотрим модель Кейнса зависимости частного
потребления С от располагаемого дохода I:

С = С0+bI,
где С0 − величина автономного потребления, b − предельная
склонность к потреблению (0 < b ≤ 1)

Слайд 19

Модель парной линейной регрессии
Теоретическая парная линейная регрессионная
модель:
где β0, β1 − теоретические

коэффициенты регрессии,
εi − случайное отклонение.
В общем виде теоретическую парную линейную
регрессионную модель будем представлять в виде:

Слайд 20

Задачи линейного регрессионного анализа
Задачи линейного регрессионного анализа состоят в
том, чтобы по

имеющимся статистическим данным
(xi, yi), i = 1, 2, …, n, для переменных X и Y:
а) получить наилучшие оценки параметров β0 и β1;
б) проверить статистические гипотезы о параметрах модели;
в) проверить, адекватность модели данным наблюдений.

Слайд 21

Эмпирическое уравнение регрессии
По выборке ограниченного объема нельзя точно
определить теоретические значения β0

и β1..
Можно лишь построить эмпирическое уравнение
регрессии:
где b0 и b1 – оценки параметров β0 и β1 эмпирические
коэффициенты регрессии).
– оценка условного м. о. M[Y/X = xi].

Слайд 22

Эмпирическое уравнение регрессии
В результате имеем:
где ei – оценка теоретического случайного

отклонения εi .
Оценки b0 и b1 отличаются от истинных значений β0 и β1,
что приводит к несовпадению эмпирической и
теоретической линий регрессии. По различным
выборкам из одной и той же генеральной
совокупности получают разные значения оценок
коэффициентов регрессии.

Слайд 23

Эмпирическое и теоретическое уравнения регрессии
Соотношение между теоретическим и эмпирическим уравнениями регрессии

схематично имеет вид:

Слайд 24

Задача определения коэффициентов регрессии
Задача состоит в нахождении по выборке данных
оценок b0

и b1 так, чтобы построенная линия регрессии
была наилучшей в определенном смысле среди всех
других прямых. Решение основано на минимизации:
где g – некоторая функция.

Слайд 25

Метод наименьших квадратов
Наиболее распространена методом наименьших квадратов
(МНК), реализующий минимизацию суммы

квадратов
отклонений:
Основные особенности МНК:
Он наиболее простой с вычислительной точки зрения.
Оценки коэффициентов регрессии по МНК при определенных предпосылках обладают рядом оптимальных свойств.

Слайд 26

Метод наименьших квадратов
Пусть по выборке данных (xi, yi), i = 1,

2, …, n,
требуется определить оценки b0 и b1 эмпирического
уравнения регрессии:

Слайд 27

Метод наименьших квадратов
В этом случае минимизируется функция:
Т.к. функция Q(b0,b1) непрерывна, выпукла

и ограничена
снизу, то она имеет минимум.

Необходимым условием минимума Q(b0,b1) является
равенство нулю ее частных производных по неизвестным
параметрам b0 и b1.

Слайд 28

Метод наименьших квадратов
Приравняем нулю частные производные и затем
разделим на n оба

уравнения:

Слайд 29

Оценки метода наименьших квадратов
Решив последнюю систему уравнений, получим:

Слайд 30

Матричная форма записи
МНК эквивалентен ортогональности матрицы Х и вектора е:

Слайд 31

Выводы
1. Оценки МНК являются функциями от выборки, что позволяет их легко

рассчитать.
2. Оценки МНК являются точечными оценками теоретических коэффициентов регрессии.
3. Эмпирическая прямая регрессии обязательно проходит через точку

Слайд 32

Выводы
4. Эмпирическое уравнение регрессии построено так, что
5. Случайные отклонения ei не

коррелированы с наблюдаемыми значениями yi зависимой переменной Y.
6. Случайные отклонения ei не коррелированы с наблюдаемыми значениями xi независимой переменной X.

Слайд 33

Другие методы определения коэффициентов регрессии
Другие методы определения коэффициентов регрессии:
метод наименьших модулей

(МНМ),
метод моментов (ММ),
метод максимального правдоподобия (ММП).

Слайд 34

Пример (A) построения уравнения регрессии
При анализе зависимости объема потребления Y (у.е.)
домохозяйства

от располагаемого дохода X (у.е.) отобрана
выборка объема n = 12 (помесячно в течение года),
результаты которой приведены в таблице:

Слайд 35

Пример (A) построения уравнения регрессии
Для определения вида зависимости построим
корреляционное поле:

Слайд 36

Пример (A) построения уравнения регрессии
По расположению точек на корреляционном поле
делаем предположение

о линейной зависимости:
Согласно МНК, имеем:

Слайд 37

Пример (A) построения уравнения регрессии
Т.о., уравнение парной линейной регрессии имеет вид:
Изобразим

данную прямую регрессии на корреляционном
поле. По этому уравнению рассчитаем , а также
Для анализа степени линейной зависимости вычислим:
Отсюда можно сделать вывод о сильной прямой линейной
зависимости между переменными.

Слайд 38

Парная линейная регрессия и метод наименьших квадратов

Содержание

Цели лекцииРаскрыть понятие регрессии.Познакомиться с методом наименьших квадратов – методом построения

Виды зависимостей между переменными1. Функциональные: Y = f(X).Имеют место при исследовании

Виды статистических зависимостейа) Корреляционные: при изменении одной из величин изменяется среднее

Пример: Регрессионная зависимостьy2Y=2+xВозможные значения y для данного значения xx

Что такое регрессионный анализ?Регрессионный анализ – наиболее часто используемый инструмент в

Определение регрессииРегрессия – функциональная зависимость между объясняющими переменными и условным математическим

Регрессионные моделиMx[Y] = ϕ(X) − парная регрессия,Mx[Y] = ϕ(X1,…,Xm) − множественная

Пример: Парная регрессияМы хотим определить зависимость между продажами и затратами на рекламу.y

Пример: Множественная регрессияМы хотим определить связь между потреблением, доходом семьи, финансовыми активами

Регрессионные уравненияY = M[Y/x] + ε = ϕ(x) + ε −

Причины обязательного присутствия случайного фактораНевключение в модель всех объясняющих переменных.Неправильный выбор

Этапы построения качественного уравнения регрессии1. Определение конечных целей эконометрического моделирования, набора

Этапы построения качественного уравнения регрессии4. Выбор формулы уравнения регрессии (спецификация уравнения

Выбор формы парной регрессииВ случае парной регрессии выбор формулы обычно осуществляется

Примеры взаимосвязи между переменнымиа) Взаимосвязь между Y и X близка к

Парная линейная регрессияМодель линейной регрессии являетсянаиболее распространенной (и простой)зависимостью между переменными,

Модель КейнсаРассмотрим модель Кейнса зависимости частногопотребления С от располагаемого дохода I:

Модель парной линейной регрессииТеоретическая парная линейная регрессионнаямодель:где β0, β1 − теоретические

Задачи линейного регрессионного анализаЗадачи линейного регрессионного анализа состоят втом, чтобы по

Эмпирическое уравнение регрессииПо выборке ограниченного объема нельзя точноопределить теоретические значения β0

Эмпирическое уравнение регрессииВ результате имеем: где ei – оценка теоретического случайного

Эмпирическое и теоретическое уравнения регрессииСоотношение между теоретическим и эмпирическим уравнениями регрессии

Задача определения коэффициентов регрессииЗадача состоит в нахождении по выборке данныхоценок b0

Метод наименьших квадратовНаиболее распространена методом наименьших квадратов (МНК), реализующий минимизацию суммы

Метод наименьших квадратовПусть по выборке данных (xi, yi), i = 1,

Метод наименьших квадратовВ этом случае минимизируется функция:Т.к. функция Q(b0,b1) непрерывна, выпукла

Метод наименьших квадратовПриравняем нулю частные производные и затемразделим на n оба

Оценки метода наименьших квадратовРешив последнюю систему уравнений, получим:

Матричная форма записиМНК эквивалентен ортогональности матрицы Х и вектора е:

Выводы1. Оценки МНК являются функциями от выборки, что позволяет их легко

Выводы4. Эмпирическое уравнение регрессии построено так, что5. Случайные отклонения ei не

Другие методы определения коэффициентов регрессииДругие методы определения коэффициентов регрессии:метод наименьших модулей

Пример (A) построения уравнения регрессииПри анализе зависимости объема потребления Y (у.е.)домохозяйства

Пример (A) построения уравнения регрессииДля определения вида зависимости построимкорреляционное поле:

Пример (A) построения уравнения регрессииПо расположению точек на корреляционном поледелаем предположение

Пример (A) построения уравнения регрессииТ.о., уравнение парной линейной регрессии имеет вид:Изобразим

Пример (A). Таблица расчетов по МНК

Похожие презентации