Парный регрессионный анализ

Содержание

Слайд 2

Модель парной линейной регрессии Коэффициент корреляции показывает, что две переменные связаны

Модель парной линейной регрессии

Коэффициент корреляции показывает, что две переменные связаны друг

с другом, однако он не дает представления о том, каким образом они связаны.
Рассмотрим более подробно те случаи, в которых мы предполагаем, что одна переменная зависит от другой.
Слайд 3

Начнем с простейшей модели - модели парной линейной регрессии: y = α+βx+u.

Начнем с простейшей модели - модели парной линейной регрессии:
y

= α+βx+u.
Слайд 4

Величина y, рассматриваемая как зависимая переменная, состоит из двух составляющих: неслучайной

Величина y, рассматриваемая как зависимая переменная, состоит из двух составляющих:
неслучайной

составляющей α+βx, где x выступает как объясняющая (независимая) переменная, а постоянные величины α и β - как параметры уравнения;
случайного члена u.
Слайд 5

x1, x2, x3, x4 - это четыре гипотетических значения объясняющей переменной.

x1, x2, x3, x4 - это четыре гипотетических значения объясняющей переменной.

Если бы соотношение между y и x было линейным, то значения y были бы представлены точками Q1, Q2, Q3, Q4 на прямой.

На рисунке показано, как комбинация этих двух составляющих определяет величину y.

Слайд 6

Случайный член положителен в первом и четвертом наблюдениях и отрицателен в

Случайный член положителен в первом и четвертом наблюдениях и отрицателен в

двух других.
Если отметить на графике реальные значения y при соответствующих значениях x, то получим точки P1, P2, P3, P4
Фактические значения α и β и, следовательно, положения точек Q неизвестны.
Слайд 7

Задача регрессионного анализа состоит в получении оценок α и β и,

Задача регрессионного анализа состоит в получении оценок α и β и,

следовательно, в определении положения прямой по точкам P.
Если бы случайный член отсутствовал, то точки P совпали бы с точками Q и точно показали бы положение прямой.
В этом случае достаточно было бы просто построить эту прямую и определить значения α и β.

Почему же существует случайный член?

Слайд 8

Причины существования случайного члена 1. Невключение объясняющих переменных. Соотношения между y

Причины существования случайного члена

1. Невключение объясняющих переменных.
Соотношения между y и

x является большим упрощением. В действительности существуют другие факторы, влияющие на y, которые не учтены в формуле y=α+βx+u.
Влияние этих факторов приводит к тому, что наблюдаемые точки лежат вне прямой.
Слайд 9

Часто происходит так, что имеются переменные, которые мы хотели бы включить

Часто происходит так, что имеются переменные, которые мы хотели бы включить

в регрессионное уравнение, но не можем этого сделать потому, что не знаем, как их измерить, например психологические факторы.
Возможно, что существуют также другие факторы, которые можно измерить, но которые оказывают такое слабое влияние, что их не стоит учитывать.
Слайд 10

Кроме того, могут быть факторы, которые являются существенными, но которые мы

Кроме того, могут быть факторы, которые являются существенными, но которые мы

из-за отсутствия опыта таковыми не считаем.
Объединив все эти составляющие, мы получаем то, что обозначено как u.
Если бы мы точно знали, какие переменные присутствуют здесь, и имели возможность точно их измерить, то могли бы включить их в уравнение и исключить соответствующий элемент из случайного члена.
Проблема состоит в том, что мы никогда не можем быть уверены, что входит в данную совокупность, а что - нет.
Слайд 11

2. Агрегирование переменных. Во многих случаях рассматриваемая зависимость - это попытка

2. Агрегирование переменных.
Во многих случаях рассматриваемая зависимость - это попытка

объединить вместе некоторое число микроэкономических соотношений.
Например, функция суммарного потребления - это попытка общего выражения совокупности решений отдельных индивидов о расходах.
Так как отдельные соотношения, вероятно, имеют разные параметры, любая попытка определить соотношение между совокупными расходами и доходом является лишь аппроксимацией.
Наблюдаемое расхождение при этом приписывается наличию случайного члена.
Слайд 12

3. Неправильное описание структуры модели. Структура модели может быть описана неправильно

3. Неправильное описание структуры модели.
Структура модели может быть описана неправильно

или не вполне правильно.
Например, если зависимость относится к данным о временном ряде, то значение y может зависеть не от фактического значения x, а от значения, которое ожидалось в предыдущем периоде.
Если ожидаемое и фактическое значения тесно связаны, то будет казаться, что между y и x существует зависимость, но это будет лишь аппроксимация, и расхождение вновь будет связано с наличием случайного члена.
Слайд 13

4. Неправильная функциональная спецификация. Функциональное соотношение между y и x математически

4. Неправильная функциональная спецификация.
Функциональное соотношение между y и x математически

может быть определено неправильно.
Например, истинная зависимость может не являться линейной, а быть более сложной.
Безусловно, надо постараться избежать возникновения этой проблемы, используя подходящую математическую формулу, но любая самая изощренная формула является лишь приближением, и существующее расхождение вносит вклад в остаточный член.
Слайд 14

Ошибки измерения. Если в измерении одной или более взаимосвязанных переменных имеются

Ошибки измерения.
Если в измерении одной или более взаимосвязанных переменных имеются

ошибки, то наблюдаемые значения не будут соответствовать точному соотношению, и существующее расхождение будет вносить вклад в остаточный член.
Остаточный член является суммарным проявлением всех этих факторов.
Слайд 15

Регрессия по методу наименьший квадратов. Допустим, имеется четыре наблюдения для x

Регрессия по методу наименьший квадратов.

Допустим, имеется четыре наблюдения для x и

y, и поставлена задача - определить значения α и β в уравнении y=α+βx+u.
Можно отложить четыре точки P и построить прямую, в наибольшей степени соответствующую этим точкам
Слайд 16

Отрезок, отсекаемый прямой на оси y, представляет собой оценку α и

Отрезок, отсекаемый прямой на оси y, представляет собой оценку α и

обозначен a, а угловой коэффициент прямой представляет собой оценку β и обозначен b.
Невозможно рассчитать истинные значения α и β, можно получить только оценки, и они могут быть хорошими или плохими

Способ достаточно точной оценки алгебраическим путем – Метод наименьих квадратов

Слайд 17

Первым шагом является определение остатка для каждого наблюдения. На рисунке при

Первым шагом является определение остатка для каждого наблюдения.
На рисунке при х=x1

соответствующей ему точкой на линии регрессии будет R1 со значением ,

вместо фактически наблюдаемого значения y1.

Слайд 18

Соответственно, для других наблюдений остатки будут обозначены как e1, e2, e3 и e4.

Соответственно, для других наблюдений остатки будут обозначены как e1, e2, e3

и e4.
Слайд 19

Очевидно, что мы хотим построить линию регрессии таким образом, чтобы остатки

Очевидно, что мы хотим построить линию регрессии таким образом, чтобы остатки

были минимальными.
Очевидно также, что линия, строго соответствующая одним наблюдениям, не будет соответствовать другим, и наоборот.
Необходимо выбрать такой критерий подбора, который будет одновременно учитывать величину всех остатков.
Слайд 20

Одним из способов решения поставленной проблемы состоит в минимизации суммы квадратов

Одним из способов решения поставленной проблемы состоит в минимизации суммы квадратов

остатков S — метод наименьших квадратов МНК.
Для рисунка верно такое соотношение: S=e12+e22+e32+e42.
Слайд 21

Величина S будет зависеть от выбора a и b, так как

Величина S будет зависеть от выбора a и b, так как

они определяют положение линии регрессии.
Чем меньше S, тем строже соответствие. Если S=0, то получено абсолютно точное соответствие.
В этом случае линия регрессии будет проходить через все точки, однако, вообще говоря, это невозможно из-за наличия случайного члена.
Слайд 22

Рассмотрим случай, когда имеется n наблюдений двух переменных x и y.

Рассмотрим случай, когда имеется n наблюдений двух переменных x и y.


Предположив, что y зависит от x, мы хотим подобрать уравнение
Слайд 23

Вывод выражений для a и b Выразим квадрат i-го остатка через

Вывод выражений для a и b

Выразим квадрат i-го остатка через a

и b и наблюдения значений x и y:

Суммируя по всем n наблюдениям, запишем S в виде:

Данное выражение для S является квадратичной формой по a и b, и ее коэффициенты определяются выборочными значениями x и y

Слайд 24

Мы можем влиять на величину S, только задавая a и b.

Мы можем влиять на величину S, только задавая a и b.


Значения x и y, которые определяют положение точек на диаграмме рассеяния, уже не могут быть изменены после того, как мы взяли определенную выборку.
Условия первого порядка для минимума, принимают вид:

Эти уравнения называют нормальными уравнениями для коэффициентов регрессии.

Слайд 25

Первое уравнение позволяет выразить a Следовательно

Первое уравнение позволяет выразить a

Следовательно

Слайд 26

Подставив выраженное a во второе уравнение, затем поделив на 2n и

Подставив выраженное a во второе уравнение, затем поделив на 2n и

перегруппировав, получим: bVar(x)=Cov(x,y), и таким образом получим уравнение:
b=Cov(x,y)/Var(x).
Слайд 27

Существуют и другие достаточно разумные решения, однако при выполнении определенных условий

Существуют и другие достаточно разумные решения, однако при выполнении определенных условий

метод наименьших квадратов дает несмещенные и эффективные оценки α и β.
Слайд 28

Качество оценки: коэффициент детерминации R2 Цель регрессивного анализа состоит в объяснении

Качество оценки: коэффициент детерминации R2

Цель регрессивного анализа состоит в объяснении

поведения зависимой переменной y.
В любой данной выборке y оказывается сравнительно низким в одних наблюдениях и сравнительно высоким - в других.
Разброс значений y в любой выборке можно суммарно описать с помощью выборочной дисперсии Var(y).
Слайд 29

В парном регрессионном анализе мы пытаемся объяснить поведение y путем определения

В парном регрессионном анализе мы пытаемся объяснить поведение y путем определения

регрессионной зависимости y от соответственно выбранной независимой переменной x.
После построения уравнения регрессии мы можем разбить значение yi в каждом наблюдении на две составляющих -
Слайд 30

Это то значение, которое имел бы y при условии, что уравнение

Это то значение, которое имел бы y при условии, что

уравнение регрессии было бы правильным, и отсутствии случайного фактора.
Величина y спрогнозированная по значению x в данном наблюдении.
Тогда остаток ei есть расхождение между фактическим и спрогнозированным значениями величины y.
Это та часть y, которую мы не можем объяснить с помощью уравнения регрессии.
Слайд 31

Значит мы можем разложить Var(y) на две части и Var(e) - "необъяснимую" часть.

Значит мы можем разложить Var(y) на две части

и Var(e) - "необъяснимую"

часть.
Слайд 32

Это коэффициент детерминации Максимальное значение коэффициента R2 равно единице. Это происходит

Это коэффициент детерминации
Максимальное значение коэффициента R2 равно единице. Это происходит

в том случае, когда линия регрессии точно соответствует всем наблюдениям
Слайд 33

Если в выборке отсутствует видимая связь между y и x, то

Если в выборке отсутствует видимая связь между y и x, то

коэффициент R2 будет близок к нулю.
При прочих равных условиях желательно, чтобы коэффициент R2 был как можно больше.
В частности, мы заинтересованы в таком выборе коэффициентов a и b, чтобы максимизировать R2
Слайд 34

Принцип минимизации суммы квадратов остатков эквивалентен минимизации дисперсии остатков. Однако, если

Принцип минимизации суммы квадратов остатков эквивалентен минимизации дисперсии остатков.
Однако, если

мы минимизируем Var(e), то при этом в соответствии с
R2=1-Var(e)/Var(y) автоматически максимизируется коэффициент R2.
Слайд 35

Пример вычисления коэффициента R2 R2=1,5000/1,5556=0,96

Пример вычисления коэффициента R2

R2=1,5000/1,5556=0,96

Слайд 36

Общая сумма квадратов TSS – сумма квадратов отклонений y от своего

Общая сумма квадратов TSS – сумма квадратов отклонений y от своего

среднего значения
Объясненная сумма квадратов (ESS) отклонений – сумма квадратов отклонений a+bx от выборочного среднего.
Необъясненная (остаточная) сумма квадратов отклонений (RSS) – сумма квадратов остатков всех наблюдений.
Слайд 37

Другая формула для коэффициента детерминации

Другая формула для коэффициента детерминации

Слайд 38

То есть коэффициент детерминации равен квадрату выборочной корреляции между y и

То есть коэффициент детерминации равен квадрату выборочной корреляции между y и

a+bx

Связь между коэффициентом детерминации и коэффициентом корреляции