F-критерий. Группы объясняющих переменных (регрессоры)

Содержание

Слайд 2

2 Например, в исходной спецификации, Y может быть записана как простая

2

Например, в исходной спецификации, Y может быть записана как простая функция

X2. Во втором случае мы добавим X3 и X4.

F-критерий. Группы объясняющих переменных (регрессоры).

Слайд 3

3 Нулевая гипотеза состоит в том, что ни X3, ни X4

3

Нулевая гипотеза состоит в том, что ни X3, ни X4 не

принадлежат модели. Альтернативная гипотеза состоит в том, что хотя бы один из них принадлежит модели, а возможно, даже оба.

F-критерий. Группы объясняющих переменных (регрессоры).

Слайд 4

4 Когда к модели добавляются новые переменные, RSS не может повышаться.

4

Когда к модели добавляются новые переменные, RSS не может повышаться. В

общем, он будет уменьшаться. Если новые переменные неактуальны, они уменьшатся только на случайную величину. Тест оценивает, будет ли уменьшение в RSS больше, чем можно было бы ожидать на основе чистой случайности.

F-критерий. Группы объясняющих переменных (регрессоры).

Слайд 5

5 Соответствующим тестом является F-критерий. При рассмотрении этого критерия (теста) и

5

Соответствующим тестом является F-критерий. При рассмотрении этого критерия (теста) и для

нескольких других, с которыми мы столкнемся, полезно подумать о статистике F как о структуре, указанной выше.

F-критерий. Группы объясняющих переменных (регрессоры).

F (стоимость в с.с., dоставшиеся с.с.) =

уменьшение в RSS

стоимость в с.с.

Оставшаяся RSS

Оставшиеся степени свободы

Слайд 6

6 «Уменьшение (сокращение) в RSS» - это сокращение при внесении изменений,

6

«Уменьшение (сокращение) в RSS» - это сокращение при внесении изменений, в

этом случае, когда добавляется группа новых переменных.

F-критерий. Группы объясняющих переменных (регрессоры).

F (cost in d.f., d.f. remaining) =

reduction in RSS

cost in d.f.

RSS remaining

degrees of freedom
remaining

Слайд 7

7 «Стоимость в с.с.» - это сокращение числа степеней свободы, оставшихся

7

«Стоимость в с.с.» - это сокращение числа степеней свободы, оставшихся после

внесения изменений. В данном случае он равен числу добавленных новых переменных.

F-критерий. Группы объясняющих переменных (регрессоры).

F (cost in d.f., d.f. remaining) =

reduction in RSS

cost in d.f.

RSS remaining

degrees of freedom
remaining

Слайд 8

8 (Помните, что число степеней свободы в уравнении регрессии - это

8

(Помните, что число степеней свободы в уравнении регрессии - это количество

наблюдений, меньшее, чем количество оцениваемых параметров. В этом примере он будет падать с n - 2 на n - 4, когда добавляются X3 and X4 , поэтому стоимость будет равна 2.)

F-критерий. Группы объясняющих переменных (регрессоры).

F (cost in d.f., d.f. remaining) =

reduction in RSS

cost in d.f.

RSS remaining

degrees of freedom
remaining

Слайд 9

9 «Остаток RSS» - это остаточная сумма квадратов после внесения изменений.

9

«Остаток RSS» - это остаточная сумма квадратов после внесения изменений.

F-критерий. Группы

объясняющих переменных (регрессоры).

F (cost in d.f., d.f. remaining) =

reduction in RSS

cost in d.f.

RSS remaining

degrees of freedom
remaining

Слайд 10

10 «Степени свободы» - это количество степеней свободы, оставшихся после внесения

10

«Степени свободы» - это количество степеней свободы, оставшихся после внесения изменений.

F-критерий.

Группы объясняющих переменных (регрессоры).

F (cost in d.f., d.f. remaining) =

reduction in RSS

cost in d.f.

RSS remaining

degrees of freedom
remaining

Слайд 11

. reg S ASVABC ---------------------------------------------------------------------------- Source | SS df MS Number

. reg S ASVABC
----------------------------------------------------------------------------
Source | SS df MS Number of

obs = 500
-----------+------------------------------ F( 1, 498) = 182.56
Model | 1006.99534 1 1006.99534 Prob > F = 0.0000
Residual | 2747.02666 498 5.5161178 R-squared = 0.2682
-----------+------------------------------ Adj R-squared = 0.2668
Total | 3754.022 499 7.52309018 Root MSE = 2.3486
----------------------------------------------------------------------------
S | Coef. Std. Err. t P>|t| [95% Conf. Interval]
-----------+----------------------------------------------------------------
ASVABC | 1.580901 .1170059 13.51 0.000 1.351015 1.810787
_cons | 14.43677 .1097335 131.56 0.000 14.22117 14.65237
----------------------------------------------------------------------------

11

Мы проиллюстрируем этот тест примером образования. Здесь S регрессируется на ASVABC с использованием набора данных 21. Мы отмечаем остаточную сумму квадратов.

F-критерий. Группы объясняющих переменных (регрессоры).

Слайд 12

. reg S ASVABC SM SF ---------------------------------------------------------------------------- Source | SS df

. reg S ASVABC SM SF
----------------------------------------------------------------------------
Source | SS df MS

Number of obs = 500
-----------+------------------------------ F( 3, 496) = 81.06
Model | 1235.0519 3 411.683966 Prob > F = 0.0000
Residual | 2518.9701 496 5.07856875 R-squared = 0.3290
-----------+------------------------------ Adj R-squared = 0.3249
Total | 3754.022 499 7.52309018 Root MSE = 2.2536
----------------------------------------------------------------------------
S | Coef. Std. Err. t P>|t| [95% Conf. Interval]
-----------+----------------------------------------------------------------
ASVABC | 1.242527 .123587 10.05 0.000 .999708 1.485345
SM | .091353 .0459299 1.99 0.047 .0011119 .1815941
SF | .2028911 .0425117 4.77 0.000 .1193658 .2864163
_cons | 10.59674 .6142778 17.25 0.000 9.389834 11.80365
----------------------------------------------------------------------------

12

F-тест показывает, что SF имеет очень значительный коэффициент.
Мы отмечаем RSS.

F-критерий. Группы объясняющих переменных (регрессоры).

Слайд 13

F (cost in d.f., d.f. remaining) = reduction in RSS cost

F (cost in d.f., d.f. remaining) =

reduction in RSS

cost in d.f.

RSS

remaining

degrees of freedom
remaining

13

F-критерий. Группы объясняющих переменных (регрессоры).

При добавлении родительских переменных уменьшается остаточная сумма квадратов.

Слайд 14

F (cost in d.f., d.f. remaining) = reduction in RSS cost

F (cost in d.f., d.f. remaining) =

reduction in RSS

cost in d.f.

RSS

remaining

degrees of freedom
remaining

14

F-критерий. Группы объясняющих переменных (регрессоры).

Стоимость - 2 степени свободы, потому что были оценены 2 дополнительных параметра.

Слайд 15

F (cost in d.f., d.f. remaining) = reduction in RSS cost

F (cost in d.f., d.f. remaining) =

reduction in RSS

cost in d.f.

RSS

remaining

degrees of freedom
remaining

15

F-критерий. Группы объясняющих переменных (регрессоры).

Остальные необъяснимые - это остаточная сумма квадратов после добавления SM и SF.

Слайд 16

F (cost in d.f., d.f. remaining) = reduction in RSS cost

F (cost in d.f., d.f. remaining) =

reduction in RSS

cost in d.f.

RSS

remaining

degrees of freedom
remaining

16

F-критерий. Группы объясняющих переменных (регрессоры).

Число оставшихся степеней свободы равно n - k, т. е. 540 - 4 = 536.

Слайд 17

17 F-критерий. Группы объясняющих переменных (регрессоры). F – статистика - 22.45.

17

F-критерий. Группы объясняющих переменных (регрессоры).

F – статистика - 22.45.

F (cost in

d.f., d.f. remaining) =

reduction in RSS

cost in d.f.

RSS remaining

degrees of freedom
remaining

Слайд 18

18 Критическое значение F (2,500) на уровне 0,1% составляет 7,00. Критическое

18

Критическое значение F (2,500) на уровне 0,1% составляет 7,00. Критическое значение

F (2 496) должно быть очень близким, поэтому мы отвергаем H0 и делаем вывод, что переменные родительского образования имеют значительную совместную объяснительную силу.

F-критерий. Группы объясняющих переменных (регрессоры).

F (cost in d.f., d.f. remaining) =

reduction in RSS

cost in d.f.

RSS remaining

degrees of freedom
remaining

Слайд 19

19 Эта последовательность завершится, показывая, что t-тесты эквивалентны маргинальным F-тестам, когда

19

Эта последовательность завершится, показывая, что t-тесты эквивалентны маргинальным F-тестам, когда дополнительная

группа переменных состоит из одной переменной.

F-критерий(тест). Группы объясняющих переменных (регрессоры).

Слайд 20

20 Предположим, что в исходной модели Y является функцией X2 и

20

Предположим, что в исходной модели Y является функцией X2 и X3

и что в пересмотренной модели X4 добавляется.

F-критерий. Группы объясняющих переменных (регрессоры).

Слайд 21

21 Нулевой гипотезой для F-теста объясняющей силы дополнительной «группы» является то,

21

Нулевой гипотезой для F-теста объясняющей силы дополнительной «группы» является то, что

все новые коэффициенты наклона равны нулю. Конечно, есть только один новый коэффициент наклона, β4.

F-критерий. Группы объясняющих переменных (регрессоры).

Слайд 22

22 Тест F имеет обычную структуру. Мы проиллюстрируем его моделью образования,

22

Тест F имеет обычную структуру. Мы проиллюстрируем его моделью образования, где

S зависит от ASVABC и SM в исходной модели и от SF, а также в пересмотренной модели.

F-критерий. Группы объясняющих переменных (регрессоры).

F (cost in d.f., d.f. remaining) =

reduction in RSS

cost in d.f.

RSS remaining

degrees of freedom
remaining

Слайд 23

23 Вот регрессия S на ASVABC и SM. Запишем остаточную сумму

23

Вот регрессия S на ASVABC и SM. Запишем остаточную сумму квадратов.

F-критерий.

Группы объясняющих переменных (регрессоры).

. reg S ASVABC SM
----------------------------------------------------------------------------
Source | SS df MS Number of obs = 500
-----------+------------------------------ F( 2, 497) = 105.58
Model | 1119.3742 2 559.687101 Prob > F = 0.0000
Residual | 2634.6478 497 5.30110221 R-squared = 0.2982
-----------+------------------------------ Adj R-squared = 0.2954
Total | 3754.022 499 7.52309018 Root MSE = 2.3024
----------------------------------------------------------------------------
S | Coef. Std. Err. t P>|t| [95% Conf. Interval]
-----------+----------------------------------------------------------------
ASVABC | 1.377521 .1229142 11.21 0.000 1.136026 1.619017
SM | .1919575 .0416913 4.60 0.000 .1100445 .2738705
_cons | 11.8925 .5629644 21.12 0.000 10.78642 12.99859
----------------------------------------------------------------------------

Слайд 24

24 Теперь добавим SF и снова запомните остаточную сумму квадратов. F-критерий.

24

Теперь добавим SF и снова запомните остаточную сумму квадратов.

F-критерий. Группы объясняющих

переменных (регрессоры).

. reg S ASVABC SM SF
----------------------------------------------------------------------------
Source | SS df MS Number of obs = 500
-----------+------------------------------ F( 3, 496) = 81.06
Model | 1235.0519 3 411.683966 Prob > F = 0.0000
Residual | 2518.9701 496 5.07856875 R-squared = 0.3290
-----------+------------------------------ Adj R-squared = 0.3249
Total | 3754.022 499 7.52309018 Root MSE = 2.2536
----------------------------------------------------------------------------
S | Coef. Std. Err. t P>|t| [95% Conf. Interval]
-----------+----------------------------------------------------------------
ASVABC | 1.242527 .123587 10.05 0.000 .999708 1.485345
SM | .091353 .0459299 1.99 0.047 .0011119 .1815941
SF | .2028911 .0425117 4.77 0.000 .1193658 .2864163
_cons | 10.59674 .6142778 17.25 0.000 9.389834 11.80365
----------------------------------------------------------------------------

Слайд 25

F (cost in d.f., d.f. remaining) = reduction in RSS cost

F (cost in d.f., d.f. remaining) =

reduction in RSS

cost in d.f.

RSS

remaining

degrees of freedom
remaining

25

Уменьшение остаточной суммы квадратов является уменьшением при добавлении SF.

F-критерий. Группы объясняющих переменных (регрессоры).

Слайд 26

F (cost in d.f., d.f. remaining) = reduction in RSS cost

F (cost in d.f., d.f. remaining) =

reduction in RSS

cost in d.f.

RSS

remaining

degrees of freedom
remaining

26

Стоимость - это только одна степень свободы, потерянная при оценке β4.

F-критерий. Группы объясняющих переменных (регрессоры).

Слайд 27

F (cost in d.f., d.f. remaining) = reduction in RSS cost

F (cost in d.f., d.f. remaining) =

reduction in RSS

cost in d.f.

RSS

remaining

27

Остаток RSS - это остаточная сумма квадратов после добавления SF.

F-критерий. Группы объясняющих переменных (регрессоры).

degrees of freedom
remaining

Слайд 28

F (cost in d.f., d.f. remaining) = reduction in RSS cost

F (cost in d.f., d.f. remaining) =

reduction in RSS

cost in d.f.

RSS

remaining

degrees of freedom
remaining

28

Число степеней свободы, оставшихся после добавления SF, составляет 500-4 = 496.

F-критерий. Группы объясняющих переменных (регрессоры).

Слайд 29

29 Следовательно, F – статистика равна 22.76. F-критерий. Группы объясняющих переменных

29

Следовательно, F – статистика равна 22.76.

F-критерий. Группы объясняющих переменных (регрессоры).

F (cost

in d.f., d.f. remaining) =

reduction in RSS

cost in d.f.

RSS remaining

degrees of freedom
remaining

Слайд 30

30 Критическое значение F при уровне значимости 0,1% с 500 степенями

30

Критическое значение F при уровне значимости 0,1% с 500 степенями свободы

составляет 10,96. Критическое значение с 496 степенями свободы должно быть очень близким, поэтому мы отклоняем H0 на уровне 0,1%.

F-критерий. Группы объясняющих переменных (регрессоры).

F (cost in d.f., d.f. remaining) =

reduction in RSS

cost in d.f.

RSS remaining

degrees of freedom
remaining

Слайд 31

31 Нулевая гипотеза, которую мы тестируем, точно такая же, как для

31

Нулевая гипотеза, которую мы тестируем, точно такая же, как для двухстороннего

t-теста на коэффициент SF.

F-критерий. Группы объясняющих переменных (регрессоры).

F (cost in d.f., d.f. remaining) =

reduction in RSS

cost in d.f.

RSS remaining

degrees of freedom
remaining

Слайд 32

32 Мы выполним t-тест. Статистика t равна 4.77. F-критерий. Группы объясняющих

32

Мы выполним t-тест. Статистика t равна 4.77.

F-критерий. Группы объясняющих переменных (регрессоры).

.

reg S ASVABC SM SF
----------------------------------------------------------------------------
Source | SS df MS Number of obs = 500
-----------+------------------------------ F( 3, 496) = 81.06
Model | 1235.0519 3 411.683966 Prob > F = 0.0000
Residual | 2518.9701 496 5.07856875 R-squared = 0.3290
-----------+------------------------------ Adj R-squared = 0.3249
Total | 3754.022 499 7.52309018 Root MSE = 2.2536
----------------------------------------------------------------------------
S | Coef. Std. Err. t P>|t| [95% Conf. Interval]
-----------+----------------------------------------------------------------
ASVABC | 1.242527 .123587 10.05 0.000 .999708 1.485345
SM | .091353 .0459299 1.99 0.047 .0011119 .1815941
SF | .2028911 .0425117 4.77 0.000 .1193658 .2864163
_cons | 10.59674 .6142778 17.25 0.000 9.389834 11.80365
----------------------------------------------------------------------------
Слайд 33

33 Критическое значение t на уровне 0,1% с 500 степенями свободы

33

Критическое значение t на уровне 0,1% с 500 степенями свободы составляет

3,31. Критическое значение с 496 степенями свободы должно быть очень близко. Поэтому мы снова отвергаем H0.

F-критерий. Группы объясняющих переменных (регрессоры).

. reg S ASVABC SM SF
----------------------------------------------------------------------------
Source | SS df MS Number of obs = 500
-----------+------------------------------ F( 3, 496) = 81.06
Model | 1235.0519 3 411.683966 Prob > F = 0.0000
Residual | 2518.9701 496 5.07856875 R-squared = 0.3290
-----------+------------------------------ Adj R-squared = 0.3249
Total | 3754.022 499 7.52309018 Root MSE = 2.2536
----------------------------------------------------------------------------
S | Coef. Std. Err. t P>|t| [95% Conf. Interval]
-----------+----------------------------------------------------------------
ASVABC | 1.242527 .123587 10.05 0.000 .999708 1.485345
SM | .091353 .0459299 1.99 0.047 .0011119 .1815941
SF | .2028911 .0425117 4.77 0.000 .1193658 .2864163
_cons | 10.59674 .6142778 17.25 0.000 9.389834 11.80365
----------------------------------------------------------------------------

Слайд 34

34 Можно показать, что F-статистика для F-теста объясняющей силы «группы» одной

34

Можно показать, что F-статистика для F-теста объясняющей силы «группы» одной переменной

должна быть равна квадрату t-статистики для этой переменной. (Разница в последней цифре связана с ошибкой округления).

F-критерий. Группы объясняющих переменных (регрессоры).

. reg S ASVABC SM SF
----------------------------------------------------------------------------
Source | SS df MS Number of obs = 500
-----------+------------------------------ F( 3, 496) = 81.06
Model | 1235.0519 3 411.683966 Prob > F = 0.0000
Residual | 2518.9701 496 5.07856875 R-squared = 0.3290
-----------+------------------------------ Adj R-squared = 0.3249
Total | 3754.022 499 7.52309018 Root MSE = 2.2536
----------------------------------------------------------------------------
S | Coef. Std. Err. t P>|t| [95% Conf. Interval]
-----------+----------------------------------------------------------------
ASVABC | 1.242527 .123587 10.05 0.000 .999708 1.485345
SM | .091353 .0459299 1.99 0.047 .0011119 .1815941
SF | .2028911 .0425117 4.77 0.000 .1193658 .2864163
_cons | 10.59674 .6142778 17.25 0.000 9.389834 11.80365
----------------------------------------------------------------------------

Слайд 35

35 Можно также показать, что критическое значение F должно быть равно

35

Можно также показать, что критическое значение F должно быть равно квадрату

критического значения t. (Критические значения приведены для 500 степеней свободы, но это также должно быть справедливо для 536 степеней свободы.)

F-критерий. Группы объясняющих переменных (регрессоры).

. reg S ASVABC SM SF
----------------------------------------------------------------------------
Source | SS df MS Number of obs = 500
-----------+------------------------------ F( 3, 496) = 81.06
Model | 1235.0519 3 411.683966 Prob > F = 0.0000
Residual | 2518.9701 496 5.07856875 R-squared = 0.3290
-----------+------------------------------ Adj R-squared = 0.3249
Total | 3754.022 499 7.52309018 Root MSE = 2.2536
----------------------------------------------------------------------------
S | Coef. Std. Err. t P>|t| [95% Conf. Interval]
-----------+----------------------------------------------------------------
ASVABC | 1.242527 .123587 10.05 0.000 .999708 1.485345
SM | .091353 .0459299 1.99 0.047 .0011119 .1815941
SF | .2028911 .0425117 4.77 0.000 .1193658 .2864163
_cons | 10.59674 .6142778 17.25 0.000 9.389834 11.80365
----------------------------------------------------------------------------

Слайд 36

36 Следовательно, выводы двух тестов должны совпадать. F-критерий. Группы объясняющих переменных

36

Следовательно, выводы двух тестов должны совпадать.

F-критерий. Группы объясняющих переменных (регрессоры).

. reg

S ASVABC SM SF
----------------------------------------------------------------------------
Source | SS df MS Number of obs = 500
-----------+------------------------------ F( 3, 496) = 81.06
Model | 1235.0519 3 411.683966 Prob > F = 0.0000
Residual | 2518.9701 496 5.07856875 R-squared = 0.3290
-----------+------------------------------ Adj R-squared = 0.3249
Total | 3754.022 499 7.52309018 Root MSE = 2.2536
----------------------------------------------------------------------------
S | Coef. Std. Err. t P>|t| [95% Conf. Interval]
-----------+----------------------------------------------------------------
ASVABC | 1.242527 .123587 10.05 0.000 .999708 1.485345
SM | .091353 .0459299 1.99 0.047 .0011119 .1815941
SF | .2028911 .0425117 4.77 0.000 .1193658 .2864163
_cons | 10.59674 .6142778 17.25 0.000 9.389834 11.80365
----------------------------------------------------------------------------
Слайд 37

37 Этот результат означает, что t-критерий коэффициента переменной является проверкой его

37

Этот результат означает, что t-критерий коэффициента переменной является проверкой его предельной

объяснительной силы, после того как все остальные переменные были включены в уравнение.

F-критерий. Группы объясняющих переменных (регрессоры).

. reg S ASVABC SM SF
----------------------------------------------------------------------------
Source | SS df MS Number of obs = 500
-----------+------------------------------ F( 3, 496) = 81.06
Model | 1235.0519 3 411.683966 Prob > F = 0.0000
Residual | 2518.9701 496 5.07856875 R-squared = 0.3290
-----------+------------------------------ Adj R-squared = 0.3249
Total | 3754.022 499 7.52309018 Root MSE = 2.2536
----------------------------------------------------------------------------
S | Coef. Std. Err. t P>|t| [95% Conf. Interval]
-----------+----------------------------------------------------------------
ASVABC | 1.242527 .123587 10.05 0.000 .999708 1.485345
SM | .091353 .0459299 1.99 0.047 .0011119 .1815941
SF | .2028911 .0425117 4.77 0.000 .1193658 .2864163
_cons | 10.59674 .6142778 17.25 0.000 9.389834 11.80365
----------------------------------------------------------------------------

Слайд 38

38 Если переменная коррелирована с одной или несколькими другими переменными, ее

38

Если переменная коррелирована с одной или несколькими другими переменными, ее предельная

объяснительная мощность может быть довольно низкой, даже если она действительно принадлежит модели.

F-критерий. Группы объясняющих переменных (регрессоры).

. reg S ASVABC SM SF
----------------------------------------------------------------------------
Source | SS df MS Number of obs = 500
-----------+------------------------------ F( 3, 496) = 81.06
Model | 1235.0519 3 411.683966 Prob > F = 0.0000
Residual | 2518.9701 496 5.07856875 R-squared = 0.3290
-----------+------------------------------ Adj R-squared = 0.3249
Total | 3754.022 499 7.52309018 Root MSE = 2.2536
----------------------------------------------------------------------------
S | Coef. Std. Err. t P>|t| [95% Conf. Interval]
-----------+----------------------------------------------------------------
ASVABC | 1.242527 .123587 10.05 0.000 .999708 1.485345
SM | .091353 .0459299 1.99 0.047 .0011119 .1815941
SF | .2028911 .0425117 4.77 0.000 .1193658 .2864163
_cons | 10.59674 .6142778 17.25 0.000 9.389834 11.80365
----------------------------------------------------------------------------

Слайд 39

39 Если все переменные коррелированы, все они могут иметь низкую предельную

39

Если все переменные коррелированы, все они могут иметь низкую предельную объяснительную

мощность, и ни один из t-критериев не будет значительным, даже несмотря на то, что тест F для их совместной объяснительной мощности очень значителен.

F-критерий. Группы объясняющих переменных (регрессоры).

. reg S ASVABC SM SF
----------------------------------------------------------------------------
Source | SS df MS Number of obs = 500
-----------+------------------------------ F( 3, 496) = 81.06
Model | 1235.0519 3 411.683966 Prob > F = 0.0000
Residual | 2518.9701 496 5.07856875 R-squared = 0.3290
-----------+------------------------------ Adj R-squared = 0.3249
Total | 3754.022 499 7.52309018 Root MSE = 2.2536
----------------------------------------------------------------------------
S | Coef. Std. Err. t P>|t| [95% Conf. Interval]
-----------+----------------------------------------------------------------
ASVABC | 1.242527 .123587 10.05 0.000 .999708 1.485345
SM | .091353 .0459299 1.99 0.047 .0011119 .1815941
SF | .2028911 .0425117 4.77 0.000 .1193658 .2864163
_cons | 10.59674 .6142778 17.25 0.000 9.389834 11.80365
----------------------------------------------------------------------------