Нелинейная регрессия

Содержание

Слайд 2

Может быть так, что зависимость между переменными нелинейная. Тогда применяем нелинейную регрессию

Может быть так, что зависимость между переменными нелинейная. Тогда применяем нелинейную

регрессию
Слайд 3

Бинарная логистическая регрессия позволяет исследовать зависимость дихотомических зависимых переменных от независимых переменных, имеющих любой вид шкалы

Бинарная логистическая регрессия позволяет исследовать зависимость дихотомических зависимых переменных от

независимых переменных, имеющих любой вид шкалы
Слайд 4

Бинарная логистическая регрессия от дискриминантного анализа отличается тем, что связь между зависимой и независимыми переменными нелинейная

Бинарная логистическая регрессия от дискриминантного анализа отличается тем, что связь

между зависимой и независимыми переменными нелинейная
Слайд 5

Логистическая регрессия Мы говорим о некотором событии, которое может произойти или

Логистическая регрессия

Мы говорим о некотором событии, которое может произойти или

не произойти. В этом случае вероятность наступления события рассматривается в зависимости от значений независимых переменных.
Слайд 6

Математическая модель где z=b1x1+b2x2+ …+bnxn+ b0 p – вероятность наступления события,

Математическая модель

где z=b1x1+b2x2+ …+bnxn+ b0
p – вероятность наступления события, x –

независимые переменные
Если р больше 0.5, то можно предположить, что событие произойдет.
Слайд 7

Математическая модель где z=b1x1+b2x2+ …+bnxn+b0 Наша задача, как всегда, - оценить коэффициенты bi

Математическая модель

где z=b1x1+b2x2+ …+bnxn+b0
Наша задача, как всегда, - оценить
коэффициенты bi

Слайд 8

Математическая модель Зависимость, связывающая вероятность события и величину Z, показана на

Математическая модель

Зависимость, связывающая вероятность события и величину Z, показана на следующей

диаграмме:

Эта зависимость носит нелинейный характер, причем P не может выходить за пределы диапазона 0 — 1

Слайд 9

Математическая модель

Математическая модель

Слайд 10

Логистическая регрессия Находится в модуле Nonlinear Estimation

Логистическая регрессия

Находится в модуле Nonlinear Estimation

Слайд 11

Логистическая регрессия Вот она!

Логистическая регрессия

Вот она!

Слайд 12

Логистическая регрессия Как обычно, надо выбрать переменные

Логистическая регрессия

Как обычно, надо выбрать переменные

Слайд 13

Пример Рассмотрим пример из медицины (Breast cancer survival.sta) Оценим шанс на

Пример

Рассмотрим пример из медицины (Breast cancer survival.sta)
Оценим шанс на выживание

пациентов разного возраста с опухолью различных размеров (две независимые переменные)
Слайд 14

Пример Age – Age (years) Pathsize - Pathologic Tumor Size (cm)

Пример

Age – Age (years)
Pathsize - Pathologic Tumor Size (cm)
Lnpos - Positive

Axillary Lymph Nodes

Status – Censored/Died
Слайд 15

Результаты

Результаты

Слайд 16

Результаты Оценка качества модели

Результаты

Оценка качества модели

Слайд 17

Качество модели Качество приближения регрессионной модели оценивается при помощи функции подобия.

Качество модели

Качество приближения регрессионной модели оценивается при помощи функции подобия. Мерой

правдоподобия служит отрицательное удвоение значения логарифма этой функции - -2LL.
В качестве начального значения для -2LL принимается значение, которое получается для регрессионной модели, содержащей только константу.
Слайд 18

Качество модели Затем в модель добавляют переменные согласно выбранному методу и

Качество модели

Затем в модель добавляют переменные согласно выбранному методу и

вычисляют разность (улучшение качества модели). Разность обозначают как хи-квадрат и вычисляют ее значимость.
Слайд 19

Качество модели Хи-квадрат

Качество модели

Хи-квадрат

Слайд 20

Результаты Коэффициенты b

Результаты

Коэффициенты b

Слайд 21

Регрессионные коэффициенты

Регрессионные коэффициенты

Слайд 22

Результаты Эмпирические, предсказанные значения и остатки

Результаты

Эмпирические, предсказанные значения и остатки

Слайд 23

Результаты

Результаты

Слайд 24

Результаты Матрица классификации

Результаты

Матрица классификации

Слайд 25

Результаты

Результаты

Слайд 26

Результаты Распределение остатков

Результаты

Распределение остатков

Слайд 27

Результаты

Результаты

Слайд 28

Результаты Знакомые нам графики оценки

Результаты

Знакомые нам графики оценки

Слайд 29

А если у меня такая зависимость, какую я сам придумал ?!


А если у меня такая зависимость, какую я сам придумал ?!

Слайд 30

Оценка на экзамене и мотивация так прямо не связаны …


Оценка на экзамене и мотивация так прямо не связаны …

Слайд 31

Тогда применяем нелинейную регрессию, а зависимость может быть задана самим пользователем

Тогда применяем нелинейную регрессию, а зависимость может быть задана самим пользователем

Слайд 32

Пример. Рост населения в США с 1790 по 1960 гг по

Пример. Рост населения в США с 1790 по 1960 гг по

декадам:

Видно, что зависимость тут скорее не линейная, а экспоненциальная. Демографы знают, что лучше всего зависимость роста населения от времени описывается функцией

Слайд 33

Очевидно, что нашей задачей является определение трех коэффициентов - a, b и c.

Очевидно, что нашей задачей является определение трех коэффициентов - a, b

и c.
Слайд 34

Для построения уравнений нелинейной регрессии служит модуль Nonlinear Estimation

Для построения уравнений нелинейной регрессии служит модуль Nonlinear Estimation

Слайд 35

Для построения уравнений нелинейной регрессии служит модуль Nonlinear Estimation Тут набираем

Для построения уравнений нелинейной регрессии служит модуль Nonlinear Estimation

Тут набираем формулу,

которая, по нашему мнению, хорошо описывает полученную зависимость
Слайд 36

Начальные значения для параметров Маленькие (?) хитрости

Начальные значения для параметров

Маленькие (?) хитрости

Слайд 37

Маленькие (?) хитрости

Маленькие (?) хитрости

Слайд 38

Получаем результаты!

Получаем результаты!

Слайд 39

Оценка параметров

Оценка параметров

Слайд 40

Теперь, подставив коэффициенты в исходную формулу мы можем оценить население США

Теперь, подставив коэффициенты в исходную формулу
мы можем оценить население США в

будущем - через 19, 20, 1000 лет…
Слайд 41

Оценка модели Процент объясненной дисперсии

Оценка модели

Процент объясненной дисперсии

Слайд 42

Оценка модели Остатки

Оценка модели

Остатки

Слайд 43

Оценка модели Эмпирические, предсказанные значения и остатки

Оценка модели

Эмпирические, предсказанные значения и остатки

Слайд 44

Оценка модели Гистограмма распределения остатков

Оценка модели

Гистограмма распределения остатков

Слайд 45

Оценка модели Распределение должно быть как можно ближе к нормальному

Оценка модели
Распределение должно быть как можно ближе к нормальному

Слайд 46

Оценка модели Гистограмма распределения остатков Тоже знакомые нам графики

Оценка модели

Гистограмма распределения остатков

Тоже знакомые нам графики

Слайд 47

Оценка модели Эти значения должны лежать вдоль одной прямой

Оценка модели
Эти значения должны лежать вдоль одной прямой

Слайд 48

Оценка модели График эмпирических значений и функции, описывающей модель

Оценка модели

График эмпирических значений и функции, описывающей модель

Слайд 49

Оценка модели

Оценка модели