Дискриминантный анализ

Цели

В каких случаях применяется дискриминантный анализ
Как применить дискриминантный анализ
Как интерпретировать результаты

Выбор метода прогнозирования

Выбор метода прогнозирования

Простая линейная регрессия

Выбор метода прогнозирования

Множественная
линейная регрессия

Выбор метода прогнозирования

Дискри-минантный анализ

Шкалы наименований

Мы уже знаем, что можно использовать дихотомические шкалы.
А что делать,

Дискриминантный анализ

Альтернатива множественного регрессионного анализа для случая, когда зависимая переменная качественная

Дискриминантный анализ

Основная цель:
Выявление структуры исследуемого множества объектов
(структура – набор основных факторов

Основная задача

По значениям дискриминантных переменных для объектов получить значения классифицирующей переменной,

Основная задача

На основании некоторых признаков (независимых переменных) объект или индивидуум может

Ограничения

В случае дискриминантного анализа предполагается, что
зависимая переменная одна и представлена

Представление данных

Основная идея

Дискриминантная функция
z=b1⋅x1+b2⋅x2+b3⋅x3+…+bn⋅xn+b0

Основная идея

Наша цель:
Определить коэффициенты b, чтобы по значениям дискриминантной функции

Пример для двух групп

Основная идея

Строим дискриминантную функцию
z=b1⋅x1+b2⋅x2+b3⋅x3+…+bn⋅xn+b0,
такую, что разница между средними значениями z1 и

Основная идея

⏐z1 - z2⏐ ⇒максимум

Фишер показал, что
b=S-1⋅(x1-x2),
где S – ковариационная

Основная идея

Классификация происходит посредством определения величины zГР
zГР = (z1 -

Основная идея

Предположив, что z1 – большее их двух средних, получаем правило:
Случай

Основная идея

z1 и z2 называются центроидами групп

Пример для двух групп

Данные
GENDER – пол испытуемого;
EDUC – образование испытуемого (количество

Пример для двух групп

Данные
SAL_BEG – начальная зарплата на этой работе;
JTIME

Пример для двух групп

Попробуем предсказать, принадлежит ли человек к национальному меньшинству

Пример для двух групп

Что мы получим в результате применения дискриминантного анализа?
Как

Модуль дискриминантного анализа

Discriminant Analysis
Statistics ⇒
Multivariate Exploratory Techniques ⇒
Discriminant Analysis

Модуль дискриминантного анализа

Модуль дискриминантного анализа

Модуль дискриминантного анализа

Получаем результаты (Quick):

Анализ переменных, использующихся в модели

Variables in the Model:

Лямбда Уилкса для модели с исключенной данной переменной.

Variables in the Model:

Эта лямбда связана с вкладом данной переменной в

Variables in the Model:

Статистика дисперсионного анализа, показывающая вклад данной переменной в

Variables in the Model:

Толерантность – измеряет избыточность данной переменной.

Толерантность 0,34

Результаты анализа (Advanced)

Расстояния между группами

Distances between groups

Расстояние Махаланобиса между группами

Distances between groups

Значение дисперсионного анализа и соответствующий уровень значимости для оценки

Результаты анализа (Advanced)

Канонический анализ и графики

Canonical Analysis:

Canonical Analysis (Advanced):

Canonical Analysis (Advanced):

Коэффициенты дискриминантной функции

Canonical Analysis (Advanced):

z=0,043*educ+0,044*salary+
+0,030*sal_beg-2,605

Canonical Analysis (Advanced):

z=0,124*educ+0,720*salary+
+0,230*sal_beg

Canonical Analysis (Advanced):

Canonical Analysis (Advanced):

Корреляция переменных с дискриминантной фукцией

Canonical Analysis (Advanced):

Центроиды групп
(ненормированные)

Canonical Analysis (Advanced):

zГР=(0,096-0,342)/2

Пример для двух групп

zГР=(0,096-0,342)/2 = -0,123

-0,123

цветной

белый

Canonical Analysis (Canonical Scores):

Значения дискриминантной функции для каждого случая

Canonical Analysis (Canonical Scores):

Результаты анализа (Classification):

Функции
классификации

Результаты анализа (Classification):

Значения этих функций вычисляются для каждой группы и служат

Результаты анализа(Classification):

Априорные вероятности попасть к данную группу (по умолчанию вычисляются исходя

Результаты анализа:

Это очень полезная матрица!

Результаты анализа (Classification):

Очень важный показатель! Процент правильно предсказанных значений

Результаты анализа (Classification):

Результаты анализа (Classification):

Результаты анализа (Classification):

Пример для двух групп

Пример для трех групп

Посмотрим, можем ли мы предсказать, на какой должности

Пример для трех групп

В этом случае одной дискриминантной функцией не обойдешься!
Их

Пример для трех групп

Группа 2

Группа 1

Группа 3

Пример для трех групп

Пример для трех групп

Пример для трех групп

Пример для трех групп

Пример для трех групп

Теперь можно посмотреть красивый график

Пример для трех групп

Пример для трех групп

Результаты анализа

Мы можем
оценить, насколько НП определяют ЗП (т.е оценить нашу модель)
делать

Как делать прогноз?

Как делать прогноз?

Как делать прогноз?

Пример (реальный)

Проект: Можно ли предсказать тип преступника (насильственный, корыстный или корыстно-насильственный)

Пример

1) дискриминантный анализ по всем переменным.
2) прямой пошаговый дискриминантный анализ.
Получились

Пример (результаты)

Пример (результаты)

Пример (результаты –гм!)

Пример (результаты –гм!)

Пример (результаты –гм!)

Пример (результаты –гм!)

Пример

Пример

Полезная литература

ПРОГРАММА STATISTICA
Боровиков В. Программа STATISTICA для студентов и инженеров. -

К практическому занятию по регрессионному анализу надо прочитать:
Нестеренко А.И. и др.