Снижение размерности признакового пространства методом главных компонент

Основные приложения

Dimensionality reduction Снижение размерности данных при сохранении всей или большей части

Анализ заемщиков банка

Задача : Проанализировать заемщиков банка на основе различных данных

Личные данные
Семейное положение
Образование
Финансовое состояние
Имущество
Кредитная история
…

Данные могут быть:

Пример: Give Me Some Credit*

* https://www.kaggle.com/c/GiveMeSomeCredit

Признаки

Возобновляемое использование необеспеченных линий
Возраст
Количество просроченных дней 30-59
Коэффициент задолженности
Ежемесячный доход
Количество открытых

Пример: Give Me Some Credit*

* https://www.kaggle.com/c/GiveMeSomeCredit

Задача снижения размерности

Представить набор данных меньшим числом признаков таким образом, чтобы

Principal Component Analysis (PCA)

Данные заданы матрицей размерности n×m, где и ,

PCA в SAS Studio

PCA в SAS Studio

Principal Component Analysis

Обозначим за C (m×m) матрицу ковариаций признаков матрицы X:
В

Principal Component Analysis

Вариация i-го признака:
Общая вариация данных:
Задача:

Матрица C симметричная и положительно определена. Имеет место равенство:

Principal Component Analysis

Principal Component Analysis

Главные компоненты:
Доля объясненной вариации:

Доля объясненной вариации

Доля объясненной вариации

Интерпретация главных факторов

Интерпретация главных факторов

Исходя из структуры матрицы факторных нагрузок, можно предложить следующую

Интерпретация главных факторов

Singular value decomposition

Данные заданы матрицей размерности n×m, где и , n

Выбор числа k главных факторов

Общая дисперсия данных:
Доля объясненной дисперсии:
Хорошим значением считается

Задания

Воспроизведите программный код, представленный в файле Сем 3_PCA.doc
Воспроизведите вычисления,

PCA в SAS Studio (задание 1)

PCA в SAS Studio

PCA в SAS Studio

PCA в SAS Studio