Занятие 9 Основы многомерных методов анализа. Факторный анализ.

–
Многофакторная ANOVA
Множественная регрессия

Много зависимых переменных (или переменных, которые нельзя разделить на зависимые и независимые) –
multivariate analyses

В массиве данных n объектов, для каждого измерено p переменных.

тестирование гипотез, надо чтобы данные соответствовали многомерному нормальному распределению.

Его «центр» - центроид (в одномерном - среднее значение).
Как оценить разброс в нём? (в одномерном – суммы квадратов и дисперсия).

У нас есть: 1) изменчивость внутри каждой переменной; 2) взаимозависимость переменных.

Как же работать с этими разными изменчивостями?

– матрица исходных данных (Y).

Clevenger & Waltho изучали, сколько раз и как (на велосипеде-верхои-пешком) люди переходят дорогу в заповеднике на разных 11 переходах.

SSCP)

Матрица дисперсий и ковариаций (covariances, C) – предыдущая матрица, где все элементы поделили на число степеней свободы (n-1).
Сумма элементов её диагонали – сумма дисперсии.

матрице каждый элемент поделить на его стандартное отклонение.

На главной диагонали – единицы, все остальные элементы – коэффициенты корреляции

переменных, так, что общая изменчивость по-новому распределяется между ними.

Для каждого i-го (от 1 до n) объекта и p исходных переменных можно рассчитать значение новой k-той переменной как

Здесь y – значения исходных переменных для данного объекта, с – коэффициенты, показывающие величину вклада данной исходной переменной в новую переменную. В некоторых моделях добавляют ещё константу - intercept

Новые переменные называются дискриминантными функциями, каноническими функциями, главными компонентами (principal components) или факторами (в зависимости от типа анализа). Линейная комбинация аналогична уравнению линейной регрессии.

переменных, вторая – максимум оставшейся изменчивости, и.т.д., но так, чтобы новые переменные не коррелировали друг с другом. Так можно получить р новых переменных, но большая часть дисперсии должна сосредоточиться в нескольких первых.

Собственное значение ( ) = eigenvalue – показатель того, какая доля общей изменчивости приходится на компоненту. Это популяционные параметры, у них есть выборочные оценки – l
Их сумма = сумме дисперсий (если мы их строим на основе матрицы ковариаций), или = числу исходных переменных (для матрицы корреляций).
Собственный вектор = eigenvector – просто список коэффициентов при исходных переменных для каждой компоненты.

значений для новых переменных

Коэффициенты для новых переменных (столбец = eigenvector)

= компонент. И, например, использовать в дальнейшем анализе.

Мы рассмотрели способ получения компонент (и их значений для объектов) из матриц ковариаций или корреляций (p x p). – R-mode analysis.
Есть другой способ: построить матрицу «корреляций» = «дистанций» между объектами (n x n) в исходных переменных, и из линейных комбинаций объектов рассчитать значения новых компонент, и затем найти eigenvectors - Q-mode analysis.

Разные пути используются в разных типах многомерного анализа, но вообще-то они алгебраически связаны.

расстояния).

Дистанции можно посчитать между объектами с любыми переменными, в т.ч. Качественными и даже бинарными!

отношения между переменными линейными (важно для выделения компонент). Логарифмическая, квадратного корня и пр.
можно предварительно построить картинки и оценить сходство – различие между объектами (лица Чернова, «звёздный» график).
важно избавить от аутлаеров! Многомерные аутлаеры: их можно найти с помощью дистанций Махаланобиса (квадрат расстояния от объекта до центроида).
если переменные измерены в разных шкалах, принципиально использовать матрицу корреляций (не ковариаций) для получения компонент. Если нет – лучше пробовать оба варианта.
пропущенные измерения – не casewise, а pairwise deletion.

объектов.
Наши цели:
Уменьшить число исходных переменных с минимальными потерями исходной информации (что, например, уменьшит эффект множественных сравнений);
Обнаружить скрытые закономерности в данных, которые не выявляются при анализе отдельных переменных, путём помещения в пространство новых переменных (scaling). Например, выявление реальных действующих факторов (причинно-следственных связей), или просто выявление структуры взаимосвязи переменных.

и p переменных. Мы собираемся трансформировать переменные в k (от 1 до p) новых главных компонент = факторов.
Для каждого объекта мы получим значения этих компонент – z-значения.
В анализе – 6 этапов.

данных (напр., логарифмирование некоторых переменных);
Исключение аутлаеров.

Этап 1. Получение eigenvalues для новых компонент

В программе их получают из матрицы корреляций, их сумма = числу переменных. Разумно использовать компоненты, для которых eigenvalues > 1. т.е., число компонент будет меньше числа исходных переменных. Напоминание: они независимы между сбой, т.е., ортогональны.

Этап 2. получение коэффициентов для каждой компоненты.

(Factor Score Coefficients). Они показывают вклад каждой переменной в компоненты. Необязательный этап.

каждой из исходных переменных. Если какие-то переменные почти одинаково коррелируют с несколькими компонентами, можно улучшить структуру компонент:

Этап 4. вращение выбранных компонент для получения более чётких связей с исходными переменными. (чтобы loadings приблизились к 0, 1 или -1). Varimax rotation – самый распространённый и удобный метод.

Этап 5. получение factor loadings после вращения
Рассмотрение корреляций новых, повёрнутых компонент с исходными переменными, понимание их биологического смысла.

Этап 6. получение значений новых переменных для каждого объекта (для дальнейшего анализа.)

вдоль наибольшей дисперсии, т.е., это почти аналог линии линейной регрессии.
Компоненты взаимно перпендикулярны
Компоненты – линейные комбинации исходных переменных
Если исходные переменные не коррелируют между собой, не получится собрать много дисперсии в первых компонентах, т.е., уменьшить их число.
Сколько компонент оставлять? Это решает исследователь так, чтобы обеспечить биологическую интерпретируемость результатов. Нет смысла оставлять компоненты, с которыми не коррелирует сильно ни одна исходная переменная. Правило «eigenvalue =1».

более чёткой структуры переменных. Обычно используют ортогональное вращение – факторы остаются перпендикулярными друг другу. Например, varimax.
Не ортогональное вращение – oblique rotation, у него есть свои поклонники, но этот метод не прост.

Анализ остатков – residuals – имеет смысл посмотреть, насколько много информации мы потеряли при сокращении числа переменных. На основе наших факторов генерируются корреляции между исходными переменными и сравниваются с реальными корреляциями. Если разница где-то велика, мы взяли слишком мало факторов.

типов пищи для каждой особи. Павианы едят разную еду, поэтому типов пищи – 10. особей в анализе – 100.
Но реальных факторов, определяющих эти предпочтения, наверняка меньше.

Мы хотим узнать, сколько (и каких) факторов определяют пищевые предпочтения павианов.

Factor analysis

измеренных нами реальных переменных.
Подразумевается, что таких факторов гораздо меньше, чем исходных переменных.

Factor analysis

безмене, потом на весах с гирьками, потом на электронных кухонных весах.

Потом мы хотим исследовать влияние питания на вес кроликов.
Неужели мы возьмём в анализ все три переменные? Ведь, очевидно, вес кролика – только одна его характеристика, а не три. Скорее всего, мы захотим превратить все переменные в одну.

Factor analysis

факторов.

Примерно так будет проходить новая ось OX – первая компонента.

Factor analysis

привлекательность пищи каждого типа, для каждого зверя. Сколько факторов скрывается за разными предпочтениями павианов в еде?

исключить переменные, слишком сильно коррелирующие с другими)

переменных (иначе матрица не может быть транспонирована: matrix ill-conditioning)

Можно задать min количество дисперсии, которое должен объяснять фактор, чтобы его включили в анализ (обычно min = 1, что соответствует случайной изменчивости одной переменной (критерий Кайзера))

большую часть общей изменчивости (the scree test).

с животной.

После вращения факторов их структура становится более ясной:

Итак, пищевые предпочтения павианов составлены из двух основных факторов – отношением к животной и растительной пище.

другими переменными, мы можем заменить наши 10 переменных на полученных два фактора.

нормальное распределение (оценка – на основе построения гистограмм частот);
Гомогенность дисперсий (для метода главных компонент; не очень критичное требование);
Связь переменных должна быть линейной;
Размер выборки не должен быть меньше 50, оптимальный – ≥100 наблюдений.
Между переменными должна быть ненулевая корреляция, но коэффициентов корреляции, близких единице, тоже быть не должно.

Factor analysis

хотим сравнить группы (из объектов с многими переменными) можно провести MANOVA (это тоже многомерный анализ, но он генерирует только одну переменную), а можно сначала факторный анализ, а потом – однофакторные ANOVA (у второго варианта есть преимущества).
Если мы хотим провести множественный регрессионный анализ, можно сначала сделать факторный анализ для независимых переменных (можно - без сокращения их числа), а потом – регрессионный анализ, убрав проблему скоррелированности исходных переменных.

переменных, то PFA генерирует common factors, объясняющие корреляции между переменными.
Correspondence analysis – для анализа таблиц сопряжённости (большого числа качественных переменных) . Сумма eigenvalues = общей статистике χ2 (называется total intertia).
Canonical correlation analysis – если у нас есть два блока переменных и мы хотим анализировать корреляции между ними. Генерирует пары переменных из этих блоков (canonical variates) так, чтобы между ними была максимальная корреляция.

Другие многомерные методы, близкие анализу главных компонент

communality of a variable is the portion that can be reproduced from the respective number of factors

зависимых переменных из комбинации независимых.
Canonical correspondence analysis – расширенный вариант Correspondence analysis, в котором дополнительно учитывается влияние добавочных количественных переменных.

Другие многомерные методы, близкие анализу главных компонент

На свете много многомерных методов!