Многомерный регрессионный анализ. Алгоритмов бейесовского оценивания. Теорема о многомерном условном распределении вероятносте

Содержание

Слайд 2

1. Многомерный регрессионный анализ Основные шаги: 1. Расширенная матрица плана Х0

1. Многомерный регрессионный анализ

Основные шаги:
1. Расширенная матрица плана Х0 совместная для

k1 объясняющих переменных Х и k2 результирующих переменных Y – они обязательно на последнем месте

2

Слайд 3

1. Многомерный регрессионный анализ 2. Из матрицы плана Х0 : а)

1. Многомерный регрессионный анализ

2. Из матрицы плана Х0 :
а) вектор средних

по столбцам для X → и Y →
б) оценка совместной ковариационной матрицы К0, которая состоит из блоков
где Хц, Yц – вектора, центрированные средним, для получения ковариационной матрицы. Использование девиаций Sij (не нормированные величиной п отклонения от среднего как S вместо К0 ).

3

Слайд 4

1. Многомерный регрессионный анализ 3. Характеристики многомерного условного распределения вероятностей: –

1. Многомерный регрессионный анализ

3. Характеристики многомерного условного распределения вероятностей:
– условное математическое

ожидание (линейное уравнение регрессии с многомерным откликом)
с соответствующими размерностями, т.к.
Очевидно что вектора средних – столбцы!

4

Слайд 5

1. Многомерный регрессионный анализ Обычно условное математическое ожидание (линейное уравнение регрессии

1. Многомерный регрессионный анализ

Обычно условное математическое ожидание (линейное уравнение регрессии с

многомерным откликом) приводят к нормальному виду
где
Тогда окончательно его нормальный вид с размерами
с вектором свободных членов

5

Слайд 6

1. Многомерный регрессионный анализ – условная ковариационная матрица К(Y|X) отклика (результирующей

1. Многомерный регрессионный анализ

– условная ковариационная матрица К(Y|X) отклика (результирующей матрицы

переменных Y модели) с размерностями
Здесь - матрица оценок точности смоделированных рядов откликов – по диагонали – дисперсии, недиагональные – ковариации.
Формулы позволяют решить задачу определения оптимальных коэффициентов линейного преобразования одной части в другую с оценкой точности модели преобразования.

6

Слайд 7

1. Многомерный регрессионный анализ Вариант когда известна обратная ковариационная матрица .

1. Многомерный регрессионный анализ

Вариант когда известна обратная ковариационная матрица
.

2 основных подхода:
1. Обратить обратную матрицу и использовать полученные ранее формулы;
2. Воспользоваться теоремой Фробениуса об обращении блочных матриц
Здесь

7

Слайд 8

1. Многомерный регрессионный анализ Вспоминаем, что матрица коэффициентов А и матрица

1. Многомерный регрессионный анализ

Вспоминаем, что матрица коэффициентов А и матрица оценок

KY|X имеют вид
Рассматривая структуру обратной матрицы С0
не сложно заметить, что для коэффициентов в виде «строки» имеем
а в виде «столбца» соответственно

8

Слайд 9

1. Многомерный регрессионный анализ Матрица оценок KY|X из структуры обратной матрицы

1. Многомерный регрессионный анализ

Матрица оценок KY|X
из структуры обратной матрицы С0
есть
Нюанс

нормировки (n и n - k). Целесообразность девиационной матрицы S. Формулы этого вида используются часто.

9

Слайд 10

1. Многомерный регрессионный анализ Формулы получают исходя из следующих соображений: -

1. Многомерный регрессионный анализ

Формулы получают исходя из следующих соображений:
- Для всего

процесса с k рядами получают многомерный закон распределения f(Y, X) (совместный для набора X из k1 рядов и Y из k2 рядов)
-Получаем многомерный закон распределения f(Х) для набора X из k1 факторных переменных.
По теореме Байеса условный закон распределения f(Y|X) для Y при фиксированных (измеренных) рядах X получаем как
Новый закон распределения f(Y|X) имеет главные характеристики: условное математическое ожидание МО(Y|X) и условную ковариационную матрицу KY|X.

10

Слайд 11

1. Многомерный регрессионный анализ Основные частные случаи теоремы: 1. 1 факторная

1. Многомерный регрессионный анализ

Основные частные случаи теоремы:
1. 1 факторная переменная (ряд),

1 результирующая – парный линейный регрессионный анализ
2. Много факторных переменных, 1 результирующая – многомерный (многофакторный) линейный регрессионный анализ с одномерным откликом (1-откликом)
3. Много факторных переменных, много результирующих – многомерный (многофакторный) линейный регрессионный анализ с многомерным откликом (n-откликом)
Известная и важная в геодезии задача трансформации систем координат
имеет:
2 факторные, 2 результирующие переменные – 2-факторный линейный
регрессионный анализ с 2-откликом.
Расчет по девиатам. Девиационная матрица. Коэффициенты – по
условному математическому ожиданию, целевую функцию vTv – по
условной ковариационной матрице

11

Слайд 12

1. Многомерный регрессионный анализ 1 вариант: – 1 фактор, 1 отклик:

1. Многомерный регрессионный анализ

1 вариант: – 1 фактор, 1 отклик:
Характеристики одномерного

условного закона распределения для 1-отклика MO(y|x) = f(x) для процесса с факторной переменной х и результирующей переменной у на последнем месте (х у): имеется выборочная ковариационная матрица
- элементы числа,
Понадобится обратная ковариационная матрица С0

12

Слайд 13

1. Многомерный регрессионный анализ – условное математическое ожидание ( и она

1. Многомерный регрессионный анализ

– условное математическое ожидание ( и она же

линейная форма парной регрессии)
или в нормальном виде
с

13

Слайд 14

1. Многомерный регрессионный анализ – условная дисперсия (ковариационная матрица для 1

1. Многомерный регрессионный анализ

– условная дисперсия (ковариационная матрица для 1 ряда,

дисперсия модели)
Проблема нормировки: что получим умножают на
т.к. два определяемых коэффициента. Если матрица девиат S, то что получат (это [v2]) делят на (n - 2).

14

Слайд 15

1. Многомерный регрессионный анализ Вычисления через прямую К0 и обратную С0

1. Многомерный регрессионный анализ

Вычисления через прямую К0 и обратную С0 ковариационные

матрицы:
- прямая
коэффициенты регрессии
дисперсия модели
Не забыть нормировку t.

15

Слайд 16

1. Многомерный регрессионный анализ - обратная коэффициенты регрессии дисперсия модели Не

1. Многомерный регрессионный анализ

- обратная
коэффициенты регрессии
дисперсия модели
Не забыть нормировку t. Трудоемка

точность коэффициентов.

16

Слайд 17

1. Многомерный регрессионный анализ 2 вариант: 1 отклик, n факторов Теорема

1. Многомерный регрессионный анализ

2 вариант: 1 отклик, n факторов
Теорема о характеристиках

многомерного условного закона распределения для 1-отклика: имеется выборочная ковариационная матрица
для процесса с факторными переменными Х = (х1, х2, …, хk) и результирующей переменной у на последнем месте (Х у). Закон распределения процесса описывается условным многомерным нормальным законом распределения вероятностей характеристиками:

17

Слайд 18

1. Многомерный регрессионный анализ – условным математическим ожиданием (линейной формой множественной

1. Многомерный регрессионный анализ

– условным математическим ожиданием (линейной формой множественной регрессии)
или

в нормальном виде
Здесь а' – вектор-строка, x и y – столбцы.
– условной дисперсией (дисперсией модели)
или

18

Слайд 19

1. Многомерный регрессионный анализ Через обратную матрицу С0 имеем вектор коэффициентов

1. Многомерный регрессионный анализ

Через обратную матрицу С0
имеем вектор коэффициентов в виде

строки и столбца
и дисперсию модели

19