Линейная дискриминантная функция Фишера

Сентябрь 3, 2022

Главная
Алгебра
Линейная дискриминантная функция Фишера

Содержание

2. Задача Фишера состоит в построении вырожденного линейного преобразования: y = WT , ║W║ = 1 y
3. Нужно найти такой вектор W, чтобы множества Y1 и Y2 были наиболее разнесены (то есть, удалены
4. Далее проблема состоит в оценке функции разброса: = (y - )2 - разброс внутри класса =
5. Далее идет дело техники: как это вычислить и как оптимизировать. Мы определяем матрицу разброса внутри класса:
6. Таким образом получаем следующий результат: = WT Si W S1 + S2 = SW - суммарная
7. Тогда мы получаем искомый критерий в следующем виде: J( ) = Далее стоит задача оптимизации данного
8. 3. ранг матрицы SB равен единице, это легко показать, если представить ее в виде ddT: d1d1
9. Условная оптимизация по Лагранжу Запишем функцию Лагранжа: F = WT SB W - λ WT SW
10. C( ) = λ SW , отсюда окончательно имеем: = SW-1 ( ) . Так как
11. Мы должны выбрать некоторый порог решения η Правило решения имеет вид XT SW-1( ) = η
13. Скачать презентацию

Слайд 2

Задача Фишера состоит в построении вырожденного линейного преобразования:
y = WT ,

║W║ = 1
y = ║W║║x ║cos( )
фактически это выражение дает нам проекции векторов X на вектор W
У Фишера такое преобразование рассматривается как проекция на ось W: { } → {y} = Y

Слайд 3

Нужно найти такой вектор W, чтобы множества Y1 и Y2 были

наиболее разнесены (то есть, удалены друг от друга).
Критерий разнесения может быть выбран разным.
Исходить будем из следующих параметров: для каждой выборки определим среднее значение:
mi = xi
= yi = WTxi = WT{ x} = WT mi
Далее мы строим | - |:
| - | = WT( ) - это скалярная величина

Слайд 4

Далее проблема состоит в оценке функции разброса:
= (y - )2 -

разброс внутри класса
= + - суммарный разброс
Разброс внутри класса – это нечто вроде дисперсии, только ненормированной.
- средняя дисперсия выборки в Y.

Слайд 5

Далее идет дело техники: как это вычислить и как оптимизировать.
Мы определяем

матрицу разброса внутри класса:
= (WTx - WT mi)2 = WT (x - mi) WT(x - mi) =
= WT (x - mi)(x - mi)T W = WT [ (x - mi)(x - mi)T]W =
=WT Si W
Si – матрица разброса внутри Xi.

Слайд 6

Таким образом получаем следующий результат:
= WT Si W
S1 + S2

= SW - суммарная матрица разброса для всех результатов.
+ = WT SW W
Таким же образом можно представить ( - )2:
( - )2 = (WT - WT )2 = WT( )WT( ) =
= WT( )( )T W = WT SB W
Матрица SB - матрица разброса между классами

Слайд 7

Тогда мы получаем искомый критерий в следующем виде:
J( ) =
Далее

стоит задача оптимизации данного отношения (мы должны его максимизировать).
Рассмотрим свойства матрицы SB:
SB = ( )( )T
1. это квадратная матрица размерности n × n
2. произведение этой матрицы на произвольный вектор
SB = ( )( )T = С( )
C - скаляр
дает вектор, который по направлению совпадает с разностью
( )

Слайд 8

3. ранг матрицы SB равен единице, это легко показать, если представить

ее в виде ddT:
d1d1 d1d2 ... d1dn
d2d1 d2d2 ... d2dn
. = ( ) .
.
dnd1 dnd2 ... dndn
- матрица вырожденная и ранг ее равен единице.

Слайд 9

Условная оптимизация по Лагранжу
Запишем функцию Лагранжа: F = WT SB

W - λ WT SW W,
где λ -произвольная константа
Эта функция зависит от W
Мы должны найти производную этой функции по вектору :
= 2 SB - 2 λ SW = 0
= 2A - такое правило существует, его легко
доказать
Получаем следующее:
SB W - λ SW W

Слайд 10

C( ) = λ SW , отсюда окончательно имеем:
= SW-1 (

) .
Так как вектор произвольной длины, положим =1, тогда имеем :
= SW-1 ( ).
Соответственно линейный дискриминант Фишера получается в следующем виде:
y = T = XTW = SW-1( ) - это проекция вектора на ось W

Слайд 11