Сеть Кохонена

Содержание

Слайд 2

Сеть с самоорганизацией на основе конкуренции Модификация весов по правилу Кохонена.

Сеть с самоорганизацией на основе конкуренции

Модификация весов по правилу Кохонена.

Адаптируются только

веса, лежащие в некоторой окрестности нейрона-победителя.
Слайд 3

Меры расстояния между векторами евклидова мера: Манхэттен: мера относительно нормы L∞:

Меры расстояния между векторами

евклидова мера:

Манхэттен:

мера относительно нормы L∞:

Слайд 4

Нормализация векторов Способы нормализации: 1. 2. Увеличение размерности пространства на одну

Нормализация векторов
Способы нормализации:
1.
2. Увеличение размерности пространства на одну координату, чтобы:

Необходимость

в нормализации при небольшой размерности входных векторов.
При N>200 эффект от нормализации уменьшается.
Слайд 5

Общий смысл обучения

Общий смысл обучения

Слайд 6

Инициализация весов 1. Инициализация случайным образом (с нормализацией). 2. Метод выпуклой

Инициализация весов

1. Инициализация случайным образом (с нормализацией).
2. Метод выпуклой комбинации:
3. Добавление

шума к входным векторам.
Слайд 7

Проблема мертвых нейронов 1. Начальная адаптация всех весов. 2. Учет активности

Проблема мертвых нейронов

1. Начальная адаптация всех весов.
2. Учет активности нейрона («чувство

справедливости»)
- контролирование частоты выигрыша каждого нейрона;
- вычисление потенциала нейронов:
- модификация расстояния между входным вектором и вектором весов:
Слайд 8

Алгоритмы обучения 1. WTA с учетом активности нейронов (CWTA): 2. WTM

Алгоритмы обучения

1. WTA с учетом активности нейронов (CWTA):
2. WTM (Winner takes

most):
а) классический алгоритм Кохонена:
- функция G определяет прямоугольную окрестность;
- соседство гауссовского типа:
б) алгоритм нейронного газа:
Сортировка векторов весов по расстояниям до входного
вектора;
, где m(i) - номер нейрона i в полученной
перестановке по расстояниям.
Слайд 9

Сравнение алгоритмов обучения 1. CWTA. 2. WTM - нейронный газ. 3. Классический алгоритм Кохонена.

Сравнение алгоритмов обучения

1. CWTA.
2. WTM - нейронный газ.
3. Классический алгоритм Кохонена.

Слайд 10

Применение сети Кохонена 1. Компрессия данных. Кадр разбивается на части (входные

Применение сети Кохонена

1. Компрессия данных.
Кадр разбивается на части (входные вектора).

Каждой части сопоставляется нейрон-победитель.
Степень компресии изображений: 16.
2. Диагностирование неисправностей.
3. Визуализация многомерной информации.
Слайд 11

Визуализация многомерной информации Двумерная топографическая карта набора трехмерных данных. Каждая точка

Визуализация многомерной информации

Двумерная топографическая карта набора трехмерных данных.
Каждая точка в

трехмерном пространстве попадает в свою ячейку сетки имеющую координату ближайшего к ней нейрона из двумерной карты.

Свойство локальной близости: близкие на карте области близки в исходном пространстве. Наоборот в общем случае не верно.

Раскраска по i-му признаку.
Карты всех признаков образуют топографический атлас.

Слайд 12

Визуализация деятельности российских банков Исходные данные. 1800 банков. Каждый банк описывается

Визуализация деятельности российских банков

Исходные данные.
1800 банков.
Каждый банк описывается

30 финансовыми показателями.
Задача
Построить 2 обобщенных параметра, представляющие данные о банках с минимальной потерей информации.
Слайд 13

Метод решения: карта Кохонена Входной слой: 30 нейронов. Выходной слой: плоскость

Метод решения: карта Кохонена

Входной слой: 30 нейронов.
Выходной слой: плоскость 20х20 нейронов.

Ячейки,

содержащие хотя бы один банк с отозванной лицензией.
Слайд 14

Анализ карт Кохонена

Анализ карт Кохонена