Самоорганизующиеся карты Кохонена

Сентябрь 3, 2022

Главная
Алгебра
Самоорганизующиеся карты Кохонена

Содержание

2. Основаны на конкурентном обучении. Отдельные нейроны выходного слоя соревнуются за право активации, в результате активным оказывается
3. Характеризуются формированием топографических карт (topographic mар) входных образов, в которых пространственное местоположение (т.е. координаты) нейронов решетки
4. Двумерная решетка
5. Все нейроны этой решетки связаны со всеми узлами входного слоя. Эта сеть имеет структуру прямого распространения
6. Алгоритм, ответственный за формирование самоорганизующихся карт, начинается с инициализации синаптических весов сети. Обычно это происходит с
7. Конкуренция (competition). Для каждого входного образа нейроны сети вычисляют относительные значения дискриминантной функции. Эта функция является
8. - входной вектор - вектор синаптических весов l – общее количество нейронов сети Для того чтобы
9. При этом предполагается, что ко всем нейронам применяется некоторое значение насыщения (threshold). Эта величина равна порогу
10. Если использовать индекс i(x) ДЛЯ идентификации того нейрона, который лучше всего соответствует входному сигналу х, то
11. Нейрон-победитель находится в центре топологической окрестности сотрудничающих нейронов. возбужденный нейрон всегда пытается возбудить пространственно близкие к
12. hj,i - топологическая окрестность (topological neighbourhood) с центром в победившем нейроне i, состоящую из множества возбуждаемых
13. Параметр σ называют эффективной шириной (effective width) топологической окрестности. Этот параметр определяет уровень, до которого нейроны
14. σ0 начальное значение величины σ, τ1 – некоторая временная константа При увеличении количества итераций n ширина
15. η – параметр скорости обучения (=0,01) для данного вектора синаптических весов Wj(n) в момент времени n
16. τ2 – некоторая временная константа η0 – некоторое начальное значение Рекомендуемые значения: τ2 = 1000 η0
18. Скачать презентацию

Слайд 2

Основаны на конкурентном обучении. Отдельные нейроны выходного слоя соревнуются за право

активации, в результате активным оказывается один нейрон, называемый победителем (WTA).
Нейроны помещаются в узлах решетки (одно- или двумерной).
Нейроны в ходе конкурентного процесса избирательно настраиваются на различные входные образы (возбудители) или классы входных образов. Положения таким образом настроенных нейронов (т.е. нейронов-победителей) упорядочиваются по отношению друг к другу так, что на решетке создается система координат

Общие положения

Слайд 3

Характеризуются формированием топографических карт (topographic mар) входных образов, в которых пространственное

местоположение (т.е. координаты) нейронов решетки является индикатором встроенных статистических признаков, содержащихся во входных примерах.

Слайд 4

Двумерная решетка

Слайд 5

Все нейроны этой решетки связаны со всеми узлами входного слоя. Эта

сеть имеет структуру прямого распространения с одним вычислительным слоем, состоящим из нейронов, упорядоченных в столбцы и строки.
Каждый из входных слоев, представленных в сети, обычно состоит из локализованной области активности, размещаемой в относительно спокойной области. Расположение и природа такой области обычно варьируется в зависимости от конкретной реализации входного примера. Таким образом, для правильного развития процесса самоорганизации требуется, чтобы все нейроны сети были обеспечены достаточным количеством различных реализаций входных образов.

Слайд 6

Алгоритм, ответственный за формирование самоорганизующихся карт, начинается с инициализации синаптических весов

сети. Обычно это происходит с помощью назначения синаптическим весам малых значений, сформированных генератором случайных чисел. При таком формировании карта признаков изначально не имеет какого-либо порядка признаков.После корректной инициализации сети для формирования карты самоорганизации запускаются три следующих основных процесса.

Алгоритм

Слайд 7

Конкуренция (competition). Для каждого входного образа нейроны сети вычисляют относительные значения

дискриминантной функции. Эта функция является основой конкуренции среди нейронов.
Кооперация (cooperation). Победивший нейрон определяет пространственное положение топологической окрестности нейронов, обеспечивая тем самым базис для кооперации между этими нейронами.
Синаптическая адаптация (synaptic adaptation). Последний механизм позволяет возбужденным нейронам увеличивать собственные значения дискриминантных функций по отношению к входным образам посредством соответствующих коpректировок синаптических весов. Корректировки производятся таким образом, чтобы отклик нейронапобедителя на последующее применение аналогичных примеров усиливался.

Слайд 8

- входной вектор
- вектор синаптических весов
l – общее количество

нейронов сети
Для того чтобы подобрать наилучший вектор wj, соответствующий входному вектору х, нужно сравнить скалярные произведения wjTх для j == 1,2,...,1 и выбрать наибольшее значение.

Процесс конкуренции

Слайд 9

При этом предполагается, что ко всем нейронам применяется некоторое значение насыщения

(threshold). Эта величина равна порогу (bias), взятому с обратным знаком. Таким образом, выбирая нейрон с наибольшим скалярным про изведением wjTх, мы в результате определяем местоположение, которое должно стать центром топологической окрестности возбужденного нейрона
Наилучший критерий соответствия, основанный на максимизации скалярного произведения wjTх, математически эквивалентен минимизации Евклидова расстояния между векторами х и wj.

Слайд 10

Если использовать индекс i(x) ДЛЯ идентификации того нейрона, который лучше всего

соответствует входному сигналу х, то эту величину можно определить с помощью следующего соотношения
Конкретный нейрон i, удовлетворяющий данному условию, называется победившим (winning) или наиболее подходящим (bestmatching) для данного входного вектора х.

Слайд 11

Нейрон-победитель находится в центре топологической окрестности сотрудничающих нейронов.
возбужденный нейрон всегда пытается

возбудить пространственно близкие к нему нейроны

Процесс кооперации

Слайд 12

hj,i - топологическая окрестность (topological neighbourhood) с центром в победившем нейроне

i, состоящую из множества возбуждаемых (кооперирующихся) нейронов, типичный представитель которой имеет индекс j. Пусть dj,i - латеральное расстояние (lateral distance) между победившим (i) и вторично возбужденным (j) нейронами.

Слайд 13

Параметр σ называют эффективной шириной (effective width) топологической окрестности. Этот параметр

определяет уровень, до которого нейроны из топологической окрестности победившего участвуют в процессе обучения.
дискретный вектор rj определяет позицию возбуждаемого нейрона j, а ri - победившего нейрона i. Оба этих измерения проводятся в дискретном выходном пространстве.

Слайд 14

σ0 начальное значение величины σ, τ1 – некоторая временная константа
При увеличении

количества итераций n ширина σ экспоненциально убывает, соответственно сжимается топологическая окрестность

Эвристика выбора функции окрестности

Слайд 15

η – параметр скорости обучения (=0,01)
для данного вектора синаптических весов Wj(n)

в момент времени n обновленный вектор Wj(n + 1) в момент времени n + 1 можно определить в следующем виде
является формулой вычисления синаптических весов карты признаков

Процесс адаптации

Слайд 16

τ2 – некоторая временная константа
η0 – некоторое начальное значение
Рекомендуемые значения:
τ2 =

1000
η0 = 0,1

Эвристика выбора скорости обучения