Динамические нейронные сети и их аттракторы

Фрагмент нервной ткани коры мозга

Нервная клетка

,

Перцептрон Розенблатта (1957г.)

Проблема “исключающее ИЛИ”
и ее решение

x2

x2

x1

x1

x2

x1

b

y

y<0

y>0

y= sign (a1

Градиентный подход к обучению

Обучающая выборка

Средняя ошибка

Градиент ошибки

Сеть Хопфилда

Сеть Хопфилда

Двустороняя ассоциативная
память Коско

.......

Уравнение энергии сети

Обратные связи и аттракторы нейронной сети Хопфилда

Статический и динамический аттракторы сети

Рекуррентная нейронная сеть

Y(t)

Y(t) :

X(t)

Z(t):

Рекурентный многослойный перцептрон (RMLP).

Нейроны рекуррентной сети

нелинейная активационная функция нейрона;
вес связи для j-входа нейрона

Динамический нейрон

настраиваемые параметры:
- веса межнейронных связей
- коэффициенты

Обучение рекуррентной нейросети

Обучающая после-довательность

Функция ошибки

Дельта-
правило

для прямых связей
для обратных связей

Схема коррекции веса прямых (W) и обратных (W) связей

W
W W
W

Принцип обратного распространения во времени

Echo State Network

Виртуальная нейросеть

Уравнение состояния сети

Нейронная сеть как динамическая система (X,Y,U)

Траектория
состояния

Условие
аттрактора

Аттракторы динамической нейросети

____________________________________________________________

Открытая динамическая нейронная сеть

Условие аттрактора:

Набор динамических атракторов:

Псевдоинверсный алгоритм

Свойства матрицы

Динамические аттракторы

Фрагмент нервной ткани коры мозга