Нейронные сети. Введение

Физиологический нейрон

Блочная диаграмма нервной системы

возбуждение

Рецепторы

Нейронная
Сеть

эффекторы

Отклик

1942 – Мак-Каллок – Питц
1948 – Н.Винер – «Кибернетика»
1949 – Хебб

1967 – Кован – сигмоидальная функция
1980 – Теория Адаптивного Резонанса –

Нейроны

Хебба
Маккалока – Питца
Сигмоидный
Гросберга
Радиальный
WTA

Формальная модель нейрона

S

f(s)

b

w1

wn

Σ

Формальная модель нейрона

Σ

Активационные функции

Линейные.
Нелинейные.

Модель нейрона Мак-Калока – Питца

y

y

S

S

w1=0.1, q=0, k=0.1

S(i)=sum(X(:,i).*W);
Если ((S(i)+q)*k)>=0 , y(i)=1, иначе y(i)=0
W2=0.3 w2=-0.1

k=0.1, w1=0.1, w2=0.3

S(i)=sum(X(:,i).*W);
Если ((S(i)+q)*k)>=0 , y(i)=1, иначе y(i)=0
q=0, q=3

Кусочно-линейная

Y

S

Сигмоидальная

Y

S

k=0.1, w1=0.1, w2=0.3

S(i)=sum(X(:,i).*W);
y(i)=1/(1+exp((-S(i)+q)/k));
q=0, q=2,

q=0, , w1=0.1, w2=0.3

S(i)=sum(X(:,i).*W);
y(i)=1/(1+exp((-S(i)+q)/k));
k=0.1, k=0.5

RBF (WTA)

Y(r)=e(-r2/k)
r=||X-W||
k=1 k=5

Нейронная сеть

Число слоев/число нейронов по слоям
Обратные связи
Активационные функции
Число входов
Число выходов
Алгоритм настройки

Слой нейросети

Группа нейронов сети:
Общие функции (задачи)
Общие внешние связи
Общие входы
Зачем выделять слой?

Режимы функционирования нейросетей

Обучение
Работа

Формальная модель сети
f(X)=Net(X)

Архитектуры НС (классификация)

Тип обучения
С учителем
Без учителя
Класс алгоритмов оучения
Число слоев:
Однослойные
многослойные.
Обратные связи:
Нет

Однослойная сеть

y1

y2

yp

Слой 1

Многослойная сеть (2 слоя)

yk

Слой 1

Слой 2

Слой 0

W1

W2

1

2

m

1

2

k

x1

x2

xn

Сеть прямого распространения

1

2

i

m

x1 x2 x3

y1 ym

Слой 0
Слой 1

Многослойная сеть прямого распространения (к слоев)

Рекуррентные сети

y1

y2

yn

Многослойные рекуррентные сети

Виды обучения

С учителем
T={(Xi,di)}, i=1,N
Xi- входной вектор
di – выходной вектор
Без учителя
T={Xi}, i=1,N
Xi-

Классы алгоритмов обучения нейронных сетей

«Правило Хебба»
Коррекция по ошибке
Стохастическое обучение
«Правило соревнования»

Вселенский разум

Вопрос

Вариант 1

Вычислить реакцию порогового нейрона с W=[ 1 ,-1] на входное

литература

Комарцова Л.Г. Максимов А.В. Нейрокомпьютеры – М.:Из-во МГТУ - 2004.