Нейронные сети

Июль 26, 2022

Главная
Информатика
Нейронные сети

Содержание

3. Блочная диаграмма обучения с учителем
4. Блочная диаграмма обучения без учителя
8. Многослойный перцептрон.
9. Функция Ферми (экспоненциальная сигмоида): Рациональная сигмоида: Гиперболический тангенс:
10. Алгоритм метода обратного распространения ошибки: 1. Инициализация сети. Весовым коэффициентам и смещениям сети присваиваются малые случайные
11. Каждый нейрон состоит из двух элементов. Первый элемент – дендриты — добавляют весовые коэффициенты ко входным
13. Чтобы обучить нейронную сеть мы должны подготовить обучающие данные(примеры). В нашем случае, тренировочные данные состоят из
14. Каждый шаг обучения начинается с воздействия входных сигналов из тренировочных примеров. После этого мы можем определить
18. Распространение сигнала через скрытый слой. Символы Wmn представляют весовые множители связей между выходом нейрона m и
20. Распространение сигнала через выходной слой
21. На следующем шаге алгоритма, выходной сигнала сети y сравнивается с желаемым выходным сигналом z, который хранится
23. В середине восьмидесятых годов был разработан алгоритм обратного распространения ошибки. Идея заключается в распространении сигнала ошибки
26. Весовые коэффициенты Wmn, используемые для обратного распространения ошибки, равны тем же коэффициентам, что использовались во время
30. Когда вычисляется величина ошибки сигнала для каждого нейрона – можно скорректировать весовые коэффициенты каждого узла ввода(дендрита)
37. Сеть Хемминга
39. Алгоритм работы сети.
40. Сети и карты Кохонена
43. Инициализация сети: весовым коэффициентам сети, общее число которых равно N*M (N – размерность входных векторов, а
45. Скачать презентацию

Слайд 2

Слайд 3

Блочная диаграмма обучения с учителем

Слайд 4

Блочная диаграмма обучения без учителя

Слайд 5

Слайд 6

Слайд 7

Слайд 8

Многослойный перцептрон.

Слайд 9

Функция Ферми (экспоненциальная сигмоида):
Рациональная сигмоида:
Гиперболический тангенс:

Слайд 10

Алгоритм метода обратного распространения ошибки:
1. Инициализация сети.
Весовым коэффициентам и смещениям сети

присваиваются малые случайные значения из диапазонов.
2. Определение элемента обучающей выборки.
Текущие входы (X0,X1,…,XN-1), должны различаться для всех элементов обучающей выборки. При использовании многослойного персептрона в качестве классификатора желаемый выходной сигнал (D0,D1,…,DN-1) состоит из нулей за исключением одного единичного элемента, соответствующего классу, к которому принадлежит текущий входной сигнал.
3. Вычисление текущего выходного сигнала.
Текущий выходной сигнал определяется в соответствии с традиционной схемой функционирования многослойной нейронной сети.
4. Настройка синаптических весов.
Синаптические веса настраиваются в соответствии с правилами метода обратного распространения, начиная с выходных нейронов сети, а затем проходя сеть в обратном направлении до первого слоя.

Слайд 11

Каждый нейрон состоит из двух элементов. Первый элемент – дендриты — добавляют

весовые коэффициенты ко входным сигналам. Второй элемент – тело — реализует нелинейную функцию, т.н. функцию активации нейрона. Сигнал е – это взвешенная сумма входных сигналов

Слайд 12

Слайд 13

Чтобы обучить нейронную сеть мы должны подготовить обучающие данные(примеры). В нашем

случае, тренировочные данные состоят из входных сигналов (х1 и х2) и желаемого результата z. Обучение – это последовательность итераций (повторений). В каждой итерации весовые коэффициенты нейронов подгоняются с использованием новых данных из тренировочных примеров.

Слайд 14

Каждый шаг обучения начинается с воздействия входных сигналов из тренировочных примеров.

После этого мы можем определить значения выходных сигналов для всех нейронов в каждом слое сети. Символы W(Xm)n представляют вес связи между сетевым входом Xm и нейрона n во входном слое. Символы y(n) представляют выходной сигнал нейрона n.

Слайд 15

Слайд 16

Слайд 17

Слайд 18

Распространение сигнала через скрытый слой. Символы Wmn представляют весовые множители связей

между выходом нейрона m и входом нейрона n в следующем слое.

Слайд 19

Слайд 20

Распространение сигнала через выходной слой

Слайд 21

На следующем шаге алгоритма, выходной сигнала сети y сравнивается с желаемым

выходным сигналом z, который хранится в тренировочных данных. Разница между этими двумя сигналами называется ошибкой d выходного слоя сети.

Слайд 22

Слайд 23

В середине восьмидесятых годов был разработан алгоритм обратного распространения ошибки. Идея

заключается в распространении сигнала ошибки d (вычисленного в шаге обучения) обратно на все нейроны, чьи выходные сигналы были входящими для последнего нейрона.

Слайд 24

Слайд 25

Слайд 26

Весовые коэффициенты Wmn, используемые для обратного распространения ошибки, равны тем же

коэффициентам, что использовались во время вычисления выходного сигнала. Только изменяется направление потока данных (сигналы передаются от выхода ко входу). Этот процесс повторяется для всех слоёв сети. Если ошибка пришла от нескольких нейронов — она суммируются:

Слайд 27

Слайд 28

Слайд 29

Слайд 30

Когда вычисляется величина ошибки сигнала для каждого нейрона – можно скорректировать

весовые коэффициенты каждого узла ввода(дендрита) нейрона. В формулах ниже df(e)/de — является производной от функции активации нейрона (чьи весовые коэффициенты корректируются).

1
S(x) = -----------
1 + exp(-x)
производная выражается через саму функцию:
S'(x) = S(x)*(1 - S(x))

Слайд 31