Нейронные сети

Содержание

Слайд 2

Основные понятия. Нейрон. X – входной вектор; W – вектор весов;

Основные понятия. Нейрон.

X – входной вектор;
W – вектор весов;
Σ – суммирующий

блок;
NET – выход.
Слайд 3

Основные понятия. Нейрон. NET – промежуточный выход; F – активационная функция;

Основные понятия. Нейрон.

NET – промежуточный выход;
F – активационная функция;
OUT – выход.
Активационная

функция должна иметь ограниченное множество значений, к примеру [0;1]. Это необходимое условие для нормализации выходного значения.
Слайд 4

Основные понятия. Примеры активационных функций. Единичный скачок или жесткая пороговая функция

Основные понятия. Примеры активационных функций.

Единичный скачок или жесткая пороговая функция

Слайд 5

Основные понятия. Примеры активационных функций. Линейный порог или гистерезис

Основные понятия. Примеры активационных функций.

Линейный порог или гистерезис

Слайд 6

Основные понятия. Примеры активационных функций. Сигмоид

Основные понятия. Примеры активационных функций.

Сигмоид

Слайд 7

Основные понятия. Примеры активационных функций.

Основные понятия. Примеры активационных функций.

Слайд 8

Основные понятия. Нейронная сеть. Однослойная сеть. X – входной вектор; Wij

Основные понятия. Нейронная сеть. Однослойная сеть.

X – входной вектор;
Wij – вес, определенный

для значения xi у нейрона yj;
Y – выходной вектор.
Слайд 9

Основные понятия. Нейронная сеть. Многослойная сеть.

Основные понятия. Нейронная сеть. Многослойная сеть.

Слайд 10

Обучение сети. Нейронная сеть с обратным распространением.

Обучение сети. Нейронная сеть с обратным распространением.

Слайд 11

Обучение сети. Алгоритм. Обучение сети обратного распространения требует выполнения следующих операций:

Обучение сети. Алгоритм.

Обучение сети обратного распространения требует выполнения следующих операций:
Выбрать очередную обучающую

пару из обучающего множества; подать входной вектор на вход сети.
Вычислить выход сети.
Вычислить разность между выходом сети и требуемым выходом (целевым вектором обучающей пары).
Подкорректировать веса сети так, чтобы минимизировать ошибку.
Повторять шаги с 1 по 4 для каждого вектора обучающего множества до тех пор, пока ошибка на всем множестве не достигнет приемлемого уровня.
Слайд 12

Обучение сети. Алгоритм (продолжение). Новое значение весов считается по формулe: где

Обучение сети. Алгоритм (продолжение).

Новое значение весов считается по формулe:
где p и q

– номера нейронов.
Для выходного слоя:
где T – желаемый результат, а OUT(1-OUT) – производная сигмоида.
Для остальных слоёв:
Слайд 13

Работа в пакете MATLAB. Подготовка обучающих выборок Скрипт с описанием исследуемой функции Генерация выборок

Работа в пакете MATLAB. Подготовка обучающих выборок

Скрипт с описанием исследуемой функции
Генерация выборок

Слайд 14

Слайд 15

Работа в пакете MATLAB. Импорт данных и создание нейронной сети.

Работа в пакете MATLAB. Импорт данных и создание нейронной сети.

Слайд 16

Слайд 17

Слайд 18

Работа в пакете MATLAB. Параметры нейронной сети. Network type – список

Работа в пакете MATLAB. Параметры нейронной сети.

Network type – список сетей, доступных

для работы.
Input Data, Target Data – данные, представляющие входной и выходной векторы соответственно.
Training function – обучающая функция (по умол. метод оптимизации Левенберга-Маркара).
Adaptation learning function - функция, отвечающая за обновление весов и смещений сети в процессе обучения (по умол. метод градиентного спуска)
Performance function - функция оценки качества обучения (по умол. среднеквадратичная ошибка)
Number of layers – число слоев сети
Слайд 19

Работа в пакете MATLAB. Параметры нейронной сети. Number of neurons –

Работа в пакете MATLAB. Параметры нейронной сети.

Number of neurons – число нейронов.
Transfer

function – активационная функция.
Слайд 20

Работа в пакете MATLAB. Нейронная сеть.

Работа в пакете MATLAB. Нейронная сеть.

Слайд 21

Слайд 22

Работа в пакете MATLAB. Обучение нейронной сети.

Работа в пакете MATLAB. Обучение нейронной сети.

Слайд 23

Работа в пакете MATLAB. Обучение нейронной сети.

Работа в пакете MATLAB. Обучение нейронной сети.

Слайд 24

Работа в пакете MATLAB. Параметры обучения нейронной сети. showWindow – вывод

Работа в пакете MATLAB. Параметры обучения нейронной сети.

showWindow – вывод процесса обучения

в графическом режиме.
showCommandLine - вывод процесса обучения в командную строку.
show - период обновления графика кривой обучения, выраженный числом эпох
epoch – число эпох, по прошествии которых обучение заканчивается.
time – время, по истечении которого обучение прекращается
goal – значение функции ошибки, при которой цель будет считаться достигнутой.
min_grad – минимальный градиент.
max_fail – максимальное число ошибок.
mu - начальное значение mu.
mu_dec - коэффициент убывания mu.
mu_inc - коэффициент возрастания mu.
mu_max - максимальное значение mu.
Слайд 25

Слайд 26

Слайд 27

Работа в пакете MATLAB. Экспорт данных.

Работа в пакете MATLAB. Экспорт данных.

Слайд 28

Работа в пакете MATLAB. Построение графиков. plot (x, y); hold on; plot (x, net_output, ‘o’);

Работа в пакете MATLAB. Построение графиков.

plot (x, y);
hold on;
plot (x, net_output, ‘o’);


Слайд 29

Слайд 30

Слайд 31

Работа в пакете MATLAB. Проверка нейронной сети.

Работа в пакете MATLAB. Проверка нейронной сети.

Слайд 32

Слайд 33

Работа в пакете MATLAB. Проверка нейронной сети.

Работа в пакете MATLAB. Проверка нейронной сети.