Нейронные сети

Сентябрь 14, 2022

Главная
Алгебра
Нейронные сети

Содержание

2. 1. Нейрон Нейронные сети и нейрокомпьютеры – это одно из направлений компьютерной индустрии, в основе которого
3. Нейроны человеческого мозга Аксон Дендриты Синапсы
4. простейший нейрон может иметь до 10 000 дендритов человеческий мозг содержит примерно 1011 нейронов каждый нейрон
5. 2. Математический нейрон Мак-Каллока – Питтса 1943 г. Уоррен Мак-Каллок и Вальтер Питтс выдвинули гипотезу математического
6. Активационная функция а) функция единого скачка (θ – порог чувствительности нейрона); б) линейный порог (гистерезис); в)
7. Математические нейроны, реализующие логические функции математический нейрон изображают кружочком возбуждающий вход – стрелкой тормозящий вход –
8. 3. Персептрон Розенблатта Идея Мак-Каллока – Питтса была реализована Фрэнком Розенблаттом: 1958 г. в виде компьютерной
10. Итерационный алгоритм корректировки весовых коэффициентов Шаг 1. Подать входной образ и вычислить выход персептрона у Шаг
11. 4. Многослойный персептрон М. Минский и С. Пайперт в своей книге "Персептроны" строго математически доказали, что
12. Двухслойный персептрон, реализующий функцию "Исключающее ИЛИ" № 1 № 2 № 3 w = 0,5 w
14. Алгоритм обратного распространения ошибки Шаг 1. Инициализация синаптических весов и смещений Шаг 2. Представление из обучающей
15. на 5 шаге алгоритма вычисляется среднеквадратичная ошибка, усредненная по всем обучающим примерам: также вычисляется максимальная разность
16. Задачи, решаемые с помощью нейросетей если есть математическая модель какого-то процесса, то изучая влияние входных параметров
17. Невербальность и "шестое чувство" нейросетей Как и человеческий мозг, нейросеть способна выводить закономерности, делать догадки, открывать
18. Методы обучения нейросетей детерминистские стохастические подстройка весов представляет собой жёсткую последовательность действий подстройка весов производится на
19. основная проблема обучения персептронов состоит в том, что поверхность функции ошибок обычно имеет очень сложную форму
20. Генетический алгоритм предложен Дж. Холландом в 1970-х годах имитирует природный оптимизационный процесс, происходящий при эволюции живых
21. Операция скрещивания, применяемая в генетических алгоритмах a1 a2 Хромосома отца b1 b2 Хромосома матери a1 b2
22. Подготовка входных параметров успех создания нейронной сети во многом зависит от удачного подбора обучающих примеров следует
23. Определение незначимых параметров анализа значений весовых коэффициентов входных нейронов. Если у какого-либо входного нейрона синаптические веса
24. Рекуррентные сети
26. Скачать презентацию

Слайд 2

1. Нейрон
Нейронные сети и нейрокомпьютеры – это одно из направлений компьютерной

индустрии, в основе которого лежит идея создания искусственных интеллектуальных устройств по образу и подобию человеческого мозга.

Слайд 3

Нейроны человеческого мозга
Аксон
Дендриты
Синапсы

Слайд 4

простейший нейрон может иметь до 10 000 дендритов
человеческий мозг содержит примерно

1011 нейронов
каждый нейрон связан с 103-104 другими нейронами
мозг человека содержит 1014-1015 взаимосвязей

Слайд 5

2. Математический нейрон Мак-Каллока – Питтса
1943 г. Уоррен Мак-Каллок и Вальтер

Питтс выдвинули гипотезу математического нейрона
математический нейрон имеет несколько входов и один выход
через входы (j) математический нейрон принимает входные сигналы (xj)
входные сигналы умножаются на весовой коэффициент (wj) и суммируются
выходной сигнал нейрона у является нелинейная функция f(S), которая называется активационной

Слайд 6

Активационная функция
а) функция единого скачка (θ – порог чувствительности нейрона); б)

линейный порог (гистерезис); в) и г) сигмоид (логистическая функция).

а)

б)

в)

г)

Слайд 7

Математические нейроны, реализующие логические функции
математический нейрон изображают кружочком
возбуждающий вход – стрелкой
тормозящий

вход – маленьким кружочком
рядом может записываться число, показывающее значение порога θ

θ = 2

"И"

θ = 1

"ИЛИ"

θ = 0

"НЕТ"

Слайд 8

3. Персептрон Розенблатта
Идея Мак-Каллока – Питтса была реализована Фрэнком Розенблаттом:
1958 г.

в виде компьютерной программы
1960 г. в виде электронного устройства, моделирующего человеческий глаз

Слайд 9

Слайд 10

Итерационный алгоритм корректировки весовых коэффициентов
Шаг 1. Подать входной образ и

вычислить выход персептрона у
Шаг 2, а. Если выход правильный, то перейти на шаг 1
Шаг 2, б. Если выход неправильный и равен нулю, то увеличить веса активных входов, например:
wj(t + 1) = wj(t) + хj
Шаг 2, в. Если выход неправильный и равен единице, то уменьшить веса активных входов, например:
wj(t + 1) = wj(t) - хj
Шаг 3. Перейти на шаг 1 или завершить процесс обучения.

Слайд 11

4. Многослойный персептрон
М. Минский и С. Пайперт в своей книге "Персептроны"

строго математически доказали, что однослойные персептроны в принципе не способны решать многие простые задачи
Многие понимали, что надо усложнять структуру персептронов

Слайд 12

Двухслойный персептрон, реализующий функцию "Исключающее ИЛИ"
№ 1
№ 2
№ 3
w =

0,5

w = 0,5

w = 1

w = - 0,5

Слайд 13

Слайд 14

Алгоритм обратного распространения ошибки
Шаг 1. Инициализация синаптических весов и смещений
Шаг 2.

Представление из обучающей выборки входного вектора Xq = (х1, х2, ..., xN)q и соответствующего ему выходного вектора Dq = (d1, d2, …, dM)q
Шаг 3. Прямой проход
Шаг 4. Обратный проход
Шаг 5. Повторение шагов 2–4 необходимое число раз

Слайд 15

на 5 шаге алгоритма вычисляется среднеквадратичная ошибка, усредненная по всем обучающим

примерам:
также вычисляется максимальная разность между желаемым и фактическим выходами персептрона:
итерационный процесс заканчивается после того, как погрешность ε, достигнет заданной величины, либо при достижении предельного числа эпох обучения.

Слайд 16

Задачи, решаемые с помощью нейросетей
если есть математическая модель какого-то процесса, то

изучая влияние входных параметров на выходные, можно решить задачу оптимизации моделируемого процесса
если математическая модель является нестационарной, то её можно использовать для решения задач прогнозирования
если математическая модель работает в реальном режиме времени, то результаты математического моделирования могут быть оперативно переданы оператору, управляющему объектом, или могут быть непосредственно введены в приборы, что позволяет решать задачи управления моделируемым объектом или процессом
нейронные сети могут решать задачи распознавания и классификации образов, причем под образами понимаются зрительные изображения, символы, тексты, запахи, звуки, шумы

Слайд 17

Невербальность и "шестое чувство" нейросетей
Как и человеческий мозг, нейросеть способна выводить

закономерности, делать догадки, открывать законы природы. Но, так же, как и человек, нейросеть не способна к чёткой формулировке алгоритма, позволившего сделать то или иное умозаключение.
Известны случаи, когда нейросети демонстрируют феномен, называемый в жизни шестым чувством. Они с успехом извлекают знания из анализа информации, из которой, казалось бы, эти знания извлечь невозможно.

Слайд 18

Методы обучения нейросетей
детерминистские
стохастические
подстройка весов представляет собой жёсткую последовательность действий
подстройка весов

производится на основе действий, подчиняющихся некоторому случайному процессу

Слайд 19

основная проблема обучения персептронов состоит в том, что поверхность функции ошибок

обычно имеет очень сложную форму со множеством локальных минимумов.
актуальным является развитие методов глобальной оптимизации, которые позволяют найти глобальный минимум многоэкстремальной целевой функции

Слайд 20

Генетический алгоритм
предложен Дж. Холландом в 1970-х годах
имитирует природный оптимизационный процесс, происходящий

при эволюции живых организмов
основные идеи теории Чарльза Дарвина: естественный отбор и генетическое наследование
мутация – изменение генов

Слайд 21

Операция скрещивания, применяемая в генетических алгоритмах
a1
a2
Хромосома отца
b1
b2
Хромосома матери
a1
b2
Хромосома 1-го потомка
b1
a2
Хромосома

2-го потомка

Слайд 22

Подготовка входных параметров
успех создания нейронной сети во многом зависит от удачного

подбора обучающих примеров
следует учитывать, что не все параметры предметной области влияют на выходной вектор Y
незначимые параметры не следует включать в список параметров входного вектора X
на первом этапе в вектор X включают как можно больше параметров

Слайд 23

Определение незначимых параметров
анализа значений весовых коэффициентов входных нейронов. Если у какого-либо

входного нейрона синаптические веса значительно меньше, чем у других нейронов, то этот входной нейрон скорее всего соответствует незначимому параметру вектора X
возмущения значений входных параметров и анализа реакции сети на эти возмущения. Если сеть не реагирует или слабо реагирует на изменения значения какого-либо входного параметра, то этот параметр не является значимым

Слайд 24

Нейронные сети

Содержание

1. НейронНейронные сети и нейрокомпьютеры – это одно из направлений компьютерной

Нейроны человеческого мозгаАксонДендритыСинапсы

простейший нейрон может иметь до 10 000 дендритовчеловеческий мозг содержит примерно

2. Математический нейрон Мак-Каллока – Питтса1943 г. Уоррен Мак-Каллок и Вальтер

Активационная функцияа) функция единого скачка (θ – порог чувствительности нейрона); б)

Математические нейроны, реализующие логические функцииматематический нейрон изображают кружочкомвозбуждающий вход – стрелкойтормозящий

3. Персептрон РозенблаттаИдея Мак-Каллока – Питтса была реализована Фрэнком Розенблаттом:1958 г.

Итерационный алгоритм корректировки весовых коэффициентов Шаг 1. Подать входной образ и

4. Многослойный персептронМ. Минский и С. Пайперт в своей книге "Персептроны"

Двухслойный персептрон, реализующий функцию "Исключающее ИЛИ" № 1№ 2№ 3w =

Алгоритм обратного распространения ошибкиШаг 1. Инициализация синаптических весов и смещенийШаг 2.

на 5 шаге алгоритма вычисляется среднеквадратичная ошибка, усредненная по всем обучающим

Задачи, решаемые с помощью нейросетейесли есть математическая модель какого-то процесса, то

Невербальность и "шестое чувство" нейросетейКак и человеческий мозг, нейросеть способна выводить

Методы обучения нейросетей детерминистскиестохастическиеподстройка весов представляет собой жёсткую последовательность действийподстройка весов