Нейронные сети

Сентябрь 3, 2022

Главная
Алгебра
Нейронные сети

Содержание

2. Нейросетевой подход: основные положения Процессы познания -- результат взаимодействия большого числа простых перерабатывающих элементов, связанных друг
3. Классы задач, решаемых современными нейросетями: Классификация: распознавание образов, распознавание голосов, верификация подписей, постановка диагноза, анализ экспериментальных
4. Развитие нейронных сетей Фрэнк Розенблатт (1928-1969), Корнельский университет, США -- перцептрон (1958)
5. Развитие нейронных сетей Фрэнк Розенблатт (1928-1969), Корнельский университет, США 1962 -- «Принципы нейродинамики: перцептроны и теория
6. Перцептрон Розенблатта
7. Перцептрон Розенблатта Однослойный персептрон характеризуется матрицей синаптических связей ||W|| от S- к A-элементам. Элемент матрицы отвечает
8. Обучение нейронной сети Нейронная сеть обучается, чтобы для некоторого множества входных сигналов давать желаемое множество выходных
9. Обучение перцептрона Обучение классической нейронной сети состоит в подстройке весовых коэффициентов каждого нейрона. Пусть имеется набор
10. Обучение перцептрона
11. Обучение перцептрона Будем называть нейронную сеть обученной на данной обучающей выборке, если при подаче на вход
12. Обучение перцепторна Система связей между рецепторами S и A - элементами, так же как и пороги
13. Обучение перцептрона Предъявляем обучающую выборку: объекты (например, круги либо квадраты) с указанием класса, к которым они
14. ОБУЧЕНИЕ НЕЙРОННОЙ СЕТИ Дональд Олдинг Хебб (1904-1985) Итог -- образование «нейронного ансамбля», который все быстрее активируется
15. Основные понятия: «Нейрон» (unit, node) -- элемент сети, который суммирует входные сигналы и, в случае превышения
16. Алгоритм обучения (метод градиентного спуска - обратное распространение ошибки) Выбрать очередную пару векторов Xk и Yk
17. Обучение нейрона Угол между векторами: скалярное произведение / произведение длин Минимизация средней квадратичной ошибки при помощи
18. Нейронные сети Символьные модели неявные правила, «интуитивные» задачи (индивидуальные знания): умозаключение по аналогии, выделение фигуры на
19. Нейронные сети Символьные модели СИМВОЛЬНЫЕ И НЕЙРОСЕТЕВЫЕ МОДЕЛИ: «СФЕРЫ ВЛИЯНИЯ»
20. Нейронная сеть распознавание образов, быстрые ответы на запросы сложной окружающей среды ВОЗМОЖНОСТИ ИНТЕГРАЦИИ НЕЙРОСЕТЕВОГО И СИМВОЛЬНОГО
22. Скачать презентацию

Слайд 2

Нейросетевой подход:
основные положения
Процессы познания -- результат взаимодействия большого числа

простых перерабатывающих элементов, связанных друг с другом и организованных в слои («модули»). «Переработка информации» -- определенный ответ элемента на воздействия извне.
Знания, управляющие процессом переработки, хранятся в форме весовых коэффициентов связей между элементами сети. Главное -- не элементы, а связи между ними («субсимвольный подход»).
Обучение -- процесс изменения весовых коэффициентов связей между элементами сети (приспособления их к решению определенной задачи).

Слайд 3

Классы задач, решаемых современными нейросетями:
Классификация: распознавание образов, распознавание голосов, верификация

подписей, постановка диагноза, анализ экспериментальных данных и т.д.
Моделирование: поведение системы, поставленной в определенные условия.
Прогноз: погода, ситуация на рынке ценных бумаг, бега, выборы и т.д.

Комплексные задачи:
управление
принятие решений

Слайд 4

Развитие нейронных сетей
Фрэнк Розенблатт (1928-1969), Корнельский университет, США -- перцептрон

(1958)

Слайд 5

Развитие нейронных сетей
Фрэнк Розенблатт (1928-1969), Корнельский университет, США
1962 -- «Принципы

нейродинамики: перцептроны и теория мозговых механизмов»:
интеграция данных компьютерного моделирования (включая перцептрон), нейрохирургии, регистрации активности отдельных нейронов и т.д.

Слайд 6

Перцептрон Розенблатта

Слайд 7

Перцептрон Розенблатта
Однослойный персептрон характеризуется матрицей синаптических связей ||W|| от S- к

A-элементам. Элемент матрицы отвечает связи, ведущей от i-го S-элемента (строки) к j-му A-элементу (столбцы).

Слайд 8

Обучение нейронной сети
Нейронная сеть обучается, чтобы для некоторого множества входных сигналов

давать желаемое множество выходных сигналов. Каждое множество сигналов при этом рассматривается как вектор. Обучение осуществляется путем последовательного предъявления входных векторов с одновременной подстройкой весов в соответствии с определенной процедурой. В процессе обучения веса сети постепенно становятся такими, чтобы каждый входной вектор вырабатывал требуемый выходной вектор, используя правила, указанные выше.

Слайд 9

Обучение перцептрона
Обучение классической нейронной сети состоит в подстройке весовых коэффициентов каждого

нейрона.
Пусть имеется набор пар векторов {xa, ya}, a = 1..p, называемый обучающей выборкой, состоящей из p объектов.
Вектор {xa} характеризует систему признаков конкретного объекта a обучающей выборки, зафиксированную S-элементами.
Вектор {ya} характеризует картину возбуждения нейронов при предъявлении нейронной сети конкретного объекта a обучающей выборки:

Слайд 10

Обучение перцептрона

Слайд 11

Обучение перцептрона
Будем называть нейронную сеть обученной на данной обучающей выборке, если

при подаче на вход сети вектора {xa} на выходе всегда получается соответствующий вектор {ya}, т.е. каждому набору признаков соответствуют определенные классы.

Слайд 12

Обучение перцепторна
Система связей между рецепторами S и A - элементами, так

же как и пороги A - элементов выбираются некоторым случайным, но фиксированным образом
Обучение – изменение коэффициентов ki.
Задача: разделять два класса объектов: при предъявлении объектов первого класса выход перцептрона был положителен, а при предъявлении объектов второго класса – отрицательным.
Начальные коэффициенты ki полагаем равными нулю.

Слайд 13

Обучение перцептрона
Предъявляем обучающую выборку: объекты (например, круги либо квадраты) с указанием

класса, к которым они принадлежат.
Показываем перцептрону объект первого класса. При этом некоторые A - элементы возбудятся. Значения возбуждений каждого нейрона образуют входной вектор. Коэффициенты ki , соответствующие этим возбужденным элементам, увеличиваем на 1.
Предъявляем объект второго класса и коэффициенты ki тех A - элементов, которые возбудятся при этом показе, уменьшаем на 1.
Процесс продолжим для всей обучающей выборки. В результате обучения сформируются значения весов связей ki . Значения пороговой функции – выходной вектор.

Слайд 14

ОБУЧЕНИЕ НЕЙРОННОЙ СЕТИ
Дональд Олдинг Хебб
(1904-1985)
Итог -- образование «нейронного ансамбля», который

все быстрее активируется при каждом очередном повторении входа.

Правило Хебба (1949):
между одновременно активированными нейронами сети пороги синаптической связи снижаются.

Слайд 15

Основные понятия:
«Нейрон» (unit, node) -- элемент сети, который суммирует входные

сигналы и, в случае превышения порога его активации, выдает выходной сигнал (1 или 0) , выполняющий функцию активации или торможения в соответствии с весовым коэффициентом связи между ним и последующими нейронами.
Функция связи между элементами сети («синапса») -- умножение сигнала на весовой коэффициент.
Порог -- весовой коэффициент, связанный с постоянным входным сигналом, равным 1.

Слайд 16

Алгоритм обучения (метод градиентного спуска - обратное распространение ошибки)
Выбрать очередную пару

векторов Xk и Yk из обучающей выборки.
Вычислить выход сети Y .
Вычислить разность между выходом сети Y и требуемым выходным вектором Yk (целевым вектором обучающей пары). Т.е. определить ошибку нейронной сети.
Подкорректировать веса сети wji так, чтобы минимизировать ошибку.
Повторять шаги с 1 по 4 для каждой пары обучающей выборки до тех пор, пока ошибка не достигнет приемлемого уровня.

Слайд 17

Обучение нейрона
Угол между векторами: скалярное произведение / произведение длин
Минимизация средней квадратичной

ошибки при помощи корректировки весовых коэффициентов
метод минимальных квадратов
F(x) = mx+b
MIN SS(m,b) = Σ(yi-f(xi))2 = Σ(yi-mxi-b)2, i=1…n

Слайд 18