Основные понятия искусственных нейронных сетей. (Лекция 2)

Рис.2.1 – Структура искусственного нейрона

Входной оператор

- сумма взвешенных входов
;

- максимальное значение взвешенных входов
;

-

Функция активации

- линейная
f(z)=K z, K =const,

Рис.2.2 – Линейная функция

- линейная биполярная с насыщением

Рис.2.3 – Линейная с насыщением

- линейная униполярная с насыщением

Рис.2.4 – Линейная униполярная функция с

– функция Хевисайда - униполярная пороговая функция

Рис.2.5 – Пороговая функция

– биполярная пороговая функция

Рис.2.6 – Биполярная пороговая функция

- логистическая (униполярная)

Рис.2.7 –Логистическая функция

-гиперболического тангенса (биполярная)

,

Рис. 2.8 – Функция гиперболического тангенса

Выражение логистической функции и функции
гиперболического тангенса друг через друга:

- модулированная сигмоида

Рис. 2.9 – Функция “модулированная сигмоида”

- синусоидальная с насыщением (биполярная)

Рис.2.10 – Функция синусоидальная с насыщением

- косинусоидальная с насыщением (униполярная)

Рис.2.11 – Функция косинусоидальная с насыщением

Топология ИНС

Рис.2.12 – Структура ИНС

Способы представления ИНС

Рис.2.13 – Пример представления ИНС

Топологии ИНС:
1. ИНС без обратных связей (прямого распространения, feed-forvard)
- первого порядка;
-

ИНС прямого распространения

Рис. 2.14 – ИНС прямого распространения второго порядка

ИНС обратного распространения

Рис.2.15 – ИНС с прямыми обратными связями

Рис.2.16 – ИНС с непрямыми обратными связями

Рис.2.17 – ИНС с латеральными связями

Полносвязные ИНС

Рис.2.18 – Полносвязная ИНС

Подходы к обучению ИНС:

- изменение конфигурации сети путем образования новых
или

Рис.2.19 – Модель искусственного нейрона

Типы обучения ИНС:

- Обучение с учителем;
- Обучение без учителя;
- Подкрепляемое обучение.

Правило обучения Хэбба (коррелятивное,
соотносительное обучение)

,

В векторном виде данное правило может

Дельта-правило

Расширенное дельта-правило

Конкурентное обучение;
Стохастическое обучение;
Градиентные методы обучения

где γ - коэффициент, влияющий на

Модели искусственных нейронов.

Рис. 2.20 – Модель искусственного нейрона
Маккаллоха-Питтса и её обозначение

Рис. 2.21 – Электронная аналоговая модель нейронной клетки

Рис. 2.22 – Упрощенная модель нейрона Фукушимы

Модель искусственного нейрона Хопфилда

Рис. 2.23 – Модель Хопфилда динамической нейронной

Рис.2.24 – Структура нейрона Хопфилда

- постоянная интегрирования;

где

Модель Гроссберга

Рис.2.25 – Функциональная модель нейрона Гроссберга

Сигма-ПИ-нейрон

,

Рис.2.26 – Сигма-Пи нейрон