Искусственные нейронные сети. Лекция 15-16

Содержание

Слайд 2

Разнообразие, большой объем и противоречивость различной диагностической информации выводят на передний

Разнообразие, большой объем и противоречивость различной диагностической информации выводят на передний

план проблему поиска физических систем, способных к ее переработке.
Решение этой комплексной задачи тесно связано с новыми информационными технологиями, важное место среди которых занимают методы распознавания и категоризации образов.
Нейронные сети - мощный и на сегодня, пожалуй, наилучший метод для решения различных задач распознавания образов, в частности в ситуациях, когда в представленных для обработки данных (в том числе экспериментальных) отсутствуют значительные фрагменты информации, а имеющаяся информация предельно зашумлена.
Слайд 3

Нейросетевой подход: основные положения Процессы познания - результат взаимодействия большого числа

Нейросетевой подход: основные положения

Процессы познания - результат взаимодействия большого числа

простых перерабатывающих элементов, связанных друг с другом и организованных в слои («модули»). «Переработка информации» - определенный ответ элемента на воздействия извне.
Знания, управляющие процессом переработки, хранятся в форме весовых коэффициентов связей между элементами сети. Главное - не элементы, а связи между ними («субсимвольный подход»).
Обучение - процесс изменения весовых коэффициентов связей между элементами сети (приспособления их к решению определенной задачи).
Слайд 4

На сегодняшний день развитие в области теории и приложений нейронных сетей

На сегодняшний день развитие в области теории и приложений нейронных сетей

идет в самых разных направлениях: поиск новых нелинейных элементов, которые могли бы реализовывать сложное коллективное поведение в ансамбле нейронов; новые архитектуры нейронных сетей; отыскание областей приложения нейронных сетей в системах обработки изображений, распознавания образов и речи, робототехники и др.
Значительное место в данных исследованиях традиционно занимает математическое моделирование.
Слайд 5

Одна из наиболее привлекательных для пользователя сторон нейросетевой технологии, обеспечившая ей

Одна из наиболее привлекательных для пользователя сторон нейросетевой технологии, обеспечившая ей

нынешнюю всеобщую популярность -
отсутствие необходимости в детальном программировании процесса решения задачи.
Кроме того, возможность решения даже тех задач, для которых отсутствуют алгоритмы решения, а также возможность адаптации к условиям функционирования, обучения и переобучения.
Слайд 6

Главное достоинство нейросетей в том, что они предоставляют в руки пользователю

Главное достоинство нейросетей в том, что они предоставляют в руки пользователю

некий универсальный нелинейный элемент с возможностью широкого изменения и настройки его характеристик.
Соединяя их в сеть, пользователь с одной стороны получает возможность широкого изменения ее характеристик, а с другой - может особенно не задумываться над процессами, происходящими в сети.
Им гарантирована целенаправленность и оптимальность, приводящая в конечном итоге к достаточно приемлемому результату.
Слайд 7

Набор нелинейных адаптивных элементов позволяет моделировать любое нелинейное преобразование и настраивать

Набор нелинейных адаптивных элементов позволяет моделировать любое нелинейное преобразование и настраивать

его на различные задачи автоматически путем изменения параметров в процессе обучения.
В последнее время наблюдается тенденция использовать для настройки не эмпирически найденные приемы (типа правила Хебба, обратного распространения ошибки и т.п.), а универсальные и хорошо отработанные математические методы поиска экстремума целевой функции в пространстве параметров.
Слайд 8

Место нейронных сетей в системах обработки информации можно указать по аналогии

Место нейронных сетей в системах обработки информации можно указать по аналогии

со структурой человеческой психики: оно соответствует низшему интуитивному уровню реакций, когда требуется быстрый ответ на достаточно стандартную ситуацию.
Если ответ не найден или система сомневается в его правильности, то управление передается более высокому логическому уровню.
Ему соответствует экспертная система, располагающая широкой базой знаний и способная делать более обоснованные выводы.
Слайд 9

В общем случае в поведении нейросети следует различать три задачи: обучение

В общем случае в поведении нейросети следует различать три задачи:
обучение и

запоминание поведенческих образцов (эталонов), задаваемых внешними условиями. При этом происходит образование и модификация связей между элементами;
распознавание внешней ситуации, отнесение ее к одному из запомненных эталонов, выбор соответствующего поведенческого образца;
реализация выбранного эталона поведения, поддержание эталонных значений переменных, возвращение к ним после возмущений, исправление ошибок и нейтрализация помех, создаваемых внешней средой.
Слайд 10

В настоящее время широко распространено использование нейросетей в различных задачах, таких

В настоящее время широко распространено использование нейросетей в различных задачах, таких

как распознавание ситуаций, выделение сигнала на фоне шума, экстраполяция временных последовательностей и пр.
Существуют попытки использования НС для управления сложной адаптивной системой при невозможности формализовать экспертные знания или при отсутствии таковых.
Нейросеть может запоминать действия опытного оператора, управляющего сложной системой, а затем воспроизводить их, проявляя необходимую гибкость, сменяя образцы поведения и выбирая среди них тот, который наиболее близок и адекватен текущей ситуации.
Слайд 11

Биологический нейрон и его кибернетическая модель Основная цель нейроинформатики - исследование

Биологический нейрон и его кибернетическая модель

Основная цель нейроинформатики - исследование методов

и кибернетических систем, имитирующих функции мозга при решении информационных задач.
Биологический фундамент при изучении функций мозга живых организмов является крайне важным, поскольку природное многообразие дает исключительно богатый исходный материал для направленного создания искусственных моделей.
Слайд 12

Метод нейробиологии Предмет нейробиологии - изучение нервной системы и ее главного

Метод нейробиологии

Предмет нейробиологии - изучение нервной системы и ее главного органа

- мозга. Принципиальный вопрос - соотношение между строением нервной системы и ее функцией.
Классический нейробилогический подход состоит в последовательном продвижении от элементарных форм в направлении их усложнения. .
Для практических целей нейроинформатики отправной точкой служит клеточный уровень. По современным представлениям, именно на нем совокупность элементарных молекулярных химико-биологических процессов, протекающих в отдельной клетке, формирует ее как элементарных процессор, способный к простейшей переработке информации.
Слайд 13

Биологический нейрон Элементом клеточной структуры мозга является нервная клетка - нейрон.

Биологический нейрон

Элементом клеточной структуры мозга является нервная клетка - нейрон.
Нейрон

в своем строении имеет много общих черт с другими клетками биоткани. Однако нервная клетка существенно отличается от иных по своему функциональному назначению: нейрон выполняет прием, элементарное преобразование и дальнейшую передачу информации другим нейронам.
Информация переносится в виде импульсов нервной активности, имеющих электрохимическую природу.
Слайд 14

Биологический нейрон Нейроны крайне разнообразны по форме, которая зависит от их

Биологический нейрон

Нейроны крайне разнообразны по форме, которая зависит от их местонахождения

в нервной системе и особенностей функционирования.
схема строения "типичного" нейрона
Гигантский аксон кальмара имеет толщину около миллиметра, и именно наблюдение за ним послужило выяснению механизма передачи нервных импульсов между нейронами.
Слайд 15

Искусственные нейронные сети ФОРМАЛЬНЫЙ НЕЙРОН Элемент с пороговой логикой (TLU): преодоление

Искусственные нейронные сети

ФОРМАЛЬНЫЙ НЕЙРОН

Элемент с пороговой логикой (TLU):
преодоление порога

-- 1, иначе -- 0.
Слайд 16

Механизмы синаптической передачи достаточно сложны и разнообразны. Они могут иметь химическую

Механизмы синаптической передачи достаточно сложны и разнообразны. Они могут иметь химическую

и электрическую природу.
В химическом синапсе в передаче импульсов участвуют специфические химические вещества - нейромедиаторы, вызывающие изменения проницаемости локального участка мембраны. В зависимости от типа вырабатываемого медиатора синапс может обладать возбуждающим (эффективно проводящим возбуждение) или тормозящим действием.
Обычно на всех отростках одного нейрона вырабатывается один и тот же медиатор, и поэтому нейрон в целом функционально является тормозящим или возбуждающим.
Это важное наблюдение о наличии нейронов различных типов используется при проектировании искусственных систем.
Слайд 17

Биологические нейронные сети Взаимодействующие между собой посредством передачи через отростки возбуждений

Биологические нейронные сети

Взаимодействующие между собой посредством передачи через отростки возбуждений нейроны

формируют нейронные сети. Переход от рассмотрения отдельного нейрона к изучению нейронных сетей является естественным шагом в нейробиологической иерархии.
Общее число нейронов в центральной нервной системе человека достигает 1010 - 1011, при этом каждая нервная клетка связана в среднем с 103 - 104 других нейронов.
Установлено, что в головном мозге совокупность нейронов в объеме масштаба 1 мм3 формирует относительно независимую локальную сеть, несущую определенную функциональную нагрузку.
Слайд 18

Выделяют несколько основных типов биологических нейронных сетей, отличающихся структурой и назначением.

Выделяют несколько основных типов биологических нейронных сетей, отличающихся структурой и назначением.


Один из них - иерархические сети, часто встречающиеся в сенсорных и двигательных путях.
Информация в таких сетях передается в процессе последовательного перехода от одного уровня иерархии к другому.
Слайд 19

Нейроны образуют два характерных типа соединений: конвергентные, когда большое число нейронов

Нейроны образуют два характерных типа соединений:
конвергентные, когда большое число нейронов

одного уровня контактирует с меньшим числом нейронов следующего уровня,
дивергентные, в которых контакты устанавливаются со все большим числом клеток последующих слоев иерархии.
Сочетание конвергентных и дивергентных соединений обеспечивает многократное дублирование информационных путей, что является решающим фактором надежности нейронной сети. При гибели части клеток, сохранившиеся нейроны оказываются в состоянии поддерживать функционирование сети.
Слайд 20

Ко второму типу нейронных сетей относятся локальные сети, формируемые нейронами с

Ко второму типу нейронных сетей относятся локальные сети, формируемые нейронами с

ограниченными сферами влияния.
Нейроны локальных сетей производят переработку информации в пределах одного уровня иерархии. При этом функционально локальная сеть представляет собой относительно изолированную тормозящую или возбуждающую структуру.
Слайд 21

Важную роль также играют так называемые дивергентные сети с одним входом.

Важную роль также играют так называемые дивергентные сети с одним входом.


Командный нейрон, находящийся в основании такой сети может оказывать влияние сразу на множество нейронов, и поэтому сети с одним входом выступают согласующим элементом в сложном сочетании нейросетевых систем всех типов.
Слайд 22

Сенсорные нейроны формируют первый (нижний) уровень иерархии. Выработанные ими сигналы передаются

Сенсорные нейроны формируют первый (нижний) уровень иерархии. Выработанные ими сигналы передаются

нейронам локальной сети, содержащим множество прямых и обратных связей с сочетанием дивергентных и конвергентных соединений. Характер преобразованного в локальных сетях сигнала определяет состояние возбуждения моторных нейронов.
Слайд 23

Биологическая изменчивость и обучение нейронных сетей Структура основных типов биологических нейронных

Биологическая изменчивость и обучение нейронных сетей

Структура основных типов биологических нейронных сетей

генетически предопределена.
При этом исследования в области сравнительной нейроанатомии говорят о том, что по фундаментальному плану строения мозг очень мало изменился в процессе эволюции.
Однако детерминированные нейронные структуры демонстрируют свойства изменчивости, обуславливающие их адаптацию к конкретным условиям функционирования.
Слайд 24

Генетическая предопределенность имеет место также и в отношении свойств отдельных нейронов,

Генетическая предопределенность имеет место также и в отношении свойств отдельных нейронов,

таких, например, как тип используемого нейромедиатора, форма и размер клетки.
Изменчивость на клеточном уровне проявляется в пластичности синаптических контактов.
Характер метаболической активности нейрона и свойства проницаемости синаптической мембраны могут меняться в ответ на длительную активизацию или торможение нейрона.
Слайд 25

Изменчивость на уровне сети связана со спецификой нейронов. Нервная ткань практически

Изменчивость на уровне сети связана со спецификой нейронов.
Нервная ткань практически

лишена характерной для других типов тканей способности к регенерации путем деления клеток. Однако нейроны демонстрируют способность к формированию новых отростков и новых синаптических контактов. Ряд экспериментов с преднамеренным повреждением нервных путей указывает, что развитие нейронных ответвлений сопровождается конкуренцией за обладание синаптическими участками.
Это свойство в целом обеспечивает устойчивость функционирования нейронный сетей при относительной ненадежности их отдельных компонент - нейронов.
Слайд 26

Специфическая изменчивость нейронных сетей и свойств отдельных нейронов лежит в основе

Специфическая изменчивость нейронных сетей и свойств отдельных нейронов лежит в основе

их способности к обучению - адаптации к условиям функционирования - при неизменности в целом их морфологической структуры.
Однако рассмотрение изменчивости и обучаемости малых групп нейронов не позволяет в целом ответить на вопросы об обучаемости на уровне высших форм психической деятельности, связанных с интеллектом, абстрактным мышлением, речью.
Следует отметить, что нервная система содержит помимо нейронов клетки других типов.
Слайд 27

Математический аппарат нейросетей Традиционно используемым для описания нейронных сетей математическим языком

Математический аппарат нейросетей

Традиционно используемым для описания нейронных сетей математическим языком является

аппарат векторной и матричной алгебры.
Однако в современной нейронауке широко используются и другие разделы математики. Среди них
дифференциальные уравнения, применяемые для анализа нейронных сетей в непрерывном времени, а также для построения детальных моделей нейрона;
Фурье-анализ для описания поведения системы при кодировании в частотной области;
теория оптимизации как основа для разработки алгоритмов обучения;
математическая логика и булева алгебра - для описания двоичных сетей, и другие.
Слайд 28

Математический аппарат нейросетей Основным структурным элементом в описании способов обработки информации

Математический аппарат нейросетей

Основным структурным элементом в описании способов обработки информации нейронной

сетью является вектор - упорядоченный набор чисел, называемых компонентами вектора.
В зависимости от особенностей рассматриваемой задачи компоненты вектора могут быть действительными числами, целыми числами (например, для обозначения градаций яркости изображения), а также булевыми числами "ноль-один" или "минус один - один".
Слайд 29

Математический аппарат нейросетей Компоненты вектора x = ( x1, x2, ...

Математический аппарат нейросетей

Компоненты вектора x = ( x1, x2, ... xn

) можно рассматривать, как его координаты в некотором n-мерном пространстве.
В случае действительных компонент это пространство обозначается, как Rn и включает в себя набор всех возможных совокупностей из n действительных чисел. Тогда говорят, что вектор x принадлежит пространству Rn (или x из Rn).
Слайд 30

Математический аппарат нейросетей Множество векторов с действительными компонентами является частным случаем

Математический аппарат нейросетей

Множество векторов с действительными компонентами является частным случаем более

общего понятия, называемого линейным векторным пространством V, если для его элементов определены операции векторного сложения "+" и умножения на скаляр ".", удовлетворяющие следующим соотношениям:
x + y = y + x, результат принадлежит V
α . ( x + y ) = α . x + α . y, результат принадлежит V
(α + β ) . x = α . x + β . x, результат принадлежит V
( x + y ) + z = x + ( y + z ), результат принадлежит V
(α . β ) . x = α . (β . x ), результат принадлежит V
∃ o из V, что ∀ x из V => o + x = x (существует нулевой элемент)
для скаляров 0 и 1, ∀ x из V верно 0 . x = o, 1 . x = x
Слайд 31

Математический аппарат нейросетей Для двух элементов векторного пространства может быть определено

Математический аппарат нейросетей

Для двух элементов векторного пространства может быть определено их

скалярное (внутреннее) произведение :
(x,y) = x1y1 + x2y2 + ... + xnyn.
Скалярное произведение обладает свойствами симметричности, аддитивности и линейности по каждому сомножителю:
( x, y ) = ( y, x )
(α.x, y ) = α.( x, y )
( x + y, z ) = ( x, z ) + ( y, z )
( x, y ) >= 0, причем ( x, x ) = 0 <=> x = o
Слайд 32

Математический аппарат нейросетей Два различных образа (или вектора) могут быть в

Математический аппарат нейросетей

Два различных образа (или вектора) могут быть в той

или иной мере похожи друг на друга. Для математического описания степени сходства векторное пространство может быть снабжено скалярной метрикой - расстоянием d(x,y) между всякими двумя векторами x и y.
Пространства с заданной метрикой называют метрическими.
Для метрики должны выполняться условия неотрицательности, симметричности, а также неравенство треугольника:
d( x, y ) >= 0, причем d( y, x ) = 0 <=> x = y
d( x, y ) = d ( y, x )
∀ y, d ( x, z ) <= d ( x, y ) + d ( y, z )
Слайд 33

Математический аппарат нейросетей Чаще всего в основном используются две метрики -

Математический аппарат нейросетей

Чаще всего в основном используются две метрики - Евклидово

расстояние и метрика Хемминга.
Евклидова метрика для прямоугольной системы координат определяется формулой:
Хеммингово расстояние dH используется обычно для булевых векторов (компоненты которых равны 0 или 1), и равно числу различающихся в обоих векторах компонент.
Слайд 34

Математический аппарат нейросетей Для векторов вводится понятие нормы ||x|| - длины

Математический аппарат нейросетей

Для векторов вводится понятие нормы ||x|| - длины вектора

x.
Пространство в котором определена норма векторов называется нормированным. Норма должна обладать следующими свойствами:
||x|| >= 0, причем ||x|| = 0 <=> x = o
|| α.x || = |α| .||x||
||x + y|| <= ||x|| + ||y||
Слайд 35

Математический аппарат нейросетей Образы, состоящие из действительных признаков, принадлежат Евклидовому пространству.

Математический аппарат нейросетей

Образы, состоящие из действительных признаков, принадлежат Евклидовому пространству.
В

случае булевых векторов размерности n рассматриваемое пространство представляет собой множество вершин n-мерного гиперкуба с Хемминговой метрикой.
Расстояние между двумя вершинами определяется длиной кратчайшего соединяющего их пути, измеренной вдоль ребер.
Слайд 36

Важным для нейросетевых приложений случаем является множество векторов, компоненты которых являются

Важным для нейросетевых приложений случаем является множество векторов, компоненты которых являются

действительными числами, принадлежащими отрезку [0,1].
Множество таких векторов не является линейным векторным пространством, так как их сумма может иметь компоненты вне рассматриваемого отрезка. Однако для пары таких векторов сохраняются понятия скалярного произведения и Евклидового расстояния.
Вторым важным с практической точки зрения примером является множество векторов одинаковой длины (равной, например, единице). Образно говоря, "кончики" этих векторов принадлежат гиперсфере единичного радиуса в n-мерном пространстве.
Гиперсфера также не является линейным пространством (в частности, отсутствует нулевой элемент).
Слайд 37

Для заданной совокупности признаков, определяющих пространство векторов, может быть сформирован такой

Для заданной совокупности признаков, определяющих пространство векторов, может быть сформирован такой

минимальный набор векторов, в разной степени обладающих этими признаками, что на его основе, линейно комбинируя вектора из набора, можно сформировать все возможные иные вектора.
Такой набор называется базисом пространства.
Базис может состоять из любой комбинации из n линейно независимых векторов, где n - размерность пространства.
Слайд 38

Если определена некоторая система линейно независимых векторов x1, x2, ..., xm,

Если определена некоторая система линейно независимых векторов x1, x2, ..., xm,

где m < n, то все возможные линейные комбинации этих векторов сформируют линейное пространство размерности m, которое будет являться подпространством или линейной оболочкой L исходного n-мерного пространства.
Выбранная базовая система из m векторов является базисом в подпространстве L. Важным частным случаем линейной оболочки является подпространство размерности на единицу меньшей, чем размерность исходного пространства (m=n-1), называемое гиперплоскостью.
В случае трехмерного пространства это обычная плоскость.
Слайд 39

Гиперплоскость делит пространство на две части. Совокупность гиперплоскостей разбивает пространство на

Гиперплоскость делит пространство на две части. Совокупность гиперплоскостей разбивает пространство на

несколько множеств, каждое из которых содержит вектора с близким набором признаков, тем самым осуществляется классификация векторов.
Слайд 40

Матрица – еще один способ математического представления данных в нейросетях. Пространство

Матрица – еще один способ математического представления данных в нейросетях.
Пространство квадратных

матриц одинаковой размерности с введенными операциями сложения и поэлементного умножения на скаляр, является линейным пространством. Для него также можно ввести метрику и норму. Нулевым элементом служит матрица, все элементы которой равны нулю.
Слайд 41

Общие характеристики нейросетей Традиционно нейрон описывается в терминах, заимствованных из нейрофизиологии.

Общие характеристики нейросетей

Традиционно нейрон описывается в терминах, заимствованных из нейрофизиологии. Согласно

этим представлениям, нейрон имеет:
один выход s j и
несколько входов (синапсов), на которые поступают внешние воздействия хi (от рецепторов и от других нейронов)
Слайд 42

С конструктивной точки зрения нейрон, являющийся основным элементом нейросети,- представляет собой

С конструктивной точки зрения нейрон, являющийся основным элементом нейросети,- представляет собой

устройство для получения нелинейной функции у от переменных хi. Или формально:
у = f(х1, х2,..., хm, w1, w2,..., wn ),
где f- нелинейная функция, хi , i =1,..., m ⎯ входные переменные, wj , j=1,..., n ⎯ параметры сети (весовые коэффициенты).
Т.о. нейрон умножает входное воздействие хi на весовой коэффициент wij (проводимость синапса) и суммирует взвешенные входы:
s j = Σ wij хi + w0j .
Слайд 43

Выходная величина уj является некоторой функцией от этой суммы: уj =

Выходная величина уj является некоторой функцией от этой суммы:
уj =

f (s j)
Ее называют функцией активации или передаточной функцией.
Слайд 44

Функциональная схема формального нейрона: формальный нейрон представляет собой математическую модель простого

Функциональная схема формального нейрона:
формальный нейрон представляет собой математическую модель простого процессора,

имеющего несколько входов и один выход.
Слайд 45

Вид функции активации является важнейшей характеристикой нейрона. В простейшем случае функция

Вид функции активации является важнейшей характеристикой нейрона.

В простейшем случае функция

активации - это линейная зависимость:
уj = k s j = k ( Σ wij хi + w0j )
Слайд 46

Еще в работе У. Мак-Каллока и У. Питтса [1956 г.] использовалась

Еще в работе У. Мак-Каллока и У. Питтса [1956 г.] использовалась

ступенчатая функция активации, формально выражаемая с помощью следующей зависимости :
уj = sgn(s j) = sgn(Σwij хi + w0j )
Слайд 47

Линейный порог или гистерезис Несложная кусочно-линейная функция. Имеет два линейных участка,

Линейный порог или гистерезис

Несложная кусочно-линейная функция. Имеет два линейных участка, где

функция активации тождественно равна минимально допустимому и максимально допустимому значению и есть участок, на котором функция строго монотонно возрастает.
Слайд 48

В настоящее время в качестве активационной функции чаще используют нелинейную, близкую

В настоящее время в качестве активационной функции чаще используют нелинейную, близкую

к ступенчатой, но гладкую (непрерывно дифференцируемую) зависимость, которую называют сигмоидальной или логистической функцией. Обычно она описывается следующим выражением:
уj = 1/(1+ e -ks ), где k> 0.

Сигмоидальная функция обладает избирательной чувствительностью к сигналам разной интенсивности, что соответствует биологическим данным

Слайд 49

 

Слайд 50

Параметр k задает крутизну зависимости у от s: чем больше k,

Параметр k задает крутизну зависимости у от s: чем больше k,

тем ближе сигмоида к пороговой функции, чем меньше k - тем ближе она к линейной.
Таким образом, сигмоида является некоторым компромиссом между линейной и ступенчатой функцией, сохраняющим достоинства обеих.
Это обстоятельство оказывается чрезвычайно важным при поиске экстремума целевой функции в пространстве нейронных параметров.
Слайд 51

Нейроны организуются в сеть за счет того, что выход i-го нейрона

Нейроны организуются в сеть за счет того, что выход i-го нейрона

(уi ) соединяется с одним из входов (хi) другого, j-го, нейрона. При этом выходная переменная уi отождествляется с входной переменной хi.
Весовой коэффициент wij ("синаптический вес") характеризует знак и силу связи между переменными хi и хj. Возможна и обратная связь, при которой выход j-го нейрона соединяется с i-ым входом i-го нейрона. В общем случае коэффициент этой связи wji не обязательно равен wij.
Слайд 52

Важнейшим свойством нейрона является его пластичность - возможность изменять параметры в

Важнейшим свойством нейрона является его пластичность - возможность изменять параметры в

процессе обучения.
В ранних работах по нейросетям обычно различали два типа пластичности: синаптическую (изменение wij ) и пороговую (изменение высоты порога нейрона w0j ).
Слайд 53

В настоящее время пороговую пластичность обычно сводят к синаптической с помощью

В настоящее время пороговую пластичность обычно сводят к синаптической с помощью

следующей операции:
К числу входов j-го нейрона добавляют еще один фиктивный х0, не связанный ни с каким реальным входным рецептором.
На этот вход подают постоянный сигнал, равный +1.
Весовой коэффициент этого входа w0j модифицируют в процессе обучения по общим правилам. Модификация этого коэффициента равносильна смещению порога нейрона.
Слайд 54

Еще в 1949 г. Доналбдом Хеббом было предложено естественное правило модификации

Еще в 1949 г. Доналбдом Хеббом было предложено естественное правило модификации

весовых коэффициентов:
если два нейрона по разные стороны от синапсов активируются синхронно, то "вес"синапса слегка возрастает;
если два нейрона по разные стороны от синапсов активируются асинхронно, то "вес"синапса слегка ослабевает или синапс удаляется
Правило оказалось настолько удачным, что до сих пор используется в различных моделях нейронных систем, и сегодня в мы можем увидеть этот мета-алгоритм в основных методах обучения нейронных сетей..
Слайд 55

Один из самых неожиданных результатов анализа работы искусственного нейрона (М.Минский и

Один из самых неожиданных результатов анализа работы искусственного нейрона (М.Минский и

С.Пейперт) состоял в том, что построенный на линейных функциях активации, он не может воспроизвести такую простую логическую функцию как исключающее ИЛИ (XOR).
Это функция двух аргументов у(х1 , x2 ), каждый из которых может быть нулем или единицей. В этом случае не помогает и введение дополнительных слоев, так как произведение линейных преобразований снова дает линейное преобразование, обладающее теми же недостатками.
Выходом является использование нелинейных элементов.
Слайд 56

Одна из тенденций в развитии нейронных моделей состоит в переходе к

Одна из тенденций в развитии нейронных моделей состоит в переходе к

более гибким и универсальным нелинейным функциям. Они позволяют выделять не просто линейную границу между категориями, а пространство одних признаков отделять от пространства других признаков.
Например, можно описывать нейрон ступенчатой активационной функцией, положительной в некоторой области пространства признаков и отрицательной - во всех остальных областях этого пространства.
Настраиваемыми параметрами при этом могут быть размеры области и ее положение в пространстве признаков:
Суммируя выходы нескольких таких нейронов, можно легко выделить область самой сложной формы.
Ступенчатую функцию можно сгладить, чтобы иметь возможность использовать градиентные методы поиска экстремума.
Слайд 57

В последние годы все чаще появляются нейросети, использующие именно такого рода

В последние годы все чаще появляются нейросети, использующие именно такого рода

функции (радиальные базисные функции, ρ-функции и т.п.).
Так, сферическая радиальная базисная функция i-го нейрона может задаваться выражением, аналогичным выражению для нормального распределения.
Комбинация элементов такого или подобного типа способна аппроксимировать любую нелинейную зависимость и, следовательно, выделить в пространстве признаков области самой сложной формы - невыпуклые, многосвязные и т.п.
Слайд 58

Итак, в целом архитектура нейросети может быть задана матрицей весовых коэффициентов

Итак, в целом архитектура нейросети может быть задана матрицей весовых коэффициентов

w ij, характеризующих силу связей между элементами сети.
В общем случае все элементы связаны со всеми, но матрица связей несимметрична, w ij ≠ w ji.
Некоторые коэффициенты связей могут оставаться свободными, не заданными и тогда возможно их изменение - обучение сети.
Слайд 59

Наложением условий на значения wij, предопределяется конфигурация сети. При этом из

Наложением условий на значения wij, предопределяется конфигурация сети. При этом из

множества возможных конфигураций получили распространение и достаточно хорошо исследованы лишь некоторые. Наиболее популярными и изученными являются три конфигурации:
многослойный персептрон (нейросеть с промежуточными слоями "скрытых" нейронов);
самообучающиеся нейросети, в том числе карты (сети) Кохонена;
рекуррентные сети Хопфилда.
Слайд 60

Задание 7 Описать структуру и основной алгоритм работы одной из следующих

Задание 7

Описать структуру и основной алгоритм работы одной из следующих нейронных

сетей:
Персептрон Розенблатта;
Многослойный персептрон;
Карты (сети) Кохонена;
Рекуррентные сети Хопфилда;
Сеть Хемминга.
Слайд 61

Основные принципы (свойства) нейросетей Согласно общепринятым представлениям наиболее общими принципами, характерными

Основные принципы (свойства) нейросетей

Согласно общепринятым представлениям наиболее общими принципами, характерными для

современных нейросетей являются:
коннекционизм (связанность),
нелинейность активационной функции,
локальность и параллелизм вычислений,
обучение вместо программирования,
оптимальность обучающих алгоритмов.
Слайд 62

Принцип коннекционизма Означает, что каждый нейрон нейросети, как правило, связан со

Принцип коннекционизма

Означает, что каждый нейрон нейросети, как правило, связан со

всеми нейронами предыдущего слоя обработки данных.
Наиболее последовательно этот принцип реализован в архитектуре многослойного персептрона.
Слайд 63

Нелинейность функции активации Нелинейность функции активации принципиальна. Если бы нейроны были

Нелинейность функции активации

Нелинейность функции активации принципиальна.
Если бы нейроны были линейными

элементами, то любая последовательность нейронов также производила бы линейное преобразование, и вся нейросеть была бы эквивалентна одному нейрону (или одному слою нейронов - в случае нескольких выходов).
Нелинейность разрушает линейную суперпозицию и приводит к значительному расширению возможностей нейросетей
Слайд 64

Локальность обработки информации и параллелизм вычислений Локальность обработки информации и параллелизм

Локальность обработки информации и параллелизм вычислений

Локальность обработки информации и параллелизм

вычислений в нейросетях означает, что каждый нейрон реагирует лишь на локальную информацию, поступающую к нему в данный момент от связанных с ним таких же нейронов, без апелляции к общему плану вычислений, обычной для универсальных ЭВМ.
Слайд 65

Обучение вместо программирования Режим распространения информации по сети и соответствующей ей

Обучение вместо программирования

Режим распространения информации по сети и соответствующей ей адаптации

нейронов носит характер обучения.
Из способности к обучению следует способность к обобщению, позволяющая обучать сеть на незначительной доле всех возможных ситуаций, с которыми ей придется столкнуться в процессе функционирования.
Слайд 66

Оптимальность обучающих алгоритмов Еще одной чертой процесса обучения нейросетей является его

Оптимальность обучающих алгоритмов

Еще одной чертой процесса обучения нейросетей является его оптимальность

- целевая функция, оценивающая данную конфигурацию сети, имеет экстремальный характер (обычно это минимизация функции ошибки).
Сеть постепенно модифицирует свою конфигурацию - состояние всех своих синаптических весов - таким образом, чтобы минимизировать эту ошибку.
В итоге, в процессе обучения сеть все лучше справляется с возложенной на нее задачей.
Слайд 67

Целевая функция Под целевой функцией обычно понимают минимум ошибки сети. В

Целевая функция

Под целевой функцией обычно понимают минимум ошибки сети. В общем

случае функция ошибки Ε имеет вид:
Ε( w )= Ε (х ,у, у(х, w)),
где (х ,у) – набор пар входов-выходов (примеров обучающей выборки),
у(х, w) – реальные значения выходов нейросети, зависящие от конкретных значений ее синаптических весов w .
Слайд 68

Обучение сети Базовой идеей всех алгоритмов обучения является учет локального градиента

Обучение сети

Базовой идеей всех алгоритмов обучения является учет локального градиента в

пространстве конфигураций для выбора траектории быстрейшего спуска по функции ошибки.
Функция ошибки, однако, может иметь множество локальных минимумов, представляющих субоптимальные решения. Поэтому градиентные методы обычно дополняются элементами стохастической оптимизации, чтобы предотвратить застревание конфигурации сети в таких локальных минимумах.
Слайд 69

Обучение сети Идеальный метод обучения должен находить глобальный оптимум конфигурации сети.

Обучение сети

Идеальный метод обучения должен находить глобальный оптимум конфигурации сети.
Основные типы

обучения нейросети:
обучение с учителем,
с подкреплением (reinforcement learning),
без учителя.
Слайд 70

Обучение сети Обучение с учителем – это такой вид обучения, когда

Обучение сети

Обучение с учителем – это такой вид обучения, когда действительный

выход нейросети сравнивается с эталонным.
Обучение с подкреплением отличается от него тем, что в этом случае выходная информация известна не полностью и производится оценка выходов сети: например, вместо эталонных ответов известно лишь хуже или лучше данная конфигурация сети справляется с задачей.
Если желаемые значения выходов вообще неизвестны и сеть обучается только на наборе входных данных (х), то такой режим обучения сети называется обучением без учителя. В этом случае сети, например, предлагается самой найти скрытые закономерности в массиве данных.
Слайд 71

На способе обработки информации решающим образом сказывается наличие или отсутствие в

На способе обработки информации решающим образом сказывается наличие или отсутствие в

сети петель обратных связей.
Если обратные связи между нейронами отсутствуют (т.е. сеть имеет структуру последовательных слоев, где каждый нейрон получает информацию только с предыдущих слоев), обработка информации в сети происходит однонаправленно.
Слайд 72

Наличие обратных связей может сделать динамику нейросети (называемой в этом случае

Наличие обратных связей может сделать динамику нейросети (называемой в этом случае

рекуррентной) непредсказуемой: сеть может зациклиться и вообще не выдавать ответа.
Благодаря тому, что нейроны в рекуррентных сетях обрабатывают информацию неоднократно, рекуррентные сети производят более разнообразную и глубокую обработку информации. Но в этом случае следует принимать специальные меры, гарантирующие сходимость вычислений.
Слайд 73

Классификация нейросетей по типу обучения

Классификация нейросетей по типу обучения

Слайд 74

Пример: Обучение нейрона детектированию границы "черное-белое" Способность формального нейрона к обучению

Пример: Обучение нейрона детектированию границы "черное-белое"

Способность формального нейрона к обучению проявляется

в возможности изменения значений вектора весов W, что соответствует изменению пластичности синапсов биологических нейронов.
Рассмотрим обучение формального нейрона на примере простейшей задачи детектирования границы. Пусть имеется образ, составленный из одномерной цепочки черных и белых клеток:
Слайд 75

Функция, выполняемая нейроном, определяется следующей таблицей: Если нейрон должен служить детектором

Функция, выполняемая нейроном, определяется следующей таблицей:

Если нейрон должен служить детектором границы

перехода от светлого к темному тону образа, то очевидно, что нужным требованиям удовлетворяет набор: пороговое значение Θ = 0, весовые коэффициенты входов х1 и х2 W1 = -1, W2 = +1. В случае задачи детектирования границы перехода от темного к светлому веса нужно поменять местами.
Слайд 76

В традиционных вычислительных системах: Необходимо точное описание алгоритма (ориентация на обработку

В традиционных вычислительных системах:
Необходимо точное описание алгоритма (ориентация на обработку символов).


Данные должны быть точными. Аппаратура легко повреждается. Разрушение основных элементов памяти делает машину неисправной.
Каждый обрабатываемый объект явно указан в памяти.
Трудно построить хороший алгоритм восприятия образов и ассоциативной выборки (неясно, например, как мы распознаем рукописные символы, конкретного написания которых раньше не видели).

В нейронной сети:
Способ обработки больше похож на обработку сигналов, вместо программы — набор весов нейронов и обучение нейронов (настройка весов).
Нейронная сеть устойчива к шумам; искажения данных (в т.ч. выход из строя отдельных нейронов) влияют на результат несущественно.
Обрабатываемые объекты представлены весами нейронов неявно. В результате сеть может работать с объектами, которые ей ранее не встречались, и обобщать результаты обучения.
Применение: задачи восприятия и ассоциативной выборки.

Слайд 77

Некоторые задачи, которые перцептрон не способен решить: 1, 2 — преобразования

Некоторые задачи, которые перцептрон не способен решить:
1, 2 — преобразования группы

переносов;
3 — из какого количества частей состоит фигура?
4 — внутри какого объекта нет другой фигуры?
5 — какая фигура внутри объектов повторяется два раза?
(3, 4, 5 — задачи на определение «связности» фигур.)
- Предыдущая
Численные методы алгебры
Следующая -
Устройство роутера D-Link DIR-300

Похожие презентации

Презентация Исследование функций и построение графиков
Основы программирования. Занятие №1
ОРГАНИЗАЦИЯ МЕЖДУНАРОДНЫХ ТОРГОВ
Задание-задача. ЕГЭ по обществознанию. (Задание 27)
Конструктивные особенности высокопроизводительных современных ЭВМ
Эффективная мотивация персонала Доцент кафедры управления персоналом, сервиса и туризма , к.э.н Докашенко Людмила Владимиро
Политические партии
Дизайн жилья.
Зміна та припинення трудових відносин
Модификация метода Ньютона
Жизнь Ленинградского хореографического училища в годы Великой Отечественной войны
Неразъёмные соединения
КЛИНИЧЕСКАЯ ФАРМАКОЛОГИЯ РЕНИН-АНГИОТЕНЗИН-АЛЬДОСТЕРОНОВОЙ СИСТЕМЫ (РААС)
Обзор структурных уровней
Многофункциональная платформа для проектирования информационно-управляющих систем
Фонетична система української мови
Обновленная игра АК стандартный формат_примеры1_2
Разработка и реализация стратегии компании
Вера как дар
Понятие и предмет правоведения
Сетевое сообщество как инструмент эффективного взаимодействия
Числа, которыми измеряется преступность
Гельмут Коль (Федеральный канцлер ФРГ 1982-1998 гг)
Станислав Лем Эдем. - презентация
Реконструкція окремо розташованої нежитлової будівлі
Закон о банкротстве физических лиц усугубляет увеличение просроченной задолженности - плюсы
Агбис
Регламентация малых закупок в Самарской области
Вы можете прислать нам Вашу презентацию и мы опубликуем ее на сайте.
Обратная связь
Для правообладателей
Email: Нажмите что бы посмотреть