AI. Нейронные сети

Содержание

Слайд 2

Давным-давно… Теодор Шванн (Theodor Schwann, 1810—1882) Маттиас Шлейден (Matthias Jakob Schleiden,

Давным-давно…

Теодор Шванн (Theodor Schwann, 1810—1882)
Маттиас Шлейден (Matthias Jakob Schleiden, 1804—1881)
Джозеф Герлах

(Joseph von Gerlach, 1820—1896)
Сантьяго Рамон-и-Кахаль (Santiago Ramón y Cajal, 1852—1934)
Луис Лакабра (Luis Simarro Lacabra, 1851—1921)
Зигмунд Фрейд (Sigmund Freud, 1856—1939)
Рудольф фон Келликер (Albert von Kölliker, 1817—1905)
Вильгельм Вальдейер (Heinrich Wilhelm Gottfried Waldeyer, 1836—1921)
Август-Анри Форель (Auguste-Henri Forel, 1848—1931)
Вильгельм Гис (Wilhelm His, 1831—1904)
Слайд 3

Нейронные сети Уоррен Мак-Калок (1898—1969) — американский нейропсихолог, нейрофизиолог, теоретик искусственных

Нейронные сети

Уоррен Мак-Калок (1898—1969) — американский нейропсихолог, нейрофизиолог, теоретик искусственных нейронных

сетей.

Уолтер Питтс (1923—1969) — американский нейролингвистик, логик и математик XX века.

Дональд Олдинг Хебб (1904—1985) — канадский физиолог и нейропсихолог.

В 1940 году У. Питтс познакомился с У. Мак-Каллоком, и они начинают заниматься идеей Мак-Калокка о создании электронного аналога нейрона. В 1943 году Питтс и Мак-Каллок опубликовали работу «Логическое исчисление идей, относящихся к нервной активности», в которой предложили понятие искусственной нейронной сети. Дональд Хебб в работе «Организация поведения» 1949 года описал основные принципы обучения нейронов.

Основополагающая работа Мак-Каллока и Питтса

Слайд 4

Нейрон Мак-Каллока и Питтса

Нейрон Мак-Каллока и Питтса

Слайд 5

Нейронные сети Гигантский аксон кальмара Долгопёрый прибрежный кальмар (Doryteuthis pealeii) Эндрю Хаксли и Алан Ходжкин

Нейронные сети

Гигантский аксон кальмара

Долгопёрый прибрежный кальмар (Doryteuthis pealeii)

Эндрю Хаксли и Алан

Ходжкин
Слайд 6

Нейронные сети

Нейронные сети

Слайд 7

Восстанавливаем топологию естественной сети Игра EyeWire, созданная учёными из MIT, помогает

Восстанавливаем топологию естественной сети

Игра EyeWire, созданная учёными из MIT, помогает создать

карту связей нейронов сетчатки мышонка по имени Гарольд. Исследователи придумали картировать сеть человеческими усилиями, чтобы на полученном массиве данных натренировать специализированный ИИ. Долгосрочная цель проекта — описать мозг человека. Воссоздание одного нейрона «вручную» требует примерно 50 человеко-часов рабочего времени. EyeWire использует изображения, полученные с помощью РЭМ в Институте медицинских исследований общества Макса Планка. Карта сетчатки состоит из множества «кубов», каждый из которых должны обработать несколько игроков. Затем компьютер сравнивает решения, определяет, какое из них верное, и присуждает очки.
Слайд 8

BLUE BRAIN 2005: завершение работ по созданию первой клеточной модели. Ноябрь

BLUE BRAIN

2005: завершение работ по созданию первой клеточной модели.
Ноябрь 2007: завершение

первой фазы, включавшей в себя разработку процесса создания на основе собираемого массива данных модели единичной колонки неокортекса, её валидации и исследования.
2008: первая искусственная колонка неокортекса (10 000 клеток).
Июль 2011: первое мезозамыкание 100 колонок неокортекса (1 000 000 клеток).
2014: планировалось получить полную модель крысиного мозга, данные пока не опубликованы (100 мезозамыканий, 100 000 000 клеток).
2015: учёные из École Polytechnique Fédérale de Lausanne (EPFL) разработали численную модель ранее неизвестной связи между глиальными астроцитами и нейронами. Эта модель описывает энергетический обмен в мозге через нейро-глиальные васкулярные модули (NGV). В настоящий момент эта вторичная сеть интегрируется в Blue Brain.
2023: оценочное время появления первой модели человеческого мозга (эквивалент 1000 мозгов крысы).
Слайд 9

Нейронные сети Аксон другого нейрона Тело нейрона Аксон Синапс Дендриты Дендриты Тело нейрона Вершина аксона

Нейронные сети

Аксон другого нейрона

Тело нейрона

Аксон

Синапс

Дендриты

Дендриты

Тело нейрона

Вершина аксона

Слайд 10

Нейронные сети

Нейронные сети

Слайд 11

Нейронные сети Розенблатт был яркой личностью: мастерски водил классический спортивный автомобиль

Нейронные сети

Розенблатт был яркой личностью: мастерски водил классический спортивный автомобиль MGA

и часто прогуливался со своим котом Тобермори.

Спортивный автомобиль MGA

TrueNorth — нейроморфный процессор II поколения от IBM (2014, DARPA SyNAPSE). Чип изготовлен по техпроцессу 28 нм на заводе Samsung. Cодержит 5.4 млрд транзисторов, что обеспечивает 1 млн эмулируемых «нейронов», 256 миллионов эмулируемых связей между нейронами — «синапсов».

Слайд 12

Нейроморфные процессоры

Нейроморфные процессоры

Слайд 13

Нейроморфная инженерия Рэйчел Гелхар из Calberch AMBER Lab и Терри Стюарт

Нейроморфная инженерия

Рэйчел Гелхар из Calberch AMBER Lab и Терри Стюарт из

НИС Канады работают над управлением протезом ноги AMPRO3 с помощью устройства Intel Kapoho Bay Loihi, чтобы нога могла лучше адаптироваться к непредвиденным кинематическим нарушениям во время ходьбы.

Pohoiki Springs (2019) — нейроморфный компьютер на основе 768 чипов Loihi (98304 нейроморфных ядра, 100,7 млн искусственных нейронов, 100 млрд искусственных синапсов).

Слайд 14

Нейронные сети

Нейронные сети

Слайд 15

Нейронные сети

Нейронные сети

Слайд 16

Нейронные сети

Нейронные сети

Слайд 17

Нейронные сети Дэвид Румельхарт (1942—2011) — американский учёный в области ИИ,

Нейронные сети

Дэвид Румельхарт (1942—2011) — американский учёный в области ИИ, переоткрыватель

многослойных перцептронов

Все виды перцептронов, предложенные Розенблаттом, начиная с 1958 года, являются по современной классификации многослойными. Однако в 1970-е годы интерес к перцептронам снизился, и в 1986 году Румельхарт сконструировал многослойный перцептрон заново. По причине терминологической неточности Румельхарта в литературе распространилось представление о том, что первоначальный перцептрон Розенблатта был примитивным и однослойным, и лишь Румельхарт обосновал необходимость введения скрытых слоёв.

Слайд 18

Коннекционизм, нейронные сети и марвин мински Марвин Ли Минский (1927—2016) —

Коннекционизм, нейронные сети и марвин мински

Марвин Ли Минский (1927—2016) — американский

учёный в области ИИ, сооснователь Лаборатории ИИ в MIT. В 1951 году сконструировал первую обучающуюся машину со случайно связанной нейросетью — SNARC. Автор книги «Перцептроны» (с С. Папертом), ставшей фундаментальной базой для последующих разработок в области искусственных нейронных сетей. Содержащаяся в книге критика исследований в этой области считается причиной утраты интереса к искусственным нейронным сетям в академических статьях 1970-х годов.

Марвин Ли Минский

Упс…

Слайд 19

Неокогнитрон Кунихико Фукусима Дэвид Хьюбелл «Наше первое настоящее открытие случилось совершено

Неокогнитрон

Кунихико Фукусима

Дэвид Хьюбелл

«Наше первое настоящее открытие случилось совершено неожиданно. На протяжении

двух или трёх часов у нас ничего не получалось. Затем постепенно мы начали различать какие-то смутные и непостоянные ответы при стимуляции где-то на границе между центром и периферией сетчатки. Мы как раз вставляли слайд на стекле в виде тёмного пятна в разъём офтальмоскопа, когда внезапно, через аудиомонитор, клетка зарядила как пулемёт. Спустя некоторое время, после небольшой паники, мы выяснили, что же случилось. Конечно, сигнал не имел никакого отношения к тёмному пятну. Во время того, как мы вставляли слайд на стекле, его край отбрасывал на сетчатку слабую, но чёткую тень, в виде прямой тёмной линии на светлом фоне. Это было именно то, чего хотела клетка, и, более того, она хотела, чтобы эта линия имела строго определённую ориентацию. Это было неслыханно. Сейчас даже трудно подумать и представить себе, насколько далеко мы были от какой-либо идеи относительно того, какую роль могут играть клетки коры в обычной жизни животного»

Торстон Визель

Слайд 20

Неокогнитрон

Неокогнитрон

Слайд 21

Рекуррентные нейронные сети

Рекуррентные нейронные сети

Слайд 22

Спасибо за внимание!

Спасибо за внимание!