Прикладная информатика: машинное обучение. Введение и обзор материала курса. Линейная регрессия с одной переменной

Содержание

Слайд 2

Машинное обучение 2 Робот Snail (ver. 2.0.0), построенный на базе платы

Машинное обучение

2
Робот Snail
(ver. 2.0.0), построенный на базе платы Arduino Uno

Прикладная

информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 3

3 Можно задавать любые вопросы! Мои знания в этой области ограничены

3

Можно задавать любые вопросы!
Мои знания в этой области ограничены …

Курсы

по машинному обучению (www.coursera.org, www.udacity.com и т.п.)

Курсовые и дипломные проекты на темы, связанные с машинным обучением

Диссертации и прочее …

… а также курсы в ФГБОУ ВО ЯрГУ
им. П. Г. Демидова («Методы машинного обучения» и «Системы технического зрения»)

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 4

План на сегодня Обзор программы курса Требования Введение в методы машинного

План на сегодня
Обзор программы курса
Требования
Введение в методы машинного обучения
Немного о жизни!
Что

такое машинное обучение?
Приложения машинного обучения
Алгоритмы машинного обучения
Линейная регрессия с одной переменной
Метод градиентного спуска
Базы данных

4

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 5

5 Цель курса Рассмотрение ряда задач и вопросов из области машинного

5

Цель курса
Рассмотрение ряда задач и вопросов из области машинного обучения для:
Создания

базиса с целью дальнейшего самообразования
Помощи в дальнейшей практической деятельности как в этой области, так и в смежных областях
Расширения кругозора
В общем станет понятнее что это такое и действительно ли вам это нужно

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 6

6 Структура курса Лекции Тематика курса охватывает: обучение с учителем, обучение

6

Структура курса
Лекции
Тематика курса охватывает: обучение с учителем, обучение без учителя, регрессия,

классификация, кластеризация, сокращение размерности данных, детектирование аномалий, машинное обучение на больших базах данных и глубокое обучение
Аттестация по курсу:
Решение практических заданий и тестов по перечисленным темам. Будем использовать язык программирования Python для решения практических заданий!

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 7

7 При решении практических заданий понадобятся Python 3 – высокоуровневый язык

7

При решении практических
заданий понадобятся
Python 3 – высокоуровневый язык программирования общего

назначения, ориентированный на повышение производительности разработчика и читаемости кода
А также дополнительные библиотеки: NumPy, SciPy, Matplotlib и Scikit-Learn
Опционально не будут лишними OpenCV, Pandas и Scikit-Image

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 8

8 Какую литературу можно найти? Marsland S. Machine Learning: An Algorithmic

8

Какую литературу можно найти?

Marsland S. Machine Learning: An Algorithmic Perspective, 2009
Мерков

А.Б. Распознавание образов: введение в методы статистического обучения, 2011
Лукьяница А.А., Шишкин А.Г. Цифровая обработка видеоизображений, 2009
Шапиро Л., Стокман Дж. Компьютерное зрение, 2006
Szeliski R. Computer vision: Algorithm and applications, 2010

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 9

9 Какую литературу можно найти? Много информации по теме курса можно

9

Какую литературу можно найти?
Много информации по теме курса можно найти в

сети Интернет
Профессиональный информационно-аналитический ресурс, посвященный машинному обучению, распознаванию образов и интеллектуальному анализу данных, http://www.machinelearning.ru
Большое количество видеолекций по тематике курса можно найти на http://www.youtube.com по ключевому слову machine learning

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 10

Немного рекламы! Online курс Стэнфордского университета «Машинное обучение» https://www.coursera.org/learn/machine-learning Прикладная информатика:

Немного рекламы!
Online курс Стэнфордского университета «Машинное обучение»
https://www.coursera.org/learn/machine-learning

Прикладная информатика: машинное обучение
ЯрГУ

им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

10

Слайд 11

Немного рекламы! Online курс Торонтского университета «Нейронные сети в машинном обучении»

Немного рекламы!
Online курс Торонтского университета «Нейронные сети в машинном обучении»
https://www.coursera.org/learn/neural-networks

Прикладная

информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

11

Слайд 12

Немного рекламы! Online курс Высшей школы экономики «Введение в машинное обучение»

Немного рекламы!
Online курс Высшей школы экономики «Введение в машинное обучение»
https://www.coursera.org/learn/vvedenie-mashinnoe-

obuchenie

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

12

Слайд 13

Немного рекламы! Другие курсы по машинному обучению на www.coursera.org Ищем по

Немного рекламы!
Другие курсы по машинному обучению на www.coursera.org
Ищем по ключевому

слову machine learning.
Курсов много, очень много!

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

13

Слайд 14

Немного рекламы! Online курс «Введение в машинное обучение» https://www.udacity.com/course/intro-to-machine- learning--ud120 Online

Немного рекламы!
Online курс «Введение в машинное обучение»
https://www.udacity.com/course/intro-to-machine-
learning--ud120
Online курс Технологического

института Джорджии «Машинное обучение»
https://www.udacity.com/course/machine-learning--
ud262
Online курс Стэнфордского университета «Введение в искусственный интеллект»
https://www.udacity.com/course/intro-to-artificial-
intelligence--cs271

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

14

Слайд 15

Немного о жизни! Распознавание лиц: Apple iPhoto software http://www.apple.com/ilife/iphoto/ 15 Прикладная

Немного о жизни!
Распознавание лиц: Apple iPhoto software

http://www.apple.com/ilife/iphoto/

15

Прикладная информатика: машинное обучение
ЯрГУ им.

П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 16

Немного о жизни! Спаму – нет! SPAM 16 Прикладная информатика: машинное

Немного о жизни!
Спаму – нет!

SPAM

16

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г.

Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 17

Машинное обучение Выросло из работ по искусственному интеллекту и является одной

Машинное обучение
Выросло из работ по искусственному интеллекту и является одной из

перспективных веток его развития
Предоставляет новую способность для компьютеров
Примеры:
Интеллектуальный анализ баз данных
Большие базы данных с ростом автоматизации/web (рекламные клики, медицинские записи, последовательности ДНК и т.п.)
Приложения, которые не могут быть запрограммированы вручную (автономный вертолет, распознавание рукописного текста и т.п.)
Самозаказывающие программы (Amazon, Netflix и т.п.)
Понимание обучения человека и человеческого мозга

17

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 18

Автономный вертолет Создан сотрудниками лаборатории «Искусственного интеллекта» Стэнфордского университета http://heli.stanford.edu/ 18

Автономный вертолет
Создан сотрудниками лаборатории «Искусственного интеллекта» Стэнфордского университета

http://heli.stanford.edu/

18

Прикладная информатика: машинное обучение
ЯрГУ

им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 19

Автономное вождение. Проект ALVINN Снимки сделаны 23 ноября 1992 года! Autonomous

Автономное вождение. Проект ALVINN

Снимки сделаны 23 ноября 1992 года!

Autonomous Land Vehicle

In a Neural Network (ALVINN) является системой, которая обучается управлять автомобилем путем наблюдения за вождением реального человека. Архитектура ALVINN основана на нейронной сети с одним скрытым слоем, обучаемой с использованием метода обратного распространения ошибки

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

19

Слайд 20

Stanley, Junior и Google-мобиль Stanley Junior Google-мобиль ALVINN Прикладная информатика: машинное

Stanley, Junior и Google-мобиль

Stanley

Junior

Google-мобиль

ALVINN

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017,

Владимир Волохов
e-mail: volokhov@piclab.ru

20

Слайд 21

Суперкомпьютер IBM Watson В 2011 г. компьютер одержал победу над двумя

Суперкомпьютер IBM Watson
В 2011 г. компьютер одержал победу над двумя людьми

в телепередаче Jeopardy («Своя игра»), получив один миллион долларов!

21

http://www.ted.com/talks/ken_jennings_watson_jeopardy_and_me_the_obsolete_know_it_all?language=ru

Кен Дженнингс: «Ватсон», «Своя игра» и я, устаревший всезнайка

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 22

Компьютерное зрение Распознавание лиц, подписи, отпечатков пальцев, радужной оболочки глаза Иванов

Компьютерное зрение
Распознавание лиц, подписи, отпечатков пальцев, радужной оболочки глаза

Иванов
Иван

Иванович

22

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 23

Компьютерное зрение Зрение для роботов AiBo (японская собака-робот, изобретение компании Sony)

Компьютерное зрение
Зрение для роботов

AiBo (японская собака-робот, изобретение компании Sony)

Teddy (японский медведь-робот,

изобретение
компании Fujitsu)

23

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 24

Компьютерное зрение Ли Ф.-Ф. Как мы учим компьютер понимать изображения? 24

Компьютерное зрение
Ли Ф.-Ф. Как мы учим компьютер понимать изображения?

24

https://www.ted.com/talks/fei_fei_li_how_we_re_teaching_computers_to_understand_pictures?language=en#t-5181

Прикладная информатика: машинное

обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 25

Компьютерное зрение Ли Ф.-Ф. Как мы учим компьютер понимать изображения? 25

Компьютерное зрение
Ли Ф.-Ф. Как мы учим компьютер понимать изображения?

25

https://www.ted.com/talks/fei_fei_li_how_we_re_teaching_computers_to_understand_pictures?language=en#t-5181

Прикладная информатика: машинное

обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 26

Что такое машинное обучение? А. Самуэль (Arthur Samuel), 1959 г.: Машинное

Что такое машинное обучение?
А. Самуэль (Arthur Samuel), 1959 г.: Машинное обучение

– это область исследования, которая предоставляет компьютеру, не будучи явно запрограммированному, возможность к обучению

26

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 27

Что такое машинное обучение? А. Самуэль (Arthur Samuel), 1959 г.: Машинное

Что такое машинное обучение?
А. Самуэль (Arthur Samuel), 1959 г.: Машинное обучение

– это область исследования, которая предоставляет компьютеру, не будучи явно запрограммированному, возможность к обучению
Т. Митчелл (Том Mitchell), 1998 г.: конкретно поставленная задача обучения. Говорят, что компьютерная программа способна к обучению из опыта E по отношению к некоторой задаче T и критерию качества работы P, если ее производительность на T, как мера P, улучшается с опытом E

27

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 28

Что такое машинное обучение? Обучение = приспособление Обучаясь, мы становимся более

Что такое машинное обучение?
Обучение = приспособление
Обучаясь, мы становимся более приспособленными к

окружающей среде
Обучение ≠ «заучивание наизусть»
Заучить наизусть – для машины не проблема
Мы хотим научить машину делать выводы!

28

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 29

Алгоритмы машинного обучения Обучение с учителем (Supervised Learning). Алгоритм машинного обучения

Алгоритмы машинного обучения
Обучение с учителем (Supervised Learning). Алгоритм машинного обучения обобщает

на основе размеченного множества тренировочных примеров
Обучение без учителя (Unsupervised Learning). Размеченное тренировочное множество отсутствует. Алгоритм машинного обучения пытается самостоятельно определить сходство между входами. Поэтому входы, которые имеют что-то общее объединяются в общую категорию

29

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 30

Обучение с учителем Регрессия (предсказание непрерывной выходной величины, например, цены на

Обучение с учителем

Регрессия (предсказание непрерывной выходной величины, например, цены на недвижимость)

Цена

в 1000-х
долларов

100

200

300

400

500

1000

1500

2000

2500

30

Площадь в квадратных футах

Предскажем стоимость
дома по его площади

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 31

Обучение с учителем Регрессия (предсказание непрерывной выходной величины, например, цены на

Обучение с учителем

Регрессия (предсказание непрерывной выходной величины, например, цены на недвижимость)

Цена

в 1000-х
долларов

100

200

300

400

500

1000

1500

2000

2500

предсказанное
значение

произвольная площадь

31

Площадь в квадратных футах

Предскажем стоимость
дома по его площади

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 32

Обучение с учителем Регрессия (предсказание непрерывной выходной величины, например, цены на

Обучение с учителем

Регрессия (предсказание непрерывной выходной величины, например, цены на недвижимость)

Площадь

в квадратных футах

Цена в 1000-х
долларов

100

200

300

400

500

1000

1500

2000

2500

произвольная площадь

предсказанное
значение

32

Предскажем стоимость
дома по его площади

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 33

Обучение с учителем Классификация (предсказание дискретной выходной величины, например, 0 или

Обучение с учителем

Классификация (предсказание дискретной выходной величины, например, 0 или 1)

Размер

опухоли

Злокачественная опухоль?

0 (N)

1 (P)

33

Рак молочной железы
(злокачественный или
доброкачественный)

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 34

Обучение с учителем Классификация (предсказание дискретной выходной величины, например, 0 или

Обучение с учителем

Классификация (предсказание дискретной выходной величины, например, 0 или 1)

Размер

опухоли

Злокачественная опухоль?

0 (N)

1 (P)

найти
границу решения!

34

Рак молочной железы
(злокачественный или
доброкачественный)

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 35

Обучение с учителем Классификация (предсказание дискретной выходной величины, например, 0 или

Обучение с учителем

Классификация (предсказание дискретной выходной величины, например, 0 или 1)

Размер

опухоли

Злокачественная опухоль?

0 (N)

1 (P)

найти
границу решения!

предсказать тип опухоли для ее произвольного размера

35

Рак молочной железы
(злокачественный или
доброкачественный)

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 36

Обучение без учителя Длительность выброса, минуты Время между выбросами, минуты 40

Обучение без учителя

Длительность выброса, минуты

Время между выбросами, минуты

40

50

60

70

80

90

1

2

3

4

5

6

36

Рассмотрим метод
К-средних и

задачку
с гейзером

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 37

Обучение без учителя Длительность выброса, минуты Время между выбросами, минуты 40

Обучение без учителя

Длительность выброса, минуты

Время между выбросами, минуты

40

50

60

70

80

90

1

2

3

4

5

6

37

Это кластеризация данных!

Рассмотрим метод


К-средних и задачку
с гейзером

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 38

Кластеризация в Google News 38 Прикладная информатика: машинное обучение ЯрГУ им.

Кластеризация в Google News

38

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017,

Владимир Волохов
e-mail: volokhov@piclab.ru
Слайд 39

Кластеризация в Google News 39 Прикладная информатика: машинное обучение ЯрГУ им.

Кластеризация в Google News

39

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017,

Владимир Волохов
e-mail: volokhov@piclab.ru
Слайд 40

Кластеризация в Google News 40 Прикладная информатика: машинное обучение ЯрГУ им.

Кластеризация в Google News

40

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017,

Владимир Волохов
e-mail: volokhov@piclab.ru
Слайд 41

Кластеризация в Google News 41 Прикладная информатика: машинное обучение ЯрГУ им.

Кластеризация в Google News

41

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017,

Владимир Волохов
e-mail: volokhov@piclab.ru
Слайд 42

Еще несколько примеров кластеризации! Организация компьютерных кластеров Анализ социальных сетей Анализ

Еще несколько примеров кластеризации!

Организация компьютерных кластеров

Анализ социальных сетей

Анализ астрономических данных

Сегментация рынка

42

Прикладная

информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 43

Алгоритмы машинного обучения Обучение по алгоритму типа «кнут и пряник» или

Алгоритмы машинного обучения
Обучение по алгоритму типа «кнут и пряник» или стимулированное

обучение (Reinforcement Learning). Алгоритм машинного обучения получает подсказку, когда его ответ является ошибочным и не получает, когда ответ является правильным
Эволюционное обучение (Evolutionary Learning). Биологические организмы адаптируются для того, чтобы улучшить свою выживаемость и шансы иметь потомство в окружающей их среде. Смоделируем подобное на компьютере!

43

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 44

Линейная регрессия с одной переменной Регрессия (предсказание непрерывной выходной величины, например,

Линейная регрессия с одной переменной

Регрессия (предсказание непрерывной выходной величины, например, цены

на недвижимость)

Площадь в квадратных футах

Цена в 1000-х
долларов

100

200

300

400

500

1000

1500

2000

2500

44

Рассматриваем обучение
с учителем (даны правиль-
ные ответы для каждого
примера в данных)

Предскажем стоимость
дома по его площади

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 45

Линейная регрессия с одной переменной Тренировочное множество данных (скажем, всего m)

Линейная регрессия с одной переменной

Тренировочное множество данных (скажем, всего m)

45

Обозначения: m

= число тренировочных примеров
x = «входная» переменная / свойство
y = «выходная» переменная / «метка»
(x(i), y(i)) = i-й тренировочный пример

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 46

Линейная регрессия с одной переменной 46 Тренировочное множество Алгоритм обучения h

Линейная регрессия с одной переменной

46

Тренировочное множество

Алгоритм обучения

h

Площадь

Оценка цены

Последовательность действий

Гипотеза

Гипотеза h выглядит

так: hQ(x) = Q0 + Q1 x

Как оценить Q0 и Q1 ?

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 47

Линейная регрессия с одной переменной 47 Последовательность действий Цена в 1000-х

Линейная регрессия с одной переменной

47

Последовательность действий

Цена в 1000-х
долларов

100

200

300

400

500

1000

1500

2000

2500

Площадь в

квадратных футах

Гипотеза h выглядит так: hQ(x) = Q0 + Q1 x

Как оценить Q0 и Q1 ?

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 48

Стоимостная функция (Cost Function) 48 Идея! Выбрать Q0 и Q1 так,

Стоимостная функция (Cost Function)

48

Идея! Выбрать Q0 и Q1 так, чтобы hQ(x)

являлась близкой к значениям y для всех тренировочных примеров

Цена в 1000-х
долларов

100

200

300

400

500

1000

1500

2000

2500

Площадь в квадратных футах

Введем стоимостную
функцию J(Q0, Q1)
и минимизируем ее:

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 49

Как минимизировать стоимостную функцию для линейной регрессии с одной переменной? 49

Как минимизировать стоимостную функцию для линейной регрессии с одной переменной?

49

Использование нормальных

уравнений (normal equation)
Рассмотрим на следующей лекции
Подход работает только для линейной регрессии
Использование методов численной оптимизации,
например, метода градиентного спуска
Рассмотрим на этой лекции. Более конкретно будем рассматривать групповой градиентный спуск («Batch» Gradient Descent). Групповой означает, что на каждом этапе градиентного спуска используются все тренировочные примеры
Подход может быть использован и для других методов машинного обучения, например, нейронных сетей

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 50

Метод градиентного спуска 50 Постановка задачи Имеется некоторая стоимостная функция J(Q0,

Метод градиентного спуска

50

Постановка задачи
Имеется некоторая стоимостная функция J(Q0, Q1)
Необходимо найти

такие значения Q0, Q1, чтобы функция J(Q0, Q1) стала минимальной
Решение задачи
Стартуем из некоторых значений Q0, Q1, например, равных величине ноль
Продолжаем изменение значений Q0, Q1 до тех пор, пока не достигнем минимума. Минимум достижим не всегда!

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 51

Пример работы градиентного спуска 51 Q1 Q0 J(Q0, Q1) Прикладная информатика:

Пример работы градиентного спуска

51

Q1

Q0

J(Q0, Q1)

Прикладная информатика: машинное обучение
ЯрГУ им. П.

Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 52

Пример работы градиентного спуска 52 Q1 Q0 J(Q0, Q1) Прикладная информатика:

Пример работы градиентного спуска

52

Q1

Q0

J(Q0, Q1)

Прикладная информатика: машинное обучение
ЯрГУ им. П.

Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 53

Метод градиентного спуска. Реализация 53 repeat until convergence { } (j

Метод градиентного спуска. Реализация

53

repeat until convergence
{
}

(j = 0 и j =

1)

Правильная реализация
(параметры Q0, Q1
обновляются одновременно)

Неправильная реализация
(параметры Q0, Q1 обновляются
не одновременно)

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 54

Метод градиентного спуска. Реализация 54 Скорость сходимости алгоритма регулируется параметром α

Метод градиентного спуска. Реализация

54

Скорость сходимости алгоритма регулируется параметром α
Если α маленькое,

то градиентный спуск может быть медленным
Если α большое, то градиентный спуск может проскочить минимум. Алгоритм может не сходиться или даже расходиться
Градиентный спуск может сходиться к локальному минимуму, даже если α является фиксированным
При приближении к локальному минимуму градиентный спуск будет автоматически выполнять более малые шаги. Поэтому нет необходимости уменьшать α через некоторое время

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 55

Градиентный спуск для линейной регрессии 55 repeat until convergence { }

Градиентный спуск для линейной регрессии

55

repeat until convergence
{
}

(j = 0 и

j = 1)

Вычислив производные получим

repeat until convergence
{
}

параметры Q0, Q1
обновляются
одновременно

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 56

Пример формы стоимостной функции 56 Q1 Q0 J(Q0, Q1) Прикладная информатика:

Пример формы стоимостной функции

56

Q1

Q0

J(Q0, Q1)

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г.

Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 57

Пример формы стоимостной функции 57 Q1 Q0 J(Q0, Q1) Прикладная информатика:

Пример формы стоимостной функции

57

Q1

Q0

J(Q0, Q1)

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г.

Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 58

Пример формы стоимостной функции для линейной регрессии 58 Функция J(Q0, Q1

Пример формы стоимостной функции
для линейной регрессии

58

Функция J(Q0, Q1 ) является выпуклой

Прикладная

информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 59

Пример работы градиентного спуска для линейной регрессии 59 J(Q0, Q1) –

Пример работы градиентного спуска
для линейной регрессии

59

J(Q0, Q1) – это функция

параметров Q0 и Q1

hQ(x) – это функция x для фиксированных Q0 и Q1

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 60

Пример работы градиентного спуска для линейной регрессии 60 J(Q0, Q1) –

Пример работы градиентного спуска
для линейной регрессии

60

J(Q0, Q1) – это функция

параметров Q0 и Q1

hQ(x) – это функция x для фиксированных Q0 и Q1

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 61

Пример работы градиентного спуска для линейной регрессии 61 J(Q0, Q1) –

Пример работы градиентного спуска
для линейной регрессии

61

J(Q0, Q1) – это функция

параметров Q0 и Q1

hQ(x) – это функция x для фиксированных Q0 и Q1

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 62

Пример работы градиентного спуска для линейной регрессии 62 J(Q0, Q1) –

Пример работы градиентного спуска
для линейной регрессии

62

J(Q0, Q1) – это функция

параметров Q0 и Q1

hQ(x) – это функция x для фиксированных Q0 и Q1

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 63

Пример работы градиентного спуска для линейной регрессии 63 J(Q0, Q1) –

Пример работы градиентного спуска
для линейной регрессии

63

J(Q0, Q1) – это функция

параметров Q0 и Q1

hQ(x) – это функция x для фиксированных Q0 и Q1

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 64

Пример работы градиентного спуска для линейной регрессии 64 J(Q0, Q1) –

Пример работы градиентного спуска
для линейной регрессии

64

J(Q0, Q1) – это функция

параметров Q0 и Q1

hQ(x) – это функция x для фиксированных Q0 и Q1

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 65

Пример работы градиентного спуска для линейной регрессии 65 J(Q0, Q1) –

Пример работы градиентного спуска
для линейной регрессии

65

J(Q0, Q1) – это функция

параметров Q0 и Q1

hQ(x) – это функция x для фиксированных Q0 и Q1

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 66

Пример работы градиентного спуска для линейной регрессии 66 J(Q0, Q1) –

Пример работы градиентного спуска
для линейной регрессии

66

J(Q0, Q1) – это функция

параметров Q0 и Q1

hQ(x) – это функция x для фиксированных Q0 и Q1

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 67

Пример работы градиентного спуска для линейной регрессии 67 J(Q0, Q1) –

Пример работы градиентного спуска
для линейной регрессии

67

J(Q0, Q1) – это функция

параметров Q0 и Q1

hQ(x) – это функция x для фиксированных Q0 и Q1

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 68

Данные, данные, данные … К.В. Воронцов (ШАД Яндекс): «Кто обучает машину?

Данные, данные, данные …

К.В. Воронцов (ШАД Яндекс): «Кто обучает машину? Может

быть мы? Может быть вы? Оба ответа неверны. Машина обучается на данных! Они называются обучающей выборкой»

68

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 69

Kaggle помогает вам учиться, работать и играть Соревнования, базы данных и

Kaggle помогает вам учиться, работать и играть
Соревнования, базы данных и программные

коды на www.kaggle.com

69

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 70

Конкурс PASCAL VOC Pattern Analysis, Statistical Modeling and Computational Learning Visual

Конкурс PASCAL VOC
Pattern Analysis, Statistical Modeling and Computational Learning Visual Object

Classes Challenge
Конкурс больше не проводится
Доступны материалы прошлых лет (базы данных,
отчеты и т.п.)

70

Прикладная информатика: машинное обучение
ЯрГУ им. П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru

Слайд 71

База данных ImageNet Большая база данных цифровых изображений 71 Прикладная информатика:

База данных ImageNet
Большая база данных цифровых изображений

71

Прикладная информатика: машинное обучение
ЯрГУ им.

П. Г. Демидова

2017, Владимир Волохов
e-mail: volokhov@piclab.ru