Обучение с учителем. Линейная регрессия

Сентябрь 11, 2022

Главная
Экономика
Обучение с учителем. Линейная регрессия

Содержание

2. ОБУЧЕНИЕ С УЧИТЕЛЕМ
4. НЕМНОЖКО ФОРМАЛИЗМА X – input features Y – target variable (xi ; yi) – training example
5. ЦЕЛЬ ОБУЧЕНИЯ С УЧИТЕЛЕМ Prediction function h : X -> Y Регрессия – бесконечное множество Классификация
6. ВСПОМНИМ ПРИМЕР
8. МЕТОД ГРАДИЕНТНОГО СПУСКА Нужно найти такие коэффициенты, чтобы минимизировать функцию стоимости J.
10. ПСЕВДООБРАТНАЯ МАТРИЦА МУРА - ПЕНРОУЗА Пусть A – m x n матрица. Матрица C называется псевдообратной
11. СИСТЕМЫ ЛИНЕЙНЫХ УРАВНЕНИЙ И СВЯЗЬ С ЛИНЕЙНОЙ РЕГРЕССИЕЙ Пусть Ax = B – С.Л.У Теорема Мура
12. ПРИМЕРЫ НЕЛИНЕЙНЫХ МОДЕЛЕЙ РЕГРЕССИИ
13. ПЕРЕОБУЧЕНИЕ И РЕГУЛЯРИЗАЦИЯ Переобучение - нежелательное явление, возникающее при решении задач обучения по прецедентам, когда вероятность
14. РАЗБЕРЕМ ПРИМЕР Будем апроксимировать Обучающая выборка Модель Алгоритм Тестовая выборка
15. P = 2 : НЕДООБУЧЕНИЕ
16. P = 20 : ОПТИМАЛЬНАЯ МОДЕЛЬ
17. P = 40: ПЕРЕОБУЧЕНИЕ
18. РЕГУЛЯРИЗАЦИЯ Штраф к функции ошибки ( или функция стоимости )
19. СРАВНЕНИЕ
21. Скачать презентацию

Слайд 2

ОБУЧЕНИЕ С УЧИТЕЛЕМ

Слайд 3

Слайд 4

НЕМНОЖКО ФОРМАЛИЗМА
X – input features
Y – target variable
(xi ; yi) –

training example
{ (xi ; yi) i = 1 … m } – training set

Слайд 5

ЦЕЛЬ ОБУЧЕНИЯ С УЧИТЕЛЕМ
Prediction function h : X -> Y
Регрессия

– бесконечное множество
Классификация – конечное множество (дискретные величины)

Слайд 6

ВСПОМНИМ ПРИМЕР

Слайд 7

Слайд 8

МЕТОД ГРАДИЕНТНОГО СПУСКА
Нужно найти такие коэффициенты, чтобы минимизировать функцию стоимости J.

Слайд 9

Слайд 10

ПСЕВДООБРАТНАЯ МАТРИЦА МУРА - ПЕНРОУЗА
Пусть A – m x n матрица.

Матрица C называется псевдообратной к A, если:
ACA = A
CAC = C
(AC)* = AC
(CA)* = CA
Обозначение: C = A+

Слайд 11

СИСТЕМЫ ЛИНЕЙНЫХ УРАВНЕНИЙ И СВЯЗЬ С ЛИНЕЙНОЙ РЕГРЕССИЕЙ
Пусть Ax = B

– С.Л.У
Теорема Мура – Пенроуза:
x = A+B + (En – A+A)y, где y из Rn

Слайд 12

ПРИМЕРЫ НЕЛИНЕЙНЫХ МОДЕЛЕЙ РЕГРЕССИИ

Слайд 13

ПЕРЕОБУЧЕНИЕ И РЕГУЛЯРИЗАЦИЯ
Переобучение - нежелательное явление, возникающее при решении задач обучения

по прецедентам, когда вероятность ошибки обученного алгоритма на тестовой выборке оказывается существенно выше, чем средняя ошибка на обучающей выборке. Переобучение возникает при использовании избыточно сложных моделей
Недообучение - нежелательное явление, возникающее при решении задач обучения по прецедентам, когда алгоритм обучения не обеспечивает достаточно малой величиный средней ошибки на обучающей выборке. Недообучение возникает при использовании недостаточно сложных

Слайд 14

РАЗБЕРЕМ ПРИМЕР
Будем апроксимировать
Обучающая выборка
Модель
Алгоритм
Тестовая выборка

Слайд 15

P = 2 : НЕДООБУЧЕНИЕ

Слайд 16

P = 20 : ОПТИМАЛЬНАЯ МОДЕЛЬ

Слайд 17

P = 40: ПЕРЕОБУЧЕНИЕ

Слайд 18

РЕГУЛЯРИЗАЦИЯ
Штраф к функции ошибки ( или функция стоимости )

Слайд 19

СРАВНЕНИЕ