Машинное обучение и анализ данных. Линейные модели. Логистическая регрессия

Обзор предыдущей лекции

Кривые обучения

Содержание
Нелинейное преобразование(обобщение)
Логистическая регрессия

Нелинейное преобразование

Цена, которую мы платим за нелинейное преобразование

Два линейно неразделимых случая

Первый случай

Два способа решения:
1) Использовать линейную модель для Ein>0
2) Положить Ein=0

Второй случай

Перейти к преобразованию
Или лучше:
Или:
Или даже:

Логистическая регрессия
1) Модель
2) Мера ошибки
3) Алгоритм

Линейные модели

Логистическая функция

«Мягкий порог»
Функция θ интерпретируется как вероятность

Данные (x,y), где y бинарная функция, генерируются «шумной» ЦФ
Функция - вероятность
Изучаем

Мера ошибки. Метод максимального правдоподобия

Правдоподобие определяется

Максимизируем правдоподобие
Минимизируем
«кросс-энтропийная» ошибка

Как минимизировать Ein?
Метод градиентного спуска

Как выбрать направление

Какая длина шага?

Простое применение

Вместо
Используем
С фиксированным η

Алгоритм логистической регрессии

Обзор линейных моделей