Применение метода опорных векторов для решения задачи прогнозирования и классификации

Слайд 2

Задачи прогнозирования и классификации 2 Задача прогнозирования (1) Рассматривается функция вида

Задачи прогнозирования и классификации

2

Задача прогнозирования

(1)

Рассматривается функция вида

Xi – набор параметров, доступных

для наблюдения или вычисления
Как правило, Xi – вещественный вектор нормализованных значений
[0, 1] или [-1, 1]. Y – набор вещественных чисел.
Слайд 3

Задачи прогнозирования и классификации 3 Задача классификации Y – набор признаков

Задачи прогнозирования и классификации

3

Задача классификации

Y – набор признаков
Принадлежности [0, 1] или

[-1, 1]

Xi – набор атрибутов

Возможные методы решения:
нейронные сети; метод опорных векторов; регрессионный анализ; ассоциативные правила и т.д.

Слайд 4

Метод опорных векторов SVM 4 Support Vector Machine (SVM) ВАПНИК Владимир

Метод опорных векторов SVM

4

Support Vector Machine (SVM)

ВАПНИК Владимир Наумович

В своем нынешнем

виде метод был разработан в 1995 г. в подразделении корпорации AT&T Bell Laboratories под руководством В.Н. Вапника - выдающегося ученого в сфере машинного обучения.
Основная идея метода сводится к построению оптимальной разделяющей гиперплоскости в пространстве признаков высокой размерности. Оптимальность понимается в смысле минимизации верхних оценок вероятности ошибки обобщения.
Слайд 5

Метод опорных векторов SVM 5 Задача бинарной классификации Х – объект

Метод опорных векторов SVM

5

Задача бинарной классификации

Х – объект классификации, вектор в

n-мерном пространстве

Xi – набор атрибутов (признаков объекта)
чем больше значение координаты, тем больше признак выражен у объекта.

(2)

Задача сводится к нахождения правила, в соответствии с которым любой произвольный объект классификации X может быть отнесет к одному из классов

(3)

F(x) – линейный классификатор
разделяющая гиперплоскость

Слайд 6

Метод опорных векторов SVM 6 Задача прогнозирования Исходные данные (3) Задача

Метод опорных векторов SVM

6

Задача прогнозирования

Исходные данные

(3)

Задача – найти оценку для произвольного

вектора атрибутов

Интерполирующая функция F(X) ищется при минимизации функционала вида

(4)

При наличии ограничений

(5)

Слайд 7

Метод опорных векторов SVM 7 Задача прогнозирования Двойственная задача – поиск

Метод опорных векторов SVM

7

Задача прогнозирования

Двойственная задача – поиск функциональной зависимости

(6)

- ядерная

функция, симметричная функция, удовлетворяющая условиям Мерсера

Определение значения параметра C, а также определение вида ядерной функции K(.,.) во многом определяет насколько точно будет получена регрессионная модель для получения прогноза значения функции по набору заданных параметров.

Слайд 8

Метод опорных векторов SVM 8 Программная реализация метода LIBSVM − A

Метод опорных векторов SVM

8

Программная реализация метода

LIBSVM − A Library for Support

Vector Machines
http://www.csie.ntu.edu.tw/~cjlin/libsvm/
Chih-Chung Chang и Chih-Jen Lin − Национальный Тайваньский университет
Реализация библиотеки включена в такие продукты как R, Matlab
LibSVMsharp – обертка под .NET
https://github.com/ccerhan/LibSVMsharp
libsvm.net
https://github.com/nicolaspanel/libsvm.net