Распознавание изображений. Выделение признаков

~ 90% информации человек получает через зрение
Это очень информативный источник
Множество рутинной

Распознавание изображений

В XXI веке появились большие вычислительные мощности
Получать цифровые изображения стало

За последние 10 лет произошел огромный толчок
КЗ нашло свое применение:
Распознавание людей (отпечаток

Сужаем класс задач
Наши условия:
Есть изображение
На нем есть объект
Необходимо отнести его к

Общий алгоритм

Фильтрация от шума

На всех реальных изображениях присутствует шум
Шум распределен в широкой

Фильтр низких частот
Свертка с прямоугольным окном
Свертка с гауссовым окном

Фильтры низких частот

Выбор окрестности
Сортировка
Выбор значения из середины

Медианный фильтр

Фильтрация от шума

Метод наращивания и соединения областей

Исходное изображение

Наращивание
Промежуточных областей

Смежные области объединяются

Сегментированное изображение

Результат сегментации

Есть картинка, и что?

Компьютер понимает только формальное описание
Например классификацию точек на плоскости

Очень много информации
На обычном hd снимке 1280 * 720 ~ 1

Проблемы освещенности

Искажения перспективы

Аберрации линзы (рыбий глаз)

Вариация формы

Встречаются почти всегда

Эталон

Сдвиг

Масштабное преобразование

Поворот

Выделение признаков для изображений символов

Предположения:
Изображение полутоновое
Символ на картинке один
Задача:
Сопоставить изображению набор

Математическое представление изображения

Это функция двух переменных (непрерывный случай)
Это матрица (дискретный случай)

Математическое представление изображения

Справедливы:
Сложение
Вычитание
Умножение
Деление
Возведение в степень
И т.д.

Физическое представление изображения

Это плоская фигура (непрерывный случай)
Это система материальных точек (дискретный

Инвариантность относительно сдвига

Буква – это твердое тело
С каждой точкой ТТ можно

Выбор начала отсчета

Нормальный выбор – центр буквы
Очень просто вычислить
Но что происходит

Центр масс изображения

Центр масс изображения

Инвариантность относительно масштаба

Надо изменить масштаб распознаваемого изображения
Какую область масштабировать?
Во сколько раз?

Какую область масштабировать?

Какую область масштабировать?

Она должна быть связана с размерами символа
Можно выбрать описанный

Статистические характеристики

Удобно рассмотреть распределение пикселей по удаленности от центра масс
Это функция

Статистические характеристики

Область точно не надо брать уже, чем математическое ожидание расстояния
Насколько

Статистические характеристики

Во сколько раз масштабировать?

Под размер шаблона с которым будет делаться сравнение
Шаблон

Не случится ли беды?

Делаем масштабирование в прямом пространстве
Растяжение переходит в сжатие,

Не случится ли беды?

Появление высоких частот при фиксированной частоте дискретизации может

Этапы масштабной нормализации

Исходный символ

Свертка с Гауссовым фильтром

Отмасштабированный символ

Линейная алгебра

Функция это элемент гильбертова пространства. Как вектор.
Скалярное произведение:
Ортонормированный базис:

Разложение векторов

Если размерность базиса (кол-во векторов в нем) совпадает с размерностью

Моменты

В функциональном пространстве скалярное произведение f(x) на g(x) назвали:
Момент f(x) относительно

Базисы

Не ортогональный:
Регулярный базис
Регулярные моменты
Ортогональные
Базис Цернике
Моменты Цернике
Базис Уолша
Моменты Уолша

Полиномы Цернике

Ортогональность
Легко восстановить изображение
Коэффициенты слабо коррелированы
Модуль коэффициентов
инвариантен к повороту

Восстановление изображения

Чтобы восстановить изображение надо найти коэффициенты
Формула для восстановления

А если изображение повернуто?

Выбираем признаки
Либо надо исключить информацию о повороте
Либо надо

Поворот в исходное положение

Вспомним физическую интерпретацию изображения
Как у любого твердого тела, у

Определение поворота по собственной системе координат

Рассчитывается тензор инерции
Определяются собственные направления
Сравниваются направления

Модуль моментов

Возьмем модуль от моментов Цернике
Сделаем сдвиг
Очень удобно