Методы и средства обработки изображений. (Лекция 3)

Сегментация изображений

Лекция 3

Many slides adapted from Fei-Fei Li, Rob Fergus, Antonio

Из чего состоит изображение?

Из «кусков» - отдельных объектов

Сегментация

Сегментация - это способ разделения сцены на «куски», с которыми

Результат сегментации

Как мы будем записывать результат сегментации?
Сделаем карту разметки

Простейшая сегментация

Чем отличаются объекты на этом изображении?

Все объекты яркие, фон

Пороговая бинаризация

Пороговая бинаризация

Пороговая фильтрация (thresholding)
Пиксели, которых выше/ниже некоторого порога, заданного «извне»,

Пороговая бинаризация

Пороговая фильтрация

Более интересный способ – определение порога автоматически, по характеристикам

Анализ гистограммы

Анализ симметричного пика гистограммы
Применяется когда фон изображения дает

Анализ гистограммы

Сгладить гистограмму;
Найти ячейку гистограммы hmax с максимальным значением;

Адаптивная бинаризация

Адаптивная бинаризация

Необходима в случае неравномерной яркости фона/объекта.
Для каждого пикселя

Адаптивная бинаризация

Шум в бинарных изображениях

Часто возникает из-за невозможности полностью подавить шум в

Шум в бинарных изображениях

По одному пикселю невозможно определить – шум

Подавление и устранение шума

Широко известный способ - устранение шума с

Математическая морфология

Множество A обычно является объектом обработки
Множество B (называемое структурным

Операция «расширение»

Операция «расширение» - аналог логического «или»

А

А(+)B

Операция «расширение»

Расширение (dilation)
A (+) B = {t  R2:

Операция «cужение»

Сужение (erosion)
A (-) B = (AC (+) B)С, где

Операция «cужение»

Что будет?

Операция «cужение»

Операция «cужение»

Метрики

Евклидово расстояние:
ДE(p,q)=[(x-s)2+(y-t)2]1/2 
Модульное расстояние (метрика городских кварталов): 
Д4(p,q)= │x-s│+│y-t│ 
Шахматное расстояние:
Д8(p,q) = max{│x-s│,│y-t│}

Метрики

Важное замечание

Результат морфологических операций во многом определяется применяемым структурным элементом.

Операция выделения контура объекта

При работе с бинарными изображениями контуры объекта

Операция выделения контура объекта

Операции раскрытия и закрытия

Морфологическое раскрытие (opening)
open(A,B)=(A(-)B)(+)B
Морфологическое закрытие (closing)

Применение открытия

Сужение vs Открытие

Дефекты бинаризации

Применение закрытия

Применим операцию закрытия к изображению с дефектами объектов:

Не лучший пример для морфологии

Применение операции «открытия»

Часто помогает медианная фильтрация!

Медианный фильтр

Фильтр с окрестностью 3x3
Теперь можем с помощью морфологии

Что дальше?

Выделение связных областей

Определение связной области:
Множество пикселей, у каждого пикселя которого

Разметка связных областей

Рекурсивный алгоритм

Рекурсивный алгоритм

Последовательное сканирование

Последовательное сканирование

Выделенные связанные компоненты

Анализ выделенных областей

Геометрические признаки

Для каждой области можно подсчитать некий набор простейших числовых

Площадь и центр масс

Периметр и компактность

Подсчет периметра области

Пиксель лежит на границе области, если он сам

Пример периметров области

Инвариантные характеристики

Ориентация главной оси инерции

Пример

Фотометрические признаки

Для каждой области можно подсчитать некий набор простейших числовых

Как анализировать признаки

Как анализировать признаки

Как воспользоваться признаками для классификации?
Подобрать диапазоны значений

Ручной подбор

Из общих соображений:
Ложки более вытянутые, чем сахарные кусочки

Графический анализ

Собрать тренировочную базу изображений
Где только ложки
Где только сахар

Графический анализ

Диаграмма распределения эксцентриситета
(проблема – не получается отличить шум от

Графический анализ

График распределения эксцентриситета и площади (гораздо лучше – можем

Метод k-средних

Метод k-средних – метод кластеризации данных. Целью задачи кластеризации

Метод k-средних

Дано:
Набор векторов , i = 1,…, p;
k – число

Метод k-средних

Алгоритм:
1. Случайным образом выбрать k средних mj j =

Метод k-средних

Метод k-средних

Метод k-средних

Недостатки

Не гарантируется достижение глобального минимума суммарного квадратичного отклонения V, а только

Признаки изображения

Какие признаки мы можем использовать для сравнения пикселей и

Пример

Текстура

Это типичные примеры текстурных шаблонов для исследований психофизиологоического восприятия изображений
Человек

«Простые клетки» V1

Психологическое свойство текстуры

Форма из текстуры

Схема простого алгоритма

Jean Baptiste Joseph Fourier

Дикая идея (1807):
Любая периодическая функция может

Преобразование Фурье

Преобразование Фурье

Быстрое преобразование Фурье

Для вычисления всех коэффициентов через скалярное произведение требуется

Пример

g(t) = sin(2pf t) + (1/3)sin(2p(3f) t)

Пример

g(t) = sin(2pf t) + (1/3)sin(2p(3f) t)

Ограниченный сигнал

Как быть, если сигнал задан на отрезке?
Продлить сигнал за

Прямоугольный сигнал

Прямоугольный сигнал

Прямоугольный сигнал

Прямоугольный сигнал

Прямоугольный сигнал

Прямоугольный сигнал

Прямоугольный сигнал

Спектр частот

Свойства

Разрывы функции приводят к тому, что требуется больше слагаемых для

2D преобразование

Пример

Пример

Сжатие с потерями (JPEG)

Первый коэффициент B(0,0) называется DC, средняя интенсивность
Верхние левые коэффициенты соответствуют

Сжатие изображения с ДКП

Следующим шагом является квантование (дискретизация) коэффициентов
Квантовать

Пример

Пример

Делим G на Q и округляем:
round ( G(i,j) /

Размер блока JPEG

Маленький блок
Быстрее
Больше корреляции между соседними пикселям

Пример сжатия

Спектральный анализ для изображений

Отображение спектров изображений
Спектр – это изображение,

Спектральный анализ

Спектральный анализ

Искусственная сцена

Края в изображении

Теорема о свёртке

Преобразование Фурье от свёртки двух функций можно представить