Обработка изображений

Цель лекции

Рассказать о нескольких способах обработки изображений, которые могут пригодиться в

План лекции

Введение
Коррекция контрастности/яркости изображения
Коррекция цветового баланса изображения
Подавление

Изображение

Изображение оптическое – картина, получаемая в результате прохождения через оптическую систему

Обработка изображений

Семейство методов и задач, где входной и выходной информацией являются

Как получается цифровое изображение?

Свет, падая на светочувствительный элемент преобразуется в электрические

Почему оно может получиться плохо?

Ограниченный диапазона чувствительности датчика
«Плохой» функции передачи датчика

«Улучшение» изображения

Изменение контраста изображения
Компенсация:
Ограниченного диапазона яркостей датчика
“Плохой” функции передачи датчика

x –

Что такое гистограмма?

Гистограмма – это график распределения тонов на изображении.

Изменение контраста изображения

Что может не устраивать в полученном изображении:
Узкий

Линейная коррекция

Компенсация узкого диапазона яркостей – линейное растяжение:

График функции f

Линейная коррекция

Компенсация узкого диапазона яркостей – линейное растяжение:

Линейная коррекция

Линейное растяжение – «как AutoContrast в Photoshop»

Линейная коррекция

Линейная коррекция помогает не всегда!

Нелинейная коррекция

График функции f -1(y)

Нелинейная коррекция

Часто применяемые функции:
Гамма-коррекция
Изначальная цель – коррекция для правильного

Гамма-коррекция

Гамма-коррекция
Изначальная цель – коррекция для правильного отображения на мониторе.

Нелинейная коррекция

График функции f -1(y)

Сравнение линейной и нелинейной коррекции

Компенсация разности освещения

Пример

План лекции

Введение
Коррекция контрастности/яркости изображения
Коррекция цветового баланса изображения
Подавление

Цветовая коррекция изображений

Изменение цветового баланса
Компенсация:
Неверного цветовосприятия камеры
Цветного освещения

«Серый мир»

Предположение:
Сумма всех цветов на изображении естественной сцены дает серый цвет;
Метод:
Посчитать

«Серый мир» - примеры

«Серый мир» - примеры

«Серый мир» - примеры

«Идеальный отражатель»

Предположение:
Наиболее яркие области изображения относятся к бликам на поверхностях, модель

Цветовая коррекция изображений

Растяжение контрастности (“autolevels”)
Идея – растянуть интенсивности по каждому из

Растяжение контрастности всех каналов (“autolevels”)

Растяжение контрастности (“autolevels”)

Коррекция с опорным цветом

Предположение
Пользователь указывает цвет вручную;
Источник:
Априорные знания – «облака –

Коррекция с опорным цветом

Примеры:

План лекции

Введение
Коррекция контрастности/яркости изображения
Коррекция цветового баланса изображения
Подавление

Борьба с шумом изображения

Подавление и устранение шума
Причины возникновения шума:
Несовершенство измерительных приборов
Хранение

Шум в бинарных изображениях

Пример бинарного изображению с сильным шумом

Шум в бинарных изображениях

По одному пикселю невозможно определить – шум

Подавление и устранение шума

Устранение шума в бинарных изображениях

Бинарное изображение – изображение,

Математическая морфология

A

B

Множество A обычно является объектом обработки, а множество B (называемое структурным

Расширение в дискретном случае

A

B

A(+)B

Операция «расширение» - аналог логического «или»

Операции математической морфологии

Расширение
A (+) B = {t ∈ R2: t =

Операции математической морфологии

Сужение
A (-) B = (AC (+) B)С, где AC

Свойства морфологических операций

Коммутативный закон
A (+) B = B (+) A
A

Алгоритм морфологического расширения

void Dilation(BIT* src[], bool* mask[], BIT* dst[])
{
// W, H

Алгоритм морфологического сужения

void Erosion(BIT* src[], bool* mask[], BIT* dst[])
{
// W, H

Операции раскрытия и закрытия

Морфологическое раскрытие (opening)
open(A, B) = (A (-) B)

Важное замечание
Результат морфологических операций во многом определяется применяемым структурным элементом. Выбирая

Применения сужения к бинарному изображению с сильным шумом

Применения открытия к бинарному изображению с сильным шумом

Сужение vs Открытие

Сужение

Открытие

Устранение шума в бинарных изображениях

Пример бинарного изображению с дефектами распознаваемых объектов

Применения закрытия к бинарному изображению с дефектами объектов

Не лучший пример для морфологии

Не во всех случаях математическая морфология так

Применения операции открытия

Подавление и устранение шума

Устранение шума в полутоновых и цветных изображениях
Усреднение (box

Операция «свертка» (convolution)

Свертка двумерной функции f по функции g в непрерывном

Применение фильтров

g(l,k)

Свертка

// Обнулить изображение Dest[i][j]
...
// Выполнить свертку
for (i=0; i

Свойства фильтров

Результат фильтрации однотонного (константного) изображения – константное изображение. Его цвет

Устранение шума в полутоновых и цветных изображениях

Пример: изображение с равномерным шумом.
Err(i,j)

Усреднение (box filter)

Операция усреднения значения каждого пикселя – cвертка по константной

Фильтр Гаусса (gaussian blurring)

Свертка по функции:

Параметр задает степень размытия.
На графике функция

Маленькая экскурсия к Фурье

+

Низкие частоты

Высокие частоты

Фильтр Гаусса (gaussian blurring)

Результаты свертки по функции Гаусса и по константной

Подавление и устранение шума

Устранение шума в полутоновых, цветных и бинарных изображениях

Медианный фильтр

Результат применения медианного фильтра с радиусом 5 пикселей.

Результат применения медианного

Очистка изображения с помощью медианного фильтра

Фильтр с окрестностью 3x3

Быстрая реализация медианного фильтра

Медианный фильтр считается дольше, чем операция свертки, поскольку

Адаптивные фильтры

Чего бы хотелось?
Размывать шум, резкие границы – сохранять.
Как бы этого

Адаптивный фильтр - пример

for (each pixel of the current video frame)
{

Адаптивные фильтры

Примеры таких фильтров: http://www.compression.ru/video/denoising/denoising.pdf

«Продвинутые» фильтры

В чем отличие разных фильтров?

Box filer (простое размытие) – помимо

Повышение резкости

Ядро свертки

Как бороться с шумом аппаратуры?

Предположим, камера, которой производится съемка заметно «шумит».

Примеры шумоподавления

Зашумленные изображения

Усреднение по 10 изображениям

Так работают камеры в некоторых сотовых

Примеры шумоподавления

Исходное изображение

Испорченное изображение

Примеры шумоподавления

Усреднение по 9 пикселям (3x3)

Медианный фильтр (3x3)

Компенсация разности освещения

Пример

Компенсация разности освещения

Идея:
Формирование изображения:
Плавные изменения яркости относятся к освещению, резкие -

Выравнивание освещения

Алгоритм
Получить приближенное изображение освещения путем низочастотной фильтрации
Восстановить изображение по формуле

Выравнивание освещения

Пример

Компенсация разности освещения

Пример

/

=

Gauss 14.7 пикселей

План лекции

Введение
Коррекция контрастности/яркости изображения
Коррекция цветового баланса изображения
Подавление

Метрики качества

Как измерить похожесть двух изображений?

исходное
изображение

искаженное
изображение

Метрики качества

Среднеквадратичная ошибка (MSE)
Пиковое отношение сигнал/шум (PSNR)

N – число пикселей

M –

Метрики качества

PSNR и MSE не учитывают особенности человеческого восприятия!

Оригинал

Далее будут использованы

Метрики качества

У этих изображений одинаковые PSNR с оригиналом (примерно 25 dB)

Повышена

Метрики качества

И у этих – тоже примерно 25 dB!

Добавлен импульсный шум

Размытие

Метрики качества

И у этого – тоже!

Артефакт блочности после JPEG

Метрики качества

Вывод: PSNR не всегда отражает реальный видимый уровень искажений.
Как улучшить?
Использовать

План лекции

Введение
Коррекция контрастности/яркости изображения
Коррекция цветового баланса изображения
Подавление

Подчеркивание контуров объекта

Рассмотрим подчеркивание краев (границ)
Край(edge) – резкое изменение яркости на

Операция оконтуривания объекта

При работе с бинарными изображениями контуры объекта можно получить

Пример оконтуривания объекта

Подчеркивание краев

Нас интересуют области резкого изменения яркости – нахождение таких областей

Подчеркивание краев

Известно, что наибольшее изменение функции происходит в направлении ее градиента.

Подчеркивание краев

Математический смысл – приближенное вычисление производных по направлению.

Робертса

Превитт

Собеля

Семейство методов основано

Подчеркивание краев

Примеры применения операторов подчеркивания краев:

Робертса

Превитт

Собеля

План лекции

Введение
Коррекция контрастности/яркости изображения
Коррекция цветового баланса изображения
Подавление

Спецэффекты

Рассмотрим
Тиснение
Негатив
«Светящиеся» края
Геометрические эффекты
Перенос/поворот
Искажение
«Эффект стекла»

Тиснение

Фильтр + сдвиг яркости, нормировка…

Цифровой негатив

Светящиеся края

Медианный фильтра + выделение краев + фильтр «максимума»

Перенос/поворот

Перенос: x(k; l) = k + 50; y(k; l) = l;
Поворот:

«Волны»

Волны 1: x(k; l) = k + 20sin(2πl / 128); y(k;