МОРФОЛОГИЧЕСКИЕ СИСТЕМЫ и АНАЛИЗ ИЗОБРАЖЕНИЙ

Содержание

Слайд 2

Что такое морфология? СПОСОБЫ - эвристики, эксперименты НАУКА МЕТОДЫ - математические

Что такое морфология?

СПОСОБЫ - эвристики, эксперименты
НАУКА
МЕТОДЫ - математические

модели
- формализованные критерии
- решения, обладающие доказанными свойствами
- оптимальность
МАШИННОЕ ЗРЕНИЕ - весь комплекс проблем, связанных с
получением пространственой инфорамции,
включая сенсоры, вычислители и алгоритмы
КОМПЬЮТЕРНОЕ ЗРЕНИЕ - математические и
алгоритмические аспекты машинного зрения
МАТЕМАТИЧЕСКОЕ ЗРЕНИЕ
ФОТОГРАММЕТРИЯ МОРФОЛОГИЯ
(геометрия простр.распред. данных) (модели данных и процедур)
Слайд 3

Что такое морфология? Термин: Морфология – (1) «наука о форме»; (2)

Что такое морфология?

Термин: Морфология – (1) «наука о форме»;
(2) методы анализа

изображений, основанные на содержательных яркостно-геометрических моделях и критериях.
Источники: Морфология Серра, Морфология Пытьева.
Обобщение 1: Морфологический анализ – схема анализа данных, которая в качестве обязательного этапа предполагает обоснованное (в некотором смысле оптимальное) построение модельного описания гипотетического (скрытого) прообраза наблюдаемых данных (сегментация + реконструкция).
Обобщение 2: "Морфология" или "морфологическая система"- это такой формализм анализа данных (изображений), в котором любые образы (изображения) рассматриваются как элементы некоторого пространства (алгебры), любые задачи формулируются в терминах этого пространства, и операции осуществляются над элементами этого пространства (целыми изображениями), а не над отдельными пикселями.
Слайд 4

Формальная морфология ϑ Λ M ⊆ ϑ ε δ ϕεδ =

Формальная морфология

ϑ

Λ

M ⊆ ϑ

ε

δ

ϕεδ = δε

множество образов

множество описаний

модельное
множество

Морфологическая сегментация ε:

ϑ → Λ
Морфологическая реконструкция δ: Λ → ϑ
Морфологический фильтр ϕεδ(E)=δ(ε(E)): ϑ→Λ→ϑ
Слайд 5

Сегментация + Реконструкция множество образов множество описаний Искусственный изоморфизм Естественный гомоморфизм

Сегментация + Реконструкция

множество образов

множество описаний

<5,6,8>
<1,0,1,0,0>
<2,0,0,1,0,…>

Искусственный
изоморфизм

Естественный
гомоморфизм

568=5×102+6×101+8×10
40=1×25+1×23
28=22 × 71
f(x)


a4 x4+a3 x3+a2 x2+a1 x+a0

Естественный
изоморфизм

Позиционные системы счисления

Разложение на простые множители

Аппроксимация полиномами

Слайд 6

Пример 1. Морфологический анализ Пытьева Сравнение по форме, выделение отличий ─

Пример 1. Морфологический анализ Пытьева Сравнение по форме, выделение отличий


=


=

Алгоритм сравнения

изображений по форме:
Выделить связные области на изображении A.
Вычислить среднюю яркость по областям A на B.
Сформировать C по форме A с яркостями из B.
Найти разность С и B.

A

B

B

C

форма A и С

форма

яркость

(реконструкция B)

Слайд 7

Морфологический анализ Пытьева A1 A2 A3 A4 Индикаторная функция множества Ai

Морфологический анализ Пытьева

A1

A2

A3

A4

Индикаторная функция множества Ai

Значение яркости(интенсивности) пикселя с координатами

(x, y) (функция изображения)

с1,…, с4 – яркости областей A1,…, A4 фона и граней куба

X

Модель изображения - кусочно-постоянная функция

X – поле зрения

Слайд 8

Морфологический анализ Пытьева Проекция изображения на форму Изображение , определенное на

Морфологический анализ Пытьева

Проекция изображения на форму

Изображение , определенное на поле

Х

Форма изображения V(f) в виде множества

- интеграл яркостей по области Ai

Проекция вектора g на плоскость V(f)

Определение коэффициентов ci*

Дифференцируя по ci, получим решение задачи в виде

- площадь области Ai

Слайд 9

Морфологический анализ Пытьева α = arccos ku, β = arccos km

Морфологический анализ Пытьева

α = arccos ku, β = arccos km

Нормированный
коэфициент корреляции
Морфологический
коэффициент корреляции:
0

≤ km ≤ 1
Km не зависит от Морфологический проектор преобразования яркости F(f(x,y)).
Сравнение форм:

Описание формы

>

Слайд 10

Морфологический анализ Пытьева

Морфологический анализ Пытьева

Слайд 11

Пример 2. Математическая морфология Серра Обработка с учетом формы, выделение деталей

Пример 2. Математическая морфология Серра Обработка с учетом формы, выделение деталей


MIN
эрозия

MAX
дилатация

MIN
эрозия

MAX
дилатация

реконструкция A

A

Слайд 12

Математическая морфология Серра B BT T Структурирующий элемент Исходный образ Трансляция

Математическая морфология Серра

B

BT

T

Структурирующий элемент Исходный образ

Трансляция

Opening (открытие)

Closing (закрытие)

XoB =

∪{Bz | Bz ⊆ X}
Слайд 13

Математическая морфология Серра Трансляция A по z: Az = {y| a∈A,

Математическая морфология Серра

Трансляция A по z:
Az = {y| a∈A, y=a=z}.
Сложение

Минковского (дилатация):
A⊕B = {a=b| a∈A, b∈B} =
= U{Ba} = U{Ab}
Вычитание Минковского (эрозия):
AB = {z| Bz ⊆ A} = U{Az}

Оператор, сохраняющий включение: X⊆Y ⇒ Ψ(X) ⊆ Ψ(Y)
Экстенсивный оператор: Ψ(X)⊇X Антиэкстенсивный оператор: Ψ(X)⊆X
Усиливающий оператор (Ψ(Ψ(X))⊇Ψ(X))
Ослабляющий оператор (Ψ(Ψ(X))⊆Ψ(X))

Проективный оператор (Ψ(Ψ(X))=Ψ(X))
Морфологическими фильтрами Серра
называется множество операторов, являющихся одновременно проективными и сохраняющими включение.

Открытие X по B:
XoB = (XB)⊕B = U{Bz| Bz ⊆ X}.
Закрытие X по B:
X∙B = (X⊕B)B

Слайд 14

Математическая морфология Серра ММ-операторы: ММ-проекторы: Эрозия (сжатие) Дилатация (расширение) ММ-открытие ММ-закрытие

Математическая морфология Серра

ММ-операторы:

ММ-проекторы:

Эрозия (сжатие)

Дилатация (расширение)

ММ-открытие

ММ-закрытие

ММ-фильтрация

Учет формы путем выбора структурирующих элементов:

Слайд 15

Математическая морфология Серра

Математическая морфология Серра

Слайд 16

Пример 3. Бинарная морфология на базе скелетов A Фигурой называется связная

Пример 3. Бинарная морфология на базе скелетов

A

Фигурой называется связная замкнутая

область плоскости, ограниченная конечным числом неперсекающихся жордановых кривых.
Пусть P – евклидова плоскость, D(p,r) – открытый круг радиуса r с центром в точке p.
Пустым или вписанным кругом фигуры A называется круг D(p,r)⊆A. Максимальным пустым кругом называется пустой круг, который не содержится целиком ни в одном другом пустом круге данной фигуры. Скелетом S(A) фигуры A называется множество центров всех ее максимальных пустых кругов.
Радиальной или дистанционной функцией rA(p) точки p∈P для фигуры A называется максимальная величина радиуса пустого круга с центром в данной точке.

S(A)

Слайд 17

Бинарная морфология на базе скелетов

Бинарная морфология на базе скелетов

Слайд 18

ПРОЕКТИВНОСТЬ

ПРОЕКТИВНОСТЬ

Слайд 19

Проекторы как распознающие операторы (М. Павель) Структурный фильтр: процедура преобразования образа

Проекторы как распознающие операторы (М. Павель)

Структурный фильтр: процедура преобразования образа к виду,

соответствующему заданному классу структур.
Алгебраический проектор:
F(X)=F(F(X))

Геометрическая интерпретация:

Два способа описания класса:
Проектор – оператор, ставящий в соответствие любому образу образ из модельного множества.
Модель (модельное множество) – множество стабильных элементов проектора.

Слайд 20

Сравнение форм по сложности (Пытьев) M1 M2 M3 M3 ⊆ M2

Сравнение форм по сложности (Пытьев)

M1

M2

M3

M3 ⊆ M2 ⊆ M1

Морфологическая сложность:


Если одно модельное множество целиком принадлежит другому,
то соответствующая форма изображения не сложнее (проще).

>

>

Морфология Пытьева

Морфология Серра


>

>



Структурная сложность:
Чем больше элементов в модели, тем сложнее описание.

Слайд 21

Морфологический спектр (Maragos) r ∂ || A o D(r) || / ∂r монотонное убывание сложности

Морфологический спектр (Maragos)

r

∂ || A o D(r) || / ∂r

монотонное

убывание сложности
Слайд 22

Вложенные классы форм и идея морфологического спектра  ⊕  ⊕

Вложенные классы форм и идея морфологического спектра









r

Скачкообразное изменение площади фигуры на

размер объекта

X

rB

X◦rB

XrB

Слайд 23

PSX(r,B) = - ∂S(X◦rB)/∂r, r≥0, (1) PSX(-r,B) = ∂S(X●rB)/∂r, r>0, (2)

PSX(r,B) = - ∂S(X◦rB)/∂r, r≥0, (1)
PSX(-r,B) = ∂S(X●rB)/∂r, r>0, (2)

где S(X◦B)

– площадь открытия образа Х элементом B

Формальное определение морфологического спектра

Maragos P. Pattern Spectrum, Multiscale Shape Representation. IEEE Trans.on pattern analysis, machine intelligence, Vol, II, No 7, July 1989.

Слайд 24

Построение морфологического спектра в непрерывной бинарной морфологии Дискретно-непрерывный морфологический спектр и

Построение морфологического спектра в непрерывной бинарной морфологии

Дискретно-непрерывный морфологический спектр и

пиковые составляющие формы фигуры (Визильтер, Сидякин, 2010)
Слайд 25

Дискретно-непрерывный морфологический спектр силуэтов животных с реальных изображений (Визильтер, Сидякин, 2010)

Дискретно-непрерывный морфологический спектр силуэтов животных с реальных изображений (Визильтер, Сидякин, 2010)

Слайд 26

МОДУЛЬНОСТЬ (комбинирование процедур)

МОДУЛЬНОСТЬ (комбинирование процедур)

Слайд 27

Альтернативные модульные морфологии Идея: Построение различных модульных морфологических операторов путем комбинирования

Альтернативные модульные морфологии

Идея: Построение различных модульных морфологических операторов путем комбинирования

разных операторов сегментации с разными операторами реконструкции.
Пример: селективные морфологии на базе операторов ММ Серра
Слайд 28

Селективные морфологии (a) (b) (c) (a) (b) (a) (a) Открытие MM

Селективные морфологии

(a)

(b)

(c)

(a)

(b)

(a)

(a)

Открытие MM

(a)

(a)

O(Object)=

∅, if E(Object) = ∅ (a)

Object’⊆Object, if E(Object)=∅

(b)

Object, if ∃Im:O(Im)=Object (c)

∅, if E(Object) = ∅ (a)

Object, if E(Object) ≠ ∅ (b)

SO(Object)=

Стандартная ММ

Селективная ММ

Открытие SM

Эрозия MM

ε

δ

δ′

Слайд 29

Селективные морфологии Im E(Im) O(Im) Im-O(Im) Полутоновое MM-открытие

Селективные морфологии

Im

E(Im)

O(Im)

Im-O(Im)

Полутоновое
MM-открытие

Слайд 30

Селективные морфологии Полутоновое SM-открытие Im E(Im) SO(Im) Im-SO(Im)

Селективные морфологии

Полутоновое
SM-открытие

Im

E(Im)

SO(Im)

Im-SO(Im)

Слайд 31

Селективные морфологии Im D(Im) C(Im) Im-C(Im) Полутоновое MM-закрытие

Селективные морфологии

Im

D(Im)

C(Im)

Im-C(Im)

Полутоновое
MM-закрытие

Слайд 32

Селективные морфологии Im D(Im) SC(Im) Im-SC(Im) Полутоновое SM-закрытие

Селективные морфологии

Im

D(Im)

SC(Im)

Im-SC(Im)

Полутоновое
SM-закрытие

Слайд 33

Селективные морфологии Полутоновое MM-открытие Im E(Im) O(Im) Im-O(Im)

Селективные морфологии

Полутоновое
MM-открытие

Im

E(Im)

O(Im)

Im-O(Im)

Слайд 34

Селективные морфологии Полутоновое SM-открытие Im E(Im) SO(Im) Im-SO(Im)

Селективные морфологии

Полутоновое
SM-открытие

Im

E(Im)

SO(Im)

Im-SO(Im)

Слайд 35

Селективные морфологии Полутоновое MM-закрытие Im D(Im) C(Im) Im-C(Im)

Селективные морфологии

Полутоновое
MM-закрытие

Im

D(Im)

C(Im)

Im-C(Im)

Слайд 36

Селективные морфологии Полутоновое SM-закрытие Im D(Im) SC(Im) Im-SC(Im)

Селективные морфологии

Полутоновое
SM-закрытие

Im

D(Im)

SC(Im)

Im-SC(Im)

Слайд 37

Селективные морфологии Im E1D(Im) SO1D(Im) Im-SO1D(Im) Контурная селективная морфология (на базе

Селективные морфологии

Im

E1D(Im)

SO1D(Im)

Im-SO1D(Im)

Контурная селективная морфология
(на базе оператора удаления заданного числа концевых точек)

Слайд 38

МОРФОЛОГИЧЕСКИЙ АНАЛИЗ НА БАЗЕ КРИТЕРИЕВ (сегментация с регуляризацией)

МОРФОЛОГИЧЕСКИЙ АНАЛИЗ НА БАЗЕ КРИТЕРИЕВ (сегментация с регуляризацией)

Слайд 39

Критерии в классических морфологиях Морфология Пытьева: Pr(A,M(B)) = argminC∈M(B) || A

Критерии в классических морфологиях
Морфология Пытьева:
Pr(A,M(B)) = argminC∈M(B) || A -

C ||
Морфология Серра:
AoB = argminC∈M(B) {|| A - С ||: C⊆A}
или
AoB = argmaxC∈M(B) {||С ||: C⊆A}

M

A

C∈M

|| A - C ||

B

A

AoB

B∈M

Слайд 40

Критериальная морфология: Модель: M(λ): Λ→[0,1] ⇔ M(L):ϑ→[0,1] Критерий соответствия: K(E,λ): ϑ×Λ→[0,1]

Критериальная морфология:
Модель: M(λ): Λ→[0,1] ⇔ M(L):ϑ→[0,1]
Критерий соответствия:
K(E,λ): ϑ×Λ→[0,1] ⇔ K(E,L): ϑ×ϑ→[0,1]
Критериальный

морфологический фильтр ϕФ на базе (ε,δ):
εФ(E)=λ, ϕФ(E)=δ(λ): Ф(E,λ)=K(E,δ(λ))×M(λ)→max(λ∈Λ)
ℑ(ℜ)={ϑ,Λ,δ,K,M}⇔ℑ′(ℜ)={ϑ,Λ,εФ,δ} – ℑ-морфология.
Проективные критериальные морфологии: ϕФ(E)=ϕФ(ϕФ(E)).

Морфологический подход к анализу данных

Слайд 41

Морфологическое решение задач анализа данных: 1. Фильтрация ϕФ(E)=δ(λ): 2. Сегментация εФ(E)=λ:

Морфологическое решение задач анализа данных:
1. Фильтрация ϕФ(E)=δ(λ):
2. Сегментация εФ(E)=λ:
Ф(E,λ)=K(E,δ(λ))×M(λ)→max(λ∈Λ)
3. Распознавание cФ(E)=H:
Ф(E,λ,H)=K(E,δ(λ))×M(λ,H)×M(H)→max(λ∈Λ,H∈Θ)
4.

Обнаружение/локализация επФ(E)=λ:
Параметрическая выборка π(E,λ): ϑ×Λ→ϑ,
Фπ(E,λ,H)=K(π(E,λ),δ(λ))×M(λ,H)×M(H)→max(λ∈Λ,H∈Θ)
селективный морфологический фильтр
ϕπ(E)=π(E,επФ(E)): ϑ×Λ→ϑ.
Вывод: морфологический подход позволяет единым унифицированным способом решать все основные задачи обработки и анализа данных.

Морфологический подход к анализу данных

Слайд 42

Нечеткие модели: [0,1] Максимум достоверности: Ф(A,L)=K(A,L)×M(L)→max(L∈Ω) Вероятностные модели: [0,1] Максимум апостериорной

Нечеткие модели: [0,1]
Максимум достоверности:
Ф(A,L)=K(A,L)×M(L)→max(L∈Ω)
Вероятностные модели: [0,1]
Максимум апостериорной вероятности
ψ(A)=L: P(A,L)=P(A/L)×P(L)→max(L∈Ω).
Четкие или логические

модели: [0,1] → {0,1}.
Морфологическая проекция на модельное множество:
ψ(A,M): K(A,L)→max(L∈M), M = {B∈Ω: M(B)=1}.
Теоретико-информационные критерии: [0,1] → [0,+∞)
Максимум энтропии (минимум информации):
Ф(A,L)=J(A,L)+α×Q(L)→min(L∈Ω) ⇔ K(A,L)×M(L)α→max(L∈Ω).
J(A,L) = – log(P(A/L)); Q(L) = – log(P(L)); α - модельный параметр
Интерпретация: регуляризация задачи сегментации по Тихонову

Форма и семантический смысл критериев

Слайд 43

Регуляризация Ф(A,L) = J(A,L) → min(L∈F(x)) x f(x)

Регуляризация

Ф(A,L) = J(A,L) → min(L∈F(x))

x

f(x)

Слайд 44

Регуляризация Ф(A,L) = J(A,L) → min(L∈F(x)) x f(x)

Регуляризация

Ф(A,L) = J(A,L) → min(L∈F(x))

x

f(x)

Слайд 45

Регуляризация Ф(A,L)=J(A,L)+α×Q(L)→min(L∈F(x)) x f(x)

Регуляризация

Ф(A,L)=J(A,L)+α×Q(L)→min(L∈F(x))

x

f(x)

Слайд 46

Регуляризация ⇒ сегментация с потерями Ф(A,L)=J(A,L)+α×Q(L)→min(L∈F(x)) x f(x)

Регуляризация ⇒ сегментация с потерями

Ф(A,L)=J(A,L)+α×Q(L)→min(L∈F(x))

x

f(x)

Слайд 47

Проективная сегментация без потерь Морфология Пытьева «форма» Пытьева Морфология Серра морфологический

Проективная сегментация без потерь

Морфология Пытьева «форма» Пытьева

Морфология Серра морфологический скелет

Минимальное

число областей

Минимальное число дисков

Полное писксельное разбиение

Полное дисковое представление

Слайд 48

Критериальные проективные морфологии Пусть имеется множество образов Ω, на котором определена

Критериальные проективные морфологии

Пусть имеется множество образов Ω, на котором определена операция

сложения (‘+’), задающая на Ω группу с «нулевым образом» ∅. Кроме этого, на множестве образов определена Ω – норма μ(A)=||A||: Ω→R, ||∅||=0, причем норма разности обладает свойствами расстояния. На множестве пар образов задана
Функция-критерий (критерий штрафа)
Ф(A,B): Ω×Ω→R
Морфологический проектор на базе критерия:
Pr(A,Ф)=B: Ф(A,B)→min(B∈Ω), Pr(A)=Pr(Pr(A)), Pr(∅)=∅.
Критериальная морфологическая модель -
М = {A∈Ω: Pr(A,Ф)=A}
множество собственных (стабильных) элементов проектора. Модель M2 по отношению к M1 является более сложной, если M2 ⊆ M1.
Морфологический коэффициент корреляции:
KМ(A,Pr)=KM(A,M)=exp( - ||A-Pr(A,M)||/||Pr(A,M)||),
0≤KM(A,M)≤1; KM(A,M)=1 ⇔ A∈M; Pr(A,M)=∅ ⇔ KM(A,M)=0.
Конкретные морфологии определяются конкретным видом критерия.
Слайд 49

Стандартный критерий штрафа Ф(A,B)= J(A,B) + χ(A,B) + α×Q(B) где J(A,B)

Стандартный критерий штрафа
Ф(A,B)= J(A,B) + χ(A,B) + α×Q(B)
где J(A,B) – критерий

соответствия проекции и образа, причем
∀A∈Ω, B∈V(A,Ф): J(A,A)≤J(A,B),
χ(A,B) – критерий (предикат) допустимости решения, определяющий ОДЗ
χ(A,B) = {0: B∈V(A,Ф); +∞: B∉V(A,Ф)},
Q(B) – критерий качества проекции, характеризующий ее принадлежность модели M;
α≥0 – структурирующий параметр, обеспечивающий компромисс между требованиями соответствия и качества.
Утверждение. С увеличением значения структурирующего параметра α сложность модели, которую определяет проектор, монотонно убывает.
⇒ α - параметр морфологической сложности модели.
Морфологический спектр:
Sp(A,α) = ∂ || Pr(A,J,χ,α,Q) || / ∂α
Коэффициент максимальной морфологической сложности:
αmax(A)=max{α≥0: A=Pr(A,J,χ,α,Q)}.

Критериальные проективные морфологии

Слайд 50

Достаточные условия построения проективных операторов Ф(A,B)= J(A,B) + χ(A,B) + α×Q(B) Критериальные проективные морфологии

Достаточные условия построения проективных операторов
Ф(A,B)= J(A,B) + χ(A,B) + α×Q(B)

Критериальные проективные

морфологии