Проблемы простых сверток. Инвариантность

Проблемы простых сверток
Spatial Transformer Networks (STN)
Capsule Networks (CapsNet)

Чтобы сегментировать объект
нужна эквивариантность.

Чтобы классифицировать объект
нужна инвариантность.

Свертки эквивариантны к сдвигам.

Q: Как сделать свертки инвариантными к
малым сдвигам?

Использовать

Повороты

Изменение масштаба

Сети инварианты к сдвигам, но не инвариантны к поворотам и изменению

Изменение позиций компонентов
объекта относительно друг друга

Source: https://medium.com/ai³-theory-practice-business/understanding-hintons-capsule-networks-part-i-intuition-b4b559d1159b

Идея:
Давайте прикрутим еще одну сеть, которая будет учиться трансформировать изображение таким

Source: http://papers.nips.cc/paper/5854-spatial-transformer-networks.pdf

Source: http://papers.nips.cc/paper/5854-spatial-transformer-networks.pdf

H

W

C

Для каждого пикселя в выходном изображении мы получаем координаты пикселя во

Source: http://papers.nips.cc/paper/5854-spatial-transformer-networks.pdf

Source: https://habrahabr.ru/company/newprolab/blog/339484/

Q: Что можно делать с помощью ST?

поворачивать
обрезать
повышать/понижать размерность

Q: Что самое приятное

Что если мы хотим, чтобы сеть в классификации опиралась не только

Капсула – группа нейронов, чей вектор характеризует:
Уверенность сети в том, что

Такая нелинейность приводит очень длинный вектор к длине около 1, а

Source: http://papers.nips.cc/paper/6975-dynamic-routing-between-capsules.pdf

Давайте разберемся что это значит!

Source: https://medium.com/ai³-theory-practice-business/understanding-hintons-capsule-networks-part-i-intuition-b4b559d1159b

Все учится backprop’ом.
Dynamic routing делается только во время forward prop’а.

Source:

Source: http://papers.nips.cc/paper/6975-dynamic-routing-between-capsules.pdf

Source: http://papers.nips.cc/paper/6975-dynamic-routing-between-capsules.pdf

Source: http://papers.nips.cc/paper/6975-dynamic-routing-between-capsules.pdf

Source: http://papers.nips.cc/paper/6975-dynamic-routing-between-capsules.pdf

У сверток есть недостатки
Они не инвариантны к поворотам
Они не инвариантны к

Spatial Transformer дает инвариантность к поворотам и изменению масштаба. А также,

Capsule Network помогает справится с проблемой изменения взаимных позиций компонентов объекта.