Mask R-CNN: извлечение данных из паспортов

Дисклеймер

В данной презентации использованы изображения паспортов, взятые в открытых источниках, я

О чем поговорим?

проблема поиска полей на паспорте;
задачи компьютерного зрения;
Mask R-CNN и

Проблема

Большой поток данных, который обрабатывается вручную.

Извлечение фактов из паспорта

Извлечение фактов из паспорта

Извлечение фактов из паспорта

Извлечение фактов из паспорта

Нейронные сети

Задачи компьютерного зрения

Задачи компьютерного зрения

Проблемы Object Detection

Проблемы Semantic Segmentation

Поиск объектов на изображениях

Где еще можно применить

Faster R-CNN FCN (FPN)

Mask R-CNN

Convolutional layers

Feature maps

Feature maps

Region Proposal Network (RPN)

Region Proposal Network

RPN Predictions

Classifier and RoI pooling

Roi Pooling

Roi Pooling

RoiAlign

Классификация и выравнивание рамок

FPN

Генерация масок

Что получилось

Что получилось

Метрики

F1-мера

Результат

f1-мера ~70%

Не намного лучше,
чем раньше

Аугментации

Аугментации

Синтетические данные

Результат

F1-мера чуть больше 90%
Оборачиваем в сервис и встраиваем

Плюсы

большая точность;
Instance Segmentation;
обучена на coco датасете (может находить людей, машины, собак,

Минусы

долгое обучение (6 ч. на 8 GB GPU);
работает дольше других сетей