Алгоритм многокамерного сопровождения человека используя данные от видеокамеры и тепловизора В.В. Терехов, И.Е. Ермолаев, Н.В

охраны и анализа ситуаций. Видео данные используются операторами слежения, но по сути дела мало информативны. Желательно использовать автоматические системы охраны и анализа ситуаций с целью увеличить эффективность работы операторов и фильтрации излишних данных. Многокамерное сопровождение является обязательным для огромных пространств, где происходят события приводящие к дублированию или избытку информации поступающей к оператору. В этой презентации мы представляем алгоритм и систему для обработки видео и тепло информации поступающей от множественных источников.

видеонаблюдения. Они генерируют огромное количество информации которая должна быть отфильтрована для обнаружения опасных ситуация или для последующего извлечения информации из записанного архива данных. В настоящее время эти задачи исполняются человеком оператором и количество таких операторов довольно велико для обслуживания большого количества точек снятия информации. Большинство данных обрабатывается оператором без анализа происходящего, что дает эффект потери от систем наблюдения реального времени. Тем не менее желательно иметь систему для автоматического анализа, дающую систему принятия решений для человека оператора. Это не простая задача, так как система сталкивается с огромным количеством посторонних объектов мешающих точно отследить искомый объект, сложные и быстро меняющиеся погодные условия и слишком узкие или слишком широкие поля обозрения. Наблюдение больших пространств обычно исполняется с помощью группы видеокамер для обработки движения нескольких людей или движения человека рядом с мешающим объектом или зданием.

тепловизор имеют поля обозрения которые пересекаются между собой. Данные от источников поступают на видео-сервер где
обрабатываются с помощью разработанного алгоритма. Алгоритм подавляет избыточную информацию от источников и выводит обработанный
результат на монитор для человека оператора

Линия горизонта

Поле обозрения видеокамеры 1

Поле обозрения видеокамеры 2

Поле обозрения тепловизора

Объект наблюдения

показывает 2D сцену спроектированную с бесконечной вертикальной точки. Объект наблюдения может находится в
пересечении нескольких полей обозрения или находится в одном поле обозрения.

Поле обозрения видеокамеры 1

Поле обозрения видеокамеры 2

Поле обозрения тепловизора

Объект наблюдения

Траектория объекта наблюдения

метаданных от видеоаналитики, встроенной в телевизионную или тепловизионную камеру, содержащий признаки целей в поле зрений данной камеры. Признаки целей включают пространственные и временные координаты цели, а так же характеристики ее формы. Результатом работы алгоритма являются обобщение координаты цели в глобальной системе координат на карте.

ложных срабатываний за счет корреляции метаданных видеоаналитики смежных телевизионных и тепловизионных камер;
2) сопоставить образ сопровождаемой цели, наблюдаемый одновременно на телевизионной и тепловизионных камерах;
3) исключить повторные срабатывания видеоаналитики при переходе цели из зоны наблюдения одной камеры в зону наблюдения другой камеры;
4) отобразить цельную траекторию движения человека на карте охраняемого объекта по результатам видеоанализа сразу по всем камерам;
5) применять правила к многокамерной траектории на карте для более точного распознавания поведения человека и поиска событий в архиве;
6) автоматически выбирать оптимальный ракурс наблюдения за человека по мере его перемещения от камеры к камере.

в 3D пространстве

Матрицы перехода из
3-мерного в 2-мерное
пространство

Y

X

Поле зрения камеры N2 в 3D пространстве

Поле зрения камеры N1 в 2D пространстве

Поле зрения камеры N2 в 2D пространстве

Поле зрения тепловизора в 2D пространстве

Y

X

Z

Глобальная карта местности в 2D пространстве

расположения камеры к карте. Наиболее оптимально это осуществлять при помощи точечной калибровки (на сцене, отображаемой камерой, выбирается набор точек с известными глобальными координатами). В процессе этой калибровки для каждой камеры определяется матрицей преобразования A, которая позволяет однозначно осуществлять преобразование экранных координат r объекта в глобальные R.

с известными глобальными координатами.

камеры имеет нормальный закон распределения пространственной и временной координаты объекта в глобальной системе координаты, привязанной к карте:

где параметры описывают наиболее вероятные пространственные и временные координаты объекта, параметры – дисперсию данных пространственных (вдоль и поперек луча зрения камеры) и временных координат, а - угол между направлением на север, и осью ориентации камеры. Дисперсия вдоль оптической оси камеры зависит от угла наклона камеры к горизонту и обычно существенно больше дисперсии по перпендикулярному направлению. Дисперсия по времени определяется точностью синхронизации часов, встроенных в камеру

всем камерам:

3. Производиться поиск локального экстремума, полученной функции перекрытия, в окрестности сопровождаемой цели.

во всех возможных вариантах поведения невозможно (прыжки, длительная остановка, падение, кружение, появление сильно заслоняющих объектов), предполагается что объект находится в пределах полигона который вычисляется из данных приходящих от камеры в заданном временном интервале. Данная гипотеза верна для объекта постоянно находящегося в поле зрения камеры. Гипотеза позволяет исключить такие факторы как: нестабильность по времени скорости обработки информации на аппаратном уровне, нестабильность работы программного обеспечения при определении положения объекта и его характеристик.

Поле зрения камеры

Траектория объекта наблюдения

Ожидаемая область перемещения объекта наблюдения

Так как объект не может находится в поле зрения камеры постоянно, предполагается вычислить ожидаемое положение объекта вне заданного временного интервала. Эта гипотеза критически важна для объекта входящего и выходящего из поля зрения камеры.

Поле зрения камеры

Ожидаемая область перемещения объекта наблюдения вне заданного временного интервала

Определение местоположения объекта на карте для одной видеокамеры

область перемещения объекта наблюдения

Ожидаемая область перемещения объекта наблюдения вне заданного временного интервала

Y0

Y3

X0

X1

X2-X1=F(time),
Y2-Y1=F(time),
где
F – функция времени;
time – размер временного интервала;
X1-X0=F(time*kh),
Y2-Y1=F(time*ky),
где
F – функция времени;
time – размер временного интервала;
kh – коэффициент аппроксимации по горизонтали;
ky – коэффициент аппроксимации по вертикали;
P=F(X0, X1, X2, X3, Y0, Y1, Y2, Y3, f(v)),
где
F – функция вероятности положения объекта на карте;
f(v) – функция скорости перемещения объекта;
P – вероятность обнаружения объекта единственным источником;

X2

X3

Y1

Y2

Y

X

обработки вероятностей от всех источников данных;
Alpha – порог срабатывания, который позволяет говорить об одинаковой цели
от нескольких источников данных;
P – вероятность обнаружения объекта множественными источниками;

Y

X

Ожидаемая область перемещения объекта от источника N1

Ожидаемая область перемещения объекта от источника N2

Траектория объекта наблюдения

адаптации сенсора к изменению освещения критически влияет на все последующие алгоритмы, а именно авто-контраст и отношение сигнала к шуму; 2. Количество камер или тепловизоров (критически влияет на весь алгоритм в случае неправильной установки и калибровки источников); 3. Сложность сцены или количество мешающих объектов полностью или сильно заслоняющие объект; 4. Сложность поведения объекта (возможно постоянное появление и пропадание на краях поля обозрения); 5. Временное запаздывание между источниками; 6. Временное аппаратное или программное запаздывание при обработке сигнала видеоаналитикой;

Положительное срабатывание алгоритма
для нескольких видеокамер/тепловизоров

N2 в 2D пространстве

Поле зрения камеры N1 в 2D пространстве

Поле зрения камеры N2 в 2D пространстве

Траектория объекта N1 в 2D пространстве

Траектория объекта N2 в 2D пространстве

Траектория объекта N1 в 2D пространстве

Траектория объекта N2 в 2D пространстве

В случае одинаковой скорости и одинаковой точки входа велика вероятность ошибки срабатывания как для одной камеры так и для системы камер. В случае получения тепловизором разных температур, возможно понизить вероятность этой ошибки

В случае множественного пересечения траекторий от нескольких объектов велика вероятность ошибки срабатывания как для одной камеры так и для системы камер. В случае получения тепловизором разных температур, возможно понизить вероятность этой ошибки