3D EQUALIZER the cuting edge of matchmoving. - презентация

Август 29, 2022

Главная
Технология
3D EQUALIZER the cuting edge of matchmoving. - презентация

Содержание

2. MATCH MOVING
3. Введение Создание большинства современных спецэффектов было бы невозможно без совмещения движения и геометрии сцены виртуальной со
4. Терминология Match moving ("camera tracking", "3d tracking", "3d tracing") – это процесс вычисления трехмерной траектории камеры
5. Этапы развития технологии Этап 1. Руки, руки, и еще раз руки. На этом этапе существовал только
6. Этапы развития технологии Этап 2. Аппаратный. Motion Control Systems. Десять-двенадцать лет назад программного трэкинга камеры не
7. Этапы развития технологии Этап 3. Программно-аппаратный. Системы Motion Control по прежнему актуальны во многих ситуациях, но
8. Эволюция программных систем Изначально появился так называемый "survey-base tracking". Название обусловлено тем, что пользователь должен был
9. Применение 3D Equalizer Виртуальные (CG) объекты, помещенные в реальную среду. В создании архитектурной визуализации такие объекты
10. Применение 3D Equalizer Стабилизация. Вы, конечно, смотрели фильмы из серии "Matrix", в которых активно применялась технология
11. Сущность программной реконструкции данных При реконструкции камеры и объектов используются формулы проективной геометрии. Законы проективной геометрии
12. Matchmoving pipeline Поддерживается импорт всех основных форматов. Экспорт трехмерных данных возможен во все современные пакеты трехмерной
13. Условия успешного трэкинга Для успешной реконструкции трехмерных данных пользователь должен предоставить программе достаточное количество информации. Общие
14. Проблемы при matchmoving На данном этапе развития существуют две основные программные проблемы: 1. Камера закрепленная на
15. Решение проблем при matchmoving В обоих вышеперечисленных случаях на помощь нам приходят reference frames. reference frames
16. Pipeline и концепция сред каждая из сред соответствует этапу 3d трэкинга
17. MOTION CAPTURE
18. Типы современных motion capture систем магнитные Замеряется расстояние от датичика до слабого электро-магнитного поля. Это громоздкие
19. Типы современных motion capture систем Оптические В основе лежит система построенная на инфракрасных датчиках и фиксирующих
20. Софтверный Motion Capture Софтверный motion capture – это неплохой способ сэкономить на дорогостоящем оборудовании. В отличие
21. PHOTOGRAMMETRY «image modeling»
23. Скачать презентацию

Слайд 2

MATCH MOVING

Слайд 3

Введение
Создание большинства современных спецэффектов было бы невозможно без совмещения движения и

геометрии сцены виртуальной со сценой реальной. Технология, давшая возможность совмещать реальный и виртуальный миры получила название "match moving".

source sequence

matchmoving

final sequence

Слайд 4

Терминология
Match moving ("camera tracking", "3d tracking", "3d tracing") – это процесс

вычисления трехмерной траектории камеры и ее параметров, а так же положений объектов в сцене (в том числе, и движущихся) на основе уже отснятых изображений. Match moving является разделом проективной геометрии.
Трэкинг – процесс автоматического отслеживания точки или серии точек в изображении от кадра к кадру. Сама концепция трэкинга появилась в американском министерстве обороны в начале 80-х годов. Первый опыт применения трэкинга в VFX состоялся в 1985 году в серии рекламных роликов для National Geographic.
Проективная геометрия – это раздел геометрии, изучающий проективные свойства фигуры (в частности, проекция на плоскость – плоскостная проективная геометрия). Проективная геометрия появилась в 4 веке до нашей эры, а ее законы позволяют создавать сложные визуальные эффекты в наши дни.

Слайд 5

Этапы развития технологии
Этап 1. Руки, руки, и еще раз руки.
На этом

этапе существовал только один способ совмещения – ручной. В данном случае, профессиональный matchmover успевал делать трэкинг 50-60 кадров в день и при этом трэкинг не был точным.

Слайд 6

Этапы развития технологии
Этап 2. Аппаратный. Motion Control Systems.
Десять-двенадцать лет назад программного

трэкинга камеры не существовало как такового. Первый пакет программного трэкинга камеры ras_track появился в 1996 году (в 1998 году разработчики получили Technical Achievement Award).
Motion Control Camera. Когда мы говорим об аппаратных системах, то подразумеваем прямое получение трехмерных данных с датчиков. Motion Control системы обладают поразительными возможностями и высокой точностью, успешно сочетающейся с не менее высокой ценой.

Слайд 7

Этапы развития технологии
Этап 3. Программно-аппаратный.
Системы Motion Control по прежнему актуальны во

многих ситуациях, но значительная часть процесса совмещения перенесена на программную основу. Ввиду дешевизны и удобства программной реконструкции трехмерных данных этот способ получил огромное количество сторонников. Когда мы говорим о программном трэкинге, то подразумеваем реконструкцию трехмерных данных. Ниже приведен список основных продуктов на этом сегменте рынка.
Доступные коммерческие и бесплатные системы
3DEqualizer
BouJou
Match Mover
PFTrack
SynthEyes
VoodooCameraTracker
Закрытые In-House системы
MARS (Motion and Structure Recovery System)
TRACK

Слайд 8

Эволюция программных систем
Изначально появился так называемый "survey-base tracking". Название обусловлено тем,

что пользователь должен был знать трехмерное положение каких-то точек в пространстве (например, углы зданий). Затем указывалась их локализация в двухмерном пространстве изображения и проводился двухмерный трэкинг. И тогда программа строила трехмерную точечную модель на основе соотнесения двухмерных позиций точек на изображении и их трехмерных координат.
В процессе эволюции технологий, появился "survey-free tracking". Трэкинг при котором не требуется знание каких-то трехмерных координат в снимаемой сцене. Первым продуктом из "survey-free" систем считается 3D Equalizer (в 2001 году разработчики получили Scientific and Engineering Award). Для построения трехмерной точечной модели используется алгоритм "Structure From Motion". При использовании этого алгоритма сначала происходит двухмерный трэкинг структур изображения, а затем на основе двухмерных точек происходит реконструкция трехмерных данных.

3DE_reel

Слайд 9

Применение 3D Equalizer
Виртуальные (CG) объекты, помещенные в реальную среду. В создании

архитектурной визуализации такие объекты используются для добавления частей зданий, отдельных строений или целых городов в реальное фото или видео изображение. Используя сходные методы, с помощью "CG-протезирования” или виртуальной "косметики” (make-up) можно добавлять актерам в отснятой сцене некоторые интересные особенности. Например, крылья…
Реальные объекты, помещенные в виртуальную (CG) среду. Примером этого может служить движение живого актера по созданной на компьютере студии. I. В ТВ-студиях часто применяются "virtual sets” для решения подобных задач, требующих большого количества дорогих и сложных устройств. Однако сейчас эти задачи можно решить на пост продакшене, так как используя 3DE можно быстро воссоздать движение.

Слайд 10

Применение 3D Equalizer
Стабилизация. Вы, конечно, смотрели фильмы из серии "Matrix", в

которых активно применялась технология "bullet time" (или "slice of life"). В основе технологии лежит одновременная съемка одной сцены большим количеством фотокамер. Информация о движении и точечная модель, экспортированная из программы 3DE исключает любые произвольные сдвиги положения и ориентации группы камер, для того чтобы кадр получился безупречным.

Реальные объекты, помещенные в реальную среду. Изображения, сочетающие различные реальные элементы, выглядят неубедительно, если масштабы и перспективы всех элементов слишком сильно отличны друг от друга. Реальная окружающая среда снимается на камеру. Затем вся информация о движении воссоздается в 3DE и передается на программно-управляемую motion control camera, которая снимает другие реальные объекты для интеграции в первичную реальную среду.

Слайд 11

Сущность программной реконструкции данных
При реконструкции камеры и объектов используются формулы проективной

геометрии. Законы проективной геометрии допускают как прямой ход лучей (съемка объектов на камеру), так и обратный (реконструкция данных объектов).

Слайд 12

Matchmoving pipeline
Поддерживается импорт всех основных форматов.
Экспорт трехмерных данных возможен во все

современные пакеты трехмерной графики и композитинга.

Слайд 13

Условия успешного трэкинга
Для успешной реконструкции трехмерных данных пользователь должен предоставить программе

достаточное количество информации.
Общие условия, необходимые для воссоздания движения камеры или объекта таковы:
1. Все детали ("features"), положение которых определяется с помощью точек, используемые для воссоздания камеры должны быть неподвижны по отношению друг к другу.
2. В каждом кадре, на экране должно быть как минимум 4 точки.
3. Всего должно быть не менее 6 точек.
4. Как минимум в двух кадрах эти 6 точек должны размещаться на экране, они называются опорными кадрами ("rootframes").

Слайд 14

Проблемы при matchmoving
На данном этапе развития существуют две основные программные проблемы:
1.

Камера закрепленная на треножнике.
В результате трэкинга камеры с “position constraint”. Вы получаете набор точек сферически распределенных в пространстве и такая точечная модель не отражает реальной геометрии сцены.
2. Точки лежат перпендикулярно камере и перспектива мало изменяется на протяжении всей секвенции.
Эта проблема еще более неприятная, чем первая. Здесь речь идет уже о невозможности программным вычислительным ядром получить корректные результаты.

Слайд 15

Решение проблем при matchmoving
В обоих вышеперечисленных случаях на помощь нам приходят

reference frames.
reference frames – это кадры снятые в той же сцене, что и основная секвенция и служащие для уточнения положения точек в пространстве.

Слайд 16

Pipeline и концепция сред
каждая из сред соответствует этапу 3d трэкинга

Слайд 17

MOTION CAPTURE

Слайд 18

Типы современных motion capture систем
магнитные
Замеряется расстояние от датичика до слабого электро-магнитного

поля.
Это громоздкие системы, с высокой ценой и низкой помехоустойчивостью.

механические
Самые недорогие из существующих систем motion capture. Но при этом они помехоустойчивы и отлично переносят движение скелета на трехмерную модель.

Слайд 19

Типы современных motion capture систем
Оптические
В основе лежит система построенная на инфракрасных

датчиках и фиксирующих камерах (от 1 до 16). На сегодняшний день это наиболее современные и используемые системы. Они очень масштабируемые и помехоустойчивые.

Слайд 20

Софтверный Motion Capture
Софтверный motion capture – это неплохой способ сэкономить на

дорогостоящем оборудовании.
В отличие от аппаратных real-time систем, при софтверном moCap сначала происходит съемка видео, а затем трэкинг точек и построение moCap модели.
При софтверном moCap важно правильно подобрать количество камер и их расположение.
Кроме того, очень большое значение имеет качественная синхронизация камер.

Слайд 21

3D EQUALIZER the cuting edge of matchmoving. - презентация

Содержание

MATCH MOVING

ВведениеСоздание большинства современных спецэффектов было бы невозможно без совмещения движения и

ТерминологияMatch moving ("camera tracking", "3d tracking", "3d tracing") – это процесс

Этапы развития технологииЭтап 1. Руки, руки, и еще раз руки.На этом

Этапы развития технологииЭтап 2. Аппаратный. Motion Control Systems.Десять-двенадцать лет назад программного

Этапы развития технологии Этап 3. Программно-аппаратный.Системы Motion Control по прежнему актуальны во

Эволюция программных системИзначально появился так называемый "survey-base tracking". Название обусловлено тем,

Применение 3D EqualizerВиртуальные (CG) объекты, помещенные в реальную среду. В создании

Применение 3D EqualizerСтабилизация. Вы, конечно, смотрели фильмы из серии "Matrix", в

Сущность программной реконструкции данныхПри реконструкции камеры и объектов используются формулы проективной

Matchmoving pipelineПоддерживается импорт всех основных форматов.Экспорт трехмерных данных возможен во все

Условия успешного трэкингаДля успешной реконструкции трехмерных данных пользователь должен предоставить программе

Проблемы при matchmovingНа данном этапе развития существуют две основные программные проблемы:1.

Решение проблем при matchmovingВ обоих вышеперечисленных случаях на помощь нам приходят

Pipeline и концепция средкаждая из сред соответствует этапу 3d трэкинга