иммерсивное видео что это
Работа с иммерсивным видео виртуальной реальности
Обновленная версия этого документа приведена в разделе Поддержка виртуальной реальности.
Работа с видео виртуальной реальности
Обзор
Технология иммерсивного видео используется на протяжении уже нескольких десятилетий, однако она не применялась в крупных масштабах до недавнего времени.
В наиболее распространенных решениях по работе с видео виртуальной реальности у зрителя создается иллюзия присутствия внутри сферы, на внутреннюю поверхность которой проецируется изображение окружающего пространства. Эффект присутствия может быть дополнительно усилен с помощью использовании стереоскопических технологий, формирующих разные изображения для левого и правого глаза. Этот способ используется для просмотра видео с помощью YouTube, Google Cardboard и Facebook.
Ключевое значение при этом имеет запись, форматирование и кодирование видеоматериала таким образом, который позволяет проецировать изображение окружающего пространства на внутреннюю поверхность сферы. Наиболее простым способом выполнения этой задачи является использование равнопромежуточной проекции.
Что такое равнопромежуточная проекция?
Если, к примеру, взять поверхность сферы, то положение точки на этой поверхности будет определяться с помощью двух координат – широты и долготы. Теперь представим стандартный видеокадр. Видеокадр имеет ширину и высоту, при этом точки имеют координаты X и Y.
Сферическая проекция просто «разворачивает» сферу, сопоставляя долготу с координатой X и широту с координатой Y.
Вот известный пример – плоское и развернутое изображение глобуса:
Обратите внимание, что изображение расширяется по мере приближения к полюсам. Это происходит по причине того, что по мере приближения к полюсу уменьшается пространственное расстояние между позициями долготы. По мере приближения к полюсу меньшая окружность линии широты растягивается до той же длины, что и широта на экваторе.
Из-за этого искажения трудно понять, из чего состоит равнопромежуточное изображение. Кроме того, вы видите значительно больше объектов, чем обычно, и их положение не определяется интуитивно. Объект в правом углу кадра на самом деле находится за камерой, а объект в крайнем левом углу находится непосредственно справа от него.
Мост «Золотые Ворота» бросается в глаза, так как он расположен по центру кадра, но при съемке иммерсивного видео необходимо учитывать все окружающие объекты. Глядя на кадр, мы не можем увидеть, что позади нас находится забор. Или смельчак, который прыгает с этого забора за нашим левым плечом!
Грамотно поставленный кадр требует учета всех объектов, которые в него попадают. Эта проблема еще более актуальна при использовании равнопромежуточной проекции. В Adobe Premiere Pro CC 2015.3 имеются инструменты, позволяющие просматривать изображение в виде сферы и имитирующие вид в очках виртуальной реальности или средстве просмотра для рабочего стола, например, YouTube.
Редактирование сферического видео
Не смотря на то, что работа с равнопромежуточной проекцией является непростой задачей, она не сильно отличается от работы с любым другим форматом видео. Большинство навыков, инструментов и приемов для редактирования стандартного видео найдут свое применения при работе со сферическим видео. Обрезка кромок, склейка и манипуляции с дорожками работают точно так же. Даже многие из наиболее часто используемых эффектов отлично работают с равнопромежуточной проекцией.
В Premiere Pro 2015.3 добавлена новая функция, которая может оказаться особенно полезной при работе с иммерсивным видео – инструменты для работы с прокси-файлами. Сферическое видео может иметь размеры 8000 х 8000 пикселей – гораздо больше, чем большинство стандартных размеров кадра. Декодирование видео с таким высоким разрешением в режиме реального времени – непростая задача даже при использовании аппаратного ускорения. Новый инструмент для работы с прокси-файлами, добавленный в Premiere Pro, позволяет вставлять и редактировать соответствующий материал, в то время как версии в более низком разрешении 2К формируются в фоновом режиме и готовы занять свое место на панели «Временная шкала» с помощью простого нажатия кнопки.
Включение отображения видео в режиме виртуальной реальности
При включении отображения видео в режиме виртуальной реальности (VR) на «Программном мониторе» или «Исходном мониторе» Premiere Pro позволяет оценить проделанную работу с позиции зрителя прямо в процессе редактирования. Новая функция отображения видео в режиме виртуальной реальности позволяет моделировать представление сферического видео с помощью шлема виртуальной реальности, например, Oculus Rift, или средств просмотра для рабочего стола, например, YouTube или Facebook.
Чтобы включить функцию отображения видео в режиме виртуальной реальности, щелкните значок настроек («гаечный ключ») в правой части экрана а затем выберите «Параметры видео VR» > «Включить».
В новой версии добавлена кнопка, позволяющая переключать функцию отображения видео в режиме виртуальной реальности, которую можно закрепить вместе с кнопками воспроизведения монитора. Чтобы добавить эту кнопку, щелкните значок «+» в правом нижнем углу монитора, чтобы открыть редактор кнопок. Перетащите кнопку «Переключить отображение видео VR» из редактора в требуемое место на панели монитора.
Также можно назначить пользовательскую комбинацию клавиш для переключения режима просмотра видео в режиме виртуальной реальности на одном или двух мониторах.
Просмотр иммерсивного видео с помощью функции отображения видео в режиме виртуальной реальности
После включения функции отображения видео в режиме виртуальной реальности на экране отображается равнопромежуточная проекция, которая выглядит следующим образом:
Сверху в центре экрана отображается интерактивное поле обзора внутри сферической проекции. Нажатие и перетаскивание этого интерактивного поля обзора внутри сферической проекции позволяет панорамировать изображение и изменять угол обзора. Дважды щелкните в любой точке интерактивного поля обзора, чтобы снова расположить его по центру представления.
В нижнем правом углу видеокадра расположены горизонтальный и вертикальный ползунки, позволяющие панорамировать изображение и изменять угол обзора.
Числовые значения рядом с этими ползунками показывают текущие значения степени панорамирования и наклона, а также позволяют ввести числовое значение напрямую. Положительные значения соответствуют перемещению интерактивного поля обзора вправо и вверх, в то время как отрицательные значения соответствуют перемещению влево и вниз.
Круговая шкала в нижней части экрана указывает направление обзора, а также позволяет перемещать интерактивное поле обзора влево и вправо с помощью щелчка и перетаскивания. Данная круговая шкала уникальна тем, что она обеспечивает возможность непрерывного кругового панорамирования.
Настройка параметров отображения видео в режиме виртуальной реальности
Новая функция отображения видео в режиме виртуальной реальности работает как в моноскопическом, так и в стереоскопическом режиме. Также доступна возможность работы с видеорядом виртуальной реальности, отснятым в неполной сфере представления. Можно настроить параметры отображения таким образом, чтобы имитировать вид в очках виртуальной реальности или средстве просмотра для рабочего стола. В стереоскопическом видео можно выбрать вид в формате анаглифа красного/голубого цвета и просматривать видео в 3D с помощью недорогих стереоочков.
Чтобы настроить функцию отображения видео в режиме виртуальной реальности, щелкните значок настроек («гаечный ключ») в правой части экрана а затем выберите «Видео VR» > «Настройки».
Параметр «Макет кадров» позволяет выбрать между моноскопическим или стереоскопическим режимом отображения. В стереоскопическом режиме можно выбрать вертикальную или горизонтальную стереопару. В стереоскопическом видео можно выбрать вид, предназначенный для левого или правого глаза, или в формате анаглифа красного/голубого цвета.
При работе с иммерсивным видео помимо размеров в пикселях необходимо учитывать угол обзора. Параметр «Захваченный вид» позволяет настроить поле обзора, отображаемое на мониторе. Как правило, используются настройки по умолчанию, соответствующие полной сфере с захваченным видом на 360 градусов по горизонтали и 180 градусов по вертикали.
Поля «Вид монитора» позволяют настроить поле обзора, отображаемое на мониторе в режиме виртуальной реальности, моделируя различные варианты просмотра. Например, очки Oculus Rift могут отображать поле обзора размером 90 x 60 градусов, в то время как поле обзора YouTube составляет 160 x 90 градусов. Также обратите внимание, что эти настройки определяют значение форматного соотношения окна просмотра. Например, поле обзора 160 х 90 градусов соответствует форматному соотношению окна просмотра 16:9.
Работа с эффектами
При работе с равнопромежуточной проекцией используются три самых распространенных эффекта – «Растворение», «Цветовой эффект (Lumetri)» и «Скорость». Эти эффекты не изменяют положение пикселей в достаточной мере, чтобы вызвать ошибку. Основное правило заключается в том, что если соответствующий эффект изменяет расположение пикселя по вертикали, то он вряд для будет работать. Представьте, каким образом изменение вертикального положения пикселей влияет на его искажение по горизонтали после применения перспективы. Например, эффекты «Горизонтальное сжатие» или «Горизонтальное вытеснение» будут работать, в то время как простой эффект «Картинка в картинке» будет выглядеть искаженным, поскольку он использует масштабирование изображения как по вертикали, так и по горизонтали.
Также обратите внимание на наложение изображений. Наложить сферическое видео поверх другого сферического видео можно только при условии сохранения исходного расположение по вертикали и масштаба. Можно снять объект на зеленом фоне в равнопромежуточном формате и применить цветовую рирпроекцию для наложения его поверх фонового изображения. Наложить стандартное плоское видео поверх сферического фонового видео не удастся без дополнительных шагов. Тут вступает в дело четвертый основной эффект – «Титры и графика». Для работы с плоским изображением, например, титрами, которые необходимо наложить поверх равнопромежуточного изображения, необходимо сначала спроецировать его на сферу. Чтобы наложить плоское изображение поверх сферического видео, необходимо использовать внешние модули сторонних разработчиков, например инструменты SkyBox 360/VR, в частности, эффект Mettle SkyBox Project 2D.
Одним из встроенных эффектов, на которые следует обратить внимание при работе со сферическим видео, является эффект «Смещение» (находится в разделе «Видеоэффекты»/«Искажение»). В отличие от стандартных камер, камера виртуальной реальности не использует только один объектив, который фокусируется на снимаемом объекте. Она снимает все окружающее пространство одновременно. При склейке различных кадров можно обнаружить, что камера изменила свое положение, и главный объект сместился по сравнению с предыдущим кадром. В таком случае необходимо поместить главный объект обратно в поле зрения, чтобы зрителю не пришлось крутить головой в его поисках.
Эффект «Смещение» позволяет поворачивать весь кадр. Примените эффект «Смещение» к вырезанному сегменту на панели «Временная шкала» и перетащите первое значение пары параметра «Сместить центр к» влево или вправо, в зависимости от того, каким образом вы хотите панорамировать клип. Следите за тем, чтобы не изменить второй параметр, иначе вертикальное положение объекта будет нарушено. Одно последнее замечание: данный эффект не применяется в режиме реального времени и требует рендеринга. Эффект «Повернуть сферу» в Mettle поддерживает обработку в реальном времени. Он также позволяет наклонять изображение по вертикали и даже вращать камеру. Будьте внимательны при наклоне и вращении сферы, так как это может привести к ухудшению качества изображения исключительно из-за способа, которым работает равнопромежуточная проекция.
Экспортирование
Экспортирование сферического видео в целом не сильно отличатся от экспортирования видеоматериалов любого другого типа, однако тут имеются несколько особенностей:
Ниже приводится пример настроек экспорта стереоскопического видео в формате H.264:
VirtRe
мир виртуальной реальности
Иммерсивные технологии: что это, области применения
Изначально иммерсивным технологиям отводилась роль вспомогательного элемента для просмотра научной фантастики. В 1935 году американский автор Стэнли Вайнбаум опубликовал рассказ «Очки Пигмалиона», один герой которого изобрёл очки, погружающие человека в некое подобие виртуальной реальности — кино, которое воздействовало на все органы чувств и давало возможность участвовать в действии. Само зарождение иммерсивных технологий произошло в 50-х годах прошлого века. Часто иммерсивными технологиями называют технологии расширенной реальности, которая состоит из виртуальной и дополненной реальности.
Иммерсивность — это один из способов восприятия или один из определяющих факторов, изменяющих сознание. Данное явление часто встречается в кино и театральных постановках.
Иммерсивные технологии — это совокупность методов, обеспечивающих различными способами погружение в виртуальный мир. Пользователь, погружаясь в VR, приобретает новых опыт в совершенно разных областях знаний.
Для лучшего понимания иммерсивности следует познакомиться с некоторыми его определяющими понятиями.
Объективной (RR) называют реальность, в которой мы с вами находимся, которая воспринимается нами с помощью органов чувств.
Виртуальной (VR) называют абсолютно смоделированную реальность на основе цифрового модулирования. К ним относят 3D, 360 видео и также звуки, ощущения и запах. С помощью 360 фото и видео в виртуальной реальности пользователю проецируется картинка, имеющая обзор 360°, в полной мере отражающая реальный мир.
Дополненная реальность (AR) – это технология, позволяющая преобразовывать реальность, в которой мы существуем, с помощью цифровых элементов.
Смешанная реальность (MR) представляет собой комбинацию дополненной и виртуальной реальностей. MR придает виртуальным изображениям реалистичность. При этом цифровые и физические объекты сосуществуют и взаимодействуют в реальном времени.
Расширенная реальность (XR) – термин, объединяющий AR и VR технологии.
Чтобы всецело познакомиться с иммерсивными технологиями, одного смартфона недостаточно, потребуется наличие шлема и очков.
Использование иммерсивных технологий
Чаще всего иммерсионные технологии используются в области образования. В настоящее время это самая востребованная сфера их использования. Например, ранее учащиеся при изучении устройства, могли рассматривать только его двухмерное изображение на листе бумаги. С помощью иммерсионных технологий можно навести камеру смартфона со специально разработанным приложением и, задействовав дополненную реальность (AR), увидеть на экране все внутренние составляющие устройства, вплоть до подвижных элементов.
Преимущества иммерсивного обучения:
Иммерсивный способ обучения обеспечивает не только наглядность и увлекательность процесса, но и продуктивность. Этот метод произвел революцию в образовательном процессе, изменив сам мир обучения. Выдающийся потенциал, которым он обладает, поможет достичь невероятных успехов.
Как реализуются иммерсивных технологии
Область применения иммерсионных технологий довольно обширна: розничная торговля, электронная коммерция, индустрия для взрослых. Без него немыслимо развитие искусства, индустрии развлечений, создание видеоигр, интерактивного повествования, вооруженных сил, медицины.
Существует несколько методов погружения в иммерсивнную реальность.
360 видео
Давно используется в фотоаппаратах, поддержка со стороны Facebook началась в 2018 году. Камерами производится съемка окружающего пространства, затем изображения сшивают с помощью специальной программы. Бесшовные способы стоят дороже. Иногда к готовому видео добавляют графику.
Этот метод получил широкое применение в реальной жизни. Сейчас человечество не задумываясь, принимает его как данность, например в таких сферах как:
Дополненная реальность
Широкое использование иммерсивных технологий началось во 2-й половине 20-го века для нужд военной промышленности. Обучение летчиков основывалось на проецировании показателей приборов на лобовые стекла летательного аппарата или на стекла герметичного шлема. Скорость получения информации увеличилась в разы, соответственно увеличилась скорость реакции обучающегося.
Дальнейшее развитие иммерсивных технологий привело к появлению следующих направлений:
• AR для смартфона. Продукция Apple с платформой ARkit развивается несколько лет и насчитывает больше 5 млрд. пользователей.
• Pokemon Go. Известная во всем мире, игра. Её доход в 2020 г. достигнет 1 млрд. долларов и перейдет отметку 4 млрд. с момента появления в 2016 г.
• маркетинговые проекты, в которых игрок с помощью дополненной реальности занимается поиском разбросанных (спрятанных) денег. На сумму равных размеру собранных с помощью специального приложения денег, пользователь получает скидку в определенном магазине.
• компания LifePrint выпустила приложение для смартфона, которое при помощи дополненной реальности делает их «живыми».
• проекты, помогающие в навигации. В Американских штатах начало действовать приложение с помощью которого, при наведении смартфона на картинки, те в свою очередь становятся живыми. Работа приложения осуществляется с помощью телефона, меток, проецирования на стекла авто, самолета, очков. Технология далека от совершенства, на улице большое значение имеет освещение. Если оно слишком яркое, изображения выглядят тусклыми.
Использование дополненной реальности довольно широко, например:
Перечисленные выше примеры использования AR давно стали привычными и не вызывают удивления у пользователей. Наиболее сложной иллюстрацией использования дополненной реальности стала интерактивная реклама от Pepsi Max. Было разработано специальное приложение, используя которое, при наведении на продукцию, пользователи видели эксклюзивное видео.
Виртуальная реальность
VR обладает визуальным и звуковым наполнением. Звук имеет главенствующее значение, так как с его помощью происходит дополнение виртуальности и создание эффекта присутствия. Оказаться в виртуальной реальности можно разными способами:
В настоящее время предпринималось несколько попыток создания виртуальных экосистем.
Примером использования иммерсивных технологий в VR стала разработка интересного проекта от IKEA. Суть проекта заключалась в том, что клиент с помощью специальных очков оказывается на виртуальной кухне. При помощи джойстика он может прочитать книгу с рецептами и приготовить понравившееся блюдо.
В Германии проведен эксперимент по найму сотрудников. Его суть заключалась в том, что потенциальный претендент надевал виртуальные очки, с помощью которых демонстрировал свою квалификацию в условиях реальной обстановки на работе.
Тенденции развития иммерсивных технологий
В настоящее время уровень развития иммерсивных технологий находятся на грани фантастики. Чего же ожидать дальше?
Разработчики стремятся достичь большей реалистичности. Для этого необходимы инструменты легкого взаимодействия. В настоящее время это является основной задачей. Качество разрешения картинки не высокое, фотореалистичность недостаточная. На пути развития более реалистичного изображения могут встать ограничения графики и скорости обработки данных. Найти выход планируется с помощью использования облаков в гибридных системах.
Возможности VR-шлемов недостаточно развиты, поэтому разработчики бросили все силы на создание VR-инсталляций. На них возложена перспектива роста продаж в сфере дорогих объектов недвижимости. Конечным результатом является создание приложений для конкретного кейса, который позволит продавцу найти покупателя и наоборот.
Компаний, занимающихся созданием иммерсивных технологий не коснулась монетизация. Все исследования ведутся на ощупь. Поклонников расширенной реальности мало. Для практического использования нужно много составляющих: приобретение систем, скачивание приложений.
В перспективе создание систем, которые соединят в одно несколько направлений. Например: изображение предполагается обрабатывать в режиме online, затем передавать посредством радио, Wi-Fi, Bluetooth-канала к мобильному шлему клиента.
Использования иммерсивных технологий в России
Российские компании не отстают в разработках VR технологий. Особого внимания заслуживает банк ВТБ, который в своей деятельности использует несколько виртуальных кейсов:
1. VR-голосование использовалось при проведении годового собрания акционеров.
2. VR-инвестиции находятся в стадии разработки. Их целью является онбординг (знакомство новых сотрудников с деятельностью банка для быстрого приспособления к социальной среде и включения в работу коллектива). В течение короткого времени клиент узнает о брокерских продуктах, с помощью менеджера происходит открытие брокерского счета, для перевода денежных средств.
3. VR-ипотека объединяет владельцев строительных объектов и пользователей. Сервер предоставляет дистанционные консультации и просмотр квартир. Агент, находясь в другом регионе, предоставляет покупателю необходимую информацию.
Иммерсивное (360° видео) – краткий обзор современных технологий
Недавняя публикация на одном из популярных сайтов Рунета подтолкнула меня к тому, чтобы сделать небольшой обзор современного состояния технологий так называемого иммерсивного («объемного», 3D 360°), видео. Для тех, кто, возможно, подобного еще никогда не видел, в двух словах это можно описать как Google Street View, только вместо статичных фото используется видео.
Иммерсивное видео – видеозапись реального места/события, предусматривающая одновременную съемку изображения во всех направлениях (с охватом до 90..96% условной сферы вокруг камеры, кроме ее стойки). При проигрывании позволяет зрителю управлять (мышью, с помощью touch-screen или поворотом головы в случае использования специальных очков) направлением наблюдения, степенью приближения, а также скоростью показа [Wikipedia].
Проще и быстрее это понять, конечно, на примерах: 1, 2, 3 (не забываем работать мышкой 🙂
Где это может быть полезно: картирование и георазведка, видеонаблюдение и тренировка/подготовка военных, съемка туристических и проч. достопримечательностей, недвижимости и др. продаваемых объектов, реклама, съемка исторических событий и ТВ-программ, а также, вполне возможно, совершенно новый формат художественных фильмов. Если технология пойдет в массы и станет более-менее доступной финансово, безусловно, и just for fun 🙂
Поиск по сети позволил обнаружить несколько проектов, активно занимающиеся разработкой в данном направлении. Это, в частности:
Immersive Media (ранее на Хабре)– американская компания, созданная в 1994 г., первое иммерсивное видео сняли в 1995 г. В 2004 разработали первую сферическую полностью цифровую видеокамеру (Dodeca System). С 2006 г. развивают проект GeoImmersive City Collect – видео аналог Google Street View для крупных городов США и Канады (сайта с этими самими видео я почему-то, правда, так и не нашел). Прошли IPO, торгуются на рынке. Некоторое время поставляли StreetView-фотоданные для Google, но потом дорожки компаний, похоже, разошлись.
Ключевой продукт компании IM – камера Dodeca 2360. Вкратце: додекаэдр с 11 объективами, снимает видео 30 fps (2400х1200 пикселей/фрейм); весит
11,34 кг и может устанавливаться на различные транспортные средства, а также посредством специального каркаса вешаться на спину (в т.ч. парашютистам, серфингистам и проч.). Видео может дополняться метаданными (напр., GPS-координатами сьемки).
Закономерно, что для показа своих видео компания разработала свой flash-плеер; предоставляет SDK для внедрения видео в сторонние приложения (есть интерфейсы для C++, C#, ActiveX, XPCOM).
Разрабатывает приложение IM GIS Viewer (рис. ниже), позволяющий одновременно смотреть иммерсивное видео и наблюдать местоположение камеры на карте, также инструменты для обозначения точек, сохранения кадров и проч. Неплохое видеоописание данного приложения можно увидеть здесь (англ.).
Ну и, наконец, есть достаточно много примеров иммерсивного видео, например, под водой, бейс-джампинг, американские горки и проч.
Другая компания, которую мне удалось найти — yellowBird. Эта значительно моложе и меньше, была основана Marc Groothelm и Rafaël Redczus в марте 2009 г.
Используют камеру с 6 объективами, генерирующую до 1200 Мбит/сек данных, со стереомикрофоном, пишущим звук при 96 кГц. Также весьма маленькая и может устанавливаться на транспорт или носиться человеком.
На текущий момент якобы используется преимущественно для съемки разнообразных фестивалей, но в принципе может применяться и для других нужд, упомянутых выше. Собственно, в сети имеется только один пример их работы, как раз «фестивальный».
В целом идея вроде бы «лежит на поверхности», и технологии, необходимые для ее реализации, вполне доступны, поэтому вполне вероятно, что имеются и другие начинания в данном направлении.
Другие интересности по теме:
* Известно, что подобную технологию используют американские военные для обучения своих солдат (там, кстати, используются очки для ВР и управление возможно поворотами головы) – видео.