Современная 360-градусная камера — это совершенно другой подход к съемке. На примере камеры Insta360 X6 расскажем о том, как устроена технология сферического видео, как работают сшивка и стабилизация,…
… а также почему больше не нужно переживать за упущенный момент, следить за направлением объектива и почему выбор ракурса теперь происходит уже на стадии монтажа.
Итак, начнем-с.
Как 360-градусная камера видит всё вокруг
Обычная цифровая камера, равно как и камера смартфона (даже самого-самого флагманского) вынуждает оператора работать только с плоским прямоугольником будущего кадра. Мы смотрим на экран и руками направляем объектив на интересующий нас объект…
А этот самый объект не стоит на месте, а двигается и убегает/уезжает за рамки этого прямоугольника, то для будущего сюжета он тоже как бы теряется.
Технология 360-градусной съемки в современном её виде работает несколько иначе и фактически напрочь ломает традиционную логику захвата изображения. 360-градусные камеры фиксируют не отдельный ограниченный фрагмент окружающей реальности, а как бы всю её непрерывную сферу вокруг.
Чтобы лучше понять, как это происходит, представляем, что наша камера находится точно в центре невидимого стеклянного шара и непрерывно записывает абсолютно всё, что проецируется на его внутреннюю поверхность. Сверху, снизу, слева, справа, спереди и сзади — матрицами фиксируется каждая деталь окружающей среды.
В результате чего на карту памяти записывается не плоская картинка, а сложная, так называемая эквидистантная проекция. И потому чисто визуально сырой файл 360-градусной картинки похож на развернутую в прямоугольник карту земного шара, где географические полюса сильно искажены и растянуты, а экватор выглядит более-менее реалистично.
Такой подход кардинально меняет восприятие процесса видеопроизводства. Оператору 360-градусной камеры не нужно концентрироваться на поиске идеального ракурса в моменте, жертвуя личным присутствием в событии. Камера изначально работает как пассивный регистратор всего окружающего пространства, собирая гигабайты визуальных данных, из которых потом будет сформирован итоговый материал.
Следовательно, и вся основная творческая нагрузка ложится не на момент съемки, как в классической фотографии, а на переносится на этап постпродакшена, предоставляя оператору огромное поле для маневра и даже некоторое право на режиссерскую ошибку.
Зачем 360-градусной камере столько объективов
Чтобы захватить пространство со всех сторон одновременно, одного цифрового датчика и одной системы линз физически недостаточно, какие бы оптические ухищрения ни применялись.
Угол обзора стандартной широкоугольной оптики современного смартфона редко превышает 120 градусов, и даже специализированные экшн-решения останавливаются на отметке около 155 градусов.
Для полноценного захвата всей сферы без мертвых зон инженерам требуются специализированные оптические блоки с огромным углом охвата.
В моделях уровня Insta360 X6 (см. об этой и других камерах в Sergeev Electronics) применяются строго симметричный комплекс из пары сверхширокоугольных объективов типа «рыбий глаз». Каждый из этих модулей смотрит в прямо противоположную сторону и обладает углом обзора более 180 градусов (обычно в технических спецификациях указывается оптические значения около 200 градусов для каждой отдельной линзы).
Очевидный вопрос — зачем нужен такой избыточный запас свыше 180 градусов? Этот так называемый оптический нахлест крайне важен для корректной работы алгоритмов на следующем этапе обработки сигнала.
Если бы каждый объектив снимал ровно по 180 градусов, полусферы сходились бы встык. В такой схеме любая микроскопическая неточность заводской сборки, малейшее температурное расширение пластика корпуса или легкий сдвиг линз при перепадах давления приводили бы к появлению перманентных слепых зон на стыке.
Оптическое перекрытие полей зрения с запасом в 10-20 градусов по краям гарантирует, что ни одна деталь окружающего мира не выпадает из «поля зрения» датчиков матрицы, а у центрального процессора камеры хватает дублирующей информации для эффективной работы с пикселями.
Как сшивается картинка и что такое stitching
Stitching (буквально «сшивка») — это базовый математический процесс превращения двух отдельных полусферических видеопотоков в единую панораму. Поскольку объективы 360-градусной камеры расположены на некотором физическом расстоянии друг от друга по разным сторонам платы, они видят объекты в зоне оптического пересечения под немного разными углами. Возникает эффект параллакса — смещение объектов ближнего плана относительно фона.
Процессор камеры непрерывно анализирует кадры с обоих 1/2-дюймовых сенсоров, находит общие контрастные точки в зоне нахлеста и программно склеивает их в единое полотно.
У Insta360 X6 программные алгоритмы выполняют эту сложнейшую операцию просто на ходу, параллельно анализируя карту глубины снимаемой сцены.
Когда объект находится слишком близко к камере (ближе так называемой безопасной дистанции сшивки, которая для подобных камер обычно составляет 30-50 сантиметров), программное обеспечение динамически смещает линию склейки.
Механизм же оптического потока (Optical Flow) буквально огибает контуры предмета линией шва, чтобы избежать визуальных артефактов — раздвоения рук, пропажи частей тела или сильного геометрического искажения лиц.
Разумеется, такая сшивка видео сверхвысокого разрешения требует огромных вычислительных мощностей. Именно поэтому Insta360 X6 при долгой съемке заметно нагревается и её нужен хороший теплоотвод. Встроенный чип непрерывно обрабатывает сразу два тяжелых потока видео с высоким битрейтом, синхронизирует их по времени с микросекундной точностью, покадрово корректирует экспозицию и баланс белого для каждой линзы по отдельности, чтобы место склейки не выделялось резким скачком яркости или цвета, а затем упаковывает готовый результат в контейнер файла H.265.
Как выбрать ракурс уже после съёмки
Главный концептуальный сдвиг при работе с 360-устройствами — это полное разделение процесса видеофиксации и процесса композиционного кадрирования. С обычной камерой оператор работает в реальном времени, постоянно напрягая внимание и оценивая сцену через видоискатель.
Оператор Insta360 X6 работает … уже сидя дома в комфортном кресле с планшетом, мышкой или со смартфоном.
А по ходу же самой съемки даже не нужно особо переживать, куда конкретно смотрит передняя линза устройства. Главное — закрепить камеру повыше и понадежнее, чтобы ни оператор, ни детали транспорта не перекрывали большую часть обзора.
Проще говоря, с Insta360 X6 можно лететь по горной трассе на байке, маневрировать на сноуборде или просто идти в большой толпе туристов. Камера все равно пишет всё вокруг тщательно и качественно.
Уже потом открываем исходный файл в фирменном приложении и видим всю записанную сферу изнутри. И вот только с этого момента начинается настоящая творческая работа с ракурсом. Мы виртуально вращаем камеру внутри уже отснятого видео, выбирая, куда именно зритель должен смотреть в каждую конкретную секунду времени.
Более того, можно в любой момент развернуть взгляд на 180 градусов, посмотреть на небо, опустить виртуальную камеру на асфальт или сделать сверхширокий охват в стиле маленькой планеты (Tiny Planet), где весь горизонт сворачивается в компактный шар, в центре которого стоит оператор.
Что такое reframing
Reframing (он же «рефрейминг») — это технический процесс вырезания привычного плоского видео из сферического исходника для последующей публикации, к примеру, на популярных видеохостингах и в соцсетях.
На этом этапе мы задаем приложению нужные пропорции и геометрические границы прямоугольного кадра — например, стандартные 16:9 для горизонтального ролика на YouTube или VK, либо вертикальные 9:16 для Reels, TikTok и Shorts. И после этого буквально перемещаем этот виртуальный видоискатель по поверхности отснятой сферы.
Рабочий процесс рефрейминга выстроен через интуитивную систему ключевых кадров. На временной шкале ставится точка и фиксируется положение. На третьей секунде виртуальная камера смотрит строго вперед на дорогу с нормальным углом обзора. Затем перематываем видео на десятую секунду, свайпом по экрану разворачиваем ракурс назад, меняем масштаб и ставим вторую точку — на десятой секунде мы хотим видеть эмоции на лице оператора.
Алгоритм приложения автоматически высчитывает траекторию и создает плавный кинематографический переход, неспешно поворачивая ракурс и зумируя картинку между этими двумя точками в процессе воспроизведения.
Современное программное обеспечение для монтажа поддерживает алгоритмы глубокого отслеживания объектов. Достаточно просто выделить лицо человека, собаку или едущий автомобиль в кадре… Нажимаем кнопку активного трекинга, и программа сама будет удерживать выбранный объект строго по центру композиции, вращая виртуальный объектив вслед за любым его перемещением.
Для стороннего зрителя готовый ролик будет выглядеть так, будто рядом бежал профессиональный оператор с идеальной реакцией, хотя на самом деле камера была просто неподвижно закреплена на лямке рюкзака.
Как работает стабилизация и выравнивание горизонта
Стабилизация картинки у Insta360 X6, как и у большинства 360-камер аналогичного уровня, тоже реализована совершенно иначе, чем оптические системы в флагманских смартфонах или тяжелые механические стедикамы. Всякие маленькие моторчики, компенсирующие тряску, и плавающих в магнитном поле оптические элементы тут не нужны вовсе.
Внутри Insta360 X6 распаян высокоточный 6-осевой гироскоп и акселерометр. Этот аппаратно-программный комплекс непрерывно записывает массив данных о каждом микроскопическом наклоне, крене, повороте и жесткой вибрации устройства с частотой в сотни раз в секунду. Эти сырые телеметрические данные надежно сохраняются в файл вместе с видеорядом, образуя единый мультимедийный контейнер.
При последующем рефрейминге фирменный алгоритм FlowState берет эти данные и просто математически поворачивает отснятую сферу в сторону, строго противоположную физическому движению корпуса камеры в момент записи.
Поскольку камера располагает полным изображением всего пространства вокруг на все 360 градусов без каких-либо границ, софту не нужно прибегать к сильному кропу (обрезке краев кадра) для создания запаса под компенсацию тряски, как это вынуждены делать стандартные электронные стабилизаторы смартфонов.
Аппаратное выравнивание горизонта работает на данных тех же самых датчиков. Гироскоп всегда четко «знает», где находится постоянный вектор гравитации — то есть где абсолютный низ, а где верх. Сама камера может крутиться в воздухе на 360 градусов, падать или крениться на крутых виражах, но алгоритм жестко фиксирует линию горизонта строго параллельно земле.
Визуально на готовом отрендеренном видео это выглядит так, будто девайс установлен на идеально ровном кинематографическом рельсе, плавно плывущем в пространстве.
Почему исчезает селфи-палка
Знаменитый эффект «невидимой селфи-палки» до сих пор вызывает искреннее недоумение у новичков, хотя его природа объясняется исключительно строгими законами геометрии и свойствами оптики, а не сложными генеративными нейросетями, дорисовывающими фон.
Палка не становится прозрачной физически и не закрашивается умными алгоритмами. Она просто не проецируется на матрицу из-за конструктивных особенностей расположения линз.
У Insta360 X6, к примеру, объективы заметно выступают за габариты прямоугольного корпуса. Из-за своей сильно выпуклой формы они физически не способны сфокусироваться на том, что находится непосредственно под ними и под основанием корпуса. У каждого объектива образуется стабильная слепая зона точно в месте штативного крепления стандарта 1/4 дюйма.
Потому когда мы берем монопод правильной толщины (в диаметре не шире корпуса самой камеры — это важно) и устанавливаем его строго на центральной оси между двумя объективами, то он весь прячется в этой оптической слепой зоне.
А далее программа склейки забирает информативные пиксели с краев изображения первого сенсора, пиксели с краев второго сенсора и стягивает их вместе в зоне нахлеста. Конструкция монопода просто не попадает в поле зрения, а оставшийся пейзажный фон сшивается поверх того места, где должна была находиться штанга.
В результате на финальном видео мы видим себя со стороны с чистым фоном, будто динамичная съемка ведется с низко летящего за нами невидимого дрона.
Чем 360-камера отличается от обычной экшн-камеры
Сравнивая Insta360 X6 с популярными камерами уровня GoPro Hero или DJI Osmo Action, очень важно понимать (и осознавать), опять же, разницу в подходах к процессу съемки.
Обычная экшн-камера — это строго узконаправленный инструмент для решения конкретных задач. Выбираем правильный угол, долго настраиваем крепление на шлеме или на груди, тщательно выверяем композицию и надеемся, что в момент сложного трюка или скоростного спуска самое интересное событие не выпадет за жесткие границы кадра.
У Insta360 X6 с планированием все гораздо проще. Когда, скажем, по ходу очередного заезда на байке интересное событие происходит где-то сбоку (кто-то совершает обгон, кто-то падает и т.п.), обычная направленная камера гарантированно этот момент упустит. А 360-градусная камера пишет сразу все, везде и непрерывно.
Однако такая свобода имеет свою цену. Обычная экшн-камера направляет все вычислительные ресурсы и мегапиксели своей матрицы на один конкретный прямоугольный участок. И у ней картинка на выходе получается предельно выразительной, максимально детализированной, с правильным контрастом и широким динамическим диапазоном.
360-камера вынуждена распределять те же самые мегапиксели тонким слоем на огромную виртуальную сферу. Потому при прямом сравнении лоб в лоб направленная камера всегда выигрывает у 360-градусной по чистоте изображения и значительно лучше снимает в условиях слабого освещения. Это тоже надо понимать.
Какие еще есть ограничения у 360-градусных камер
Технология кругового захвата при всей своей универсальности не является решением абсолютно всех задач и тоже имеет свои компромиссные особенности, которые в процессе работы с 360-градусным контентом придется учитывать обязательно:
- Снижение разрешения при рефрейминге. Если в технических характеристиках указано, что матрицы пишут сырое видео в разрешении 8K, нужно четко понимать — эти пиксели не концентрируются в одном прямоугольнике, они распределены по всей площади 360-градусной сферы. Следовательно, когда мы будем вырезать из этой гигантской сферы привычный плоский кадр с нужным ракурсом для монтажа, от исходных 8K остается в лучшем случае 1080p, а приемлемо детализированное 4K можно получить лишь при идеальном студийном освещении. Для публикации в мобильных социальных сетях этого хватает с избытком, но для серьезного коммерческого телевизионного продакшена на больших диагоналях резкости будет сильно не хватать.
- Уязвимость выступающей оптики. Выпуклые линзы широкоугольных объективов — это самая слабая и хрупкая точка всех без исключения 360-градусных камер. Они действительно торчат наружу и конструктивно не могут быть защищены привычными плоскими калеными стеклами или глубокими пластиковыми блендами, иначе в кадр неминуемо попадут края этой самой защиты, ломая геометрию сферы. Одно неудачное падение на жесткий асфальт или случайный удар хлесткой веткой дерева в лесу — и на выпуклой линзе навсегда остается глубокий скол. А законы сферической оптики таковы, что этот дефект будет постоянно маячить мыльным пятном на всех последующих видео, а физическая замена модулей линз в сервисном центре обходится весьма недешево.
Общую громоздкость процесса постобработки и огромные размеры генерируемых файлов. Нельзя просто скинуть сырой файл MP4 з 360-градусной камеры на флешку и отправить его заказчику на прямой монтаж. Материал требует обязательного промежуточного этапа распаковки проприетарного формата, тонкой настройки алгоритмов склейки и вдумчивого кадрирования. Найти правильные ракурсы, проставить десятки ключевых точек на таймлайне и отрендерить готовое плоское видео — всё это требует времени, усидчивости и достаточно производительного процессора на ПК.
Постоянная запись видео сверхвысокого разрешения с двух сенсоров одновременно с максимальным битрейтом молниеносно съедает свободное место на быстрых SD-картах и жестких дисках.
Insta360 X6 — для кого она
Несмотря на все перечисленные технологические особенности, ограничения и компромиссы, 360-камеры стали незаменимым инструментом для вполне конкретных рабочих проектов.
Потому новая Insta360 X6 — это именно хороший и надежный инструмент для авторов, которые с контентом предпочитают работать в одиночку (или же того требуют условия проекта), постоянно находятся в движении и/или не имеют возможности привлечь для роботы квалифицированного оператора для контроля композиции.
Мотоциклист, велосипедист, пилот моноколеса и автоблогер может просто установить свою Insta360 X6 на длинной штанге перед выездом и всего за одну поездку получить десятки совершенно разных, притом профессиональных ракурсов: плотный крупный план на лицо в шлеме, широкий общий вид на трассу, низкий ракурс на переднее колесо у самого асфальта и даже плавные пролеты над головой.
Горнолыжник и сноубордист с помощь Insta360 X6 пишут крайне динамичные ролики, где камера захватывает и сложный рельеф заснеженного склона, и живые эмоции самого спортсмена во время исполнения трюка.
Ну и конечно же, Insta360 X6 замечательно вписывается в формат современных трэвел-блогов, фестивальных съемок и репортажной работы в гуще хаотичных событий, когда у оператора нет ни секунды времени останавливаться и выстраивать правильный кадр по правилу третей.
В такой обстановке надо всего лишь успеть выдвинуть монопод с камерой над головой и потому спокойно двигаться — ни одна важная деталь из сюжета никуда не денется. Стопудово!
Не забываем только, что 360-градусная камера, даже такая классная как Insta360 X6 не является абсолютной заменой серьезной беззеркальной камере с крупной матрицей. Это совершенно иной, самостоятельный творческий инструмент со своей строгой спецификой работы.