HoloLens 在中国广播电视行业的创新实践

HoloLens自面世以来,我们一方面利用混合现实的技术特性,与垂直行业客户一道进行定制化方案的开发;另一方面也在努力提升HoloLens的内容拍摄及展现形式。尤其随着Spectator View这样的第三方视角方案趋于成熟,我们可以预见国内电视媒体甚至泛娱乐行业在未来利用混合现实技术实现制作创新的广阔前景。

微软HoloLens参加了国内某知名电视台的节目录制,并在其中尝试了混合现实画面搭载传统音视讯技术。这次实践的意义,代表着通过本地团队的二次开发,已经可以基本达到目前国际上先进的HoloLens展示播出能力。这次的技术突破,解决了以往面对大量观众无法佩戴HoloLens时,如何通过高质量的画面将全息影像、人和物的交互完美展现的挑战。

再谈第三方视角 Spectator View

其实,HoloLens在国内并非首次与传媒业结合,这次的合作与之前的最大不同,就是首次加入了拥有高画质输出的Spectator View-第三方视角方案,并且非常关键的一点是本次录制时HoloLens的拍摄机位可移动!

那么,什么是HoloLens第三方视角呢?简单来说,你看过的所有HoloLens官方视频案例或者广告,都是通过第三方视角拍摄展现的。这项技术的优点在于,即使观众没有佩戴HoloLens,也能看到佩戴HoloLens的操作者及其交互操作的全息画面内容。针对本次拍摄,我们将混合现实画面信号接入专业的拍摄系统,展示出广播级画质,可以让现场观众感受到全息影响与真实物理空间交互融合带来的真实感。 

录制过程

大型节目录制通常是一项复杂的系统工程,需要多个部门紧密配合才能保证节目顺利播出。此次节目加入全息影像的信号输入,技术难度进一步加深。能否让全息影像画面带给观众身临其境的效果,对现场技术人员是一个高难度挑战。

在录制现场,我们需要将摄像机所拍摄的画面和HoloLens识别的空间坐标,传回主机,与全息影像实时结合,再通过视频输出,最后将混合现实画面投射到屏幕之上。为了保证不同距离且多角度呈现混合现实画面与舞台空间的融合效果,Spectator View在节目现场的站位极其关键。

我们在节目现场设置了三台搭载Spectator View的摄像机,用于捕捉HoloLens的全息影像画面。它们分别是:

  • 一台固定机位在舞台中央用于现场全景画面拍摄;
  • 两台移动机位(游机位)一台轨道半径90度的轨道摄像机位,负责舞台部分画面的拍摄;一台搭载斯坦尼康的移动摄像机,负责近景及特写画面拍摄;

三台摄像机的视频信号通过专用SDI线缆接入导播系统,再由导播系统分出三路信号连入用于合成混合现实画面的图形工作站,合成后的视频信号继续通过SDI线缆反馈回导播系统。这样,导播系统便可随时切换三个机位的混合现实画面了。

技术难点

经过现场前期测试,我们发现混合现实画面对接数字信号系统时,有可能遇到以下三方面挑战,因此需要提早合理规划。

1. 空间识别精确度

为了播出效果,节目舞台的设计有可能出现大面积黑色空间或反光镜面,并且录制现场的灯光颜色,明亮度也会随时剧烈切换。我们知道HoloLens的空间定位精度对环境和光线有一定的要求,当需要识别的空间较大时,边界识别会变得模糊,从而可能导致空间锚抖动。为了解决这些潜在的干扰因素,我们从三个不同角度,各设置了一套Spectator View对现场混合现实画面进行拍摄。同时,在舞台上做好相应标记,以此帮助三个角度的HoloLens进行精确的空间识别。

2. 输出画面质量

节目录制的全过程大概需要7小时,除了设备本身续航能力需要有充分预案外,如何保证Spectator View图形工作站的稳定运行至关重要。为了解决这个问题,在接入SpectatorView时,我们需要进行后端软件防抖参数设置,及实时物体校准功能设置,从而结合现场实景,保证节目现场混合现实画面能够稳定输出。

3. 多台设备协同

多台设备协调是确保现场拍摄画面与导播系统无缝衔接的关键。由于每一套Spectator View都有自己独立的同步系统,为了保证现场三台SpectatorView和多名嘉宾佩戴的HoloLens中的空间锚进行实时同步及对应的画面输出,我们另外配置了一台服务器进行信号调配。从下图显示屏幕,可以监控现场每台HoloLens中的全息影像,调整它们在真实空间中的位置,并查看对应操作后触发的效果。

另外,为了保证录制现场的无线网络信号质量,技术团队还在舞台周边安装了三个无线路由器进行信号桥接,确保现场任意一台HoloLens都能轻松接入无线网络。