MR混合现实视频是如何拍摄制作的?

什么是MR混合现实视频?

Mixed Reality视频是VR场景影像+人的影像合成的视频。相比普通方法录制的VR视频,Mixed Reality视频更适合用来做宣传视频和直播。

MR视频的制作原理

普通的VR视频是第一人称视角录制,是将体验者眼睛看到的影像录制下来,在这种视频里是看不到体验者的全身的,要想拍摄拍摄虚拟场景与体验者合二为一的MR视频,需要三个步骤:

  • 切换成第三人称视角;
  • 将体验者的影像也录制下来;
  • 将体验画面和摄像机影像合成。

硬件设备需求:

  • 虚拟相机:定位在手柄上,录制虚拟场景;
  • 实体相机:拍摄体验者活动;
  • 视频处理 :将实体相机拍摄的体验者形象从实际场景这个抠出,合成到虚拟相机录制的虚拟场景中;在合成过程中,体验者在虚拟场景中的位置通过追踪头盔的位置确定。

虚拟相机和实体相机的相对位置和朝向固定。

软件需求:

  • Uinty 3D:目前只有Uinty 3D 制作的程序支持MR模式;
  • 视频合成软件:OBS或者其他。

MR混合现实

MR视频的制作过程

1.为游戏开启MR模式
  • Uinty SteamVR插件版本升级到v1.0.8或以上;
  • 在游戏的根目录下extemalcamera.cfg新建一个空白文件,重命名为extemalcamera.cfg ,在其中加上乳腺内容:x=0 y=0 z=0 rx=0 ry=0 rz=0 fov=60 near=0.1 far=100 sceneResolutionScale=0.5;
  • 连接第三个手柄:通过USB连接第三个手柄。
2.安装摄像机和第三个手柄
  • 硬件安装如果有相机肩架或者手架,将摄像机和手柄都安装在架子上。如果没有架子,就把手柄绑在相机上,确保在移动架子上或者相机的时候,相机和手柄相对应位置和相对应朝向不变;
  • 计算出摄像机和手柄之间的偏移,也就是得出extemalcamera.cfg 的参数,x,y,z是摄像机和手柄的相对位置,rx,ry,rz是相对朝向,比较方便的做法是通过特制的校准软件来实现,另外也可以手动调extemalcamera.cfg 中的数值;
3.用OBS合成视频或视频流

如果准备好Mixed Reality视频所需要的条件,PC上的体验画面可分为4部分:

  • Foreground:合成视频的前景;
  • Foreground alpha:前景的alpha;
  • Background:合成视频的背景;
  • Gameview:正常体验画面,不用于合成mixed Reality视频 。

最终输出的影像是由三个影像合成的:摄像机捕捉人的影像,覆盖在背景上,前景覆盖人和背景上。因此要在OBS中添加以下三个视频源:

  • 前景:视频来源选择裁剪体验窗口,裁剪区域和4分画面的左上角画面重合;设置黑色为色键,抠出前景画面;
  • 摄像机捕捉:视频来源选择webcamera或者视频采集卡;设置绿色为色键,抠出人像;
  • 背景:视频来源选择裁剪体验窗口,裁剪区域和4分画面的左下角画面重合。