MR运动控制器开发需要注意哪些问题?

控制器可视化

混合现实头显提供的是沉浸式体验,因此戴上头显后,眼睛感知到的一切都是电脑渲染出来的虚拟画面。这种情况下,如果我们无法看到手中实际握着的运动控制器,在沉浸世界中的交互就会出现偏颇,因此,我首先需要实现控制器在虚拟世界的可视化。Windows Mixed Reality平台为控制器可视化提供了一个动画控制器模型。我们在应用程序中实现控制器可视化,主要有以下几种方式:

1)默认模式 – 使用Windows 平台默认控制器而无需修改;

2)混合模式- 使用默认控制器,但自定义某些元素或覆盖UI组件;

3)替换模式 – 自定义控制器的3D模型;

在这里会用到InteractionManager类,这个类的作用为提供一些暴露给外部的事件和委托接口,通过将函数注册进事件,就可以处理控制器状态更改时的各种逻辑。如下图,注册事件到InteractionSourceDetected和InteractionSourceLost,分别为检测到控制器调用函数和丢失控制器调用函数。这样就可以实现,当控制器连接后出现在视野中了。

自定义控制器的UI

MR运动控制器支持自定义UI样式,从而达到想要的效果。只有丰富了虚拟世界中对应运动控制器的功能键,才能将真实操作的效果同步到虚拟世界。AttachToController脚本提供了一种简单的方法来将任何对象附加到指定控制器的元素。

这个函数是在控制器模型被加载完之后调用,函数内部第一个判断为检查左右控制器,第二个判断则是能否获取到指定的控制器元素,在从控制器模型中检索到元素的transform之后,就将要添加的UI模型作为子物体置于元素层级之下,并将本地坐标和旋转归零。

控制器输入事件

在制定完控制器的样式之后,就该获取它的输入事件,并将这些信息用于在应用体验之中。

这个函数会在之前添加控制器元素的时候调用,在函数体里,依然是InteractionManager类的事件InteractionSourceUpdated,这个事件将会在控制器的元素状态发生更改时被触发。

函数内部两个判断是为了保证两点:是符合之前定义好的控制器设备,以及确实是一个触摸板事件。条件都满足的时候,将此时物理世界中手接触触摸板的位置映射到虚拟世界中自定义的UI面板选择位置。

在本例中的Update函数中,实时检测是否满足以上条件,当条件满足后,向之前映射到的位置selectorPosition发射一道射线,当投射到颜色选择轮(color picker wheel)物体上时,该物体返回一个UV位置。然后可以使用此位置来查找物体的纹理像素坐标和颜色值。

通过以上步骤即可构建一套完整的输入方式,帮助用户使用控制器更好的与混合现实头显进行交互。