航空工业根据飞机产品的生命周期大体可以分为设计验证、生产装配、运营维护三个子领域，下面分别在这三个子领域谈谈我们的开发实践经验：

1.1.    航空设计验证领域

航空设计验证领域用户主要由院校和研究所两部分组成，该领域主要进行的是飞机发动机设计和相关实验工作。航空设计领域现阶段主要是以PC作为平台开展工作，传统显示器和鼠标键盘就可以比较好的完成绝大部分工作，只有在评估过程采用了部分VR手段，HoloLens作为一款混合现实设备，主要优势在虚实结合以及自然语言交互，但在该领域域无法发挥自身特长，暂时还没有非常合适的应用场景，未来可能作为一款多人协同展示设备作为数字样机展示使用。我们最早的HoloLens项目就是17年在飞机设计领域，实现的主要功能也是协同展示功能，但是开发完成后对比传统显示交互设备并未显示出巨大优势，至今在该领域没有新的项目展开。

而在该领域的实验验证工作中，HoloLens 2就有很大的发挥空间。HoloLens 2集成了眼动、手势以及摄像工具，可以同时采集眼动、手部和第一视角视频数据，是一套非常完美的实验装备，可以完成传统眼动仪、数据手套和摄像头组合起来才能开展的工作，并且能够进行混合现实实验。我们与高校合作开发了一款集成眼动、手势和语音数据实时采集的工效学座舱评价工具，与传统眼动仪数据手套相比不仅大大降低了试验成本，而且因为HoloLens体积小集成度高，在座舱等狭小空间进行实验时显示出了巨大优势。

在实验验证领域我们主要遇到两个技术上的瓶颈，就是虚拟影像定位精度和虚实融合拍摄。作为实验工具往往要求HoloLens 2混合现实影像有较高的定位精度，官方现在并未提供一个准确数值作为参考，我们在实际工程开发中测量发现在最佳条件下，不借助辅助定位设备，HoloLens1的混合现实影像在小范围虚实融合的定位精度在1cm左右，HoloLens 2在定位精度上有进一步提升，但2代设备我们还在工程测试中，还没有得到具体的数据。

此外，在一些工效学实验过程中往往需要将虚拟仪表、控制设备的影像投射到实体白模面板上进行交互实验，快速评价和迭代界面布局设计。我们遇到的问题是虽然HoloLens 2虚实融合定位精度达到了一般工效学实验精度要求，实验操作者通过HoloLens 2的波导显示器看到的虚拟数字影像能够很好的叠加在真实物体上，精度很高，操作者移动时虚拟影像偏移也很小。但是虚实融合影像距离操作者太近时，HoloLens 2设备自身的摄像头录制生成的虚实融合视频却与眼睛所看到的有一定角度差别，这主要是眼睛和HoloLens 2摄像头的视差造成的（HoloLens 2的视频摄像头与操作者眼睛之间有一定距离，虚实融合影像距离操作者距离较远时，这个距离产生的视角误差可以忽略，而虚实融合影像距离操作者距离很近时，一般认为低于30cm，由这段距离产生的与摄像头与人眼的角度差，会造成摄像头录制的视频与人眼看到的混合现实影像有差异），只能通过约束实验条件，规定虚实融合距离视点的距离限制，来确保虚实融合视频内容的准确度。

1.2.    航空生产装配领域

生产装配主要指飞机制造和组装厂，该领域是HoloLens最主要应用领域之一，HoloLens的辅助装配和实时视频拍摄功能能为该领域培养新员工、进行装配辅助以及实时拍摄质量回溯数据。我们现阶段正在开发发动机辅助装配应用，可以利用HoloLens 2完成精确的辅助装配以及操作记录与回溯。在实际使用中该应用可以开展复杂零件装配、实时IETM查询、新员工培训等工作，并对操作过程录像记录，在发生产品质量问题时进行回溯。

在该领域HoloLens 2设备的既有技术特性已经能比较好的支持大部分功能的实现，在开发中遇到的主要是定位方式和电源续航问题。要实现装配、维修的诱导操作首先要求虚拟场景与物理场景进行高精度叠加定位。我们一般是综合运用Vuforia工具的图像和模型两种定位方式，由于模型定位准确度略低，在能够使用图像定位的时候粘贴二维码作为锚点图像进行定位，无法粘贴锚点图像时则采用模型定位进行辅助定位。最近Vuforia推出了场景定位方式，解决了我们大空间定位的难题，但是暂时还没有进行实际工程应用。

另外HoloLens 2设备本身续航时间在2-3个小时左右，但实际工程应用时往往使用时间会超过这一数值，最高甚至会达到5个小时，由于HoloLens 2支持充电时同时工作，可以通过简单的外接电源或者充电宝就可以延长续航时间，只要保证使用过程中不会因为环境温度过高产生超温即可。

1.3.    航空维护运营领域

运营维护领域主要是飞机的运营和维修单位，在该领域HoloLens主要的应用场景就是维修诱导、远程专家支援和辅助巡查。维修诱导与飞机生产领域的装配诱导功能类似，远程专家支援则为飞机运营中的排故工作提供了有力的全新技术手段，因为在很多飞机转场过程中如果出现特殊故障，转场机场没有本飞机专业的维修人员，传统技术手段实施远程排故维修指导非常困难，使用HoloLens 2设备以后可以实现第一视角远程视频、混合现实白板以及手势语音操作等功能，在网络环境允许的情况下，可以进行绝大多数的排故工作。辅助巡查功能是利用HoloLens 2将混合现实影像投射到各检查工序中的检查点，为巡检者提供步骤和位置的引导，可以有效的防止错漏问题的产生，同时利用视频记录功能实现飞机状态的记录和回溯，为飞机故障判断提供重要依据。我们现在在进行混合现实飞机运营智能辅助工具的开发，主要实现的就是远程专家支援和辅助巡检。在开发过程中主要遇到的问题并不是HoloLens 2本身的问题，而是外界环境造成的限制。外场维护主要在机场室外进行，会面临各种复杂气象条件，包括大风、暴雨、灰尘、噪音等都会影响到HoloLens的正常运行，必须通过定制开发附件进行防水、防尘。此外高亮度环境也会对HoloLens的运用造成很大影响，HoloLens主要针对室内光线环境进行设计，在外部环境亮度过高的情况下，所显示的混合现实图像对比度就比较差，甚至影响使用者的观看。而在上午10点到下午2点间晴天机场外场的环境光亮度是非常高的，需要设计可以拆卸的滤光镜才能保证图像对比度。我们的经验是如果要设计在外场环境下工作的HoloLens应用要考虑的不仅是程序本身问题，更多的是外界环境对设备运行的影响。

此外，网上现在有很多文章、视频谈到HoloLens在飞行员、地勤人员训练的应用，澳洲航空甚至还做了飞行员训练的HoloLens 2的应用，但是我们在实践中发现飞行员、地勤人员采用HoloLens培训并不容易，抛去民航界普遍关注的合规问题不谈，其主要原因是飞行员需要通过与按钮、驾驶杆等部件的交互生成肌肉反馈，该反馈是飞行员飞行技能的重要组成部分，HoloLens无法有效的提供力反馈。地勤人员使用虚拟训练手段主要目的是不需要真实飞机发动机等训练设施的参与，节省高额训练装备成本，而HoloLens作为以“混合”现实为主要特征的设备，如果没有真实装备的参与，其显示效果则不及VR设备，所以现阶段地勤人员的虚拟训练还是以VR设备为主。

（文章转载自公众号：微软HoloLens；作者： 李洪鹏 ）