映维网 2019 年 08 月 23 日)VR 硬件原本需要通过数据线接入 PC,直到 Facebook 工程团队发现了一种剪掉线缆的方法。

当安娜·科兹明斯基(Anna Kozminski)于 2018 年作为软件程序工程师加入 Facebook 的时候,她的任务十分简单:剪掉 VR 设备的线缆,这样无论何时何地,任何人都能够戴上头显并马上沉浸在的虚拟现实世界中,无需外部追摄像头来捕获环境。

安娜指出:“我们希望构建一个允许你像真实世界那样自然轻松地在 VR 世界中移动,并且能够在里面进行自由探索的系统。”

对于安娜加入的团队,其使命是为消费者 VR 设备开发首款功能完备的 “内向外” 追踪系统。这项技术将能够追踪用户的完整运动范围(亦即六自由度),同时可以精确地定位头显和两个运动控制器的位置。

VR 设备原本需要利用外部传感器来追踪所述的运动。用于实现追踪的摄像头接入 PC,而尽管这是可行的方案,但降低了 VR 的便携性和增加了设置复杂度。

安娜表示:“借助头显的内向外追踪,步入 VR 就像戴上耳机听音乐一样简单。”

但团队的使命远非易事。他们必须将研究实验室中最先进的计算机视觉技术带到任何人都可以使用的消费设备。追踪需要精确到低于 1 毫米,需要足以捕获头部的微妙倾斜或手部的短暂快速闪动。它必须足够强大,可以满足现实世界家庭中的几乎所有条件。它同时必须足够高效,而且可以依赖于电池来实现功能。

Oculus Quest 是第一款内嵌全六自由度追踪和双控制器追踪的头显设备。

为了实现这一点,安娜及其团队利用计算机视觉和自研算法来生成用户周遭环境的实时 3D 映射,这样头显就能够计算你所在的位置并将其传至虚拟现实世界。

Facebook 将这个系统称为 Oculus Insight。它使得全新的 Oculus Quest 和 Rift S 头显成为可能。日前,这家公司撰文介绍了苏黎世、门洛帕克和西雅图工程师团队是如何将这项技术变为现实的过程,下面是映维网的具体整理:

Oculus Quest 头显中的摄像头和追踪传感器

1. SLAM

Oculus Insight 内向外追踪的基础是 SLAM(即时定位与地图构建),它主要通过计算机视觉 CV 算法来融合来自多个传感器的输入数据,从而在不断更新的数字映射中确定对象的位置。SLAM 早已用于机器人技术和智能手机中的 AR 相机效果,而 Facebook 也在 2016 年通过 Santa Cruz VR 头显原型进行了演示。但 Oculus Insight 需要前所未有的精度和效率,这意味着它需要适配最新的追踪技术和计算机视觉。

“大多数技术都是从学术开始,源于实验室。” 安娜如是说道。她加入 Facebook 苏黎士的工程团队不是偶然。实际上,这里的大多数成员都是来自于研发自动导航系统的 Zurich Eye 项目(由著名学院苏黎世联邦理工学院和苏黎世大学组织组织)。

为了构建更先进的 SLAM,工程团队借鉴了 Facebook 多年来在人工智能方面的研究工程工作,构建用于理解视频中出现的对象和行为的系统,并且开发了能够支持移动设备的高效计算机视觉算法。

2. 应用于前沿 VR 设备

奥斯卡·林德(Oskar Linde)是 Facebook 团队中负责 Oculus Insight 的首席机器感知架构师,他在构建超高效 SLAM 系统方面有着丰富的经验。林德是 13th Lab 的联合创始人,后者曾于 2011 年首次展示了用于消费者应用的视觉 SLAM 技术(用于 AR 手游)。Facebook 于 2014 年收购了 13th Lab 及其 SLAM 技术,而林德顺势加入公司并负责开发 VR 头显的内向外追踪功能,同时组建了开始专研 Oculus Insight 的团队。

2017 年的 Oculus Insight 团队正在全心全意地投入到工作之中,但他们面临着一个核心挑战:创建基于 SLAM 的精确和高效算法,并且足以支持 Oculus Quest 等移动设备。林德的搭档是工程经理乔尔·赫胥(Joel Hesch),后者主要是研究将基于视觉、激光和惯性传感器的 SLAM 技术用以以辅助机器人导航,并致力于移动 AR 和 VR 应用。来到 Facebook 的赫胥负责把 Oculus Insight 整合至 Quest 和 Rift S 的团队。

Oculus Insight 的工作原理

林德、赫胥、安娜,以及他们的团队鉴了 Facebook 之前用于移动 AR 的 SLAM 工作,以及初代 Oculus Rift 系统中的追踪技术,但他们需要寻找新的方法来调整设计它们,从而能够支持 VR 头显实现内向外追踪。

在智能手机端,SLAM 利用手机摄像头创建 “世界锁定” 的照片和视频效果。但对于 VR,这涉及多个摄像头,额外的传感器,以及需要在三维空间中追踪的三个不同对象。

安娜解释说:“我们一次性需要解决三个移动组件:头显,以及两个额外的控制器。我们每一次都需要获取正确的姿态。”

团队同时遇到了其他挑战。当你挥舞虚拟光剑或操纵虚拟飞船时,如果运动控制器过于过近或远离头显,头显摄像头将难以清楚地感知控制器的红外 LED。Oculus Insight 同时采用了其他传感器,包括头显和控制器内嵌的惯性测量单元所提供的加速度和速率数据。系统必须实时地处理所有数据,而对于 Quest 而言,这一切都需要由移动芯片集执行。

3. 毫米级追踪精度

为了解决所述挑战,Oculus Insight 团队有条不紊地改进系统。为了提高系统的追踪精度和速度,他们构建了全新的计算机视觉算法。他们同时在各种样本环境中录制了数千小时的视频,然后用来训练系统识别其环境中的特征。例如,通过定位和追踪沙发的角落或桌子的边缘,Oculus Insight 可以实时地对一个人在房间内的确切位置进行三角测量(类似于人眼检测对象的方式)。

团队同时利用了非常精确的 OptiTrack 动捕阵列,一种用于好莱坞视觉特效制作的相同类型设备。通过对比 OptiTrack 和 Oculus Insight 的测量数据,工程人员能够微调系统的计算机视觉算法,从而实现毫米以内的追踪精度。

4. 大量测试

尽管研究实验室的重点是实现准确、可测量、可重复的结果,但对于构建能够支持消费者日常用例的技术而言,团队需要将重点转移到感知指标。换句话说:VR 用户对给定体验的实际感受是如何?

为了解决所谓的 “Swimminess”(物理位置与运动和虚拟位置与运动不匹配时出现的失向感)和抖动(视觉频闪和画面拖尾)等感知伪影,工程团队充分发挥了自己的想象力。

为了记录运动并提升 Oculus Insight 的追踪性能,苏黎世团队的工程师大卫·沃格特(David Vogt)正在设置 OptiTrack 动捕系统

苏黎世团队在多种环境和条件下利用 OptiTrack 动捕系统对 Oculus Insight 进行了测试,而他们是将自己作为测试对象。

为了测试 Oculus Insight 在现实世界中的性能,苏黎世团队的工程师利用了数以百计的真实世界房间。上图是其中一个用于测试的房间。

5. 超越 VR,成为 AR 眼镜的基础

如今,Oculus Insight 将步入 VR 体验变得前所未有的轻松。对于 Rift S,你只需将头显接入 PC,无需额外的传感器。Quest 则完全不需要计算机,可以开箱即用并支持房间规模体验。但是,Facebook 对未来的畅想远远超越了今天的可能。

目前支持 Oculus Insight(以及 Facebook,Instagram,Messenger 的 AR 体验)的相同体验最终将转化为未来设备的新体验。最终,它将成为轻巧,时尚型 AR 眼镜的基础。

Facebook 最后写道:“我们尚有一段很长的路要走,但 Oculus Insight 让我们更近了一步。”