虚拟现实之眼——Oculus与HMD关键技术

“目镜在他眼前涂上了一抹朦胧的淡色，映射着一幅弯曲的广角画面：一条灯火辉煌的大街，伸向无尽的黑暗。但这大街其实并不存在，它只是电脑绘出的一片虚拟的空间。”

——《Snow Crash》，Neal Stephenson1992年

虚拟现实成真

时钟向后拨转20年，Stephenson描述的场景已成为现实。

2012年5月，John Carmack在Twitter展示了一张由鞋盒与胶带拼成看似简陋的“双筒望远镜”照片，但他写下了这样的注释：“PalmerLuckey的90+FOV HMD比看起来可酷多了，很快就能以低价获得。”一年后，这位曾开创3D游戏历史，却在图形领域寻不到挑战，转而寄情火箭多年的传奇程序员从亲手创立的idSoftware离职，以CTO的身份加入Oculus VR公司（Oculus在拉丁语中的含义是“眼睛”）。而Oculus VR的第一款HMD（头戴显示器）产品Oculus Rift正是PalmerLuckey的创造。

与这个时代大多数站在科技舞台前列的年轻人不同，20岁的Luckey不仅没有名校的电子工程学位，他的经历甚至与“高科技”这个词都显得有些格格不入。Luckey出生在加州长滩，父亲是汽车销售员，母亲是家庭主妇。14岁进入社区学院前，几乎完全在家自学，直到2010年才到加利福尼亚州立大学就读，但他的专业是——新闻记者。“谈起这件事，多少有些不自量的情愫。作为自学工程的人，我认为大学不会教给我更多工程知识。而与此同时，我察觉许多科技文章的作者，并未从足够深入的层面理解科技，当他们阐述复杂的技术主题时，时常错误百出。选择新闻的原因，是我希望将自己掌握的工程与技术知识，以易于理解的方式传递给普通人。我希望所有人都能理解科技。”Luckey这样对我解释他的选择。

对科幻小说和游戏的热爱让Luckey在心中早早埋下了制造HMD的种子，他想在游戏世界体验科幻小说中的VR（虚拟现实）。他对AR（增强现实）同样感兴趣，但实现这一目标需要更好的技术。另一方面，令VR臻于完美要容易许多，“从个人角度，我是游戏玩家，对这群人来说，VR比AR更有用处”，Luckey说。

进入亚马逊，谷歌，微软等美国IT企业工作，百度搜索（MUMCS）

他在互联网上阅读有关工程的资料，然后将所学应用到个人项目中：“小时候，我制作简易装置，例如闪光灯和扬声器；大一些，我学到了更多技能，也通过工作有了收入，因而有能力完成更复杂的项目。NikolaTesla总带给我无尽启发，他无视那些说‘不可能’的人，然后凭一己之力改变世界。”在谈到如何自学工程技术，以及谁对自己的影响最深时，Luckey这样对我说。

16岁，Luckey开始了Oculus Rift的设计。他对HMD可谓痴迷，他购买坏手机，修好之后再卖出，也做过清洗游船之类的工作，所得几乎都用来收集旧的HMD，其中最贵的一套80美元，这在九十年代可是价值97000美元。“在制作OculusRift前，我已设计了许多HMD，而且可能是收藏HMD数量最多的人，我有63套。”Luckey说，当同学们将闲暇时间用于社交活动时，他总是一个人在父母的车库，摆弄着这些HMD，拆开看它们如何工作，然后试着改装成自己想要的那样。这让他几乎熟悉之前所有HMD的缺点——有的视角窄，有的分辨率低，有的笨重，有的造价高昂。

HMD关键技术

HMD包含复杂的技术，全世界至少有三十家公司正在做相关研发，却还没有一款胜过Oculus Rift，它的优势在于大视野、低延迟和低价格。“我觉得原因在于，一个人或一支小团队，往往能视大团队所不见。我笃信VR将成功并受欢迎，而许多大公司只从90年代的失败产品中看到‘不可能’，他们以为VR永远不会实现。倘若大公司能看到这一点，早把我抛下很远了。”Luckey认为Oculus的最初领先在于他的执着，不过越来越多的公司正开始投身这一领域，“许多人将游戏主机视为死胡同，很难在其上进一步创新。而虚拟现实才刚刚拉开帷幕，每个人都能做出有价值的贡献”。

Oculus SDK已经开源，他们还计划在未来公开部分硬件，将技术回馈给社区

营造能令人真正沉浸其中的VR体验，需要攻克一系列技术难关。“宽视角、高分辨率、像素低存留、高刷新率、全局显示、光学透镜和校准、低延迟，以及坚如磐石般的追踪。”图形学泰斗MichaelAbrash曾列举一系列HMD需要克服的难题。解决它们也都有助于减少使用者“晕动病”的发生——当人眼所见的运动与前庭系统感觉不相符时，就会有昏厥、恶心的症状出现。

视角越宽，临场感会越强，此外，尽管人们很难分辨出视线边缘的文字和图形，但这些视觉线索对移动、平衡、环境感知都至关重要。Abrash说至少需要80度（对角线）才能开始有身临其境的体验，而OculusRift已做到了100度。

随着视野变宽，像素将被拉伸，视野中每一度对应的像素将会减少，图像则变得粗糙。假如以1K×1K分辨率的显示屏为例，当它在HMD中，以110度视角展现给使用者时，像素密度只有普通电视机的七分之一，人眼分辨率的十分之一——换句话说，甚至还不如在320×200分辨率下的原始PC游戏清晰。若想得到较好的临场感，至少需要以1080p分辨率显示图像。最初的OculusRift开发者版本能实现720p的效果，而新的KD2版在则做到了1080p——不过在这方面，还受到显示面板的制约。

像素低存留对普通桌面显示器、电视机、手机来说意义不大，这方面普通LCD面板已足以胜任；而对HMD来说，由于双眼距离显示屏更近，它们之间的相对位移更快，如果像素存留时间较长，前庭动眼反射（VOR）——当人们移动头部，而同时又要盯住一个对象时，这种生理反射使视网膜上的物象不要离开中央凹——将导致眼球移动时的图像变得模糊。若不加以解决，在头部移动时，几乎无法清晰阅读文字，对1K×1K分辨率的HMD来说，像素存留时间不能超过3毫秒，而且像素密度越高，存留时间需要越短——最新的OculusRift DK2版本通过用OLED替换最初的LCD面板，解决了这个问题。

像素存留时间短，对应着刷新率需要提高，普通液晶显示器60Hz的频率对HMD来说将有明显的闪烁，Oculus Rift DK2刷新率可以达到75Hz。不过在任何场景下都保持高刷新率并不容易，尤其是随着分辨率提高，需要有更强大的硬件和与之紧密配合的软件。

全局显示则意味着所有像素同时点亮，而非普通显示器那样逐行显示，这样可以避免高速运动造成的图像的拉伸、倾斜等失真。尽管从理论上可以通过眼球运动捕捉，计算并修正帧缓存，在普通显示器上实现相同的效果，但低延迟的眼球运动捕捉系统目前尚未实现，全局显示是当前的唯一途径。

人眼对视觉异常敏感——有些光学系统，有时静止观看的图像时尚可接受，但一摆头，临场感却荡然无存。光学系统还需要控制焦距、畸变、像差等多种因素，这也是照相机为了获得高质量图片需要拥有复杂光学镜头的原因——而受空间和重量限制，HMD的每只眼前却最多只能有一两个镜片。“我们彻底重新发明了HMD的制造方式——利用计算机技术预先处理图像畸变，而不再倚赖造价高昂的光学镜片。”Luckey也解释了为何Oculus第一款产品的价格只有Sony生产的HMD的三分之一。

进入亚马逊，谷歌，微软等美国IT企业工作，百度搜索（MUMCS）

而低延迟更是HMD技术的核心——它是导致眩晕，破坏临场感的罪魁祸首。图像变化与移动之间的延迟接近20毫秒，就能拥有相当不错的体验。对于HMD，延迟存在于6个层面：

运动捕获；

数据和命令通过USB线缆传入电脑；

游戏引擎响应命令后调动GPU；

GUP生成一帧新图片；

HMD开始点亮像素；

图像完全显示。

Luckey最初的原型系统在第一阶段有15毫秒延迟，而采用专用的“融合传感器”后，只有不到1毫秒。第二阶段延迟有2毫秒，不过受USB线缆限制，没法进一步优化。现代游戏通常以60FPS的帧率运行，这意味着生成单帧图像就需要16.7毫秒，假如帧率加倍，时间就能缩短一半。后面的步骤有部分会并行发生，还会增加额外的10毫秒。这意味着，运行120FPS游戏的总延迟约为30毫秒——相比之下，Sony的产品仅内部延迟就有52毫秒。

拥有可以呈现完美图像的技术，还需要有精确实时捕获任何移动的系统，才能将虚拟世界与使用者的动作融为一体。若想身历其境，需要这套系统能捕获x、y、z方向上1毫米的移动，以及不超过四分之一度的转动。这种系统似乎早就存在于手机，但实际情况是，没有任何一套现有的消费级方案可达到如此之高的精度。Oculus公司将他们的这套系统称之为“融合传感器”，由专用的陀螺仪、加速度计和地磁计组成，以1000Hz的高频率刷新。新的DK2还增加了外置近红外线CMOS姿态传感器，以60Hz的速度扫描。这套传感器，不但能精确感知移动，甚至令预知移动成为可能。例如快速移动的头部总不会突然停下来，而是以一定速率变化，通过软件计算，有可能预先生成一段图像——利用这一原理，有时可以赢回10毫秒。

实现这样复杂的技术，要靠最有天赋的人。“John Carmack是世界上最好的程序员之一，他理解从软件到硬件，从顶层到底层的一切技术。他非常专注且非常刻苦，他的效率和产出，胜过一百个普通程序员。”Luckey说能与Carmack为伍，是他的荣耀。在Carmack加入OculusVR前，有关HMD和低延迟就已是他分享最多的技术话题，与所有他曾经钻研的领域一样，几乎没人能超过他对这一技术的理解（http://www.altdevblogaday.com/2013/02/22/latency-mitigation-strategies/）。“我们已经令延迟几乎难以察觉了。目前导致延迟的最大瓶颈在于游戏引擎，为了与Rift匹配，软件还需要进一步优化。”Luckey说，关于游戏引擎无人能出Carmack之右。

Oculus与HMD的未来

进入亚马逊，谷歌，微软等美国IT企业工作，百度搜索（MUMCS）

“我最初的目标只是打造几百个供VR爱好者和独立软件工程师把玩的装置，Kickstarter上的成功，让我们的目标发生了巨大转变。如今我们以让每个人都能体验VR为目标，而不仅是作为少数人的玩具。”Luckey说。OculusVR公司现在有69位员工，既有中年技术专家，也有许多二十来岁的年轻人，“我们怀着同一个梦想——打造完美的虚拟现实，当每个人有着共同的目标时，年龄的差异就不是问题了”。

2013年末，《时代周刊》采访计算机科学家Alan Kay时问道，我们已用相同的方式使用个人电脑二十多年，未来还会有变化吗？Alan Kay说：“HMD可拥有极为宽广的视角，当它们成熟时（与眼镜的重量相似），需要全然不同的UI——透过镜片极为宽广的视角对2.5D和3D均有帮助，UI将随之革新。”Luckey认为，我们还需要许多年才能兑现Kay的预言，不过这绝对会实现。

Amara法则说，我们常常高估科技的短期影响力，而又低估其长期影响力。Luckey说：“在短期，HMD会带来更好的游戏体验；而长期，HMD会颠覆我们的生活。”

本文为《程序员》原创文章，未经允许不得转载，如需转载请联系market#csdn.net(#换成@)