虚拟实境(VR)、扩增实境(AR)和混合实境带来的虚拟体验都是电脑绘图应用的新领域,但这个领域不像电玩、电影已拥有数十年的制作专业及稳定技术,将电脑绘图潜能呈现在2D屏幕上。
根据Road to VR报导,绘图芯片大厂NVIDIA看好VR将成为所有运算的介面,取代手机屏幕、电脑屏幕和键盘、电视和遥控器、以及汽车仪表板。电玩是VR早期采用者的一项重要应用,NVIDIA也在每个GPU架构上发表新的VR功能,不过VR技术可发挥的领域绝对不限于电玩,而且正扩展至办公、社交、健身、医疗、旅游、科学及教育等领域。
VR要能融入日常生活,其系统必须变得更加舒适、易于使用、价格合理、功能强大,NVIDIA正在研发全新的头戴显示器技术,使用雷射和全息影像的薄型眼镜取代目前笨重的VR头戴装置,并搭载全新的GPU和绘图软件。
NVIDIA Research AR/VR研究人员Morgan McGuire博士表示,在了解NVIDIA正在探索的VR系统相关技术之前,必须先了解电影、电玩和现代VR系统的工作原理。
1、电影绘图系统
好莱坞动作大片通常结合现实物件和电脑动画(CGI)来展现惊人的视觉效果,由于CGI技术已十分发达,有些片子甚至完全使用电脑制作场景。制作电脑动画影片流程包括了剧本创作、模型制作、原形(primitive)、渲染器(renderer)和显示,其中渲染器部分使用“路径追踪”演算法模拟虚拟场景中和照片一样逼真的光线。
渲染之后还需要手动对2D影像进行颜色及合成的后期处理,这个过程不断循环修改内容,直到最后呈现在观众面前,NVIDIA的目标是让VR影像达到电影级别的品质。
2、电脑游戏
3D游戏使用的系统是从电影绘图系统进化而来,其工作流程和电影差不多,但增加了玩家的互动回圈。当玩家看到屏幕上出现某样东西时,会按下按钮,所输入的资料会馈送到影像处理工作流程中稍后的画面,这个过程会导致延迟。如果要让游戏玩起来很流畅,就必须将延迟控制在150毫秒(ms)以内。
导致延迟的因素很多,例如游戏使用光栅化(rasterization)渲染演算法代替路径追踪,这个流程包含许多阶段,每个阶段都会增加延迟。电脑游戏可以提供非常棒的视觉体验,若再加上艺术指导,就可以接近电脑动画或真人实景的电影品质。不过因为游戏的视觉效果必须根据性能做调整,所以画面比较静态。
3、现代VR系统
开发人员从游戏移向VR时,遇到的第一个挑战就是规格的提升,原始图形从每秒6,000万画素增加到VR的每秒4.5亿,不只吞吐量增加了7倍,延迟时间也需要降低7倍。
能够缩小现代VR系统延迟差距的关键技术叫做时间翘曲(Time Warp),可以将感知延迟从50ms降至0ms。另一个关键技术则是镜头变形(Lens Distortion),高档相机的光学元件至少包含5片高品质玻璃镜片,但重量非常重、体积大而且昂贵,因此大部分头戴式显示器使用单片平价的塑胶镜头,而为了校正变形和色差,就必须以相反的量预扭曲影像。
NVIDIA的GPU硬件和VRWorks软件加快了现代VR工作流程的速度。GeForce GTX 1080和其他Pascal架构的GPU使用同步多重投影(Simultaneous Multiprojection)的新功能来渲染多个视图,并提高吞吐量和缩短延迟。