1. 注视点渲染
注视点渲染是一种模仿人眼工作方式的计算过程。利用眼动追踪,动态注视点渲染(ynamic Foveated Rendering;DFR)可以将资源和带宽集中在需要高分辨率的图像区域(注视点区域),并降低外围视场的分辨率。以这种方式优化图像可以模拟自然视觉,同时减少对带宽和资源的需求,并且能够降低延迟并和改善响应时间。
Tobii新研发的Tobii Spotlight Technology是一种专门用于注视点渲染的先进眼动追踪技术。它可以以高精度,低延迟追踪用户的注视点,从而实现模拟真实人眼视觉的动态注视点渲染。通过减轻GPU负担并提高整体渲染速度,Tobii Spotlight Technology为VR应用程序的整体体验提供了一系列的优势:
更优的图像质量:节省GPU资源,可以在注视点区域实时渲染高分辨率图像。对于高分辨率头显,DFR的增益更大,因为DFR可以显著减少着色负载。
更高和更流畅的帧速率:帧速率定义了VR应用程序的性能和临场感。丢帧率会导致抖动,不仅明显,甚至会导致用户产生晕动症。DFR有助于保持更流畅的帧频。对于大渲染量,着色复杂的情景,DFR节省的成本最大。
提升图形:与标准PC游戏相比,VR应用程序在渲染方面的要求非常高。为了保持相同的性能水平,开发者传统上必须优化应用程序本身,这可能包括降低场景质量和禁用特定实时效果。DFR可以在不增加GPU负载的情况下实现更复杂,更逼真的着色,从而支持开发者纳入更高质量的设置。
节能:GPU负载的减少同时可以帮助笔记本电脑,头显和其他电池功能设备实现进一步的节能。
2. 注视点渲染+可变速率着色
如今,大量开发者都会将注视点渲染与英伟达VRS(可变速率着色;Variable Rate Shading)联系起来。这种渲染技术可允许你更好地控制着色密度和实现真正的超级采样。借助VRS,开发者可以选择提高视觉质量,降低GPU成本,甚至是两者兼得。
VRS将不同量级的处理能力应用于图像的不同区域。这项技术的工作原理主要是改变单个像素着色器操作所处理的像素数量。这种操作现在可以应用于像素块,从而允许应用程序有效地改变屏幕不同区域的着色质量。
为了实现最佳效果,VRS同时可以结合眼动追踪配,从而令最佳渲染质量与用户的注视点相匹配。VRS的自定义模式允许开发者根据注视点区域优化着色密度。注视点区域越小,GPU节省的收益就越大。注视点区域的大小取决于
显示器的有效视场:注视点的角度范围不会随视场而变化。换句话说,必须以高质量显示的百分比会随着视场的增加而减少。
注视点渲染技术产生的图像伪影。
显示追踪注视点的延迟。
眼动追踪系统的精确度和鲁棒性。
用户对伪影的敏感性。
当结合低延迟的眼动跟踪信号时,VRS+DFR可为用户提供最优化的自定义模式。这可以最大程度地提高在应用程序中启用VRS的优势,因为你可以大大降低着色率,从而改善应用程序的整体性能,并可以在注视点区域进行超级采样以实现更优的图像质量。
3. 因人而异
并非所有眼动追踪信号都一致。延迟,频率,精度和噪点都会显著影响注视点区域大小,而信号可靠性,总体覆盖范围,角度精度下降,眼动信号伪影的影响则相对不太明显。
另外,追踪注视点的能力因人而异。有些人易于追踪,有些人则根本无法追踪。疲劳,脱水和疾病可以令原本容易追踪的用户变得更难追踪。有效的注视点渲染应该考虑这个问题。
Tobii向围绕注视点渲染的信号研究投入了大量的资金,包括开发可以减少或消除非专业信号可能存在的信号噪点的专用注视点渲染追踪信号。
4. 基准测试
Tobii最近进行了各种基准测试,比较了固定注视点渲染和动态注视点渲染的性能优势。固定注视点渲染(Fixed Foveated Rendering;FFR)这种技术假定用户一直保持正视,并且限制特定显示区域的渲染成本。另一方面,DFR将注视点区域移动到用户正在注视的任何位置,这进一步减小了注视点区域的大小。
结果(与非注视点渲染技术相比)显示: