在VR中，手势追踪、眼动追踪、面部追踪和全身追踪就像手机中的摄像头一样重要，它可以捕捉人们在虚拟世界中的样子和行为。目前Meta已经在Quest上实现了手势追踪，并将在即将发布的Cambria/Quest Pro中带来眼动追踪和面部追踪。全身追踪现在仍然是个挑战，与其它厂商增加模块的解决方案来实现追踪功能的方式不同，Meta更多考虑的是轻量化减小用户使用摩擦，如何在一个紧凑型的头显中不加额外配件的情况下实现追踪功能。
近日，Meta实验室的研究人员分享了一个仅通过Quest头显的传感器实现全身追踪的研究报告。介绍称，实时跟踪人体运动对AR/VR的交互式和沉浸式体验至关重要。然而，从独立的可穿戴设备，如头显或AR眼镜，可以获得的身体传感器数据非常有限。在这项工作中，我们提出了一个强化学习框架，接受来自一个头显和两个控制器的稀疏信号，并模拟合理且物理有效的全身运动。
该研究人员表示，在物理模拟器中约束角色有助于系统合成真实的角色姿势，即使是任何传感器都无法观察到的身体部位。系统的唯一输入是头显的姿态(x,y,z,r,p,y)。使用强化学习对模拟的化身进行训练，以模仿典型用户动作的大型动作捕捉数据库。 结果是一个策略 (MLP)，它将任务数据作为输入并返回关节扭矩以模仿用户的动作。该研究人员同时表示，如果用户执行与训练数据相似的动作，该方法效果最佳。然而，新颖的动态运动，如快速冲刺或复杂的环境交互可能会导致化身无法模仿运动或跌倒。