Meta展示了VR触觉手套研究的最新进展

当地时间,11月16日,Meta展示了触觉手套研究的最新进展。据介绍,这是Meta探索人机交互(HCI)的 3个重要组成部分之一,其他两项研究包括 AR眼镜制定上下文感知的人工智能驱动界面和基于手腕的输入与可用但有限的 AI 相结合,这些研究旨在解决我们如何接触数字世界。

Meta展示了VR触觉手套研究的最新进展
Meta触觉手套原型

Meta称,Quest 上的手势追踪,它可以让你在 VR 中看到您手部的数字版本并操纵虚拟对象,但实际上并没有感觉到它们在你的手中。虽然这种直接在 VR 中使用双手的能力是对 Touch 控制器的巨大改进,如果没有触觉反馈,我们在虚拟世界中就无法像在现实世界中那样灵巧。触觉手套项研究的目标是改变这种状况。

Meta研究总监 Sean Keller 解释说,“手在解决 AR 和 VR 中的交互问题方面的价值是巨大的”。他创立了这个团队,并在七年的时间里将团队从一个人发展为数百名世界级专家。“我们用手与他人交流,了解世界,并在其中采取行动。如果我们能将完整的手部在场带入AR和VR,我们就能利用终生的运动学习。人们可以像触摸真实物体一样触摸、感觉和操作虚拟物体,而无需学习与世界互动的新方式。”

Keller的目标是发明柔软、轻便的触觉手套,解决AR/VR交互的问题,帮助计算机准确地理解和反映佩戴者的手部运动,并为佩戴者再现一系列复杂、微妙的感觉,如压力、纹理和振动,以创造用手感受虚拟物体的效果。为了实现该目标,这些手套需要时尚、舒适、实惠、耐用,并完全可定制。你可以将它们与你的VR头显配对,以获得沉浸式体验,这些手套将使虚拟世界变得有形,而不仅仅是一个外围设备。

尽管这样,真正的新型触觉手套需要跨许多科学和工程学科的突破性发展,这是一项非常挑战的任务。Keller表示,他们正在研究如何适应各种人手形状和大小,同时保持与用户的机械耦合,正在推动软机器人和仪表跟踪系统的可能性和发明全新的软材料和制造技术。

为了提供逼真的触觉,触觉手套需要遍布手部的数百个驱动器(微型马达),以一种协同运动的方式让佩戴者感觉他们正在触摸一个虚拟物体。但是现有的机械执行器会产生太多的热量,这样的手套一整天都不能舒服地戴着。它们也太大、太硬、太贵、太耗电,无法呈现出真实的触觉。

在开始两年之后,该团队表示已经突破了传统电子金属元件的极限。他们假设他们可以用柔软的、可弯曲的、由全新材料制成的机械驱动器代替机械驱动器,这些驱动器可以根据佩戴者的动作改变形状。但这些驱动器当时根本不存在。

Meta VR/AR研究中心硬件工程总监Tristan Trutna解释说:“你绝对不能在手上设置1000个小电机和电线。”“即使你有无限的资源去完成它,你也做不到——从身体上来说,它不适合你。有太多的质量和太多的热量。如果在不同位置、不同距离需要数千种实际的力,则需要气动、液压或高密度电致动器。”

该团队转向了新兴领域的软机器人和微流体——分别用于假肢和PoC诊断设备的技术。

在过去的两年里,他们在气动执行器和电致动执行器上都取得了重大突破。

为了提供逼真的触觉,触觉手套需要遍布手部的数百个驱动器,以一种协调的方式移动,让佩戴者感觉他们正在触摸一个虚拟物体。该团队在微型化气动执行器方面取得了进展,该执行器利用空气压力产生力量。

但即使有一种控制气流的方法,系统也需要知道何时何地提供正确的感觉。这需要先进的手部跟踪技术,使计算机能够准确地知道您的手在虚拟场景中的位置,您是否与虚拟对象接触,以及您的手如何与对象交互。

它还需要一种新型渲染软件,可以根据手的位置和对虚拟环境的理解,在准确的时间向手上的执行器发送正确的指令,包括纹理、重量和刚度其中的虚拟对象。

随着该团队的工作进入第四年,第三个挑战出现了:为了使纹理和感觉发挥作用,他们必须以模仿现实的方式模拟触摸物理,但不能完全重新创建现实世界的物理学。虽然触觉手套可以提供有价值的反馈,但它们不能完美地阻止你的手指在你试图抓住虚拟物体时关闭,或者阻止你的手在你将它们放在表面上时穿过虚拟桌子。

而随着程序的成熟,该团队开始解决手套舒适度以及将传感器和机器人执行器集成到手套本身材料中的挑战。很容易看出,一副僵硬、沉重或其他不舒服的手套——或者一个很容易脱落的手套——会立即让佩戴者脱离任何虚拟体验。为了避免这种情况,手套需要重量轻、柔软且高度耐用。

Meta表示,在虚拟和增强现实中提供可信的触觉体验所需的一些技术尚不存在,但他们正在不断推动最先进的技术向前发展,创造新的突破,使触觉手套成为现实。

(0)

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注