数字替身：解锁混合现实交互新境界

只依赖语音和AI眼镜进行互动，确实存在诸多不便。

但现在，全新玩法来了！数字替身助你一臂之力，实现“隔空抓物”，将混合现实即时融入你的操作上下文中。

无论是书籍检索，还是轻松获取，全都so easy～

建筑导航？这还不是小菜一碟。

多无人机协作？同样不在话下。

这项技术被称为Reality Proxy——一种直接操控界面，让你瞬间选中现实世界的物体。

研究者Xiaoan Liu甚至表示，这使我们离贾维斯又近了一步。

Reality Proxy打破物理限制

混合现实（XR）正在重塑人机交互的边界。通过头戴设备，它有望将物理世界与数字世界融为一体，让用户同时操控现实与虚拟对象。

然而，传统XR设备通常通过光线投射来选择物体，但这一过程因目标尺寸小、视线不稳定及手部颤抖而容易出错。

因此，研究团队推出了Reality Proxy（现实代理）——现实物体的数字化抽象表示。

他们将交互目标从物体无缝转移到其代理上，选择代理等同于选择实际物体，让用户摆脱距离或大小的限制，轻松选择。

Reality Proxy流程包含三个主要步骤：

激活代理：捕获层级和语义场景结构

当用户捏合确认选择时，系统会自动检测用户视线范围内的真实世界物体，并将其抽象为手部的交互代理。

成功选中目标物体后，用户可继续操作；否则，可使用手边的代理优化选择。

生成代理：保留空间关系

在这一步骤中，系统会将场景层级、语义表示转换为代理——用户可操作的对象。

默认情况下，系统仅为用户扩展视线范围内的1级物体生成代理，且保留其相对空间关系。

每个代理可通过长按和双手缩放等标准手势操作，即使释放捏合后也保持原位。

与代理交互：保持对现实世界的关注

为让用户主要关注现实物体，Reality Proxy在交互时将关键视觉反馈直接显示在物理物体上。

例如，选中物体时会高亮显示，相应的代理也会高亮，提供双重反馈。

此外，Reality Proxy还支持多种交互功能，使与现实物体的互动更加灵活。

• 浏览预览物体

• 多对象刷选