TwinRL：数字孪生助力机器人高效探索与进化

【导读】至简动力携手顶尖学府，推出TwinRL，通过数字孪生技术，让机器人先在虚拟环境中大胆探索，再回真机，实现20分钟100%成功率——比现有方法快30%，人类干预减少一半以上。

当机器人真正「走出演示数据」的那一刻，发生了什么？

你花了两周时间，手把手教机械臂如何精准抓取香蕉并放置到盘子中。机械臂在桌子左侧表现优秀，但在你简单将香蕉向右移动15厘米后，它突然不知所措。

机械臂的困境并非「没学好」，而是因为它从未见过那个位置。

这并非虚构，而是2025年许多VLA模型在真实世界中的真实挑战。

过去两年，Vision-Language-Action（VLA）模型在机器人领域掀起热潮。

从「看图+听话+动手」，到多任务、多场景的泛化执行，VLA让机器人看起来像是能理解世界的智能体。

论文中的成功率动辄90%以上，演示视频也极其吸引人。

但真正做过真机实验的人都知道，这里存在一个心照不宣、却鲜有人正面回答的问题：

如果没有人类不断示范，机器人还能不能自己学？

答案是——几乎不能。

现实的挑战在于：

• 人类示范（Teleoperation）昂贵、低效、覆盖有限
• 在线强化学习（RL）在真实机器人上慢、危险、资源消耗大

但这些都还不是最致命的。

最致命的是——RL的探索空间被SFT演示数据牢牢限制。

即使给机器人再多奖励，它也只会在「演示数据附近」打转。

近日，至简动力、北京大学计算机学院多媒体信息处理国家重点实验室、清华大学、香港科技大学提出了一种面向真实世界机器人操作的数字孪生协同强化学习框架TwinRL。

TwinRL的核心洞察：RL的问题，不是学不会，而是探索空间被限制。

通过系统性的真实机器人实验，TwinRL团队发现：

• 真实世界中，VLA的有效探索空间几乎完全由SFT数据分布决定。

这意味着什么？

• RL更像是「重加权」，而不是「开新路」
• Out-of-Distribution（OOD）区域对SFT模型来说几乎不可达
• 即便加入Human-in-the-Loop，也只是缓慢地「挪边界」

问题不在算法，而在探索空间本身。

于是，一个大胆的想法出现了：

如果真实世界没法并行探索，那就把『探索』这件事提前搬到一个『可控、可扩展的世界』里。

这个世界，就是数字孪生（Digital Twin）。

TwinRL：不是『模拟器』而是探索放大器

与传统『仿真+real2sim』不同，Digital Twin不是用来替代真实世界的，而是用来『放大真实世界探索能力』的。

TwinRL构建了一个数字孪生–真实机器人协同强化学习框架，核心由三步组成：

• 一、探索空间扩展（Exploration Space Expansion）
• 二、数字孪生中的并行在线RL
• 三、Sim-to-Real引导的人在回路探索