DemoHLM框架：单仿真演示驱动泛化移动操作

近日，北京大学与BeingBeyond研究团队创新提出DemoHLM框架，为人形机器人移动操作领域开辟了新路径——仅需一次仿真环境中的人类演示，即可自动生成海量训练数据，实现真实人形机器人在多任务场景下的高效操作，有效解决了传统方法依赖硬编码、真实数据成本高、跨场景泛化能力弱的核心难题。

核心挑战：人形机器人移动操作的“三重困境”

移动操作是人形机器人融入人类环境的关键能力（如搬箱子、开门、递物等），但长期受限于数据效率低、任务泛化差、Sim-to-Real迁移难三大难题：

• 数据效率低：传统方法需采集大量真实机器人遥操作数据，成本高昂且难以规模化；
• 任务泛化差：依赖任务特定的硬编码设计，换任务需重新开发；
• Sim-to-Real迁移难：基于仿真训练的策略因物理引擎差异、传感器噪声，无法在真实机器人上稳定运行。

DemoHLM：分层架构与数据生成革新，破解三重困境

DemoHLM的核心创新在于“分层控制+单演示数据生成”双引擎，既保证了全身运动的稳定性，又实现了低数据成本下的泛化学习。

分层控制架构：兼顾灵活性与稳定性

DemoHLM采用“低层全身控制器+高层操作策略”的分层设计，解耦“运动控制”与“任务决策”：

• 低层全身控制器（RL训练）：负责将高层指令转化为关节力矩，同时保证机器人全方位移动性与平衡能力。基于AMO框架优化，运行频率50Hz，可稳定处理高接触场景；
• 高层操作策略（模仿学习）：通过视觉闭环反馈，向低层发送任务导向的指令，实现复杂操作决策。支持多种行为克隆算法，运行频率10Hz，侧重长时域规划。

单演示数据生成：从“1次演示”到“千条轨迹”

DemoHLM最关键的突破是无需真实数据，仅用一次仿真遥操作演示即可生成海量多样化训练数据，核心流程分三步：

• 演示采集：通过Apple Vision Pro捕捉人类动作，映射到仿真中的Unitree G1机器人，记录一条成功操作轨迹；
• 轨迹转换与分段：将演示轨迹拆解为三阶段，通过坐标系转换实现泛化；
• 批量合成：在仿真中随机初始化机器人与物体位姿，自动调整指令并生成数百至数千条成功轨迹。

实验验证：从仿真到真实的稳定表现

团队在仿真环境（IsaacGym）与真实Unitree G1机器人上，针对多项移动操作任务开展全面验证，核心结果如下：

仿真：数据量与性能正相关，算法兼容性强

• 数据效率显著：随着合成数据量增加，任务成功率大幅提升；
• 算法适配灵活：在多种BC算法上均表现优异。

Real-World：Sim-to-Real迁移稳定，多任务落地

在改装后的Unitree G1上，DemoHLM实现零样本迁移，多项任务中：

• 全成功率任务：LiftBox（搬箱子）、PressCube（按立方体）均成功；
• 高稳定任务：PushCube（推方块）、Handover（递物）大部分成功；
• 复杂任务突破：GraspCube（抓方块）、OpenCabinet（开门）等任务成功率超60%。

行业价值与未来方向

DemoHLM的突破为人形机器人实用化提供了关键技术支撑：

• 降低落地成本：单演示+仿真数据生成，大幅降低行业应用门槛；
• 提升泛化能力：一套框架适配多场景；
• 推动技术融合：分层架构可兼容多种升级。

团队也指出当前局限及未来发展方向。未来将进一步探索混合训练、多模态感知融合等方向。

总结

DemoHLM以“单仿真演示驱动泛化移动操作”为核心，通过分层控制架构与高效数据生成 pipeline，破解了人形机器人训练成本高、泛化差、迁移难的三大痛点。 其在Unitree G1上的真实落地验证，证明了该框架的实用价值，为下一代人形机器人在家庭、工业、服务场景的规模化应用提供了重要技术路径。

论文连接：

https://arxiv.org/pdf/2510.11258

项目主页：

https://beingbeyond.github.io/DemoHLM/