LabOS：AI与XR融合，开启科学发现新纪元

AI 能否在实验台上施展拳脚？LabOS：当 AI 不仅能够思考，还能 “看见”、“指导” 并 “操作” 真实实验，人类与机器智能共同进化的科学发现新时代，正悄然到来。

在一个看似平常的生物实验室里，科学家在 XR 智能眼镜的提示下配制溶液，屏幕实时显示：“干细胞培养完成，请取样。” 机器人随即接管试管，启动涡旋混合器进行混合。当科学家取回细胞，视野中已同步展示 CRISPR 基因编辑的下一步流程。

这一切的幕后指挥，正是具备实验室场景 “世界模型” 的 AI 协研科学家 ——LabOS，它如同一位洞察全场的指挥家，以多模态数据为乐谱，精准指挥着多智能体、人类科学家与实验机器人。在这个深度融合的实验生态中，三者不再各自为战，而是共同奏响高效、可复现并持续进化的科学发现交响曲。

这一颠覆性的实验室人机协作场景，正是来自于英伟达 CEO 黄仁勋在 10 月 29 日的华盛顿 GTC 大会上亲自展示的突破性研究。由美国斯坦福大学丛乐教授与普林斯顿大学王梦迪教授团队联合英伟达，正式发布了一个名为 LabOS 的智能平台系统，全球首个融合 AI 与 XR（扩展现实）的 Co-Scientist (协研科学家)。

LabOS 网站：https://ai4labos.com

论文链接：https://arxiv.org/abs/2510.14861

LabOS 的突破性在于，它首次将多模态感知、自我进化智能体与扩展现实（XR）技术融为一体，把干实验的 AI 计算推理与湿实验的实时人机协同操作无缝衔接，构建出一个从假说生成到实验验证的端到端闭环。这不仅为科学研究打造了一个动态演进的 “世界模型”，更正式开启了人类与机器智能协同进化的科学发现新纪元。

斯坦福大学丛乐教授表示：“借助与英伟达合作达成的这项突破，我们可以将过去需要数年才能完成的工作缩短到数周，将原本耗资数百万美元的研究降至几千美元，将培训顶尖科研人才的周期从几个月降至几天。我们非常激动能与 NVIDIA 紧密合作，展示这项成果。更令人兴奋的是，这仅仅是开始，随着自主化科研实验室的兴起，这一创新不仅在改变生活，更将以更快的速度、更低的成本来拯救生命！”

图 1：LabOS 系统架构，融合了干实验的自我进化 AI 智能体与湿实验的 XR + 机器人的人机交互，实现端到端的科学发现

1. 从计算推理到物理协作：AI 实验室的具身进化

以往的科学 AI，无论是 AlphaFold 还是 Deep Research，大多在纯数字世界中运行。它们是天生的 “理论家”，但无法触及真实的物理实验。实验室的 “最后一步” 依然高度依赖科学家的手工操作与隐性经验，这成为科研效率与可复现性的瓶颈。

LabOS 的突破，正是为 AI 构建了一个能够进入真实实验室的具身系统。它将抽象智能与物理操作融为一体，构建出一个具备 “脑‑眼‑手” 协同能力的 AI 协研科学家：

会思考的 “脑”：自我进化的 AI 智能体。基于此前的研究 STELLA 框架，LabOS 包含规划、开发、评审与工具创建四大智能体。它们不仅能分解科研任务、编写分析代码，更能通过 “工具海洋” 模块，从海量文献和数据中自主创建新工具，实现推理能力的持续进化。这种内在的自我进化能力，使其能够通过 “推理时扩展” 解决新颖的科研任务。

能理解的 “眼”：专为实验室打造的视觉语言模型。团队收集了超过 200 段第一视角的实验视频，构建了 LabSuperVision（LSV）基准。他们发现，即便是最强的通用大模型，在理解精细实验操作上也表现不佳。为此，他们训练了专用的 LabOS-VLM，使其在错误检测等任务上准确率远高于通用模型。

可协作的 “手”：实时人 - 机器人一体化的实验执行系统。研究人员佩戴轻量 AR 眼镜进行实验，LabOS 每 5-10 秒对视频流进行一次分析，实时提供步骤指导、错误告警和操作建议，并协同调度 LabOS Robot 机器人参与实验操作。所有交互都通过 XR 界面以手势和语音完成，确保在无菌环境下的流畅人机协作。

图 2：物理实验室场景的 4D 重构，LabOS 通过 XR 眼镜实现人 - 机器人一体化的实时协作

2. 世界模型如何理解实验室？

实验室环境的复杂性对 AI 的视觉理解提出了极高要求。为评估 AI 模型的实验室感知与推理能力...