李飞飞团队推出RTFM：单张H100 GPU驱动的实时世界模型

AI领域领军人物李飞飞教授的世界模型创业项目迎来里程碑式突破！

近日，李飞飞教授亲自发布全新模型RTFM（实时帧模型），该模型不仅实现实时运行、持久性及3D一致性，更突出的优势在于——

仅需单张H100 GPU即可高效驱动。

此外，RTFM的设计遵循三大核心理念：

效率：凭借单张H100 GPU，RTFM能以交互级帧率实时完成推理任务。

可扩展性：架构具备随数据与算力增长而线性扩展的能力。通过端到端通用架构从大规模视频数据中自主学习，无需依赖显式3D表征即可构建三维世界模型。

持久性：用户可与RTFM进行无限时长交互，所有场景永久存储。系统构建的持久化3D世界不会因视角变换而消失。

下面深入解析。

世界模型对计算资源需求巨大

先进的世界模型能够实时重建、生成并模拟具备持久性、可交互且物理精确的虚拟环境。此类模型将彻底变革从娱乐媒体到机器人技术的多个产业。

过去一年，生成式视频建模的进展已成功赋能生成式世界建模领域。

随着技术演进，一个共识日益清晰：生成式世界模型对算力的需求将远超当前大型语言模型。

若直接沿用现有视频架构，生成60帧4K交互视频流每秒需产出超10万token（约等于《弗兰肯斯坦》或首部《哈利·波特》的文本量）。

而维持一小时以上持续交互，需处理的上下文token更将突破1亿大关。基于现有计算基础设施，这既不可行也缺乏经济性。

李飞飞团队深信“惨痛教训”所揭示的法则：

那些能随算力增长优雅扩展的简洁方法终将主导AI领域，因其可享受数十年来算力成本指数级下降的红利。生成式世界模型恰处优势位置，必将从持续降低的算力成本中获益。

这引发关键疑问：生成式世界模型会受当前硬件限制吗？能否提前预览技术雏形？

为此，李飞飞团队设定明确目标：设计一款高效、可即时部署，并能随算力提升持续扩展的生成式世界模型。

他们旨在打造仅需单张H100 GPU驱动的模型，在保持交互帧率同时，确保虚拟世界永不消散。实现这些指标，将让他们提前窥见未来——在现有硬件上体验明日模型可能达到的高度。

这一目标深刻塑造了从任务设定到模型架构的全系统设计。通过精细优化推理堆栈各环节，融合架构设计、模型蒸馏与推理优化的前沿成果，他们致力于在当今硬件上呈现对未来模型最高保真度的预览。

世界模型作为可学习渲染器

传统3D图形管线采用显式3D表征（如三角网格、高斯泼溅）构建世界模型，再通过渲染生成2D图像。这些管线依赖人工设计的数据结构与算法模拟3D几何、材质、光照、阴影及反射等效果。

数十年来，这类方法一直是计算机图形学的支柱，但其难以随数据与算力增长实现线性扩展。

RTFM则另辟蹊径。基于生成式视频建模的最新突破，研究团队训练单一神经网络，输入场景的单张或多张2D图像，即可从新视角生成该场景的2D图像，全程无需构建任何显式3D表征。

RTFM还采用作用于帧序列的自回归扩散变换器架构，通过海量视频数据端到端训练，实现基于历史帧的后续帧预测。

RTFM 可被视为一种可学习的渲染器。它首先将输入图像帧转换为神经网络中的激活（即KV缓存），这些激活以隐式方式表示整个世界；在生成新帧时，网络通过注意力机制从该表示中读取信息，从而根据输入视角生成一致的世界新视图。

从输入视图到世界表示，再到从表示渲染新帧的机制，并非手工设计，而是通过端到端数据训练自动习得。

RTFM只需在训练中观察现象，就能学会建模反射、阴影等复杂效果。

可以说，RTFM模糊了“重建”（在已有视角间插值）与“生成”（创造输入视角中不可见的新内容）的界限，而这两者在计算机视觉历史上长期被视为独立问题。

当RTFM获得大量输入视角时，由于任务约束更强，它更倾向于执行重建；当输入视角较少时，它则被迫进行超出已有视角的外推生成。

以姿态帧作为空间记忆

现实世界的关键特性是持久性：当您移开视线时，世界不会消失或完全改变，无论离开多久，您总能回到原处。

这对自回归帧模型一直是个挑战。世界仅通过二维图像帧隐式表示，因此实现持久性要求模型在用户探索过程中对不断增长的帧集合推理。这意味着每生成一帧的成本递增，模型对世界的记忆受计算资源预算限制。

RTFM通过将每一帧建模为在三维空间中具有姿态（位置和方向）来规避此问题。他们通过向模型提供待生成帧的姿态来生成新帧。

模型对世界的记忆（包含在其帧中）具有空间结构。它将带姿态的帧作为空间记忆使用。这为模型提供了弱先验——即它所建模的世界是三维欧几里得空间——而无需强制模型显式预测该世界中物体的三维几何形状。

RTFM的空间记忆使得持久性不受限制。生成新帧时，他们会从已姿态帧的空间记忆中检索附近帧，为模型构建定制上下文。

团队将这一技术称为上下文切换：模型在不同空间区域生成内容时使用不同上下文帧。这使得RTFM能在长时间交互中保持对大型世界的持久记忆，而无需对不断增长的帧集合推理。

最后，该模型即日起以预览版形式开放体验，现在即可尝试…

试用后欢迎返回提供反馈评论，笔芯～

参考链接：

[1]https://x.com/drfeifei/status/1978840835341914164

[2]https://x.com/theworldlabs/status/1978839175320186988

[3]https://www.worldlabs.ai/blog/rtfm