单卡挑战城市级重建：CLM系统革新3DGS训练

重塑城市级3D重建的未来？只需一张RTX 4090与巧妙设计的系统。

过去，实现这一壮举需依赖昂贵的GPU集群。而今，纽约大学的研究团队在ASPLOS 2026上提出了名为CLM的系统，它巧妙地将显存密集型任务转移至CPU，使单张消费级显卡也能胜任。

3DGS的硬件挑战

3D高斯泼溅（3DGS）以其高质量与高效能，成为神经渲染领域的宠儿。然而，面对城市街区等大型场景时，GPU显存成为难以逾越的障碍。

即便是RTX 4090这类高端显卡，其显存也仅能满足小规模模型训练。传统方法要么成本高昂，要么牺牲重建质量。

显存优化：CLM的突破

CLM的核心在于对训练过程的深刻理解。研究人员发现，每次渲染仅涉及场景中的一小部分高斯点。基于此，他们设计了动态加载机制，将非关键参数移至CPU，仅保留关键属性于GPU。

CPU-GPU协同：系统级优化

CLM不仅仅是一项迁移策略，而是一套全面的系统方案。它包含三项关键机制：

属性分割：关键与非关键参数分离

仅将决定高斯点可见性的关键属性留在GPU，其余则交由CPU管理。

预渲染视锥剔除：减少无效计算

在渲染前明确哪些高斯点在当前视角中可见，仅加载这些点的完整参数。

高效数据传输：避免性能瓶颈

通过微批次流水线、缓存机制和智能调度，确保CPU与GPU间数据传输高效流畅。

实测成果：规模与质量双提升

在“MatrixCity BigCity”数据集上，CLM成功将模型规模扩大6.7倍，同时保持或提升渲染质量。其训练吞吐量也达到了增强型基线的55%至90%。

跨学科合作：推动实际应用

CLM不仅是一项学术研究，更是一项面向实际部署的系统工程。它通过软硬件协同，展示了在不增加硬件投入的情况下推进3DGS实用化的可能性。

该项目已在GitHub上开源，并附有详尽教程。对于数字孪生、大规模地图重建等领域而言，CLM无疑是一个值得期待的工具。

作者简介与资源链接

项目由赵和旭与闵熙雯等成员完成，导师包括李金阳教授与Aurojit Panda教授。论文及代码均可在指定链接获取。

论文链接：https://arxiv.org/abs/2511.04951

项目主页：https://tarzanzhao.github.io/CLM-GS

代码仓库：https://github.com/nyu-systems/CLM-GS