当前位置:首页 > 科技资讯 > 正文

斯坦福AI教母李飞飞新成果:3D世界生成模型震撼发布

智东西9月17日消息,斯坦福大学教授、“AI教母”李飞飞的创业公司World Labs今日公布了一项革命性的研究成果,推出了用户可以查看和创建3D世界的测试预览版Marble平台。

李飞飞在社交媒体上连发两条帖子,对新模型赞不绝口,她对3D世界生成的进展感到激动,并对模型能够生成如此庞大的3D世界表示惊讶。

斯坦福AI教母李飞飞新成果:3D世界生成模型震撼发布 李飞飞 World Labs 3D世界生成 AI 第1张

该模型能够根据给定的图像或文本提示,生成持久、可导航、可控的3D世界,且不会在使用者探索过程中变形、内容不一致或有时间限制。据World Labs的博客介绍,与以往成果相比,现在的生成世界更大、风格更多样化、且拥有更简洁的3D几何体。

有网友在评论区询问World Labs新模型和谷歌Genie项目的区别,李飞飞回应称,World Labs的模型生成的3D世界将永久存续,用户可以在其中自由导航,且无需支付任何费用。

斯坦福AI教母李飞飞新成果:3D世界生成模型震撼发布 李飞飞 World Labs 3D世界生成 AI 第2张

目前,用户想要体验Marble可以加入等待名单获取使用资格。

加入候补名单链接: https://www.worldlabs.ai/waitlist

对于3D内容生成的爱好者和开发者来说,可以将生成的世界导出为高斯splats,并在下游项目中使用它们。基于World Labs的开源渲染库Spark,用户可以将高斯splats无缝集成到Three.js中,以构建基于Web的3D体验,并在台式机、笔记本电脑、移动设备和VR头显上高效渲染。

在World Labs官方X账号的评论区,不少网友已经开始夸赞这项技术,有人称它非常适合视频游戏和虚拟现实,还有人称想起了第一次运行谷歌地球的场景。

斯坦福AI教母李飞飞新成果:3D世界生成模型震撼发布 李飞飞 World Labs 3D世界生成 AI 第3张

零成本自由视角漫游,几何复杂度更高

对于视觉创作者而言,在连贯的3D世界中进行漫游与交互是众多工作流程与应用场景的核心需求。World Labs空间智能模型生成的3D世界支持用户在浏览器内自由切换视角进行漫游,且完全零成本。

斯坦福AI教母李飞飞新成果:3D世界生成模型震撼发布 李飞飞 World Labs 3D世界生成 AI 第4张

相较于深度图或点云提供的有限3D体验,其生成的3D世界具备更丰富的几何复杂度,能生成更完整的3D场景。用户不仅能看到输入视图中的可见内容,还可以查看其背后及视野之外的部分。

斯坦福AI教母李飞飞新成果:3D世界生成模型震撼发布 李飞飞 World Labs 3D世界生成 AI 第5张

与此同时,其博客还提到,他们当前的模型旨在创建3D环境,而非专注于人或者动物的孤立或中心对象。

斯坦福AI教母李飞飞新成果:3D世界生成模型震撼发布 李飞飞 World Labs 3D世界生成 AI 第6张

在生成式AI的相关应用中,用户可以在创作过程中自由迭代调整作品的观感风格。World Labs的模型可将多种风格迥异的输入内容转化为3D形式,包括色彩鲜明的平面卡通、细节丰富的写实图像等。

如下面的卡通、科幻等诸多场景。

斯坦福AI教母李飞飞新成果:3D世界生成模型震撼发布 李飞飞 World Labs 3D世界生成 AI 第7张

基于模型的风格连贯性和几何一致性,用户能够探索、浏览更大尺度的3D世界,并衍生出更多应用场景。

例如下面的超大地下洞穴场景,跟随镜头移动也没有发生画面不一致等问题。

斯坦福AI教母李飞飞新成果:3D世界生成模型震撼发布 李飞飞 World Labs 3D世界生成 AI 第8张

还有下面色彩风格多样、手绘风格痕迹也保留了下来:

免费服务器阿里云服务器