以色列AI创企Decart推出实时视频生成模型MirageLSD

编译 | 李水青

编辑 | 漠影

智东西7月19日报道，以色列AI创企Decart于7月18日推出了全球首个支持直播扩散的AI视频模型——MirageLSD。与传统的视频生成模型如Veo相比，MirageLSD能够实时转换无限长的视频流，响应时间低至40毫秒。

前特斯拉AI总监、OpenAI创始团队成员安德烈·卡帕西（Andrej Karpathy）在社交平台X上表示：“虽然Veo等视频扩散模型很神奇，但它们需要花费数秒/数分钟才能生成，而MirageLSD则是实时的魔法。”他相信这将是一项通用且强大的技术，有望改变游戏、直播、视频通话、影视、会议以及AR/VR等多个领域。

Decart成立于2023年，由Andrej Karpathy参与投资。Mirage是Decart继“AI版我的世界”Oasis之后的第二个模型。目前，由MirageLSD模型驱动的Mirage平台已上线，iOS和Android版本预计下周上线。

体验地址：https://mirage.decart.ai/

Andrej Karpathy力荐：

实时魔法，重塑游戏直播行业

在社交平台X中，AI专家Andrej Karpathy激动地表示：“现在，扩散视频模型支持实时生成了！”

Andrej Karpathy提到，尽管简单的视频滤镜支持实时生成，但大多数只能进行基本的重新着色和样式设置。而Veo等市面上已有的视频扩散模型虽然神奇，但需要花费数秒甚至数分钟才能生成。相比之下，MirageLSD就像实时魔法一样。与简单的视频滤镜不同，扩散模型实际上能理解它们正在查看的内容，因此可以智能地设置视频源所有部分的样式，例如将帽子戴在头上或将光剑戴在手上等。

Andrej Karpathy还称，该模型可以任意操控，例如通过文本提示来进行操控。可定制的智能视频滤镜会随着时间的推移解锁许多酷炫的想法：

• -将摄像头画面转化为虚拟实景；
• -执导并拍摄自己的电影，使用道具演绎场景，实时拍摄且即时回看；
• -围绕简单的球体或方块生成有氛围的代码游戏，然后借助实时扩散模型为游戏添加纹理，使其变得精美；
• -对任意视频流进行风格化处理和自定义。

破解视频生成“30秒瓶颈”

生成速度提升16倍

MirageLSD是首个实现无限实时零延迟视频生成的系统。它基于名为“实时流扩散（LSD）”的定制模型构建，该模型能够逐帧生成视频，同时保持时间连贯性。

与以往的方法不同，LSD支持完全交互式的视频合成——允许在视频生成过程中持续进行提示、转换和编辑。

当前的视频模型无法生成超过30秒的视频，否则会因错误累积而导致质量严重下降。它们通常需要几分钟的处理时间才能输出几分钟的视频。即使是当今最快的实时系统，通常也会分块生成视频，从而带来不可避免的延迟，影响交互使用。

与Veo走差异化路线

首个实时无限视频生成模型

...（内容省略）...