当前位置:首页 > 科技资讯 > 正文

vLLM开源项目孵化AI初创公司,Inferact成立并筹集1.5亿美元

大模型推理的核心基石vLLM,现已成长为一个充满活力的创业公司——Inferact。

据北京时间周五凌晨的最新消息,由开源软件vLLM的创始人组建的人工智能初创公司Inferact正式宣布成立,并在种子轮融资中成功筹集了1.5亿美元(约合10亿元人民币),公司估值高达8亿美元。

vLLM开源项目孵化AI初创公司,Inferact成立并筹集1.5亿美元 vLLM AI推理引擎 Inferact 开源项目 第1张

本轮融资由知名风险投资公司Andreessen Horowitz(a16z)和Lightspeed联合领投,Sequoia Capital、Altimeter Capital、Redpoint Ventures以及ZhenFund等也参与了投资。

尽管Inferact的1.5亿美元天使轮融资金额不及Ilya Sutskever的公司SSI的10亿美元,但已超越了Mistral AI的1.15亿美元,成为有史以来规模最大的种子轮融资之一,这一成就凸显了业界对AI推理基础设施的高度重视。

Inferact立志将vLLM打造为全球领先的AI推理引擎,通过降低推理成本、提升推理速度,推动AI技术的快速发展。

公司认为,未来AI行业面临的最大挑战并非构建新模型,而是如何以低成本、高可靠性地运行现有模型。

毫无疑问,Inferact的核心是开源项目vLLM。这一项目于2023年启动,旨在帮助企业在数据中心硬件上高效运行AI模型。

vLLM开源项目孵化AI初创公司,Inferact成立并筹集1.5亿美元 vLLM AI推理引擎 Inferact 开源项目 第2张

vLLM最初由加州大学伯克利分校的天空计算实验室开发,现由PyTorch基金会负责管理,并已吸引了来自整个AI行业的2000多名贡献者,成为全球范围内最受欢迎的开源大模型推理加速框架。

目前,vLLM的推理能力正为Meta、谷歌、Character.AI等科技公司提供支持。

Inferact的首席执行官Simon Mo是伯克利在读博士生,也是vLLM的创始维护者之一。他透露,公司成立于2025年11月,并于本周正式对外公布。他将Inferact的起源与伯克利早期的一些软件项目进行了比较,这些项目后来逐渐发展成为规模更大的企业,如Apache Spark和Ray。

vLLM开源项目孵化AI初创公司,Inferact成立并筹集1.5亿美元 vLLM AI推理引擎 Inferact 开源项目 第3张

在宣布融资的同时,Lightspeed也发布了对Simon Mo的访谈。在访谈中,Simon Mo表达了对全球AI算力紧缺的担忧,“当前用于大模型训练的AI集群,将在六个月内完全被用于推理……推理会逐渐消耗掉所有算力容量,并耗尽所有新增的容量。”

在公告中,Inferact表示其定位于模型和硬件的交汇点:当模型厂商发布新架构时,他们会与vLLM合作,确保提供首日支持;当硬件厂商开发新芯片时,他们会与vLLM集成;当大模型团队进行大规模部署时,他们会运行vLLM。从前沿实验室到超大规模数据中心,再到服务数百万用户的初创公司,无一例外。

目前,vLLM支持了500多种模型架构,可在200多种加速器上运行,并支持全球规模的推理。这个由2000多位贡献者共同构建的生态系统,是Inferact得以成立的基础。

Inferact表示,其首要任务是继续支持vLLM作为独立的开源项目,并将改进成果分享给社区。他们计划进一步提升vLLM的性能,深化对新兴模型架构的支持,并扩大对前沿硬件的覆盖范围。Inferact的第二个目标是开发一款独立的商业产品,帮助企业在不同类型的硬件上更高效地运行AI模型。

值得一提的是,vLLM项目的核心贡献者、清华博士游凯超成为了这家公司的联合创始人。

vLLM开源项目孵化AI初创公司,Inferact成立并筹集1.5亿美元 vLLM AI推理引擎 Inferact 开源项目 第4张

据介绍,Inferact的创始团队包括Simon Mo、Woosuk Kwon、Kaichao You(游凯超)、Roger Wang、Joseph Gonzalez以及Ion Stoica等人。