小语言模型或引领AI智能体未来

英伟达研究院和佐治亚理工大学的研究人员最近发布了一项非共识的观点：相较于庞大的大型语言模型（LLM），小语言模型（SLM）才是AI智能体的未来。

SLM以其高效、经济的特点，正逐步成为AI智能体的核心。

https://arxiv.org/abs/2506.02153v1

作者提出了以下三个核心理由：

首先，SLM已经展现出强大的能力，足以应对AI智能体中大部分重复、单一的任务；其次，它们天生适应智能体系统的架构，既灵活又易于集成；最后，从经济角度来看，SLM更加节省成本，能够大幅降低AI的运行费用。

想象一下，AI智能体系统就像是一个虚拟团队，能够自动分解任务、调用工具（比如浏览器或代码编辑器），最终解决问题。目前，大多数AI智能体都依赖LLM作为“大脑”，因为LLM具备强大的聊天能力和广博的知识，能够处理各种复杂问题。

然而，论文指出，尽管2024年AI智能体市场已达52亿美元，预计到2034年将飙升至2000亿美元，且企业中超过一半已经在用，但使用LLM来处理AI智能体的重复单一任务（如“检查邮件”、“生成报告”）就如同用超级计算机玩扫雷，或者开兰博基尼送披萨——过于浪费资源。

而且，智能体系统的任务特点使得小模型能更好适配智能体生态，从而更有可能交付出符合要求的结果。因为本质上AI智能体不是聊天机器人，而是“工具箱+大脑”的系统。SLM小巧、训练/微调成本低（几小时GPU即可），且易于适应新需求（如新法规）。这带来了“民主化”，使得更多人能够开发智能体，减少偏见，促进创新。

作者指出，智能体任务只用LLM的一小部分技能，如格式严格的工具调用。而AI智能体系统天然异构，利于混用模型：主智能体用LLM，子任务用SLM。如果大量采用SLM，还能发挥数据收集优势：智能体运行时自然产生的专精数据可用于微调SLM，形成良性循环。

01

SLM的定义与优势

论文对SLM给出了一个实用的定义：能装进普通消费电子设备（如手机或笔记本），推理速度快，能实时服务一个用户的智能体请求。目前，10亿参数以下的模型可以算是SLM。而其他更大的模型通常需要云端服务器支持。

为什么这样定义？因为SLM像“便携大脑”，适合终端部署；而LLM像“宇宙级超级电脑”，但延迟高、成本高。

作者通过比喻解释了这一观点：如果AI无限大，会受光速限制而无法实时互动；若无限小，则太弱而无法执行任务。人类大脑就是平衡点，SLM就像人类大脑这个平衡点一样高效且易于迭代。

左侧模型中，一个语言模型与用户聊天并直接触发每个工具；右侧模型中，一个小型控制器程序处理工具调用，让模型专注于对话或特定推理。

这种拆分使得为大多数调用插入小型语言模型变得容易且节省成本。

论文表示，最前沿的小模型如Phi-3和Hymba在工具使用、常识推理和指令遵循方面性能足以媲美30B到70B的大模型，但在实际工作流中的计算量却降低了10-30倍。

02

为何还要用LLM？

尽管SLM具有诸多优势，但论文认为AI智能体没有大规模利用SLM的主要原因还是路径依赖。

大量资金（高达570亿美元）被投入了中心化的大模型基础设施中，团队倾向于重复使用付费设置而非转向更轻的本地选项。

行业内对“大即是好”的偏见依然强烈。小型模型的研究一直在追逐用于大型模型的相同广泛基准测试，而这些测试无法充分体现小型模型在智能体任务上的优秀表现。

因此，尽管SLM几乎没有像GPT-4那样的热度，也没有经历像大模型那样的一轮又一轮营销热潮，但许多构建者从未尝试过更便宜更合理的路线。

03

华人作者介绍

SHIZHE DIAO

根据他领英公开的资料显示他先后就读于北京师范大学和香港科技大学并在UIUC做过访问学者。

他曾在字节AI LAB实习并于2024年加入英伟达担任研究科学家。