SLM引领智能体未来：从MCU到MPU的变革

近期，英伟达的一项研究结论在业界引起了广泛关注，他们指出小型语言模型（SLM）将成为智能体的未来。随后，英伟达推出了其全新的小型语言模型：Nemotron-Nano-9B-V2，该模型在部分基准测试中展现了顶尖的性能。

事实上，小型语言模型的风潮已经席卷了MCU和MPU领域。

小模型，实为‘压缩’大模型

我们或许早已接触到小型语言模型（SLM）。SLM的参数范围从几百万到几十亿不等，而大型语言模型（LLM）则拥有数千亿甚至数万亿参数。

SLM是由LLM压缩而来，压缩过程中需要在缩小模型的同时尽可能保留其准确性。常用的压缩方法包括：

知识蒸馏：利用大型‘教师’模型的知识来训练较小的‘学生’模型；

剪枝：移除神经网络中冗余或不重要的参数；

量化：降低计算中的数值精度（例如，将浮点数转换为整数）。

小型语言模型比大型模型更紧凑、更高效，因此SLM需要较少的内存和计算能力，非常适合资源受限的边缘或嵌入式设备。

许多小而强大的语言模型已经涌现，证明大小并非一切。例如，Llama3.2-1B（Meta开发的10亿参数变体）、Qwen2.5-1.5B（阿里巴巴的15亿参数模型）等。

运行SLM，不只是算力的较量

对MPU而言，运行SLM似乎并非难事。但开发人员如何判断MCU是否支持运行生成式AI？

答案是，MCU的神经处理单元（NPU）必须能够加速Transformer运行。

此外，运行生成式AI对MCU的带宽、系统总线和内存配置有严格要求。目前性能最佳的MCU能提供高达250GOPS的算力，而用于生成式AI的MCU将至少提供两倍于此的性能。

然而，原始吞吐量并非衡量实际系统性能的理想指标。因为成功的生成式AI应用需要支持Transformer运算，这会在系统内部、内存、神经处理单元等之间传输大量数据。因此，一个具有高原始吞吐量的系统理论上能快速处理数据，但如果无法将数据快速传输给神经处理单元，实际性能会大打折扣。

Aizip与Renesas合作的SLM项目

去年8月，Aizip与Renesas合作，在MPU上展示了用于边缘系统应用的超高效SLM和紧凑型AI Agents。这些小巧高效的模型已集成到基于Arm Cortex-A55的Renesas RZ/G2L和RZ/G3S主板中。

Aizip创建了一系列超高效的小型语言模型和AI Agents，名为Gizmo，参数规模从3亿到20亿不等。这些模型支持多种平台，包括MPU和应用处理器。

SLM使设备边缘应用程序上的AI代理能提供与大型语言模型相同的功能，但占用空间更小。设备上模型具有隐私保护、弹性作和节省成本等优势。尽管一些公司已成功减小手机语言模型的大小，但在低成本边缘设备上为自动化应用提供准确的工具调用仍是挑战。

MCU也在加大对SLM的投入

Alif Semiconductor最近发布了最新系列的MCU和融合处理器——Ensemble E4、E6和E8，主要针对支持SLM在内的生成式AI模型的运行。Alif是首家使用Arm Ethos-U85 NPU的芯片供应商，该芯片支持基于Transformer的机器学习网络。

基准测试结果显示，该系列进行高能效物体检测的时间不到2毫秒，图像分类时间不到8毫秒，E4设备上执行的SLM在生成文本时仅消耗36mW的功率。

这些处理器均搭载双Ethos-U55+Ethos-U85，算力强大。

Alif认为，相比其他制造商，他们布局更早。第一代Ensemble MCU系列早在2021年发布，从那时起就一直在批量出货E1、E3、E5 和 E7设备。而在其他MCU厂商仍停留在第一代AI MCU时，Alif就发布了第二代产品。

SLM或成嵌入式未来

SLM在大幅压缩模型体积的同时尽可能保留准确性。这种高效、紧凑的特性使其完美契合资源受限的边缘和嵌入式设备，为这些设备带来前所未有的智能能力。

事实上，边缘AI的未来正在徐徐展开，SLM也将是MCU和MPU厂商布局的关键领域之一。

例如，意法半导体的STM32N6、英飞凌PSoC Edge最新一代MCU等也开始重视NPU。

嵌入式AI最初主要在Linux系统上运行的相对昂贵的基于微处理器的产品的一项功能。但市场很快意识到边缘和端点设备中也有AI的空间——其中许多设备都是基于MCU。因此，在2025年下半年，先进的MCU厂商都将提供AI功能的产品纳入其产品组合中。这些厂商的NPU分为Arm Ethos IP一派和自研一派。最新的Ethos-U85开始支持Transformer并在半年前展示了搭载SLM的效果，其他厂商也在不断跟进。在未来，相信SLM也会彻底改变MCU和MPU的格局。