NPU在PC市场：噱头还是实力？

随着AI技术的蓬勃发展，各类产品纷纷标榜自己的AI属性，但你们这种“AIPC”的宣传，是不是有点过头了？

最近PC市场火爆，许多处理器和笔记本都将“我是AIPC，有NPU”醒目地放在商品页上，声称其NPU能提供多少TOPS算力，能在本地运行多大的模型，令人咋舌。

购买电脑时，你是否会特别关注这个配置？仿佛在这小小的NPU加持下，你购买的不仅仅是一台电脑，而是实实在在的“AI终端”。

那这玩意真的有用吗？经过研究，发现这东西虽然有用，但实际效果并不显著。

首先，我们得弄清楚厂商们吹得天花乱坠的“NPU”到底是什么。

NPU全称“神经网络处理器”，顾名思义，它与“神经”有关。NPU通过模仿人神经元和突触的运作方式，将存储和计算一体化，专门用于加速神经网络计算，主要应用于图像识别、语言处理等。

它存在形态上一般有两种，消费级别的NPU通常集成在处理器里，如AMD、英特尔的锐龙AI系列和Ultra系列处理器；还有一些数据中心和具备智能驾驶能力的车辆中也会有单独的NPU芯片进行推理运算。

例如，小鹏的图灵芯片就集成了NPU。

有人可能会问：说到AI计算和推理，我们第一反应是GPU，而现在的笔记本电脑和手机处理器里都集成了GPU——那为什么不用已有的GPU，还要在有限的空间里给NPU腾出地方呢？

各家都卷NPU的理由归根结底是效率。之前我们也讲过“LPU”，它是专用于大语言模型推理的芯片，相比GPU速度更快、功耗更低。这个NPU也类似，它针对神经网络做了优化，天生适合做矩阵乘法，如卷积运算。

那么，NPU到底有多强呢？

我找到了一篇瑞典洛桑理工学院的毕业论文，论文中对比了三种处理器：笔记本电脑里的英特尔i7-11800H代表CPU、英伟达的RTX 3070 Max-Q代表GPU以及瑞芯微RK3588ARM处理器内置的NPU代表NPU，运行YOLOv5系列模型，对比CPU、GPU和NPU的性能和能耗表现。

论文最终结论是：虽然测试的RK3588集成的NPU绝对算力不强（6TOPS），在某些项目运算速度不如GPU，但能耗比相当出色，属于一骑绝尘的水平。

最近韩国研究团队研究出的NPU技术宣称比主流GPU运算速度快60%，耗电量节省44%，能大幅降低某些AI云服务的运行成本。

说到这里，厂商们跟进NPU的理由就很明显了，跑AI性能好、还省电，这样的东西谁不爱呢？

特别是手机厂商，追求续航和轻薄的同时还想在差异化上卷出点优势，那这个东西他们肯定大大的要。

现在手机的CPU里集成NPU能提升响应速度、降低网络延时和保护隐私，相比直接调用GPU还会更省电。

落地到具体应用中，不仅可以在本地运行一些简单的大模型进行聊天、视频加字幕等，还因为NPU符合多模态AI发展的需求，可以实现“看世界”的功能，如分辨面前的物品、翻译外文的菜单等。

此外，现在手机厂商都爱卷影像，NPU可以辅助计算摄影，如相册里的AI功能、超分算法等。

但理想很丰满，现实很骨感。尽管NPU的能耗非常出色，但在所谓的AIPC上前提是“能用得上”。

实际上，现在电脑上真正适配并能调用NPU的软件一只手就能数得过来。

先说Windows这边，托尼发现能利用好NPU的软件大多是Arm版——但大家都知道Windows这边用Arm架构的PC就不多。