谷歌三大创新引领AI革命：Cell2Sentence、Veo 3.1及Coral NPU

今日，谷歌展现其科技创新的多样面貌。

其一，携手耶鲁大学，基于Gemma研发的Cell2Sentence-Scale 27B（C2S-Scale）模型，首次预测新型潜在癌症疗法，引发全球瞩目。其二，更新Veo 3.1，显著提升视频生成能力，详见报道《谷歌Veo 3.1重大更新，挑战Sora 2》。

再者，谷歌推出Coral NPU，专为低功率设备设计，支持持续运行的AI。此平台可在可穿戴设备上运行小型Transformer模型及大型语言模型（LLM），并兼容TensorFlow、JAX和PyTorch等框架，通过IREE和TFLM编译器实现高效运行。

上述三大成果均引起开发者广泛讨论。

Coral NPU：边缘设备的全栈开源AI平台

谷歌定位Coral NPU为「全栈、开源平台」，旨在解决性能、碎片化和隐私三大挑战，使功能强大的AI技术能在低功耗边缘设备中广泛应用。

这意味着未来智能手表等设备有望内置持续运行的优质AI，将智能融入用户日常生活。

然而，实现这一目标面临三重挑战：

性能差距：复杂模型需更多资源，远超边缘设备限制。

碎片化成本：模型编译优化困难且昂贵，阻碍跨设备性能一致。

用户信任缺失：个人AI需优先保障隐私安全。

基于早期Coral项目，Coral NPU为硬件和机器学习开发者提供构建下一代私密高效边缘AI设备的工具。

Coral NPU由Google Research和DeepMind合作设计，是AI优先的硬件架构，支持超低功耗、始终在线的边缘AI。

它提供统一开发者体验，简化环境感知等应用的部署。专为可穿戴设备设计，减少电池消耗，并适应高性能应用场景。

项目主页：https://developers.google.com/coral

代码库：https://github.com/google-coral/coralnpu

技术细节

Coral NPU采用NPU架构，为下一代高能效机器学习优化片上系统(SoC)提供构建模块。

该架构基于RISC-V指令集，专为低功耗设计，是始终在线环境感知的理想选择。

其基础设计在几毫瓦功率下提供512 GOPS性能，为边缘设备带来强大端侧AI能力。

Coral NPU生态系统展示为SoC设计者和开发者提供的端到端技术栈。

此开放可扩展架构为SoC设计者提供灵活性，可修改设计或作为预配置NPU使用。

Coral NPU架构包含以下组件：

• 标量核心：轻量级RISC-V前端，管理数据流，实现超低功耗和CPU功能。
• 向量执行单元：强大SIMD协处理器，符合RVV v1.0规范，同步操作大型数据集。
• 矩阵执行单元：高效量化外积乘积累加引擎，构建加速神经网络基本运算。此单元仍在开发中，将于晚些发布。

从传统设计到Coral NPU的架构转变示意图。

统一的开发者体验

Coral NPU与IREE、TFLM等编译器无缝集成，支持TensorFlow、JAX等框架。包含TFLM编译器等解决方案及通用MLIR编译器、C编译器、自定义内核和模拟器，为开发者提供灵活路径。

例如，JAX框架模型先导入为MLIR格式，再送入IREE编译器进行硬件特定优化。优化后生成紧凑二进制文件，高效执行。

行业标准的开发者工具简化模型编程，提供一致体验。

目标应用

Coral NPU支持超低功耗、始终在线的边缘AI应用，侧重环境感知系统。目标是在可穿戴设备、手机和物联网(IoT)设备上实现全天候AI体验，减少电池消耗。

• 情境感知：检测用户活动、距离或环境，启用“免打扰”模式等。
• 音频处理：语音和声音检测、关键词识别等。
• 图像处理：人物和物体检测、手势识别等。
• 用户交互：通过手势、音频提示等控制设备。

硬件强制的隐私保护

Coral NPU通过硬件强制安全性建立用户信任。支持CHERI等技术，隔离敏感模型和数据，抵御内存攻击。

构建生态系统

开源硬件项目依赖合作伙伴。谷歌宣布与Synaptics合作，其“第一个战略芯片合作伙伴”，物联网领域领先企业。

Synaptics在技术上宣布新Astra SL2610系列AI原生物联网处理器。采用Torq NPU子系统，业界首个Coral NPU架构量产实现。支持Transformer和动态算子，为消费和工业物联网构建未来边缘AI系统。

Astra SL2610来自X用户@TekStrategist

结语

谷歌称Coral NPU“解决边缘计算核心危机”。通过通用、开源、安全平台供业界发展，构建活力生态系统。

您如何看待此平台？有兴趣尝试开发吗？