SpikingBrain：类脑脉冲大模型引领AI新纪元

【导读】SpikingBrain模型借鉴大脑信息处理机制，实现了线性/近线性复杂度，在超长序列处理上展现出显著的速度优势。在GPU上，1M长度下相比主流大模型速度提升26.5倍；在CPU端，64k-128k-256k长度下较Llama3.2的同规模模型Decoding速度提升4.04x-7.52x-15.39x，展示了通过借鉴大脑结构和功能构建新一代AI基础模型和架构的巨大潜力。

当前主流大模型基于Transformer架构，通过增加网络规模、算力资源和数据量来提升智能水平，取得了巨大成功。然而，Transformer架构在序列长度上具有二次方复杂度，导致训练和推理开销巨大，超长序列处理能力受限。

中国科学院自动化研究所李国齐、徐波团队借鉴大脑神经元内部复杂工作机制，发布了国产自主可控类脑脉冲大模型SpikingBrain (瞬悉)-1.0。该模型能够以极低的数据量实现高效训练，具有线性/近线性复杂度，显著提升长序列的训练和推理效率，全流程在国产GPU算力平台上完成。

网络试用端口网址：https://controller-fold-injuries-thick.trycloudflare.com

中文技术报告网址：https://github.com/BICLab/SpikingBrain-7B/blob/main/SpikingBrain_Report_Chi.pdf

英文技术报告网址：https://arxiv.org/abs/2509.05276

模型代码网址：https://github.com/BICLab/SpikingBrain-7B

研究背景

现有主流大模型基于Transformer架构，其计算单元为点神经元模型。这一路径面临着功耗高、可解释性差等问题。人脑作为唯一已知的通用智能系统，包含约1000亿神经元和约1000万亿突触数量，功耗仅20W左右。研究团队相信存在另一条路径——基于内生复杂性的通用智能实现方法，即融合神经元丰富动力学特性，构建具有生物合理性和计算高效性的神经网络。

核心技术

SpikingBrain-1.0基于脉冲神经元构建了线性（混合）模型架构，具有线性（SpikingBrain-7B）及近线性复杂度（SpikingBrain-76B）。为解决脉冲编码时的性能退化问题，构建了自适应阈值神经元模型，并通过虚拟时间步策略实现“电位-脉冲”的转换。

图1. SpikingBrain框架概览

借助动态阈值脉冲化信息编码方案，将稠密连续值矩阵乘法替换为支持事件驱动的脉冲化算子。网络层面的MoE架构结合神经元层面的稀疏事件驱动计算，提供微观-宏观层面的稀疏化方案。

性能亮点

SpikingBrain1.0在长序列训练效率上显著提升。SpikingBrain-1.0-7B模型能以极低的数据量实现与众多开源Transformer模型相媲美的性能。

团队将SpikingBrain-1.0部署到CPU手机端推理框架上，在64k-128k-256k长度下较Llama3.2的1B模型Decoding速度分别提升4.04x-7.52x-15.39x。

总结

SpikingBrain探索了脉冲神经元内生复杂神经动力学与线性注意力模型之间的机制联系，设计了线性模型架构和基于转换的异构模型架构。该模型实现了国产GPU算力集群对类脑脉冲大模型训练和推理的全流程支持，在超长序列科学任务建模场景中具有显著优势。