类脑脉冲大模型SpikingBrain-1.0发布：效率与能耗双降

智东西9月10日报道，9月5日，中国科学院自动化研究所发布了类脑脉冲大模型“瞬悉1.0”（SpikingBrain-1.0）的技术报告。据悉，该模型凭借其独特的设计，在数据效率与推理效率上实现了显著提升。

具体而言，SpikingBrain-7B开源模型仅使用主流大模型2%的预训练数据，便达到了Qwen2.5-7B 90%的性能水平，其性能甚至能与Llama-3.1-8B等先进Transformer模型相媲美。

中科院自动化研究所表示，这是我国首次提出大规模类脑线性基础模型架构，并在国产GPU算力集群上构建了类脑脉冲大模型的训练和推理框架。这一成果不仅彰显了我国在新型非Transformer大模型架构研究方面的实力，也为未来大模型的自主可控发展奠定了基础。

值得一提的是，SpikingBrain的推理效率也实现了数量级提升。在100万个token上下文的场景下，其生成首个token的耗时比Qwen2.5-7B降低了96.2%。此外，该模型在能耗方面也表现出色，其平均乘加运算能耗相比传统FP16和INT8运算分别降低了97.7%和85.2%。

SpikingBrain-1.0共有7B参数量和76B参数量两个版本。其中，7B版本已在GitHub、魔搭等平台开源，而76B版本则提供了体验链接。

开源地址： https://github.com/BICLab/SpikingBrain-7B

技术报告： https://github.com/BICLab/SpikingBrain-7B/blob/main/SpikingBrain_Report_Chi.pdf

体验链接： https://controller-fold-injuries-thick.trycloudflare.com/

从Transformer瓶颈中寻找灵感：内生复杂性的新路径

Transformer架构在处理超长序列时面临资源消耗巨大的挑战。而受人类大脑启发，SpikingBrain团队探索了“内生复杂性”的发展路径，通过混合高效注意力、MoE模块和脉冲编码等核心组件，旨在打造更高效、更节能的大模型。

混合高效注意力

SpikingBrain整合了不同注意力机制的优势，通过层间混合的线性注意力与SWA，实现了全局信息检索和局部依赖的兼顾。

混合专家模块

为了高效扩展现有稠密模型，SpikingBrain团队采用了上采样技术，使扩展后的模型在初始状态下与原模型保持一致。

脉冲神经元

为解决传统神经元模型的过度激活或静息问题，SpikingBrain团队提出了自适应阈值脉冲神经元，以维持神经元的适度激活状态。

全面适配国产GPU集群：从模型转换到高效训练

在训练过程中，SpikingBrain团队通过持续预训练、监督微调和脉冲化编码等三个环节，成功将Qwen2.5-7B-Base转换为类脑脉冲大模型。这一转换过程不仅实现了高效模型转换，还充分利用了国产GPU集群的算力。

性能恢复与能效提升：集群连续运行无中断

在下游任务评测中，SpikingBrain-7B在多个基准测试上恢复了基座模型约90%的性能。同时，该模型在训练过程中的每秒每GPU处理token量达到1558个，显示出较高的计算效率和资源利用率。

体验与局限：在挑战中前行

尽管SpikingBrain-76B在理解和表达方面表现出色，但在某些特定任务上仍存在局限。例如，在小球弹跳等物理规律理解任务上，该模型的表现并不尽如人意。

结语：国产自主可控大模型的新进展

目前，国内已有多家企业高校在探索非Transformer的模型架构。这类受大脑计算方式启发的模型架构在计算效率上具有明显优势，与国产算力硬件结合后有望走出一条自主可控的新路径。