大模型与生物智能：协同核心的涌现与验证

生物智能与人工智能的进化路径虽截然不同，但二者是否遵循着某些共通的信息处理原则？

近期，来自帝国理工学院、华为诺亚方舟实验室等机构的研究人员发表了一篇新论文。研究指出，大型语言模型（LLM）在训练过程中自发演化出类似于生物大脑的协同核心（Synergistic Core）结构。

论文标题：A Brain-like Synergistic Core in LLMs Drives Behaviour and Learning

论文地址：https://arxiv.org/abs/2601.06851

研究团队利用部分信息分解（Partial Information Decomposition, PID）框架，对Gemma、Llama、Qwen和DeepSeek等模型进行了深入分析。

他们发现，这些模型的中层表现出强大的协同处理能力，而底层和顶层则更偏向于冗余处理。

协同与冗余：LLM的内部架构

研究团队将大型语言模型视为分布式信息处理系统，其核心实验设计旨在量化模型内部组件之间交互的本质。为了实现这一目标，研究者选取了Gemma 3、Llama 3、Qwen 3 8B以及DeepSeek V2 Lite Chat等多种代表性模型进行对比分析。

实验方法与量化指标

在实验中，研究者向模型输入了涵盖语法纠错、逻辑推理、常识问答等6个类别的认知任务提示词。

针对每个提示词，模型会生成一段包含100个Token的回答，实验设备记录下每一层中所有注意力头或专家模块的激活值。

具体而言，研究人员计算了这些输出向量的L2范数，作为该单元在特定时间步的激活强度数据。

基于这些时间序列数据，研究团队应用了整合信息分解（Integrated Information Decomposition, ID）框架。

该框架将注意力头对之间的交互分解为“持续性协同”和“持续性冗余”等不同原子项。

通过对所有注意力头对的协同值和冗余值进行排名并求差，研究者得到了一个关键指标：协同-冗余秩（Synergy-Redundancy Rank）。该指标能够清晰地标示出模型组件在处理信息时，究竟是倾向于进行独立的信号聚合，还是在进行跨单元的深度集成。

跨模型的空间分布规律

实验数据揭示了一个在不同架构模型中高度一致的空间组织规律。在归一化后的模型层深图中，协同分布呈现出显著的“倒U型”曲线：

冗余外周（Redundant Periphery）：模型的早期层（靠近输入端）和末期层（靠近输出端）表现出极低的协同秩，信息处理以冗余模式为主。在早期层，这反映了模型在进行基本的解词元化（Detokenization）和局部特征提取；而在末期层，则对应着Token预测和输出格式化的过程。

协同核心（Synergistic Core）：模型的中层则展现出极高的协同秩，形成了核心处理区。例如，在对Gemma 3 4B的热图分析中，中间层的注意力头之间表现出密集且强烈的协同交互，这正是模型进行高级语义集成和抽象推理的区域。

架构差异与一致性

值得注意的是，“协同核心”的涌现并不依赖于特定的技术实现。

在DeepSeek V2 Lite模型中，研究者即使是以“专家模块”而非“注意力头”作为分析单位，依然观察到了相同的空间分布特征。

这种跨架构的收敛性表明，协同处理可能是实现高级智能的一种计算必然，而非单纯的工程巧合。

智能的涌现：学习驱动而非架构使然

一个关键的问题在于：这种结构是Transformer架构自带的，还是通过学习习得的？

研究人员通过分析Pythia 1B模型的训练过程发现，在随机初始化的网络中，“倒U型”的协同分布并不存在。随着训练步数的增加，这种组织架构才逐渐稳定形成。

这意味着，“协同核心”是大模型获得能力的标志性产物。

协同核心的功能验证

为了验证协同核心是否真的驱动了模型行为，研究团队进行了两类干预实验：消融实验和微调实验。

消融实验：研究发现，消融那些高协同性的节点会导致模型出现灾难性的性能下降和行为背离，其影响远超随机消融或消融冗余节点。这证明“协同核心”是模型智能的核心驱动力。

结语

这项研究为大模型的可解释性开辟了新路径。它表明，我们可以从“自上而下”的信息论视角来理解模型，而不仅仅是“自下而上”地寻找特定的电路。