OpenAI开源稀疏模型Circuit-Sparsity，99.9%权重为零，提升AI可解释性

据智东西12月15日消息，OpenAI于昨日正式开源了一款名为Circuit-Sparsity的新型模型，其参数量仅有0.4B，且高达99.9%的权重为零。

Circuit-Sparsity已在Hugging Face平台开源（来源：Hugging Face）

该技术旨在攻克模型的可解释性难题，简言之，就是要解答‘模型为何给出这一决策？’以及‘它是如何推导出这一结论的？’这两个核心疑问。

当前，AI技术突飞猛进，大语言模型（LLM）虽展现出卓越能力，但其内部工作机制仍如同一个神秘的‘黑箱’。

我们难以理解其回答的成因，也不知晓它如何从海量数据中汲取知识。这种不可解释性，已成为AI在医疗、金融、法律等高敏感度领域应用推广的主要障碍。

为此，OpenAI研究团队训练了一个权重高度稀疏的Transformer模型，通过强制手段使模型权重矩阵中99.9%的权重归零，仅保留0.1%的非零权重。

在这项研究中，团队成功在模型内部构建了紧凑且易于解读的‘电路’（Circuits），每个电路仅保留维持模型性能所需的关键节点，使得神经元的激活具备了清晰的语义。

有海外网友评论称，这一技术或将宣告MoE（混合专家模型）时代的终结，并指出‘我们一直通过将权重隔离到“专家”中来粗略模拟稀疏性，这仅仅是为了满足稠密矩阵核的计算需求。’

海外网友评论截图（图源：X）

更有网友将这项研究比喻为给模型‘瘦身至骨架’，并认为其妙处在于直接构建稀疏模型，而非试图拆解稠密模型，这仿佛直接打开了黑匣子。

海外网友评论截图（图源：X）

然而，也有网友持不同看法，认为并未看到MoE因此终结的理由，并解释该技术主要面向XAI（可解释AI），其训练成本高出100至1000倍，‘回归研究时代’并不意味着复杂化。

海外网友评论截图（图源：X）

目前，该模型受计算效率瓶颈制约，运算速度比密集模型慢100至1000倍，因此现阶段尚无法直接应用于千亿参数级别的前沿大模型。

开源地址：

Github：

https://github.com/openai/circuit_sparsity

Hugging Face：

https://huggingface.co/openai/circuit-sparsity

01. 训练稀疏Transformer，OpenAI揭示模型内部计算机制

要理解这项研究的突破，首先需要明白传统大模型为何难以解释。

在标准的密集模型（Dense Models）中，神经网络存在一种被称为‘超级位置’（Superposition）的现象。简单来说，为了存储海量的信息，模型被迫让单个神经元或权重矩阵同时编码多个完全不同的概念。

这种特征纠缠导致了严重的后果，例如模型的决策不可追溯和逻辑混乱，当模型输出一个结果时，我们无法确定是哪个具体的‘概念’在起作用。

针对以上问题，以前的研究通常从试图拆解密集、纠结的网络开始。但OpenAI团队采取了一种‘反直觉’的策略，即训练权重稀疏的Transformer模型，强制模型权重矩阵中99.9%权重为零，仅保留0.1%非零权重。

强制模型限制了模型只能使用其神经元之间极少的可能连接，而这一简单的更改，几乎从根本上理清了模型的内部计算。

每个神经元只与下一个层的几个神经元相连（图源：OpenAI技术博客）

具体的技术手段包括：

1、动态剪枝与稀疏约束：在训练过程中，系统会动态执行‘剪枝’操作，每一步优化后仅保留绝对值最大的权重（Top-K稀疏化）。

2、激活稀疏化：在残差流、注意力键/值矩阵等关键位置，研究团队引入了AbsTopK激活函数，强制仅保留前25%的激活值。

3、架构微调：为了配合稀疏化，研究团队用RMSNorm替代了传统的LayerNorm，避免归一化操作破坏稀疏性，同时引入了‘Bigram表’来处理简单的模式匹配，从而释放模型的主干容量去处理复杂的逻辑推理。

02. 模型内部形成紧凑可读的‘电路’，规模缩减16倍

这项技术的最大成果，是模型内部形成了紧凑且可读的‘电路’（Circuits）。

在传统密集模型中，完成一个任务可能需要成千上万个节点协同工作，逻辑分散且难以捕捉。而在稀疏模型中，研究团队观察到了极简的计算路径：

1、极简的逻辑单元：例如在处理‘字符串闭合’任务时，模型仅用12个节点就构建了一个完美的电路，清晰地展示了它是如何检测单引号或双引号是否闭合的。

2、可读的特征：神经元的激活变得具有明确的语义。研究人员发现了一些神经元专门负责检测‘单引号’，另一些则像‘计数器’一样精确地追踪列表的嵌套深度。

3、规模缩减16倍：对比实验显示，在相同的任务损失下，稀疏模型的电路规模比密集模型小了16倍。这意味着解读AI思维的难度降低了整整一个数量级。

稀疏模型的电路规模比密集模型小了16倍（图源：OpenAI技术论文）

为了验证这些电路的真实性，团队进行了‘均值消融’实验。结果证明，移除非电路节点对任务几乎没有影响，而一旦移除电路中的关键节点，模型性能就会瞬间崩塌。这证实了这些电路确实是模型执行任务的‘必经之路’。

‘均值消融’实验（图源：OpenAI技术论文）

03. 稀疏模型解读力强但速度慢千倍，OpenAI提出‘桥梁网络’

为了测量稀疏模型计算的解耦程度。研究团队设计了一套简单的算法任务。对于每个模型，他们都将其剪裁成了仍能执行该任务的最小电路，并检查了该电路的简洁程度。

研究团队发现，用规模更大、稀疏度更高的模型进行训练后，就能够依托结构更简洁的电路，构建出性能更强的模型。

模型的可解释性与能力的对比图（图源：OpenAI技术博客）

从模型可解释性与性能的对比图可见，在稀疏模型规模固定的前提下，提升稀疏性，也就是将更多权重置零，虽会导致模型性能有所下降，但能显著增强其可解释性。

尽管稀疏模型在可解释性方面优势突出，但其应用目前受限于计算效率瓶颈：稀疏矩阵运算无法借助Tensor Cores实现加速，运算速度较密集模型慢100至1000倍。这意味着，将该技术直接应用于千亿参数级别的前沿大模型，现阶段尚不具备可行性。

为此，研究团队提出了‘桥梁网络’（Bridges）方案：

1、编码-解码映射：在稀疏模型与预训练的密集模型之间插入一个编码器-解码器对。

2、跨模型干预：编码器将密集模型的激活映射到稀疏空间，解码器则反向转换。

‘桥梁网络’（Bridges）方案可以在‘透明’的稀疏模型上修改某个特征，然后通过桥梁将这种扰动映射回‘黑箱’的密集模型，从而实现对现有大模型的可解释性行为编辑。

04. 结语：OpenAI提出稀疏化新路径，让大模型从‘黑箱’走向‘可解释’

OpenAI研究团队的这项研究，标志着AI可解释性领域的一项重要突破，也印证了理解AI并非遥不可及的目标。

研究团队在论文博客中称，这项工作是迈向更宏大目标的早期探索。接下来，他们计划将相关技术扩展至更大规模的模型，同时进一步解释更多模型的行为逻辑。

为解决稀疏模型训练效率低下的问题，团队提出了两个后续研究方向：一是从现有密集模型中提取稀疏电路，替代‘从头训练稀疏模型’的传统方式；二是研发更高效的可解释性模型训练技术，推动相关技术更易落地生产。

‘我们的目标是逐步扩大可可靠解释的模型范围，同时打造相关工具，让未来的AI系统更易于分析、调试与评估。’研究团队在论文博客中写道。