AI领域的黑箱炼金术：理论与现实之间的鸿沟

AI领域的黑箱、炼金术与大力出奇迹——这些词汇，虽与严谨的科学和数学格格不入，却成了描述大语言模型（LLM）最贴切的比喻。

近期，著名数学家陶哲轩也发表了类似的观点。他认为，当前AI领域的许多突破，更像是工业界“大力出奇迹”式的成功，而非理论先行的成果。

除了优化数学和数值线性代数这两个相对成熟的领域之外，大多数理论数学框架仍处于早期发展阶段，用于解释AI优缺点的框架尤为如此。

目前的主要瓶颈不仅在于基础研究资金的缺乏，更在于我们对这些数学本身的理解尚未达到我们期望的程度。

如今，LLM的成功更多依赖于大量的试错、海量的数据和强大的算力，却缺乏严谨系统的理论支撑。AI研究的现状是明显缺乏系统性的理论解释，而高度依赖经验主义和数据驱动的方式。这导致的一个突出问题便是，成功的案例往往难以复制，而真正前景光明的用途反而容易意外碰壁。

即使是被誉为“AI教父”的辛顿，对此也有深刻反思。他曾明确指出：“深度学习系统没有任何解释能力——系统越强大越不透明”。这准确揭示了模型虽然能工作，但其内部“为什么这么做”我们却不知道。他警告，未来AI系统可能会发展出我们无法理解的内部语言，进一步让人类无法追踪其思路与计划，使得“黑箱”更深不可测。

甚至有人评论，目前对AI的投资不仅没有促进基础研究，反而是“肥了”那些黑箱制造商，比如OpenAI、Anthropic、谷歌等。

陶哲轩在讨论中提到了“压缩感知领域”。他将当前的AI研究现状与早期压缩感知领域的情况做了类比。压缩感知最初由数学家提出了极为严格的理论假设及证明框架，明确了特定条件下算法一定会有效的前提。然而，实际上早在这些理论出现之前，MRI、地震学、天文学等应用领域早已通过经验和实验摸索出了类似的方法。这说明，尽管理论在事后给予了严谨的证明和统一的解释，但在实际应用上，却并非不可或缺。

LLM的情况则更加极端：即使到目前为止，能准确解释其成功原因的理论框架仍然完全缺位。类似GPT-4这样的模型，以惊人的效果震撼了世界，但它们的出现更多是工业界巨头凭借庞大资源进行盲目实验的产物，而非建立在深厚的理论理解基础上。

扩展阅读：Ilya尘封10年录音曝光！大二入Hinton门下，竟坦言机器学习反直觉

正因为缺乏系统的理论支撑，AI领域经常出现难以解释的现象。比如，一个模型在特定任务上展现出强大能力，但换一个看似相近的任务，它却莫名其妙地失败了。同样的技术方法在不同的模型之间难以复制。这让我们不禁想起Ilya早年的看法：他认为机器学习领域最先进的理论往往非常接地气。

用陶哲轩的话来说，就是数学定理（理论）为领域带来的是一种清晰性、洞察力、普遍性以及信任度，而这些并不是仅靠经验得出的结果本身所能提供的。简单说，就是虽然没有理论随便修桥可能会成功，但如果想要提前确保成功，你必须有坚实的理论基础。

陶哲轩还举了一个例子。像昂贵的MRI（核磁共振）设备制造商（西门子、通用电气、飞利浦、东芝等）若要真正投入大量研发资源，尝试将压缩感知算法应用到他们的最新机型中（他们现在都已经这样做了），就必须高度确信在将理论论证实际应用时不会遇到根本性的障碍。

在这里，起关键作用的并不仅仅是我（陶哲轩）或其他人提出的某个定理，而是数学信号处理文献中压缩感知结果的显著广度（使用了多种不同的数学领域得出了相同的结论），以及数学领域现在认为与医学成像背景相似的其他学科中的压缩感知实验。这些因素共同说服了这些公司，使其相信风险足够低，从财政角度看值得进行相应的投资。

简单来说就是，逻辑上严丝合缝，靠着完美的“推导”建立投资自信。

AI领域呢？总之，AI领域迫切需要解决的并非单纯增加资金或数据规模，而是找到真正的理论根基。黑箱、炼金术与大力出奇迹的时代终究不是长久之计。我们需要更多严谨的理论探索，更少盲目的试错与幸运的赌博。只有如此，AI领域才能真正实现可持续的发展。

幸运的是，目前已经有很多这方面的研究。

扩展阅读：

Anthropic CEO豪言LLM黑箱5年内必破！研究员爆料：AI有意识概率已达15%

Anthropic首次切开Claude大脑，“AI黑箱”彻底破解？心算诡异思考过程曝光

苦研10年无果，千万经费打水漂！AI黑箱依然无解，谷歌撕破脸

OpenAI最强竞品训练AI拆解LLM黑箱，意外窥见大模型“灵魂”

AI“黑箱”被打开？谷歌找到大模型能力涌现机制

参考资料：

https://mathstodon.xyz/@tao/...