贝尔实验室的考古式AI扩展定律探索

AI 也要「考古」式科研？

人工智能的「扩展定律」揭示了模型性能与算力等资源投入的关系，成为构建先进大模型的重要参考。

关于扩展定律的起源，众说纷纭。有人认为是2020年OpenAI提出，也有人认为是2017年百度发现的。详情可参阅我们之前的报道《原来百度 2017 年就研究过 Scaling Law》。

近日，康奈尔大学博士生、Meta研究员Jack Morris在推特上称，贝尔实验室才是扩展定律的真正探索者，这一发现将历史推到了1993年。

Morris进一步解释，这篇论文其实是NeurIPS论文。贝尔实验室的研究者在不同大小的数据集、不同大小的模型上训练了分类器并拟合了幂律。Morris感叹：「不敢相信这已经是32年前的事了。」

近日，OpenAI联合创始人、总裁Greg Brockman也转发了这一消息，并表示这些结果跨越了多个数量级和几十年的时间，揭示了深度学习的根本。

贝尔实验室的前瞻性和众多开创贡献令人赞叹。

贝尔实验室的 Scaling Law

回到人们正在讨论的这篇论文本身。它是一篇AI顶会NeurIPS论文：

论文标题：Learning Curves: Asymptotic Values and Rate of Convergence

论文链接：论文链接

这篇论文指出，基于大规模数据训练分类方法相当耗费算力。因此，开发高效的程序来预测分类器是否适合执行给定任务至关重要。

作者提出了一种实用且有原则的预测方法，避免在训练集上训练性能较差的分类器的高成本过程，同时拥有坚实的理论基础。

在该工作中，作者研究了自动分类的算法，随着训练数据增加，分类器的错误率在对数曲线上呈现出一定的规律。

作者进一步得出结论：新网络的表现将优于旧网络。如果预测方法能对网络的测试误差做出定量估计，就可以决定是否应该进行三周的训练。

作者介绍：从「国宝」到「疯狂科学家」

这篇论文有五位作者：Corinna Cortes、L. D. Jackel、Sara A. Solla、Vladimir Vapnik、John S.Denker。他们都有传奇经历。

Corinna Cortes

Corinna Cortes已拥有超过10万引用！她与四作Vladimir Vapnik是经典论文《Support-vector networks》的作者。这篇论文提出了支持向量机。

她还与LeCun等人构建了著名的MNIST数据集，成为后续研究的重要基础。

Lawrence D Jackel

二作Lawrence D Jackel是贝尔实验室应用系统研究部门负责人。Yann LeCun加入该实验室后，与他合作完成多项高引用研究成果。

Sara A. Solla

Sara A. Solla是一名物理学家和神经科学家。她最高引用的论文是与Yann LeCun合著的《Optimal brain damage》。

服务器教程阿里云服务器性价比服务器