AI发展瓶颈与未来：Brockman谈基础研究回归与工程重要性

近日，OpenAI联合创始人兼总裁Greg Brockman在世界AI工程师大会上，分享了他对AI技术发展瓶颈、科研与工程关系等关键议题的看法。作为AI领域的资深专家，Brockman提出了一项重要观点：随着算力和数据规模的扩大，基础研究的重要性正在回归，算法成为未来AI发展的关键瓶颈。

对Brockman而言，这并非坏事。他坦言，整天围绕经典论文和Transformer进行研究已经有些乏味，智力上难免让人“不过瘾”。目前，强化学习已成为算法研究的新方向之一，但他也意识到，仍存在许多明显的能力缺口。

工程与科研，是驱动AI发展的两大引擎。Brockman认为，工程师的贡献与研究人员不相上下，甚至在某些方面更为重要。如果没有科研创新，就无事可做；如果没有工程能力，那些想法就无法实现。OpenAI从一开始就坚持工程与研究同等看待，两者的思维方式有所不同。对新加入OpenAI的工程师，Brockman的第一堂课便是：保持技术上的谦逊，因为在传统互联网大厂行之有效的方法，在OpenAI未必适用。

产品与科研间的资源协调，也是OpenAI时常面临的问题。为了支撑产品上线的算力需求，OpenAI不得不“抵押未来”，借调部分本应用于科研的算力。不过，Brockman认为这一取舍是值得的。

在访谈中，Brockman还回顾了自己的学术经历，从数学到编程，从哈佛转校至MIT，最终辍学加入金融科技创企Stripe。由于篇幅所限，这部分内容未在此次实录中体现。

在采访的尾声，Brockman回答了来自英伟达创始人兼CEO黄仁勋的两个问题，分别涉及未来AI基础设施的形态与开发流程的演变。

Greg Brockman的这场采访录制于今年6月，以下是部分精彩内容的整理（在不改变原意的前提下进行了一定程度的增删修改）：

工程师与研究人员同等重要

主持人：2022年你说现在是成为机器学习工程师的时候了，伟大的工程师能够在与伟大的研究人员相同的水平上为未来的进步做出贡献。这在今天还成立吗？

Greg Brockman：我认为工程师做的贡献和研究人员是相仿的，甚至更大。

一开始，OpenAI的早期团队由博士毕业的研究科学家组成，他们提出一些想法并进行测试。工程对这些研究是必不可少的。例如，AlexNet本质上是“在GPU上实现快速卷积内核”的工程。

……

部分科研算力被调给产品

主持人：我们来谈谈OpenAI最近的一些重大发布……ChatGPT发布时，仅用五天就吸引了100万用户；而ImageGen发布后，同样在五天内用户数便突破了1亿。这两个阶段相比，有哪些不同之处？

Greg Brockman：它们在很多方面都很相似。ChatGPT原本只是一次低调的研究预览……为了支撑这两次发布，我们甚至打破惯例，从研究中抽调部分计算资源用于产品上线……

AI编程向严肃软件工程转型

主持人：“氛围编程”已经成为了一种现象。你对它有什么看法？

Greg Brockman：氛围编程作为一种赋能机制，非常神奇……未来的交互会越来越多……

训练系统复杂性增加

问：我们现在执行的任务往往耗时更长、占用更多GPU……

Greg Brockman：随着模型能力的提升……你需要认真考虑如何保存状态等细节……