谷歌与AI：大模型与硬件的协同效应

在近期举行的Hot Chips大会上，谷歌Gemini工程副总裁Noam Shazeer发表了题为“人工智能下一阶段的预测”的演讲。自2017年发明Transformer模型以来，他已在大型语言模型（LLM）领域深耕十年。他的演讲中强调了LLM如何利用各种资源来提升性能和准确性，包括硬件。

在演讲中，Noam Shazeer突出了几个关键点。他认为语言建模是有史以来最佳的问题之一，并为此在演讲中专门设置了一张幻灯片来讨论这一理念。一个多星期过去了，他对这个话题的热情依旧令人振奋。

他接着讨论了“LLM想要什么”。这与我们常说的“核心越多越好”相呼应。他更关注FLOPS（每秒浮点运算次数）越高越好。随着参数、深度和复杂性的增加，LLM的规模会扩大，但计算量也会增加。更多优质的训练数据有助于创建更好的LLM。

他还提到，在2015年使用32块GPU进行训练是一项壮举，但十年后，规模可能达到数十万块GPU。另一个有趣的趣闻是，他在2018年表示，谷歌打造了用于人工智能的计算舱（compute pods）。这非常重要，因为在这之前，谷歌工程师通常要在上千块CPU上运行工作负载，但之后它们会放慢速度去做其他事情，比如爬取网页。拥有专门用于深度学习/人工智能工作负载的大型机器，可以实现巨大的性能提升。

让我们深入了解芯片会议上的一张关于大模型对硬件要求的幻灯片。

这张幻灯片的有趣之处在于，更高的计算能力、内存容量、内存带宽以及更高的网络带宽，对于驱动未来几代人工智能模型都至关重要。降低精度有助于更好地利用这四种资源，这在很多情况下也被视为好事。确定性有助于改进编程。

即使过了一段时间再看主题演讲，我仍然认为，演讲的核心思想是：更大、更快的集群将带来大模型（LLM）的提升。这对谷歌和其他一些公司来说可能是件好事。如果你对“感谢超级计算机！”那张幻灯片感到好奇，那是因为加速器、网络和集群规模的增长直接导致了当前的人工智能浪潮比过去在32个GPU集群上训练的模型更有用。

坦白说，我最大的收获是，一位业内杰出人物认为，更多的计算能力将带来更好的人工智能模型。看到有人对语言建模如此热情，也真是太好了。

值得注意的是，就在六个月前，黄仁勋还谈到到2028年数据中心资本支出将达到1万亿美元甚至更多。在英伟达最近的财报电话会议上，黄仁勋预计未来五年人工智能基础设施支出将达到3万亿至4万亿美元！对于一个本已庞大的市场来说，这无疑是一个惊人的增长率。这是我们一生中难得一见的淘金热。

让我们更深入地了解为什么大模型（LLM）对计算和连接能力如此渴求，以及那些似乎能提供更多、更多、更多选择的选择。新想法层出不穷。

大模型正在推动数据中心的发展

ChatGPT、Claude、Gemini、Llama和其他LLM模型是数据中心资本支出惊人增长的幕后推手。这些模型被称为基础模型，因为它们能够带来最佳效果。年度经常性收入（ARR）正在呈指数级增长。OpenAI的ARR在2025年初为每年50亿美元，到2025年中期翻了一番，达到每年100亿美元以上。Anthropic的ARR从2025年初的每年10亿美元增长了5倍，到2025年中期达到每年50亿美元。

Gemini（谷歌）和Llama（Meta）也在快速发展。它们使用大量参数，上下文窗口大小不断增长，并且KV缓存需求也在不断增长。深度研究模式要求模型“思考更长时间”以进行改进，并要求其他模型检查初步结果，以获得更彻底的分析和更准确的结果。所有这些都推动了对更多硬件的需求。

尽管复杂性和计算量大幅增加，但每个查询的成本却在下降，这推动了对更多查询的需求。

这些LLM模型虽然简单易用，但要充分发挥其潜力却并非易事。快速工程是专家们的新领域，他们能够以最高效的方式利用这些模型获得最佳结果。

最近有一篇文章提到，大型企业超过90%的人工智能实验都失败了。这并不意味着它不起作用。这意味着存在一个学习曲线，有些公司比其他公司更快地掌握了它。竞争优势将转移到快速学习者身上。

更高的PetaFlops（PFlop = 每秒 1 千万亿次浮点运算）

这是大多数人最了解的AI硬件部分——由Nvidia GPU和现在的AMD GPU提供的巨大计算能力，以及超大规模厂商制造的定制加速器。

Nvidia在最近的财报电话会议上披露，其数据中心收入的一半以上来自三家公司——可能是亚马逊AWS、谷歌云和微软。这三家公司每年购买的Nvidia GPU价值超过100亿美元。他们有能力构建自己的定制加速器。

更大的内存容量和带宽（所有层级）

当您看到AI加速器的“芯片照片”时，您总会发现GPU芯片至少两侧都带有HBM（高带宽存储器）。HBM到GPU的连接非常宽且速度非常快。如果没有HBM，GPU就会面临数据匮乏的问题。

更多网络带宽（所有层级）

人工智能数据中心中有多个网络——纵向扩展（scale up）、横向扩展（scale out），在Hot Chips上我听说了Nvidia的横向扩展网络。