AI大模型背后的硬核需求：算力、存储与未来展望

AI热潮下，大模型的真正渴求：是算力、存储，还是互联网络？在Hot Chips 2025大会上，Transformer的创造者之一、谷歌Gemini联合负责人Noam Shazeer为我们揭晓了答案。

一图览全球大模型！新智元十周年巨献，2025 ASI前沿趋势报告37页首发

大模型究竟需要什么？

在硅谷的科技盛会Hot Chips 2025的首日主题演讲中，谷歌DeepMind的Noam Shazeer对这一问题给出了他的见解，并发表了题为《下一阶段AI的预测》的主题演讲。

除了是Transformer论文《Attention Is All You Need》的作者之一，他还推动了如显著提升谷歌搜索中的拼写校正功能等技术创新。

早在2017年，他就发明了Transformer模型，至今已在LLM领域深耕十年。

之后，他开发了一款聊天机器人，但谷歌拒绝发布，这也促使他选择离职并创办了Character.AI。

不久之后，谷歌意识到自身短板，最终以27亿美元与Character.AI达成合作。

如今，Noam已回归谷歌，担任Gemini项目的联合负责人。

正如他所展示的，大语言模型可以借助硬件等资源的提升，不断改善性能与准确性。

AI的下一阶段：算力，还是算力

Noam Shazeer主要分享了LLM的需求、个人研究之路以及硬件与LLM的关系。

他强调了几个关键点。

首先，Noam认为语言建模是当前最重要的研究领域。

他在演讲中用一张幻灯片专门阐释了这一点，展现了他对该话题的热情。

然后他谈到了「LLM到底需要什么」(What LLMs want)。

他更关注的是：更多的FLOPS意味着更好的性能。

这非常重要，因为随着参数的增加、深度的增加、非线性以及信息流的增加，LLM的规模也随之增加。

这可能需要更多的计算资源。更多的优质训练数据也有助于创建更好的LLM。

他还谈到了2015年时，在32个GPU上训练是一件大事；但十年后，可能需要数十万个GPU。

接着是芯片会议上的一大亮点，即LLM对硬件的需求。

从这张幻灯片中，可以看到一个有趣的观点：

更多的计算能力、内存容量、内存带宽和更多的网络带宽，对于推动未来AI模型的进步都至关重要。

降低精度以帮助更好地利用这四个方面，在很多情况下也被视为好事。

大模型要什么硬件？

Noam是典型的「反向跨界者」：作为AI研究者，他对硬件充满好奇，总想知道这些机器如何运作。

AI需要的硬件支持：不止GPU

毫无疑问，算力是LLM最需要的因素。

更多算力（More FLOPs）

更大内存容量&更高内存带宽

网络带宽（Network Bandwidth）

低精度（Low Precision）与可复现性（Determinism）

运算溢出与精度损失问题

AI加速发展，人类路在何方？

未来AI的预测：失业潮与AGI的来临