LLM推理硬件：挑战、研究方向与创新机遇

近期，由Xiaoyu Ma和David Patterson合著的文章《大型语言模型推理硬件的挑战与研究方向》正式面世，引发了广泛关注。文章深入探讨了LLM推理芯片所面临的挑战及可能的解决方案。

文章正文：

大型语言模型（LLM）的推理难度极大。底层Transformer模型的自回归解码阶段使得LLM推理与训练有着本质区别。受近期人工智能趋势的影响，主要挑战在于内存和互连，而非计算能力。

为了应对这些挑战，我们重点介绍了四个架构研究方向：高带宽闪存，可提供10倍内存容量，带宽堪比HBM；近内存处理和3D内存逻辑堆叠，可实现高内存带宽；以及低延迟互连，可加速通信。尽管我们的研究重点是数据中心人工智能，但我们也探讨了这些方案在移动设备上的应用。

引言

当一位作者于1976年开始其职业生涯时，计算机体系结构会议上约40%的论文来自业界。到2025年ISCA会议时，这一比例已降至4%以下，表明研究与实践之间几乎完全脱节。为了帮助恢复二者之间的历史联系，我们提出了一些研究方向，如果这些方向得以推进，将有助于解决人工智能行业面临的一些最严峻的硬件挑战。

大型语言模型（LLM）推理正面临危机。硬件的快速发展推动了人工智能的进步。预计未来5-8年，推理芯片的年销售额将增长4-6倍。虽然训练展现了人工智能的显著突破，但推理的成本决定了其经济可行性。随着这些模型使用量的急剧增长，企业发现维护最先进的模型成本高昂。

新的趋势使推理变得更加困难。LLM的最新进展需要更多资源来进行推理，包括专家混合模型（MoE）、推理模型、多模态、长上下文以及检索增强生成（RAG）等。

不断增长的市场和LLM推理面临的挑战表明，创新既是机遇也是需求！

重新思考LLM推理硬件的四个研究机会

性能/成本指标衡量人工智能系统的效率。现代指标强调实际的性能归一化、总拥有成本(TCO)、平均功耗和二氧化碳当量排放量(CO2e)，这为系统设计提供了新的目标。

高带宽闪存：容量提升10倍

高带宽闪存(HBF)通过堆叠闪存芯片的方式，将HBM的带宽与闪存容量相结合。HBF可使每个节点的内存容量提升10倍，从而缩小系统尺寸，降低功耗、总拥有成本(TCO)、二氧化碳排放量(CO2e)和网络开销。

内存附近处理技术实现高带宽

内存附近处理（Processing-Near-Memory，PNM）技术将内存和逻辑放置在附近，但仍使用分离芯片。PNM的一种形式是3D计算逻辑堆叠。

用于高带宽的3D内存逻辑堆叠

3D堆叠采用垂直硅通孔(TSV)来实现宽而密的内存接口，从而在低功耗下实现高带宽。尽管带宽和功耗更低，3D堆叠仍面临散热、内存逻辑耦合等挑战。

低延迟互连

降低延迟和吞吐量的方向包括：更高的内存带宽、每个加速芯片更高的内存容量以及重新思考网络延迟与带宽之间的权衡。