基于物理的ASIC：破解计算危机的新途径

人工智能（AI）需求的激增正在暴露出一个严峻的计算危机，其特点包括不可持续的能源消耗、高昂的训练成本以及传统CMOS微缩技术逼近极限。「基于物理的专用集成电路（ASIC）」提供了一种革命性的解决方案，它通过直接利用固有的物理动力学进行计算，而非强制实现理想化的数字抽象。

通过放宽传统ASIC的约束，例如无状态性、单向性、决定性和同步性，这些设备旨在作为物理过程的精确实现而运行，从而在能源效率和计算吞吐量方面实现显著提升。这种方法能够促成新颖的协同设计策略，使算法需求与物理系统固有的计算原语相吻合。

基于物理的ASIC可以加速关键的AI应用，例如扩散模型、采样、优化和神经网络推理，以及传统计算负载如材料和分子科学模拟。最终，这一愿景指向了一个异构、高度专业化的计算平台未来，它能够克服当前的扩展瓶颈，并开启计算能力和效率的新前沿。

引言：计算危机

过去十年中，AI应用的快速扩展显著增加了对计算基础设施的需求，暴露了基础硬件范式中的关键限制。支撑AI模型的基础设施从未考虑到今天的规模、复杂性或能源需求。因此，当前的计算堆栈导致了硬件系统中物理计算能力的不高效利用。

传统的扩展正面临多方面的极限：

1. AI的能源需求正在不可持续地增加，如图1(a)所示。数据中心是AI操作的核心，2023年消耗了大约200太瓦时（TWh）的电力。预测表明，到2026年，这一数字可能会增至260太瓦时，占美国总电力需求的约6%。

2. 计算成本急剧上升，集中化了访问。前沿AI模型的发展使得训练成本大幅增加，预计到2027年，最大规模的训练运行成本将超过10亿美元。

3. 随着晶体管尺寸缩小到纳米级，长期以来的扩展定律——摩尔定律和丹纳德定律——正在达到其极限。微型化效应如随机性、漏电流和可变性使得在这些尺度下实现可靠操作变得困难。

这些限制不仅妨碍了性能的提升，还揭示了更深层次的低效：今天的通用架构未能充分利用硬件本身的物理潜力。为管理复杂性而设计的抽象层如今成为了瓶颈，尤其是在能源效率和计算吞吐量方面。如果不改变计算范式，我们面临创新停滞、能源成本上升的风险。

基于物理的应用特定集成电路（ASIC）通过利用物理现象进行计算，而非压制它们，提供了一种变革性的方法。通过将硬件设计与物理系统的内在属性对齐，这些ASIC可以提高效率、降低能耗，并使AI和计算资源的获取更加普及。

什么是基于物理的ASIC？

A. 动机

如果我们想提高计算效率（例如减少能耗或缩短时间），我们可以设计更高效的算法或创建更快或更高效的硬件。尽管过去五十年左右的研究主要集中在通用计算硬件和高度抽象的软件开发策略上，但更多专用硬件如GPU成为计算领域的关键推动力。

机器学习中最流行的算法主要涉及矩阵乘法运算，GPU在这一操作上特别高效。这种趋势表明软件和硬件的协同设计是不可避免的。基于物理的ASIC的思想是将这一趋势转变为有原则的做法：它旨在从最低物理层面开始进行协同设计。

B. 定义

宽泛地说，基于物理的ASIC是依赖于系统自然物理动态来执行数据上的非平凡操作的ASIC。这个定义有些模糊；因为所有电路都是遵循物理定律的。

然而，传统的ASIC设计有意压制或抽象掉某些物理效应，以实现理想化的、符号化的计算模型。通过这样做，它依赖于一组近似。

最重要的近似之一是：

• 无状态性：在传统ASIC中，通常将内存和计算由不同位置的独立组件处理。
• 单向性：传统ASIC的基本组件被设计成在单一方向上传播信息。
• 决定性：在相同的输入和初始条件下，电路预期每次都产生相同的输出。
• 同步：传统ASIC中不同部分的信号根据一个集中的时钟相互同步。

这些属性在严格意义上是无法在物理上实现的：实际组件会表现出记忆效应、反馈、噪声和热波动。基于物理的ASIC则被设计为在不依赖这些属性（或至少不依赖其中某些属性）的情况下运作。

C. 平台

许多现有的非常规计算范式可以看作是基于物理的ASIC的例子。尽管这些不同方法之间存在多样性，但基于物理的ASIC与其他基于物理的平台的区别在于它们的可扩展性。

近年来，对非决定性ASIC（包括模拟和数字）的兴趣也在不断增长。在数字情况下，已有大量关于p比特的研究，这些比特是经历连续时间马尔可夫过程的二进制变量。

D. 性能优势的直觉

传统的ASIC会产生与确保无状态性、单向性、决定性和同步性要求相关的时间和能量成本。然而，对于特定类型的问题，通常存在一些不依赖于这些属性的算法或解决方法。

从实际角度来看，这可能表现为提高时钟频率或降低供电电压。基于物理的ASIC的一个常见特点是它们通常通过放宽上述约束来节省功率和能量成本。

设计策略

A. 自上而下 vs. 自下而上

设计基于物理的ASIC是具有挑战性的。一种策略涉及考虑自上而下与自下而上视角之间的交集。

在自上而下的方法中，从一个关键应用开始（例如图像或材料的生成AI）。然后将这个应用映射到算法空间。在自下而上的方法中，从基本的物理结构开始，然后确定可以使用这些结构高效计算的数学原语。

B. 性能指标

我们定义了以下比率来衡量算法在某些硬件上“高效”运行：

\(RT(\ell) = \frac{T_{\text{digital}}(\ell)}{T_{\text{physical}}(\ell)}, \quad RE(\ell) = \frac{E_{\text{digital}}(\ell)}{E_{\text{physical}}(\ell)}\)

目标是最大化这两个集合之间的重叠。

C. 阿姆达尔法则

阿姆达尔法则对使用ASIC所能获得的性能提升设定了限制。设x为算法运行时间T中可以在ASIC上加速的计算所占的比例。

\(\text{最大加速比} = \frac{1}{1 - x}\)

D. 算法协同设计

“物理机器学习”（PML）是一种直接在硬件层面上进行机器学习的方法。PML通常涉及一个监督学习过程，通过学习给定硬件所执行的计算来优化硬件的可调物理参数。

\(\vec{y} = f_P(\vec{x}, \vec{\theta})\)

E. 物理学习

\(\text{PML最强大的形式是同时在物理硬件中进行推理和学习}\)

应用

A. 物理启发的应用

• 人工神经网络
• 扩散模型
• 采样
• 优化

B. 基于物理的应用

• 科学模拟
• 模拟数据分析

路线图与挑战

阶段一：展示领域特定优势

• 关键应用的加速
• 能效

阶段二：构建可扩展物理基底

• 基于tile的ASIC设计
• 可重构交互项

阶段三：集成到混合系统

• 异构硬件平台
• 标准软件抽象