谷歌揭秘：AI模型能耗惊人低，Gemini查询仅相当于微波炉1秒

大模型耗电问题一直是舆论焦点，但谷歌用硬核数据为我们揭示真相。

一次Gemini查询的能耗仅为0.24wh，这相当于微波炉运行1秒，甚至低于人类放屁所排放的CO₂e，仅为0.03g，同时仅消耗约5滴水。

谷歌首席科学家Jeff Dean表示，这一数值远低于公众的预期。

这个数值明显低于公众普遍预期的水平。

谷歌等大模型厂商一直在研究如何降低AI的能耗。仅一年时间，通过模型优化和清洁能源的使用，Gemini的能耗就降低了三分之二，碳排放也减少了四分之一，同时提供了更高质量的响应。

如何衡量AI消耗能源

谷歌指出，目前许多关于AI能源消耗的计算都基于理论效率，而非大规模运行下的实际效率。

如果只考虑TPU和GPU的消耗，一次查询仅需消耗0.10wh，排放0.02g CO₂e，耗水量约0.12ml。

但谷歌认为，这种计算方式忽略了其他关键因素。Jeff Dean也指出：

人们都在思考AI是否会消耗大量能源？它是否会通过碳排放来伤害地球？

因此，谷歌开发了一套更全面的方法来计算能源消耗，包括全系统动态功率、空闲计算机、CPU和内存、数据中心开销以及数据中心用水量等。

为什么Gemini消耗这么低

谷歌表示，Gemini显著的效率提升得益于其在AI开发中采取的全栈方法，从定制硬件、高效模型到支撑这些模型运行的服务系统，每一层都融入了效率优化。

首先是更高效的模型架构，Gemini是谷歌研究人员开发的Transformer模型框架，相比之前的语言建模架构，其效率可提升10到100倍。此外，他们还融入了像MoE和混合推理等机制，进一步减少计算量和数据传输。同时，通过精准量化训练（AQT）等方法不断得到优化。

在优化推理和服务上，谷歌通过推测解码技术、蒸馏技术等不断提升AI的交付方式。此外，在硬件上采用定制化设计，如最新一代TPU Ironwood的能效比首款公开TPU高30倍。在数据中心运营方面，谷歌还持续优化冷却系统，并通过科学的流域健康评估指导冷却方式的选择。