AMD Victor Peng：AI对电力的渴求凸显3D堆叠封装的重要性

作者：Julian

摩尔定律可能已经显现疲态，但仍有调整空间和操作余地

在本周召开的Hot Chips大会上，AMD总裁Victor Peng探讨了半导体行业面临的一个重大挑战，即应对日益增长的AI模型需求所带来的电力问题。

他指出：“如果从宏观角度来看，对于那些大规模的部署，我们甚至可能面临无法找到足够的电力资源，以及对电网和配电的担忧。”

过去一年中，AI对电力的近乎无止境的需求引起了广泛关注，以至于有些运营商开始在核电站旁边设立数据中心。并且，这个问题不会变得更容易解决。

他表示：“事实证明……如果你增加计算能力，扩大模型规模，你将获得更好的性能、精度和智能水平，不管你如何看待这些。”他指出，这些模型的电力需求已迅速从数百兆瓦时增加到数百吉瓦时。

为应对这一挑战，Victor认为，半导体行业需要更加关注如何使基础设施不仅更高效而且性能更强。

他解释说：“无论你认为你的电力预算有多大限制，如果你获得更高的性能，你可以更快地训练更大规模的模型，或者以更经济的方式提供服务。”

不幸的是，芯片制造商和设计者们过去依赖的许多调整手段已经难以为继。工艺技术的改进变得越来越小，而每一代之间的时间变得更长，成本也越来越高。

Victor认为，业界认为摩尔定律依然有效的原因在于，许多这些挑战可以通过转向芯粒架构和先进封装技术来克服。这是AMD一直引领的领域，可以追溯到2017年其首代Epyc处理器的发布。


根据 AMD 的数据，3D 堆叠硅片虽然更复杂，但其效率是分立方案的 50 倍。

通过采用3D堆叠硅片技术——如我们在AMD的X系列Epyc处理器、Ryzen处理器以及MI300系列GPU和APU中所见——Victor认为，与分立方案相比，这可以实现每焦耳能源消耗下50倍的更高位处理能力。

当你开始考虑扩展计算规模时，这一点变得尤为重要——这是当今数据中心中AI训练和大型模型推理中非常常见的需求。

根据AMD的数据，与将一切保持在芯片上相比，扩展计算系统——如基于NVLink或Infinity Fabric的GPU网络——需要1600倍的功率。而要跨多个节点扩展计算，还需要更多的电力，这部分电力主要消耗在较慢的互连设备的低效性，以及运行所有交换机、网络接口卡（NIC）和光纤所需的电力上。


即使使用像Infinity Fabric这样快速的互连结构，3D堆叠封装芯片的成本依然非常巨大。

Victor表示，网络仍然是提高数据中心效率的一个机会。虽然计算占据了电力消耗的大部分，但网络大约占据了其中的20%。

在这里，他指出了可能帮助的扩展网络架构，并提到用于连接AMD MI300X系统中的八个GPU的Infinity Fabric。竞争对手Nvidia已经展示了使用NVLink连接多达32个GPU的系统，并计划推出密度更高的36和72个GPU配置。

然而，AI的电力问题并不仅限于数据中心。它还扩展到客户端和嵌入式应用场景中——只不过这里所讨论的不是几千瓦特，而是几十瓦或更少。而且，每个领域除了电力以外，还有不同的需求——如延迟——需要考虑。

在这些领域，Victor认为，异构计算的合理应用提供了一条前进的道路。自AMD在2022年收购Xilinx和Pensando以来，其硬件产品线涵盖了CPU、GPU、DPU、FPGA和NPU。最近，我们开始看到这些技术集成到移动芯片中，使得AI处理的能耗进一步降低。

最新的例子是AMD的Strix Point Ryzen 300系列处理器，配备了XDNA 2 NPU，能够实现50 TOPS的INT8和Block FP16性能。竞争对手Intel、Qualcomm和Apple也出于同样的原因采用了NPU。

• AI/ML的未来取决于当下的现实——而这并不乐观

• 谷歌训练了一个生成AI模型来模拟《毁灭战士》的游戏引擎，几乎接近实时

• 埃隆·马斯克收紧了Grok AI机器人的管理，以阻止选举虚假信息

• 计算机行业的失误——早期的打击

Victor还提到量化在无论是部署AI模型在数据中心还是在边缘计算中都很重要。量化是一种压缩技术，用于将模型权重缩减到较低精度，以换取一些质量损失。


如果你能接受精度的损失，量化可以带来相当大的效率提升。

AMD已经在MI300X中采用了FP8，并计划明年推出MI350X时支持4位浮点数据类型。正如Victor的主题演讲所强调的那样，为了更高的性能功耗比，这种精度的权衡往往是值得的。

与此同时，在嵌入式领域，Victor建议可以直接将模型映射到硅片上，以优化数据流。在一次内部测试中，AMD的技术人员能够将每次推理的能量消耗减少4500倍，相比标准的INT8计算。

最后，Victor强调了软件优化、协同设计和合作的重要性，以释放硬件的全部性能。在他决定本月底退休之前，Victor在这一领域做出了重大贡献。