英特尔披露至强6处理器针对Meta Llama 3模型的推理性能

近日，Meta重磅推出其80亿和700亿参数的Meta Llama 3开源大模型。该模型引入了改进推理等新功能和更多的模型尺寸，并采用全新标记器（Tokenizer），旨在提升编码语言效率并提高模型性能。

在模型发布的第一时间，英特尔即验证了Llama 3能够在包括英特尔^®至强^®处理器在内的丰富AI产品组合上运行，并披露了即将发布的英特尔至强6性能核处理器（代号为Granite Rapids）针对Meta Llama 3模型的推理性能。

英特尔至强处理器可以满足要求严苛的端到端AI工作负载的需求。以第五代至强处理器为例，每个核心均内置了AMX加速引擎，能够提供出色的AI推理和训练性能。截至目前，该处理器已被众多主流云服务商所采用。不仅如此，至强处理器在进行通用计算时，能够提供更低时延，并能同时处理多种工作负载。

事实上，英特尔一直在持续优化至强平台的大模型推理性能。例如，相较于Llama 2模型的软件，PyTorch及英特尔^® PyTorch扩展包（Intel^® Extension for PyTorch）的延迟降低了5倍。这一优化是通过Paged Attention算法和张量并行实现的，这是因为其能够最大化可用算力及内存带宽。下图展示了80亿参数的Meta Lama 3模型在AWS m7i.metal-48x实例上的推理性能，该实例基于第四代英特尔至强可扩展处理器。

图1：AWS实例上Llama 3的下一个Token延迟

不仅如此，英特尔还首次披露了即将发布的产品——英特尔^®至强^® 6性能核处理器（代号为Granite Rapids）针对Meta Llama 3的性能测试。结果显示，与第四代至强处理器相比，英特尔至强6处理器在80亿参数的Llama 3推理模型的延迟降低了2倍，并且能够以低于100毫秒的token延迟，在单个双路服务器上运行诸如700亿参数的Llama 3这种更大参数的推理模型。

图2：基于英特尔^®至强^® 6性能核处理器（代号Granite Rapids）的Llama 3下一个Token延迟

考虑到Llama 3具备更高效的编码语言标记器（Tokenizer），测试采用了随机选择的prompt对Llama 3和Llama 2进行快速比较。在prompt相同的情况下，Llama 3所标记的token数量相较Llama 2减少18%。因此，即使80亿参数的Llama 3模型比70亿参数的Llama 2模型参数更高，在AWS m7i.metal-48xl实例上运行BF16推理时，整体prompt的推理时延几乎相同（该评估中，Llama 3比Llama 2快1.04倍）。

开发者可在此查阅在英特尔至强平台上运行Llama 3的说明。

产品和性能信息

英特尔至强处理器：

在英特尔^®至强^® 6处理器（此前代号Granite Rapids）上进行测试，使用2个英特尔^®至强^® Platinum，120核，超线程开启，睿频开启，NUMA 6，集成加速器可用[已使用]：DLB[8]，DSA[8]，IAA[8]，QAT[8]，总内存1536GB（24x64GB DDR5 8800 MT/s[8800 MT/s]），BIOS BHSDCRB1.IPC.0031.D44.2403292312，微码0x810001d0，1x以太网控制器I210千兆网络连接1x SSK存储953.9G，Red Hat Enterprise Linux 9.2（Plow），6.2.0-gn r.bkc.6.2.4.15.28.x86_64，基于英特尔2024年4月17日的测试。

在第四代英特尔^®至强^®可扩展处理器（此前代号Sapphire Rapids）上进行测试，使用AWS m7i.metal-48xl实例，2个英特尔^®至强^® Platinum 8488C，48核，超线程开启，睿频开启，NUMA 2，集成加速器可用[已使用]：DLB[8]，DSA[8]，IAA[8]，QAT[8]，总内存768GB（16x32GB DDR5 4800 MT/s[4400 MT/s]）；（16x16GB DDR5 4800 MT/s[4400 MT/s]），BIOS亚马逊EC2，微码0x2b0000590，1x以太网控制器弹性网络适配器（ENA）亚马逊弹性块存储（EBS）256G，Ubuntu 22.04.4 LTS，6.5.0-1016-ws，基于英特尔2024年4月17日的测试。

关于英特尔

英特尔（NASDAQ: INTC）作为行业引领者，创造改变世界的技术，推动全球进步并让生活丰富多彩。在摩尔定律的启迪下，我们不断致力于推进半导体设计与制造，帮助我们的客户应对最重大的挑战。通过将智能融入云、网络、边缘和各种计算设备，我们释放数据潜能，助力商业和社会变得更美好。如需了解英特尔创新的更多信息，请访问英特尔中国新闻中心intel.cn/content/www/cn/zh/newsroom以及官方网站intel.cn。