CPU上跑AI，可以很“香”

作者：沈丛

随着AI大模型的参数规模不断扩大，其对算力的需求也在急剧提升。为了满足这一需求，各行各业都在积极研发和建设大规模的算力基础设施，导致多种专用AI加速芯片处于供不应求状态，不仅采购困难且成本高昂。因此，一些企业将目光转向目前最为普及的硬件产品——CPU（中央处理器）。近日，第五代英特尔至强可扩展处理器的出现，让业内再一次看到，利用CPU同样能提升AI的工作效率，在CPU上跑AI,也可以很“香”。

CPU在AI领域的新使命据了解，与训练相比，AI推理对算力资源的需求相对较小，对于一些推理任务较轻的业务或行业来说，相比专业的AI加速芯片，选择CPU更具成本效益。同时，由于CPU是目前最为普及的硬件，因此大多数企业都乐于利用部署更为广泛、基于CPU的IT基础设施和架构，避免异构平台的部署难题。在传统架构中引入AI加速，是CPU在这个时代的新使命。第五代英特尔至强可扩展处理器应运而生。该处理器的核心数量增加至64个，配备了320MB的L3缓存和128MB的L2缓存。不论单核性能还是核心数量，相比上一代处理器都有了明显提升。在相同功耗下，第五代至强可扩展处理器平均性能提升21%，内存带宽提升高达16%，三级缓存容量提升到了原来的近3倍。同时，第五代至强可扩展处理器的每个内核均具备AI加速功能，与上代相比，其训练性能提升29%，推理能力提升42%。

在AI负载处理能力方面，第五代至强可扩展处理器也有明显提升。从第四代至强可扩展处理器开始，就引入了英特尔高级矩阵扩展（英特尔AMX）作为内置AI加速引擎，这一创新使得CPU能够更高效地处理AI工作负载。五代至强中还同样内置了英特尔AVX-512指令集，配合运行速度更快的内核和速度更快的内存，进一步提升了AI性能，使得生成式AI无需独立的AI专用加速器即可执行更多工作负载。通过在自然语言处理推理方面的性能飞跃，它能更好地帮助企业支持智能助手、聊天机器人、预测性文本、语言翻译等工作负载的响应速度。采用该处理器之后，开发者能够推理和调优多达200亿参数量的大语言模型，且在运行参数量低于200亿模型的响应时延不超过100毫秒。为云服务厂商保驾护航生成式AI的爆发在给云计算产业带来全新机遇的同时，也带来了挑战。由于大模型需要庞大的算力支持，云厂商需要尽快升级数据中心算力以应对AI需求，并持续降低TCO（总拥有成本），为用户提供价格合理的算力资源。此外，AI应用开发还涉及大量隐私敏感数据的云端存储和使用，云厂商需要对已有硬件基础设施进行更新换代，以保障这些数据的安全可靠，打消用户的后顾之忧。第五代英特尔至强可扩展处理器从软硬两方面来为云服务厂商搭建良好的生态环境。在硬件方面，通过英特尔SGX/TDX解决方案为云端数据提供端到端的硬件级防护能力。在软件方面，英特尔已经在Pytorch、Tensorflow和OpenVINO工具套件的行业标准框架中提供了针对第五代至强可扩展处理器的优化，使得云厂商和用户能够以较低的门槛，快速利用如英特尔AMX等处理器功能，打通AI应用的算力瓶颈。

第五代英特尔至强可扩展处理器如同一个强大的后盾，为云服务厂商提供了坚实的算力支持。它不仅降低了运营成本，还为数据安全筑起了一道坚固的屏障。更重要的是，它优化了AI应用开发，让云服务厂商也能体会到在CPU上跑AI的“香甜”。企业开启“尝鲜”模式英特尔CEO帕特·基辛格在2023英特尔ON技术创新大会中曾表示：“在这个人工智能技术与产业数字化转型飞速发展的时代，英特尔保持高度的责任心，助力开发者，让AI技术无处不在，让AI更易触达、更可见、透明并且值得信任。”据了解，数据中心如今有70%的推理运行采用英特尔至强可扩展处理器。随着第五代至强可扩展处理器的诞生，一些企业开启了“尝鲜”模式，其产品也在AI性能方面有明显提升。11.11期间，京东云便通过基于第五代英特尔至强可扩展处理器的新一代服务器，成功应对了业务量激增，与上一代服务器相比，整机性能提升达123%，AI计算机视觉推理性能提升至138%，Llama 2推理性能提升至151%。轻松 hold 住用户访问峰值同比提高170%、智能客服咨询量超14亿次的大促压力。

基于第五代英特尔至强可扩展处理器，火山引擎第三代弹性计算实例整机算力提升了39%，应用性能最高提升了43%。在性能提升的基础上，火山引擎已通过其独有的潮汐资源并池能力，构建百万核弹性能资源池，能够以近似包月的成本提供按量使用体验，降低上云成本。使用第五代至强可扩展处理器的内置加速器时，可将每瓦性能平均提升10倍，能耗低至105W，同时还能运行针对工作负载优化的高能效SKU。

在搭载第五代英特尔至强可扩展处理器及其内置的英特尔AMX、英特尔TDX加速引擎后，阿里云打造了“生成式AI模型及数据保护”的创新实践，使第8代ECS实例在安全性和AI性能上都获得了显著提升，且保持实例价格不变，普惠客户。包括推理性能提高25%、QAT加解密性能提升20%、数据库性能提升25%，以及音视频性能提升15%。

如果将数据中心比喻为巨型计算机，那么CPU就是其“大脑”。第五代英特尔至强可扩展处理器作为“超级大脑”，对于数据中心的高效运行和AI应用的实现都起着至关重要的作用。AI落地的时代开始了，CPU的“春天”也要来了。