关键词:ARMNeoverseAWS Graviton4 处理器AWS
时间:2024-12-13 13:06:17 来源:互联网
“随着人工智能 (AI) 技术的迅猛发展,云计算领域正在经历显著变革。愈发复杂的 AI 应用对计算解决方案的性能、效率和成本效益提出了更高要求。在云端部署工作负载的客户正在重新评估其所需的基础设施,以满足现代工作负载需求,其中不仅包括提高性能和降低成本,还涵盖了需符合监管要求或可持续发展目标的新能效基准。
”随着人工智能 (AI) 技术的迅猛发展,云计算领域正在经历显著变革。愈发复杂的 AI 应用对计算解决方案的性能、效率和成本效益提出了更高要求。在云端部署工作负载的客户正在重新评估其所需的基础设施,以满足现代工作负载需求,其中不仅包括提高性能和降低成本,还涵盖了需符合监管要求或可持续发展目标的新能效基准。
Arm 与亚马逊云科技 (AWS) 长期合作,为实现性能更强劲、更高效和可持续的云计算提供专用芯片和计算技术。在近期举行的 AWS re:Invent 2024 大会上,AWS 进一步展示了 AWS Graviton4 所取得的显著进展,使开发者和企业能够充分发挥其云工作负载的性能潜力。
卓越的性能表现
相较于上一代 Graviton3 处理器,基于 Arm Neoverse V2 平台的 AWS Graviton4 处理器在计算性能上提升了 30%,核心数增加了 50%,内存带宽提高了 75%。凭借这些技术优势,AWS Graviton 处理器在生态系统和客户群体中得到了广泛应用。
Arm Neoverse V2 平台涵盖 Armv9 架构的新特性,包括高性能浮点和向量指令支持,以及 SVE/SVE2、Bfloat16 和 INT8 MatMul 等特性。这些特性为 AI/机器学习 (ML) 以及高性能计算 (HPC) 工作负载提供了卓越性能。
AI/ML 工作负载
今年早些时候,Arm 与主流的 AI 框架和软件生态系统合作,推出了 Arm Kleidi 软件,以确保 Arm 平台上开机即用的推理性能优化能惠及整个 ML 栈,开发者无需掌握额外的 Arm 专业知识即可构建其工作负载,从而进一步推动 AI 工作负载的广泛应用。此前,Arm 已展示了 PyTorch 中的这些优化如何赋能 AWS Graviton4 上运行大语言模型 (LLM),如 Llama 3 70B 和 Llama 3.1 8B,并显著改善了每秒生成词元 (token) 数和词元首次响应时间的表现指标。
HPC 和 EDA 工作负载
对于 HPC 工作负载,Graviton4 相较于 Graviton3E 在功能上实现了显著提升。每个核心的主内存带宽增加了 16%,每个 vCPU 的 L2 缓存容量翻倍。这些改进对于 HPC 应用的性能至关重要,因为 HPC应用通常受限于内存带宽。AWS 已经在这些领域取得了显著优势,如下所示。
根据 Arm 工程团队实际运行 EDA 工作负载所得出的结果,Graviton4 提供的 RTL 仿真工作负载性能比 Graviton3 高出 37%。
图:AWS Graviton4 上的 HPC 和 EDA 工作负载优势
生态系统广泛采用
近年来,随着云计算用户将各种云工作负载部署在 AWS Graviton 处理器上,其软件生态系统持续扩展。如此一来,客户不仅节省了费用,收获了性能的提升,还能优化其碳足迹和可持续发展足迹。以下是部分示例:
图:采用基于 Arm Neoverse 的 AWS Graviton3 所取得的生态优势
着手利用 Graviton 的强大性能
Arm 将在云计算的未来中发挥关键作用,并将继续支持 AWS Graviton 立于技术创新的前沿。Arm 将继续投入并进一步强化软件生态系统,从而使开发者能够更加轻松地在 Arm 平台上构建其应用,并充分利用 Arm 计算平台所提供的卓越性能和效率优势。
分享到:
猜你喜欢