Akamai 发布 Akamai Cloud Inference，进一步强化其在 AI 领域的优势

与传统的超大规模基础架构相比，新服务能够帮助企业实现吞吐量提升 3 倍、延迟降低 60%，并且成本降低 86%

负责支持和保护网络生活的云服务提供商阿卡迈技术公司（Akamai Technologies, Inc.，以下简称：Akamai）今日发布 Akamai Cloud Inference。这款解决方案旨在帮助希望落地实施预测和大型语言模型 (LLM) 的企业，掀起更快、更高效的创新浪潮。为应对集中式云模型日益严重的局限性，Akamai Cloud Inference 选择在全球广泛分布的 Akamai Cloud 平台上运行。

Akamai 云技术部门首席运营官兼总经理 Adam Karon 表示：“让 AI 数据更靠近用户和设备并非易事，而这正是传统云服务所面临的难题。作为核心计算任务，大型语言模型的训练仍将依赖于大型超大规模数据中心，然而，将其付诸实践的推理环节却在网络边缘完成。为此，Akamai 在过去二十五年精心建了我们的平台，它不仅对 AI 的未来发展至关重要，也让我们拥有了与众不同的优势。”

基于 Akamai Cloud 的 AI 推理

Akamai 的全新解决方案为平台工程师和开发人员提供了切实有效的工具，让他们能够在更靠近最终用户的位置构建和运行 AI 应用程序及数据密集型工作负载，使得吞吐量提升了 3 倍，同时将延迟降低多达 2.5 倍。与传统的超大规模基础架构相比，使用 Akamai 的解决方案让企业可以将 AI 推理和 AI 智能体工作负载的成本降低多达 86%。Akamai Cloud Inference 具备以下能力：

• 计算：Akamai Cloud 提供了一个多功能计算库，不仅有用于微调推理的传统 CPU 和功能强大的 GPU 加速计算方案，还有量身定制的 ASIC VPU，可提供出色的算力来应对各种 AI 推理挑战。Akamai 与 NVIDIA 的 NVIDIA AI Enterprise 生态系统进行了整合，利用 Triton、TAO Toolkit、TensorRT 和 NVFlare 来优化 NVIDIA GPU 上 AI 推理的性能。

• 数据管理：Akamai 让客户能够利用专为现代 AI 工作负载构建的先进数据结构来充分发挥 AI 推理的潜力。Akamai 与 VAST Data 建立了合作关系，提供简化的实时数据访问以加速推理相关任务，这对于提供相关结果和迅捷体验至关重要。为了完善这一体系，Akamai 还提供了高度可扩展的对象存储，以管理对 AI 应用程序至关重要的大量、多样化数据集，并且与 Aiven 和 Milvus 等优秀的向量数据库供应商进行了整合，以实现检索增强生成 (RAG)。借助该数据管理堆栈，Akamai 能够安全地存储微调后的模型数据和训练构件，从而在全球范围内实现低延迟的 AI 推理。

• 容器化：将 AI 工作负载容器化可实现基于需求的自动扩展、提升应用程序弹性以及混合/多云可移植性，同时可以优化性能和成本。借助 Kubernetes，Akamai 能够以 PB 级性能提供更快、费用更低且更安全的 AI 推理。在 Linode Kubernetes Engine (LKE)-Enterprise（专为大规模企业工作负载设计的 Akamai Cloud Kubernetes 编排平台的全新企业版）和最近发布的 Akamai App 平台的支持下，Akamai Cloud Inference 能够快速部署由 KServe、Kubeflow 和 SpinKube 等开源 Kubernetes 项目组成的 AI 就绪型平台，这些项目经过无缝集成，可以简化 AI 推理模型的部署。

• 边缘计算：为了让开发人员更轻松地构建依托 AI 技术的应用程序，Akamai AI Inference 提供了 WebAssembly (Wasm) 功能。通过与 Fermyon 等 Wasm 提供商合作，Akamai 让开发人员能够直接从无服务器应用程序执行 LLM 推理，从而使客户能够在边缘执行轻量级代码来支持对延迟敏感的应用程序。

这些工具共同为低延迟、依托 AI 技术的应用程序打造了一个功能强大的平台，让企业能够提供其用户所需的体验。Akamai Cloud Inference 在 Akamai 的大规模分布式平台上运行，能够为数据密集型工作负载持续提供每秒超过 1PB 的吞吐量。Akamai Cloud 由全球 130 多个国家/地区超过 1,200 个网络中的 4,200 多个节点组成，可以提供从云到边缘的计算资源，同时能够提高应用程序性能和可扩展性。

从训练到推理的转变

随着 AI 应用的日益成熟，企业认识到围绕 LLM 的炒作分散了注意力，使人们不再关注更适于解决特定业务问题的实用 AI 解决方案。LLM 擅长处理总结、翻译和客户服务等通用型任务。这些都是非常大的模型，训练成本高昂且费时。很多企业发现自己受到架构和成本要求的限制，这些限制包括数据中心和计算能力的要求、结构良好、安全且可扩展的数据系统，以及位置和安全要求给决策延迟带来的挑战。轻量级 AI 模型旨在解决特定的业务问题，它们可以针对各个行业进行优化，也可以使用专有数据来创建可衡量的成果，并为当今的企业带来更好的投资回报。

AI 推理需要分布更广泛的云

Gartner 预测，到 2025 年大约百分之75的数据将在集中式数据中心或云区域之外的地方生成。这一转变使人们更加需要利用更接近数据源头进行数据生成的 AI 解决方案。这从根本上重塑了企业对基础架构的需求，因为企业不仅要构建和训练 LLM，还要利用数据做出更快、更明智的决策，并投资于更个性化的体验。企业认识到，他们可以利用 AI 来管理并改善其业务运营及流程，从而创造更多价值。分布式云和边缘架构正在成为运营智能应用场景的首选，因为它们即使在远程环境中也能为分布式资产提供实时、具备可操作性的见解。Akamai Cloud 的早期客户示例包括车载语音辅助、依托 AI 技术的作物管理、消费品市场的图像优化、虚拟服装可视化购物体验、自动产品描述生成器和客户反馈情感分析器。

Karon 解释道：“训练大型语言模型就像是绘制一张地图，你需要收集数据、分析地形并绘制路线。绘制过程缓慢并且需要大量资源，但绘制完成后，它的效果惊人。AI 推理就像是使用 GPS，可以即时应用所学到的知识、实时进行重新计算并且适应相关变化，让你成功抵达目的地。推理是 AI 的下一个前沿领域。”