NVIDIA 推出生成式 AI 微服务，供开发者在已安装 NVIDIA CUDA GPU 的系统中创建和部署生成式 AI 助手

• 全新由 GPU 加速的 NVIDIA NIM 微服务和云端端点目录，适用于经过优化的预训练 AI 模型，可以在云、数据中心、工作站和 PC 等数亿支持 CUDA 的 GPU 上运行

• 企业可以使用微服务来加速数据处理、大语言模型（LLM）定制、推理、检索增强生成和护栏功能

• 已被广泛的 AI 生态系统所采用，包括 Cadence、CrowdStrike、SAP、ServiceNow 等领先的应用平台提供商

NVIDIA 于今日推出数十项企业级生成式 AI 微服务，企业可以利用这些微服务在自己的平台上创建和部署定制应用，同时保留对知识产权的完整所有权和控制权。

这些云原生微服务目录在 NVIDIA CUDA® 平台上开发，其中包括 NVIDIA NIM™ 微服务，可适用于 NVIDIA 及合作伙伴生态系统中 20 多个热门的 AI 模型进行推理优化。此外，用户现能够以 NVIDIA CUDA-X 微服务的形式使用 NVIDIA 加速软件开发套件、库和工具，用于检索增强生成（RAG）、护栏、数据处理、HPC 等。NVIDIA 还发布了 20 多项医疗 NIM 和 CUDA-X 微服务。

这些精心挑选的微服务为 NVIDIA 全栈计算平台增添了新的一层，连接起了由模型开发人员、平台提供商和企业组成的 AI 生态系统，使其能够通过标准化的路径来运行针对 NVIDIA CUDA 安装基础（在云、数据中心、工作站和 PC 中的数以亿计的 GPU）优化的定制 AI 模型。

包括 Adobe、Cadence、CrowdStrike、Getty Images、SAP、ServiceNow 和 Shutterstock 在内的诸多领先应用、数据和网络安全平台提供商已经率先使用了 NVIDIA AI Enterprise 5.0 中提供的这些全新 NVIDIA 生成式 AI 微服务。

NVIDIA 创始人兼首席执行官黄仁勋表示：“成熟的企业平台坐拥数据金矿，这些数据可以转化为生成式 AI 助手。我们与合作伙伴生态系统一起创建的这些容器化 AI 微服务，是各行业企业成为 AI 公司的基石。”

NIM 推理微服务将部署时间从几周缩短至几分钟

NIM 微服务提供基于 NVIDIA 推理软件的预构建容器，包括 Triton 推理服务器™ 和 TensorRT™-LLM，使开发者能够将部署时间从几周缩短至几分钟。

它们为语言、语音和药物发现等领域提供行业标准 API，使开发者能够使用安全托管在自己的基础设施中的专有数据，来快速构建 AI 应用。这些应用可按需扩展，从而为在 NVIDIA 加速计算平台上运行生产级生成式 AI 提供灵活性和性能。

NIM 微服务为部署 NVIDIA、A121、Adept、Cohere、Getty Images 和 Shutterstock 的模型，以及谷歌、Hugging Face、Meta、微软、Mistral AI 和 Stability AI 的开放模型提供了快速且性能出色的生产级 AI 容器。

ServiceNow 于今日宣布，其正在使用 NIM 来更快、更经济地开发和部署针对特定领域的全新助手和其它生成式 AI 应用。

用户将能够从亚马逊 SageMaker、谷歌 Kubernetes Engine 和微软 Azure AI 中访问 NIM 微服务，并与 Deepset、LangChain 和 LlamaIndex 等流行的 AI 框架集成。

面向 RAG、数据处理、护栏、HPC 的 CUDA-X 微服务

CUDA-X 微服务为数据准备、定制和训练提供端到端的构建模块，助力各行各业加快开发生产级 AI。

为了加快 AI 采用，企业可以使用 CUDA-X 微服务，包括用于定制语音和翻译 AI 的 NVIDIA Riva、用于路由优化的 NVIDIA cuOpt™，以及用于高分辨率气候和天气模拟的 NVIDIA Earth-2。

NeMo Retriever™微服务可让开发者将其 AI 应用链接到业务数据，包括文本、图像以及条形图、折线图和饼图等可视化内容，以生成高度准确、与上下文相关的结果。借助这些 RAG 功能，企业可以向助手、聊天机器人和生成式 AI 生产力工具提供更多数据，从而提高准确性和洞察力。

更多用于定制模型开发的 NVIDIA NeMo™ 微服务即将陆续发布，其中包括构建用于训练和检索的简洁数据集的 NVIDIA NeMo Curator、用于利用特定领域数据微调 LLM 的 NVIDIA NeMo Customizer、用于分析 AI 模型性能的 NVIDIA NeMo Evaluator 以及用于 LLM 的 NVIDIA NeMo Guardrails。

生态系统通过生成式 AI 微服务赋能企业平台

除了领先的应用提供商外，NVIDIA 生态系统中的数据、基础设施和计算平台提供商也在使用 NVIDIA 微服务，为企业带来生成式 AI。

包括 Box、Cloudera、Cohesity、Datastax、Dropbox 和 NetApp 在内的顶级数据平台提供商正在使用 NVIDIA 微服务，帮助客户优化 RAG 管道，并将专有数据集成到生成式 AI 应用中。Snowflake 正在使用 NeMo Retriever，充分利用企业数据来构建 AI 应用。

企业可以在自己选择的基础设施上部署 NVIDIA AI Enterprise 5.0 中的 NVIDIA 微服务，例如领先的亚马逊云科技（AWS）、谷歌云、Azure 和 Oracle Cloud Infrastructure 等云平台。

超过 400 个 NVIDIA 认证系统也支持 NVIDIA 微服务，包括思科、戴尔科技、慧与（HPE）、惠普、联想和超微的服务器和工作站。此外，慧与于今日宣布推出面向生成式 AI 的企业计算解决方案，计划将 NIM 和 NVIDIA AI Foundation 模型集成到其 AI 软件中。

NVIDIA AI Enterprise 微服务即将入驻基础设施软件平台，包括与 NVIDIA 合作的 VMware Private AI Foundation。红帽 OpenShift 支持 NVIDIA NIM 微服务，帮助企业更轻松地将生成式 AI 功能集成到自己的应用中，同时优化了安全性、合规性和控制功能。Canonical 也正在通过 NVIDIA AI Enterprise 为 NVIDIA 微服务添加 Charmed Kubernetes 支持。

NVIDIA 生态系统由数百家 AI 和 MLOps 合作伙伴组成，包括 Abridge、Anyscale、Dataiku、DataRobot、Glean、H2O.ai、Securiti AI、Scale.ai、OctoAI 和 Weights & Biases，它们将通过 NVIDIA AI Enterprise 来支持 NVIDIA 微服务。

Apache Lucene、Datastax、Faiss、Kinetica、Milvus、Redis 和 Weaviate 等向量搜索提供商也在使用 NVIDIA NeMo Retriever 微服务，为企业提供快速响应的 RAG 功能。

可用性

开发者可以在 ai.nvidia.com 免费试用 NVIDIA 微服务。企业则可以在 NVIDIA 认证系统和领先的云平台上使用 NVIDIA AI Enterprise 5.0 部署生产级 NIM 微服务。

如需了解更多信息，请观看黄仁勋 GTC 主题演讲重播，并于 GTC 期间在圣何塞会议中心参观 NVIDIA 展台。

关于 NVIDIA

自 1993 年成立以来，NVIDIA (纳斯达克: NVDA) 一直是加速计算领域的先驱。NVIDIA 在 1999 年发明的 GPU 驱动了 PC 游戏市场的增长，并重新定义了现代计算机图形，开启了现代 AI 时代，正在推动跨市场的工业数字化。NVIDIA 现在是一家全栈计算基础设施公司，其数据中心规模的解决方案正在重塑整个行业。更多信息，请访问 https://nvidianews.nvidia.com/。