生成式 AI 通过 NVIDIA Isaac 平台提高机器人的智能化水平

波士顿动力公司、Collaborative Robotics、Covariant、Sanctuary AI、宇树科技等企业正在将 LLM 应用于机器人领域

生成式 AI 正在重塑价值数万亿美元的产业。NVIDIA 作为智能机器人领域的领跑者，正在抓住这一机遇。

今日，NVIDIA 机器人和边缘计算副总裁 Deepu Talla 在 CES 上的特别演讲中，详细介绍了 NVIDIA 及合作伙伴是如何将生成式 AI 与机器人技术相结合的。

这一切都是水到渠成，有越来越多的合作伙伴正在使用由 GPU 加速的大语言模型，为各类机器带来前所未有的智能和适应能力，这些合作伙伴包括波士顿动力公司、Collaborative Robotics、Covariant、Sanctuary AI、宇树科技等。

现在正是一个千载难逢的好时机。

Talla 表示：“由 AI 驱动的自主机器人越来越多地应用于提高效率、降低成本和解决劳动力短缺问题。”

共创变革

从一开始，NVIDIA 就一直是这场生成式 AI 变革的核心。

十年前，NVIDIA 创始人兼首席执行官黄仁勋亲手将第一台 NVIDIA DGX AI 超级计算机交付给 OpenAI。如今，得益于 OpenAI 的 ChatGPT，生成式 AI 已成为当代发展最快的技术之一。

而这一切才刚刚开始。

Talla 预测，生成式 AI 的影响将超越文本和图像生成，进入到家庭和办公室、农场和工厂、医院和实验室中。

其关键在于，类似于人类大脑语言中心的大语言模型（LLM），使机器人能够更自然地理解和响应人类指令。

这些机器能够不断地向人类、彼此和周围的世界学习。

Talla 表示：“鉴于这些特性，生成式 AI 非常适合用于机器人技术。”

机器人如何使用生成式 AI

Agility Robotics、NTT 和其他公司正在将生成式 AI 整合到他们的机器人中，以帮助理解文本或语音命令。追觅科技的机器人吸尘器，正在由生成式 AI 模型创建的模拟生活空间中接受训练。同时，Electric Sheep 也正在开发一种自动割草的全球范式。

NVIDIA Isaac 和 Jetson 平台等 NVIDIA 技术能够为 AI 机器人的开发和部署提供助力，被超过 120 万名开发人员和 10,000 名客户和合作伙伴所依赖。

其中的许多企业都参加了本周的 CES，包括亚德诺半导体、Aurora Labs、Canonical、追觅创新科技、DriveU、e-con Systems 、Ecotron、Enchanted Tools、GlüxKind、禾赛科技、Leopard Imaging、九号公司（未岚大陆（北京）科技有限公司）、Nodar、奥比中光、QT Group、速腾聚创、Spartan Radar、TDK、Telit、宇树科技、Voyant Photonics 和一径科技等。

双机胜于单机

为了展示该模式的运作方式，Talla 在演讲中展示了将 AI 部署到机器人技术中所必需的双计算机模型（如下），展现出 NVIDIA 在 AI 开发和应用方面的全面性。

第一台计算机被称为“AI 工厂”，是创建和不断改进 AI 模型的核心。

AI 工厂使用了 NVIDIA 数据中心计算基础设施以及 NVIDIA AI 和 NVIDIA Omniverse平台，可以仿真和训练 AI 模型。

第二台计算机代表机器人的运行环境。

运行环境根据应用的不同而有所变化，比如可以是云或数据中心；对于半导体制造中的缺陷检测等任务则是本地服务器；配备多个传感器和摄像头的自主机器也可能成为运行环境。

生成高质量资产和场景

Talla 还重点介绍了 LLM 在打破技术壁垒方面的作用。LLM 可以将普通用户变成技术艺术家，能够创建复杂机器人工作单元或整个仓库仿真。

借助 NVIDIA Picasso 等生成式 AI 工具，用户可以根据简单的文字提示来生成逼真的 3D 资产，并将其添加到数字场景中，以实现动态、全面的机器人训练环境。

这一功能还可扩展到在 Omniverse 中创建多样化且符合物理学的场景，从而加强机器人的测试和训练，保证机器人在现实世界中的适用性。

这与生成式 AI 在重新构建机器人部署方式上的变革潜力不谋而合。

以前的机器人是为特定任务而专门制造的，而根据不同任务来修改机器人十分耗时。

Talla 还解释道，LLM 和视觉语言模型领域的进步正在消除这一瓶颈，使我们能够通过自然语言与机器人进行更直观的交互。

这种适应性强、能感知周围环境的机器将很快遍布世界各地。

如需了解更多信息，请参加CES 线上大会并观看 Talla 的完整演讲。

关于NVIDIA

自1993年成立以来，NVIDIA (NASDAQ: NVDA) 一直是加速计算领域的先驱。NVIDIA 1999 年发明的 GPU 驱动了 PC 游戏市场的增长，并重新定义了现代计算机图形，开启了现代 AI 时代，正在推动跨市场的工业数字化。NVIDIA 现在是一家全栈计算公司，其数据中心规模的解决方案     正在重塑整个行业。更多信息，请访问https://nvidianews.nvidia.com/。