NVIDIA Isaac ROS 5.0 推进智能体与开源机器人开发

为了构建和部署能够在动态环境中感知、推理和行动的复杂机器人应用，开发人员需要新的物理 AI 模型和工具。

ROS 开放框架是 Open Robotics 的一个项目，旨在帮助人类构建机器人。今天，在加拿大多伦多举行的 ROSCon 大会上发布的 NVIDIA Isaac ROS 5.0（一套基于 ROS 构建的 GPU 加速软件包集合）能够帮助人类与 AI 智能体协同构建机器人。

此次发布引入了新的智能体工作流和平台支持，帮助开发人员更快地构建、定制和部署机器人应用。

ROS 为现代机器人开发的大部分领域提供了开源基础，为开发人员提供了构建和连接机器人应用的通用工具、库和标准。

NVIDIA Isaac ROS 将 NVIDIA 加速计算、物理 AI 模型和生产就绪库带给近 130 万 ROS 用户，帮助开发人员使用免费、熟悉且开源的工具构建高性能机器人应用。

将 AI 智能体引入机器人开发

AI 智能体正在改变软件的构建方式，帮助开发人员自动化重复性任务、驾驭复杂的代码库，并更快地从想法转化为可运行的应用。Isaac ROS 5.0 将这些能力引入机器人开发领域。

Isaac ROS 5.0 引入了对 ROS Lyrical 和 Ubuntu 24.04 的支持，为开发人员提供了一条采用最新 ROS 平台的路径，同时继续利用 NVIDIA 加速计算来加速要求苛刻的机器人工作负载。NVIDIA 与 Open Source Robotics Alliance 合作，向 ROS Lyrical 贡献了一个标准数据处理接口，帮助机器人软件在不同的计算硬件（包括 GPU）上高效运行。

该接口面向整个 ROS 社区开放，为开发人员提供了一种加速高要求机器人应用的一致方法，其中 CUDA 提供了 GPU 加速的实际示例。

新的 NVIDIA Isaac 设置和操作技能提供了可重用的工作流，供开发人员和 AI 智能体用于完成机器人开发任务。智能体就绪的文档也使 AI 智能体更容易理解 Isaac ROS 工具和工作流，从而更快地将开发人员的意图转化为可运行的应用。

有些技能超越了协助单独编码任务的范畴。全新的 FoundationStereo 微调技能使 AI 智能体能够帮助将立体感知模型适配到开发人员的摄像头、环境和机器人应用中，从而使开发人员能够轻松地为特定传感器配置实现更精准的感知。

FoundationPose 是一种用于物体姿态估计和跟踪的基础模型，现在提供了一个智能体就绪的推理库，使机器人能够以高达 5.5 倍的速度感知和跟踪物体的位置及方向。

此外，“抓取与放置”（pick and place）——一种连接检测、深度估计和姿态输出的常见工作流——现已作为一项独立的、智能体就绪的技能提供，为机器人开发人员提供了超越 Isaac ROS 本身的更多灵活性。

加速开源机器人生态系统

机器人生态系统已经将这种智能体驱动的方法扩展到开发工作流中。

AgenticROS 是由 3D 感知技术公司 RealSense 赞助的一个开源项目，它将 Isaac ROS 与 NVIDIA Nemotron 开放模型及 NVIDIA NemoClaw 蓝图相连，使 AI 智能体能够与基于 ROS 的机器人进行交互。RealSense 还在优化其最新的 AI 原生 3D 立体深度相机（包括 RealSense D585 Pro），并提供针对 Isaac ROS 和 NVIDIA Jetson Thor 边缘 AI 平台的开源软件开发套件，帮助开发人员构建感知、导航和操作应用。

Intrinsic 的Open Machine Tending Solution（开放式机床上下料解决方案）是计算机数控机床上下料的参考应用，属于新发布的 Intrinsic Core 的一部分。Intrinsic Core 是一套开源的预配置运行时服务和功能套件，旨在加速工业机器人应用的开发。该解决方案内置了对 NVIDIA FoundationPose 的兼容性，支持开箱即用的物体注册、跟踪和姿态估计。利用 FoundationPose 感知流水线，该解决方案使机器人能够动态检测和处理零件，同时减少了对刚性、昂贵的物理夹具和专业系统集成的需求。

Intrinsic 在其 Open Machine Tending Solution 中使用 FoundationPose 执行无缝物体感知。

Seeed Studio 正在将 NVIDIA Isaac ROS 与 reBot Arm 结合使用，在 NVIDIA Jetson Thor 上融合加速感知、空间理解和运动规划。这一集成为开发人员提供了一个实用的平台，用于构建适应性强的物理 AI 应用，涵盖从物体定位到防碰撞操作以及自主抓取与放置等功能。

曼格纳国际（Magna）正在使用 NVIDIA Isaac ROS 作为模块化、GPU 加速的机器人感知、同步数据收集和 NVIDIA Isaac GR00T 模型部署的基础，并将其与 Isaac Sim 硬件在环测试相结合，从而以更快的速度和更低的风险将智能自动化从研究阶段推向现实世界的制造和移动领域。

曼格纳国际将 Isaac ROS 与 Isaac Sim 配对，进行硬件在环测试以实现更快的部署。

Prefix.dev 的 Pixi 包管理工具使创建可复现的机器人开发环境变得更加容易，它将 ROS 与 NVIDIA CUDA 平台结合在一起，帮助开发人员更轻松地设置和共享加速机器人工作流。

作为 Isaac ROS 合作伙伴，Foxglove 通过其 Web 和桌面工具帮助开发人员可视化和调试实时 ROS 应用，这些工具已集成到整个 Isaac ROS 教程中，并支持 3D 主题、nvblox 网格和 rosbags 等数据。

Flexiv 正在将其 Rizon 4 自适应机器人与 Isaac ROS 集成，使开发人员能够访问 NVIDIA 加速的机器人功能，并提供一条从在 NVIDIA Isaac Sim 中测试应用到在物理机器人上部署应用的简化路径。

一款使用 Isaac ROS 和 Isaac Sim 开发的 Flexiv 机器人作为焊接臂部署在汽车工厂中。

Grid Dynamics 旗下公司 Ekumen 正在现有的 ROS 和 Nav2 堆栈中使用 GPU 加速的 Isaac ROS 软件包，以提高精准对接、3D 障碍物检测、视觉定位和实时运动规划的性能，并在 Isaac Sim 中验证每个应用。

Ekumen 在 GPU 上使用 isaac_ros_cumotion，在大约 2 到 5 毫秒内为仓库机械臂映射出一条无碰撞路径。

Ouster 将其 Stereolabs ZED 立体相机与 NVIDIA Isaac ROS 集成，为机器人应用提供 GPU 加速的感知能力。该集成简化了实时物体检测、建图和导航的开发，同时保持了与更广泛 ROS 生态系统的互操作性。

将完整的物理 AI 堆栈引入机器人

开发人员和智能体构建的应用最终需要在机器人上运行。

NVIDIA Jetson 是一个可扩展的计算平台，用于在边缘以实时性能运行物理 AI 堆栈，将 ROS、加速感知与导航、AI 模型和应用逻辑整合在机器人上。

Isaac ROS 5.0 支持可扩展的计算能力，范围从入门级的 NVIDIA Jetson Orin Nano 到高性能的 Jetson Thor 设备，随着机器人工作负载日益复杂，为开发人员提供了从开发到部署的路径。

机器人公司已经在利用这种组合，将更多的 AI 处理直接嵌入到他们的机器中。

Mentee Robotics 使用 NVIDIA Isaac ROS 作为其 MenteeBot 人形机器人的感知和 AI 核心，使机器人能够实时解释视觉信息并执行习得的行为。基于 NVIDIA Jetson Orin 和 Jetson Thor 平台的共享软件基础，帮助 Mentee 将其创新从现有机器人扩展到下一代系统。

MenteeBot 人形机器人使用 Isaac ROS 跨 Jetson 硬件平台扩展其感知能力。

Universal Robots 已将 NVIDIA Isaac ROS 纳入其 AI Accelerator 软件开发套件，以帮助集成商更快地部署先进的感知和运动功能，而无需从头开发复杂的机器人软件。该解决方案由边缘端的 NVIDIA Jetson 驱动，使机器人能够适应未精确定位的零件，减少对昂贵夹具的依赖，并使制造单元更加灵活。

构建开发者友好的基于 ROS 的 TurtleBot3 的 ROBOTIS 正在将其 AI Worker 机器人与 Isaac ROS 集成，利用 GPU 加速的物体感知来实现包括抓取、放置和对齐在内的视觉引导操作任务。

ROBOTIS 使用 NVIDIA Isaac ROS CuMotion 执行物体操作任务。

FieldAI 的机器人基础模型可以完全在机器人上运行，无需依赖云连接，目前正在 Jetson 设备上集成 Isaac ROS，以充分利用 GPU 加速并提高机器人端 AI 堆栈的效率。

Noble Machines 正在 Jetson 上使用 NVIDIA Isaac ROS 加速面向工业应用的通用机器人的开发，基于现成的 AI 和感知能力进行构建，而非从头创建。

通过结合开放的机器人生态系统、加速计算和新的智能体开发工作流，Isaac ROS 5.0 帮助开发人员应对物理 AI 挑战的两个方面：构建功能日益强大的机器人应用，并在物理世界中高效运行它们。

Isaac ROS 5.0 现已推出，免费且开源。开发人员可以在 GitHub 上了解更多信息并开始使用 NVIDIA Isaac ROS。