让 AI “穿针引线”:在仿真中训练手术机器人

利用 NVIDIA Isaac Sim 和 NVIDIA Omniverse 开发的 ORBIT-Surgical 正在 ICRA 机器人大会上展出。

NVIDIA 与学术研究人员正在联合开发用于手术的机器人。

ORBIT-Surgical 是一个由多伦多大学、加州大学伯克利分校、苏黎世联邦理工学院、佐治亚理工学院和 NVIDIA 研究人员共同开发的机器人训练仿真框架。它所训练的机器人可以在提升手术团队技术水平的同时，减轻外科医生的认知负荷。

该框架支持十多种操作，这些操作灵感来源于腹腔镜手术（又称微创手术）训练课程，例如抓取针头等小物件、将它们从一只机械臂传递到另一只，并高度精准地放置针头等。

这个基于物理学的框架是使用 NVIDIA Isaac Sim（一个用于设计、训练和测试 AI 机器人的仿真平台）构建而成的。研究人员在 NVIDIA GPU 上训练了强化学习和仿真学习算法，并使用 NVIDIA Omniverse（一个用于开发和部署基于通用场景描述 OpenUSD 的高级 3D 应用程序和管线的平台）进行逼真的渲染。

在下面的视频中，ORBIT-Surgical 研究团队演示了如何在实验室环境中将仿真训练中的数字孪生移植到实体机器人上。该团队使用的是由机器人手术领导者 Intuitive Surgical 支持的非营利组织 Intuitive Foundation 所提供的社群支持型“达芬奇”研究套件。

AI 以一抵九

ORBIT-Surgical 的基础是 Isaac Orbit，这是一个基于 Isaac Sim 构建的模块化机器人学习框架。Orbit 支持各种用于强化学习和仿真学习的程序库，可以让 AI 智能体进行模拟真实专家示例的训练。

借助该手术框架，开发者能够利用在 NVIDIA RTX GPU 上运行的强化学习和仿真学习框架训练像“达芬奇”研究套件机器人（dVRK）这样的机器人，来操纵刚性和柔性物体。

阅读 ORBIT-Surgical 所依据的论文：

https://arxiv.org/pdf/2404.16027

进一步了解 NVIDIA 在 ICRA 上发表的论文：

https://developer.nvidia.com/blog/nvidia-presents-new-robotics-research-on-geometric-fabrics-surgical-robots-and-more-at-icra/

全文请查看：

https://mp.weixin.qq.com/s/w5mFroXm3PlkBqkJ2CKtLA