NVIDIA通过AI驱动的仿真和数字孪生技术推动外科机器人技术进步
realtime news Oct 15, 2024 04:24
NVIDIA通过AI驱动的仿真和数字孪生技术提升外科机器人，旨在改善手术效果和普及医疗保健的可及性。
结合机器人手术助手（RSA）进入手术室有望彻底改变医疗程序，为外科医生和患者带来重大益处。根据NVIDIA技术博客，这些通过受训外科医生远程操作的机器人平台提供了增强的灵活性，可能简化工作流程并减少外科医生的工作负荷。NVIDIA的最新研究深入探讨了视觉行为克隆，以进一步提升机器人辅助手术的能力。
创新的手术辅助框架
NVIDIA推出了两种新颖的框架：Surgical First Interactive Autonomy Assistant (SuFIA)及其变体SuFIA-BC，后者结合了行为克隆技术。SuFIA利用自然语言指导和大型语言模型（LLM）进行高水平规划，而SuFIA-BC通过行为克隆提高精确性和灵活性。这些框架利用了LLM和行为克隆的最新进展，专为满足手术环境中的独特挑战而定制。
本研究的总体目标是加速外科机器人助手的发展，从而减少外科医生的疲劳，提高患者安全，并普及获得高质量医疗保健的机会。SuFIA和SuFIA-BC已在模拟和实际环境中的各种外科子任务中得到了验证，展示了其变革手术实践的潜力。
逼真的训练环境
研究通过NVIDIA Omniverse进一步增强了ORBIT-Surgical框架，创建了一个逼真的训练环境，具有解剖学准确的模型和高保真渲染。ORBIT-Surgical是一个开放模拟框架，支持外科增强灵活性的学习。它利用Isaac Lab，一个用于机器人学习的模块化框架，基于Isaac Sim，提供强化和模仿学习库。
手术中的数字孪生技术
NVIDIA的数字孪生工作流生成高质量合成数据，这对培训和评估复杂外科任务中的模型至关重要。这涉及从CT数据创建逼真的解剖模型，然后用于开发行为克隆模型。研究探索了各种视觉观测方式，包括RGB图像和点云数据。
策略学习与专家演示
评估了五个基本的外科子任务：组织牵引、针头抬升、针头交接、缝合垫穿线和块转移。结果表明，点云模型在空间任务中表现出色，而基于RGB的模型在颜色提示至关重要的情况下表现更佳。研究还强调了样本效率的重要性以及架构在用较少的演示训练模型中的作用。
此外，还评估了模型对相机视角变化的鲁棒性，点云模型表现出更强的弹性，表明其在实际手术环境中部署的潜力。
结论
本研究为外科机器人技术开辟了新途径，提供了开源资源供进一步探索。利用这些资产，研究人员可以推进外科机器人技术，尝试学习方法，并开发复杂程序的解决方案。鼓励社区在此基础上构建，以增强机器人辅助手术。
Image source: Shutterstock