利用NVIDIA Jetson Thor的先进功能提升机器人视觉能力

利用NVIDIA Jetson Thor的先进功能提升机器人视觉能力 - Blockchain.News

NVIDIA的Jetson Thor平台正在通过提高视觉感知能力改变自主机器人领域，这对于深度感知、障碍物识别和动态环境中的导航等任务至关重要。根据NVIDIA的说法，Jetson系列设备配备了强大的GPU和专用硬件加速器，以应对这些任务的计算需求。

先进的硬件加速器

Jetson平台集成了一系列专用的硬件加速器，包括可编程视觉加速器（PVA）、光流加速器（OFA）和视频及图像合成器（VIC）。这些组件旨在将特定的计算机视觉任务从GPU中卸载，从而优化性能并降低功耗。这在移动机器人中尤为有利，因为能效至关重要。

PVA是一个为图像处理优化的数字信号处理引擎，与其他系统组件异步运行。它支持用于对象跟踪和立体视差估计等任务的现成算法。同时，OFA处理光流和立体视差运算，而VIC则擅长低级图像处理任务，如重采样和降噪。

在GPU资源超额分配的情况下，例如复杂的AI工作负载，Jetson的硬件加速器特别有利。通过使用视觉编程接口（VPI）将任务分配到各个加速器上，开发人员可以实现显著的计算效率，并在实时应用中保持低延迟。

例如，DeepStream SDK可以通过在GPU和其他加速器间平衡负载，更有效地管理多个视频流。这种能力在注重热管理的工业应用中至关重要，因为它允许工作负载分配，以在热限内维持性能。

VPI框架为访问Jetson的加速器提供了统一接口，促进了复杂感知应用程序的开发。NVIDIA突出的一个例子是使用VPI创建立体视觉流水线，该流水线可以高效处理来自多个立体摄像头的数据。

实践中，这种方法允许开发低延迟的感知应用程序，这对自主系统在复杂环境中有效运行至关重要。该流水线可以处理立体视差计算和置信度映射等任务，这对3D感知至关重要。

像Boston Dynamics这样的公司正在利用NVIDIA的VPI增强其机器人系统。通过利用Jetson的专用硬件，他们可以优化其感知栈，在不同组件间平衡负载，以提高效率并缩短新开发的时间价值。

总体而言，NVIDIA在Jetson Thor平台和VPI的进步为更智能和自主的机器人解决方案铺平了道路，为开发人员提供必要的工具来创建可扩展且高效的视觉处理应用程序。

Image source: Shutterstock