NVIDIA推出fVDB框架以增强数字世界模型
realtime news Jul 30, 2024 08:19
NVIDIA推出fVDB，这是一款深度学习框架，用于创建AI就绪的虚拟表示，提升自动驾驶、气候科学和智慧城市等应用。
NVIDIA宣布推出fVDB，这是一款深度学习框架，旨在生成现实世界的AI就绪虚拟表示。据NVIDIA博客报道，这一消息是在SIGGRAPH——一个重要的计算机图形和互动技术会议上公布的。
革新数字表示
fVDB建立在行业标准库OpenVDB的基础上，该库用于模拟和渲染稀疏体积数据，有望显著增强虚拟环境的创建。这些环境对于训练AI在各种应用中至关重要，包括自动驾驶、气候科学和智慧城市。
OpenVDB在模拟水、火、烟雾和云等元素方面发挥了重要作用。通过利用这一技术，fVDB可以捕捉现实世界环境的宏大规模和精细细节，并将其转换为AI就绪数据，实时渲染。这一能力对于开发生成式物理AI（如机器人和自动驾驶车辆）至关重要，因为它们需要对3D空间有深入理解。
技术进步和应用
该框架基于OpenVDB十年的创新，推出了改进功能，使各行业可以从现实世界的数字孪生中受益。这些虚拟环境被用于训练自主代理，捕捉城市规模的3D模型以进行气候科学研究和城市规划等用途。
fVDB在NanoVDB之上集成了NVIDIA加速的AI操作符，NanoVDB是一种用于高效3D模拟的GPU加速数据结构。操作符包括卷积、池化、注意力和网格化，旨在实现高性能3D深度学习应用。此发展使企业能够构建复杂的神经网络用于空间智能，包括大规模点云重建和3D生成建模。
fVDB的主要优势
- 更大： 空间规模比以前的框架大4倍。
- 更快： 处理速度快3.5倍。
- 互操作： 充分利用大规模现实世界数据集，以VDB数据集实时渲染到全尺寸3D环境中。
- 更强大： 操作符数量是以前框架的10倍，简化复杂过程，通过结合之前需要多个深度学习库的功能来达成目标。
未来整合和可用性
fVDB将很快作为NVIDIA NIM（NVIDIA推理微服务）的一部分提供。这些微服务将使企业能够将fVDB整合到OpenUSD工作流中，在NVIDIA Omniverse中生成AI就绪的OpenUSD几何体，这是一个用于工业数字化和生成式物理AI应用的平台。微服务包括：
- fVDB网格生成NIM——生成现实世界的数字3D环境。
- fVDB NeRF-XL NIM——利用Omniverse Cloud API在OpenUSD中生成大规模NeRFs。
- fVDB物理超分NIM——执行超分辨率生成高分辨率物理模拟基于OpenUSD。
OpenVDB的持续创新
在过去的十年里，OpenVDB作为视觉效果行业的核心技术赢得了多个奥斯卡奖，并扩展到工业和科学应用领域。四年前，NVIDIA推出了NanoVDB，为OpenVDB增加了GPU支持，提高了性能和实时模拟与渲染的速度。两年前，公司推出了NeuralVDB，将机器学习融入其中，显著压缩VDB体积的内存占用。
fVDB代表了最新的进展，将AI操作符构建在NanoVDB之上，使其能够在现实规模上解锁空间智能。有兴趣的人士可以申请fVDB PyTorch扩展的早期访问计划。该框架也将通过OpenVDB GitHub仓库提供。
Image source: Shutterstock