NVIDIA 推出了增强空间智能的深度学习框架 fVDB - Blockchain.News

NVIDIA 推出了增强空间智能的深度学习框架 fVDB

realtime news Jul 30, 2024 05:46

NVIDIA 的新 fVDB 框架利用深度学习处理大规模 3D 数据,增强物理 AI 应用中的空间智能。

NVIDIA 推出了增强空间智能的深度学习框架 fVDB

NVIDIA 发布了其新的深度学习框架 fVDB,旨在从真实世界的 3D 数据构建空间智能。根据 NVIDIA 技术博客,fVDB 旨在解决使用各种库拼接空间智能带来的低效和性能瓶颈问题。

空间智能的挑战

生成物理 AI 模型需要空间智能来理解和导航物理世界的三维空间。传统上,开发人员必须使用不同的库拼接空间智能框架,导致出现漏洞、低效和性能瓶颈。

引入 fVDB

NVIDIA 的 fVDB 框架旨在处理稀疏、大规模和高性能的空间智能。利用 OpenVDB(用于高效存储和模拟稀疏体积数据的行业标准),fVDB 将深度学习操作与 NVIDIA 的 GPU 加速的 OpenVDB 实现 NanoVDB 集成。

fVDB 是 PyTorch 的开源扩展,支持对大规模 3D 数据进行完整的深度学习操作。主要功能包括兼容现有的 VDB 数据集、用于神经网络训练、光线追踪和渲染的统一 API,以及更快、更可扩展的性能。

fVDB 的应用

fVDB 已经被 NVIDIA Research、NVIDIA DRIVE 和 NVIDIA Omniverse 团队使用。著名应用包括:

  • 表面重建:神经内核表面重建(NKSR)利用 fVDB 从大规模点云重建高保真表面。
  • 生成式 AI:XCube 将扩散生成模型与稀疏体素层次结构结合,使得高空间分辨率的 3D 场景生成成为可能。
  • NeRFs:NeRF-XL 使用 fVDB 在多个 GPU 上分布神经辐射场,用于大规模 3D 渲染。

未来发展

NVIDIA 计划将 fVDB 功能集成到 NVIDIA NIM 微服务中,使开发人员能够在 NVIDIA Omniverse 内将 fVDB 集成到通用场景描述(OpenUSD)工作流中。

即将推出的 NVIDIA NIM 微服务包括 fVDB 网格生成、fVDB 物理超分辨率和 fVDB NeRF-XL,它们将使用 Omniverse 云 API 生成基于 OpenUSD 的几何体。

结论

由 NVIDIA 开发的 fVDB 是一个开创性的深度学习框架,用于稀疏、大规模的空间智能。它以 OpenVDB 为基础,支持数字孪生、神经辐射场和 3D 生成式 AI 等应用。

更多详情,请访问 NVIDIA 官方公告

Image source: Shutterstock