通过NVIDIA的Fixer增强3D高斯重建

通过NVIDIA的Fixer增强3D高斯重建 - Blockchain.News

在创建摄影级逼真3D模拟环境的领域中，NVIDIA推出了新模型Fixer，旨在解决渲染瑕疵这一持续性问题。根据NVIDIA的博客，Fixer是一种基于扩散的模型，通过消除模糊、空洞和虚假几何体来提高3D重建的图像质量。

解决3D重建挑战

尽管在神经重建方法如3D高斯分布法（3DGS）和带无迹变换的3D高斯（3DGUT）方面有了进展，但渲染视图通常仍会出现瑕疵。这些视觉瑕疵会影响模拟效果，特别是从新颖的视角。NVIDIA的Fixer旨在通过NVIDIA Omniverse NuRec平台利用真实传感器数据来解决这些问题。

Fixer模型建立在NVIDIA Cosmos预测世界基础模型之上。它通过消除渲染瑕疵并恢复场景中约束不足区域的细节来工作。这一过程对于创建清晰无瑕疵的环境至关重要，尤其是用于自动驾驶车辆（AV）模拟等应用。

NVIDIA的博客详细介绍了使用Fixer的过程，从下载可在诸如Hugging Face等平台上的数据集中的重建场景开始。用户可以从视频文件中提取帧作为Fixer的输入。该模型可在场景重建期间离线操作，也可在渲染期间在线操作，提供了应用的灵活性。

要使用Fixer，用户首先需要设置适当的环境，包括安装Docker和启用GPU访问。可以克隆Fixer存储库以获取必要的脚本，并可在Hugging Face上下载预训练模型。

对于实时推断，Fixer可以在渲染期间作为神经增强器使用，有效地在处理每一帧时进行修复。这种方法提高了重建场景的感知质量，使其更适合逼真的模拟。

应用Fixer后，用户可以使用峰值信噪比（PSNR）等指标评估重建质量的提升。这些改进表现为更清晰的纹理和减少的瑕疵，有助于更可靠的自动驾驶车辆开发。

Fixer代表了在提高3D高斯重建质量方面的一项重大进步。通过解决常见瑕疵和提高图像逼真度，Fixer促进了更准确可靠的模拟环境的发展。这一创新不仅提高了视觉逼真度，还支持包括自动驾驶车辆模拟和机器人技术在内的各种应用。

Image source: Shutterstock