南洋理工力作Sparc3D：开启三维重建可微分优化与高效生成新纪元

由南洋理工大学推出 Sparc3D 是一个统一的框架，它将稀疏可变形行进立方体表示Sparcubes与新型编码器Sparconv-VAE相结合。Sparcubes 通过将有符号距离和变形场散射到稀疏立方体上，将原始网格转换为具有任意拓扑的高分辨率 (1024³) 表面，从而实现可微分优化。Sparconv-VAE 是第一个完全基于稀疏卷积网络构建的模态一致性变分自编码器，能够通过潜在扩散实现高效且近乎无损的三维重建，适用于高分辨率生成建模。

相关链接

• 论文：https://arxiv.org/abs/2505.14521
• 试用：https://huggingface.co/spaces/ilcve21/Sparc3D
• 主页：https://lizhihao6.github.io/Sparc3D/
• 生产平台：https://hitem3d.ai/

VAE 重建结果

图像到 3D 生成结果

论文介绍

由于网格数据的非结构化特性以及密集体积网格的立方复杂性，高保真 3D 物体合成比 2D 图像生成仍然更具挑战性。现有的两阶段流程——使用 VAE（使用 2D 或 3D 监督）压缩网格，然后进行潜在扩散采样——通常会因 VAE 中引入的低效表示和模态不匹配而导致严重的细节丢失。

论文推出了Sparc3D，这是一个统一的框架，它将稀疏可变形行进立方体表示Sparcubes与新型编码器Sparconv-VAE相结合。Sparcubes 通过将有符号距离和变形场散射到稀疏立方体上，将原始网格转换为具有任意拓扑的高分辨率（1024 3）表面，从而实现可微优化。 Sparconv-VAE 是首个完全基于稀疏卷积网络构建的模态一致性变分自编码器，能够通过潜在扩散实现高效且近乎无损的 3D 重建，适用于高分辨率生成建模。Sparc3D 能够在挑战性输入（包括开放表面、不连续组件和复杂几何形状）上实现一流的重建保真度。它能够保留细粒度的形状细节，降低训练和推理成本，并与潜在扩散模型自然集成，实现可扩展的高分辨率 3D 生成。

方法概述（Sparcubes）

Sparcubes 重建管道的图示，用于将原始网格转换为防水网格。

方法概述（Sparconv-VAE）

Sparconv-VAE 包含一系列稀疏卷积块，并集成了源自 Point Transformer V3 的轻量级局部注意力模块。

实验结果

VAE 重建的定性比较。Sparconv-VAE 在重建复杂几何形状、将开放表面转换为双层水密网格以及揭示不可见的内部结构方面表现出色。

单幅图像到三维生成的定性比较。在相同的架构和模型大小下，使用 Sparconv-VAE 训练的生成器比 TRELLIS 生成了更详细的重建结果。

结论

Sparc3D 是一个统一的框架，旨在解决 3D 生成流程中长期存在的两个瓶颈：保持拓扑结构的网格重构和模态一致性的潜在编码。其核心是 Sparcubes，它将原始的非水密网格转换为高分辨率的完全水密表面，同时保留精细的细节和微小的组件。在此基础上，Sparconv-VAE（一个带有自剪枝解码器的稀疏卷积变分自编码器）直接压缩和重构稀疏表示，而无需借助重量级注意力机制，从而实现了最佳的重建保真度和更快的收敛速度。当与潜在扩散（例如 TRELLIS）结合使用时，Sparc3D 可以提升下游 3D 资产合成的生成分辨率。总之，这些贡献为虚拟（AR/VR、机器人模拟）和物理（3D 打印）领域的高保真 3D 生成建立了强大、可扩展的基础。

本文转载自​​​​AIGC Studio​​​​，作者：AIGC Studio