arXiv 2505.242452025-05-30cs.CVcs.AI

LTM3D：基于自回归扩散框架桥接 Token 空间的条件式 3D 生成

LTM3D: Bridging Token Spaces for Conditional 3D Generation with Auto-Regressive Diffusion Framework

University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Tsinghua University（清华大学）

Xin Kang, Zihan Zheng, Lei Chu, Yue Gao, Jiahao Li, Hao Pan, Xuejin Chen, Yan Lu

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

LTM3D 结合扩散与自回归模型，提出条件分布建模骨干、前缀学习及重建引导采样模块，在 Token 空间内实现了高保真度、高准确性的多模态条件式 3D 形状生成。

摘要：

我们提出了 LTM3D，一个用于条件式 3D 形状生成的 Latent Token space Modeling（潜在 Token 空间建模）框架，它结合了扩散模型和自回归（AR）模型的优势。尽管基于扩散的方法能有效地建模连续潜在空间，且 AR 模型擅长捕捉 Token 间的依赖关系，但将这些范式结合起来用于 3D 形状生成仍然是一个挑战。为了解决这个问题，LTM3D 采用了一个 Conditional Distribution Modeling（条件分布建模）骨干网络，利用掩码自编码器和扩散模型来增强 Token 依赖学习。此外，我们引入了 Prefix Learning（前缀学习），在生成过程中将条件 Token 与形状潜在 Token 对齐，提高了跨模态的灵活性。我们进一步提出了一个带有 Reconstruction-Guided Sampling（重建引导采样）的 Latent Token Reconstruction（潜在 Token 重建）模块，以减少不确定性并增强生成形状的结构保真度。我们的方法在 Token 空间中运行，支持多种 3D 表示，包括符号距离场、点云、网格和 3D Gaussian Splatting。在基于图像和文本条件的形状生成任务上的大量实验表明，LTM3D 在提示保真度和结构准确性方面优于现有方法，同时为多模态、多表示的 3D 生成提供了一个可泛化的框架。

英文摘要：

We present LTM3D, a Latent Token space Modeling framework for conditional 3D shape generation that integrates the strengths of diffusion and auto-regressive (AR) models. While diffusion-based methods effectively model continuous latent spaces and AR models excel at capturing inter-token dependencies, combining these paradigms for 3D shape generation remains a challenge. To address this, LTM3D features a Conditional Distribution Modeling backbone, leveraging a masked autoencoder and a diffusion model to enhance token dependency learning. Additionally, we introduce Prefix Learning, which aligns condition tokens with shape latent tokens during generation, improving flexibility across modalities. We further propose a Latent Token Reconstruction module with Reconstruction-Guided Sampling to reduce uncertainty and enhance structural fidelity in generated shapes. Our approach operates in token space, enabling support for multiple 3D representations, including signed distance fields, point clouds, meshes, and 3D Gaussian Splatting. Extensive experiments on image- and text-conditioned shape generation tasks demonstrate that LTM3D outperforms existing methods in prompt fidelity and structural accuracy while offering a generalizable framework for multi-modal, multi-representation 3D generation.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。