Parameterize Structure with Differentiable Template for 3D Shape Generation
National Key Lab for Novel Software Technology, Nanjing University(南京大学现代软件技术国家重点实验室);Texas A&M University(德克萨斯农工大学)
本文提出一种使用可微模板和固定长度参数化共享结构的方法,利用长方体三视图细节描述形状内部,从而实现具有复杂细节的3D形状重建、生成与平滑插值。
2024-10-15 cs.CV
AtlasNet: A Papier-Mâché Approach to Learning 3D Surface Generation
Adobe Research(Adobe研究院);LIGM (UMR 8049), École des Ponts, UPE(巴黎东大桥路学院LIGM实验室(UMR 8049))
我们介绍了一种学习生成3D形状的表面的方法。我们的方法表示一个3D形状作为一个参数化的表面元素的集合,并在生成体素网格或点云的方法相比,自然推断的形状的表面表示。除了其新颖性之外,我们的新形状生成框架,masNet,还具有显著的优势,例如提高精度和泛化能力,以及生成任意分辨率形状而不存在内存问题的可能性。我们展示了这些好处,并在ShapeNet基准测试中比较了两个应用程序的强基线:(i)自动编码形状,(ii)从静止图像进行单视图重建。我们还提供了结果显示其潜在的其他应用,如变形,参数化,超分辨率,匹配和联合分割。
2018-07-20 cs.CV
Object Class Detection and Classification using Multi Scale Gradient and Corner Point based Shape Descriptors
University Jean Monnet(让·莫内大学)
提出了一种新的基于多尺度梯度和角点的形状描述子。新的基于多尺度梯度的形状描述子与通用傅立叶描述子相结合,提取基于轮廓和区域的形状信息。优化了基于形状信息的随机森林分类器的目标类别检测和分类技术。本文提出的综合描述子对旋转、缩放、平移、仿射变形、噪声轮廓和噪声形状具有鲁棒性。新的基于角点的插值形状描述符已被用于快速目标检测和分类,具有更高的精度。
2015-05-03 cs.CV
Personalizing Text-to-Image Generation via Aesthetic Gradients
Komorebi AI Technologies(小暮AI科技)
这项工作提出了美学梯度,一种个性化的CLIP条件扩散模型的方法,通过引导用户从一组图像中定义的自定义美学的生成过程。该方法进行了验证与定性和定量的实验,使用最近稳定的扩散模型和几个审美过滤数据集。代码发布于https://github.com/vicgalle/stable-diffusion-aesthetic-gradients
2022-09-25 cs.CV cs.LG
Shape Guided Gradient Voting for Domain Generalization
University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
提出形状引导梯度投票(SGGV)方法,通过引入形状先验和梯度投票策略,在多个域泛化数据集上显著提升图像分类的泛化性能。
2023-06-19 cs.CV
Point-Based Shape Representation Generation with a Correspondence-Preserving Diffusion Model
University of Virginia(弗吉尼亚大学)
提出一种对应保持的扩散模型,生成具有点对应关系的逼真海马体形状,优于现有方法,并支持条件生成和疾病进展预测。
2025-08-05 cs.CV cs.LG
SDFusion: Multimodal 3D Shape Completion, Reconstruction, and Generation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Snap Research(Snap研究院)
在这项工作中,我们提出了一个新的框架,以简化业余用户的3D资产生成。为了实现交互式生成,我们的方法支持可以由人类轻松提供的各种输入方式,包括图像,文本,部分观察到的形状以及这些的组合,进一步允许调整每个输入的强度。我们的方法的核心是一个编码器-解码器,将3D形状压缩成紧凑的潜在表示,并在此基础上学习扩散模型。为了实现各种多模态输入,我们采用了特定于任务的编码器与辍学后,交叉注意力机制。由于其灵活性,我们的模型自然支持各种任务,在形状完成,基于图像的3D重建和文本到3D方面优于以前的工作。最有趣的是,我们的模型可以将所有这些任务组合成一个瑞士军刀工具,使用户能够同时使用不完整的形状,图像和文本描述来执行形状生成,为每个输入提供相对权重并促进交互性。尽管我们的方法是形状,我们进一步展示了一种有效的方法来纹理生成的形状使用大规模的文本到图像模型。
2023-03-22 cs.CV cs.LG
Optimal Multi-Object Segmentation with Novel Gradient Vector Flow Based Shape Priors
The University of Iowa(爱荷华大学)
形状先验在医学图像分割中被广泛应用,以提高分割的准确性和鲁棒性。编码这种先验形状模型的主要方法是使用网格表示,这容易导致自相交或网格折叠。这些问题需要复杂而昂贵的算法来缓解。在本文中,我们提出了一种新的形状先验直接嵌入体素网格空间,基于梯度矢量流的预分割。灵活和强大的先验形状表示是准备扩展到同时分割多个相互作用的对象与最小间距约束。该问题被制定为一个马尔可夫随机场问题,其精确解可以有效地计算与一个单一的最小的s-t切在一个适当构造的图。该算法在两个多目标分割应用上进行了验证:MRI图像中的脑组织分割和CT图像中的膀胱/前列腺分割。这两组实验表明,所提出的方法优于其他国家的最先进的方法的性能或竞争力。
2017-05-22 cs.CV
Octree Transformer: Autoregressive 3D Shape Generation on Hierarchically Structured Sequences
RWTH Aachen University(亚琛工业大学)
自回归模型在NLP文本生成任务中已经被证明是非常强大的,最近也在图像生成中得到了普及。然而,到目前为止,它们在3D形状合成中的应用有限。这主要是由于缺乏一种直接的方法来线性化3D数据,以及在描述复杂形状时所产生的序列长度的缩放问题。在这项工作中,我们解决这两个问题。我们使用八叉树作为紧凑的分层形状表示,可以通过遍历排序来顺序化。此外,我们引入了一个自适应压缩方案,显着减少序列长度,从而使他们的有效生成与Transformer,同时仍然允许完全自回归采样和并行训练。我们展示了我们的模型的性能,通过比较对国家的最先进的形状生成。
2021-11-24 cs.CV cs.GR cs.LG
LION: Latent Point Diffusion Models for 3D Shape Generation
NVIDIA(英伟达);University of Toronto(多伦多大学);Vector Institute(向量研究所)
去噪扩散模型(DDMs)在三维点云合成中显示出良好的效果。为了推进3D DDM并使其对数字艺术家有用,我们需要(i)高生成质量,(ii)操作和应用(如条件合成和形状插值)的灵活性,以及(iii)输出平滑表面或网格的能力。为此,我们引入了分层的潜在点扩散模型(LION)的三维形状生成。LION是一个变分自编码器,它具有一个分层的潜在空间,结合了全局形状的潜在表示与点结构的潜在空间。对于生成,我们训练两个层次的DDM在这些潜在的空间。与直接在点云上操作的DDM相比,分层VAE方法提高了性能,而点结构的隐层仍然非常适合基于DDM的建模。在实验中,LION在多个ShapeNet基准测试中实现了最先进的生成性能。此外,我们的VAE框架使我们能够轻松地使用LION执行不同的相关任务:LION擅长多模态形状去噪和体素条件合成,并且可以适用于文本和图像驱动的3D生成。我们还演示了形状自动编码和潜在的形状插值,我们增加了狮子与现代表面重建技术,以生成光滑的三维网格。我们希望LION能够为艺术家提供一个强大的工具,因为它具有高质量的生成,灵活性和表面重建。项目页面和代码:https://nv-tlabs.github.io/LION.
2022-10-12 cs.CV cs.LG stat.ML
Generation of Gradient-Preserving Images allowing HOG Feature Extraction
Tokyo Metropolitan University(东京都立大学)
在本文中,我们提出了一种方法,用于生成视觉保护的图像,称为梯度保持图像。受保护的图像允许我们直接提取面向对象直方图(HOG)特征,用于隐私保护机器学习。在实验中,HOG特征提取的梯度保持图像应用于人脸识别算法,以证明所提出的方法的有效性。
2021-05-22 cs.CV
A Topology fixated Shape Gradient Framework for Non Simple Boundary Extraction for CIE Lab color images with Repulsive Energy
Tessellab, Department of Mathematics, SRM University-AP(Tessellab,数学系,SRM大学-安得拉邦)
本文提出了一种无需水平集的混合图像分割方法,结合修改后的Mumford-Shah形状功能形状梯度和排斥函数,用于处理包含不连通区域和多重边界的复杂图像,通过非局部形状驱动的离散曲线演化实现精确分割,具有拓扑控制和自交处理能力。
2026-04-25 cs.CV math.AP
Towards Implicit Text-Guided 3D Shape Generation
The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学)
在这项工作中,我们将探索从文本生成3D形状的挑战性任务。除了现有的作品,我们提出了一种新的方法,文本引导的3D形状生成,能够产生高保真的形状与给定的文本描述相匹配的颜色。这项工作有几个技术贡献。首先,我们解耦的形状和颜色的预测学习文本和形状中的特征,并提出了词级空间Transformer相关的文字特征从文本和形状的空间特征。此外,我们设计了一个循环损失,以鼓励文本和形状之间的一致性,并引入形状IMLE多样化生成的形状。此外,我们扩展的框架,使文本引导的形状操作。在现有最大的文本形状基准上的大量实验表明了这项工作的优越性。代码和模型可在https://github.com/liuzhengzhe/Towards-Implicit Text-Guided-Shape-Generation上获得。
2022-03-28 cs.CV
Adaptive Gradient for Adversarial Perturbations Generation
深度神经网络在计算机视觉、自然语言处理和音频任务方面取得了显著的成功。
2019-05-20 cs.CR cs.CV
NeuSDFusion: A Spatial-Aware Generative Model for 3D Shape Completion, Reconstruction, and Generation
Australian National University(澳大利亚国立大学);Tencent XR Vision Labs(腾讯XR视觉实验室);Shanghai Jiao Tong University(上海交通大学);The University of Tokyo(东京大学)
针对现有3D形状生成方法忽略空间一致性、通用性不足的问题,提出空间感知框架NeuSDFusion,通过正交2D平面学习连续有符号距离场,结合Transformer自编码器保障空间对应,在多项3D形状任务上性能超越现有最优方法。
2024-07-12 cs.AI cs.CV cs.GR
3D-LDM: Neural Implicit 3D Shape Generation with Latent Diffusion Models
National University of Singapore(新加坡国立大学);Technical University of Munich(慕尼黑工业大学);Bernard M. Baruch College(伯纳德·M·巴鲁克学院);Stanford University(斯坦福大学);Computational Design Institute(计算设计研究所);Adobe(奥多比公司)
扩散模型在图像生成方面表现出了巨大的潜力,在生成多样性方面击败了GANs,并具有相当的图像质量。然而,它们对3D形状的应用仅限于点或体素表示,这些表示在实践中不能准确地表示3D表面。我们提出了一个扩散模型的神经隐式表示的3D形状,在潜在的自动解码器的空间。这使我们能够生成多样化和高质量的3D表面。我们还表明,我们可以在图像或文本上调整我们的模型,以使用CLIP嵌入实现图像到3D的生成和文本到3D的生成。此外,将噪声添加到现有形状的潜在代码中,使我们能够探索形状的变化。
2022-12-15 cs.CV
ShapeGPT: 3D Shape Generation with A Unified Multi-modal Language Model
Fudan University(复旦大学);Tencent(腾讯);ShanghaiTech University(上海科技大学);Zhejiang Lab(之江实验室)
本文提出ShapeGPT,通过“词-句-段”框架将三维形状离散化并与指令文本结合,利用三阶段训练构建统一多模态语言模型,在文本到形状、形状到文本、形状补全与编辑等任务上取得可比性能。
2023-12-01 cs.CV
PRISM: Probabilistic Representation for Integrated Shape Modeling and Generation
Technical University of Munich(慕尼黑工业大学);Google(谷歌)
PRISM提出一种结合类别扩散模型、统计形状模型与高斯混合模型的三维形状生成方法,以提升部件级几何与语义建模的质量和可控性。
2025-04-06 cs.CV
SPAGHETTI: Editing Implicit Shapes Through Part Aware Generation
Tel Aviv University(特拉维夫大学);NVIDIA(英伟达);ETH Zurich(苏黎世联邦理工学院)
神经隐场作为一种有吸引力的表示方法正在迅速出现,用于基于学习的技术。然而,采用它们进行3D形状建模和编辑是具有挑战性的。本文介绍了一种通过$\mathbf{P}$和$\mathbf{A}$软件$\mathbf{S}$ $\mathbf{T}$(简称SPAGHETTI)来编辑$\mathbf{T}$的方法。我们的体系结构允许隐式形状的操纵,通过变换,插值和组合形状段在一起,而不需要明确的部分监督。SPAGHETTI将形状部分表示分解为外部和内部几何信息。这一特性使得生成框架具有部分级控制。SPAGHETTI的建模功能使用交互式图形界面进行演示,用户可以直接编辑神经隐式形状。
2022-01-31 cs.CV cs.GR cs.LG
Combinatorial 3D Shape Generation via Sequential Assembly
POSTECH(浦项科技大学);POSCO(浦项制铁公司)
具有几何基元的顺序装配已经引起了机器人和3D视觉的关注,因为它产生了一个实用的蓝图来构建目标形状。然而,由于其组合属性,贪婪方法无法生成体积基元序列。为了减轻这一后果所引起的大量的可行的组合,我们提出了一个组合的3D形状生成框架。该框架反映了现实生活中人类生成过程的一个重要方面-我们通常通过顺序组装具有几何约束的单元图元来创建3D形状。为了找到所需的组合,关于组合评估,我们采用贝叶斯优化,这是能够有效地利用和探索的可行区域的约束下,目前的原始位置。评价函数同时传达装配过程的全局结构指导和重力和外力方面的稳定性。实验结果表明,我们的方法成功地产生组合的3D形状和模拟更真实的生成过程。我们还介绍了一个新的数据集组合的3D形状生成。所有代码均可从\url{https://github.com/POSTECH-CVLab/Combinatorial-3D-Shape-Generation}获得。
2020-11-25 cs.CV cs.GR cs.LG
Shape-conditioned Image Generation by Learning Latent Appearance Representation from Unpaired Data
Osaka University(大阪大学)
条件图像生成对于包括基于学习的计算机视觉的训练数据合成在内的各种任务都是有效的。然而,尽管最近在生成对抗网络(GANs)方面取得了进展,但生成具有对象形状详细条件的图像仍然是一项具有挑战性的任务。用于条件图像生成的现有方法使用类别标签和/或关键点,并且仅对对象类别给予有限的控制。在这项工作中,我们提出了SCGAN,一个架构来生成图像所需的形状指定的输入法线映射。形状调节的图像生成任务是通过显式建模的图像外观通过一个潜在的外观矢量。该网络使用真实图像的未配对训练样本和渲染的法线贴图进行训练。这种方法使我们能够生成图像的任意对象类别的目标形状和不同的图像外观。通过对训练数据生成任务的定性和定量评估,我们证明了我们方法的有效性。
2018-11-29 cs.CV
3D Shape Generation: A Survey
本文综述了3D形状生成的最新进展,涵盖形状表示、生成方法和评估协议,探讨了当前挑战与未来发展方向。
2025-12-22 cs.CV
Learning Neural Deformation Representation for 4D Dynamic Shape Generation
Korea Advanced Institute of Science and Technology(韩国科学技术院)
提出一种新的神经变形表示,结合条件神经符号距离场,设计解耦运动与形状潜在空间的4D表示架构,通过扩散模型生成高质量、高时间一致性的4D动态形状。
2026-05-31 cs.CV
3D Shape Generation and Completion through Point-Voxel Diffusion
Stanford University(斯坦福大学);MIT(麻省理工学院)
我们提出了一种新的方法,概率生成建模的三维形状。与大多数现有的模型,学习确定性地将一个潜在的矢量转化为一个形状,我们的模型,点体素扩散(PVD),是一个统一的,概率公式无条件的形状生成和条件,多模态形状完成。PVD将去噪扩散模型与3D形状的混合点-体素表示相结合。它可以被视为一系列去噪步骤,将从观察到的点云数据到高斯噪声的扩散过程反转,并通过优化(条件)似然函数的变分下限进行训练。实验表明,PVD能够合成高保真形状,完成部分点云,并从真实物体的单视图深度扫描生成多个完成结果。
2021-08-29 cs.CV
Hybrid Neural Diffeomorphic Flow for Shape Representation and Generation via Triplane
University of California, Irvine(加州大学欧文分校)
本文提出HNDF方法,通过混合神经微分同胚流和三平面特征分解实现三维形状的稠密对应学习与拓扑保持的形状生成,并利用二维扩散模型提升生成质量与多样性。
2023-07-04 cs.CV
Text-to-3D Shape Generation
Simon Fraser University(西蒙菲莎大学);Amii(Amii研究院)
本文综述了文本到3D形状生成的底层技术与方法,根据监督数据类型对近期研究进行系统分类,并探讨了现有局限与未来方向。
2024-03-20 cs.CV
Robust Visual Tracking via Statistical Positive Sample Generation and Gradient Aware Learning
Xiamen University(厦门大学)
近年来,基于卷积神经网络(CNN)的跟踪器在多个基准数据集上实现了最先进的性能。这些跟踪器大多训练一个二元分类器来区分目标和背景。然而,它们受到两个限制。首先,由于阳性样本的数量有限,这些跟踪器不能有效地处理显著的外观变化。其次,容易样本和困难样本之间的梯度贡献存在显著的不平衡,其中容易样本通常主导梯度的计算。在本文中,我们提出了一个强大的跟踪方法,通过统计正样本生成和梯度感知学习(SPGA),以解决上述两个限制。为了丰富正样本的多样性,我们提出了一个有效的和高效的统计正样本生成算法来生成特征空间中的正样本。此外,为了处理容易和困难的样本之间的不平衡的问题,我们提出了一个梯度敏感的损失,以协调容易和困难的样本之间的梯度贡献。在OTB50、OTB100和VOT2016三个具有挑战性的基准数据集上进行的大量实验表明,所提出的SPGA对几种最先进的跟踪器表现良好。
2020-11-09 cs.CV
ShapeGen4D: Towards High Quality 4D Shape Generation from Videos
Snap(Snap公司);Purdue University(普渡大学);KAUST(王国立阿布扎克大学)
提出ShapeGen4D框架,基于预训练3D模型,通过时间注意力、时间感知点采样和噪声共享,从视频端到端生成高质量动态4D形状,无需逐帧优化,提升鲁棒性和感知保真度。
2025-10-07 cs.CV
SP-GAN: Sphere-Guided 3D Shape Generation and Manipulation
The Chinese University of Hong Kong(香港中文大学)
我们提出了SP-GAN,这是一种新的无监督球体引导生成模型,用于以点云的形式直接合成3D形状。与现有模型相比,SP-GAN能够合成具有精细细节的多样化和高质量的形状,并提高零件感知形状生成和操作的可控性,但无需任何零件注释即可训练。在SP-GAN中,我们结合了全局先验(球体上的均匀点)来空间引导生成过程,并将局部先验(随机潜在代码)附加到每个球体点以提供局部细节。在我们的设计中,关键的洞察力是解开复杂的三维形状生成任务到一个全局形状建模和局部结构调整,以减轻学习过程,提高形状生成质量。此外,我们的模型在球体点和每个生成的形状中的点之间形成隐式密集对应,从而实现各种形式的结构感知形状操作,例如零件编辑,零件形状插值和多形状零件合成等,超越现有的生成模型。实验结果,其中包括视觉和定量评价,表明我们的模型是能够合成不同的点云与精细的细节和较少的噪音,与国家的最先进的模型相比。
2021-08-10 cs.CV
Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text Aligned Latent Representation
ShanghaiTech University(上海科技大学);Tencent PCG(腾讯平台与内容事业群);Fudan University(复旦大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程研究中心);Shanghai Engineering Research Center of Energy Efficient and Custom AI IC(上海高效节能定制人工智能芯片工程研究中心)
本文提出Michelangelo框架,通过SITA-VAE和ASLDM在形状-图像-文本对齐空间中实现高质量、多样化的跨模态条件3D形状生成。
2023-07-03 cs.CV
High-Fidelity Medical Shape Generation via Skeletal Latent Diffusion
本文提出了一种骨骼潜在扩散框架,通过结合结构先验实现高效高保真医学形状生成,并构建了大规模MedSDF数据集以提升生成质量与效率。
2026-03-12 cs.CV
Automatic hippocampal surface generation via 3D U-net and active shape modeling with hybrid particle swarm optimization
Southern University of Science and Technology(南方科技大学);The University of Hong Kong(香港大学)
在本文中,我们提出并验证了一个全自动的海马表面生成管道,通过3D U-网络耦合主动形状建模(ASM)。拟议的管道主要包括三个步骤。首先,对于每个磁共振图像,采用3D U-网来获得每个半球的自动海马分割。然后,对一组预先获得的模板表面进行ASM,通过主成分分析生成平均形状和形状变化参数。最后利用混合粒子群优化算法搜索最佳形状变化参数,使分割结果最佳匹配。然后从平均形状和形状变化参数生成海马表面。观察到所提出的管道在两个半球处提供具有高精度、正确解剖拓扑结构和足够平滑度的海马表面。
2021-09-14 cs.CV cs.LG cs.NE
GlobalMapper: Arbitrary-Shaped Urban Layout Generation
Purdue University(普渡大学)
针对城市建筑布局生成问题,提出基于图注意力网络的全自动方法GlobalMapper,可基于任意道路网络和先验知识生成逼真布局,性能优于现有方法,支持多样街区与建筑形状。
2023-07-19 cs.CV
Learning Versatile 3D Shape Generation with Improved AR Models
Fudan University(复旦大学);Google(谷歌);Tencent Youtu Lab(腾讯优图实验室)
自回归(AR)模型通过对网格空间中的联合分布进行建模,在二维图像生成中取得了令人印象深刻的结果。虽然这种方法已经扩展到3D域的强大的形状生成,它仍然有两个限制:昂贵的计算体积网格和模糊的自回归顺序沿网格尺寸。为了克服这些限制,我们提出了改进的自回归模型(ImAM)的三维形状生成,它适用于离散表示学习的基础上的一个潜在的矢量,而不是体积网格。我们的方法不仅降低了计算成本,而且通过以更易处理的顺序学习联合分布来保留基本的几何细节。此外,由于模型架构的简单性,我们可以通过连接各种条件输入(如点云、类别、图像和文本),自然地将其从无条件生成扩展到有条件生成。大量的实验表明,ImAM可以合成多种类别的多样和忠实的形状,达到最先进的性能。
2023-03-26 cs.CV
ISS: Image as Stepping Stone for Text-Guided 3D Shape Generation
The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学);Hunan University(湖南大学)
文本引导的3D形状生成仍然具有挑战性,由于缺乏大量的成对文本形状数据,这两种模式之间的大量语义差距,以及3D形状的结构复杂性。本文提出了一种新的框架,称为图像作为垫脚石(ISS)的任务,通过引入二维图像作为垫脚石连接两种模式,并消除了对文本形状数据的需要。我们的主要贡献是一种两阶段特征空间对齐方法,该方法通过利用具有多视图监督的预训练单视图重建(SVR)模型将CLIP特征映射到形状:首先将CLIP图像特征映射到SVR模型中细节丰富的形状空间,然后将CLIP文本特征映射到形状空间,并通过鼓励输入文本和渲染图像之间的CLIP一致性来优化映射。此外,我们制定了一个文本引导的形状风格化模块,打扮输出的形状与新的纹理。除了现有的从文本生成3D形状的工作,我们的新方法是一般的创建形状在广泛的类别,而不需要配对的文本形状数据。实验结果表明,我们的方法优于国家的最先进的和我们的基线方面的保真度和一致性与文本。此外,我们的方法可以styphiles生成的形状与现实和幻想的结构和纹理。
2023-02-24 cs.CV
Background Gradients Shape Memorization in Flow Matching
本研究通过配对轨迹框架揭示背景梯度响应是类条件流匹配中同类别图像影响目标记忆化与复制的关键机制,实验显示替换重复图像使提取率从80.7%降至18.0%。
2026-09-29 cs.CV
Sketch-A-Shape: Zero-Shot Sketch-to-3D Shape Generation
Autodesk Research(欧特克研究院)
本文提出利用冻结的大型预训练视觉模型特征,仅用合成RGB渲染图训练三维生成模型,实现零样本草图到三维形状生成,无需任何草图-形状配对数据。
2023-07-08 cs.CV
A Mesh Is Worth 512 Numbers: Spectral-domain Diffusion Modeling for High-dimension Shape Generation
Leiden University(莱顿大学);BMW Group(宝马集团);Technical University of Munich(慕尼黑工业大学)
本文提出谱域扩散框架SpoDify,利用SVD将复杂网格高效编码为低维隐编码,无需训练自编码器即可实现高质量三维形状生成,在样本和GPU资源受限场景下优势显著。
2025-03-09 cs.CV
Few-shot 3D Shape Generation
Tsinghua University(清华大学);University of Science and Technology Beijing(北京科技大学)
本文首次尝试少样本3D形状生成,通过将在大规模源域预训练的生成模型适应到目标域,并在特征级和形状级维持成对相对距离分布以缓解过拟合,仅需轮廓即可生成多样拓扑和纹理的3D形状。
2023-05-19 cs.CV
A Variational U-Net for Conditional Appearance and Shape Generation
Heidelberg Collaboratory for Image Processing(海德堡图像处理协作实验室);IWR, Heidelberg University, Germany(德国海德堡大学IWR研究所(注:根据机构粒度要求,提取到大学级别,此处IWR为海德堡大学下属研究机构,整体保留原机构名及大学级别信息))
深度生成模型在图像合成中表现出了出色的性能。然而,在空间变形的情况下,结果会恶化,因为它们直接生成对象的图像,而不是对其固有形状和外观的复杂相互作用进行建模。我们提出了一个有条件的U-网的形状引导图像生成,条件上的输出的变分自编码器的外观。该方法在图像上进行端到端的训练,而不需要具有不同姿势或外观的相同对象的样本。实验表明,该模型能够实现条件图像的生成和传输.因此,可以从查询图像中保留形状或外观,同时自由地改变另一个。此外,由于其随机潜在表示,外观可以被采样,同时保持形状。在对COCO、DeepFashion、鞋子、Market-1501和手袋的定量和定性实验中,该方法显示出比最先进的方法有显著的改进。
2018-04-12 cs.CV
CLIP-Forge: Towards Zero-Shot Text-to-Shape Generation
Autodesk AI Lab(欧特克人工智能实验室);Autodesk Research(欧特克研究院)
使用自然语言生成形状可以实现想象和创造我们周围事物的新方法。虽然最近在文本到图像生成方面取得了重大进展,但由于大规模的成对文本和形状数据的不可用,文本到形状生成仍然是一个具有挑战性的问题。我们提出了一个简单而有效的方法为zero-shot文本到形状的生成,规避这种数据稀缺。我们提出的方法名为CLIP-Forge,基于两阶段训练过程,该过程仅依赖于未标记的形状数据集和预训练的图像-文本网络(如CLIP)。我们的方法具有避免昂贵的推理时间优化的好处,以及为给定文本生成多个形状的能力。我们不仅定性和定量地展示了CLIP-Forge模型的有前途的zero-shot推广,而且还提供了广泛的比较评估,以更好地理解其行为。
2022-04-28 cs.AI cs.CV
ShapeCrafter: A Recursive Text-Conditioned 3D Shape Generation Model
Brown University(布朗大学)
本文提出ShapeCrafter,一种递归文本条件化3D形状生成神经网络,基于Text2Shape++数据集和向量量化深度隐式函数,支持根据逐步添加的文本短语演化生成高质量3D形状,并实现形状编辑与外推。
2023-04-08 cs.AI cs.CV
Zero3D: Semantic-Driven Multi-Category 3D Shape Generation
Zero3D提出多类别条件扩散模型,利用CLIP桥接文本与三维形状,结合条件流模型和隐藏层扩散,解决单类别生成及数据稀缺问题。
2023-11-14 cs.CV cs.MM
PhysGen: Physically Grounded 3D Shape Generation for Industrial Design
CVLab, EPFL(EPFL计算机视觉实验室)
PhysGen提出一种结合物理引导的3D形状生成方法,通过物理感知正则化项和变分自编码器提升形状真实感,实验表明其优于单纯视觉合理性。
2026-03-22 cs.CV
Unified Shape and SVBRDF Recovery using Differentiable Monte Carlo Rendering
Cornell University(康奈尔大学);University of California, Irvine(加州大学欧文分校);Facebook Reality Labs(Facebook现实实验室)
利用测量的二维图像重建真实世界物体的形状和外观一直是计算机视觉中的一个长期问题。在本文中,我们介绍了一种新的分析合成技术,能够产生高质量的重建,通过强大的粗到细的优化和基于物理的微分渲染。与大多数以前的方法,处理几何形状和反射率在很大程度上分开,我们的方法统一的优化,利用图像梯度相对于对象的反射率和几何形状。为了获得物理上准确的梯度估计,我们开发了一种新的基于GPU的Monte Carlo可微渲染器,利用可微渲染理论的最新进展来提供无偏梯度,同时比PyTorch3D和redner等现有工具具有更好的性能。为了进一步提高鲁棒性,我们利用几个形状和材料的先验知识以及一个由粗到细的优化策略来重建几何形状。我们证明,我们的技术可以产生更高的质量比以前的方法,如COLMAP和Kinect融合重建。
2021-06-25 cs.CV
Rank3DGAN: Semantic mesh generation using relative attributes
University of Bath(巴斯大学)
在本文中,我们研究了一个新的问题,使用生成对抗网络的三维形状生成任务根据语义属性。最近的工作将3D形状映射到2D参数域,这使得能够训练生成对抗网络(GANs)用于3D形状生成任务。我们将这些架构扩展到有条件的设置,在那里我们生成3D形状相对于用户定义的主观属性。考虑到3D形状的成对比较,我们的模型执行两个任务:它学习具有受控潜在空间的生成模型,以及基于2D中的多图表表示的3D形状的排名函数。在HumanShape、Basel人脸模型和重建的3DCUB数据集上的实验证明了该模型的性能。我们还提出了各种应用程序,受益于我们的模型,如多属性探索,网格编辑,网格属性转移。
2019-05-28 cs.CV
Pushing the Limits of 3D Shape Generation at Scale
Fudan University(复旦大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
本研究推出迄今最大3D形状生成模型Argus-3D(36亿参数),结合三平面特征、离散码本与Transformer实现多模态条件生成,在约90万物体的数据集上训练,显著提升生成质量与多样性,拓展多领域应用可能。
2023-08-19 cs.CV
3D-WAG: Hierarchical Wavelet-Guided Autoregressive Generation for High-Fidelity 3D Shapes
Chair for Machine Learning University of Mannheim(机器学习主任办公室曼海姆大学);Autodesk AI Lab(Autodesk人工智能实验室);MPI for Informatics Saarland Informatics Campus(信息学研究所萨尔兰州信息学校区)
3D-WAG通过分层小波引导自回归生成技术,实现高效且高质量的3D形状生成,优于现有方法。
2026-01-09 cs.CV
Neural Wavelet-domain Diffusion for 3D Shape Generation
The Chinese University of Hong Kong(香港中文大学);Hunan University(湖南大学)
本文提出了一种新的三维形状生成方法,使直接生成模型的连续隐式表示在小波域。具体地说,我们提出了一个紧凑的小波表示与一对粗和细节系数体积隐式表示三维形状通过截断符号距离函数和多尺度双正交小波,并制定了一对神经网络:一个发生器的基础上的扩散模型,以产生不同的形状的形式的粗系数体积;以及细节预测器,用于进一步产生兼容的细节系数体积,以利用精细结构和细节来丰富所生成的形状。定量和定性的实验结果都表明,我们的方法在生成具有复杂拓扑结构、干净表面和精细细节的多样化和高质量形状方面的优势,超过了最先进模型的3D生成能力。
2022-09-19 cs.CV cs.GR
Topology-Aware Latent Diffusion for 3D Shape Generation
Nanyang Technological University(南洋理工大学);Dalian University of Technology(大连理工大学);Fudan University(复旦大学);Chinese Academy of Sciences(中国科学院);SenseTime Research(商汤科技研究院)
本研究提出一种结合潜在扩散与持久同调的拓扑感知三维形状生成模型,通过两阶段生成流程可生成多样拓扑结构的形状,且支持多种输入约束下的拓扑可控生成。
2024-01-31 cs.CV
Hierarchical Detail Enhancing Mesh-Based Shape Generation with 3D Generative Adversarial Network
University of California(加利福尼亚大学)
基于网格的形状自动生成在从工业设计到游戏、计算机图形学和各种其他形式的数字艺术的广泛学科中引起了极大的兴趣。虽然大多数传统方法都集中在基于图元的模型生成上,但深度学习的进步使得以端到端的方式学习三维几何形状表示成为可能。然而,目前大多数基于深度学习的框架专注于基于体素和点云的形状的表示和生成,使得其不能直接应用于设计和图形社区。本研究针对自动生成基于网格的几何体的需求,提出了一种新的框架,该框架利用符号距离函数表示,通过基于深度学习的方法生成细节保留的三维表面网格。
2017-09-22 cs.AI cs.CV cs.GR
Spatially-Grounded Text-to-Video Generation via Inference-Time Gradient-Free Optimization
ISIR - Sorbonne Université(ISIR - 索邦大学);Obvious Research
针对文本到视频生成的空间可控性挑战,提出无训练无梯度的GATO-Vid方法,通过解析求解交叉注意力分数实现精确空间引导,在提升定位精度的同时降低计算开销。
2026-08-17 cs.CV
SGF+: Decoupling Gradient Flows for Autoregressive Video Generation
Tsinghua University(清华大学);Joy Future Academy(京东探索研究院);The Chinese University of Hong Kong(香港中文大学)
SGF+通过为自回归视频生成中的上下文写入和去噪分配独立参数,解耦梯度流,在不增加训练数据的情况下提升视觉质量与长时程一致性,并支持长达24小时的连续生成。
2026-10-26 cs.CV
Neural Wavelet-domain Diffusion for 3D Shape Generation, Inversion, and Manipulation
The Chinese University of Hong Kong(香港中文大学);Hunan University(湖南大学)
本文提出了一种新的方法,三维形状的生成,反演和操纵,通过直接生成模型的连续隐式表示在小波域。具体来说,我们提出了一个紧凑的小波表示与一对粗和细节系数卷隐式表示3D形状通过截断符号距离函数和多尺度双正交小波。然后,我们设计了一对神经网络:一个基于扩散的发生器,以产生不同的形状的形式的粗系数卷和一个详细的预测器,以产生兼容的细节系数卷引入精细结构和细节。此外,我们可以联合训练编码器网络以学习用于反转形状的潜在空间,从而允许我们实现多种多样的整体形状和区域感知形状操纵。定量和定性的实验结果表明,令人信服的形状生成,反演和操纵能力,我们的方法超过国家的最先进的方法。
2023-02-01 cs.CV cs.GR