A Survey on Deep Generative 3D-aware Image Synthesis
University College London（伦敦大学学院）
本文综述深度生成式3D感知图像合成的快速进展，梳理其无3D监督生成3D一致高保真图像的方法，并提供文献参考、未来方向讨论及持续更新的论文与实现资源。
2023-10-02 cs.AI cs.CV cs.GR
Improving 3D-aware Image Synthesis with A Geometry-aware Discriminator
Ant Group（蚂蚁集团）；HKUST（香港科技大学）；CUHK（香港中文大学）
3D感知图像合成旨在学习生成模型，该模型可以渲染照片级逼真的2D图像，同时捕获体面的底层3D形状。一种流行的解决方案是采用生成对抗网络（GAN），并用3D渲染器代替生成器，其中通常使用具有神经辐射场（NeRF）的体渲染。尽管合成质量的进步，现有的方法无法获得适度的3D形状。我们认为，考虑到GANs的制定中的两个玩家的游戏，仅仅使生成器3D感知是不够的。换句话说，替换生成机制只提供了生成3D感知图像的能力，但不能保证，因为生成器的监督主要来自于CPU。为了解决这个问题，我们提出了GeoD通过学习一个几何感知的神经网络，以改善三维感知的GANs。具体地说，除了从2D图像空间中区分真实样本和伪样本之外，还要求生成器从输入中导出几何信息，然后将其用作生成器的指导。这种简单而有效的设计有助于学习更准确的3D形状。在各种生成器架构和训练数据集上进行的大量实验验证了GeoD优于最先进的替代方案。此外，我们的方法被注册为一个通用框架，使得一个更有能力的机器人（即，第三个任务是域分类和几何提取之外的新视图合成）可以进一步帮助生成器具有更好的多视图一致性。
2022-09-30 cs.CV
Jointly Understand Your Command and Intention:Reciprocal Co-Evolution between Scene-Aware 3D Human Motion Synthesis and Analysis
该研究提出CESA协同演化流水线，结合级联三阶段生成策略，实现3D场景下人体运动合成与分析任务的相互促进，同时提升两类任务的性能。
2025-03-20 cs.CV
TextureDreamer: Image-guided Texture Synthesis through Geometry-aware Diffusion
Meta；University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of Maryland, College Park（马里兰大学帕克分校）
TextureDreamer提出个性化几何感知分数蒸馏（PGSD），仅用3到5张随意拍摄的图像即可将真实环境中的精细可重光照纹理迁移到任意3D物体上，显著超越此前方法。
2024-01-17 cs.CV cs.GR
Shape Completion using 3D-Encoder-Predictor CNNs and Shape Synthesis
Stanford University（斯坦福大学）；Technical University of Munich（慕尼黑工业大学）
我们引入了一种数据驱动的方法，通过体积深度神经网络和3D形状合成的组合来完成部分3D形状。从一个部分扫描的输入形状，我们的方法首先推断出一个低分辨率-但完整的-输出。为此，我们引入了一个由3D卷积层组成的3D-Encoder-Predictor Network（3D-EPN）。该网络经过训练以预测和填充缺失数据，并在对已知和未知空间进行编码的隐式表面表示上进行操作。这使我们能够以高精度预测未知区域的全局结构。然后，我们将这些中间结果与测试时形状数据库中的3D几何形状相关联。在最后一遍，我们提出了一个基于补丁的3D形状合成方法，从这些检索到的形状作为约束条件的粗糙完成的网格强加的3D几何。这种合成过程使我们能够重建精细尺度的细节，并生成高分辨率的输出，同时尊重3D-EPN获得的全局网格结构。虽然我们的3D-EPN优于最先进的完成方法，但我们工作的主要贡献在于数据驱动的形状预测器和分析3D形状合成的结合。在我们的研究结果中，我们展示了一个新推出的形状完成基准的广泛评估，为现实世界和合成数据。
2017-04-11 cs.CV
FA-GAN: Feature-Aware GAN for Text to Image Synthesis
Pohang University of Science and Technology（浦项科技大学）
文本到图像合成的目的是从给定的自然语言描述生成照片般逼真的图像。以前的工作在生成对抗网络（GANs）方面取得了重大进展。尽管如此，仍然很难生成完整的对象或清晰的纹理（图1）。为了解决这个问题，我们提出了一种基于特征感知的生成对抗网络（FA-GAN），通过集成两种技术来合成高质量的图像：自监督的自适应和特征感知的损失。首先，我们设计了一个具有辅助解码器的自监督编码器，以便编码器能够提取更好的表示。其次，我们引入了一个特征感知的损失，提供发电机更直接的监督，采用的特征表示从自我监督的神经网络。在MS-COCO数据集上的实验表明，我们提出的方法显着提高了最先进的FID分数从28.92到24.58。
2021-09-02 cs.CV
InTeX: Interactive Text-to-texture Synthesis via Unified Depth-aware Inpainting
National Key Lab of General AI, Peking University（北京大学通用人工智能重点实验室）；Zhejiang University（浙江大学）；Skywork AI（天工AI）；S-Lab, Nanyang Technological University（南洋理工大学S实验室）
提出InteX框架，通过统一深度感知修复模型和交互界面，解决文本到纹理合成中的3D不一致性和可控性差问题，实现高效高质量3D内容创作。
2024-03-18 cs.CV
Diverse Part Synthesis for 3D Shape Creation
Carleton University（卡尔顿大学）；School of Computer Science, Carleton University（卡尔顿大学计算机科学学院）
本文提出一种基于部件表示的三维形状合成方法，并比较多种多模态深度生成模型，以支持用户对单个部件进行多样建议生成，实现精细控制并保持高保真度。
2024-09-19 cs.CV cs.GR cs.LG
MagnifyMe: Aiding Cross Resolution Face Recognition via Identity Aware Synthesis
IIIT-Delhi（德里印度理工学院）
通过超分辨率或图像合成来增强低分辨率图像以进行跨分辨率人脸识别已经得到了很好的研究。已经探索了若干图像处理和机器学习范例来解决该问题。在这项研究中，我们提出了通过深度稀疏表示合成算法，用于从低分辨率输入图像合成高分辨率人脸图像。该算法学习高分辨率和低分辨率图库图像的多级稀疏表示，以及身份感知字典和两种表示之间的转换函数，用于人脸识别场景。以低分辨率的测试数据作为输入，使用身份感知字典和变换合成高分辨率的测试图像，然后将其用于人脸识别。所提出的SDSR算法的性能进行了评估四个数据库，包括一个真实世界的数据集。实验结果和现有的七种算法的比较表明，该算法的人脸识别和图像质量的措施方面的有效性。
2018-02-22 cs.CV
Towards Diverse and Natural Scene-aware 3D Human Motion Synthesis
The Chinese University of Hong Kong（香港中文大学）；Hong Kong University of Science and Technology（香港科技大学）；Nanyang Technology University（南洋理工大学）
在真实世界场景中合成长期人体运动序列的能力可以促进许多应用。先前的场景感知运动合成方法受到预定义的目标对象或位置的约束，从而限制了合成运动的人-场景交互的多样性。在本文中，我们专注于合成不同的场景感知的目标动作序列的指导下，人体运动的问题。为了实现这一点，我们首先分解的多样性场景感知人体运动到三个方面，即交互多样性（例如，坐在不同的对象在给定的场景中具有不同的姿势），路径多样性（例如，移动到目标位置遵循不同的路径），和运动多样性（例如，在移动过程中有各种身体运动）。在此分解方案的基础上，提出了一个层次化的框架，每个子模块负责一个方面的建模。我们评估我们的框架的有效性，对两个具有挑战性的数据集场景感知人体运动合成。实验结果表明，该框架在多样性和自然性方面明显优于以往的方法。
2022-05-25 cs.CV
Identity-Aware CycleGAN for Face Photo-Sketch Synthesis and Recognition
Beijing University of Posts and Telecommunications（北京邮电大学）
人脸素描合成与识别在数字娱乐和执法领域有着广泛的应用。最近，基于生成对抗网络（GANs）的方法显着提高了图像合成的质量，但它们没有明确考虑识别的目的。在本文中，我们首先提出了一种身份感知CycleGAN（IACycleGAN）模型，该模型应用了一种新的感知损失来监督图像生成网络。它改进了CycleGAN的照片素描合成，更加关注关键面部区域的合成，如眼睛和鼻子，这对身份识别很重要。此外，我们开发了合成模型和识别模型之间的相互优化过程，该过程通过IACycleGAN迭代合成更好的图像，并通过生成的和真实样本的三重丢失来增强识别模型。使用广泛使用的CUFS和CUFSF数据库上的photo-to-sketch和sketch-to-photo任务进行了广泛的实验。实验结果表明，该方法在合成图像质量和草图识别精度方面均优于现有的几种方法。
2021-03-30 cs.CV
InterPhys: Physics-aware Human Motion Synthesis in a Dynamic Scene
Australian National University（澳大利亚国立大学）
本文提出了一种具有物理意识的人体运动生成框架，通过建模人体相关力的全谱，包括人体-物体、人体-环境和内部身体动力学，提升动态场景中人体运动的物理合理性。
2026-05-01 cs.CV
Length-Aware Motion Synthesis via Latent Diffusion
Sapienza University of Rome（罗马第一大学）
针对现有运动合成对目标时长控制不足的问题，提出长度感知潜在扩散模型LADiff，通过长度感知VAE和长度一致扩散模块，在HumanML3D和KIT-ML基准上显著提升合成质量。
2024-07-16 cs.CV
FAST: Foreground-aware Diffusion with Accelerated Sampling Trajectory for Segmentation-oriented Anomaly Synthesis
Global Institute of Future Technology, Shanghai Jiao Tong University, Shanghai, China（上海交通大学未来技术全球研究院）；School of Artificial Intelligence, Shenzhen University, Shenzhen, China（深圳大学人工智能学院）；Department of Intelligent Manufacturing, CATL, Ningde, China（CATL智能制造部门）；Department of Computer Science, City University of Hong Kong, Hong Kong, China（香港城市大学计算机科学系）
FAST提出一种前景感知扩散框架，通过AIAS和FARM模块提升工业异常合成效率与质量，实现更可控的结构特定异常生成。
2026-02-02 cs.CV
Diffusion Implicit Policy for Unpaired Scene-aware Motion Synthesis
本文提出扩散隐式策略DIP，通过解耦人-场景交互与运动合成，在推理中结合隐式策略优化和扩散去噪，实现无需配对数据的场景感知运动合成，并验证其在合成与真实场景中的优越性。
2025-11-10 cs.CV
SurfGen: Adversarial 3D Shape Synthesis with Explicit Surface Discriminators
Carnegie Mellon University（卡内基梅隆大学）；University of Chicago（芝加哥大学）
深度生成模型的最新进展导致了3D形状合成的巨大进步。虽然现有的模型能够合成表示为体素，点云，或隐式函数的形状，这些方法只能间接地执行最终的三维形状表面的可扩展性。在这里，我们提出了一个3D形状合成框架（SurfGen），它直接将对抗训练应用于对象表面。我们的方法使用可微球面投影层来捕获和表示隐式3D生成器的显式零等值面作为单位球面上定义的函数。通过在对抗设置中使用球形CNN处理3D对象表面的球形表示，我们的生成器可以更好地学习自然形状表面的统计数据。我们在大规模形状数据集上评估了我们的模型，并证明了端到端训练模型能够生成具有不同拓扑结构的高保真3D形状。
2022-01-01 cs.CV
Anatomy-Aware Synthesis of Post-Contrast Breast MRI from Pre-Contrast Images
提出一种解剖感知的深度学习框架，通过整合乳腺掩膜、病灶和BPE区域监督，从增强前MRI合成增强后图像，在649名患者数据上优于现有方法，并支持无对比剂工作流程。
2026-09-24 cs.CV
Learning 3D-aware Image Synthesis with Unknown Pose Distribution
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；HKUST（香港科技大学）；CUHK（香港中文大学）
现有的3D感知图像合成方法在很大程度上依赖于在训练集上预先估计的3D姿态分布。不准确的估计可能会误导模型学习错误的几何形状。这项工作提出了PoF3D，从3D姿态先验的要求中释放生成辐射场。我们首先配备一个高效的姿态学习器，它能够从潜在代码中推断出一个姿态，以自动近似底层的真实姿态分布。然后，我们分配的任务，学习姿态分布的监督下的生成器和区分真实和合成图像的预测姿态为条件。姿态自由生成器和姿态感知生成器以对抗方式联合训练。在几个数据集上的广泛结果证实，我们的方法在图像质量和几何质量方面的性能与最先进的水平相当。据我们所知，PoF3D首次证明了在不使用3D姿态先验的情况下学习高质量3D感知图像合成的可行性。
2023-03-23 cs.CV
Shape My Moves: Text-Driven Shape-Aware Synthesis of Human Motions
University of Maryland（马里兰大学）；Adobe Research（奥多比研究院）
本文提出一种文本驱动的形状感知人体动作合成方法，利用FSQ-VAE量化动作并结合预训练语言模型预测体型参数与动作标记，解决了现有方法忽略体型影响的问题，有效生成与文本对齐且形状感知的动作。
2025-04-04 cs.CV
Learning Descriptor Networks for 3D Shape Synthesis and Analysis
Hikvision Research Institute（海康威视研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Beijing Institute of Technology（北京理工大学）
本文提出了一种3D形状描述符网络，这是一种基于深度卷积能量的模型，用于对体积形状模式进行建模。该模型的最大似然训练遵循“综合分析”方案，并且可以被解释为模式搜索和模式转换过程。该模型可以通过MCMC（如Langevin动力学）从概率分布中采样来合成3D形状图案。该模型可用于通过MCMC教学训练三维生成器网络。3D形状描述符网的条件版本可用于3D对象恢复和3D对象超分辨率。实验表明，该模型可以生成逼真的三维形状图案，可以用于三维形状分析。
2018-04-02 cs.CV
ICE-GAN: Identity-aware and Capsule-Enhanced GAN with Graph-based Reasoning for Micro-Expression Recognition and Synthesis
University of Sydney（悉尼大学）；University of New South Wales（新南威尔士大学）
微表情是人们真实情感和动机的反映，因此吸引了越来越多的研究者对人脸微表情自动识别的研究。短的检测窗口，微妙的面部肌肉运动和有限的训练样本使得微表情识别具有挑战性。为此，我们提出了一种新的基于图推理的身份感知和胶囊增强的生成对抗网络（ICE-GAN），引入微表情合成作为辅助任务来辅助识别。生成器生成具有可控微表情和身份感知特征的合成人脸，其长期依赖性通过图推理模块（GRM）捕获，并且该生成器检测图像真实性和表情类。我们的ICE-GAN在Micro-Expression Grand Challenge 2019（MEGC 2019）上进行了评估，与获奖者相比有显著改善（12.9%），并超过了其他最先进的方法。
2021-04-26 cs.CV
ShapeWords: Guiding Text-to-Image Synthesis with 3D Shape-Aware Prompts
UMass Amherst（马萨诸塞大学阿默斯特分校）；CYENS CoE（CYENS联合学院）；University of Cyprus（塞浦路斯大学）；TU Crete（希腊技术大学）
ShapeWords通过融合3D形状信息与文本提示，提升文本到图像合成的准确性与3D结构感知能力。
2025-12-10 cs.AI cs.CV cs.GR
Real-Time Position-Aware View Synthesis from Single-View Input
Mid Sweden University（Mid Sweden大学）；Technical University of Berlin（柏林技术大学）；HTW Berlin - University of Applied Sciences（柏林应用科学大学）
提出轻量级位置感知网络，通过Position Aware Embedding和Rendering Network从单图像和目标位姿实时合成高质量新视图，无需显式几何操作，推动实时远程呈现应用。
2025-10-13 cs.CV cs.GR cs.MM
MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second
Peking University（北京大学）；ByteDance（字节跳动）；Carnegie Mellon University（卡内基梅隆大学）
MoVieS通过一秒钟内从单目视频重建4D动态场景，实现外观、几何和运动的统一建模，并支持多种零样本应用。
2026-02-22 cs.CV
FurryGAN: High Quality Foreground-aware Image Synthesis
Yonsei University（延世大学）
前景感知图像合成的目的是生成图像以及它们的前景蒙版。常见的方法是将图像公式化为前景图像和背景图像的掩蔽混合。这是一个具有挑战性的问题，因为它倾向于达到一个图像重叠另一个图像的琐碎解决方案，即，掩模变得完全满或空，并且前景和背景没有被有意义地分离。我们提出了FurryGAN的三个关键组件：1）强加的前景图像和合成图像是现实的，2）设计一个粗糙和精细的掩模组合的掩模，和3）指导生成器中的辅助掩模预测。我们的方法产生逼真的图像，非常详细的阿尔法面具，涵盖头发，毛皮和胡须在一个完全无监督的方式。
2022-08-22 cs.CV
ShapeAssembly: Learning to Generate Programs for 3D Shape Structure Synthesis
Brown University（布朗大学）；Adobe Research（Adobe 研究院）；University College London（伦敦大学学院）
手动创作3D形状既困难又耗时; 3D形状的生成模型提供了令人信服的替代方案。程序表示就是这样一种可能性：它们提供高质量和可编辑的结果，但很难创作，而且往往产生的输出多样性有限。另一个极端是深度生成模型：给定足够的数据，它们可以学习生成任何类型的形状，但它们的输出具有伪影，并且表示不可编辑。在本文中，我们采取了一个步骤，实现最好的两个世界的新的3D形状合成。我们提出了一个特定于领域的“汇编语言”的三维形状结构的形状组装。ShapeAssembly程序通过声明长方体部件代理并将它们以分层和对称的方式彼此连接来构造形状。它的功能是参数化的自由变量，使一个程序结构是能够捕捉一个家庭的相关形状。我们展示了如何从PartNet数据集中现有的形状结构中提取ShapeAssembly程序。然后，我们训练一个深度生成模型，一个层次序列VAE，它学习编写新颖的ShapeAssembly程序。程序捕获可解释和可编辑的可变性子集。深度模型捕获了形状集合之间的关联，这些关联很难在程序上表达。我们评估我们的方法，通过比较我们生成的程序输出的形状，从其他最近的形状结构合成模型。我们发现我们生成的形状比其他方法更合理和物理有效。此外，我们评估了这些模型的潜在空间，发现我们的模型结构更好，插值更平滑。作为一个应用程序，我们使用我们的生成模型和可微程序解释器来推断和拟合形状程序的非结构化几何形状，如点云。
2020-09-17 cs.CV cs.GR cs.LG
Context-aware Synthesis for Video Frame Interpolation
Portland State University（波特兰州立大学）
视频帧内插算法通常估计光流或其变化，然后使用它来指导两个连续原始帧之间的中间帧的合成。为了应对遮挡等挑战，通常会估计两个输入帧之间的双向流，并将其用于扭曲和混合输入帧。然而，如何有效地融合两个扭曲的帧仍然是一个具有挑战性的问题。本文提出了一种上下文感知的合成方法，不仅扭曲的输入帧，但他们的像素的上下文信息，并用它们来插入一个高质量的中间帧。具体来说，我们首先使用一个预先训练好的神经网络来提取输入帧的每像素上下文信息。然后，我们采用一个国家的最先进的光流算法来估计它们之间的双向流动和预扭曲输入帧和它们的上下文映射。最后，与混合预变形帧的常见方法不同，我们的方法将它们及其上下文映射馈送到视频帧合成神经网络，以上下文感知的方式生成插值帧。我们的神经网络是完全卷积的，并且是端到端训练的。我们的实验表明，我们的方法可以处理具有挑战性的场景，如遮挡和大运动，并优于代表性的最先进的方法。
2018-03-29 cs.CV
Decoupling Shape and Density for Liver Lesion Synthesis Using Conditional Generative Adversarial Networks
IBM Research（IBM研究院）
随着用于增强训练数据、绘制病变演变场景或辅助专家训练的高效生成模型的兴起，病变合成受到了广泛关注。合成数据的质量和多样性在很大程度上取决于用于训练模型的注释数据，这些模型往往很难从训练样本中获得非常不同但真实的样本。这增加了病变分割算法的固有偏差，并限制了有效地合成病变演变场景。本文提出了一种用于解耦肝脏病变合成的形状和密度的方法，创建了一个允许直接驱动合成的框架。我们提供的定性结果表明，通过单独修改形状和密度的合成控制，和定量的结果表明，在发电机模型中嵌入的密度信息，有助于提高病变分割性能相比，单独使用的形状。
2021-06-01 cs.CV eess.IV
A geometrically aware auto-encoder for multi-texture synthesis
LTCI, Télécom Paris, IP Paris（巴黎电信学院LTCI实验室，巴黎理工学院）；ONERA, Université Paris Saclay（巴黎萨克雷大学，法国航空航天研究院）
本文提出一种用于多纹理合成的几何感知自编码器，通过紧凑编码器与自适应周期性内容生成器将纹理表示与空间组织解耦，在视觉质量与纹理指标上优于现有前馈方法。
2023-06-29 cs.AI cs.CV
Consistent Zero-shot 3D Texture Synthesis Using Geometry-aware Diffusion and Temporal Video Models
Department of Image, Chung-Ang University（Chung-Ang大学图像系）；Graphics AI Lab, NCSOFT（NCSOFT图形AI实验室）；Department of Computer Science, University of Seoul（首尔大学计算机科学系）
提出VideoTex框架，利用视频生成模型和几何感知条件解决3D纹理合成中的时空不一致问题，通过结构级UV扩散策略提升遮挡区域生成质量，实现高保真且时空稳定的纹理合成。
2025-06-26 cs.AI cs.CV cs.GR
3D-aware Image Synthesis via Learning Structural and Textural Representations
The Chinese University of Hong Kong（香港中文大学）；Zhejiang University（浙江大学）；Bytedance Inc.（字节跳动公司）
使生成模型具有3D意识，将2D图像空间和3D物理世界连接起来，但仍然具有挑战性。最近的尝试为生成对抗网络（GAN）配备了神经辐射场（NeRF），其将3D坐标映射到像素值，作为3D先验。然而，NeRF中的隐式函数具有非常局部的感受野，使得生成器难以意识到全局结构。同时，NeRF是建立在体渲染，这可能是太昂贵，以产生高分辨率的结果，增加了优化的难度。为了缓解这两个问题，我们提出了一个新的框架，称为VolumeGAN，高保真3D感知图像合成，通过明确学习的结构表示和纹理表示。我们首先学习一个特征量来表示底层结构，然后使用NeRF模型将其转换为特征场。特征字段进一步累积到2D特征图中作为纹理表示，随后是用于外观合成的神经渲染器。这样的设计使得能够独立地控制形状和外观。广泛的数据集上的大量实验表明，我们的方法实现了足够高的图像质量和更好的3D控制比以前的方法。
2022-04-18 cs.CV
Training-Free Location-Aware Text-to-Image Synthesis
The University of Tokyo（东京大学）；CyberAgent, Inc.（赛博代理公司）
针对文本生成图像难以精确控制物体位置的问题，本文分析 stable diffusion 生成机制，提出无需额外训练的交互式位置指定范式及基于物体检测的评估指标，并在控制能力与图像质量上超越现有方法。
2023-04-26 cs.CV
Geometry-Aware Single-Image 4D Synthesis via Dense Trajectory Generation
Department of Automation, Tsinghua University（自动化系，清华大学）
针对单图像4D合成挑战，提出MoGe4D框架，通过密集轨迹生成实现几何感知合成。引入数据集，构建4D-STraG及4D-ViSM。实验证明该方法能生成高质量4D场景，具强时空连贯性和几何感知一致性。
2026-07-09 cs.CV
ArtNeRF: A Stylized Neural Field for 3D-Aware Cartoonized Face Synthesis
Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
提出ArtNeRF框架，结合3D感知GAN、对比学习风格编码器与自适应风格混合模块，实现了高质量、任意风格的3D感知卡通人脸合成与实时渲染。
2024-04-26 cs.CV
Learning Part Generation and Assembly for Structure-aware Shape Synthesis
National University of Defense Technology（国防科技大学）
学习用于3D形状合成的强大的深度生成模型在很大程度上受到难以确保包含正确拓扑和合理几何结构的可扩展性的阻碍。事实上，学习合理的3D形状的分布对于整体方法来说似乎是一项艰巨的任务，因为即使在同一类别中，3D对象的拓扑变化也很大。受3D形状结构被表征为部件组成和放置的事实的启发，我们建议使用部件感知的深度生成网络（称为PAGENet）来对3D形状变化进行建模。该网络由一系列每个部件的VAE-GAN组成，生成构成完整形状的语义部件，然后是一个部件组装模块，该模块估计每个部件的转换，以将它们关联并组装成一个合理的结构。通过将零件组成和零件放置的学习委托给单独的网络，大大降低了对3D形状的结构变化建模的难度。我们通过定性和定量评估证明PAGENet生成具有合理，多样和详细结构的3D形状，并显示两个应用，即，语义形状分割和基于零件的形状编辑。
2020-01-25 cs.CV
SAFE-Diff: Scale-Aware Attention and Feature-Dispersive Diffusion with Uncertainty Estimation for Contrast-Enhanced Breast MRI Synthesis
Department of Medical Imaging, Radboud University Medical Center（鲁文大学医学中心医学影像部）；Department of Radiology, Netherlands Cancer Institute（荷兰癌症研究所放射科）；Maastro Clinic（马斯垂克诊所）；Faculty of Applied Science, Macao Polytechnic University（澳门理工大学应用科学学院）；Department of Radiation Oncology, Netherlands Cancer Institute（荷兰癌症研究所放射肿瘤科）
提出SAFE-Diff模型，通过尺度感知注意力、特征分散扩散和不确定性估计，解决对比增强乳腺MRI合成中复杂病灶纹理和异质性增强模式的挑战。
2026-05-26 cs.CV
Enhancing Large Multimodal Models in Key Information Extraction via Scene-Aware Document Synthesis
Alibaba Group（阿里巴巴集团）；Qwen Team, Alibaba Group（阿里巴巴集团之通义千问团队）；Taobao and Tmall Group, Alibaba（阿里巴巴淘宝和天猫集团）；Zhejiang University（浙江大学）
研究关键信息提取难题，提出场景感知文档合成框架SAYRE，利用示例文档生成训练数据，引入错误驱动生成，提升Qwen3-VL骨干性能，证明该方法是改进多模态KIE的有效数据中心方法。
2026-07-07 cs.CV
Geo-NVS-w: Geometry-Aware Novel View Synthesis In-the-Wild with an SDF Renderer
Centre for Research and Technology Hellas (CERTH)（希腊研究中心与技术中心）
Geo-NVS-w通过SDF渲染器实现野外高保真新视角合成，采用几何保持损失提升细节精度，显著降低能耗。
2026-01-13 cs.AI cs.CV cs.GR
Towards Better Adversarial Synthesis of Human Images from Text
University of Bonn（波恩大学）
本文提出了一种从文本生成多个三维人体网格的方法。在SMPL模型的基础上，用三维网格表示人体形状。该模型的性能在COCO数据集上进行评估，该数据集包含具有挑战性的人体形状和个体之间复杂的交互。该模型能够捕获场景的动态和基于文本的个体之间的交互。我们进一步展示了如何使用这样的形状作为图像合成框架的输入，有助于约束网络以合成具有真实人类形状的人类。
2021-07-05 cs.CV
Generative Novel View Synthesis with 3D-Aware Diffusion Models
Stanford University（斯坦福大学）；NVIDIA（英伟达）
提出一种基于扩散模型的方法，通过结合2D扩散骨干网络与3D特征体几何先验，从单张图像实现3D感知的生成式新视角合成及3D一致序列的自回归合成，并在合成与真实场景中取得先进效果。
2023-04-05 cs.AI cs.CV cs.GR
Semantic 3D-aware Portrait Synthesis and Manipulation Based on Compositional Neural Radiance Field
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；ByteDance Ltd（字节跳动公司）；Nanjing University（南京大学）
提出组合神经辐射场（CNeRF），通过为各语义区域学习独立辐射场并解耦形状与纹理，实现细粒度语义操控与高质量3D一致人像合成。
2023-04-10 cs.CV
Few-shot Novel View Synthesis using Depth Aware 3D Gaussian Splatting
University of California Santa Cruz（加州大学圣克鲁兹分校）
本文提出一种用于少样本新视角合成的深度感知3D高斯泼溅方法，利用单目深度先验、尺度不变深度损失、低阶球谐函数建模并保留所有泼溅，显著提升了少视角下的重建质量与渲染效果。
2024-10-14 cs.AI cs.CV cs.GR
CIPS-3D: A 3D-Aware Generator of GANs Based on Conditionally-Independent Pixel Synthesis
Shanghai Jiao Tong University（上海交通大学）；Huawei Inc.（华为公司）
基于样式的GAN（StyleGAN）架构在生成高质量图像方面取得了最先进的成果，但它缺乏对相机姿态的明确和精确控制。最近提出的基于NeRF的GANs在3D感知生成器方面取得了很大进展，但它们还无法生成高质量的图像。CIPS-3D是一种基于风格的3D感知生成器，由浅层NeRF网络和深层隐式神经表示（INR）网络组成。生成器独立地合成每个像素值，而不进行任何空间卷积或上采样操作。此外，我们诊断镜像对称的问题，这意味着一个次优的解决方案，并解决它通过引入一个辅助的矩阵。CIPS-3D经过原始单视图图像训练，在FFHQ上的$256\times256$分辨率下，其FID为6.97，创下了3D感知图像合成的新纪录。我们还展示了CIPS-3D的几个有趣的方向，如迁移学习和3D感知的面部风格化。合成结果最好以视频形式观看，因此我们建议读者查看我们的github项目https://github.com/PeterouZh/CIPS-3D
2021-10-19 cs.CV eess.IV
PhysGaia: A Physics-Aware Benchmark with Multi-Body Interactions for Dynamic Novel View Synthesis
Computer Vision Laboratory, Seoul National University（首尔大学计算机视觉实验室）
PhysGaia是首个关注动态新视角合成中物理一致性重建的基准，包含复杂多体交互场景和多种材料，提供高保真物理模拟和真实轨迹数据以推动相关研究。
2026-04-06 cs.AI cs.CV cs.GR
Variation-Aware Semantic Image Synthesis
Jeonbuk National University（全北国立大学）；Mokpo National University（木浦国立大学）
本文针对语义图像合成中类内多样性不足的问题，提出变异性感知框架VASIS，通过引入语义噪声和位置编码提升类内变异，实验表明生成图像更自然且FID和mIoU指标略有提升。
2023-01-25 cs.CV
3D-Aware Indoor Scene Synthesis with Depth Priors
The Hong Kong University of Science and Technology（香港科技大学）
尽管生成对抗网络（GANs）最近在从2D数据学习3D感知图像合成方面取得了进展，但由于房间布局和内部对象的多样性，现有方法无法对室内场景进行建模。我们认为，室内场景不具有共享的内在结构，因此仅使用2D图像不能充分引导模型与3D几何。在这项工作中，我们通过引入深度作为3D先验来填补这一空白。与其他3D数据格式相比，深度更适合基于卷积的生成机制，并且在实践中更容易访问。具体来说，我们提出了一个双路径生成器，其中一个路径负责深度生成，其中间特征被注入到另一个路径作为外观渲染的条件。这样的设计简化了具有显式几何信息的3D感知合成。同时，我们引入了一个可切换的开关，以区分真实和真实。伪域并从给定输入预测深度。以这种方式，该传感器可以考虑空间布置，并建议生成器学习适当的深度条件。大量的实验结果表明，我们的方法能够合成室内场景，具有令人印象深刻的良好质量和3D一致性，显着优于最先进的替代品。
2022-02-18 cs.CV
Hard Example Generation by Texture Synthesis for Cross-domain Shape Similarity Learning
Alibaba Group（阿里巴巴集团）；The University of Melbourne（墨尔本大学）；The University of Sydney（悉尼大学）
基于图像的三维形状检索（IBSR）的目的是从一个大型的三维形状数据库中找到一个给定的二维图像对应的三维形状。常见的例程是将2D图像和3D形状映射到嵌入空间中，并定义（或学习）形状相似性度量。虽然具有一些自适应技术的度量学习似乎是形状相似性学习的自然解决方案，但对于细粒度形状检索，性能往往不令人满意。在本文中，我们找出了性能不佳的根源，并提出了解决该问题的实用解决方案。我们发现负对之间的形状差异与纹理间隙纠缠在一起，使得度量学习在推开负对时无效。为了解决这个问题，我们开发了一个以几何为中心的多视图度量学习框架，该框架由纹理合成授权。3D形状模型的纹理合成创建了硬三元组，这抑制了2D图像中丰富纹理的不利影响，从而推动网络更多地关注于发现几何特征。我们的方法在最近发布的大规模3D-FUTURE[1]存储库以及三个广泛研究的基准测试中显示了最先进的性能，包括Pix 3D [2]，Stanford Cars[3]和Comp Cars[4]。代码将在以下网址公开：https://github.com/3D-FRONT-FUTURE/IBSR-texture
2020-10-27 cs.CV
EmoTaG: Emotion-Aware Talking Head Synthesis on Gaussian Splatting with Few-Shot Personalization
Michigan State University（密歇根州立大学）；Qualcomm Technologies Inc.（高通技术公司）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出EmoTaG框架，通过结构化FLAME参数空间改进运动稳定性，结合门控残差运动网络实现情绪感知的高质量谈话头合成。
2026-03-28 cs.CV
DCL: Differential Contrastive Learning for Geometry-Aware Depth Synthesis
Zhejiang University（浙江大学）；Stanford University（斯坦福大学）
针对非配对真实感深度合成中的几何一致性问题，提出任务无关的差分对比学习方法 DCL，使所学真实变化不改变底层几何，并在多项几何推理任务上验证其优越性能与迁移能力。
2022-02-28 cs.CV
Task-Oriented Human Grasp Synthesis via Context- and Task-Aware Diffusers
National Yang Ming Chiao Tung University（阳明交通大学）；NVIDIA（英伟达）
本文研究面向任务的人手抓取合成任务，提出一种基于任务感知接触图的两阶段流水线，通过融合场景与任务信息显著提升了抓取质量与任务性能。
2025-07-15 cs.CV cs.RO
Generative VoxelNet: Learning Energy-Based Models for 3D Shape Synthesis and Analysis
Baidu Research（百度研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；ETH Zürich（苏黎世联邦理工学院）；Tsinghua University（清华大学）；Peking University（北京大学）
三维数据包含了丰富的物体和场景的几何信息，对于理解三维物理世界具有重要价值。随着近年来大规模3D数据集的出现，拥有一个强大的3D生成模型来进行3D形状合成和分析变得越来越重要。本文提出了一种基于能量的深度3D模型来表示体积形状。模型的最大似然训练遵循“综合分析”方案。该模型的优点有六个方面：第一，与GANs和VAE不同，模型训练不依赖任何辅助模型;第二，模型可以通过马尔可夫链蒙特卡罗（MCMC）合成逼真的3D形状;第三，条件模型可以应用于3D对象恢复和超分辨率;第四，该模型可以作为用于高分辨率3D形状合成的多网格建模和采样框架中的构件块;第五，该模型可以用于通过MCMC教学训练3D生成器;第六，无监督训练的模型为3D数据提供了强大的特征提取器，这对于3D对象分类是有用的。实验表明，该模型可以生成高质量的三维形状模式，可以用于各种各样的三维形状分析。
2020-12-25 cs.CV
TumorGen: Boundary-Aware Tumor-Mask Synthesis with Rectified Flow Matching
The Chinese University of Hong Kong（香港中文大学）；City University of Hong Kong（香港城市大学）；Massachusetts General Hospital and Harvard Medical School（哈佛医学院麻省总医院）
提出TumorGen，一种基于整流流匹配的边界感知3D肿瘤掩码合成方法，通过边界框替代二值掩码、同时合成潜变量与掩码及VAE细化边界，在提升计算效率的同时保持病理准确性，优于现有方法。
2025-05-30 cs.CV eess.IV
3D Geometry-aware Deformable Gaussian Splatting for Dynamic View Synthesis
Northwestern Polytechnical University（西北工业大学）；Samsung R&D Institute（三星研发研究院）
针对现有NeRF类动态视图合成方法形变缺乏几何一致性的问题，提出融合3D几何特征的可变形Gaussian Splatting方法，在合成与真实数据集上取得SOTA性能，提升动态视图合成与3D重建效果。
2024-04-14 cs.CV
Center-aware Residual Anomaly Synthesis for Multi-class Industrial Anomaly Detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；State Key Laboratory of Precision Measurement Technology and Instruments, Department of Precision Instrument, Tsinghua University（清华大学精密仪器测量技术及仪器国家重点实验室）
提出中心感知残差异常合成方法，通过统一中心与距离引导合成，解决多类工业异常检测中的类间干扰和类内重叠问题，提升检测精度。
2025-05-23 cs.CV
