Jointly Understand Your Command and Intention:Reciprocal Co-Evolution between Scene-Aware 3D Human Motion Synthesis and Analysis
该研究提出CESA协同演化流水线，结合级联三阶段生成策略，实现3D场景下人体运动合成与分析任务的相互促进，同时提升两类任务的性能。
2025-03-20 cs.CV
Human Synthesis and Scene Compositing
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；Lund University（隆德大学）
生成具有控制外观、姿势和形状参数的能力的良好质量和几何上合理的人类合成图像对于从照片编辑、时尚虚拟试穿到特效和图像压缩的各种任务已经变得越来越重要。在本文中，我们提出了HUSC，一个人的合成和场景合成框架的现实合成的人与不同的外观，在新的姿势和场景。我们制定的核心是三维推理的人和场景，以产生逼真的拼贴画，通过正确建模的透视效果和遮挡，考虑到场景语义，并充分处理相对规模。从概念上讲，我们的框架由三个部分组成：（1）一个人的图像合成模型与可控的姿势和外观，基于参数表示，（2）一个人的插入过程，利用几何形状和语义的3D场景，和（3）外观合成过程中创建一个无缝的混合场景和生成的人的图像的颜色，并避免视觉伪影。我们的框架的性能得到了定性和定量结果的支持，特别是DeepFashion数据集的最先进的综合得分。
2019-10-18 cs.CV
wildNeRF: Complete view synthesis of in-the-wild dynamic scenes captured using sparse monocular data
University of Toronto（多伦多大学）
我们提出了一种新的神经辐射模型，是可训练的自监督的方式，新的动态非结构化场景的视图合成。我们的端到端可训练算法可在几秒钟内学习高度复杂的真实静态场景，并在几分钟内学习具有刚性和非刚性运动的动态场景。通过区分静态和以运动为中心的像素，我们从稀疏的图像集创建高质量的表示。我们对现有的基准进行了广泛的定性和定量评估，并在具有挑战性的NVIDIA动态场景数据集上设置了最先进的性能指标。此外，我们还评估了我们的模型在具有挑战性的现实世界数据集上的性能，如Cholec80和Surgicalpaths 160。
2022-09-20 cs.CV
RoomPilot: Controllable Indoor Scene Synthesis via Multimodal Semantic Parsing
School of Information Science and Engineering, Hunan University（信息科学与工程学院，湖南大学）
该研究提出RoomPilot框架，通过多模态语义解析实现可控的室内场景合成，解决了现有方法输入模态有限和生成过程隐式的问题，提高了场景结构和语义的可控性。
2026-05-19 cs.CV
SceneTex: High-Quality Texture Synthesis for Indoor Scenes via Diffusion Priors
Technical University of Munich（慕尼黑工业大学）；Snap Research（Snap研究院）
SceneTex提出一种基于深度到图像扩散先验的室内场景纹理合成方法，通过多分辨率纹理场和交叉注意力解码器在RGB空间中优化生成高质量且风格一致的纹理，在3D-FRONT场景上显著优于已有方法。
2023-11-28 cs.CV
Robust Synthesis of Adversarial Visual Examples Using a Deep Image Prior
University of Surrey（萨里大学）；Adobe Research（奥多比研究院）
我们提出了一种新的方法，用于生成鲁棒的对抗性图像示例，该方法基于最近的“深度图像先验”（DIP），该方法利用卷积网络架构在图像合成中执行合理的纹理。对抗性图像通常通过扰动图像来引入高频噪声来产生，高频噪声引起图像误分类，但是对于随后的图像数字操作来说是脆弱的。我们表明，使用DIP在对抗约束下重建图像会引起对仿射变形更鲁棒的扰动，同时保持视觉上不可感知。此外，我们表明，我们的DIP方法也可以适应当地的对抗补丁（“对抗贴纸”）。我们在从ImageNet数据集中提取的广泛图像和对象类上展示了强大的对抗性示例。
2019-07-03 cs.CV
Adversarial Model for Rotated Indoor Scenes Planning
Technique Center Ihome Corporation（艾佳家居技术中心）；IBM Research（IBM研究院）
在本文中，我们提出了一个对抗模型，用于在室内房间旋转时产生家具布局以进行室内场景合成。该模型结合了条件对抗网络，旋转模块，模式模块和旋转模块。与已有的场景合成方法相比，本文提出的三个模块增强了场景自动布局生成的能力，减少了室内场景旋转过程中的模式坍塌。我们进行我们的实验，建议现实世界的室内布局数据集，其中包含14400设计的专业设计师。我们的数值结果表明，该模型产生更高质量的布局为四种类型的房间，包括卧室，浴室，书房，和榻榻米室。
2020-07-07 cs.CV
An Introduction to Image Synthesis with Generative Adversarial Nets
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；ByteDance AI Lab（字节跳动人工智能实验室）
在过去的几年里，生成对抗网络（GANs）的研究急剧增长。GAN于2014年提出，目前已应用于计算机视觉和自然语言处理等多种应用，并取得了令人瞩目的性能。在GAN的众多应用中，图像合成是研究最多的一个，这一领域的研究已经证明了将GAN用于图像合成的巨大潜力。在本文中，我们提供了一个分类的图像合成中使用的方法，审查不同的模型，文本到图像的合成和图像到图像的翻译，并讨论了一些评价指标，以及可能的未来研究方向与GAN的图像合成。
2018-11-17 cs.CV
Realistic Image Synthesis with Configurable 3D Scene Layouts
POSTECH（浦项科技大学）；Microsoft Research Asia（微软亚洲研究院）
最近的条件图像合成方法提供高质量的合成图像。然而，精确地调整图像内容（诸如对象的位置和方向）仍然是具有挑战性的，并且合成的图像经常具有几何无效的内容。为了给用户提供丰富的可控性方面的合成图像的三维几何，我们提出了一种新的方法来逼真的图像合成的基础上可配置的三维场景布局。我们的方法将具有语义类标签的3D场景作为输入，并训练3D场景绘画网络，该网络为输入的3D场景合成颜色值。使用经过训练的绘画网络，可以渲染和操纵输入3D场景的逼真图像。为了训练没有3D颜色监督的绘画网络，我们开发了一种现成的2D语义图像合成方法。在实验中，我们表明，我们的方法产生的图像具有几何正确的结构，并支持几何操作，如改变的观点和对象构成以及操纵的绘画风格。
2021-08-24 cs.CV
AdvFaces: Adversarial Face Synthesis
Michigan State University（密歇根州立大学）；Lenovo Inc.（联想公司）
人脸识别系统已经被证明容易受到对抗性样本的影响，这些样本是通过向探测图像添加小扰动而产生的。这种对抗性图像可能会导致最先进的人脸识别系统错误地拒绝真正的主体（混淆攻击）或错误地匹配到冒名顶替者（模仿攻击）。目前制作对抗性人脸图像的方法缺乏感知质量，并且需要花费不合理的时间来生成它们。我们提出，AdvFaces，一个自动化的对抗人脸合成方法，学习通过生成对抗网络在突出的面部区域生成最小的扰动。一旦AdvFaces经过训练，它可以自动生成无法察觉的扰动，这些扰动可以逃避最先进的面部匹配器，混淆和模仿攻击的攻击成功率分别高达97.22%和24.30%。
2019-08-14 cs.CV
InstructScene: Instruction-Driven 3D Indoor Scene Synthesis with Semantic Graph Prior
Peking University（北京大学）
针对三维室内场景合成中自然语言指令可控性不足的问题，提出InstructScene框架，结合语义图先验与布局解码器，提升生成可控性与保真度，并构建高质量数据集，实验大幅超越现有方法。
2024-02-07 cs.CV
A3S: Adversarial learning of semantic representations for Scene-Text Spotting
Fast Accounting Co., Ltd.（快速会计有限公司）
场景文本识别是在自然场景图像上预测文本区域并同时识别文本字符的任务。近年来，由于其广泛的应用，它引起了人们的广泛关注。现有的研究主要集中在改进文本区域检测，而不是文本识别。因此，虽然提高了检测精度，但端到端的精度不足。自然场景图像中的文本往往不是随机的字符串，而是有意义的字符串，即单词。因此，我们提出了对场景文本识别（A3S）的语义表示进行对抗性学习，以提高端到端的准确性，包括文本识别。A3S同时预测检测到的文本区域中的语义特征，而不是仅基于现有的视觉特征进行文本识别。在公开数据集上的实验结果表明，该方法比其他方法具有更好的准确性。
2023-02-21 cs.CV
Auto-Encoding Progressive Generative Adversarial Networks For 3D Multi Object Scenes
Dwarkadas J. Sanghvi College of Engineering（德瓦卡达斯·J·桑格维工程学院）；University of Mumbai（孟买大学）
3D多对象生成模型使我们能够合成大量新颖的3D多对象场景，并识别对象，形状，布局及其位置。但由于数据集的多模态性，多目标场景的创建比较困难。传统的3D生成式对抗模型在生成多目标场景时效率不高，它们通常倾向于生成一个目标或生成多个目标的模糊结果。自动编码器模型在概率空间中使用无监督范式进行特征提取和表示学习方面具有很大的范围。我们试图利用这个属性在我们提出的模型。在本文中，我们提出了一种新的架构，使用渐进式训练范式训练的3DConvNets，能够生成具有各种家具和物体的房间，卧室，办公室等的逼真高分辨率3D场景。我们使用对抗自动编码器以及WGAN-GP损失参数在我们的网络损失函数中。最后，这种新的多对象场景生成方法也能够在每个场景中生成更多数量的对象。
2019-03-08 cs.CV
RF4D:Neural Radar Fields for Novel View Synthesis in Outdoor Dynamic Scenes
Nanyang Technological University, Singapore（南洋理工大学，新加坡）
RF4D通过引入雷达特定的神经场框架，提升户外动态场景中新型视角合成的鲁棒性和准确性。
2026-03-12 cs.CV
3D Semantic Scene Completion from a Single Depth Image using Adversarial Training
RWTH Aachen University（亚琛工业大学）；University of Bonn（波恩大学）
我们解决了3D语义场景完成的任务，即，给定单个深度图像，我们预测表示场景的3D网格中的体素的语义标签和占用。鉴于最近引入的生成对抗网络（GAN），我们的目标是探索这种模型的潜力和各种重要设计选择的效率。我们的结果表明，使用条件GANs优于普通GAN设置。我们在几个数据集上评估这些架构设计。基于我们的实验，我们证明了GANs能够在干净注释的情况下优于基线3D CNN的性能，但它们遭受对齐不良的注释。
2019-05-15 cs.CV
Scene Synthesis via Uncertainty-Driven Attribute Synchronization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Kuaishou Technology（快手科技）
开发深度神经网络以生成3D场景是神经合成中的一个基本问题，其直接应用于建筑CAD、计算机图形学以及生成虚拟机器人训练环境。这项任务是具有挑战性的，因为3D场景表现出不同的模式，从连续的，如对象大小和形状对之间的相对姿态，离散的模式，如对称关系的对象的出现和共现。本文介绍了一种新的神经场景合成方法，可以捕捉不同的特征模式的三维场景。我们的方法结合了基于神经网络和传统场景合成方法的优势。我们使用从训练数据中学习的参数先验分布，它提供了对象属性和相关属性的不确定性，以正则化前馈神经模型的输出。此外，我们的方法不是仅仅预测场景布局，而是预测一组过完备的属性。这种方法允许我们利用预测属性之间的基本一致性约束来修剪不可行的预测。实验结果表明，我们的方法大大优于现有的方法。生成的3D场景忠实地内插训练数据，同时保留连续和离散特征模式。
2021-09-01 cs.CV
SceneAdapt: Scene-based domain adaptation for semantic segmentation using adversarial learning
University of Catania（卡塔尼亚大学）；Park Smart s.r.l.（Park Smart有限责任公司）
得益于深度学习，语义分割方法已经取得了出色的性能。然而，当这些算法被部署到训练期间未看到的新上下文时，有必要收集和标记特定于场景的数据，以便使用微调使其适应新的域。由于不同视点引起的不同场景布局，每当移动已经安装的摄像机或在摄像机网络中引入新的摄像机时，都需要该过程。为了限制要收集的附加训练数据的量，理想的是使用已经可用的标记数据和仅来自新相机的未标记数据来训练语义分割方法。我们将这个问题形式化为一个领域自适应任务，并引入了一个新的数据集的城市场景与相关的语义标签。作为解决这一挑战性任务的第一种方法，我们提出了SceneAdapt，一种基于对抗学习的语义分割算法的场景自适应方法。与最先进的领域自适应方法的实验和比较突出表明，当两个场景具有不同的视角时，以及当它们包括完全不同场景的图像时，使用对抗性学习可以实现有希望的性能。为了鼓励对这个主题的研究，我们在我们的网页上提供了我们的代码：https://iplab.dmi.unict.it/ParkSmartSceneAdaptation/。
2020-06-18 cs.CV
Texture Representation via Analysis and Synthesis with Generative Adversarial Networks
Northwestern University（西北大学）；University of Rochester（罗切斯特大学）
我们研究数据驱动的纹理建模，通过分析和合成与生成对抗网络。对于网络训练和测试，我们已经编译了一组不同的空间均匀纹理，从随机到规则。我们采用StyleGAN 3进行合成，并证明它产生的纹理超出了训练数据中所表示的纹理。对于纹理分析，我们提出了GAN反演使用一种新的潜在域重建一致性标准的合成纹理，和迭代细化与Gramian损失的真实纹理。我们提出了评估网络能力的感知程序，探索潜在空间轨迹的全局和局部行为，并与现有的纹理分析合成技术进行比较。
2022-12-20 cs.CV
ResNeRF: Geometry-Guided Residual Neural Radiance Field for Indoor Scene Novel View Synthesis
ResNeRF提出几何引导的两阶段框架，先基于SDF重建场景几何，再学习残差密度编码外观细节，从而在大规模室内场景中实现高保真新视角合成并达到最先进性能。
2023-07-11 cs.CV
CLIP-Layout: Style-Consistent Indoor Scene Synthesis with Semantic Furniture Embedding
Meta AI
提出CLIP-Layout自回归场景模型，利用基于CLIP的图像嵌入进行实例级家具预测，实现风格一致、功能合理的室内场景合成，并支持零样本文本引导编辑。
2023-06-02 cs.CV
SceneNAT: Masked Generative Modeling for Language-Guided Indoor Scene Synthesis
Seoul National University（首尔国立大学）
SceneNAT通过掩码非自回归Transformer实现语言引导的室内场景合成，提升性能与效率，同时降低计算成本。
2026-08-12 cs.CV
Beyond RGB: Scene-Property Synthesis with Neural Radiance Fields
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
全面的三维场景理解，几何和语义，是重要的现实世界的应用，如机器人感知。大部分现有的工作都集中在开发数据驱动的判别模型的场景理解。本文从合成模型的角度出发，结合隐式三维表示和神经渲染的最新进展，提出了一种新的场景理解方法。在神经辐射场（NeRFs）的巨大成功的基础上，我们引入了具有NeRF的场景属性合成（SS-NeRF），其不仅能够从新颖的视角渲染照片级逼真的RGB图像，而且还能够渲染各种精确的场景属性（例如，外观、几何形状和语义）。通过这样做，我们促进解决各种场景理解任务下的统一框架，包括语义分割，表面法线估计，重绘，关键点检测和边缘检测。我们的SS-NeRF框架可以是一个强大的工具，用于桥接生成学习和判别学习，从而有利于调查的一系列有趣的问题，如研究任务关系的综合范式，转移知识到新的任务，促进下游的判别任务作为数据增强的方式，并作为自动标注数据创建。
2022-06-09 cs.CV
Generative Adversarial Networks for Image and Video Synthesis: Algorithms and Applications
NVIDIA（英伟达）；Google（谷歌）
生成对抗网络（GAN）框架已经成为各种图像和视频合成任务的强大工具，允许以无条件或有输入条件的方式合成视觉内容。它能够生成高分辨率的逼真图像和视频，这是一项具有挑战性或不可能使用现有方法的任务。它还导致在内容创作中创建许多新的应用程序。在本文中，我们提供了GANs的概述，特别关注视觉合成的算法和应用。我们涵盖了几个重要的技术来稳定GAN训练，这是出了名的困难。我们还讨论了它的应用，图像翻译，图像处理，视频合成，和神经渲染。
2020-11-30 cs.CV
DiffuScene: Denoising Diffusion Models for Generative Indoor Scene Synthesis
Technical University of Munich（慕尼黑工业大学）；Sony Europe RDC Stuttgart（索尼欧洲研发中心斯图加特分部）；Technical University of Darmstadt（达姆施塔特工业大学）
本研究提出DiffuScene扩散模型，通过无序对象属性去噪生成3D室内场景，支持场景补全等多种应用，在3D-FRONT数据集上表现优于现有最优方法。
2024-03-12 cs.CV
Contrastive Sequential-Diffusion Learning: Non-linear and Multi-Scene Instructional Video Synthesis
NOVA LINCS；NOVA School of Science and Technology（NOVA科技学院）；Google Research（谷歌研究院）
针对多场景教学视频合成中非线性时序下的视觉一致性难题，提出对比序列视频扩散方法，通过选择适配的历史场景引导去噪，实验验证其在真实动作数据上的实用性与一致性提升。
2024-12-06 cs.CV
Towards Diverse and Natural Scene-aware 3D Human Motion Synthesis
The Chinese University of Hong Kong（香港中文大学）；Hong Kong University of Science and Technology（香港科技大学）；Nanyang Technology University（南洋理工大学）
在真实世界场景中合成长期人体运动序列的能力可以促进许多应用。先前的场景感知运动合成方法受到预定义的目标对象或位置的约束，从而限制了合成运动的人-场景交互的多样性。在本文中，我们专注于合成不同的场景感知的目标动作序列的指导下，人体运动的问题。为了实现这一点，我们首先分解的多样性场景感知人体运动到三个方面，即交互多样性（例如，坐在不同的对象在给定的场景中具有不同的姿势），路径多样性（例如，移动到目标位置遵循不同的路径），和运动多样性（例如，在移动过程中有各种身体运动）。在此分解方案的基础上，提出了一个层次化的框架，每个子模块负责一个方面的建模。我们评估我们的框架的有效性，对两个具有挑战性的数据集场景感知人体运动合成。实验结果表明，该框架在多样性和自然性方面明显优于以往的方法。
2022-05-25 cs.CV
SAMPLING: Scene-adaptive Hierarchical Multiplane Images Representation for Novel View Synthesis from a Single Image
Peking University（北京大学）；Google Research（谷歌研究院）；University of California, Merced（加州大学默塞德分校）
本文提出SAMPLING，一种基于改进MPI的场景自适应分层多平面图像表示方法，通过自适应分箱策略和分层细化分支，解决了单张图像输入下无界室外场景新视角合成的难题，在KITTI等数据集上取得显著性能提升。
2023-09-13 cs.CV
End-to-End Optimization of Scene Layout
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）
我们提出了一个端到端的变分生成模型的场景布局合成场景图的条件。与无条件场景布局生成不同，我们使用场景图作为抽象但一般的表示来指导满足场景图中包含的关系的各种场景布局的合成。这使得对合成过程的控制更加灵活，允许各种形式的输入，例如从句子中提取或从单色图像中推断的场景布局。使用我们的条件布局合成器，我们可以生成共享输入示例的相同结构的各种布局。除了这个条件生成设计，我们还集成了一个微分渲染模块，使布局优化只使用场景的2D投影。给定深度和语义图，可微分渲染模块使得能够在合成布局上进行优化，以按合成分析的方式适合给定的输入。实验表明，我们的模型实现了更高的准确性和多样性的条件场景合成，并允许基于范例的场景生成从各种输入形式。
2020-07-23 cs.CV
S-INF: Towards Realistic Indoor Scene Synthesis via Scene Implicit Neural Field
Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China（电子科技大学深圳高等研究院）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；Sichuan Academy of Medical Sciences and Sichuan Provincial People’s Hospital（四川省医学科学院·四川省人民医院）
本文提出S-INF，通过隐式神经场解耦并融合场景布局与细粒度物体关系，结合可微渲染保证风格一致，在3D-FRONT上实现逼真室内场景合成。
2025-01-04 cs.CV
Language-driven Scene Synthesis using Multi-conditional Diffusion Model
FSOFT AI Center（FSOFT AI中心）；TU Wien（维也纳工业大学）；AIT GmbH（AIT有限公司）；Imperial College London（伦敦帝国理工学院）；Ton Duc Thang University（孙德胜大学）；University of Liverpool（利物浦大学）
提出语言驱动的场景合成任务，结合文本提示、人类动作和现有物体，通过显式预测指导点的多条件扩散模型统一处理多模态条件，优于现有基准并支持场景编辑。
2023-10-24 cs.CV
Text-Guided Scene Sketch-to-Photo Synthesis
rinna Co., Ltd.（林纳有限公司）；Osaka University（大阪大学）
我们提出了一种方法，场景级草图到照片合成与文本指导。虽然物体级草图到照片合成已经被广泛研究，但在没有充分反映目标风格的参考照片的情况下，全场景合成仍然具有挑战性。为此，我们利用最近大规模预训练生成模型的知识，从而实现文本引导的草图到照片合成，而无需参考图像。为了训练我们的模型，我们从一组照片中使用自监督学习。具体来说，我们使用一个预先训练的边缘检测器，将颜色和草图图像映射到一个标准化的边缘域，这减少了基于边缘的边缘图像（在训练过程中）和手绘草图图像（在推理过程中）之间的差距。我们通过微调潜空间扩散模型（即，稳定扩散）与草图和文本条件。实验表明，该方法将原始草图图像，而不是从彩色图像中提取的照片具有引人注目的视觉质量。
2023-02-14 cs.CV
DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D-aware Scene Synthesis
CUHK（香港中文大学）；Snap Inc.（Snap公司）；HKUST（香港科技大学）；ZJU（浙江大学）；KAUST（阿卜杜拉国王科技大学）；UCLA（加州大学洛杉矶分校）
现有的3D感知图像合成方法主要集中在生成一个单一的标准对象，并显示有限的能力，组成一个复杂的场景包含各种对象。本文介绍了一种用于高质量和可控场景合成的3Daware生成模型DisCoScene。我们的方法的关键成分是一个非常抽象的对象级表示（即，无语义标注的3D边界框）作为场景布局先验，其获得简单，通用于描述各种场景内容，并且还提供信息以解开对象和背景。此外，它还可以作为场景编辑的直观用户控件。基于这样的先验知识，该模型通过仅在具有全局-局部鉴别的2D图像上进行学习，将整个场景在空间上分解为以对象为中心的生成辐射场。我们的模型获得了单个对象的生成保真度和编辑灵活性，同时能够有效地将对象和背景组合成一个完整的场景。我们在许多场景数据集上展示了最先进的性能，包括具有挑战性的Waymo户外数据集。项目页面：https://snap-research.github.io/discoscene/
2022-12-22 cs.CV
Hierarchically-Structured Open-Vocabulary Indoor Scene Synthesis with Pre-trained Large Language Model
School of Software, Shandong University（山东大学软件学院）；School of Computer Science, National University of Defense Technology（国防科技大学计算机学院）；Shandong Research Institute of Industrial Technology（山东省产业技术研究院）
针对开放词汇室内场景合成中LLM输出难以转化为可行布局的问题，提出层次化场景描述、层次感知位置推断网络与分而治之布局优化，提升布局合理性及需求一致性。
2025-02-15 cs.CV
Forest2Seq: Revitalizing Order Prior for Sequential Indoor Scene Synthesis
USTC（中国科学技术大学）；Simon Fraser University（西蒙菲莎大学）
该研究提出Forest2Seq框架，通过聚类与广度优先遍历将无序对象组织为有序层级树和森林，并由transformer自回归生成3D室内场景，在FID、KL及下游任务上优于基线。
2024-07-07 cs.CV
Precomputed Real-Time Texture Synthesis with Markovian Generative Adversarial Networks
Institut for Informatik, University of Mainz（美因茨大学信息学研究所）
本文提出了马尔可夫生成对抗网络（MGANs），一种用于训练生成神经网络以实现高效纹理合成的方法。虽然深度神经网络方法最近在合成质量方面表现出了显着的效果，但它们仍然具有相当大的计算成本（低分辨率图像的运行时间为几分钟）。我们的论文解决了这个效率问题。我们预先计算了一个前馈的、跨越的卷积网络，而不是以前工作中的数值解卷积，该网络捕获马尔可夫补丁的特征统计，并能够直接生成任意维度的输出。这样的网络可以直接解码布朗噪声到现实的纹理，或照片到艺术绘画。通过对抗训练，我们获得了与最近的神经纹理合成方法相当的质量。由于在生成时不再需要优化，因此我们的运行时性能（25Hz下的0.25 M像素图像）远远超过了以前的神经纹理合成器（至少快500倍）。我们将这个想法应用到纹理合成，风格转移和视频风格化。
2016-04-15 cs.CV
GAMA: Generative Adversarial Multi-Object Scene Attacks
Vimaan AI；University of California, Riverside（加州大学河滨分校）
用于制作对抗攻击的大多数方法集中在具有单个主导对象的场景（例如，图片来自ImageNet）。另一方面，自然场景包括语义相关的多个主要对象。因此，探索设计超越单对象场景学习或攻击单对象受害者分类器的攻击策略至关重要。由于生成模型具有对未知模型的强扰动传递性，本文首次提出了利用生成模型对多目标场景进行对抗攻击的方法。为了表示输入场景中不同对象之间的关系，我们利用开源的预训练视觉语言模型CLIP（对比图像预训练），目的是利用语言空间和视觉空间中的编码语义。我们将这种攻击方法称为生成对抗多对象场景攻击（GAMA）。GAMA演示了CLIP模型作为攻击者的工具来训练多对象场景的强大扰动发生器的实用性。使用联合图像-文本特征来训练生成器，我们表明GAMA可以制作强有力的可转移扰动，以便在各种攻击设置中欺骗受害者分类器。例如，在黑盒设置中，GAMA触发的错误分类比最先进的生成方法多16%，其中攻击者的分类器架构和数据分布与受害者不同。我们的代码可以在这里找到：https://abhishekaich27.github.io/gama.html
2022-10-15 cs.CV
Pseudo-Generalized Dynamic View Synthesis from a Video
Apple（苹果公司）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文探讨从单目视频进行泛化动态新视角合成的可行性，提出无需场景特定外观优化的伪泛化方法，证明在几何与时间一致的深度估计下可优于部分场景特定方法。
2024-02-20 cs.CV
Adversarial Semantic Scene Completion from a Single Depth Image
Technische Universität München（慕尼黑工业大学）
我们提出了一种方法来重建，完整和语义标记的3D场景从一个单一的输入深度图像。我们通过一种基于对抗学习的新架构来提高回归语义3D地图的准确性。特别是，我们建议使用多个对抗性损失项，这些项不仅可以强制执行与地面真实值有关的现实输出，而且还可以有效嵌入内部特征。这是通过将处理部分2.5D数据的编码器的潜在特征与从训练成重建完整语义场景的变分3D自动编码器提取的潜在特征相关联来完成的。此外，与其他完全通过3D卷积操作的方法不同，在测试时，我们在下采样期间保留了输入的原始2.5D结构，以提高模型内部表示的有效性。我们在语义场景完成的主要基准数据集上测试我们的方法，以定性和定量地评估我们的建议的有效性。
2018-10-25 cs.CV
Painting 3D Nature in 2D: View Synthesis of Natural Scenes from a Single Semantic Mask
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
该研究提出一种从单一语义掩码合成自然场景多视图一致彩色图像的新方法，以语义场为中间表示，无需多视图监督或类别级先验，优于基线方法且能生成逼真视频。
2025-04-12 cs.CV
Geometry Guided Adversarial Facial Expression Synthesis
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
人脸表情合成是计算机图形学和模式识别领域的研究热点。它在人脸动画和人脸识别中得到了广泛的应用。然而，它仍然是具有挑战性的，由于高层次的语义存在的大和非线性的面部几何形状的变化。本文提出了一种几何引导的生成对抗网络（G2-GAN），用于照片级真实感和身份保持的面部表情合成。我们采用面部几何形状（基准点）作为可控条件来指导具有特定表情的面部纹理合成。一对生成对抗子网络被联合训练用于相反的任务：表达删除和表达合成。配对网络形成了中性表情和任意表情之间的映射循环，这也促进了其他应用，如人脸传输和表情不变人脸识别。实验结果表明，我们的方法可以产生令人信服的感知结果在各种面部表情合成数据库。一个表情不变的人脸识别实验也进一步显示我们所提出的方法的优点。
2017-12-10 cs.CV
Unified Panoramic-Gaussian Representation for Monocular 4D Scene Synthesis
School of Data Science, Fudan University（复旦大学数据科学学院）；Central Media Technology Institute, Huawei（华为中央媒体技术研究院）
提出PanoGaussian，结合全景轨迹引导与显式动态高斯表示，解决单目视频4D场景合成中视角外区域推断不一致和动态内容建模问题。
2026-07-03 cs.CV
InterPhys: Physics-aware Human Motion Synthesis in a Dynamic Scene
Australian National University（澳大利亚国立大学）
本文提出了一种具有物理意识的人体运动生成框架，通过建模人体相关力的全谱，包括人体-物体、人体-环境和内部身体动力学，提升动态场景中人体运动的物理合理性。
2026-05-01 cs.CV
Style-Consistent 3D Indoor Scene Synthesis with Decoupled Objects
Nanyang Technological University（南洋理工大学）
针对现有方法只能整体风格化、无法分离定制对象的问题，提出利用专业边界框放置对象并保持跨对象风格一致的3D室内场景合成流程，可依据自然语言生成真实、多视角一致且多样的场景。
2024-01-24 cs.CV
SceneCompleter: Dense 3D Scene Completion for Generative Novel View Synthesis
Department of Electronic Engineering, Tsinghua University（电子工程系，清华大学）；Department of Automation, Tsinghua University（自动化系，清华大学）
提出SceneCompleter，通过几何-外观双流扩散模型在RGBD潜空间进行密集3D场景补全，并引入场景嵌入器整合全局信息，实现跨视角一致的生成式新视角合成。
2026-06-17 cs.CV
FreeGen: Feed-Forward Reconstruction-Generation Co-Training for Free-Viewpoint Driving Scene Synthesis
School of Electronic and Computer Engineering, Peking University（电子与计算机工程学院，北京大学）
FreeGen通过重建-生成协同训练框架，提升自由视角驾驶场景合成的插值一致性与外推真实感，实现最先进的性能。
2025-12-04 cs.CV
ReSpace: Text-Driven Autoregressive 3D Indoor Scene Synthesis and Editing
Stanford University（斯坦福大学）
ReSpace通过自回归方法实现文本驱动的3D室内场景合成与编辑，具备明确房间边界和资产无关部署能力，支持通过自然语言添加、移除和交换物体，实验在物体添加和完整场景合成质量上超越现有方法。
2026-06-29 cs.CV
Learning Unified Decompositional and Compositional NeRF for Editable Novel View Synthesis
Hong Kong University of Science and Technology（香港科技大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出统一的两阶段NeRF框架，通过one-hot物体辐射场正则化和修复伪监督实现场景分解与组合，同时提升新视角合成和场景编辑性能。
2023-08-05 cs.CV
Video Perception Models for 3D Scene Synthesis
Tsinghua University（清华大学）；Technical University of Munich（慕尼黑工业大学）；ETH Zurich（苏黎世联邦理工学院）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Microsoft（微软）；Stanford University（斯坦福大学）
提出VIPScene框架，利用视频生成模型的3D物理常识知识，结合前馈3D重建与开放词汇感知，实现高真实性与结构一致性的3D场景合成，并引入FPVScore进行评估。
2025-06-25 cs.CV
Modeling Ambient Scene Dynamics for Free-view Synthesis
University of Washington（华盛顿大学）；University of Maryland（马里兰大学）；Meta
针对单目捕获的环境自然场景，本文利用环境运动的周期性建模轨迹并加入正则化，扩展 3DGS 以实现高质量、照片级真实且内存高效的动态自由视点合成。
2024-06-13 cs.CV
RoomDreamer: Text-Driven 3D Indoor Scene Synthesis with Coherent Geometry and Texture
Apple Inc.（苹果公司）；University at Buffalo（布法罗大学）
提出RoomDreamer框架，通过Geometry Guided Diffusion和Mesh Optimization两个组件，利用自然语言同时合成与输入场景结构和提示对齐的几何与纹理，生成不同风格的3D室内场景。
2023-05-18 cs.CV
DEMOS: Dynamic Environment Motion Synthesis in 3D Scenes via Local Spherical-BEV Perception
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）；SenseTime Research（商汤科技研究院）
本文提出 DEMOS 框架，利用局部 Spherical-BEV 感知和时变运动混合，根据动态 3D 场景即时预测并更新潜在运动，在 PROX、GTA-IM 与 Semantic3D 上显著优于已有方法。
2024-03-04 cs.CV
Adversarial nets with perceptual losses for text-to-image synthesis
Harvard University（哈佛大学）
生成对抗网络（GANs）中的最新方法可以从描述性文本中自动合成逼真的图像。尽管整体质量尚可，但生成的图像通常暴露出缺乏感兴趣对象的结构定义的可见缺陷。在本文中，我们的目标是通过提高生成图像的感知质量来扩展基于GAN的文本到图像合成的最新技术水平。区别于以前的工作，我们的合成图像生成器优化感知损失函数，测量像素，功能激活，纹理差异对自然图像。我们提出了视觉上更引人注目的合成图像的鸟类和花卉产生的文字描述相比，一些最突出的现有工作。
2017-08-30 cs.CV
Deep Generative Modeling for Scene Synthesis via Hybrid Representations
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Snapchat Inc.（Snapchat公司）
我们提出了一种用于室内环境的深度生成场景建模技术。我们的目标是使用前馈神经网络来训练生成模型，该前馈神经网络映射先验分布（例如，正态分布）到室内场景中的主要对象的分布。我们介绍了一个三维对象排列表示模型的位置和方向的对象，根据它们的大小和形状属性。此外，我们的场景表示适用于从数据库中选择的具有不同多重性（重复计数）的3D对象。我们展示了一个原则性的方法来训练这个模型，通过结合3D对象排列表示和基于2D图像的表示的损失。我们在基准数据集上展示了我们的场景表示和深度学习方法的有效性。我们还展示了这种生成模型在场景插值和场景完成中的应用。
2018-08-06 cs.CV
Leveraging Local Patch Differences in Multi-Object Scenes for Generative Adversarial Attacks
University of California, Riverside（加州大学河滨分校）
针对图像分类器的最先进的基于生成模型的攻击绝大多数集中在单对象（即，单个主要对象）图像。与这样的设置不同，我们解决了使用多对象（即，多个主要对象）图像，因为它们代表大多数真实世界场景。我们的目标是设计一种攻击策略，该策略可以通过利用此类图像中固有的局部补丁差异（例如，交通场景中对象“人”和对象“自行车”上的局部补丁之间的差异）来从此类自然场景中学习。我们的关键思想是通过混淆图像中每个局部补丁的受害者分类器来错误分类对抗性多对象图像。在此基础上，我们提出了一种新的生成式攻击（称为局部补丁差异或LPD攻击），其中一种新的对比损失函数使用上述多目标场景的特征空间中的局部差异来优化扰动发生器。通过对不同受害者卷积神经网络的各种实验，我们表明，当在不同的白盒和黑盒设置下进行评估时，我们的方法优于具有高度可转移扰动的基线生成攻击。
2022-10-03 cs.CV
