MALeR: Improving Compositional Fidelity in Layout-Guided Generation
Adobe Research（Adobe研究）
MALeR针对布局引导图像生成中的主体越界、分布外伪影和属性泄漏问题，提出布局约束与掩码属性感知绑定机制，显著提升复杂组合场景下的组合准确性与属性绑定效果。
2025-11-08 cs.CV
AttrLostGAN: Attribute Controlled Image Synthesis from Reconfigurable Layout and Style
Technical University of Kaiserslautern（凯泽斯劳滕工业大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
基于布局的有条件图像合成近年来引起了人们的广泛兴趣。以前的方法的条件生成器对象的位置以及类标签，但缺乏细粒度的控制，不同的外观方面的个别对象。获得对图像生成过程的控制是构建具有用户友好界面的实际应用程序的基础。在本文中，我们提出了一种方法，属性控制的图像合成布局，它允许指定的外观，而不影响其余的图像的个别对象。我们扩展了一个国家的最先进的布局到图像生成的方法，以额外的条件属性的个别对象。我们创建和实验的合成，以及具有挑战性的可视化基因组数据集。我们的定性和定量结果表明，我们的方法可以成功地控制细粒度的细节，单个对象建模复杂的场景时，多个对象。源代码、数据集和预训练模型都是公开的（https：//github.com/stanifrolov/AttrLostGAN）。
2021-08-26 cs.CV
DocSynth: A Layout Guided Approach for Controllable Document Image Synthesis
Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Indian Statistical Institute（印度统计研究所）
尽管当前最先进的图像生成模型取得了重大进展，但包含多个复杂对象布局的文档图像的合成是一项具有挑战性的任务。本文提出了一种新的方法，称为DocSynth，自动合成文档图像的基础上，一个给定的布局。在这项工作中，给定一个空间布局（对象类别的边界框）作为用户的参考，我们提出的DocSynth模型学习生成一组与定义的布局一致的逼真的文档图像。此外，这个框架已经适应了这项工作，作为一个优越的基线模型，用于创建合成文档图像数据集，用于在文档布局分析任务的训练过程中增强真实数据。不同的学习目标也被用来提高模型的性能。定量地，我们还使用标准评估指标将模型生成的结果与真实数据进行比较。实验结果表明，该模型可以成功地生成具有多个对象的逼真且多样化的文档图像。我们还提出了一个全面的定性分析总结的不同范围的合成图像生成任务。最后，据我们所知，这是第一个这样的工作。
2021-07-06 cs.CV
Unifying Layout Generation with a Decoupled Diffusion Model
Microsoft Research Asia（微软亚洲研究院）；Tsinghua University（清华大学）
布局生成的目的是合成真实感图形场景，由不同属性的元素组成，包括类别，大小，位置和元素之间的关系。这是一个至关重要的任务，以减轻负担，重型平面设计作品的格式化场景，例如，出版物、文档和用户界面（UI）。不同的应用场景对统一各种布局生成子任务提出了很大的挑战，包括条件和无条件生成。在本文中，我们提出了一个布局扩散生成模型（LDGM），以实现这种统一与一个单一的解耦扩散模型。LDGM将任意缺失或粗糙元素属性的布局视为来自已完成布局的中间扩散状态。由于不同的属性有其各自的语义和特征，我们建议解耦的扩散过程，以提高训练样本的多样性和学习的逆过程共同利用全局范围的上下文，以促进生成。因此，我们的LDGM可以从头开始生成布局或以任意可用属性为条件。大量的定性和定量实验表明，我们提出的LDGM优于现有的布局生成模型在功能和性能。
2023-03-09 cs.CV
Learning to Generate Images of Outdoor Scenes from Attributes and Semantic Layouts
Hacettepe University（哈西特佩大学）；Max-Planck Institute for Informatics（马克斯·普朗克信息学研究所）
自动图像合成研究一直在快速增长，深度网络变得越来越有表现力。在过去的几年里，我们已经观察到数字，室内场景，鸟类，椅子等的图像被自动生成。通过引入对象名称、句子、限界框和关键点定位等多种形式的条件变量，增强了图像生成器的表达能力。在这项工作中，我们提出了一种新的深度条件生成对抗网络架构，它的优势来自集成为条件变量的语义布局和场景属性。我们表明，我们的架构是能够在不同的条件下，例如白天，夜晚，阳光下，雾，清晰的对象边界生成逼真的户外场景图像。
2016-12-01 cs.CV
Attribute-conditioned Layout GAN for Automatic Graphic Design
Beijing Institute of Technology（北京理工大学）；Adobe Inc.（Adobe公司）
造型布局是平面设计的重要第一步。最近，用于生成图形布局的方法已经取得了进展，特别是使用生成对抗网络（GANs）。然而，指定设计元素的位置和大小的问题通常涉及到与元素属性有关的约束，例如面积、纵横比和读取顺序。自动化属性条件图形布局仍然是一个复杂的和未解决的问题。在本文中，我们引入属性条件布局GAN纳入设计元素的属性，图形布局生成，迫使生成器和搜索引擎，以满足属性条件。由于图形设计的复杂性，我们进一步提出了一个元素丢弃的方法，使机器人看部分元素列表，并学习他们的本地模式。此外，我们介绍了各种损失的设计遵循不同的布局优化的设计原则。我们证明了所提出的方法可以合成的图形布局条件下，不同的元素属性。它还可以将精心设计的布局调整为新的大小，同时保留元素的原始读取顺序。通过用户研究验证了该方法的有效性。
2020-09-11 cs.CV cs.GR
SpatialGuard: Harness-Guided Verifiable Spatial Reasoning for Text-to-Image Generation
College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院）；Fysics Intelligence Technologies Co., Ltd. (Fysics AI)（Fysics智能科技有限公司（Fysics AI））
SpatialGuard是一种结构化布局引导框架，通过布局管控器实现可验证的空间推理，提升了复杂3D空间文本到图像生成的空间保真度，达到当前最优性能。
2026-09-02 cs.CV
Instruction Guided Multi Object Image Editing with Quantity and Layout Consistency
Beijing University of Posts（北京邮电大学）；Telecommunications School of Digital Media（电信数字媒体学院）
针对复杂场景下多对象图像编辑难以保持数量和布局的问题，提出含 ILFM 与 CMAM 的 QL-Adapter，并构建 QL-Dataset、定义 QL-Edit，实现最先进性能。
2025-09-29 cs.CV
Layout-guided Indoor Panorama Inpainting with Plane-aware Normalization
National Tsing Hua University（台湾清华大学）
我们提出了一个用于室内全景图像修补的端到端深度学习框架。虽然以前的修复方法在自然透视图像上表现出令人印象深刻的性能，但大多数无法处理全景图像，特别是室内场景，这些场景通常包含复杂的结构和纹理内容。为了实现更好的修复质量，我们建议在修复过程中利用室内全景的全局和局部上下文。具体地说，我们采取低层次的布局边缘估计从输入的全景作为一个前指导修复模型恢复全球室内结构。采用平面感知归一化模块来将从布局导出的平面风格特征嵌入到生成器中，从而鼓励从相邻房间结构（即，天花板、地板和墙壁）。实验结果表明，我们的工作优于当前国家的最先进的方法在公共全景数据集上的定性和定量评价。我们的代码可在https://ericsujw.github.io/LGPN-net/上获得
2023-01-13 cs.CV
ControlRef: Efficient Layout-Guided Multi-Instance Generation via Anchored 4D-RoPE
ControlRef是一种高效布局引导多实例合成框架，通过UILC注意力掩码与锚定4D-RoPE提升空间对齐，在保证视觉保真度和定位精度的同时大幅降低推理延迟与内存开销。
2026-08-10 cs.CV
Layout-Guided Controllable Pathology Image Generation with In-Context Diffusion Transformers
Xi'an Jiaotong University（西安交通大学）
本文提出基于布局的可控病理图像生成方法，通过多代理LVLM注释框架构建精细临床对齐的监督数据，提出IC-DiT模型整合空间布局、文本描述和视觉嵌入，实现高保真生成与强空间可控性。
2026-03-11 cs.CV
SMILE: Semantically-guided Multi-attribute Image and Layout Editing
Computer Vision Lab ETH Zürich（苏黎世联邦理工学院计算机视觉实验室）；KU Leuven（鲁汶大学）
自生成对抗网络（GANs）引入以来，属性图像处理一直是一个非常活跃的话题。由于面部图像的多个和相互包容的性质，在变换中探索解纠缠的属性空间是一项非常具有挑战性的任务，其中不同的标签（眼镜、帽子、头发、身份等）可以同时共存。几项工作解决了这个问题，或者通过利用每个域/属性的模态使用条件随机向量噪声，或从示例性图像中提取模态。然而，现有的方法不能同时处理多个属性的随机和引用转换，这限制了解决方案的通用性。在本文中，我们成功地利用了多模态表示，处理所有属性，无论是随机噪声或样本图像的指导下，而只使用目标域的基础域信息。我们提出了广泛的定性和定量结果的面部数据集和几个不同的属性，显示了我们的方法的优越性。此外，我们的方法能够通过使用图像作为参考或通过探索风格分布空间来添加，删除或更改细粒度或粗粒度属性，并且可以很容易地扩展到头部交换和面部重现应用程序，而无需在视频上进行训练。
2020-10-05 cs.CV
CalliMaster: Mastering Page-level Chinese Calligraphy via Layout-guided Spatial Planning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Faculty of Engineering and IT, University of Technology Sydney（悉尼大学工程与信息学院）；Xiamen University（厦门大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出CalliMaster框架，通过解耦空间规划与内容合成，解决页面级书法生成中精度与布局的平衡问题，支持可控生成与编辑，扩展至文物修复与鉴定。
2026-03-12 cs.CV
Diagnostic Benchmark and Iterative Inpainting for Layout-Guided Image Generation
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Microsoft Research（微软研究院）
针对布局引导图像生成在任意未见布局上泛化不足的问题，提出诊断基准LayoutBench和迭代修复基线IterInpaint，后者在OOD布局上显著优于现有模型，并在真实物体基准上全面超越SOTA。
2024-07-21 cs.AI cs.CL cs.CV
SceneCraft: Layout-Guided 3D Scene Generation
Shanghai Jiao Tong University（上海交通大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
SceneCraft通过将三维语义布局渲染为多视角二维代理图，并利用语义与深度条件扩散模型生成图像来学习NeRF，实现了超越单房间的复杂室内场景生成。
2025-05-08 cs.CV
Box It to Bind It: Unified Layout Control and Attribute Binding in T2I Diffusion Models
University of Western Australia（西澳大利亚大学）；The University of Melbourne（墨尔本大学）；Murdoch University（莫道克大学）
本文提出无需训练的即插即用 B2B 模块，通过边界框内对象生成与属性绑定两步，统一改善 T2I 扩散模型的灾难性忽略、属性绑定和布局控制问题。
2024-02-27 cs.CV
LocRef-Diffusion:Tuning-Free Layout and Appearance-Guided Generation
MetaX
本文提出无需调优的LocRef-Diffusion模型，通过Layout-net和appearance-net分别控制实例位置与外观，在COCO和OpenImages上实现了布局与外观引导生成的最先进性能。
2024-11-22 cs.AI cs.CV
DepR: Depth Guided Single-view Scene Reconstruction with Instance-level Diffusion
ShanghaiTech University（上海科技大学）；UC San Diego（加州大学圣地亚哥分校）；Lambda, Inc.（Lambda公司）；Stanford University（斯坦福大学）
本研究提出深度引导的单视角场景重建框架DepR，通过在训练与推理全程利用深度信息，结合实例级扩散与组合式范式，在有限合成数据训练下实现了SOTA性能与强泛化性。
2025-07-30 cs.CV
LayoutAgent: A Vision-Language Agent Guided Compositional Diffusion for Spatial Layout Planning
Personalization Team, Walmart Global Tech（Walmart全球科技个性化团队）
本文提出 LayoutAgent 框架，结合视觉-语言模型预处理与机器人学中的组合扩散生成尊重语义和物理关系的边界框，并由前景条件生成器合成完整场景，在布局连贯性、空间真实性和美学对齐上优于现有模型。
2025-09-24 cs.AI cs.CV cs.LG
Spatial Diffusion for Cell Layout Generation
Stony Brook University（石溪大学）；Harvard Medical School（哈佛医学院）
本文提出一种空间特征引导的扩散模型生成细胞布局，并据此合成高质量病理图像，显著提升SOTA细胞检测方法性能。
2024-09-04 cs.CV
AnyMS: Bottom-up Attention Decoupling for Layout-guided and Training-free Multi-subject Customization
Zhejiang University（浙江大学）；HKUST（香港科技大学）；Zhejiang Tobacco Monopoly Administration（浙江烟草专卖局）
AnyMS通过从下到上的双层注意力解耦机制，实现无训练的布局引导多主体定制，有效解决文本对齐、主体身份保持和布局控制的平衡问题。
2026-01-02 cs.AI cs.CV
Design Booster: A Text-Guided Diffusion Model for Image Translation with Spatial Layout Preservation
ByteDance Ltd（字节跳动有限公司）
扩散模型能够在任意场景中生成真实感图像。然而，当将扩散模型应用于图像翻译时，在保持空间结构和高质量内容之间存在权衡。此外，现有的方法主要是基于测试时优化或微调模型的每一个输入图像，这是非常耗时的实际应用。为了解决这些问题，我们提出了一种新的方法，通过学习一个布局感知的图像条件与文本条件一起灵活的图像翻译。具体来说，我们的方法在训练阶段将图像和文本共同编码到一个新的域中。在推理阶段，我们可以选择图像/文本或两者作为每个时间步的条件，这使用户可以更灵活地控制布局和内容。实验结果表明，该模型在风格图像翻译和语义图像翻译方面都表现最好，并且所需时间最短。
2023-02-05 cs.AI cs.CV
DiffX: Guide Your Layout to Cross-Modal Generative Modeling
Zhejiang University（浙江大学）；Monash University（莫纳什大学）；University of Nottingham（诺丁汉大学）；Peking University（北京大学）；Wuhan University（武汉大学）
本文提出DiffX，首个布局引导的跨模态图像生成扩散模型，通过在模态共享潜在空间扩散去噪并引入联合模态嵌入器增强布局与文本交互，在多个数据集上实现鲁棒的RGB+X及更多模态生成。
2024-10-20 cs.CV
SSMG: Spatial-Semantic Map Guided Diffusion Model for Free-form Layout-to-Image Generation
State Grid Corporation of China（中国国家电网公司）；SGIT AI Lab（SGIT人工智能实验室）
提出SSMG扩散模型，利用布局导出的特征图作为引导，结合关系敏感和位置敏感注意力机制，实现自由形式布局到图像生成，在保真度、多样性和可控性上达到新最先进水平。
2024-03-13 cs.AI cs.CV
Ctrl-Room: Controllable Text-to-3D Room Meshes Generation with Layout Constraints
Hong Kong University of Science and Technology（香港理工大学）；LightIllusion, China（中国LightIllusion公司）；Alibaba Group（阿里巴巴集团）；Simon Fraser University, Canada（加拿大Simon Fraser大学）
Ctrl-Room提出两阶段方法，通过布局生成和外观生成分离建模，实现从文本提示生成可编辑的高质量三维房间网格，并在Structured3D数据集上优于现有方法。
2025-09-24 cs.CV
Layout Control and Semantic Guidance with Attention Loss Backward for T2I Diffusion Model
Suning（苏宁）
本文提出一种基于注意力损失反向传播的无训练方法，通过控制交叉注意力图，解决T2I扩散模型在可控生成中的属性不匹配和布局完成度不足问题，无需训练或微调即可实现显式布局约束。
2024-11-11 cs.CV
coDrawAgents: A Multi-Agent Dialogue Framework for Compositional Image Generation
Lingnan University（岭南大学）；CMU（卡内基梅隆大学）；CUHK（香港中文大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；SJTU（上海交通大学）；HKU（香港大学）；China University of Petroleum（中国石油大学）
coDrawAgents通过四类智能体协作提升复杂场景中多对象生成的准确性与属性保持，实验表明其在文本-图像对齐、空间准确性和属性绑定方面表现更优。
2026-03-13 cs.CV
GuidedStyle: Attribute Knowledge Guided Style Manipulation for Semantic Face Editing
Shenzhen University（深圳大学）
虽然无条件生成对抗网络（GANs）在合成高质量和视觉逼真的人脸图像方面取得了重大进展，但仍然缺乏对生成过程的控制，以实现语义人脸编辑。此外，在编辑目标属性时保持其他人脸信息不变仍然是非常具有挑战性的。在本文中，我们提出了一个新的学习框架，称为GuidedStyle，通过用知识网络指导图像生成过程，在StyleGAN上实现语义人脸编辑。此外，我们允许在StyleGAN生成器中的注意力机制自适应地选择单个层进行样式操作。因此，我们的方法能够沿着各种属性执行分离和可控的编辑，包括微笑，眼镜，性别，胡子和头发颜色。定性和定量的结果表明，我们的方法优于其他竞争方法的语义人脸编辑。此外，我们表明，我们的模型也可以应用于不同类型的真实和艺术的人脸编辑，表现出很强的泛化能力。
2020-12-22 cs.CV
EVA: Zero-shot Accurate Attributes and Multi-Object Video Editing
University of Technology Sydney（悉尼科技大学）；Zhejiang University（浙江大学）
提出零样本多属性视频编辑框架EVA，通过时空布局引导注意力机制和离散文本嵌入解决注意力泄漏问题，实现精确的前景背景同时编辑及多对象身份映射。
2024-03-24 cs.CV
Edge Guided GANs with Multi-Scale Contrastive Learning for Semantic Image Synthesis
ETH Zurich（苏黎世联邦理工学院）；University of Trento（特伦托大学）
针对语义图像合成中细节缺失、语义不一致、忽略全局语义关联三大挑战，提出带边缘引导、类别特征增强和多尺度对比学习的ECGAN，提升合成图像质量与语义一致性。
2023-07-22 cs.CV
High Diversity Attribute Guided Face Generation with GANs
Intel（英特尔）
在这项工作中，我们专注于基于GAN的解决方案，用于属性引导的人脸合成。以前的作品利用GANs来生成照片级逼真的人脸图像，并且没有注意到所生成图像的多样性问题。所提出的解决方案又引入了单位复数的新潜在空间，能够提供比训练数据集的大小高3倍的“生日悖论”分数的多样性。需要强调的是，我们的结果是在相对较小的数据集上显示的（20k样本vs 200k样本），同时在显着更高的分辨率上保留了生成的人脸的照片般逼真的特性（128x128，而以前的作品为32x32）。
2018-06-28 cs.CV
OccluRank: Controllable Occlusion-Aware Layout-to-Image Generation by Adding Just an Ordinal Rank
提出OccluRank框架，仅添加序数秩实现可控遮挡感知布局到图像生成，构建相关数据集与基准，实验表明其能可靠保留实例、遵循布局并实现期望遮挡关系，性能相当。
2026-08-24 cs.CV
AGA-GAN: Attribute Guided Attention Generative Adversarial Network with U-Net for Face Hallucination
Indian Statistical Institute（印度统计研究所）；Østfold University College（东福尔德大学学院）
人脸超分辨率方法的性能依赖于其有效恢复人脸结构和显著特征的能力。尽管基于卷积神经网络和生成对抗网络的方法在面部超分辨率任务上提供了令人印象深刻的性能，但使用与低分辨率图像相关联的属性来提高性能的能力并不令人满意。在本文中，我们提出了一个属性引导注意生成对抗网络，它采用新的属性引导注意（AGA）模块，以识别和集中在图像中的各种面部特征的生成过程。堆叠多个AGA模块能够恢复高级和低级面部结构。我们设计了一个基于高分辨率图像及其相应的面部属性注释之间关系的学习算法来学习判别特征。然后，我们探索使用基于U-Net的架构来改进现有的预测并合成进一步的面部细节。跨多个指标的广泛实验表明，我们的AGA-GAN和AGA-GAN+U-Net框架的性能优于其他几种最先进的人脸幻觉方法。我们还证明了我们的方法的可行性时，每个属性描述符是未知的，从而建立其在现实世界中的应用程序。
2021-11-20 cs.CV
Multi-Attribute Guided Painting Generation
NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；School of AI, UCAS（中国科学院大学人工智能学院）；Fosafer（福赛科技）；CASIA-LLVision Joint Lab（中国科学院自动化研究所-联创视界联合实验室）
可控的绘画生成在图像风格化中起着举足轻重的作用。目前，风格迁移的控制方式主要是基于范例的参照或随机的独热矢量引导。很少有工作集中在解耦绘画的内在属性作为控制条件，例如，艺术家，流派和时期。在这种情况下，我们提出了一种新的框架，采用多个属性的绘画控制风格化的结果。采用非对称的循环结构来保持逼真度，结合风格保持和属性回归损失来保持域之间颜色和纹理的唯一区别。几个定性和定量的结果证明了多属性的组合效果，并取得了令人满意的性能。
2020-02-26 cs.CV
Z-Magic: Zero-shot Multiple Attributes Guided Image Creator
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本文提出Z-Magic框架，从条件概率视角建模多属性依赖并结合多任务学习，在零样本设置下提升图像生成的属性连贯性并降低计算成本。
2025-03-15 cs.CV
DLT: Conditioned layout generation with Joint Discrete-Continuous Diffusion Layout Transformer
生成视觉布局是图形设计的一个重要组成部分。对于涉及用户交互的实际应用程序来说，根据组件属性的部分子集来调节布局生成的能力是至关重要的。近年来，扩散模型已在多个领域显示出高质量的生成性能。然而，目前还不清楚如何将扩散模型应用于由离散（类）和连续（位置，大小）属性的混合组成的布局的自然表示。为了解决条件布局生成问题，我们引入DLT，一个联合离散-连续扩散模型。DLT是一种基于transformer的模型，它具有灵活的调节机制，允许对所有布局组件类、位置和大小的任何给定子集进行调节。我们的方法在不同的度量和条件设置方面优于各种布局生成数据集上的最先进的生成模型。此外，我们验证了我们提出的条件反射机制和联合连续扩散过程的有效性。这种联合过程可以被纳入到广泛的混合离散-连续生成任务中。
2023-03-07 cs.AI cs.CV cs.LG
Reference Guided Image Inpainting using Facial Attributes
Korea University（高丽大学）；Drexel University（德雷塞尔大学）
图像修补是一种完成缺失像素的技术，如遮挡区域恢复、干扰物体去除和面部修复。在这些修复任务中，面部修复算法根据用户的方向进行面部修复。现有的方法需要用户的精细且良好控制的输入，因此对于普通用户来说难以提供足够准确的指导以使算法生成期望的结果。为了克服这一限制，我们提出了一种替代的用户引导修复架构，使用单个参考图像作为指导来操纵面部属性。我们的端到端模型由用于准确参考图像属性传输的属性提取器和用于将属性真实准确地映射到生成的图像的修复模型组成。我们自定义MS-SSIM损失和可学习的双向注意力地图，其中重要性结构即使使用不规则形状的掩码也保持不变。基于我们使用公开数据集CelebA-HQ的评估，我们证明了所提出的方法与一些专门用于修复任务的最先进方法相比具有优异的性能。
2023-01-19 cs.CV
CyCLeGen: Cycle-Consistent Layout Prediction and Image Generation in Vision Foundation Models
UC San Diego（加州大学圣迭戈分校）
CyCLeGen是一种统一的视觉-语言基础模型，通过单一自回归框架实现图像理解和生成，采用循环一致学习确保生成与布局之间的双向一致性，提升模型的自我反思能力和数据效率。
2026-03-16 cs.CV
Face Animation with an Attribute-Guided Diffusion Model
Beihang University（北京航空航天大学）；Shenzhen Institutes of Advanced Technology, University of Chinese Academy of Sciences（中国科学院大学深圳先进技术研究院）；Zhongguancun Laboratory（中关村实验室）
针对GAN人脸动画易扭曲伪影的问题，提出属性引导扩散模型框架FADM，通过AGCN融合外观与运动条件引导扩散过程，有效纠正伪影并丰富面部细节。
2023-04-06 cs.CV
Interactive Image Synthesis with Panoptic Layout Generation
Huawei Technologies（华为技术有限公司）
基于用户引导输入的交互式图像合成是一项具有挑战性的任务，用户希望能够轻松地控制生成图像的场景结构，虽然基于布局的图像合成方法已经取得了显著的进展，但是为了在交互式场景中得到逼真的伪图像，现有方法需要高精度的输入，可能需要多次调整，对新手用户不友好。当边界框的放置受到扰动时，基于布局的模型在构造的语义布局中遭受“缺失区域”，从而在生成的图像中产生不期望的伪影。在这项工作中，我们提出了全景布局生成对抗网络（PLGAN）来解决这一挑战。PLGAN采用全景理论，该理论将对象类别区分为具有无定形边界的“东西”和具有明确定义的形状的“事物”，使得东西和实例布局通过单独的分支构建，然后融合到全景布局中。特别是，填充布局可以采用无定形形状，并填充实例布局遗漏的区域。我们通过实验比较了我们的PLGAN与COCO-Stuff，Visual Genome和Landscape数据集上最先进的基于布局的模型。PLGAN的优点不仅在视觉上得到了证明，而且在初始得分、Fréchet初始距离、分类准确度得分和覆盖率方面得到了定量验证。
2022-03-28 cs.CV
Image Synthesis with Graph Conditioning: CLIP-Guided Diffusion Models for Scene Graphs
Indraprastha Institute of Information Technology, Delhi（因德拉普拉斯信息技术学院德里分校）
提出一种无需中间布局预测、利用CLIP引导的扩散模型从场景图直接生成图像的新方法，通过图编码器与CLIP特征对齐及条件信号融合，在COCO-stuff和Visual Genome基准上超越现有方法。
2024-07-22 cs.CV
3DIS: Depth-Driven Decoupled Instance Synthesis for Text-to-Image Generation
CCAI, Zhejiang University（中国浙江大学计算机辅助智能学院）
3DIS提出了一种基于深度的解耦实例合成方法，通过分阶段生成场景深度图和渲染细粒度属性，提升文本到图像生成中多实例的布局精度和属性渲染效果。
2025-12-02 cs.CV
ToLo: A Two-Stage, Training-Free Layout-To-Image Generation Framework For High-Overlap Layouts
Beijing University of Technology（北京工业大学）
本文提出ToLo，一种面向高重叠布局的两阶段免训练布局到图像生成框架，通过聚合和分离阶段优化注意力图损失，有效解决属性泄漏与实体缺失问题，显著提升现有方法在高重叠布局上的性能。
2025-03-03 cs.CV
An Image is Worth Multiple Words: Multi-attribute Inversion for Constrained Text-to-Image Synthesis
Adobe Research（奥多比研究院）
本文提出多属性反演算法MATTE，通过跨时间步与层维度设计并引入正则化损失，显式解耦颜色、风格、布局和对象四个词元，从而用单张参考图像约束扩散模型生成新样本。
2023-11-20 cs.CV
Enhancing Image Layout Control with Loss-Guided Diffusion Models
University of Toronto（多伦多大学）；Ecomtent
本研究针对扩散模型的图像空间布局控制问题，提出结合两类免训练注意力约束方法的策略，证明二者互补，联合使用可提升控制性能。
2024-09-16 cs.CV cs.GR cs.LG
ContextGen: Contextual Layout Anchoring for Identity-Consistent Multi-Instance Generation
ReLER Lab, CCAI, Zhejiang University（ReLER实验室、中国计算机学会、浙江大学）
ContextGen通过情境布局锚定和身份一致性注意力机制，实现多实例生成中的布局控制与身份一致性，首次构建了IMIG-100K数据集并取得新突破。
2026-02-12 cs.CV
LayoutRAG: Retrieval-Augmented Model for Content-agnostic Conditional Layout Generation
Xi’an Jiaotong University（西安交通大学）；Amazon.com, Inc.（亚马逊公司）；Pixocial Technology（Pixocial技术）
LayoutRAG通过检索与给定条件兼容的布局模板作为参考来引导去噪或流匹配生成过程，并设计条件调制注意力选择性吸收检索知识，从而在内容无关的条件布局生成任务中超越现有最先进模型。
2025-06-03 cs.CV
DrivingDiffusion: Layout-Guided multi-view driving scene video generation with latent diffusion model
Baidu Inc.（百度公司）
针对自动驾驶多视角视频数据稀缺问题，提出DrivingDiffusion框架，通过级联多视角单帧生成、共享单视角视频生成及后处理，实现由3D布局控制的时空一致多视角驾驶视频生成。
2023-10-11 cs.AI cs.CV
MAKIMA: Tuning-free Multi-Attribute Open-domain Video Editing via Mask-Guided Attention Modulation
本文提出免调优多属性视频编辑框架MAKIMA，通过掩码引导注意力调制和一致特征传播，在保持视频结构与时间一致性的同时实现精确的多属性开放域编辑。
2024-12-28 cs.CV
CoBind: Stage-Aware Compositional Binding for Training-Free Text-to-Image Generation
Mind Lab（思维实验室）
研究针对扩散文本到图像模型处理复杂提示失败的问题，提出CoBind框架，先解析提示为组合图，利用多种约束建立布局、绑定属性，去噪时调整引导强度，无需重新训练或注释，实验证明其在多方面有改进且视觉质量有竞争力。
2026-07-21 cs.CV
Pose-Guided Sign Language Video GAN with Dynamic Lambda
Beuth University of Applied Sciences Berlin（柏林博伊特应用科学大学）
我们提出了一种使用GANs合成手语视频的新方法。我们扩展了Stoll等人以前的工作。通过使用Soft-Gated Warping-GAN的人类语义解析器来生成由区域级空间布局指导的逼真视频。合成目标姿态提高了对独立和对比签名者的性能。因此，我们使用高度异构的MS-ASL数据集评估了我们的系统，该数据集具有超过200个签名者，导致SSIM为0.893。此外，我们引入了一个周期性的加权方法的发电机，重新激活的训练，并导致定量更好的结果。
2021-05-06 cs.CV
Durian: Dual Reference Image-Guided Portrait Animation with Attribute Transfer
Seoul National University（首尔国立大学）
Durian通过双参考图像引导的方法，实现跨身份属性迁移的面部动画生成，利用自重建机制避免显式配对数据，提升模型泛化能力。
2026-04-06 cs.CV
PhiP-G: Physics-Guided Text-to-3D Compositional Scene Generation
School of Future Technology, Shanghai University（上海大学未来技术学院）；Institute of Artificial Intelligence, Shanghai University（上海大学人工智能研究院）
针对文本到3D组合场景生成中布局不符物理定律、复杂描述捕捉难等问题，提出框架 PhiP-G。该框架结合LLM智能体、多模态2D生成与3D高斯生成构建物理世界模型，显著提升了场景生成质量、物理合理性及效率。
2025-02-02 cs.AI cs.CV
Edge Guided GANs with Contrastive Learning for Semantic Image Synthesis
ETH Zurich（苏黎世联邦理工学院）；University of Hong Kong（香港大学）；HKUST（香港科技大学）；University of Trento（特伦托大学）；University of Wurzburg（维尔茨堡大学）
我们提出了一种新的ECGAN具有挑战性的语义图像合成任务。虽然已经取得了相当大的改善，合成图像的质量是远远不能令人满意的，由于三个基本上未解决的挑战。1)语义标签不提供详细的结构信息，使得难以综合局部细节和结构。2)广泛采用的CNN操作，如卷积，下采样和归一化通常会导致空间分辨率损失，从而无法完全保留原始语义信息，导致语义不一致的结果。3)现有的语义图像合成方法集中于从单个输入语义布局建模局部语义信息。然而，它们忽略了多个输入语义布局的全局语义信息，即，跨不同输入布局的像素之间的语义交叉关系。为了解决1），我们提出使用边缘作为中间表示，其进一步通过所提出的注意力引导边缘转移模块来引导图像生成。边缘信息由卷积生成器产生，并引入详细的结构信息。为了解决2），我们设计了一个有效的模块，根据原始的语义布局有选择地突出类相关的特征图，以保留语义信息。为了解决3）问题，受当前对比学习方法的启发，提出了一种新的对比学习方法，该方法的目的是使属于同一语义类的像素嵌入比来自不同语义类的像素嵌入生成更相似的图像内容。这样做可以通过显式地探索来自多个输入语义布局的标记像素的结构来捕获更多的语义关系。在三个具有挑战性的数据集上的实验表明，我们的ECGAN比最先进的方法取得了更好的结果。
2023-03-28 cs.CV cs.LG eess.IV
