Progressive Open-Domain Response Generation with Multiple Controllable Attributes
Ping An Life Insurance Company of China（中国平安人寿保险股份有限公司）；Carnegie Mellon University（卡内基梅隆大学）
期望包括更多的可控属性以增强开放域对话系统中生成的响应的多样性。然而，现有的方法可以生成仅具有一个可控属性的响应，或者缺乏灵活的方式来生成具有多个可控属性的响应。在本文中，我们提出了一个渐进训练的分层编码器-解码器（PHED）来解决这个任务。更具体地说，PHED在Transformer上部署了条件变分自编码器（CVAE），以在一个阶段包括属性的一个方面。CVAE的一个重要特征是将每个阶段的潜变量分为两类：一个是捕捉公共语义特征的全局变量，另一个是吸收该阶段属性信息的特定变量。然后，PHED将CVAE潜在变量与Transformer编码器耦合，并通过最小化新导出的ELBO和受控损耗来进行训练，以产生下一级的输入并根据需要产生响应。最后，我们进行了广泛的评估，以表明PHED显着优于最先进的神经生成模型，并产生更多样化的反应，正如预期的那样。
2021-06-07 cs.CL cs.LG
User-Controllable Multi-Texture Synthesis with Generative Adversarial Networks
Samsung AI Center Moscow（三星莫斯科人工智能中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；National Research University Higher School of Economics（高等经济大学）
提出了一种基于生成对抗网络（GANs）的多纹理合成模型，该模型具有用户可控机制。用户控制功能允许明确指定应该由模型生成的纹理。该属性来自于使用编码器部分，该编码器部分从数据集中学习每个纹理的潜在表示。为了确保数据集的覆盖率，我们使用了一个对抗性的损失函数，该函数对给定纹理的不正确再现进行惩罚。在实验中，我们证明了我们的模型可以学习大型数据集和原始数据（如高分辨率照片）的描述性纹理流形。此外，我们应用我们的方法来产生3D纹理，并表明它优于现有的基线。
2019-04-24 cs.CV cs.LG stat.ML
Diffusion-LM Improves Controllable Text Generation
Stanford University（斯坦福大学）
在不重新训练的情况下控制语言模型（LM）的行为是自然语言生成中的一个主要开放问题。虽然最近的工作已经证明了控制简单句子属性的成功（例如，情绪），在复杂的细粒度控制（例如，句法结构）。为了解决这个问题，我们开发了一个新的非自回归语言模型的基础上连续扩散，我们称之为扩散LM。基于最近连续域中扩散模型的成功，Diffusion-LM迭代地将高斯向量序列去噪为词向量，产生中间潜变量序列。这些中间变量的连续性和层次性使得简单的基于梯度的算法能够执行复杂的可控生成任务。我们展示了成功的控制扩散LM六个具有挑战性的细粒度控制任务，显着优于以前的工作。
2022-05-27 cs.AI cs.CL cs.LG
A Causal Lens for Controllable Text Generation
UC San Diego（加州大学圣迭戈分校）；AWS AI, Amazon（亚马逊云科技人工智能）
可控文本生成涉及广泛应用的两个基本任务，即生成给定属性的文本（即，属性条件生成），以及最低限度地编辑现有文本以拥有期望的属性（即，文本属性转移）。大量的先前工作在很大程度上分别研究了这两个问题，并开发了不同的条件模型，然而，这些模型容易产生有偏见的文本（例如，各种性别陈规定型观念）。本文提出了制定可控的文本生成从原则的因果关系的角度来看，模型的两个任务与一个统一的框架。因果公式的一个直接优势是使用丰富的因果关系工具来减轻世代偏差并改善控制。我们把这两个任务的干预和反事实的因果推理的基础上的结构因果模型，分别。然后，我们将该框架应用到具有挑战性的实际环境中，其中混淆因素（引起虚假相关性）仅在一小部分数据上可观察到。实验表明，因果关系的方法比以前的条件模型，提高控制精度和减少偏见显着的优越性。
2022-01-22 cs.AI cs.CL cs.LG
Transformer-based Conditional Variational Autoencoder for Controllable Story Generation
University at Buffalo（布法罗大学）；JD Finance America Corporation（京东金融美国公司）
我们研究了用于神经故事生成的大规模潜变量模型（LVMs）-开放域长文本的一个未充分开发的应用程序-目标有两个线程：生成有效性和可控性。LVMs，特别是变分自编码器（VAE），通过利用灵活的分布式潜在表示实现了有效和可控的生成。近年来，Transformers及其变体在没有显式潜在表示学习的情况下取得了显著的效果，因此在生成过程中缺乏令人满意的可控性。在本文中，我们主张在Transformers时代恢复潜变量建模，本质上是表示学习的力量，以增强可控性，而不损害最先进的发电效率。具体来说，我们将潜在表示向量与基于transformer的预训练架构相结合，以构建条件变分自编码器（CVAE）。模型的组成部分，如编码器，解码器和变分后验都建立在预先训练的语言模型-GPT 2在本文中具体。实验证明了我们的模型的最先进的条件生成能力，以及其优秀的表示学习能力和可控性。
2021-07-08 cs.AI cs.CL cs.LG
FlashMotion: Few-Step Controllable Video Generation with Trajectory Guidance
FlashMotion通过轨迹引导和蒸馏方法实现了少步可控视频生成，提升了视频质量和轨迹准确性。
2026-03-12 cs.AI cs.CV cs.LG
Learning Interpretable Representation for Controllable Polyphonic Music Generation
NYU Shanghai（纽约大学上海分校）
虽然深度生成模型已成为算法合成的主要方法，但由于大多数深度学习模型的潜变量缺乏良好的可解释性，因此控制生成过程仍然是一个具有挑战性的问题。受内容风格分离思想的启发，我们设计了一个新颖的架构，在VAE框架下，有效地学习复调音乐的两个可解释的潜在因素：和弦和织体。目前的模式侧重于学习8拍长钢琴作曲片段。我们发现，这样的和弦纹理解纠缠提供了一个可控的生成途径，导致广泛的应用，包括作曲风格的转移，纹理的变化，和伴奏安排。客观和主观的评价表明，我们的方法实现了成功的解开和高质量的控制音乐生成。
2020-08-17 cs.CL cs.LG cs.SD
PerLDiff: Controllable Street View Synthesis Using Perspective-Layout Diffusion Models
本文提出PerLDiff（透视-布局扩散模型），利用3D几何先验在网络学习过程中引导街景图像生成，实现精确的物体级控制，在NuScenes和KITTI数据集上显著提升了可控生成的精度。
2025-07-15 cs.CV
Controllable Shadow Generation with Single-Step Diffusion Models from Synthetic Data
Jasper Research（贾斯珀研究机构）
提出基于合成数据训练的单步扩散模型，实现二维物体图像的快速、可控且无背景的阴影生成，并发布新基准以促进研究。
2024-12-16 cs.CV
Controllable and Compositional Generation with Latent-Space Energy-Based Models
NVIDIA（英伟达）；Caltech（加州理工学院）
可控生成是在现实世界应用中成功采用深度生成模型的关键要求之一，但它仍然是一个巨大的挑战。特别是，组合能力，以产生新的概念组合是遥不可及的大多数目前的模型。在这项工作中，我们使用基于能量的模型（EBM）来处理一组属性的合成生成。为了使它们可扩展到高分辨率图像生成，我们在预训练的生成模型（如StyleGAN）的潜在空间中引入了EBM。我们提出了一种新的EBM配方代表联合分布的数据和属性在一起，我们展示了如何从它的采样制定为解决一个常微分方程（ODE）。给定一个预先训练好的生成器，我们所需要的可控生成就是训练一个属性分类器。用常微分方程采样在潜在空间中有效地完成，并且对超参数具有鲁棒性。因此，我们的方法是简单的，快速训练，和有效的样品。实验结果表明，我们的方法优于国家的最先进的条件采样和顺序编辑。在合成生成中，我们的方法擅长于zero-shot生成看不见的属性组合。此外，通过将能量函数与逻辑运算符组合，这项工作是第一次在生成分辨率为1024x1024的照片级逼真图像时实现这种组合性。代码可在https://github.com/NVlabs/LACE上获得。
2021-12-04 cs.AI cs.CV cs.LG
GraphGUIDE: interpretable and controllable conditional graph generation with discrete Bernoulli diffusion
Genentech（基因泰克）
扩散模型在生成真实感对象方面具有最先进的性能，并已成功应用于图像、文本和视频。最近的工作表明，扩散也可以在图形上定义，包括药物样分子的图形表示。不幸的是，仍然很难以可解释和可控制的方式在图上执行条件生成。在这项工作中，我们提出了GraphGUIDE，一个新的框架，图形生成使用扩散模型，在图中的边缘翻转或设置在每个离散的时间步。我们在几个图形数据集上演示了GraphGUIDE，并表明它可以完全控制任意结构属性的条件生成，而无需依赖于预定义的标签。我们的图形扩散框架可以对图形的可解释条件生成产生很大的影响，包括以实验证据为依据的方式生成具有所需特性的药物样分子。
2023-02-07 cs.LG
AnyArtisticGlyph: Multilingual Controllable Artistic Glyph Generation
School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院）
本文提出AnyArtisticGlyph扩散模型，通过字体融合嵌入、视觉-文本融合嵌入和粗粒度特征级损失，实现多语言可控的高质量艺术字形生成，性能达到最先进水平。
2025-04-07 cs.CV
EasyText: Controllable Diffusion Transformer for Multilingual Text Rendering
EasyText提出了一种基于DiT的可控扩散变换器，用于多语言文本渲染，通过字符位置编码和插值技术实现精确生成，并利用大规模数据集提升性能。
2026-03-10 cs.CV
Controllable Generation with Text-to-Image Diffusion Models: A Survey
Beijing University of Posts and Telecommunications（北京邮电大学）
本文综述了基于文本到图像扩散模型的可控生成方法，分析了不同条件下的生成机制及分类。
2026-01-07 cs.CV
Controllable Video Generation: A Survey
Hong Kong University of Science and Technology（香港科技大学）；Hong Kong University of Science and Technology(Guang Zhou)（香港科技大学（广州））；Tsinghua University（清华大学）；Dalian University of Technology（大连理工大学）；Tencent（腾讯）
本文综述了可控视频生成领域，探讨了视频扩散模型中的控制机制及不同控制信号类型的方法分类。
2026-01-19 cs.CV cs.GR
Variational Conditional GAN for Fine-grained Controllable Image Generation
Southeast University（东南大学）；University of Warwick（华威大学）
在本文中，我们提出了一种新的变分生成器框架的条件GANs捕捉语义细节，以提高生成质量和多样性。条件GANs中的传统生成器简单地将条件向量与噪声连接起来作为输入表示，其直接用于上采样操作。然而，隐藏的条件信息没有被充分利用，特别是当输入是类标签时。因此，我们引入变分推理到生成器中，仅从条件输入推断潜变量的后验，这有助于实现用于图像生成的可变增强表示。定性和定量的实验结果表明，所提出的方法优于国家的最先进的方法，并实现了逼真的可控图像。
2019-09-22 cs.CV
Controllable Artistic Text Style Transfer via Shape-Matching GAN
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）；Texas A&M University（德克萨斯农工大学）；Adobe Research（奥多比研究中心）
艺术文本样式转换是将样式从源图像迁移到目标文本以创建艺术排版的任务。最近的风格转换方法考虑了纹理控制，以提高可用性。然而，在形状变形方面控制风格化程度仍然是一个重要的公开挑战。在本文中，我们提出了第一个文本风格传输网络，允许通过可调参数的关键风格程度的实时控制的广告。我们的主要贡献是一个新的双向形状匹配框架，建立一个有效的字形风格的映射在不同的变形水平，没有配对的地面真理。基于这一思想，我们提出了一个规模可控的模块，使一个单一的网络不断表征风格图像的多尺度形状特征，并将这些特征转移到目标文本。该方法在生成多样化、可控性和高质量的风格化文本方面表现出了其优越性。
2019-08-10 cs.CV
ClickDiff: Click to Induce Semantic Contact Map for Controllable Grasp Generation with Diffusion Models
Peking University（北京大学）；University of Central Florida（中佛罗里达大学）
提出可控抓取生成任务及ClickDiff模型，通过语义接触图和双生成框架实现精确控制，在GRAB和ARCTIC数据集上验证了对未见物体的有效性和鲁棒性。
2024-07-28 cs.CV
Controllable Video Generation with Provable Disentanglement
Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）
针对现有可控视频生成方法忽略细粒度时空关系、控制精度与效率受限的问题，提出具有可证明解耦性的CoVoGAN框架，通过解耦静动态潜变量实现可控生成，实验验证其在生成质量和可控性上的显著提升。
2025-10-04 cs.AI cs.CV cs.LG
3D-GIF: 3D-Controllable Object Generation via Implicit Factorized Representations
KAIST（韩国科学技术院）
虽然基于NeRF的3D感知图像生成方法能够实现视点控制，但各种3D应用仍然存在局限性。由于它们的视图依赖性和光纠缠体积表示，3D几何形状呈现出不切实际的质量，并且应该为每个所需的视点重新渲染颜色。为了将3D适用性从3D感知图像生成扩展到3D可控对象生成，我们提出了与视图无关和光解纠缠的因子分解表示，以及随机采样光条件的训练方案。我们证明了我们的方法的优越性，通过可视化的分解表示，重新点燃的图像，和纹理网格。此外，我们表明，我们的方法通过可视化和定量比较，提高了生成的几何图形的质量。据我们所知，这是第一个工作，提取无姿态的2D图像无任何额外的标签或假设的纹理网格。
2022-03-12 cs.CV
Controllable Video Generation by Learning the Underlying Dynamical System with Neural ODE
University of Edinburgh（爱丁堡大学）；University of Groningen（格罗宁根大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University College London（伦敦大学学院）
本文提出 TiV-ODE 框架，利用 Neural ODE 将复杂动力系统表示为非线性常微分方程，实现从静态图像和文本生成高度可控且视觉一致的视频。
2023-04-04 cs.CV
SCEdit: Efficient and Controllable Image Diffusion Generation via Skip Connection Editing
Alibaba Group（阿里巴巴集团）
该研究针对图像扩散模型调优效率问题，提出SCEdit框架，通过轻量SC-Tuner编辑U-Net跳跃连接，可扩展至多条件可控生成，在保证性能的同时显著降低训练成本。
2023-12-18 cs.CV
HiCo: Hierarchical Controllable Diffusion Model for Layout-to-image Generation
AI Research（360人工智能研究院）
HiCo提出分层可控扩散模型，通过对象可分离条件分支实现布局空间解耦，并构建HiCo-7K基准以提升复杂布局到图像生成质量。
2024-10-18 cs.CV
Frame In-N-Out: Unbounded Controllable Image-to-Video Generation
University of Virginia（弗吉尼亚大学）；Adobe Research（Adobe研究）
针对视频生成中的可控性、时间一致性和细节合成难题，本文提出基于帧入帧出技术的新数据集、身份保持的运动可控视频扩散Transformer架构及评估协议，显著优于现有基线。
2025-10-23 cs.CV
EgoControl: Controllable Egocentric Video Generation via 3D Full-Body Poses
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉玛尔人工智能与机器学习研究所）；NVIDIA（NVIDIA公司）
EgoControl通过3D全身姿态控制生成高质量的目视视频，实现对动作的精细控制，推动具身AI的发展。
2025-11-22 cs.CV
MVRoom: Controllable 3D Indoor Scene Generation with Multi-View Diffusion Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）；Hupan Lab（虎斑实验室）
MVRoom通过多视角扩散模型实现可控的3D室内场景生成，结合布局感知的极线注意力机制和迭代框架，提升多视角一致性和生成质量。
2025-12-03 cs.AI cs.CV
SHADOWCAST: Controllable Graph Generation
National University of Singapore（新加坡国立大学）
我们介绍了可控图生成问题，制定为控制图形属性在生成过程中产生所需的图形与可理解的结构。使用透明和直接的马尔可夫模型来指导这个生成过程，从业者可以塑造和理解生成的图形。我们提出了${\rm S{\small HADOW}C{\small AST}}$，生成模型能够控制图形生成，同时保留原始图形的内在属性。该模型基于条件生成对抗网络。给定一个观察到的图形和一些用户指定的马尔可夫模型参数，${\rm S{\small HADOW}C{\small AST}}$控制生成所需图形的条件。在三个真实网络数据集上的综合实验证明了我们的模型在图生成任务中的竞争力。此外，我们通过指导${\rm S{\small HADOW}C{\small AST}}$生成具有不同图结构的假设场景来展示其有效的可控性。
2021-07-02 cs.LG stat.ML
Layered Controllable Video Generation
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（向量人工智能研究所）
我们引入分层可控视频生成，在那里，我们，没有任何监督，分解成前景和背景层，用户可以通过简单地操纵前景掩模的视频生成过程中的视频的初始帧。关键的挑战是无监督的前景-背景分离，这是模糊的，以及预测用户操作的能力，仅访问原始视频序列。我们通过提出一个两阶段的学习过程来解决这些挑战。在第一阶段中，利用丰富的损失集和动态前景大小先验，我们学习如何将帧分离为前景和背景层，并在这些层的条件下，如何使用VQ-VAE生成器生成下一帧。在第二阶段，我们微调这个网络，通过从未来的帧中对蒙版进行拟合（参数化）控制来预测对蒙版的编辑。我们证明了这种学习的有效性和更细粒度的控制机制，同时说明了两个基准数据集上的最新性能。我们在https://gabriel-huang.github.io/layered_controllable_video_generation上提供了视频摘要和一些视频结果
2022-09-30 cs.CV
Towards a Neural Graphics Pipeline for Controllable Image Generation
CFCS, Peking University（北京大学CFCS）；University College London（伦敦大学学院）；Tel Aviv University（特拉维夫大学）；AICFVE, Beijing Film Academy（北京电影学院AICFVE）；Adobe Research（奥多比研究院）
在本文中，我们利用神经网络的进步，形成一个神经渲染可控的图像生成，从而绕过了传统的图形管道的详细建模的需要。为此，我们提出了神经图形管道（NGP），这是一种混合生成模型，将神经和传统的图像形成模型结合在一起。NGP将图像分解为一组可解释的外观特征图，揭示了用于可控图像生成的直接控制手柄。为了形成图像，NGP生成粗略的3D模型，这些模型被馈送到神经渲染模块中，以生成视图特定的可解释的2D地图，然后使用传统的图像形成模型将其合成为最终的输出图像。我们的方法通过提供控制照明和相机参数的直接手柄来控制图像生成，此外还可以控制形状和外观变化。关键的挑战是通过无监督训练来学习这些控件，该无监督训练通过神经和传统（例如，Blinn-Phong）渲染函数，而不建立它们之间的显式对应关系。我们证明了我们的方法的有效性可控图像生成的单对象场景。我们评估了我们的混合建模框架，与仅神经生成方法（即DCGAN，LSGAN，WGAN-GP，VON和SRN）进行了比较，报告了FID分数对真实图像的改善，并证明了NGP支持传统正向渲染中常见的直接控制。代码可在http://geometry.cs.ucl.ac.uk/projects/2021/ngp上获得。
2021-02-22 cs.CV
LayoutDM: Discrete Diffusion Model for Controllable Layout Generation
CyberAgent（赛博艾坚特）；Waseda University（早稻田大学）
可控布局生成的目的是合成合理的安排元素边界框与可选的约束，如类型或位置的一个特定的元素。在这项工作中，我们试图解决广泛的布局生成任务，在一个单一的模型，是基于离散状态空间扩散模型。我们的模型名为LayoutDM，自然地处理离散表示中的结构化布局数据，并学习从初始输入中逐步推断出无噪声布局，其中我们通过模态离散扩散对布局损坏过程进行建模。对于条件生成，我们建议在推理过程中以掩码或logit调整的形式注入布局约束。我们在实验中表明，我们的LayoutDM成功地生成高质量的布局，并优于任务特定的和任务不可知的基线上的几个布局任务。
2023-03-14 cs.CV cs.GR
MVControl: Adding Conditional Control to Multi-view Diffusion for Controllable Text-to-3D Generation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Tongji University（同济大学）
MVControl通过为预训练多视图扩散模型添加条件控制模块和混合扩散先验，实现了可控且视图一致的高质量文本到3D生成。
2023-11-27 cs.CV
Controllable Dynamic 3D Shape Generation via 3D Trajectories and Text
KAIST AI Project（韩国科学技术院人工智能项目）
提出T2Mo前馈框架，通过3D轨迹和文本条件生成可控动态3D形状，采用形状接地轨迹嵌入处理任意配置轨迹，实现空间精确跟随与全局语义一致。
2026-06-03 cs.CV
LTOS: Layout-controllable Text-Object Synthesis via Adaptive Cross-attention Fusions
National University of Defense Technology（国防科技大学）；Nanyang Technological University（南洋理工大学）；Huawei Technologies Ltd（华为技术有限公司）
本文针对可控文本到图像生成中单一模态任务方法存在差距的问题，提出LTOS任务并构建相关数据集，设计TOF框架实现文本与对象的协调生成，实验表明其在多任务上优于现有技术。
2024-11-26 cs.AI cs.CV
Text2Control3D: Controllable 3D Avatar Generation in Neural Radiance Fields using Geometry-Guided Text-to-Image Diffusion Model
Graduate School of Artificial Intelligence, KAIST（韩国科学技术院人工智能研究生院）
提出Text2Control3D方法，利用ControlNet生成视角感知图像并结合可变形NeRF，实现了由单目视频控制面部表情的可控文本到3D虚拟人生成。
2023-09-07 cs.CV
GraphVid: Interactive Graph-Controllable Video Generation
研究如何实现可控视频生成，提出基于图条件的GraphVid模型及相关数据集，通过结构化交互图实现灵活精确控制，相比其他方法在减少训练数据和参数的情况下，提升了视频生成的可控性与质量。
2026-08-26 cs.AI cs.CV
What Are You Doing? A Closer Look at Controllable Human Video Generation
Google DeepMind（谷歌DeepMind）
针对现有数据集缺乏多样性，提出WYD基准，含1544个视频和细粒度标注，评估可控人类视频生成的9个方面，并改进评估指标，深入分析开源模型，发布数据与代码。
2026-09-09 cs.CV
MotionLCM: Real-time Controllable Motion Generation via Latent Consistency Model
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出MotionLCM，通过潜在一致性模型与运动ControlNet实现文本和初始运动信号驱动的实时可控人体运动生成，在保持实时效率的同时提升生成与控制能力。
2024-12-30 cs.CV
Robust Image Ordinal Regression with Controllable Image Generation
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；Shandong University（山东大学）；University of Notre Dame（圣母大学）
针对图像序数回归中普遍存在的类别不平衡和类别重叠问题，提出基于可控图像生成的CIG框架，在类别边界附近偏向少数类别生成额外训练样本，分离图像结构与类别信息，显著提升了少数类别性能。
2023-05-22 cs.CV
ACMo: Attribute Controllable Motion Generation
Xidian University（西安电子科技大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出ACMo架构，通过解耦条件、Attribute Diffusion Model、Motion Adapter和LLM Planner实现对风格、文本与轨迹等运动属性的精细可控生成。
2025-03-14 cs.CV
Optimizing Diffusion Models for Joint Trajectory Prediction and Controllable Generation
University of California, Berkeley（加州大学伯克利分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stellantis（斯泰兰蒂斯集团）
本文提出最优高斯扩散和估计干净流形引导，通过优化先验分布和直接注入引导梯度，在Argoverse 2上实现高效、高质量的自动驾驶联合轨迹预测与可控生成。
2024-08-01 cs.CV
IPDreamer: Appearance-Controllable 3D Object Generation with Complex Image Prompts
Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院）；Peking University（北京大学）；Skywork AI（天工 AI）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shenzhen Institute of Advanced Technology（深圳先进技术研究院）；Tiamat AI（蒂亚马特 AI）
IPDreamer提出从复杂图像提示中提取外观特征并与三维物体生成对齐，解决了文本到三维和单图像到三维方法在外观可控性上的不足，实现了高保真、外观可控的三维物体生成。
2024-10-22 cs.CV
Disentangled and Controllable Face Image Generation via 3D Imitative-Contrastive Learning
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
我们提出了DiscoFaceGAN，一种用于虚拟人的面部图像生成的方法，该方法具有用于不存在的人的身份，表情，姿势和照明的分离，精确可控的潜在表示。我们将3D先验知识嵌入到对抗学习中，并训练网络来模拟分析3D人脸变形和渲染过程的图像形成。为了处理真实和渲染的脸之间的域间隙引起的生成自由度，我们进一步引入对比学习，通过比较生成的图像对来促进解纠缠。实验表明，通过我们的模仿-对比学习，很好地解开因素的变化，并可以精确地控制生成的人脸的属性。我们还分析了学习的潜在空间，并提出了几个有意义的属性支持因子解纠缠。我们的方法也可以用来嵌入真实图像到解开潜在的空间。我们希望我们的方法可以为物理性质和深度图像合成之间的关系提供新的理解。
2020-09-04 cs.CV
Gated Condition Injection without Multimodal Attention: Towards Controllable Linear-Attention Transformers
National University of Singapore（新加坡国立大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出基于线性注意架构的可控扩散模型，解决现有方法在多类型条件输入灵活性和收敛速度上的不足，通过统一门控条件模块实现高效可控生成。
2026-03-29 cs.CV
FineXtrol: Controllable Motion Generation via Fine-Grained Text
FineXtrol通过细粒度文本控制信号提升运动生成的可控性和精度，采用层次对比学习模块增强嵌入区分性，实现高效且灵活的运动生成。
2025-11-24 cs.CV
Layout Control and Semantic Guidance with Attention Loss Backward for T2I Diffusion Model
Suning（苏宁）
本文提出一种基于注意力损失反向传播的无训练方法，通过控制交叉注意力图，解决T2I扩散模型在可控生成中的属性不匹配和布局完成度不足问题，无需训练或微调即可实现显式布局约束。
2024-11-11 cs.CV
Controllable Clothing: Precise Labels and Generation for Virtual Try-On with Latent Diffusion Models
Publicis Resources GenAI Team（阳狮集团GenAI团队）；École Polytechnique（巴黎综合理工学院）；KTH（皇家理工学院）
本研究提出基于潜在扩散模型的新方法，通过开源AI模型添加标签并训练适配器，实现虚拟试穿图像的可控生成，可避免误导消费者。
2026-08-07 cs.CV
InstanceControl: Controllable Complex Image Generation without Instance Labeling
Harbin Institute of Technology（哈尔滨工业大学）；HUAWEI Noah’s Ark Lab（华为诺亚方舟实验室）
提出InstanceControl方法，利用视觉语言模型自动建立文本与视觉条件间的实例对应，无需人工标注，通过自适应掩码细化策略实现复杂多实例场景的精确可控生成。
2026-07-01 cs.CV
Training-free Controllable Human Motion Generation under Heterogeneous Constraints
Lancaster University（兰卡斯特大学）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
提出Motion-Inference-as-Control框架，将扩散运动生成建模为随机控制问题，统一处理连续目标型和基于准则的约束，无需约束特定训练或可微性要求。
2026-07-03 cs.CV
SceneX: Procedural Controllable Large-scale Scene Generation
University of Chinese Academy of Sciences（中国科学院大学）；Centre for Artificial Intelligence and Robotics（人工智能与机器人研究中心）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Shandong University（山东大学）；University of Science and Technology Beijing（北京科技大学）；China University of Geosciences Beijing（中国地质大学（北京））
SceneX框架通过PCGHub和PCGPlanner组件，根据文本描述自动生成高质量程序化模型，实现自然场景与无边界城市的可控大规模生成及场景编辑。
2024-12-17 cs.AI cs.CV
ScaleWeaver: Weaving Efficient Controllable T2I Generation with Multi-Scale Reference Attention
University of Science and Technology of China（中国科学技术大学）
ScaleWeaver通过参数高效微调和参考注意力模块，在视觉自回归模型中实现高效可控的文本到图像生成，兼顾高质量与精确控制。
2025-10-16 cs.CV
Strictly-ID-Preserved and Controllable Accessory Advertising Image Generation
Tsinghua University（清华大学）；Institute for Intelligent Computing, Alibaba Group（阿里巴巴集团智能计算研究所）；University of Science and Technology Beijing（北京科技大学）
针对电商广告中商品身份必须严格保持的需求，本文提出基于 Control-Net 的定制化图像生成流程，并通过多分支交叉注意力实现模特尺度、姿态与外观的细粒度可控生成。
2024-04-07 cs.CV
Controllable Game Level Generation: Assessing the Effect of Negative Examples in GAN Models
Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机科学学院）
本研究针对游戏关卡可控生成问题，对比评估CGAN与Rumi-GAN两种GAN变体在有无负样本场景下生成满足可玩性、可控性约束关卡的性能，明确负样本对避免不良输出的作用及各方法优劣。
2024-10-30 cs.AI cs.LG
From Parts to Whole: A Unified Reference Framework for Controllable Human Image Generation
Beihang University（北京航空航天大学）
针对多外观条件人物图像生成难题，提出Parts2Whole框架，通过语义感知外观编码器与掩码增强共享自注意力机制实现多参考图定制化肖像生成。
2024-04-23 cs.CV
SkyReels-Text: Fine-Grained Font-Controllable Text Editing for Poster Design
Skywork AI
本文提出SkyReels-Text，一种可精细控制字体的文本编辑框架，支持多区域文本同时编辑，保留非编辑区域的视觉效果，无需字体标签或测试时微调，实现高质量字体控制。
2026-04-29 cs.CV
