Scenario Diffusion: Controllable Driving Scenario Generation With Diffusion
Zoox（佐克斯公司）
本文提出场景扩散（Scenario Diffusion），一种基于扩散的架构，结合潜在扩散、目标检测和轨迹回归，以地图和令牌为条件，实现可控的驾驶场景生成，可建模多样交通模式并泛化至不同地区。
2023-11-16 cs.CV cs.LG cs.RO
GraphGUIDE: interpretable and controllable conditional graph generation with discrete Bernoulli diffusion
Genentech（基因泰克）
扩散模型在生成真实感对象方面具有最先进的性能，并已成功应用于图像、文本和视频。最近的工作表明，扩散也可以在图形上定义，包括药物样分子的图形表示。不幸的是，仍然很难以可解释和可控制的方式在图上执行条件生成。在这项工作中，我们提出了GraphGUIDE，一个新的框架，图形生成使用扩散模型，在图中的边缘翻转或设置在每个离散的时间步。我们在几个图形数据集上演示了GraphGUIDE，并表明它可以完全控制任意结构属性的条件生成，而无需依赖于预定义的标签。我们的图形扩散框架可以对图形的可解释条件生成产生很大的影响，包括以实验证据为依据的方式生成具有所需特性的药物样分子。
2023-02-07 cs.LG
Transformer-based Conditional Variational Autoencoder for Controllable Story Generation
University at Buffalo（布法罗大学）；JD Finance America Corporation（京东金融美国公司）
我们研究了用于神经故事生成的大规模潜变量模型（LVMs）-开放域长文本的一个未充分开发的应用程序-目标有两个线程：生成有效性和可控性。LVMs，特别是变分自编码器（VAE），通过利用灵活的分布式潜在表示实现了有效和可控的生成。近年来，Transformers及其变体在没有显式潜在表示学习的情况下取得了显著的效果，因此在生成过程中缺乏令人满意的可控性。在本文中，我们主张在Transformers时代恢复潜变量建模，本质上是表示学习的力量，以增强可控性，而不损害最先进的发电效率。具体来说，我们将潜在表示向量与基于transformer的预训练架构相结合，以构建条件变分自编码器（CVAE）。模型的组成部分，如编码器，解码器和变分后验都建立在预先训练的语言模型-GPT 2在本文中具体。实验证明了我们的模型的最先进的条件生成能力，以及其优秀的表示学习能力和可控性。
2021-07-08 cs.AI cs.CL cs.LG
Controllable Latent Diffusion for Traffic Simulation
School of Engineering and Physical Sciences, Heriot-Watt University（赫瑞瓦特大学工程与物理科学学院）
提出基于强化学习引导的可控潜在扩散方法，自动生成多样且可控的驾驶场景，以最低碰撞率0.098和偏离道路率0.096超越基线，显著提升自动驾驶安全评估的真实性与可控性。
2025-03-30 cs.MA cs.RO
DragTraffic: Interactive and Controllable Traffic Scene Generation for Autonomous Driving
The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；KTH Royal Institute of Technology（瑞典皇家理工学院）；Lotus Technology Ltd（路特斯科技有限公司）
提出基于条件扩散的交通场景生成框架DragTraffic，通过自适应混合专家架构、回归初始解与交叉注意力机制，实现高可控、多样且真实的自动驾驶边缘案例生成。
2024-10-10 cs.CV cs.RO
RLFTSim: Realistic and Controllable Multi-Agent Traffic Simulation via Reinforcement Learning Fine-Tuning
University of Alberta（阿尔伯塔大学）；Huawei Technologies Canada（华为加拿大技术有限公司）；York University（约克大学）；Canada CIFAR AI Chair, Amii（加拿大 CIFAR 人工智能主席，Amii）
本文提出RLFTSim框架，通过强化学习微调提升交通仿真场景的真实感，并通过目标条件化方法实现对交通仿真可控性的提炼，实验表明其在真实感和可控性方面均优于其他启发式搜索方法。
2026-05-18 cs.AI cs.CV cs.LG
A Causal Lens for Controllable Text Generation
UC San Diego（加州大学圣迭戈分校）；AWS AI, Amazon（亚马逊云科技人工智能）
可控文本生成涉及广泛应用的两个基本任务，即生成给定属性的文本（即，属性条件生成），以及最低限度地编辑现有文本以拥有期望的属性（即，文本属性转移）。大量的先前工作在很大程度上分别研究了这两个问题，并开发了不同的条件模型，然而，这些模型容易产生有偏见的文本（例如，各种性别陈规定型观念）。本文提出了制定可控的文本生成从原则的因果关系的角度来看，模型的两个任务与一个统一的框架。因果公式的一个直接优势是使用丰富的因果关系工具来减轻世代偏差并改善控制。我们把这两个任务的干预和反事实的因果推理的基础上的结构因果模型，分别。然后，我们将该框架应用到具有挑战性的实际环境中，其中混淆因素（引起虚假相关性）仅在一小部分数据上可观察到。实验表明，因果关系的方法比以前的条件模型，提高控制精度和减少偏见显着的优越性。
2022-01-22 cs.AI cs.CL cs.LG
AgingMapGAN (AMGAN): High-Resolution Controllable Face Aging with Spatially-Aware Conditional GANs
L’Oréal Research & Innovation（欧莱雅研发与创新中心）
现有的面部老化方法和数据集产生的结果偏向于平均值，个体差异和表情皱纹往往不可见或被忽视，而有利于面部变胖等全局模式。此外，它们对面部老化的方式几乎没有控制，并且很难缩放到大图像，从而阻止了它们在许多现实世界应用中的使用。为了解决这些限制，我们提出了一种方法来改变高分辨率图像的外观，使用特定种族的老化信息和弱空间监督，以指导老化过程。我们展示了我们提出的方法在质量，控制方面的优势，以及如何在限制计算开销的同时用于高清图像。
2020-08-26 cs.AI cs.CV cs.LG
A Conditional Flow Variational Autoencoder for Controllable Synthesis of Virtual Populations of Anatomy
University of Leeds（利兹大学）；University of Manchester（曼彻斯特大学）；KU Leuven（荷语鲁汶大学）；Alan Turing Institute（艾伦·图灵研究所）
提出将条件变分自编码器与归一化流结合的条件流VAE，用于可控合成解剖虚拟人群，在2360名患者的心脏左心室数据上表现出优于cVAE的条件合成性能。
2023-07-28 cs.CV cs.LG eess.IV
Conditional Controllable Image Fusion
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；State Key Laboratory of Integrated Services Networks, Xidian University（西安电子科技大学综合业务网理论及关键技术国家重点实验室）；School of New Media and Communication, Tianjin University（天津大学新媒体与传播学院）
提出条件可控融合框架，利用扩散模型动态注入特定约束，实现无需训练的通用图像融合，逐步校准融合图像。
2024-11-03 cs.CV cs.LG eess.IV
Causal Composition Diffusion Model for Closed-loop Traffic Generation
CMU（卡内基梅隆大学）；Cruise LLC（Cruise公司）；UIUC（伊利诺伊大学香槟分校）
提出因果组合扩散模型（CCDiff），通过将因果结构注入扩散过程，在闭环交通生成中兼顾真实性与可控性，显著优于现有方法。
2025-05-26 cs.AI cs.LG cs.RO
Conditional Diffusion as Latent Constraints for Controllable Symbolic Music Generation
本文提出将条件扩散模型作为即插即用的潜在约束，用于无条件符号音乐生成，首次在音符密度、音高范围、轮廓和节奏复杂度等多种属性上验证其通用性，并证明其优于传统属性正则化方法，在保持生成质量与多样性的同时实现更强的属性控制相关性。
2025-11-10 cs.AI cs.LG eess.AS
CtRL-Sim: Reactive and Controllable Driving Agents with Offline Reinforcement Learning
Mila（米拉计算研究所）；Université de Montréal（蒙特利尔大学）；Polytechnique Montréal（蒙特利尔理工学院）；Torc Robotics（托尔克机器人公司）；Princeton University（普林斯顿大学）；CIFAR（加拿大高级研究所）
本文提出CtRL-Sim方法，利用回报条件的离线强化学习，通过物理增强模拟器处理真实驾驶数据并训练多智能体行为模型，实现了高效生成反应式且可控的驾驶智能体，并能生成安全关键场景及对抗性行为。
2024-10-14 cs.AI cs.LG cs.RO
Bi-Level Optimization Augmented with Conditional Variational Autoencoder for Autonomous Driving in Dense Traffic
University of Tartu（塔尔图大学）；University of Naples Federico II（那不勒斯费德里科二世大学）
自动驾驶具有天然的双层结构。上层行为层的目标是提供适当的车道变换、加速和制动决策，以优化给定的驾驶任务。然而，这一层只能通过较低级别的轨迹规划器间接影响驾驶效率，轨迹规划器接收行为输入以产生运动命令。现有的基于采样的方法没有充分利用行为层和规划层之间的强耦合。另一方面，端到端强化学习（RL）可以学习行为层，同时结合来自较低级别规划器的反馈。然而，纯数据驱动的方法在看不见的环境中的安全指标往往失败。本文提出了一种新的替代方案;一个参数化的双层优化，共同计算最佳的行为决策和由此产生的下游轨迹。我们的方法使用自定义GPU加速的批处理优化器和条件变分自编码器学习的热启动策略实时运行。大量的仿真结果表明，我们的方法优于国家的最先进的模型预测控制和RL方法的碰撞率，同时具有竞争力的驾驶效率。
2022-12-05 cs.LG cs.RO
FastSTI: A Fast Conditional Pseudo Numerical Diffusion Model for Spatio-temporal Traffic Data Imputation
School of Automation, Northwestern Polytechnical University（西北工业大学自动化学院）；University of Padova（帕多瓦大学）
本文提出FastSTI快速条件扩散模型，通过高阶伪数值求解器和方差调度对齐策略，在仅6个采样步骤内实现高质量时空交通数据插补，速度较现有最优模型提升8.3倍，尤其适用于60%～90%高缺失率场景。
2024-10-20 cs.LG
Versatile Behavior Diffusion for Generalized Traffic Agent Simulation
School of Mechanical and Aerospace Engineering, Nanyang Technological University（南洋理工大学机械与航空航天工程学院）；Department of Electrical and Computer Engineering, Princeton University（普林斯顿大学电气与计算机工程系）；NVIDIA Research（NVIDIA研究）
多功能行为扩散通过生成多代理互动场景，提升交通模拟的灵活性和实用性，为自动驾驶系统测试提供基础工具。
2026-02-01 cs.RO
Accurate Network Traffic Matrix Prediction via LEAD: a Large Language Model-Enhanced Adapter-Based Conditional Diffusion Model
School of Information and Communication Engineering, Beijing University of Posts and Telecommunications（信息与通信工程学院，北京邮电大学）；China Mobile Group Design Institute（中国移动集团设计院）
LEAD通过结合大语言模型与适配器条件扩散模型，有效提升网络流量矩阵预测的准确性与鲁棒性。
2026-02-02 cs.LG
Towards Controllable Diffusion Models via Reward-Guided Exploration
Tencent AI Lab（腾讯人工智能实验室）
本文提出奖励引导扩散模型RGDM，通过强化学习在训练阶段引导扩散模型探索高奖励样本，缓解梯度方差问题，并在3D形状和分子生成任务上取得显著提升。
2023-04-14 cs.LG q-bio.BM
CRASH: Raw Audio Score-based Generative Modeling for Controllable High-resolution Drum Sound Synthesis
Sony CSL（索尼计算机科学实验室）；CentraleSupélec（巴黎中央理工-高等电力学院）
在本文中，我们提出了一种新的无条件原始音频合成的分数为基础的生成模型。我们的建议建立在扩散过程建模与随机微分方程的最新发展，这已经证明了有前途的结果图像生成。我们激励新的扩散过程更适合音频生成的选择，并考虑使用一个有条件的U-网近似的分数函数。虽然以前的方法对音频的扩散模型主要是设计为语音声码器在中等分辨率，我们的方法被称为CRASH（可控的原始音频合成与高分辨率）允许我们以可控的方式产生短的44.1kHz的混响声音。通过大量的实验，我们展示了鼓的声音生成任务的众多采样方案提供了我们的方法（无条件生成，确定性生成，修复，插值，变化，类条件采样），并提出了类混合采样，一种新的方式来生成“混合”的声音。我们提出的方法缩小了与基于GAN的方法在原始音频上的差距，同时提供了更灵活的生成功能，具有更轻和更小的训练模型。
2021-06-14 cs.LG cs.SD eess.AS
Unified Generative Adversarial Networks for Controllable Image-to-Image Translation
University of Trento（特伦托大学）；Shenzhen Graduate School, Peking University（北京大学深圳研究生院）
我们提出了一个统一的生成对抗网络（GAN），用于可控的图像到图像的翻译，即，由可控结构引导将图像从源域转移到目标域。除了对参考图像的调节外，我们还展示了该模型如何生成可控结构的图像，例如，类标签、对象关键点、人体骨架和场景语义图。该模型由一个发生器和一个以条件图像和目标可控结构为输入的控制器组成。以这种方式，条件图像可以提供外观信息，并且可控结构可以提供用于生成目标结果的结构信息。此外，我们的模型通过三种新的损失来学习图像到图像的映射，即，颜色损失、可控结构引导的循环一致性损失和可控结构引导的自我内容保持损失。此外，我们提出了Fréchet ResNet距离（FRD）来评估生成图像的质量。两个具有挑战性的图像翻译任务的实验，即，手势到手势翻译和跨视图图像翻译，表明我们的模型产生令人信服的结果，并显着优于其他国家的最先进的方法在这两个任务。同时，该框架是一个统一的解决方案，因此它可以应用于解决其他可控结构引导的图像翻译任务，如地标引导的面部表情翻译和关键点引导的人物图像生成。据我们所知，我们是第一个让一个GAN框架在所有这些可控结构引导的图像翻译任务上工作的人。代码可在https://github.com/Ha0Tang/GestureGAN上获得。
2020-09-02 cs.CV cs.LG eess.IV
Controllable Image Synthesis via SegVAE
University of California, Merced（加利福尼亚大学默塞德分校）；National Tsing Hua University（台湾清华大学）；Google Research（谷歌研究院）
灵活的用户控件对于内容创建和图像编辑是理想的。语义映射是条件图像生成常用的中间表示。与对原始RGB像素的操作相比，语义映射使得用户修改更简单。在这项工作中，我们专门针对生成语义地图给定的标签集所需的类别。所提出的框架，SegVAE，合成语义地图的迭代方式使用条件变分自编码器。定量和定性的实验表明，该模型可以生成逼真的和多样化的语义地图。我们还应用了一个现成的图像到图像的转换模型来生成逼真的RGB图像，以更好地理解合成语义图的质量。此外，我们展示了几个真实世界的图像编辑应用程序，包括对象删除，对象插入和对象替换。
2020-07-17 cs.CV cs.LG
Spatial-Temporal Feedback Diffusion Guidance for Controlled Traffic Imputation
FENCE提出了一种时空反馈扩散引导方法，通过动态调整引导尺度提升交通数据填补的准确性。
2026-01-08 cs.AI cs.LG
SHADOWCAST: Controllable Graph Generation
National University of Singapore（新加坡国立大学）
我们介绍了可控图生成问题，制定为控制图形属性在生成过程中产生所需的图形与可理解的结构。使用透明和直接的马尔可夫模型来指导这个生成过程，从业者可以塑造和理解生成的图形。我们提出了${\rm S{\small HADOW}C{\small AST}}$，生成模型能够控制图形生成，同时保留原始图形的内在属性。该模型基于条件生成对抗网络。给定一个观察到的图形和一些用户指定的马尔可夫模型参数，${\rm S{\small HADOW}C{\small AST}}$控制生成所需图形的条件。在三个真实网络数据集上的综合实验证明了我们的模型在图生成任务中的竞争力。此外，我们通过指导${\rm S{\small HADOW}C{\small AST}}$生成具有不同图结构的假设场景来展示其有效的可控性。
2021-07-02 cs.LG stat.ML
Heterogeneous Self-Play for Realistic Highway Traffic Simulation
PlusAI
本文提出PHASE框架，通过自博弈生成逼真高速公路场景，支持不同车辆类型并提升交互真实性，实现零样本迁移至512个真实场景。
2026-03-31 cs.AI cs.LG cs.MA
New Results on Multi-Step Traffic Flow Prediction
University of Waterloo（滑铁卢大学）
在其最简单的形式中，交通流预测问题仅限于预测未来的单个时间步长。多步交通流预测扩展了这种设置的情况下，预测多个时间步长到未来的基础上一些有限的历史是感兴趣的。这个问题比它的单步变体要困难得多，并且已知随着时间步长的增加，预测会下降。在本文中，两种方法来提高多步交通流预测性能的递归和多输出设置。特别是，一个模型，允许递归预测方法，以考虑时间步长索引方面的时间上下文进行预测时，介绍。此外，提出了一种基于条件生成对抗网络的数据增强方法，以提高多输出环境下的预测性能。在实际交通流数据集上的实验表明，这两种方法分别在递归和多输出环境下改善了多步交通流预测。
2018-05-16 cs.AI cs.LG stat.ML
Improving Movement Predictions of Traffic Actors in Bird's-Eye View Models using GANs and Differentiable Trajectory Rasterization
Uber Advanced Technologies Group（优步先进技术集团）
自动驾驶难题中最关键的部分之一是预测周围交通参与者的未来运动，这使得自动驾驶汽车能够在复杂的世界中安全有效地规划其未来路线。最近，已经提出了一些算法来解决这个重要的问题，受到来自工业界和学术界的研究人员越来越大的兴趣的刺激。一方面基于自上而下的场景光栅化的方法和另一方面基于生成对抗网络（GANs）的方法已被证明是特别成功的，在交通运动预测任务上获得了最先进的精度。在本文中，我们建立在这两个方向，并提出了一个基于光栅的条件GAN架构，由一个新的可微光栅化模块在输入的条件下，将生成的轨迹映射到光栅空间中的可微的方式。这简化了任务，因为不符合场景的轨迹更容易识别，并允许梯度回流，迫使生成器输出更好，更真实的轨迹。我们在一个大规模的真实数据集上评估了所提出的方法，结果表明它的性能优于最先进的基于GAN的基线。
2020-06-12 cs.LG cs.RO eess.IV
CA-GAN: Weakly Supervised Color Aware GAN for Controllable Makeup Transfer
L’Oréal Research and Innovation（欧莱雅研发与创新中心）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信巴黎理工高等通信学院LTCI实验室）
虽然现有的化妆风格转移模型执行图像合成，其结果不能被显式地控制，但是连续修改化妆颜色的能力是虚拟试穿应用的期望属性。我们提出了一个新的配方的化妆风格转移的任务，目的是学习一个颜色可控的化妆风格合成。我们引入了CA-GAN，这是一种生成模型，可以学习将图像中特定对象（例如嘴唇或眼睛）的颜色修改为任意目标颜色，同时保留背景。由于颜色标签很少见，而且获取成本很高，因此我们的方法利用了条件GANs的弱监督学习。这使得能够学习复杂对象的可控合成，并且只需要我们想要修改的图像属性的弱代理。最后，我们首次提出了定量分析的化妆风格转移和色彩控制性能。
2020-08-24 cs.AI cs.CV cs.LG
Controllable Game Level Generation: Assessing the Effect of Negative Examples in GAN Models
Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机科学学院）
本研究针对游戏关卡可控生成问题，对比评估CGAN与Rumi-GAN两种GAN变体在有无负样本场景下生成满足可玩性、可控性约束关卡的性能，明确负样本对避免不良输出的作用及各方法优劣。
2024-10-30 cs.AI cs.LG
A Generative Approach for Production-Aware Industrial Network Traffic Modeling
Nokia Bell Labs（诺基亚贝尔实验室）；Trumpf（通快）
工业4.0引发的新一轮数字化浪潮要求无处不在的可靠连接，以执行和自动化工业操作。5G网络可以满足异构垂直应用的极端要求，但缺乏真实数据和真实的流量统计数据，为工业环境的网络优化和配置带来了许多挑战。在本文中，我们调查了德国通快工厂部署的激光切割机产生的网络流量数据。我们分析的流量统计数据，捕捉机器的内部状态之间的依赖关系，并作为一个生产状态依赖的随机过程的网络流量模型。该模型分为两步：首先将生产过程建模为多状态半马尔可夫过程，然后利用生成模型学习依赖于生产状态的数据包到达间隔时间和数据包大小的条件分布。我们比较了各种生成模型的性能，包括变分自编码器（VAE），条件变分自编码器（CVAE）和生成对抗网络（GAN）。数值结果表明，一个很好的近似的交通到达统计取决于生产状态。在所有的生成模型中，CVAE在最小的Kullback-Leibler分歧方面提供了最好的性能。
2022-11-11 cs.LG stat.AP
Conditional Prediction by Simulation for Automated Driving
CARIAD SE；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
本文提出一种基于微观交通仿真和对抗性逆强化学习行为模型的条件预测方法，通过以自动驾驶车辆候选轨迹为条件生成预测并支持动态调整，从而实现协同规划。
2025-02-05 cs.CV cs.RO
Autonomous Navigation through intersections with Graph ConvolutionalNetworks and Conditional Imitation Learning for Self-driving Cars
The Hong Kong University of Science and Technology（香港科技大学）
在自动驾驶中，通过无信号交叉路口的导航与许多交通参与者移动是一项具有挑战性的任务。为了解决这个问题，我们提出了一种新的分支网络G-CIL的导航策略学习。具体来说，我们首先表示这样的动态环境的图形结构的数据，并提出了一个有效的策略，边缘定义聚合周围的信息，为自我车辆。然后使用图卷积神经网络作为感知模块，从环境中捕获全局和几何特征。为了生成安全高效的导航策略，我们进一步将其与条件模仿学习算法相结合，直接从专家演示中学习驾驶行为。我们提出的网络能够处理不同数量的周围车辆并生成最优控制动作（例如，转向角和油门）根据给定的高级命令（例如，向左转向全球目标）。对不同交通密度的无信号交叉口的评估表明，我们的端到端可训练神经网络优于基线，具有更高的成功率和更短的导航时间。
2021-02-01 cs.AI cs.RO
SceneDiffuser: Efficient and Controllable Driving Simulation Initialization and Rollout
Waymo LLC（Waymo公司）
SceneDiffuser提出一种场景级扩散先验，通过摊销扩散和广义硬约束实现高效可控的驾驶模拟初始化与滚动，在Waymo挑战中取得领先性能。
2024-12-05 cs.AI cs.CV cs.LG
Controllable Generative Trajectory Prediction via Weak Preference Alignment
Aalto University（阿alto大学）；TU Delft（代尔夫特理工大学）
针对现有轨迹预测模型缺乏可控多样性方案的问题，提出增强型CVAE框架PrefCVAE，利用弱标记偏好对赋予潜变量语义属性，在保持基线准确率的同时实现可控且具语义意义的轨迹预测。
2025-10-12 cs.LG cs.RO
Controllable Generative Adversarial Network
Korea University（高丽大学）
最近引入的生成对抗网络（GAN）已经显示出许多有前途的结果，以产生真实的样本。GAN的基本任务是控制从随机分布产生的样本的特征。虽然当前的GAN结构（例如条件GAN）成功地生成具有期望的主要特征的样本，但是它们通常不能产生在样本之间带来特定差异的详细特征。为了克服这个限制，在这里，我们提出了一个可控的GAN（控制GAN）结构。通过将特征分类器与子分类器分离，ControlGAN的生成器被设计为学习生成具有特定详细特征的合成样本。使用多个图像数据集进行评估，ControlGAN显示出生成具有良好控制特征的改进样本的能力。此外，我们证明了ControlGAN可以为训练过程中未使用的内插和外推输入标签生成中间特征和相反特征。这意味着ControlGAN可以显著地促进生成的样本的多样性。
2019-03-30 cs.CV cs.LG stat.ML
CaDRE: Controllable and Diverse Generation of Safety-Critical Driving Scenarios using Real-World Trajectories
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
针对自动驾驶仿真测试中安全关键场景生成的难题，提出CaDRE框架，融合真实轨迹、领域知识与黑盒优化，在三类典型场景中实现了比现有方法更优的场景生成质量、多样性与样本效率。
2024-12-12 cs.RO
SyMuPe: Affective and Controllable Symbolic Music Performance
Skolkovo Institute of Science and Technology（斯克洛夫诺科学与技术研究所）；Peachnote GmbH（Peachnote公司）
本文提出SyMuPe框架及PianoFlow模型，利用条件流匹配和情感加权文本嵌入实现情感化、可控的符号钢琴演奏生成与修复，性能优于基线并接近人类演奏水平。
2025-11-05 cs.LG cs.MM cs.SD
Promptable Closed-loop Traffic Simulation
UT Austin（德克萨斯大学奥斯汀分校）；NVIDIA（英伟达）
提出多模态可提示闭环交通仿真框架 ProSim，支持数值、类别和文本提示控制智能体行为，并发布含52万余场景、千万余文本提示的 ProSim-Instruct-520k 数据集。
2024-09-09 cs.AI cs.CV cs.RO
Progressive Open-Domain Response Generation with Multiple Controllable Attributes
Ping An Life Insurance Company of China（中国平安人寿保险股份有限公司）；Carnegie Mellon University（卡内基梅隆大学）
期望包括更多的可控属性以增强开放域对话系统中生成的响应的多样性。然而，现有的方法可以生成仅具有一个可控属性的响应，或者缺乏灵活的方式来生成具有多个可控属性的响应。在本文中，我们提出了一个渐进训练的分层编码器-解码器（PHED）来解决这个任务。更具体地说，PHED在Transformer上部署了条件变分自编码器（CVAE），以在一个阶段包括属性的一个方面。CVAE的一个重要特征是将每个阶段的潜变量分为两类：一个是捕捉公共语义特征的全局变量，另一个是吸收该阶段属性信息的特定变量。然后，PHED将CVAE潜在变量与Transformer编码器耦合，并通过最小化新导出的ELBO和受控损耗来进行训练，以产生下一级的输入并根据需要产生响应。最后，我们进行了广泛的评估，以表明PHED显着优于最先进的神经生成模型，并产生更多样化的反应，正如预期的那样。
2021-06-07 cs.CL cs.LG
Controllable Music Production with Diffusion Models and Guidance Gradients
Apple（苹果公司）
本文提出在44.1kHz立体声音频扩散模型采样时施加引导，统一支持重建与分类损失，实现音乐续写、修复、过渡和风格迁移等可控制作任务。
2023-12-05 cs.LG cs.SD eess.AS
Proposal-Conditioned Latent Diffusion for Closed-Loop Traffic Scenario Generation
CARIAD SE；Technical University of Munich（慕尼黑工业大学）；Institute of Automotive Engineering (FZD), TU Darmstadt（达姆施塔特工业大学汽车工程研究所（FZD））
提出一种基于实例场景上下文和多模态提议先验的扩散框架，通过紧凑动作潜表示和提议初始化提升采样效率，实现闭环交通场景的逼真、安全且可控生成。
2026-06-26 cs.CV cs.RO
PosterMELD: Multi-Agent Paper-to-Poster Generation for Controllable Design Diversity with Editable Print-Ready Outputs
PosterMELD是模板条件化多智能体海报生成流水线，可导出可编辑PPTX和PNG，在621篇论文实验中PRR达81.3%，成本仅为Codex+Skill的3.5%，性能优于P2P、PosterGen等方法。
2026-08-04 cs.AI
Controllable and Diverse Text Generation in E-commerce
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）
在电子商业中，文本生成的一个关键挑战是在词的多样性和准确性（相关性）之间找到一个很好的折衷，以使生成的文本看起来更自然和人性化。为了提高生成结果的相关性，开发了条件文本生成器，使用输入关键字或属性来生成相应的文本。然而，以前的工作，不精细地控制自动生成的句子的多样性。例如，它不控制关键字的顺序，将更相关的放在第一位。此外，它没有明确控制多样性和准确性之间的平衡。为了解决这些问题，我们提出了一个细粒度的可控生成模型，称为~\textit{Apex}，它使用的算法借用自动控制（即，一个变种的\textit{proportional, integral, and derivative (PID) controller}），以精确地操纵生成的文本的多样性/准确性权衡。该算法被注入到一个条件变分自动编码器（CVAE），允许\textit{Apex}来控制（i）关键字在生成的句子中的顺序（以输入关键字及其顺序为条件），以及（ii）多样性和准确性之间的权衡。在真实数据集上的评价结果表明，该方法在多样性和相关性方面优于现有的生成模型。Apex目前被部署用于在中国最大的电子商业平台阿里巴巴旗下的淘宝上生成产品描述和商品推荐理由。A/B生产测试结果表明，与现有的生产描述方法相比，该方法提高了13.17%的点击率。对于项目推荐而言，与用户评论和没有评论的top-K项目推荐相比，它能够分别提高CTR 6.…
2021-02-23 cs.LG
SymDrive: Realistic and Controllable Driving Simulator via Symmetric Auto-regressive Online Restoration
School of Vehicle and Mobility, Tsinghua University（清华大学车辆与移动系统学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；State Key Lab of Intelligent Transportation System, Beihang University（北航智能交通系统国家重点实验室）
SymDrive通过对称自回归在线修复技术，实现了逼真可控的驾驶模拟，解决了高保真渲染与交互式交通编辑的难题。
2025-12-25 cs.CV cs.RO
Hierarchical Generative Modeling for Controllable Speech Synthesis
Massachusetts Institute of Technology（麻省理工学院）；Google Inc.（谷歌公司）
本文提出了一种神经序列到序列的文语转换（TTS）模型，该模型可以控制生成的语音中很少在训练数据中注释的潜在属性，如说话风格、口音、背景噪声和录音条件。该模型被制定为一个条件生成模型的基础上的变分自编码器（VAE）的框架，具有两个层次的潜变量。第一级是分类变量，表示属性组（例如干净/嘈杂）并提供可解释性。第二个层次，条件是第一个，是一个多变量高斯变量，其特征在于特定的属性配置（如噪音水平，说话速率），并使这些属性的解开细粒度控制。这相当于对潜在分布使用高斯混合模型（GMM）。广泛的评价表明其控制上述属性的能力。特别是，我们训练一个高质量的可控TTS模型的真实发现的数据，这是能够推断扬声器和风格属性从嘈杂的话语，并用它来合成干净的语音可控的说话风格。
2018-12-27 cs.CL cs.LG cs.SD
End-to-end Conditional Diffusion for Realistic and Controllable Visual Traffic Scenario Generation
Zhongguancun Laboratory（中关村实验室）；Tianjin University（天津大学）；Beihang University（北京航空航天大学）；Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）；State Key Laboratory of Software Development Environment（软件开发环境国家重点实验室）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
研究如何生成逼真且可控的视觉交通场景，提出端到端条件扩散框架E2E-CDiff，基于前视图视觉观察联合去噪未来运动状态等，减轻规划控制不匹配，实验表明其在可控性与逼真性权衡上表现良好，还能引发挑战性交互，作为自我规划器有竞争力。
2026-07-22 cs.LG cs.RO
RIFT: Group-Relative RL Fine-Tuning for Realistic and Controllable Traffic Simulation
School of Vehicle and Mobility, Tsinghua University（车辆与移动学院，清华大学）
本文提出双阶段自动驾驶交通仿真框架，先进行模仿学习预训练，再通过群体相对强化学习微调策略RIFT，在保留轨迹真实性与路线可控性的同时增强风格可控性并缓解协变量偏移。
2025-09-21 cs.LG cs.RO
TrafficBots V1.5: Traffic Simulation via Conditional VAEs and Transformers with Relative Pose Encoding
ETH Zürich（苏黎世联邦理工学院）；INSAIT Sofia（索菲亚 INSAIT）
本文提出TrafficBots V1.5，融合CVAE多智能体策略与带相对位姿编码的HPTR，通过计划教师强制和推理过滤在WOSAC 2024中获第3名。
2024-06-16 cs.CV cs.RO
ArtFormer: Controllable Generation of Diverse 3D Articulated Objects
Xiamen University Malaysia（马来西亚厦门大学）；Renmin University of China（中国人民大学）；Tsinghua University（清华大学）；Southern University of Science and Technology（南方科技大学）；University of Minnesota-Twin Cities（明尼苏达大学双城分校）；Henan RunTai Digital Technology Group Co., Ltd.（河南润泰数字科技集团有限公司）
提出ArtFormer框架，通过token树参数化和transformer生成3D铰接物体的几何与运动学关系，结合SDF形状先验实现高质量、多样化且可控的物体生成。
2025-04-03 cs.AI cs.CV cs.RO
Ctrl-Crash: Controllable Diffusion for Realistic Car Crashes
McGill University（麦吉尔大学）；CIFAR AI Chair（CIFAR人工智能 chair）
Ctrl-Crash通过可控扩散生成逼真汽车碰撞视频，提升交通安全模拟的可控性和真实性。
2025-12-13 cs.AI cs.CV cs.RO
Conditional Affordance Learning for Driving in Urban Environments
Chair of Robotics Science and System Intelligence, Technical University of Munich（慕尼黑技术大学机器人科学与系统智能系）
本文提出了一种直接感知方法，通过将视频输入映射到适合复杂城市环境自主导航的中间表示，结合高层方向输入，实现了比现有强化学习和条件模仿学习方法更高的目标导向导航性能，并首次通过图像级标签处理交通灯和速度标志，显著减少模拟中的交通事故。
2018-11-03 cs.LG cs.RO cs.SY
