High-Fidelity Text-to-Image Generation from Pre-Trained Vision-Language Models via Distribution-Conditioned Diffusion Decoding
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Microsoft Research Asia (MSRA)（微软亚洲研究院）
本文提出一种基于扩散解码的框架，通过训练仅需扩散解码器即可提升图像保真度，利用分布加权代码向量增强视觉质量，仅需ImageNet-1K短训练即可改进VQ-VAE重建和文本到图像生成。
2026-03-11 cs.CV cs.LG
Modiff: Action-Conditioned 3D Motion Generation with Denoising Diffusion Probabilistic Models
Beihang University（北京航空航天大学）；Sun Yatsen University（中山大学）；University of Pisa（比萨大学）；University of Trento（特伦托大学）；Jiangxi Research Institute, Beihang University（北京航空航天大学江西研究院）
基于扩散的生成模型最近已经成为多个领域高质量合成的强大解决方案。利用双向马尔可夫链，扩散概率模型通过基于在前向扩散过程中学习的分布映射推断反向马尔可夫链来生成样本。在这项工作中，我们提出了Modiff，一个有条件的范例，受益于去噪扩散概率模型（DDPM），以解决现实和多样化的动作条件的三维运动生成的问题。我们是一个开拓性的尝试，使用DDPM合成一个分类行动的条件下的运动序列的可变数量。我们在大规模NTU RGB+D数据集上评估了我们的方法，并显示了对最先进的运动生成方法的改进。
2023-03-28 cs.CV
Shape-conditioned Image Generation by Learning Latent Appearance Representation from Unpaired Data
Osaka University（大阪大学）
条件图像生成对于包括基于学习的计算机视觉的训练数据合成在内的各种任务都是有效的。然而，尽管最近在生成对抗网络（GANs）方面取得了进展，但生成具有对象形状详细条件的图像仍然是一项具有挑战性的任务。用于条件图像生成的现有方法使用类别标签和/或关键点，并且仅对对象类别给予有限的控制。在这项工作中，我们提出了SCGAN，一个架构来生成图像所需的形状指定的输入法线映射。形状调节的图像生成任务是通过显式建模的图像外观通过一个潜在的外观矢量。该网络使用真实图像的未配对训练样本和渲染的法线贴图进行训练。这种方法使我们能够生成图像的任意对象类别的目标形状和不同的图像外观。通过对训练数据生成任务的定性和定量评估，我们证明了我们方法的有效性。
2018-11-29 cs.CV
SubFlow: Sub-mode Conditioned Flow Matching for Diverse One-Step Generation
Sydney AI Centre, The University of Sydney（悉尼人工智能中心，悉尼大学）；School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）；Australian Artificial Intelligence Institute, University of Technology Sydney（澳大利亚人工智能研究所，技术大学悉尼）；Department of Information Systems, City University of Hong Kong（香港城市大学信息系统学院）
SubFlow通过子模式条件化流匹配解决流匹配模型在生成多样性上的退化问题，通过语义聚类分解类别为细粒度子模式，并在推理步骤中恢复完整的模式覆盖。
2026-04-14 cs.CV cs.LG
Text-Image Conditioned 3D Generation
MoE Key Lab of Artificial Intelligence, AI Institute, School of Computer Science, Shanghai Jiao Tong University（人工智能大模型重点实验室、人工智能学院、计算机科学学院、上海交通大学）；Huawei Inc.（华为公司）；Huazhong University of Science and Technology（华中科技大学）
本文提出结合文本和图像条件的3D生成方法，通过跨模态互补性提升生成质量，引入TIGON模型实现高效融合。
2026-03-22 cs.CV
CC-FMO: Camera-Conditioned Zero-Shot Single Image to 3D Scene Generation with Foundation Model Orchestration
Tsinghua University（清华大学）
CC-FMO通过结合语义感知和结构化潜在表示，实现基于相机的零样本单图像到3D场景生成，提升场景连贯性和实例保真度。
2025-11-29 cs.CV
AudioToken: Adaptation of Text-Conditioned Diffusion Models for Audio-to-Image Generation
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Technion - Israel Institute of Technology（以色列理工学院）；Tel-Aviv University（特拉维夫大学）；NetApp（网存公司）
本文提出AudioToken方法，通过预训练音频编码模型将音频转化为新令牌作为适配层，利用少量可训练参数调整文本到图像的潜在扩散模型，实现音频到图像的生成，并在客观与主观指标上优于基线方法。
2023-05-22 cs.CV cs.LG cs.SD
DLT: Conditioned layout generation with Joint Discrete-Continuous Diffusion Layout Transformer
生成视觉布局是图形设计的一个重要组成部分。对于涉及用户交互的实际应用程序来说，根据组件属性的部分子集来调节布局生成的能力是至关重要的。近年来，扩散模型已在多个领域显示出高质量的生成性能。然而，目前还不清楚如何将扩散模型应用于由离散（类）和连续（位置，大小）属性的混合组成的布局的自然表示。为了解决条件布局生成问题，我们引入DLT，一个联合离散-连续扩散模型。DLT是一种基于transformer的模型，它具有灵活的调节机制，允许对所有布局组件类、位置和大小的任何给定子集进行调节。我们的方法在不同的度量和条件设置方面优于各种布局生成数据集上的最先进的生成模型。此外，我们验证了我们提出的条件反射机制和联合连续扩散过程的有效性。这种联合过程可以被纳入到广泛的混合离散-连续生成任务中。
2023-03-07 cs.AI cs.CV cs.LG
Text-Conditioned Sampling Framework for Text-to-Image Generation with Masked Generative Models
KAIST（韩国科学技术院）；Yonsei University（延世大学）；NAVER AI Lab（NAVER人工智能实验室）
针对基于token的掩码生成模型并行采样未考虑token依赖的问题，提出文本条件采样框架TCTS及频率自适应采样策略FAS，显著提升了图像质量与图文对齐度，并将推理时间减少50%以上。
2023-04-04 cs.CL cs.CV cs.LG
Piggyback GAN: Efficient Lifelong Learning for Image Conditioned Generation
Simon Fraser University（西蒙弗雷泽大学）
人类以终生的方式积累知识。另一方面，现代深度神经网络容易受到灾难性遗忘的影响：当适应执行新任务时，它们往往无法保持先前学习任务的性能。给定一系列任务，解决灾难性遗忘的一种简单方法是为每个任务训练一个单独的独立模型，该模型在没有有效利用先前模型的情况下大幅扩展参数的总数。相比之下，我们提出了一个参数有效的框架，Piggyback GAN，它通过构建一组卷积和去卷积滤波器来学习当前任务，这些滤波器被分解为在先前任务上训练的模型的滤波器。对于当前的任务，我们的模型在较低的参数数量下实现了与独立模型相当的高生成质量。对于以前的任务，我们的模型也可以保持生成质量，因为以前任务的过滤器没有改变。我们在不同领域的各种图像条件生成任务上验证了Piggyback GAN，并提供了定性和定量的结果，表明所提出的方法可以有效地解决灾难性遗忘。
2021-04-24 cs.CV
MichiGAN: Multi-Input-Conditioned Hair Image Generation for Portrait Editing
University of Science and Technology of China（中国科学技术大学）；Snap Inc（斯奈普公司）；Microsoft Cloud AI（微软云人工智能）；City University of Hong Kong（香港城市大学）
尽管最近使用GANs生成人脸图像取得了成功，但由于其几何形状和外观的复杂性尚未得到充分研究，因此条件头发编辑仍然具有挑战性。在本文中，我们提出了Michi GAN（多输入调节头发图像GAN），这是一种用于交互式肖像头发处理的新型条件图像生成方法。为了让用户控制每一个主要的头发视觉因素，我们显式地将头发分解为四个正交属性，包括形状，结构，外观和背景。对于它们中的每一个，我们设计了相应的条件模块来表示，处理和转换用户输入，并调制图像生成管道的方式，尊重不同的视觉属性的性质。所有这些调理模块都与主干生成器集成，形成最终的端到端网络，允许从多个用户输入生成完全调理的头发。在此基础上，我们还构建了一个交互式人像头发编辑系统，通过将直观和高级的用户输入（如绘制的蒙版，引导笔划或参考照片）投影到定义良好的条件表示中，可以直接操作头发。通过大量的实验和评估，我们证明了我们的方法的优越性，无论是结果质量和用户的可控性。该代码可在https://github.com/tzt101/MichiGAN上获得。
2020-10-30 cs.CV
Camera-Conditioned Stable Feature Generation for Isolated Camera Supervised Person Re-IDentification
Sun Yat-sen University（中山大学）
为了学习用于人的再识别（Re-ID）的摄像机视角不变特征，每个人的跨摄像机图像对起着重要作用。然而，这种交叉视图训练样本在隔离摄像机监督（ISCS）设置下可能不可用，例如，部署在远处场景的监视系统。为了处理这个具有挑战性的问题，通过在特征空间中合成用于模型训练的跨相机样本来引入新的流水线。具体而言，特征编码器和生成器端到端的优化下的一种新的方法，相机条件稳定的特征生成（CCSFG）。其联合学习过程引起了对生成模型训练稳定性的关注。因此，提出了一种新的特征生成器，$σ$ -正则化条件变分自编码器（$σ$ -Reg.~ CVAE），并对其鲁棒性进行了理论和实验分析。在两个ISCS人Re-ID数据集上的大量实验证明了CCSFG的优越性。
2022-04-04 cs.CV
PerpetualWonder: Long-Horizon Action-Conditioned 4D Scene Generation
Stanford University（斯坦福大学）
本文提出PerpetualWonder，一种混合生成模拟器，能够从单张图像生成长时间地平线动作条件的4D场景。该方法通过引入真正的闭环系统，解决了现有方法因物理状态与视觉表示解耦导致的生成问题，实现了物理动态和外观的双向修正。
2026-05-20 cs.CV
GAN-based Content-Conditioned Generation of Handwritten Musical Symbols
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
针对OMR真实标注数据不足的问题，本文提出音乐符号级GAN并用Smashcima组装合成手写乐谱，实验表明生成符号具有高度真实感。
2025-10-16 cs.CV
StyleTextGen: Style-Conditioned Multilingual Scene Text Generation
Nankai University（南开大学）；University of Trento（特伦特大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
本文提出StyleTextGen框架，解决多语言场景文本生成中风格提取与一致性维持问题，通过双分支编码器、一致性损失和掩码引导推理策略提升生成质量。
2026-05-14 cs.CV
Text and Style Conditioned GAN for Generation of Offline Handwriting Lines
Brigham Young University（杨百翰大学）；Adobe Research（奥多比研究院）
本文提出了一种GAN，用于生成任意文本和潜在风格向量条件下的手写线图像。与先前的工作不同，它产生笔画点或单个单词的图像，这个模型生成离线手写的整行。该模型通过使用样式向量来确定字符宽度，从而生成可变大小的图像。生成器网络使用GAN和自动编码器技术进行训练以学习风格，并使用预先训练的手写识别网络来诱导易读性。一项使用人类评估者的研究表明，该模型产生的图像看起来像是人类写的。在训练之后，编码器网络可以从图像中提取样式向量，允许生成具有类似样式的图像，但具有任意文本。
2020-09-01 cs.CV
MVLight: Relightable Text-to-3D Generation via Light-conditioned Multi-View Diffusion
IPAI, Seoul National University（首尔大学 IPAI）；ByteDance, USA（字节跳动美国公司）；Meta
提出光照条件多视图扩散模型MVLight，将光照条件显式整合至生成过程并结合Score Distillation Sampling (SDS)，有效解耦光照成分，提升了文本到3D生成模型的几何精度与重新光照能力。
2024-11-18 cs.CV
Label-Conditioned Next-Frame Video Generation with Neural Flows
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
最近的最先进的视频生成系统采用生成对抗网络（GANs）或变分自编码器（VAE）来产生新颖的视频。然而，VAE模型在面对输入的次优条件时通常会产生模糊的输出，并且已知GANs对于大的输出大小是不稳定的。此外，这些模型的输出视频难以评估，部分原因是GAN损失函数不是收敛的准确度量。在这项工作中，我们建议使用一种名为Glow的最先进的神经流生成器来生成基于文本标签的视频，一次一帧。神经流模型比标准GANs更稳定，因为它们只优化单个交叉熵损失函数，这是单调的，避免了GAN极大极小目标的循环收敛问题。此外，我们还展示了如何在外部环境中调节Glow，同时仍然保留每个“流”层的可逆性质。最后，我们通过计算交叉熵来评估所提出的Glow模型，以通过消融研究比较所提出的模型的多个版本。我们展示生成的视频并讨论未来的改进。
2019-10-16 cs.CV cs.LG stat.ML
EdgeRelight360: Text-Conditioned 360-Degree HDR Image Generation for Real-Time On-Device Video Portrait Relighting
Qualcomm AI Research（高通人工智能研究）
该研究提出EdgeRelight360方法，基于HDR10标准用扩散模型实现文本生成360度HDRI贴图，可在移动设备端侧实时完成视频人像补光，兼顾隐私与低时延，为多类实时视频应用提供新方案。
2024-04-15 cs.CV
Map2World: Segment Map Conditioned Text to 3D World Generation
Seoul National University（首尔国立大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出Map2World框架，通过用户定义的任意形状和尺度的分段地图生成一致且灵活的3D世界，并引入细节增强网络提升生成质量，实验证明其在可控性、一致性及内容连贯性上优于现有方法。
2026-05-01 cs.CV
SIC3D: Style Image Conditioned Text-to-3D Gaussian Splatting Generation
School of Computer Science, University of Sheffield（谢菲尔德大学计算机科学学院）
SIC3D通过引入变分风格化分数蒸馏损失，提升文本到3D生成的可控性和纹理精度，实验表明其在几何真实性和风格一致性上优于现有方法。
2026-04-09 cs.CV
Img2CAD: Conditioned 3D CAD Model Generation from Single Image with Structured Visual Geometry
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；KOKONI3D, Moxin (Huzhou) Technology Co., LTD（墨芯（湖州）科技有限公司）；School of Software Technology, Zhejiang University（浙江大学软件学院）；School of Information Engineering, Huzhou University（湖州师范学院信息工程学院）
针对现有3D生成方法的网格表示与CAD工具不兼容、不可编辑的问题，研究提出Img2CAD方法，通过结构化视觉几何中间表示实现单图生成可编辑CAD模型，并发布两个新数据集推动相关研究。
2024-10-04 cs.CV
SimGen: Simulator-conditioned Driving Scene Generation
University of California Los Angeles（加利福尼亚大学洛杉矶分校）；Shanghai Jiao Tong University（上海交通大学）
针对现有扩散模型生成驾驶场景多样性不足、易过拟合的问题，本文提出SimGen框架，采用级联扩散流水线结合仿真与真实数据，构建大规模DIVA数据集，在保证可控性的同时提升生成质量与多样性，可用于BEV任务数据增强与安全关键数据生成。
2024-12-07 cs.CV
DefFiller: Mask-Conditioned Diffusion for Salient Steel Surface Defect Generation
School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）
提出掩码条件扩散模型DefFiller，无需像素级标注即可生成配对掩码的钢材缺陷样本，并开发评估框架验证其能显著提升缺陷检测性能。
2024-12-20 cs.CV
DrawingInStyles: Portrait Image Generation and Editing with Spatially Conditioned StyleGAN
City University of Hong Kong（香港城市大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
草图到肖像生成的研究课题已经见证了深度学习技术的进步。最近提出的StyleGAN架构实现了最先进的生成能力，但由于其无条件生成的性质，原始的StyleGAN对于基于草图的创建并不友好。为了解决这个问题，我们提出了一个直接调节策略，以更好地保留StyleGAN框架下的空间信息。具体来说，我们引入了空间条件StyleGAN（简称SC-StyleGAN），它明确地将空间约束注入到原始的StyleGAN生成过程中。我们探索两种输入方式，草图和语义图，它们一起允许用户更准确，更容易地表达所需的生成结果。基于SC-StyleGAN，我们提出了DrawingInStyles，这是一种新颖的绘图界面，可供非专业用户轻松制作高质量，照片般逼真的面部图像，并具有精确的控制，无论是从头开始还是编辑现有图像。定性和定量的评价表明，我们的方法优越的生成能力，现有的和替代的解决方案。我们的系统的可用性和表现力的用户研究证实。
2022-05-31 cs.CV cs.GR
Lifelong GAN: Continual Learning for Conditional Image Generation
Simon Fraser University（西蒙弗雷泽大学）；Borealis AI（Borealis人工智能研究院）
终身学习对于深度神经网络来说具有挑战性，因为它们容易发生灾难性遗忘。灾难性遗忘发生在当训练网络执行新任务时，它不能保持完成先前学习任务的能力。我们研究了生成模型的终身学习问题，将经过训练的网络扩展到新的有条件生成任务，而不会忘记以前的任务，同时假设只能访问当前任务的训练数据。在对比国家的最先进的记忆重放为基础的方法，这是有限的标签条件的图像生成任务，本文提出了一个更通用的框架，持续学习的生成模型在不同的条件图像生成设置。终身GAN采用知识蒸馏将学习到的知识从以前的网络转移到新的网络。这使得有可能在终身学习环境中执行图像条件生成任务。我们验证终身GAN的图像条件和标签条件的生成任务，并提供定性和定量的结果，以显示我们的方法的通用性和有效性。
2019-08-22 cs.CV
SceneFrom3D: Geometry-Conditioned Outdoor 3D Scene Generation via View Scheduling with Object-Level Control
POSTECH
研究如何进行几何条件下的室外3D场景生成，提出SceneFrom3D框架，自动调度视图，构建生成图，还通过对象级条件控制提升可控性，实验表明该方法达先进水平。
2026-07-07 cs.CV cs.GR
KeyFrame-Compass: Towards Comprehensive Evaluation of Keyframe-Conditioned Video Generation
研究关键帧条件视频生成，提出关键帧指南针综合基准及自动评估框架，将关键帧执行分解为六个指标评估，通过实验揭示当前模型在关键帧执行与自然视频合成间存在权衡等局限性。
2026-07-17 cs.CV
CC3D: Layout-Conditioned Generation of Compositional 3D Scenes
University of Toronto（多伦多大学）；Stanford University（斯坦福大学）；Google Research（谷歌研究院）；Simon Fraser University（西蒙菲莎大学）
CC3D是一种基于2D语义布局的条件生成模型，通过建模3D场景的组合特性并引入新型3D场表示，实现了高效、高质量且可控的多对象复杂3D场景生成。
2023-09-08 cs.CV
MultiModal Action Conditioned Video Generation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
针对现有视频模型缺乏细粒度控制、难以支撑家用机器人精细操作的问题，提出融合多模态感知的动作条件视频生成方法，通过特征对齐与因果正则化提升模拟精度、减少时间漂移，有效性经实验验证。
2025-10-02 cs.CV
ShapeCrafter: A Recursive Text-Conditioned 3D Shape Generation Model
Brown University（布朗大学）
本文提出ShapeCrafter，一种递归文本条件化3D形状生成神经网络，基于Text2Shape++数据集和向量量化深度隐式函数，支持根据逐步添加的文本短语演化生成高质量3D形状，并实现形状编辑与外推。
2023-04-08 cs.AI cs.CV
Revisiting Scene Graph Generation from the Perspective of Detector-Conditioned Reachability
Technische Universität Berlin（柏林工业大学）；Humboldt Universität zu Berlin（柏林洪堡大学）；Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK（格勒诺布尔大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔国立综合理工学院、法国国家科学研究中心格勒诺布尔计算机科学实验室）；Bernstein Center for Computational Neuroscience（伯恩斯坦计算神经科学中心）；Science of Intelligence Research Cluster of Excellence（智能科学卓越研究集群）
该研究从检测器条件可达性角度重新审视场景图生成，设计实验发现基于检测器和基于查询方法的预测行为有互补线索，进而引入双SGG方法整合两种机制，经多数据集实验验证了此方法的有效性。
2026-07-08 cs.CV
3DBonsai: Structure-Aware Bonsai Modeling Using Conditioned 3D Gaussian Splatting
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
提出3DBonsai框架，通过可训练3D空间定植算法生成结构先验并结合3D高斯泼溅，实现具有复杂结构的文本到3D盆景生成，显著优于现有方法。
2025-11-04 cs.CV
PokeFusion Attention: A Lightweight Cross-Attention Mechanism for Style-Conditioned Image Generation
Independent Researcher, Vancouver, Canada（独立研究员，加拿大温哥华）；School of Computing, Universiti Kebangsaan Malaysia (UKM), Malaysia（马来西亚国立大学计算机学院）
本文提出PokeFusion Attention，一种轻量级跨注意力机制，用于风格条件图像生成，通过学习风格分布先验而非实例级条件，提升生成效果与一致性。
2026-03-27 cs.CV
Consistent Human Image and Video Generation with Spatially Conditioned Diffusion
The University of Tokyo（东京大学）；ARC Lab, Tencent PCG（腾讯PCG ARC实验室）；Peking University（北京大学）；Tsinghua University（清华大学）
本文提出一种基于空间条件扩散的一致性人物图像与视频生成方法，通过将任务构建为空间条件修复问题，在统一去噪网络内利用因果特征交互框架，有效缓解域间隙并保持外观一致性，实现强泛化能力。
2024-12-19 cs.CV
Action2Motion: Conditioned Generation of 3D Human Motions
University of Alberta（阿尔伯塔大学）；University of Chicago（芝加哥大学）；Yale University（耶鲁大学）；University of Guelph（圭尔夫大学）
动作识别是一个相对成熟的任务，它是在给定一个输入序列的情况下，预测其动作类别。另一方面，本文考虑了一个相对较新的问题，它可以被认为是动作识别的逆：给定一个规定的动作类型，我们的目标是在3D中生成合理的人体运动序列。重要的是，生成的运动集有望保持其多样性，以便能够探索整个动作条件运动空间;同时，每个采样序列忠实地类似于anaturalhuman bodyarticulation dynamics。基于这些目标，我们遵循人体运动学的物理规律，采用李代数理论来表示人体的自然运动，并提出了一种时间变分自动编码器（VAE），鼓励运动空间的双向性。还构建了一个新的三维人体运动数据集HumanAct 12。在三个不同的人体运动数据集（包括我们的）的实证实验证明了我们的方法的有效性。
2020-07-30 cs.CV
Anywhere: A Multi-Agent Framework for User-Guided, Reliable, and Diverse Foreground-Conditioned Image Generation
Nanjing University（南京大学）；Jilin University（吉林大学）；China Mobile Research Institute（中国移动研究院）；Beijing Shuzhimei Technology Co., Ltd（北京数智美科技有限公司）；Tianjin University（天津大学）
针对前景条件图像生成中对象完整性、一致性和多样性不足的问题，提出多智能体框架Anywhere，通过模块化分工与用户引导，实现更可靠、多样且可控的生成。
2025-02-24 cs.CV cs.GR
Shape Conditioned Human Motion Generation with Diffusion Model
University of Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）
针对现有骨架表示的人体运动生成方法忽略骨骼肌肉关联、需额外蒙皮的问题，提出形状条件运动扩散模型SMD，结合图拉普拉斯谱表示与谱-时序自编码器，直接生成网格运动，在相关任务上性能优异。
2024-05-10 cs.CV cs.GR
A Self-Conditioned Representation Guided Diffusion Model for Realistic Text-to-LiDAR Scene Generation
NJUST（南京理工大学）；FBK（弗拉·恩里科·拉达基金会）；SDU（山东大学）；SJTU（上海交通大学）
本文提出T2LDM模型，通过自条件表示引导技术提升文本到LiDAR场景生成的质量和可控性，构建了T2nuScenes基准并改进了生成效果。
2025-12-15 cs.CV
Visual Prototype Conditioned Focal Region Generation for UAV-Based Object Detection
State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）
本文提出UAVGen框架，通过视觉原型条件扩散模型和聚焦区域增强数据管道提升无人机目标检测精度，实验表明其优于现有方法。
2026-04-03 cs.CV
HUMANISE: Language-conditioned Human Motion Generation in 3D Scenes
Beijing Institute of Technology（北京理工大学）；Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院）；Peking University（北京大学）；Yangtze Delta Region Academy of Beijing Institute of Technology（北京理工大学长三角研究院）
学习在3D场景中生成不同的场景感知和目标导向的人体运动仍然具有挑战性，因为现有的人-场景交互（HSI）数据集的平庸特性;它们只有有限的规模/质量和缺乏语义。为了填补这一空白，我们提出了一个大规模和语义丰富的合成HSI数据集，表示为HUMANISE，通过对齐捕捉到的人体运动序列与各种3D室内场景。我们用描述动作和场景中唯一交互对象的语言描述自动注释对齐的运动;例如，坐在书桌旁的扶手椅上。因此，HUMANISE实现了新一代任务，即3D场景中的语言调节人体运动生成。所提出的任务是具有挑战性的，因为它需要联合建模的三维场景，人体运动，和自然语言。为了解决这个问题，我们提出了一种新的场景和语言条件生成模型，可以产生三维人体运动的期望的动作与指定的对象进行交互。我们的实验表明，我们的模型产生不同的和语义一致的人体运动在3D场景。
2022-10-18 cs.AI cs.CV
Hear What Matters! Text-conditioned Selective Video-to-Audio Generation
Graduate School of Cultural Technology, KAIST（韩国科学技术院文化技术研究生院）；Division of AI and Software, Ewha Womans University（梨花女子大学人工智能与软件学部）
本文提出基于文本的视频到音频生成任务，通过文本提示选择性提取视频中相关声音源，提升多对象视频音频处理精度。SELVA模型通过文本提示选择视频编码器中的视觉特征，结合补充标记和自监督学习提升音频质量与同步性。
2026-03-27 cs.CV cs.LG cs.MM
SmartDirector: Keyframe-Conditioned Cinematic Video Generation with Narrative Pacing Control
Youku Moku-Lab（优酷莫酷实验室）
提出SmartDirector框架，通过多关键帧条件控制视频生成中的叙事结构和时间节奏，采用两阶段方法（Director-Gen生成低分辨率视频，Director-SR利用高分辨率关键帧细化细节），显著优于现有方法。
2026-05-27 cs.AI cs.CV
NegFaceDiff: The Power of Negative Context in Identity-Conditioned Diffusion for Synthetic Face Generation
Fraunhofer IGD（弗劳恩霍夫研究所）；TU Darmstadt（图宾根大学）
本文提出NegFaceDiff，一种将负条件纳入身份条件扩散过程的新型采样方法，通过引导模型远离不需要的特征来增强身份分离并保持类内一致性，显著提升了生成数据的身份一致性与可分性，使在多个基准上训练的人脸识别系统性能更优。
2025-08-13 cs.CV
PACER: Progressive Availability-Conditioned Evidence Routing for Radiology Report Generation under Incomplete Clinical Context
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Yancheng Institute of Technology（盐城工学院）；Shanghai University（上海大学）
针对不完整临床情境下放射学报告生成中证据利用不足的问题，提出PACER框架，通过细化-校准-承诺流程路由可用证据，在MIMIC-RG4和MIMIC-CXR上取得领先临床效能。
2026-09-29 cs.CV
TC4D: Trajectory-Conditioned Text-to-4D Generation
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；Snap Inc.（Snap公司）；CUHK（香港中文大学）；Stanford（斯坦福大学）；NTU（南洋理工大学）；HKU（香港大学）；University of Michigan（密歇根大学）；SFU（西蒙菲莎大学）；Google DeepMind（谷歌DeepMind）
提出TC4D方法，通过将运动分解为全局轨迹和局部形变，利用文本到视频模型监督，实现沿任意轨迹的动态3D场景合成，显著提升了运动真实度与运动量。
2024-10-14 cs.CV
ActFormer: A GAN-based Transformer towards General Action-Conditioned 3D Human Motion Generation
SenseTime Research（商汤科技研究院）；Shanghai Jiao Tong University（上海交通大学）；Eastern Institute for Advanced Study（东方高等研究院）；The Hong Kong Polytechnic University（香港理工大学）；Shanghai AI Laboratory（上海人工智能实验室）
我们提出了一个基于GAN的Transformer，用于一般动作条件下的3D人体运动生成，不仅包括单人动作，而且包括多人交互动作。我们的方法包括一个强大的无条件运动Transformer（ActFormer）下的GAN训练计划，配备了高斯过程潜在的先验。这种设计结合了Transformer强大的时空表示能力、GAN生成建模的优势以及潜在先验的内在时间相关性。此外，ActFormer可以自然地扩展到多人运动，通过交替建模时间相关性和人类与Transformer编码器的交互。为了进一步促进多人运动生成的研究，我们引入了一个新的复杂的多人战斗行为的合成数据集。在NTU-13，NTU RGB+D 120，BABEL和建议的战斗数据集上的大量实验表明，我们的方法可以适应各种人体运动表示，并在单人和多人运动生成任务上实现优于现有方法的性能，向通用人体运动生成器迈出了有希望的一步。
2022-11-23 cs.CV cs.GR cs.MM
SimWorld: A Unified Benchmark for Simulator-Conditioned Scene Generation via World Model
The School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学）；Waytous Inc.（Waytous公司）；The State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，中国科学院自动化研究所）
本文提出基于世界模型的仿真器条件场景生成引擎SimWorld，通过结合仿真引擎与世界模型构建数据生成流程，并提供虚拟与真实数据比例构建的基准，生成的图像显著提升了下游感知模型性能。
2025-06-26 cs.CV
Question-Conditioned Counterfactual Image Generation for VQA
Carnegie Mellon University（卡内基梅隆大学）；Georgia Tech（佐治亚理工学院）
虽然可视化问答（VQA）模型继续推动最先进的技术向前发展，但它们在很大程度上仍然是黑箱-无法提供对如何或为什么生成答案的洞察。在这项正在进行的工作中，我们建议通过学习为VQA模型生成反事实图像来解决这个缺点-即给定一个问题图像对，我们希望生成一个新图像，以便i）VQA模型输出不同的答案，ii）新图像与原始图像的差异最小，iii）新图像是真实的。我们希望通过提供这样的反事实示例，用户能够调查和理解VQA模型的内部机制。
2019-11-14 cs.CL cs.CV
Collaborative Control for Geometry-Conditioned PBR Image Generation
Unity Technologies（Unity科技公司）；Stability AI（Stability AI公司）
针对RGB模型生成PBR材质的不准确与歧义问题，提出通过跨网络通信范式训练与冻结RGB模型紧密连接的新PBR模型，在保留基础模型通用性能的同时实现高保真PBR图像生成。
2024-08-23 cs.CV cs.GR
Proposal-Conditioned Latent Diffusion for Closed-Loop Traffic Scenario Generation
CARIAD SE；Technical University of Munich（慕尼黑工业大学）；Institute of Automotive Engineering (FZD), TU Darmstadt（达姆施塔特工业大学汽车工程研究所（FZD））
提出一种基于实例场景上下文和多模态提议先验的扩散框架，通过紧凑动作潜表示和提议初始化提升采样效率，实现闭环交通场景的逼真、安全且可控生成。
2026-06-26 cs.CV cs.RO
Visibility-Guided Structured Measure Flow for Class-Conditioned 3D Gaussian Generation
Henan Institute of Science and Technology（河南科技学院）
VISTA-GS提出可见性引导的结构化测度流，将3DGS对象建模为加权高斯测度，通过测度VAE和渲染器一致的流实现类别条件生成，在VISTA-Obj30上性能提升60-72%。
2026-09-24 cs.CV
Anchor-Conditioned Compositional Control for Landscape Image Generation
Rutgers University–New Brunswick（罗格斯大学新布朗斯维克分校）；University of Maryland–College Park（马里兰大学帕克分校）；University of Technology Sydney（悉尼科技大学）
提出锚点条件微调框架，通过解耦交叉注意力机制注入四维组合锚点向量，实现景观图像生成中的组合控制，在水平线检测和三分法对齐上取得最优性能。
2026-06-01 cs.AI cs.CV
'Tax-free' 3DMM Conditional Face Generation
Brown University（布朗大学）
本文针对3DMM条件人脸生成质量低于无条件StyleGAN的问题，通过数学形式化问题并提出简单解决方案，构建新模型消除了两者之间的质量税。
2023-05-26 cs.CV
