LaMD: Latent Motion Diffusion for Image-Conditional Video Generation
School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感信息工程学院）；Microsoft Research Asia（微软亚洲研究院）
针对图像条件视频生成中运动连贯性与采样效率的问题，提出LaMD框架，通过运动分解视频自动编码器压缩运动表示，结合扩散运动生成器高效生成真实运动，在多数据集上实现高质量视频生成并缩短采样时间。
2025-04-18 cs.CV
Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text Aligned Latent Representation
ShanghaiTech University（上海科技大学）；Tencent PCG（腾讯平台与内容事业群）；Fudan University（复旦大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心）；Shanghai Engineering Research Center of Energy Efficient and Custom AI IC（上海高效节能定制人工智能芯片工程研究中心）
本文提出Michelangelo框架，通过SITA-VAE和ASLDM在形状-图像-文本对齐空间中实现高质量、多样化的跨模态条件3D形状生成。
2023-07-03 cs.CV
Kaleido Diffusion: Improving Conditional Diffusion Models with Autoregressive Latent Modeling
Apple（苹果公司）；Virginia Tech（弗吉尼亚理工大学）
针对扩散模型在高无分类器引导权重下样本多样性受限的问题，提出Kaleido方法，通过自回归语言模型生成多种离散潜在表示作为先验，有效提升了生成图像的多样性与质量，并增强了对生成过程的控制。
2024-05-31 cs.CV
Are Conditional Latent Diffusion Models Effective for Image Restoration?
The Hong Kong Polytechnic University（香港理工大学）；Tsinghua University（清华大学）；Pennsylvania State University（宾夕法尼亚州立大学）
本研究质疑条件潜在扩散模型（CLDMs）在图像恢复任务中的适用性，通过实验发现其虽有规模优势但存在高失真与语义偏差问题，低退化场景下不如传统方法，并探究了设计要素的影响，以推动该领域方案的重新审视。
2024-12-13 cs.CV
Radiology Report Conditional 3D CT Generation with Multi Encoder Latent diffusion Model
Maastricht University（马斯特里赫特大学）
Report2CT提出一种以完整放射学报告为条件、融合三个医学文本编码器的三维潜在扩散模型，在20000个CT体数据上训练，实现高保真胸部CT生成，并在MICCAI 2025 VLM3D挑战赛中取得最优性能。
2025-09-18 cs.CV
Hierarchical Text-Conditional Image Generation with CLIP Latents
OpenAI（开放人工智能研究中心）
像CLIP这样的对比模型已经被证明可以学习捕获语义和风格的图像的鲁棒表示。为了利用这些表示的图像生成，我们提出了一个两阶段的模型：一个先验生成一个CLIP图像嵌入给定的文本标题，和一个解码器，生成一个图像嵌入的条件。我们表明，显式生成图像表示提高了图像的多样性，以最小的损失，在真实感和标题相似性。以图像表示为条件的解码器还可以产生保留其语义和风格的图像的变体，同时改变图像表示中不存在的非必要细节。此外，CLIP的联合嵌入空间使语言引导的图像操作以zero-shot方式实现。我们使用扩散模型的解码器和实验与自回归和扩散模型的前，发现后者是计算更有效，并产生更高质量的样本。
2022-04-13 cs.CV
Unified Multi-Modal Latent Diffusion for Joint Subject and Text Conditional Image Generation
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Microsoft Research（微软研究院）
目前，通过使用扩散模型，放射学引导的图像生成已经取得了很大的成功。然而，文本可能不太详细，无法描述高度特定的主题，例如特定的狗或特定的汽车，这使得纯文本到图像的生成不够准确，无法满足用户的要求。在这项工作中，我们提出了一种新的统一多模态潜在扩散（UMM扩散），它需要联合文本和图像包含指定的主题作为输入序列，并生成定制的图像与主题。更具体地说，输入的文本和图像都被编码到一个统一的多模态潜空间中，在该潜空间中，输入的图像被学习以投影到伪词嵌入，并且可以进一步与文本组合以指导图像生成。此外，为了消除输入图像中的背景或光照等不相关部分，我们提出了一种新的扩散模型采样技术，用于图像生成器，融合了多模态输入和纯文本输入的结果。通过利用大规模预训练的文本到图像生成器和设计的图像编码器，我们的方法能够从输入文本和图像两个方面生成具有复杂语义的高质量图像。
2023-03-16 cs.CV
CLR-Face: Conditional Latent Refinement for Blind Face Restoration Using Score-Based Diffusion Models
Johns Hopkins University（约翰斯·霍普金斯大学）
针对盲人脸恢复中潜在空间质量与分辨率权衡导致的保真度与身份保持难题，提出CLR-Face方法，在VQGAN中引入扩散先验并利用身份恢复网络约束反向扩散，实现感知与保真度解耦。
2024-02-08 cs.CV
Conditional Adversarial Generative Flow for Controllable Image Synthesis
Chinese University of Hong Kong（香港中文大学）；Texas A&M University（得克萨斯农工大学）
基于流的生成模型由于其可逆的流水线和精确的对数似然目标而在图像合成中显示出巨大的潜力，但它的条件图像合成能力较弱，特别是对于多标签或未知条件。这是因为图像条件的潜在分布难以从其潜变量$z$精确地测量。在本文中，基于对图像及其条件的联合概率密度建模，我们提出了一种新的基于流的生成模型，称为条件对抗生成流（CAGlow）。而不是从潜在空间中解开属性，我们开辟了一条新的道路，学习编码器以对抗的方式估计从条件空间到潜在空间的映射。给定一个特定的条件$c$，CAGlow可以将其编码为采样的$z$，然后在复杂的情况下实现鲁棒的条件图像合成，例如将个人身份与多个属性相结合。所提出的CAGlow可以以监督和无监督的方式实现，因此可以合成具有条件信息的图像，如类别，属性，甚至一些未知属性。大量的实验表明，CAGlow确保了不同条件的独立性，并在很大程度上优于常规Glow。
2019-04-03 cs.CV
Latent Gene Diffusion for Spatial Transcriptomics Completion
Center for Research and Formation in Artificial Intelligence（人工智能研究与培训中心）；Universidad de los Andes（andes大学）
针对空间转录组数据缺失导致的基因表达预测受限问题，提出无参考的潜在基因扩散模型LGDiST，利用上下文基因构建潜在空间，在26个数据集上补全效果优于现有最优方法，还能提升后续预测性能。
2025-09-02 cs.CV
ArtFusion: Controllable Arbitrary Style Transfer using Dual Conditional Latent Diffusion Models
ArtFusion提出双条件潜在扩散模型，实现可控任意风格迁移，平衡内容与风格，优于现有方法。
2023-06-19 cs.CV
Cross Domain Image Generation through Latent Space Exploration with Adversarial Loss
Carnegie Mellon University（卡内基梅隆大学）
条件域生成是交互控制深度生成模型样本生成过程的一种好方法。然而，一旦创建了条件生成模型，允许它适应新的条件控制通常是昂贵的，特别是网络结构相对较深。我们提出了一个条件的潜在域转移框架的潜在空间的无条件变分自编码器（VAE）。有了这个框架，我们可以允许无条件训练的VAE在它的域中生成图像，条件由另一个域的潜在表示提供。这个框架并不假设两个领域之间的共性。我们证明了我们的模型在广泛使用的图像数据集下的有效性和鲁棒性。
2018-05-24 cs.CV cs.LG stat.ML
Facial Demorphing from a Single Morph Using a Latent Conditional GAN
Michigan State University（密歇根州立大学）
针对现有面部去融合方法的复制问题及对融合技术泛化不足，提出在潜在空间分解单张融合图像的潜在条件GAN，实现跨技术、真实面部的高保真去融合。
2025-07-28 cs.CV
Don't drop your samples! Coherence-aware training benefits Conditional diffusion
École des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；LIX（LIX实验室）；École Polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）
针对条件扩散模型中条件信息噪声导致需丢弃数据的问题，提出一致性感知扩散（CAD）方法，通过集成一致性分数实现从噪声标注学习，理论合理且实证有效，生成样本更优。
2025-02-18 cs.CV cs.LG
Unpaired Volumetric Harmonization of Brain MRI with Conditional Latent Diffusion
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；North Carolina State University（北卡罗来纳州立大学）
针对多中心脑部MRI存在站点相关非生物变异的问题，提出基于条件潜扩散的3D无配对体域协调框架HCLD，在4158例数据上验证其效果优于现有最优方法。
2024-08-18 cs.CV eess.IV
Evidential Sparsification of Multimodal Latent Spaces in Conditional Variational Autoencoders
Stanford University（斯坦福大学）
变分自编码器中的离散潜在空间已经被证明可以有效地捕获许多现实世界问题的数据分布，例如自然语言理解、人类意图预测和视觉场景表示。然而，离散的潜在空间需要足够大，以捕获真实世界数据的复杂性，从而使下游任务在计算上具有挑战性。例如，在环境的高维潜在表示中执行运动规划可能是棘手的。我们考虑的问题稀疏化的离散潜在空间的训练条件变分自编码器，同时保持其学习的多模态。作为一种事后潜在空间缩减技术，我们使用证据理论来识别从特定输入条件接收直接证据的潜在类，并过滤掉那些不接收直接证据的潜在类。不同的任务，如图像生成和人类行为预测的实验，证明了我们提出的技术在减少模型的离散潜在样本空间大小，同时保持其学习的多模态的有效性。
2021-01-18 cs.AI cs.CV cs.LG
Keep-or-Drop? Adaptive Tokenizer for Compact Video Representation
Kakao Corp.（Kakao公司）
针对传统VAE固定压缩率无法适配视频时空内容复杂度的问题，提出基于Transformer的自适应令牌分词器KATok，结合两种位置预测策略缓解空间错位，在先进压缩率下实现出色的视频重构与生成质量。
2026-08-28 cs.CV
Shape-guided Conditional Latent Diffusion Models for Synthesising Brain Vasculature
University of Leeds（利兹大学）；NIHR Leeds Biomedical Research Centre（NIHR利兹生物医学研究中心）；Alan Turing Institute（艾伦·图灵研究所）；KU Leuven（鲁汶大学）；University of Manchester（曼彻斯特大学）
针对大脑动脉环解剖变异数据稀缺问题，提出带形状与解剖引导的条件潜在扩散模型，用于生成逼真三维 CoW 分割，其血管连续性和视觉保真度优于 3D GAN/VAE，FID 较最佳 GAN 改善 53%。
2023-08-13 cs.CV eess.IV
Executing your Commands via Motion Diffusion in Latent Space
Tencent PCG（腾讯平台与内容事业群）；Fudan University（复旦大学）
针对条件人体运动生成任务，提出基于运动潜在空间的扩散模型MLD，通过VAE提取低维潜在表示并在其上执行扩散，显著提升了生成质量并大幅降低了计算开销。
2023-05-19 cs.CV cs.GR
Discovering Latent Graphs with GFlowNets for Diverse Conditional Image Generation
Dept. of Computer Science, Stanford University（计算机科学系，斯坦福大学）；Dept. of Psychiatry and Behavioral Sciences, Stanford University（精神病学与行为科学系，斯坦福大学）；Dept. of Biomedical Data Science, Stanford University（生物医学数据科学系，斯坦福大学）；Center for Intelligent Machines, McGill University（智能机器中心，麦吉尔大学）；MILA - Quebec AI institute（魁北克人工智能研究所）
Rainbow通过分解输入条件为多样化的潜在表示，利用GFlowNets生成多样化图像，提升条件图像生成的多样性和保真度。
2025-12-18 cs.AI cs.CV
Contrastive Conditional Latent Diffusion for Audio-visual Segmentation
School of Electronics and Information, Northwestern Polytechnical University（电子与信息学院，西北工业大学）；Shanghai AI Laboratory（上海人工智能实验室）；Shaanxi Key Laboratory of Information Acquisition and Processing（信息获取与处理陕西省重点实验室）
本文提出对比条件潜在扩散模型用于视听分割，通过密度比优化和对比学习约束最大化音频对分割的贡献，并在基准数据集上验证了有效性。
2025-07-01 cs.CV cs.MM cs.SD
StyleFlow: Attribute-conditioned Exploration of StyleGAN-Generated Images using Conditional Continuous Normalizing Flows
KAUST（阿卜杜拉国王科技大学）；UCL（伦敦大学学院）；Adobe Research（奥多比研究院）
现在可以通过无条件GANs（例如，StyleGAN）。然而，有限的选项存在使用（语义）属性来控制生成过程，同时仍然保持输出的质量。此外，由于GAN潜在空间的纠缠性质，沿着一个属性执行编辑可能容易导致沿着其他属性的不想要的改变。在纠缠潜在空间的条件探索中，本文研究了属性条件采样和属性控制编辑两个子问题。我们提出的StyleFlow作为一个简单的，有效的，和强大的解决方案，这两个子问题，制定条件的探索作为一个实例的条件连续规范化流在GAN的属性功能条件的潜在空间。我们使用StyleGAN的人脸和汽车潜在空间来评估我们的方法，并在真实照片和StyleGAN生成的图像上展示了沿着各种属性的细粒度分解编辑。例如，对于面部，我们改变相机姿势、照明变化、表情、面部毛发、性别和年龄。最后，通过大量的定性和定量比较，我们证明了StyleFlow的优越性，其他并发工作。
2020-09-20 cs.CV cs.GR
Taming Identity Consistency and Prompt Diversity in Diffusion Models via Latent Concatenation and Masked Conditional Flow Matching
针对主体驱动图像生成中身份一致性与提示多样性的权衡问题，提出潜空间拼接策略结合掩码CFM目标的LoRA微调扩散模型，辅以两阶段蒸馏数据整理框架与CHARIS评估框架，实现鲁棒身份保留与生成能力扩展。
2025-11-11 cs.AI cs.CV
CoLa-Diff: Conditional Latent Diffusion Model for Multi-Modal MRI Synthesis
University of Dundee（邓迪大学）；University of Cambridge（剑桥大学）；University of Bath（巴斯大学）；East China Normal University（华东师范大学）
MRI合成有望缓解临床实践中缺失MRI模态的挑战。扩散模型通过模拟复杂多变的数据分布，已成为图像合成的一种有效技术。然而，大多数基于扩散的MRI合成模型使用单一模态。由于它们在原始图像域中操作，因此它们是存储密集型的并且对于多模态合成不太可行。此外，它们通常不能在MRI中保留解剖结构。此外，平衡来自多模态MRI输入的多个条件对于多模态合成至关重要。在这里，我们提出了第一个基于扩散的多模态MRI合成模型，即条件潜在扩散模型（CoLa-Diff）。为了减少内存消耗，我们设计了CoLa-Diff在潜在空间中操作。我们提出了一种新的网络架构，例如，类似于协同滤波，解决了潜在空间中可能存在的压缩和噪声问题。为了更好地保持解剖结构，大脑区域掩模被引入作为密度分布的先验，以指导扩散过程。我们进一步提出了自动权重自适应，以有效地利用多模态信息。我们的实验表明，CoLa-Diff优于其他国家的最先进的MRI合成方法，有望作为一个有效的工具，多模态MRI合成。
2023-03-24 cs.CV eess.IV
V-Express: Conditional Dropout for Progressive Training of Portrait Video Generation
Nanjing University（南京大学）；Tencent AI Lab（腾讯AI实验室）
提出V-Express方法，通过渐进式训练和条件性Dropout平衡不同强度的控制信号，解决音频等弱信号在肖像视频生成中被掩盖的问题，实现音频、姿态和参考图像的同时有效控制。
2024-06-04 cs.AI cs.CV
Enhancing Conditional Image Generation with Explainable Latent Space Manipulation
College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）
本文提出结合扩散模型、潜在空间操控与 Grad-SAM 梯度选择性注意力的方法，通过在去噪特定时间步生成掩码保留主体并融合参考图像特征，在 places365 上取得最低 FID 和高 CLIP 分数，提升了文本到图像合成的保真度与文本一致性。
2024-08-29 cs.AI cs.CV cs.LG
Conditional diffusion model with spatial attention and latent embedding for medical image segmentation
Wayne State University（韦恩州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
提出融合 CNN 判别器空间注意力与逐层随机潜在嵌入的条件扩散模型 cDAL，用于医学图像分割，在三个公开数据集上以更少扩散步数取得优于现有方法的 Dice 与 mIoU。
2025-02-19 cs.CV eess.IV
Canonical Latent Representations in Conditional Diffusion Models
Image and Visual Representation Lab（图像与视觉表示实验室）；École polytechnique fédérale de Lausanne（洛桑联邦理工学院）
本文针对条件扩散模型中类别特征与无关上下文纠缠的问题，提出 CLAReps 规范潜在表示及 CaDistill 特征蒸馏范式，使学生模型仅借助相当于训练数据 10% 的表示获得更强对抗稳健性与泛化能力。
2025-06-11 cs.CV cs.LG
Towards Recovery of Conditional Vectors from Conditional Generative Adversarial Networks
条件生成对抗网络允许生成以某些外部信息为条件的样本。能够从条件GAN恢复潜在和条件向量在各种应用中可能是有价值的，从用于娱乐目的的图像操纵到用于安全目的的神经网络的诊断。在这项工作中，我们表明，它是可能的，以恢复潜在的和条件向量从生成的图像给定的生成器的条件生成对抗网络。由于深度神经网络通常具有多层非线性，因此这种恢复并非微不足道。此外，这种恢复应用于实际的自然图像的效果进行了研究。我们发现，生成的图像和真实图像的恢复性能之间存在差距，我们认为这是由于生成的数据分布和真实数据分布之间的差异。实验进行了评估恢复的条件向量和重建图像从这些恢复的矢量定量和定性，显示出可喜的成果。
2017-12-06 cs.CV cs.LG
DSS-GAN: Directional State Space GAN with Mamba backbone for Class-Conditional Image Synthesis
Warsaw University of Technology（华沙技术大学）；National Centre for Nuclear Research（国家核物理研究所）
DSS-GAN引入了定向潜在路由机制，通过分解潜在向量并结合类别嵌入，提升图像合成的FID、KID和精度召回率。
2026-03-18 cs.CV cs.LG
Conditional Latent Diffusion Model with Fourier-based Motion Modelling for Virtual Population Synthesis
Centre for Computational Imaging and Modelling in Medicine (CIMIM)（计算医学成像与建模中心）；University of Manchester（曼彻斯特大学）；Christabel Pankhurst Institute（克里斯塔贝尔·潘克赫斯特研究所）；Department of Computer Science（计算机科学系）；Division of Informatics, Imaging & Data Sciences（信息学、成像与数据科学分会）；Department of Electrical & Electronic Engineering（电子与电气工程系）；NIHR Manchester Biomedical Research Centre, Manchester Academic Health Sciences Centre, University of Manchester（尼日利亚卫生研究委员会曼彻斯特生物医学研究中心、曼彻斯特学术健康科学中心、曼彻斯特大学）
提出4D F-MeshLDM框架，结合卷积网格VAE、截断傅里叶级数运动参数化和条件扩散先验，实现可控的3D+t心脏网格序列生成，在UK Biobank数据上优于基线方法。
2026-06-18 cs.AI cs.CV
OptGAN: Optimizing and Interpreting the Latent Space of the Conditional Text-to-Image GANs
University of Groningen（格罗宁根大学）
文本到图像生成旨在自动生成照片般逼真的图像，以文本描述为条件。它可以潜在地应用于艺术创作，数据增强，照片编辑等领域，虽然许多努力已经致力于这项任务，它仍然是特别具有挑战性的，以产生可信的，自然的场景。为了促进文本到图像合成的实际应用，我们重点研究了以下三个问题：1）如何确保生成的样本是可信的，真实的或自然的？2)如何开发生成器的潜在空间来编辑合成图像？3)如何提高文本到图像生成框架的可解释性？在这项工作中，我们构建了两个新的数据集（即，根据严格的标准，包括成功和不成功的生成样本的好鸟和坏鸟和脸数据集）。为了通过增加生成良好潜在代码的概率来有效地获取高质量图像，我们对生成的图像使用专用的好/坏分类器。它基于预先训练的前端，并根据建议的好与坏数据集进行微调。在此之后，我们提出了一种新的算法，该算法通过对生成器的预训练权重值进行独立分量分析来识别条件文本到图像GAN架构的潜在空间中的语义可理解方向。此外，我们开发了一个背景平坦损失（BFL），以改善编辑后的图像中的背景外观。随后，我们介绍了线性插值分析之间的关键字对。这是扩展到一个类似的三角形的“语言”插值，以深入了解什么是文本到图像的合成模型中学习的语言嵌入。我们的数据集可在https://zenodo.org/record/6283798#.YhkN_ujMI2w上获得。
2022-02-25 cs.CV cs.LG
A Novel Sampling Scheme for Text- and Image-Conditional Image Synthesis in Quantized Latent Spaces
Technische Hochschule Ingolstadt（英戈尔施塔特工业大学）；Wand Technologies Inc（Wand技术公司）
提出一种简化的文本到图像生成方法，涵盖训练范式和采样过程，仅需少量迭代即可生成高质量图像，并训练了十亿参数模型Paella验证其有效性。
2023-05-23 cs.CV cs.LG
Controllable retinal image synthesis using conditional StyleGAN and latent space manipulation for improved diagnosis and grading of diabetic retinopathy
Amirkabir University of Technology（阿米尔卡比尔理工大学）；Tehran Medical Sciences, Islamic Azad University（伊斯兰阿扎德大学德黑兰医学科学分校）
针对糖尿病视网膜病变分级标注数据不足的问题，提出基于条件StyleGAN与SeFa隐空间操纵的可控图像合成及增强策略，在APTOS 2019数据集上提升了检测与分级模型性能。
2024-09-11 cs.CV eess.IV
Attribute2Image: Conditional Image Generation from Visual Attributes
University of Michigan（密歇根大学）；Adobe Research（Adobe研究院）；NEC Labs（NEC实验室）
本文研究了一个新的问题，从视觉属性生成图像。我们将图像建模为前景和背景的组合，并开发了一个分层的生成模型，该模型具有可以使用变分自动编码器进行端到端学习的解纠缠潜变量。我们的实验与自然图像的脸和鸟类，并证明所提出的模型能够产生现实和多样化的样本与解开潜在的代表。我们使用一个通用的能量最小化算法的后验推理的潜在变量给定的新图像。因此，学习的生成模型在属性条件图像重建和完成任务中表现出出色的定量和视觉效果。
2016-10-08 cs.AI cs.CV cs.LG
Double cycle-consistent generative adversarial network for unsupervised conditional generation
Clemson University（克莱姆森大学）
条件生成模型在过去几年中取得了相当大的成功，但通常需要大量的标记数据。最近，聚类器GAN将GAN与编码器相结合，通过无监督条件生成来实现显著的聚类性能。然而，它忽略了数据的真实条件分布，这导致为每个类生成较少多样性的样本，并使编码器只能实现次优聚类性能。在这里，我们提出了一个新的无监督条件生成框架，双循环一致的条件GAN（DC 3-GAN），它可以生成不同的类条件样本。除了生成器-编码器对之外，我们还强制GAN的编码器和生成器形成编码器-生成器对，这使我们能够避免低多样性生成和潜在特征的琐碎性。我们使用真实数据训练编码器-生成器对，它可以间接估计真实的条件分布。同时，该框架强制编码器的输出与GAN的输入和先验噪声分布相匹配，从而将潜在空间分解为两部分：独热离散和连续潜在变量。前者可以直接表示为簇，后者表示剩余的未指定因子。这项工作表明，增强无监督条件生成样本的多样性可以提高聚类性能。在不同基准数据集上的实验结果表明，该方法优于现有的基于生成模型的聚类方法，同时也达到了最优的解纠缠性能.
2021-04-05 cs.CV cs.LG stat.ML
CAFLOW: Conditional Autoregressive Flows
University of Cambridge（剑桥大学）
我们介绍CAFLOW，一个新的多样化的图像到图像的翻译模型，同时利用自回归建模的力量和建模效率的条件规范化流。我们使用多尺度归一化流程将条件图像转换为一系列潜在编码，并对条件图像重复该过程。我们通过使用高效的多尺度归一化流对自回归分布进行建模来对潜在编码的条件分布进行建模，其中每个调节因素在其各自的分辨率尺度上影响图像合成。我们提出的框架在一系列图像到图像的翻译任务上表现良好。它优于以前的设计条件流，因为它的表达自回归结构。
2021-06-04 cs.AI cs.CV cs.LG
TauPETGen: Text-Conditional Tau PET Image Synthesis Based on Latent Diffusion Models
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
本文提出TauPETGen，一种基于潜在扩散模型的文本条件tau PET图像合成方法，利用文本描述和MR图像生成不同临床阶段的逼真tau PET图像，以提高数据集可用性。
2023-06-21 cs.AI cs.CV eess.IV
Information Compensation for Deep Conditional Generative Networks
近年来，无监督/弱监督条件生成对抗网络（GANs）在建模和生成数据方面取得了许多成功。然而，它们的弱点之一在于它们分离或解开表征编码在其潜在空间中的表征的不同因素的能力很差。为了解决这个问题，我们提出了一种新的无监督条件GANs结构，该结构由一种新的信息补偿连接（IC-连接）驱动。所提出的IC连接使GANs能够补偿在去卷积操作期间发生的信息损失。此外，为了量化离散和连续潜变量的解纠缠程度，我们设计了一个新的评估程序。我们的实证结果表明，与有条件生成设置中的最先进的GANs相比，我们的方法实现了更好的解纠缠。
2022-03-06 cs.CV cs.LG stat.ML
Multimodal Image-to-Image Translation via Mutual Information Estimation and Maximization
Zhejiang University（浙江大学）；Kwai Inc.（快手公司）
多模态图像到图像翻译（I2 IT）旨在学习一种条件分布，该分布在给定源域中的输入图像的情况下探索目标域中的多个可能图像。通常采用条件生成对抗网络（cGAN）来对这种条件分布进行建模。然而，cGANs在条件图像合成中容易忽略潜在代码并学习单峰分布，这也被称为GANs的模式坍塌问题。为了解决这个问题，我们提出了一种简单而有效的方法，该方法通过使用本文中的深度互信息神经估计器来显式地估计和最大化cGAN中的潜在代码和输出图像之间的互信息。最大化互信息增强了潜在代码和输出图像之间的统计依赖性，这防止了生成器忽略潜在代码，并鼓励cGAN充分利用潜在代码来合成不同的结果。该方法不仅从信息论的角度为提高I2 IT的多样性提供了一个新的视角，而且还免费实现了源域内容和目标域风格之间的解纠缠。
2021-05-08 cs.CV cs.LG eess.IV
Distilling Diffusion Models into Conditional GANs
Pohang University of Science and Technology（浦项科技大学）；Adobe Research（奥多比研究院）；Seoul National University（首尔大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出将扩散模型蒸馏为单步条件GAN的方法，通过E-LatentLPIPS损失和多尺度判别器，在零样本COCO上超越DMD等模型，加速推理并保持图像质量。
2024-07-17 cs.CV cs.GR cs.LG
A Novel Technique for Evidence based Conditional Inference in Deep Neural Networks via Latent Feature Perturbation
Indian Institute of Technology Delhi（印度理工学院德里分校）
辅助信息可以利用机器学习模型中使用的范例证据为基础的条件推理。深度神经网络（DNN）中的多模态技术可以被视为扰动潜在特征表示，以合并来自辅助模态的证据。然而，它们需要训练一个专门的网络，可以将稀疏的证据映射到高维的潜在空间向量。设计这样一个网络，以及收集联合标记的数据进行训练是一项重要的任务。在本文中，我们提出了一种新的基于多任务学习（MTL）的框架，在DNN中执行基于证据的条件推理，可以克服这两个缺点。我们的框架将证据作为次要任务的输出，同时将原始问题建模为感兴趣的主要任务。在推理过程中，我们采用了一种新的贝叶斯公式来改变联合潜在特征表示，以最大限度地提高所观察到的证据的概率。由于我们的方法模型证据来自DNN的预测，因此这通常可以使用标准的预训练骨干来实现流行的任务，从而完全消除了训练的需要。即使在需要训练时，我们的MTL架构也可以确保在不需要联合标记数据的情况下完成训练。利用证据使用我们的框架，我们显示了3.9%的改进，比最先进的，预测语义分割给定的图像标签，和2.8%的预测实例分割给定的图像标题。
2019-12-06 cs.CV
Conditional Latent Diffusion Models for Zero-Shot Instance Segmentation
German Aerospace Center (DLR)（德国航空航天中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Technical University of Munich（慕尼黑技术大学）
本文提出OC-DiT条件潜在扩散模型，通过对象模板和图像特征引导生成实例掩码，实现零样本实例分割，在多个真实基准上达到最先进性能。
2025-08-06 cs.CV
Conditional Latent Coding with Learnable Synthesized Reference for Deep Image Compression
Southern University of Science and Technology（南方科技大学）
提出CLC深度图像压缩方法，通过外部特征字典端到端学习并合成条件潜变量以指导编码，理论鲁棒且仅增约0.5%比特开销，BD性能最高提升1.2 dB。
2025-02-14 cs.AI cs.CV
Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model
Australian National University（澳大利亚国立大学）；Northwestern Polytechnical University（西北工业大学）；Monash University（莫纳什大学）；SenseTime（商汤科技）
不确定性估计在近年来的文献中得到了广泛的研究，通常可以分为任意不确定性和认知不确定性。在现有的任意不确定性估计框架中，任意不确定性是数据的固有属性，只有无偏的预言模型才能正确地估计。由于预言机模型在大多数情况下是不可访问的，我们提出了一种新的采样和选择策略，在训练时间近似的预言机模型的任意不确定性估计。进一步，我们在基于双头的异方差不确定性估计框架中给出了一个平凡的解，并引入了一个新的不确定性一致性损失来避免它.对于认知不确定性估计，我们认为条件潜变量模型中的内变量是认知不确定性的另一个来源，从而对预测分布进行建模，并探索关于隐藏真模型的有限知识.我们验证了我们对密集预测任务的观察，即，隐藏目标检测。我们的结果表明，我们的解决方案实现了准确的确定性结果和可靠的不确定性估计。
2021-11-22 cs.CV
Synthetic Data Generation for Emotional Depth Faces: Optimizing Conditional DCGANs via Genetic Algorithms in the Latent Space and Stabilizing Training with Knowledge Distillation
Cyrus Intelligence Research Ltd（居鲁士智能研究有限公司）；Pars AI
针对情感计算中高质量深度面部数据集缺乏的问题，提出一种结合知识蒸馏与遗传算法优化GAN潜在向量的合成深度人脸生成框架，在多样性、图像质量及分类准确率上均优于现有方法。
2025-08-07 cs.CV
Echo-DM: Ultrasound Marker Removal via Conditional Latent Diffusion and Region-Aware Fusion
School of Computer Science, Wuhan University, China（武汉大学计算机学院）；The Central Hospital of Wuhan, China（武汉市中心医院）；School of Computer Science, Hubei University of Technology, China（湖北工业大学计算机学院）
提出Echo-DM框架，结合条件潜在扩散和区域感知融合，在无掩码条件下有效去除超声图像中的人工标记，同时保持解剖结构保真度。
2026-06-08 cs.CV
What's the point? Frame-wise Pointing Gesture Recognition with Latent-Dynamic Conditional Random Fields
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院人体工程学与机器人研究所）
我们使用潜在动态条件随机场在视频序列的每个时间实例执行基于信标的指向手势分类，其中我们实现了大约83%的逐帧指向准确度。随后，我们确定任意长度的连续时间序列，形成个人的指向手势，这种方式可靠地检测指向手势的误报率为0.63%。
2015-10-20 cs.CV cs.HC cs.RO
Adaptive Nonlinear Latent Transformation for Conditional Face Editing
Fudan University（复旦大学）；Shanghai Center for Brain Science and Brain-inspired Technology（上海脑科学与类脑研究中心）
本文提出 AdaTrans，通过条件化、分步的自适应非线性潜空间轨迹、密度模型约束和互信息解耦策略，实现少标注、非二值属性下的高保真人脸编辑。
2023-07-15 cs.CV
Latent Transformations for Object View Points Synthesis
Purdue University（普渡大学）
我们提出了一个完全卷积的条件生成模型，潜在的转换神经网络（LTNN），能够使用适合实时应用的轻量级神经网络的视图合成。与现有的条件生成模型，通过级联将条件信息，我们引入了一个专用的网络组件，条件变换单元（CTU），旨在学习对应于指定的目标视图的潜在空间变换。此外，一致性损失项被定义为引导网络学习所需的潜在空间映射，任务划分的解码器被构造为细化生成的视图的质量，并引入自适应的训练来改善对抗性训练过程。所提出的方法的一般性表现在三个不同的任务的集合：多视图重建真实的手的深度图像，视图合成的真实和合成的脸，和刚性物体的旋转。所提出的模型被证明是超过国家的最先进的结果，在每个类别，同时实现了减少所需的计算需求的推理平均30%。
2018-11-28 cs.CV
Conditional Generative Modeling via Learning the Latent Space
Australian National University（澳大利亚国立大学）；CSIRO, Data61（澳大利亚联邦科学与工业研究组织数据61中心）；University of Moratuwa（莫拉图瓦大学）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
虽然深度学习在几个机器学习任务上取得了令人瞩目的结果，但大多数模型在推理时都是确定性的，这将它们的应用限制在单模态设置上。我们提出了一种新的通用框架，在多模态空间中的条件生成，使用潜变量来建模可推广的学习模式，同时最小化一个家庭的回归成本函数。在推理时，优化潜变量以找到对应于多个输出模式的最优解。与现有的生成解决方案相比，在多模态空间中，我们的方法表现出更快和稳定的收敛性，并且可以为下游任务学习更好的表示。重要的是，它提供了一个简单的通用模型，可以击败使用领域专业知识在各种任务上定制的高度工程化的管道，同时生成不同的输出。我们的密码会被公开。
2020-10-09 cs.CV cs.LG
LatentHDR: Decoupling Exposure from Diffusion via Conditional Latent-to-Latent Mapping for Text/Image-to-Panoramic HDR
Monks AI Research Lab（Monks AI研究院）
本文提出LatentHDR框架，通过在潜在空间中解耦场景生成与曝光建模，实现高效且结构一致的HDR生成，实验表明其在动态范围和感知质量上优于现有方法，并显著降低计算成本。
2026-05-11 cs.CV cs.GR cs.LG
COLLAR: Cascaded Object-Level Latent Refinement for High-Fidelity Conditional Generation
College of Computer Science, Zhejiang University（浙江大学计算机科学学院）
提出COLLAR框架，通过视场扩展和级联对象级潜在精化，在扩散Transformer中实现无训练的高保真对象级控制，优于现有方法。
2026-05-31 cs.CV
Robust Multimodal Survival Prediction with the Latent Differentiation Conditional Variational AutoEncoder
The College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics（南京航空航天大学人工智能学院）
针对癌症生存预测中基因组模态缺失问题，提出 LD-CVAE，通过 VIB-Trans 压缩病理表示、LD-VAE 区分基因组共性与特性后验，并以专家乘积融合建模，在五个癌症数据集上表现优越。
2025-03-18 cs.CV
