LatentCLR: A Contrastive Learning Approach for Unsupervised Discovery of Interpretable Directions
EPFL（洛桑联邦理工学院）；Technical University of Munich（慕尼黑工业大学）；Boğaziçi University（博阿齐奇大学）
最近的研究表明，在预训练的生成对抗网络（GANs）的潜在空间中找到可解释的方向是可能的。这些方向实现了可控的图像生成，并支持广泛的语义编辑操作，如缩放或旋转。这种方向的发现通常以监督或半监督的方式进行，并且需要手动注释，这限制了它们在实践中的使用。相比之下，无监督发现允许发现难以先验检测的微妙方向。在这项工作中，我们提出了一种基于对比学习的方法，以自我监督的方式在预训练的GANs的潜在空间中发现语义方向。我们的方法发现语义上有意义的尺寸与国家的最先进的方法。
2021-10-06 cs.CV cs.LG
Edge Guided GANs with Multi-Scale Contrastive Learning for Semantic Image Synthesis
ETH Zurich（苏黎世联邦理工学院）；University of Trento（特伦托大学）
针对语义图像合成中细节缺失、语义不一致、忽略全局语义关联三大挑战，提出带边缘引导、类别特征增强和多尺度对比学习的ECGAN，提升合成图像质量与语义一致性。
2023-07-22 cs.CV
InfoMax-GAN: Improved Adversarial Image Generation via Information Maximization and Contrastive Learning
University of Cambridge（剑桥大学）；Snap Inc.（Snap公司）；Singapore University of Technology and Design（新加坡科技设计大学）
虽然生成对抗网络（GANs）是许多生成建模应用的基础，但它们存在许多问题。在这项工作中，我们提出了一个原则性的框架，以同时减轻GANs中的两个基本问题：灾难性遗忘的发生器和模式坍塌。我们通过为GANs采用对比学习和互信息最大化方法来实现这一点，并进行广泛的分析以了解改进的来源。我们的方法显着稳定了GAN训练，并提高了GAN在相同的训练和评估条件下对最先进的作品进行图像合成的性能。特别是，与最先进的SSGAN相比，我们的方法不会在人脸等图像域上表现较差，反而显著提高了性能。我们的方法实现简单且实用：它只涉及一个辅助目标，计算成本低，并且在广泛的训练设置和数据集上表现稳健，无需任何超参数调整。为了重现性，我们的代码可以在Mimicry中找到：https://github.com/kwotsin/mimicry。
2020-11-22 cs.CV cs.LG stat.ML
Dualing GANs
DeepMind；University of Toronto（多伦多大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
生成对抗网络（GANs）是一种很有前途的从样本中建模分布的技术。然而，众所周知的是，GAN训练由于其极大极小公式的性质而遭受不稳定性。在本文中，我们探讨了如何解决不稳定的问题，通过对偶的双。我们从线性鉴别器开始，在这种情况下，共轭对偶提供了一种机制，将鞍点目标重新表述为最大化问题，使得这种“对偶GAN”的生成器和迭代器都一致行动。然后，我们展示了如何将这种直觉扩展到非线性配方。对于具有线性鉴别器的GANs，我们的方法能够消除训练中的不稳定性，而对于具有非线性鉴别器的GANs，我们的方法提供了常用的GAN训练算法的替代方案。
2017-06-19 cs.AI cs.CV cs.LG
Edge Guided GANs with Contrastive Learning for Semantic Image Synthesis
ETH Zurich（苏黎世联邦理工学院）；University of Hong Kong（香港大学）；HKUST（香港科技大学）；University of Trento（特伦托大学）；University of Wurzburg（维尔茨堡大学）
我们提出了一种新的ECGAN具有挑战性的语义图像合成任务。虽然已经取得了相当大的改善，合成图像的质量是远远不能令人满意的，由于三个基本上未解决的挑战。1)语义标签不提供详细的结构信息，使得难以综合局部细节和结构。2)广泛采用的CNN操作，如卷积，下采样和归一化通常会导致空间分辨率损失，从而无法完全保留原始语义信息，导致语义不一致的结果。3)现有的语义图像合成方法集中于从单个输入语义布局建模局部语义信息。然而，它们忽略了多个输入语义布局的全局语义信息，即，跨不同输入布局的像素之间的语义交叉关系。为了解决1），我们提出使用边缘作为中间表示，其进一步通过所提出的注意力引导边缘转移模块来引导图像生成。边缘信息由卷积生成器产生，并引入详细的结构信息。为了解决2），我们设计了一个有效的模块，根据原始的语义布局有选择地突出类相关的特征图，以保留语义信息。为了解决3）问题，受当前对比学习方法的启发，提出了一种新的对比学习方法，该方法的目的是使属于同一语义类的像素嵌入比来自不同语义类的像素嵌入生成更相似的图像内容。这样做可以通过显式地探索来自多个输入语义布局的标记像素的结构来捕获更多的语义关系。在三个具有挑战性的数据集上的实验表明，我们的ECGAN比最先进的方法取得了更好的结果。
2023-03-28 cs.CV cs.LG eess.IV
A Framework For Image Synthesis Using Supervised Contrastive Learning
Zhejiang University（浙江大学）
针对典型文本到图像生成对抗网络忽略模态内语义对应关系的问题，提出标签引导的监督对比学习框架，扩展出参数共享对比分支，在CUB和COCO数据集上显著提升图像生成质量，尤其在COCO上对四种GAN模型的FID指标改进明显。
2024-12-05 cs.AI cs.CV
Damage GAN: A Generative Model for Imbalanced Data
The University of Sydney（悉尼大学）；The University of Technology Sydney（悉尼科技大学）
本文提出Damage GAN，在ContraD GAN中融合SimCLR式对比损失与SDCLR，以提升不平衡数据上GAN的稳定性、生成分布和图像质量。
2023-12-08 cs.AI cs.CV cs.LG
GAN-Control: Explicitly Controllable GANs
Amazon（亚马逊）
我们提出了一个训练GANs的框架，对生成的图像进行显式控制。我们能够通过设置确切的属性（如年龄，姿势，表情等）来控制生成的图像。大多数编辑GAN生成的图像的方法都是通过利用潜在的空间解纠缠属性来实现部分控制的，这些属性是在标准GAN训练后隐式获得的。这种方法能够改变某些属性的相对强度，但不显式地设置它们的值。最近提出的方法，旨在显式控制人脸，利用变形的3D人脸模型，以允许在GANs细粒度的控制能力。与这些方法不同的是，我们的控制是不受约束的变形三维人脸模型参数，并可扩展到人类面部以外的领域。使用对比学习，我们获得了具有显式解纠缠潜在空间的GANs。这种解纠缠被用来训练控制编码器，将人类可解释的输入映射到合适的潜在向量，从而允许显式控制。在人脸领域，我们展示了对身份，年龄，姿势，表情，头发颜色和照明的控制。我们还展示了我们的框架在绘画肖像和狗图像生成领域的控制能力。我们证明了我们的方法在定性和定量上都达到了最先进的性能。
2021-10-03 cs.CV
Geometry-Contrastive GAN for Facial Expression Transfer
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
在本文中，我们提出了一个几何对比生成对抗网络（GC-GAN），用于在不同的主体之间传递连续的情感。给定具有特定情感的输入人脸和来自另一主体的目标面部表情，GC-GAN可以生成具有目标表情的身份保持人脸。几何信息被引入cGAN作为连续条件来指导面部表情的生成。为了处理不同主题或情绪之间的不对齐，对比学习被用来将几何流形转换为嵌入的面部表情语义流形。因此，嵌入式几何被注入到GANs的潜在空间中，并有效地控制情感生成。实验结果表明，即使不同被试的面部形状和表情存在很大差异，该方法也可以应用于面部表情迁移。
2018-10-22 cs.CV
Image Augmentations for GAN Training
UC Irvine（加州大学欧文分校）；Google Research（谷歌研究院）
数据增强已被广泛研究，以提高分类器的准确性和鲁棒性。然而，在以前的研究中，图像增强在改进用于图像合成的GAN模型中的潜力还没有被彻底研究。在这项工作中，我们系统地研究了各种现有的增强技术的有效性，在各种设置的GAN培训。我们提供了关于如何为普通GANs和具有正则化的GANs增强图像的见解和指导方针，大大提高了生成图像的保真度。令人惊讶的是，我们发现，如果我们在真实图像和生成图像上使用增强，香草GANs的生成质量与最近的最先进的结果相当。当这种GAN训练与其他基于增强的正则化技术（例如对比度损失和一致性正则化）相结合时，增强进一步提高了生成图像的质量。我们为CIFAR-10的条件生成提供了新的最先进的结果，其中一致性损失和对比损失作为额外的正则化。
2020-06-04 cs.CV cs.LG eess.IV
DuDGAN: Improving Class-Conditional GANs via Dual-Diffusion
Chung-Ang University（中央大学）
本文提出 DuDGAN，通过向判别器和分类器以不同方式注入高斯混合噪声的双重扩散机制，提升类别条件 GAN 的训练稳定性与图像生成质量。
2023-06-06 cs.CV eess.IV
Improving the Improved Training of Wasserstein GANs: A Consistency Term and Its Dual Effect
University of Central Florida（中佛罗里达大学）；Beijing Jiaotong University（北京交通大学）；Tencent AI Lab（腾讯人工智能实验室）
尽管生成对抗网络（GANs）对各种问题和应用都有影响，但训练非常困难。\cite{arjovsky2017towards}正式分析了这个问题，他还提出了一个替代方向，以避免GANs的最小最大两人训练中的警告。相应的算法，称为Wasserstein GAN（WGAN），取决于1-Lipschitz连续的时间序列。在本文中，我们提出了一种新的方法来加强WGAN的训练过程中的Lipschitz连续性。我们的方法无缝连接WGAN与最近的半监督学习方法之一。因此，它不仅产生了比以前的方法更好的照片般逼真的样本，而且还产生了最先进的半监督学习结果。特别是，我们的方法仅使用1，000张CIFAR-10图像就获得了超过5.0的初始分数，并且是第一个仅使用4，000张标记图像就超过CIFAR-10数据集90%准确度的方法。
2018-03-05 cs.CV cs.LG stat.ML
Spectral Normalization and Dual Contrastive Regularization for Image-to-Image Translation
Nanjing Normal University（南京师范大学）
针对现有图像到图像翻译方法忽略全局结构约束的问题，提出结合谱归一化与双对比正则化的SN-DCR框架，通过语义和风格对比损失提升全局信息，增强模型稳定性，在多任务中达最优性能。
2024-03-09 cs.CV
Region-Based Semantic Factorization in GANs
The Hong Kong University of Science and Technology（香港科技大学）；ByteDance（字节跳动）；The Chinese University of Hong Kong（香港中文大学）；Ant Research（蚂蚁研究院）
尽管生成对抗网络（GANs）的潜在空间中的语义发现快速发展，但现有方法要么限于查找全局属性，要么依赖于许多分割掩码来识别局部属性。在这项工作中，我们提出了一个高效的算法来分解GANs学习到的关于任意图像区域的潜在语义。具体地说，我们重新审视了使用预训练的GANs进行局部操作的任务，并将基于区域的语义发现公式化为双重优化问题。通过适当定义的广义瑞利商，我们设法解决这样的问题，没有任何注释或培训。各种国家的最先进的GAN模型上的实验结果表明，我们的方法的有效性，以及其优于现有技术的精确控制，区域鲁棒性，实现速度，和使用简单。
2022-08-24 cs.CV
Black-Box Attack against GAN-Generated Image Detector with Contrastive Perturbation
Communication University of China（中国传媒大学）
视觉上逼真的GAN生成的面部图像引起了对潜在滥用的明显担忧。近年来，许多有效的取证算法已经被开发来检测这样的合成图像。评估这种法医检测器对对抗攻击的脆弱性具有重要意义。在本文中，我们提出了一种针对GAN生成的图像检测器的新的黑盒攻击方法。采用一种新的对比学习策略，在对比损失函数下对基于编解码器网络的反取证模型进行训练。GAN图像和它们的模拟真实对应物分别被构造为正样本和负样本。利用训练好的攻击模型，对输入的合成图像施加不可感知的对比扰动，在一定程度上去除GAN指纹。因此，现有的GAN生成的图像检测器预计会被欺骗。大量的实验结果验证了该攻击有效地降低了六种流行的GANs上的三种最先进的检测器的准确性。高的视觉质量的攻击图像也实现了。源代码将在https://github.com/ZXMMD/BAttGAND上提供。
2022-11-07 cs.CR cs.CV
DynaGAN: Dynamic Few-shot Adaptation of GANs to Multiple Domains
POSTECH（浦项科技大学）；Pebblous
对多个域的Few-Shot领域自适应旨在从少量训练图像学习跨多个域的复杂图像分布。这里一个简单的解决方案是使用Few-Shot领域自适应方法为每个域训练一个单独的模型。不幸的是，这种方法要求线性缩放的计算资源在内存和计算时间，更重要的是，这种单独的模型不能利用目标域之间的共享知识。在本文中，我们提出了DynaGAN，一种新的Few-Shot域自适应多目标域的方法。DynaGAN有一个自适应模块，它是一个超网络，可以将预训练的GAN模型动态地适应多个目标域。因此，我们可以充分利用跨目标域的共享知识，并避免线性缩放的计算要求。由于适应大尺寸GAN模型在计算上仍然具有挑战性，因此我们使用秩1张量分解来设计我们的适应模块轻量化。最后，我们提出了一种适用于多域Few-Shot自适应的对比度自适应损失。我们通过大量的定性和定量评估来验证我们的方法的有效性。
2022-11-26 cs.CV
Hidden Convexity of Wasserstein GANs: Interpretable Generative Models with Closed-Form Solutions
Stanford University（斯坦福大学）
生成对抗网络（GANs）通常用于对复杂的数据分布进行建模。GANs的生成器和鉴别器通常都是由神经网络建模的，这就提出了一个非透明的优化问题，该问题在生成器和鉴别器上分别是非凸和非凹的。这类网络通常用梯度下降-上升（GDA）进行启发式优化，但目前还不清楚优化问题是否包含任何鞍点，或者探试法是否能在实践中找到它们。在这项工作中，我们通过凸对偶的镜头分析了Wasserstein GANs与双层神经网络鉴别器的训练，并针对各种生成器揭示了Wasserstein GANs可以用凸优化方法精确求解的条件，或者可以表示为凹凸游戏。使用这种凸对偶解释，我们进一步证明了不同的激活函数的影响。我们的观察结果进行了验证，数值结果表明凸解释的力量，与对应于CelebA图像生成的线性生成器和二次激活鉴别器的凸架构的渐进训练中的应用。我们的实验代码可以在https://github.com/ardasahiner/ProCoGAN上找到。
2022-03-21 cs.CV cs.LG eess.IV
ContraGAN: Contrastive Learning for Conditional Image Generation
Graduate School of Artificial Intelligence（人工智能研究生院）；POSTECH（浦项科技大学）
条件图像生成是使用类别标签信息生成各种图像的任务。虽然许多条件生成对抗网络（GAN）已经显示出现实的结果，但是这些方法将图像的嵌入和对应标签的嵌入之间的成对关系（数据到类别关系）考虑为条件损失。在本文中，我们提出了ContraGAN，它通过使用条件对比损失来考虑同一批中的多个图像嵌入之间的关系（数据到数据的关系）以及数据到类的关系。ContraGAN的训练算法区分给定样本的真实性，并最小化对比目标以学习训练图像之间的关系。同时，生成器试图生成逼真的图像，欺骗真实性和具有低对比度损失。实验结果表明，ContraGAN在Tiny ImageNet和ImageNet数据集上的性能分别比最先进的模型高出7.3%和7.7%。此外，我们还通过实验证明了对比学习有助于缓解神经网络的过拟合现象。为了进行公平的比较，我们使用PyTorch库重新实现了12个最先进的GANs。该软件包可在https://github.com/POSTECH-CVLab/PyTorch-StudioGAN上获得。
2021-02-03 cs.CV cs.LG
Structural Adversarial Objectives for Self-Supervised Representation Learning
University of Chicago（芝加哥大学）
本研究在GAN框架下提出结构对抗目标，通过粗细双粒度特征结构约束与平滑正则化引导判别器学习表征，无需手工数据增强，在多个数据集上达到与对比学习方法相当的表示学习效果。
2023-10-04 cs.CV cs.LG
Single-Reference Text-to-Image Manipulation with Dual Contrastive Denoising Score
Department of Automation, School of Information Science and Technology, University of Science and Technology of China（自动化系、信息科学与技术学院、中国科学技术大学）
本文提出双重对比去噪分数框架，利用预训练文本到图像扩散模型的自注意力空间信息，在无需额外训练的情况下实现真实图像编辑中的内容修改与结构保持，并支持零样本图像到图像转换。
2025-08-18 cs.CV
Diff-CA: Separating Common and Salient Factors with Diffusion Models
INRIA at Univ. Grenoble Alpes（法国格勒诺布尔大学INRIA实验室）；CEA List, Palaiseau（法国CEA列表，帕莱索）；Télécom Paris, Institut Polytechnique de Paris（巴黎电信学院，巴黎理工学院）
提出一种基于扩散模型的条件框架，通过弱监督学习将图像条件分解为共同因素和显著因素，实现对比分析中的因素分离，并保持高保真图像生成质量。
2026-06-04 cs.CV
Dual Contrastive Learning for Unsupervised Image-to-Image Translation
DATA61-CSIRO（澳大利亚联邦科学与工业研究组织数据61）；Australian National University（澳大利亚国立大学）
无监督图像到图像翻译任务旨在从不成对的训练数据中找到源域X和目标域Y之间的映射。针对未配对图像到图像翻译（CUT）的对比学习通过针对两个域仅使用一个编码器来最大化输入和输出补丁之间的互信息，在对无监督图像到图像翻译进行建模方面产生最先进的结果。在本文中，我们提出了一种新的方法，基于对比学习和双学习设置（利用两个编码器），以推断不成对数据之间的有效映射。此外，虽然CUT遭受模式坍塌，我们的方法的变体有效地解决了这个问题。我们进一步证明了我们的方法的优势，通过广泛的消融研究，表现出优越的性能相比，最近的方法在多个具有挑战性的图像翻译任务。最后，我们证明了无监督方法和监督方法之间的差距可以有效地关闭。
2021-04-15 cs.CV eess.IV
Dual Attention GANs for Semantic Image Synthesis
University of Trento（特伦托大学）；University of Oxford（牛津大学）；Huawei Research Ireland（华为爱尔兰研究院）
在本文中，我们专注于语义图像合成任务，旨在将语义标签映射到照片般逼真的图像。现有的方法缺乏有效的语义约束来保持语义信息，忽略了空间和通道维度上的结构相关性，导致不令人满意的模糊和伪影倾向的结果。为了解决这些局限性，我们提出了一种新的双注意力GAN（DAGAN），从输入布局中合成具有精细细节的照片般逼真和语义一致的图像，而无需施加额外的训练开销或修改现有方法的网络架构。我们还提出了两个新的模块，即，位置方面的空间注意力模块（SAM）和尺度方面的通道注意力模块（CAM），以分别捕获空间和通道维度中的语义结构注意力。具体地说，SAM选择性地相关的像素在每个位置的空间注意力地图，导致像素具有相同的语义标签是相互相关的，而不管它们的空间距离。同时，CAM选择性地强调在每个通道的尺度上的功能，通过通道注意力地图，它集成了所有通道地图之间的相关功能，而不管它们的规模。最后，我们总结SAM和CAM的输出，以进一步改善特征表示。在四个具有挑战性的数据集上进行的大量实验表明，DAGAN在使用更少的模型参数的同时，取得了比最先进的方法更好的结果。源代码和训练模型可在https://github.com/Ha0Tang/DAGAN上获得。
2020-08-29 cs.AI cs.CV cs.LG
Information-theoretic stochastic contrastive conditional GAN: InfoSCC-GAN
University of Geneva（日内瓦大学）
条件生成是生成问题的一个子类，其中生成的输出是由属性信息条件。在本文中，我们提出了一个随机对比条件生成对抗网络（InfoSCC-GAN）与可探索的潜在空间。InfoSCC-GAN架构基于InfoNCE范式构建的无监督对比编码器，属性分类器和EigenGAN生成器。我们提出了一种新的训练方法，基于发电机正则化使用外部或内部属性的每$n$次迭代，使用一个预先训练的对比编码器和一个预先训练的分类器。所提出的InfoSCC-GAN是基于输入数据和潜在空间表示以及潜在空间和生成数据之间的互信息最大化的信息理论公式推导出来的。因此，我们证明了训练目标函数和上述信息理论公式之间的联系。实验结果表明，InfoSCC-GAN在AFHQ和CelebA数据集上的图像生成性能优于“香草”EigenGAN。此外，我们还通过消融研究调查了消融结构和损失函数的影响。最后，我们证明了由于EigenGAN生成器，所提出的框架与香草确定性GANs相比具有随机生成，但与现有框架相比，编码器，分类器和生成器的独立训练。代码、实验结果和演示可在https://github.com/vkinakh/InfoSCC-GAN上获得。
2021-12-17 cs.CV cs.LG
Guiding Energy-based Models via Contrastive Latent Variables
LG AI Research（LG人工智能研究院）；KAIST（韩国科学技术院）；Korea University（高丽大学）
基于能量的模型（EBM）是一种流行的生成框架，它提供了显式的密度和架构灵活性，但训练它们是困难的，因为它通常是不稳定和耗时的。近年来，已经开发了各种训练技术，例如，更好的发散性措施或MCMC采样中的稳定性，但在生成质量方面，EBM和其他生成框架（如GANs）之间往往存在很大的差距。在本文中，我们提出了一个新的和有效的框架，通过对比表示学习（CRL），以改善EBM。具体来说，我们认为通过对比方法学习的表征是真正的潜在变量。这种对比潜变量可以引导循证医学人员更好地理解数据结构，从而显著地提高和加快循证医学培训。为了实现EBM和CRL的联合训练，我们还设计了一类新的潜变量EBM，用于学习数据和对比潜变量的联合密度。我们的实验结果表明，与现有技术的EBM方法（例如，附加地使用变分自编码器或扩散技术），甚至具有显著更快和更有存储效率的训练。我们还展示了潜变量EBM的条件和合成生成能力作为其额外的好处，即使没有明确的条件训练。该代码可在https://github.com/hankook/CLEL上获得。
2023-03-06 cs.CV cs.LG
Contrastive Feature Loss for Image Prediction
MIT（麻省理工学院）；Adobe Research（Adobe研究院）；UC Berkeley（加州大学伯克利分校）；CMU（卡内基梅隆大学）
训练有监督的图像合成模型需要一个评论家比较两个图像：结果的地面真相。然而，这一基本功能仍然是一个悬而未决的问题。一种流行的方法使用L1（平均绝对误差）损失，无论是在预训练深度网络的像素空间还是特征空间中。然而，我们观察到这些损失往往会产生过于模糊和灰色的图像，需要采用其他技术，如GANs来对抗这些伪影。在这项工作中，我们介绍了一个基于信息论的方法来衡量两个图像之间的相似性。我们认为，一个好的重建应该有高互信息与地面真相。该视图使得能够学习轻量级批评者以对比的方式“校准”特征空间，使得对应的空间块的重建被带到一起，而其他块被排斥。我们表明，我们的配方立即提高输出图像的感知现实主义时，作为一个下拉式替代L1损失，有或没有额外的GAN损失。
2021-11-12 cs.CV cs.LG
Learning to Detect Fake Face Images in the Wild
National Pingtung University of Science and Technology（国立屏东科技大学）；National United University（国立联合大学）
生成对抗网络（GAN）虽然可以用来生成真实感图像，但使用不当会带来隐患。例如，GAN可用于为特定人员和不适当事件生成篡改视频，从而创建对特定人员有害的图像，甚至可能影响该人员的人身安全。在本文中，我们将开发一种深度伪造检测器（DeepFD），以有效地检测计算机生成的图像。直接学习一个二元分类器是相对棘手的，因为很难找到共同的判别特征来判断不同GANs生成的假图像。为了解决这个缺点，我们采用对比损失来寻找由不同GANs生成的合成图像的典型特征，然后连接一个分类器来检测这样的计算机生成的图像。实验结果表明，所提出的DeepFD成功地检测到94.7%的虚假图像产生的几个国家的最先进的GANs。
2018-10-18 cs.CV cs.MM
CDE-GAN: Cooperative Dual Evolution Based Generative Adversarial Network
School of Electronic Information and Communication, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）；Shenzhen Research Institute, Huazhong University of Science and Technology（华中科技大学深圳研究院）；Discipline of ICT, University of Tasmania（塔斯马尼亚大学信息与通信技术学科）；School of Information Science and Technology, Nantong University（南通大学信息科学与技术学院）
生成对抗网络（GANs）是现实世界应用中流行的深度生成模型。尽管最近对GANs做出了许多努力，但GANs的模式坍塌和不稳定性仍然是由其对抗性优化困难引起的开放问题。本文以协同进化算法为基础，提出了一种基于协同双进化的生成对抗网络（CDE-GAN）来克服这些缺陷。本质上，CDE-GAN将关于生成器和鉴别器的双重进化纳入统一的进化对抗框架中，以进行有效的对抗多目标优化。因此，它利用互补特性并将双突变多样性注入训练中，以稳定地多样化捕获多模式的估计密度并提高生成性能。具体来说，CDE-GAN将复杂的对抗优化问题分解为两个子问题（生成和判别），每个子问题都用一个单独的子种群（E-Generator和E-Discriminators）来解决，并通过自己的进化算法进化。此外，我们还提出了一种软机制来平衡E-Generators和E-Discriminator之间的权衡，以进行稳定的CDE-GAN训练。在一个合成数据集和三个真实世界的基准图像数据集上进行的大量实验表明，所提出的CDE-GAN在生成高质量和多样化的样本方面具有竞争力和优越的性能。代码和更多生成的结果可以在我们的项目主页上找到：https://shiming-chen.github.io/CDE-GAN-website/CDE-GAN.html。
2021-03-23 cs.CV eess.IV
GANORCON: Are Generative Models Useful for Few-shot Segmentation?
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
基于GANs的生成建模的进步促使社区在图像生成和编辑任务之外找到它们的用途。特别是，最近的几项工作表明，GAN表示可以重新用于区分任务，如部分分割，特别是当训练数据是有限的。但是，这些改进如何与自监督学习的最新进展相结合呢？出于这一动机，我们提出了一种基于对比学习的替代方法，并比较它们在标准Few-Shot部分分割基准上的性能。我们的实验表明，基于GAN的方法不仅没有显著的性能优势，而且它们的多步训练很复杂，几乎慢了一个数量级，并且可能会引入额外的偏差。这些实验表明，生成模型的归纳偏差，例如它们解开形状和纹理的能力，可以通过使用对比学习训练的标准前馈网络很好地捕获。这些实验表明，当前生成模型中存在的归纳偏差，例如它们解开形状和纹理的能力，可以通过使用对比学习训练的标准前馈网络很好地捕获。
2022-04-28 cs.CV
Contrastive Diffusion Model with Auxiliary Guidance for Coarse-to-Fine PET Reconstruction
Sichuan University（四川大学）；University of Sydney（悉尼大学）；Chengdu University of Information Technology（成都信息工程大学）；ShanghaiTech University（上海科技大学）；Shanghai United Imaging Intelligence Co., Ltd.（上海联影智能科技有限公司）
针对低剂量 PET 重建中扩散模型采样慢、条件对应保持不足的问题，提出由 CPM 与 IRM 构成的由粗到细框架，并引入辅助引导和对比扩散策略，提升速度、重建质量及临床可靠性。
2023-08-20 cs.CV eess.IV
Generalizable Synthetic Image Detection via Language-guided Contrastive Learning
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；State Key Laboratory of Internet of Things for Smart City（智慧城市物联网国家重点实验室）；Department of Computer and Information Science, Faculty of Science and Technology, University of Macau（澳门大学计算机与信息科学系）；Faculty of Applied Sciences, Macao Polytechnic University（澳门 polytechnic 大学应用科学系）
提出基于语言引导对比学习的合成图像检测方法LASTED，通过文本标签增强和视觉-语言对比监督学习泛化性更强的取证特征空间，在四个数据集上显著超越现有方法。
2025-04-30 cs.CV
Text-Free Learning of a Natural Language Interface for Pretrained Face Generators
TTI-Chicago（芝加哥丰田技术研究所）；Purdue University（普渡大学）；Adobe Research（奥多比研究院）
我们提出了Fast text2StyleGAN，这是一种自然语言接口，可以将预先训练的GANs用于文本引导的人脸合成。利用对比图像预训练（CLIP）的最新进展，在训练过程中不需要文本数据。Fast text2StyleGAN是一个有条件的变分自编码器（CVAE），它在测试时为生成的图像提供额外的控制和多样性。当遇到新的文本提示时，我们的模型不需要重新训练或微调GANs或CLIP。与之前的工作相比，我们在测试时不依赖于优化，这使得我们的方法比之前的工作快了几个数量级。从经验上讲，在FFHQ数据集上，我们的方法提供了更快，更准确的生成图像的自然语言描述与不同层次的细节相比，以前的工作。
2022-09-08 cs.CV cs.LG
Turning Waste into Wealth: Leveraging Low-Quality Samples for Enhancing Continuous Conditional Generative Adversarial Networks
Nanjing University of Information Science & Technology（南京信息工程大学）；Zhejiang University（浙江大学）；University of British Columbia（不列颠哥伦比亚大学）
提出Dual-NDA方法，通过引入视觉不真实和标签不一致两类负样本改进判别器目标与CcGAN训练算法，显著提升了生成图像的视觉保真度与标签一致性，超越现有条件GANs和扩散模型。
2023-12-31 cs.CV cs.LG
Training Wasserstein GANs without gradient penalties
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Seoul National University（首尔国立大学）；UCLA（加州大学洛杉矶分校）；Max Planck Institute（马克斯·普朗克研究所）
提出了一种稳定的训练Wasserstein生成对抗网络的方法。为了提高稳定性，我们考虑两个目标函数使用$c$ -转换的基础上康托洛维奇对偶，这是在最优运输理论。我们的实验表明，该算法可以有效地执行Lipschitz约束的最小值，而其他标准的方法无法做到这一点。因此，我们的方法产生一个准确的估计最佳的距离，也为Wasserstein距离之间的真实分布和生成的。我们的方法不需要梯度惩罚，也不需要相应的超参数调整，并且在计算上比其他方法更有效。与此同时，它基于MNIST、F-MNIST和CIFAR-10数据集生成具有竞争力的合成图像生成器。
2021-10-27 cs.CV cs.LG cs.NA
Novelty Detection via Contrastive Learning with Negative Data Augmentation
East China Normal University（华东师范大学）；Tencent Youtu Lab（腾讯优图实验室）；Shanghai Jiao Tong University（上海交通大学）；Zhejiang Lab（之江实验室）
新颖性检测是确定查询示例是否与学习的训练分布不同的过程。以前的方法试图通过生成对抗网络（GANs）学习正常样本的表示。然而，他们将遭受不稳定的训练，模式下降，和低的辨别能力。最近，各种借口的任务（如旋转预测和聚类）已经提出了新的检测自监督学习。然而，学习的潜在特征仍然是低区分度的。我们克服了这些问题，通过引入一种新的解码器编码器框架。首先，生成网络（a.k.a.解码器）通过将初始化的潜在向量映射到图像来学习表示。特别地，通过考虑训练数据的整个分布来初始化该向量，以避免模式丢弃的问题。第二，对比网络（A.K.A.）编码器）旨在通过互信息估计来“学习比较”，这直接帮助生成网络通过使用负数据增强策略来获得更具鉴别力的表示。大量的实验表明，我们的模型具有显着的优越性，尖端的新奇检测器，并实现了新的国家的最先进的结果，一些新奇检测基准，如CIFAR10和DCASE。此外，与其他基于对抗性的新颖性检测方法相比，我们的模型在非对抗性方式的训练中更稳定。
2021-06-18 cs.AI cs.CV
MSGDD-cGAN: Multi-Scale Gradients Dual Discriminator Conditional Generative Adversarial Network
Isfahan University of Technology（伊斯法罕理工大学）；McMaster University（麦克马斯特大学）
条件生成对抗网络（cGAN）已被用于许多图像处理任务中。然而，它们仍然存在严重的问题，即在根据输入调节输出和基于相应的地面真值创建具有所需分布的输出之间保持平衡。传统的cGANs与大多数传统的GANs类似，都存在梯度消失的问题，这些梯度从卷积器反向传播到生成器。此外，由于前面提到的梯度问题，传统的cGAN对架构变化很敏感。因此，平衡cGAN的架构几乎是不可能的。最近，已经提出了MSG-GAN，通过在发生器和FPGA之间应用多个连接来稳定GANs的性能。在这项工作中，我们提出了一种名为MSGDD-cGAN的方法，该方法首先使用多连接梯度流来稳定cGAN的性能。其次，所提出的网络架构平衡了输出与输入的相关性以及输出对目标分布的适应度。这种平衡是通过使用拟议的双重歧视程序产生的。我们测试了我们的模型分割胎儿超声图像。我们的模型显示，与pix 2 pix版本的cGAN相比，F1得分增加了3.18%。
2021-09-12 cs.CV eess.IV
Transfer Learning of Real Image Features with Soft Contrastive Loss for Fake Image Detection
School of Cyber Science and Engineering, Wuhan University（武汉大学网络科学与工程学院）；Nanyang Technological University（南洋理工大学）；NSFOCUS（奇安信）
本文提出一种基于软对比损失的迁移学习方法，通过提取真实图像的自然痕迹特征来检测伪造图像，在泛化未知伪造技术和鲁棒性方面表现优异，具有实际应用价值。
2025-03-03 cs.CR cs.CV
Lipschitz Generative Adversarial Nets
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；Stanford University（斯坦福大学）
在本文中，我们从最佳判别函数的梯度信息量的角度研究了生成对抗网络（GANs）的收敛性。我们表明，GANs在判别函数空间上没有限制，通常会遇到这样的问题，即由卷积产生的梯度没有信息来指导生成器。相比之下，Wasserstein GAN（WGAN），其中判别函数被限制为1-Lipschitz，不遭受这样的梯度无信息性问题。我们在论文中进一步表明，具有紧致对偶形式的Wasserstein距离的模型，其中Lipschitz条件被放松，理论上也可能受到这个问题的影响。这暗示了Lipschitz条件的重要性，并促使我们研究具有Lipschitz约束的GANs的一般公式，这导致了一个新的GANs家族，我们称之为Lipschitz GANs（LGANs）。我们证明了LGANs保证了最优判别函数的存在性和唯一性以及唯一的纳什均衡的存在性。我们证明了LGAN通常能够消除梯度不信息性问题。根据我们的实证分析，与WGAN相比，LGAN更稳定，并且始终生成更高质量的样本。
2019-06-24 cs.CV cs.LG stat.ML
Causality-based Dual-Contrastive Learning Framework for Domain Generalization
领域泛化（DG）本质上是分布外泛化的一个子分支，它从多个源域训练模型并泛化到看不见的目标域。近年来，出现了一些领域泛化算法，但大多数算法都是采用不可转移的复杂体系结构设计的。此外，对比学习已经成为一个有前途的解决方案，在DG的简单性和效率。然而，现有的对比学习忽略了域的变化，造成严重的模型混乱。在本文中，我们提出了一个双重对比学习（DCL）模块的特征和原型的对比。此外，我们设计了一个新的因果融合注意力（CFA）模块，融合不同的意见，一个单一的图像，以获得原型。此外，我们引入了一个基于相似性的硬对挖掘（SHM）策略，利用多样性变化的信息。大量的实验表明，我们的方法优于国家的最先进的算法在三个DG数据集。所提出的算法也可以作为一个即插即用的模块，而不使用域标签。
2023-03-22 cs.CV
Dual Contrastive Learning for General Face Forgery Detection
Xiamen University（厦门大学）；Tencent（腾讯）
随着各种人脸操作技术的出现，基于安全考虑的人脸伪造检测技术受到了越来越多的关注。以往的人脸伪造检测都是基于交叉熵损失的分类问题，它强调的是类别级的差异，而不是真实人脸和虚假人脸之间的本质差异，限制了模型在未知领域的推广。为了解决这个问题，我们提出了一种新的人脸伪造检测框架，命名为双对比学习（DCL），专门构造正负配对数据，并执行设计的对比学习在不同的粒度学习广义特征表示。具体而言，结合硬样本选择策略，提出了实例间对比学习（Inter-ICL）方法，通过构造实例对来促进任务相关判别特征的学习。此外，为了进一步探索本质上的差异，引入了实例内对比学习（Intra-ICL），通过在实例内构建局部区域对来关注伪造人脸中普遍存在的局部内容不一致性。在几个数据集上进行的大量实验和可视化显示了我们的方法对最先进的竞争对手的泛化能力。
2021-12-27 cs.CV
Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation
Yonsei University（延世大学）；Korea Aerospace University（韩国航空大学）
我们解决的问题，Few-Shot语义分割（FSS），其目的是分割新的类对象的目标图像与一些注释的样本。虽然最近的进展已经通过结合基于原型的度量学习，现有的方法仍然表现出有限的性能下极端的类内对象的变化和语义相似的类间对象，由于其穷人的功能表示。为了解决这个问题，我们提出了一个双原型对比学习的方法，适合于FSS的任务，有效地捕捉代表性的语义特征。其主要思想是通过在原型特征空间中增加类间距离同时减少类内距离来鼓励原型更具区分力。为此，我们首先提出了一个类特定的对比损失与动态原型字典，存储类感知的原型在训练过程中，从而使相同的类原型相似，不同的类原型是不相似的。此外，我们引入了一个类不可知的对比损失，以提高泛化能力，看不见的类，压缩每个情节内的语义类的特征分布。我们证明了所提出的双原型对比学习方法在PASCAL-5i和COCO-20 i数据集上的性能优于最先进的FSS方法。该代码可从以下网址获得：https://github.com/kwonjunn01/DPCL1。
2021-11-09 cs.CV
Dcl-Net: Dual Contrastive Learning Network for Semi-Supervised Multi-Organ Segmentation
College of Computer Science, Sichuan University（四川大学计算机学院）；Southwest China Institute of Electronic Technology（西南电子技术研究所）；College of Computer Science, Chengdu University of Information Technology（成都信息工程大学计算机学院）
针对半监督多器官分割中图像与类别关系利用不足的问题，提出两阶段Dcl-Net，通过全局与器官感知局部对比学习及掩码中心压缩提升分割性能。
2024-03-06 cs.CV
Dog nose print matching with dual global descriptor based on Contrastive Learning
Yunnan University（云南大学）；ShanghaiTech University（上海科技大学）；Zhejiang A&F University（浙江农林大学）
最近在基于生物识别的识别任务中的研究表明，深度学习方法可以实现更好的性能。这些方法一般提取全局特征作为描述符来表示原始图像。尽管如此，它在细粒度任务下的生物识别方面表现不佳。其主要原因是单一的图像描述符所包含的信息不足以表示图像。本文提出了一种双全局描述子模型，该模型结合多个全局描述子来开发多层次的图像特征。此外，我们利用对比损失扩大混淆类的图像表示之间的距离。该框架在CVPR2022生物识别研讨会宠物生物识别挑战赛上获得了前2名。源代码和经过训练的模型可在以下网址公开获取：https://github.com/flyingsheepbin/pet-biometrics
2022-06-01 cs.CV
Multi-view Feature Extraction based on Dual Contrastive Head
China Agricultural University（中国农业大学）
多视图特征提取是解决高维多视图数据维数问题的有效方法。对比学习是一种流行的自监督学习方法，近年来引起了广泛的关注。大多数基于CL的方法仅从样本水平构建。本文提出了一种新的基于双对比度头的多视角特征提取方法。结构级CL使潜在子空间结构在任意两个交叉视图中保持一致，从而有助于样本级CL更有效地提取区分性特征。进一步证明了结构级CL与互信息、概率内散射和概率间散射之间的关系，为该算法的优良性能提供了理论支持。最后，在六个真实数据集上的数值实验表明，该方法与现有方法相比具有更好的性能.
2023-02-08 cs.CV cs.LG
Dual Contrastive Network for Few-Shot Remote Sensing Image Scene Classification
School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院）；CETC Key Laboratory of Aerospace Information Applications（中国电子科技集团公司第五研究院航空航天信息应用重点实验室）
本文提出双对比网络DCN，通过上下文引导和细节引导的对比学习分支提升遥感图像少样本分类性能，实验表明其在四个公开数据集上表现优异。
2026-03-24 cs.CV
ContraNeRF: 3D-Aware Generative Model via Contrastive Learning with Unsupervised Implicit Pose Embedding
Seoul National University（首尔国立大学）；Kakao Brain
提出基于隐式姿态嵌入对比学习的3D感知GAN优化方法ContraNeRF，去除对真实相机姿态的依赖，有效捕捉复杂3D场景结构，在不一致标准相机姿态的数据集上大幅优于现有方法。
2023-07-03 cs.CV
Confidence-driven Gradient Modulation for Multimodal Human Activity Recognition: A Dynamic Contrastive Dual-Path Learning Approach
针对多模态人类活动识别中的跨模态特征对齐困难和模态贡献不平衡问题，提出动态对比双路径网络（DCDP-HAR）框架，通过双路径特征提取、多阶段对比学习和置信度驱动梯度调制，提升识别性能。
2025-08-26 cs.CV
Contrastive Pretraining with Dual Visual Encoders for Gloss-Free Sign Language Translation
CVSSP, University of Surrey（CVSSP，英国萨里大学）
提出一种基于双视觉编码器对比预训练的两阶段框架，通过融合互补视觉特征实现无 gloss 手语翻译，在 Phoenix-2014T 基准上取得了最高 BLEU-4 分数。
2025-07-14 cs.CV
Incomplete Multi-view Multi-label Classification via a Dual-level Contrastive Learning Framework
School of Big Data and Information Engineering（大数据与信息工程学院）；Guizhou University（贵州大学）
本文针对视图和标签双重缺失的多视图多标签分类问题，提出一种双层对比学习框架，通过双通道解耦模块分离一致性与视图特定信息，并在特征和标签层面施加对比学习约束，在多个基准数据集上取得更稳定优越的分类性能。
2025-11-09 cs.CV
Semi-Supervised Dual-Threshold Contrastive Learning for Ultrasound Image Classification and Segmentation
College of Computer Science and Software Engineering, Shenzhen University, Shenzhen, China（深圳大学计算机科学与软件工程学院）；Department of Thyroid and Breast Surgery, Affiliated Hospital Group of Guangdong Medical University Shenzhen Baoan Central Hospital, Shenzhen, China（广东医科大学深圳宝安中心医院甲状腺乳腺外科）
提出半监督双阈值对比学习策略Hermes，结合任务间注意力与一致性学习，解决超声图像分类与分割中的伪标签过拟合及任务关联问题，并在多个数据集上取得最优性能。
2025-08-04 cs.CV
Detail-recovery Image Deraining via Dual Sample-augmented Contrastive Learning
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Nanyang Technological University（南洋理工大学）；The Hong Kong Polytechnic University（香港理工大学）；Ryerson University（瑞尔森大学）；Hefei University of Technology（合肥工业大学）
雨图像内容的复杂性往往导致尖端的deraining模型图像退化，包括残留的雨，错误删除的细节，扭曲的外观。当将在合成数据上训练的模型应用于真实世界的下雨图像时，这种退化进一步加剧。我们观察到两种类型的域之间的差距合成和现实世界的下雨图像：一个存在于雨条纹图案，另一个是像素级外观的无雨图像。为了弥合这两个领域的差距，我们提出了一个半监督的细节恢复图像去盲网络（半DRDNet）与双样本增强对比学习。Semi-DRDNet由三个子网络组成：（1）为了去除雨痕，提出了一个基于挤压激励的雨痕残差网络;（2）为了鼓励丢失的细节回归，提出了一个基于结构细节上下文聚合的细节修复网络，据我们所知，这是第一次;以及iii）为了为雨条纹和干净背景两者建立有效的对比约束，我们采用了一种新的双样本增强对比正则化网络，Semi-DRDNet在模拟和真实降雨数据上都能顺利运行，具有良好的鲁棒性和细节精度。包括我们建立的Real 200在内的四个数据集的比较显示，Semi-DRDNet比十五种最先进的方法有明显的改进。代码和数据集可在https://github.com/syy-whu/DRD-Net上获得。
2023-02-14 cs.CV
Dual Cluster Contrastive learning for Object Re-Identification
双簇对比学习框架DCC通过结合个体和聚类中心更新机制，提升目标重识别的性能。
2025-12-11 cs.CV
DWCL: Dual-Weighted Contrastive Learning for Multi-View Clustering
Beijing Institute of Technology（北京理工大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；La Trobe University（拉筹伯大学）
提出DWCL模型，通过B-O对比机制和双加权策略减少不可靠跨视图并缓解表示退化，在八个多视图数据集上优于现有方法。
2025-01-23 cs.CV cs.LG
DuoCLR: Dual-Surrogate Contrastive Learning for Skeleton-based Human Action Segmentation
University of Ottawa（渥太华大学）
本文提出DuoCLR框架，通过Shuffle and Warp增强策略和双代理任务（CPC与ROR）进行对比预训练，学习多尺度骨架特征，显著提升多类别和多标签动作分割性能。
2025-09-05 cs.CV
