Aligning Generative Denoising with Discriminative Objectives Unleashes Diffusion for Visual Perception
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对生成式扩散模型用于判别式任务时的中间误差问题,本文分析并增强了生成去噪过程与感知任务的对齐,提出定制学习目标和扩散定制数据增强,在深度估计等任务上实现了SOTA性能。
2025-04-15 cs.CV
Can Generative Geospatial Diffusion Models Excel as Discriminative Geospatial Foundation Models?
KU Leuven(鲁汶大学);KTH(皇家理工学院);European Space Agency(欧洲航天局);Shanghai AI Lab(上海人工智能实验室);SJTU(上海交通大学)
研究提出SatDiFuser框架,将基于扩散的生成式地理空间基础模型转化为判别式遥感预训练工具,通过三种融合策略利用多阶段扩散特征,在分割和分类任务上超越现有GFMs。
2025-09-12 cs.CV
Gait Recognition via Collaborating Discriminative and Generative Diffusion Models
School of EIC, Huazhong University of Science & Technology(电子信息学院,华中科技大学)
本文提出CoD$^2$框架,通过多层级条件控制融合判别式语义与扩散生成能力,在四个步态数据集上取得最优性能并可与现有方法无缝集成。
2025-11-09 cs.CV
How to Fool Radiologists with Generative Adversarial Networks? A Visual Turing Test for Lung Cancer Diagnosis
University of Central Florida(中佛罗里达大学);Florida Hospital(佛罗里达医院)
区分肺结节是恶性还是良性仍然是一个潜在的挑战。为了应对这一挑战,放射科医生需要计算机辅助诊断(CAD)系统,其可以帮助学习对应于恶性和良性结节的区别性成像特征。然而,学习高度区分的成像特征是一个开放的问题。在本文中,我们的目标是通过使用对抗学习方法来学习与肺结节有关的最具鉴别力的特征。具体来说,我们建议使用深度卷积-生成对抗网络(DC-GAN)的无监督学习来真实地生成肺结节样本。我们假设肺结节的影像学特征将是有区别的,如果它是很难区分他们(假)从真正的(真)结节。为了验证这一假设,我们提出了视觉图灵测试,以两个放射科医生,以评估所产生的(假)结节的质量。在辨别真实的、生成的、良性的和恶性的结节方面进行了广泛的比较。该实验设置使我们能够验证生成的结节的整体质量,然后可以用于(1)通过挖掘高度区分的成像特征来改善诊断决策,(2)出于教育目的训练放射科医生,以及(3)生成逼真的样本以使用大数据训练深度网络。
2018-01-09 cs.AI cs.CV cs.LG
SelfEval: Leveraging the discriminative nature of generative models for evaluation
Meta;GenAI(生成式人工智能部门)
提出SelfEval方法,利用生成模型自身计算真实图像给定文本提示的似然以评估文本-图像生成扩散模型的文本对齐性,在多任务上与人类评估高度一致,且无需外部模型,还展现出与判别模型相当的识别性能。
2024-11-27 cs.CV cs.LG
Bridging Generative and Discriminative Models for Unified Visual Perception with Diffusion Priors
Xidian University(西安电子科技大学);Chongqing University of Posts and Telecommunications(重庆邮电大学)
本研究提出Vermouth统一视觉感知框架,结合预训练Stable Diffusion的生成先验与判别先验,无需复杂解码器即可在零样本草图检索、少样本分类等多粒度感知任务上取得优异效果。
2024-01-29 cs.CV
CDGAN: Cyclic Discriminative Generative Adversarial Networks for Image-to-Image Transformation
Indian Institute of Information Technology, Sri City(印度信息技术学院斯里城校区);Indian Institute of Information Technology, Allahabad(印度信息技术学院阿拉哈巴德校区)
生成对抗网络(GANs)为解决图像到图像转换问题提供了一个新的方向。不同的GANs使用目标函数中具有不同损耗的生成器和卷积网络。在生成图像的质量和接近地面实况图像方面仍然存在差距。在这项工作中,我们介绍了一种新的图像到图像变换网络,称为循环判别生成对抗网络(CDGAN),填补了上述空白。建议的CDGAN生成高质量和更逼真的图像,通过将额外的循环图像,除了原来的架构的CycleGAN的网络。在三个图像到图像转换数据集上测试了所提出的CDGAN。定量和定性的结果进行了分析,并与国家的最先进的方法进行比较。在三个基线图像到图像变换数据集上进行比较时,所提出的CDGAN方法优于最先进的方法。该代码可在https://github.com/KishanKancharagunta/CDGAN上获得。
2021-11-27 cs.CV cs.LG eess.IV
Towards the Unification of Generative and Discriminative Visual Foundation Model: A Survey
University of California Los Angeles(加利福尼亚大学洛杉矶分校);Rice University(莱斯大学);Carnegie Mellon University(卡内基梅隆大学);University of Michigan(密歇根大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Walmart Global Tech(沃尔玛全球技术公司);Santa Clara University(圣克拉拉大学);Shanghai AI Laboratory(上海人工智能实验室);Johns Hopkins University(约翰斯·霍普金斯大学)
本综述梳理视觉基础模型在生成式、判别式任务的发展脉络与核心方法,整理相关资源与挑战,指出两类范式融合是未来创新方向,为领域研究者提供参考。
2023-12-15 cs.CV cs.LG
Generative adversarial networks and adversarial methods in biomedical image analysis
Image Sciences Institute, University Medical Center Utrecht(乌得勒支大学医学中心影像科学研究所);Imperial College London(帝国理工学院);Imagen Technologies(Imagen科技公司)
生成对抗网络(GANs)和其他对抗方法基于博弈论的观点,将两个神经网络作为游戏中的参与者进行联合优化。对抗技术已被广泛用于合成和分析生物医学图像。我们介绍了GANs和对抗方法,概述了受益于这些方法的生物医学图像分析任务。最后,我们讨论了对抗方法在生物医学图像分析中的优势和局限性,并提出了未来潜在的研究方向。
2018-10-24 cs.CV
SSGAN: Secure Steganography Based on Generative Adversarial Networks
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出了一种基于生成对抗网络的安全隐写策略,用于生成合适的、安全的隐写覆盖。所提出的架构有一个生成网络,和两个判别网络。生成式网络主要评估生成图像的视觉质量以用于隐写,而鉴别式网络则用于评估其是否适合信息隐藏。与采用深度卷积生成对抗网络的现有工作不同,我们利用另一种形式的生成对抗网络。通过使用这种新形式的生成对抗网络,在收敛速度、训练稳定性和图像质量方面都有了显著的改善。此外,一个复杂的隐写分析网络的鉴别网络,该网络可以更好地评估所生成的图像的性能。在公开数据集上进行了大量实验,以证明所提出的方法的有效性和鲁棒性。
2018-11-24 cs.CV cs.MM
Bridging Generative and Discriminative Noisy-Label Learning via Direction-Agnostic EM Formulation
Cornell Tech(康奈尔科技);Cornell University(康奈尔大学);Department of Radiology, Stanford University(斯坦福大学放射科);Oxford University(牛津大学);Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey(视觉、语音和信号处理中心(CVSSP)、塞维利亚大学)
本文提出一种方向无关的单阶段EM框架用于生成式噪声标签学习,通过判别式代理替代图像生成并引入部分标签监督,在视觉和NLP基准上以更低计算成本达到最先进准确率。
2026-09-29 cs.CV cs.LG
Perceptual Adversarial Networks for Image-to-Image Transformation
University of Technology Sydney(悉尼科技大学);University of Sydney(悉尼大学);Université Paris-Est(巴黎东部大学)
在本文中,我们提出了一个原则性的感知对抗网络(PAN)的图像到图像的转换任务。与现有的特定于应用的算法不同,PAN提供了一个学习配对图像之间映射关系的通用框架(图1),例如将下雨图像映射到其去雨对应物,将对象边缘映射到其照片,将语义标签映射到场景图像等。通过结合生成对抗损失和提出的感知对抗损失,这两个网络可以交替训练来解决图像到图像的转换任务。其中,鉴别网络D的隐藏层和输出被升级,以连续且自动地发现变换图像与对应的地面实况之间的差异。同时,训练图像变换网络T以最小化由判别网络D探索的差异。通过对抗训练过程,图像变换网络T将不断缩小变换图像与地面实况图像之间的差距。在几个图像到图像转换任务上评估的实验(例如,图像去雨、图像修补等)结果表明,提出的PAN优于许多相关的国家的最先进的方法。
2019-04-03 cs.CV
Intriguing properties of generative classifiers
Google DeepMind(谷歌DeepMind)
本研究将文本到图像模型转化为分类器,发现生成式分类器在形状偏置、分布外准确率、与人类分类错误对齐及理解知觉错觉方面展现出惊人逼近人类识别数据的能力。
2024-02-14 cs.AI cs.CV cs.LG
Generative Adversarial Networks with Conditional Neural Movement Primitives for An Interactive Generative Drawing Tool
Bogazici University(博阿齐奇大学)
素描是视觉感知和视觉空间建构的抽象表现。在这项工作中,我们提出了一个新的框架,生成对抗网络与条件神经运动原语(GAN-CNMP),它结合了一种新的对抗损失CNMP,以提高草图的平滑性和一致性。通过实验,我们证明了该模型可以用较少的未标记样本进行训练,可以在潜在空间中自动构造分布,并且在形状一致性和平滑性方面比基本模型产生更好的结果。
2021-12-21 cs.AI cs.CV cs.GR
Lung image segmentation by generative adversarial networks
School of Applied Mathematics, Xiamen University of Technology(厦门理工学院应用数学学院)
肺部图像分割在肺部疾病的计算机辅助诊断和治疗中起着重要的作用。提出了一种基于生成对抗网络的肺部图像分割方法。我们采用了各种生成对抗网络,并利用其图像翻译能力来执行图像分割。采用生成对抗网络将原始肺部图像转换为分割图像。基于生成对抗网络的分割方法在真实肺部图像数据集上进行了测试。实验结果表明,该方法是有效的,优于最先进的方法。
2019-07-30 cs.CV eess.IV
CM-GANs: Cross-modal Generative Adversarial Networks for Common Representation Learning
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所)
众所周知,不同模态(如图像和文本)的不一致分布和表示导致异质性差距,这使得将此类异质数据关联起来具有挑战性。生成对抗网络(GANs)具有很强的数据分布建模能力和区分性表示学习能力,现有的基于GANs的工作主要集中在生成问题上,以生成新的数据。我们有不同的目标,旨在通过利用GANs建模跨模态联合分布的能力来关联异构数据。因此,我们提出了跨模态GANs来学习区别性的共同表示,以弥合异质性差距。本文的主要贡献包括:(1)提出了跨模态GANs结构,用于建模不同模态数据的联合分布。生成模型和判别模型可以同时研究通道间和通道内的相关性。两种方法相互作用,促进了跨模态相关学习。(2)提出了一种带权值共享约束的交叉模态卷积自编码器,用于生成模型。它们不仅可以利用跨模态相关性来学习共同的表示,而且还可以保留重构信息以捕获每个模态内的语义一致性。(3)提出了跨通道对抗机制,该机制利用两种识别模型同时进行通道内和通道间的识别。它们可以相互促进,通过对抗训练过程使共同表示更具区分力。据我们所知,我们提出的CM-GANs方法是第一个利用GANs来执行跨模态公共表示学习的方法。在跨模态检索范例上进行了实验,并在3个跨模态数据集上与10种方法进行了比较。
2018-04-26 cs.CV cs.LG cs.MM
Time Efficient Training of Progressive Generative Adversarial Network using Depthwise Separable Convolution and Super Resolution Generative Adversarial Network
生成对抗网络已成功用于生成大小为1024 ^2的高分辨率增强图像。虽然生成的增强图像是前所未有的,但模型的训练时间异常长。传统的GAN需要训练鉴别器和生成器。渐进式GAN是当前用于图像增强的最先进的GAN,而不是一次训练GAN,提出了同时渐进增长鉴别器和生成器的新概念。虽然较低的阶段,如4x4和8x8训练相当快,后期阶段消耗大量的时间,可能需要几天才能完成模型训练。在我们的论文中,我们提出了一种新的流水线,结合渐进式GAN略有修改和超分辨率GAN。超分辨率GAN将低分辨率图像采样为高分辨率图像,这可以证明是一种有用的资源,可以指数级地减少训练时间。
2022-02-24 cs.CV eess.IV
Lipschitz Generative Adversarial Nets
Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学);Stanford University(斯坦福大学)
在本文中,我们从最佳判别函数的梯度信息量的角度研究了生成对抗网络(GANs)的收敛性。我们表明,GANs在判别函数空间上没有限制,通常会遇到这样的问题,即由卷积产生的梯度没有信息来指导生成器。相比之下,Wasserstein GAN(WGAN),其中判别函数被限制为1-Lipschitz,不遭受这样的梯度无信息性问题。我们在论文中进一步表明,具有紧致对偶形式的Wasserstein距离的模型,其中Lipschitz条件被放松,理论上也可能受到这个问题的影响。这暗示了Lipschitz条件的重要性,并促使我们研究具有Lipschitz约束的GANs的一般公式,这导致了一个新的GANs家族,我们称之为Lipschitz GANs(LGANs)。我们证明了LGANs保证了最优判别函数的存在性和唯一性以及唯一的纳什均衡的存在性。我们证明了LGAN通常能够消除梯度不信息性问题。根据我们的实证分析,与WGAN相比,LGAN更稳定,并且始终生成更高质量的样本。
2019-06-24 cs.CV cs.LG stat.ML
Generative Adversarial Networks for Automatic Polyp Segmentation
University of Oslo(奥斯陆大学)
本文旨在使用生成对抗网络框架对自动息肉分割问题进行基准测试。将问题视为图像到图像的翻译任务,利用条件生成对抗网络来生成由图像作为输入的条件掩码。生成器和卷积神经网络都是基于卷积神经网络的。模型的Jaccard指数为0.4382,F2得分为0.611。
2020-12-12 cs.CV cs.LG eess.IV
Not Too Generative, Not Too Discriminative: The Human Alignment Sweet Spot
ANITI;Brown University(布朗大学);CNRS(国家科学研究中心)
通过联合能量模型(JEM)在固定架构中连续插值判别与生成训练,发现人类视觉对齐在生成-判别连续体的中间点达到最优,表明平衡两种目标比选择其一更关键。
2026-05-22 cs.AI cs.CV
Adversarial Discriminative Domain Adaptation
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);Boston University(波士顿大学)
对抗性学习方法是训练强大深度网络的一种很有前途的方法,并且可以在不同领域生成复杂的样本。尽管存在域偏移或数据集偏差,它们也可以提高识别率:最近引入了几种对抗无监督领域自适应的方法,它们减少了训练和测试域分布之间的差异,从而提高了泛化性能。先前的生成方法显示出令人信服的可视化,但在区分性任务上不是最佳的,并且可以限于较小的变化。先前的判别方法可以处理更大的域偏移,但对模型施加了绑定权重,并且没有利用基于GAN的损失。我们首先概述了一个新的广义框架对抗适应,其中包括最近的国家的最先进的方法作为特殊情况下,我们使用这种广义的观点,以更好地与以前的方法。我们提出了一个以前未探索的实例,我们的一般框架,结合了歧视性建模,untied权重共享,和GAN的损失,我们称之为对抗歧视性领域自适应(ADDA)。我们证明了ADDA比竞争领域对抗方法更有效,但也更简单,并通过在标准跨领域数字分类任务和新的更困难的跨模态对象分类任务上超过最先进的无监督自适应结果来证明我们的方法的前景。
2017-02-17 cs.CV
Distilling Generative-Discriminative Representations for Very Low-Resolution Face Recognition
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本文提出生成-判别表示蒸馏方法,通过扩散模型编码器和人脸识别器分别蒸馏学生骨干与头部网络,将通用表示转化为判别表示,从而提升极低分辨率人脸识别准确率。
2024-09-10 cs.AI cs.CV cs.MM
Adversarial Robustness of Discriminative Self-Supervised Learning in Vision
Department of Computer Engineering, Koç University(计算机工程系,科克大学)
本研究评估了七个判别式自监督模型与一个监督模型在多种视觉任务上的对抗鲁棒性,发现自监督模型在ImageNet分类和线性迁移学习中更具鲁棒性,但微调后差距缩小,分割检测中优势减弱。
2025-09-24 cs.CV
Towards Robust Fine-grained Recognition by Maximal Separation of Discriminative Features
EPFL(洛桑联邦理工学院)
对抗攻击已被广泛研究的一般分类任务,但仍未探索的细粒度识别的上下文中,类间的相似性促进攻击者的任务。在本文中,我们将细粒度识别网络中不同类别的潜在表示的接近度确定为对抗攻击成功的关键因素。因此,我们引入了一种基于注意力的正则化机制,该机制最大限度地分离不同类别的区别性潜在特征,同时最大限度地减少非区别性区域对最终类别预测的贡献。正如我们的实验所证明的那样,这使我们能够显着提高对对抗攻击的鲁棒性,达到匹配甚至超过对抗训练的程度,但不需要访问对抗样本。
2020-06-10 cs.CV
Towards Intrinsic Common Discriminative Features Learning for Face Forgery Detection using Adversarial Learning
University of Science and Technology of China(中国科学技术大学)
现有的人脸伪造检测方法通常将人脸伪造检测视为二值分类问题,并采用深度卷积神经网络来学习鉴别特征。理想的鉴别特征应该只与人脸图像的真假标签相关。然而,我们观察到香草分类网络学习的特征与不必要的属性相关,例如伪造方法和面部身份。这种现象将限制伪造检测性能,特别是对于泛化能力。受此启发,我们提出了一种新的方法,该方法利用对抗学习来消除不同伪造方法和面部身份的负面影响,这有助于分类网络学习用于面部伪造检测的内在共同鉴别特征。为了利用缺乏真实人脸标签的数据,我们设计了一个特殊的身份识别器,基于来自现成的人脸识别模型的相似性信息。在对抗性学习的帮助下,我们的人脸伪造检测模型通过消除伪造方法和面部身份的影响来学习提取常见的鉴别特征。大量的实验证明了该方法在数据集内和跨数据集评估设置下的有效性。
2022-07-08 cs.CV
Adversarial Discriminative Heterogeneous Face Recognition
National Laboratory of Pattern Recognition, CASIA(模式识别国家重点实验室,中国科学院自动化研究所);Center for Research on Intelligent Perception and Computing, CASIA(智能感知与计算研究中心,中国科学院自动化研究所);Center for Excellence in Brain Science and Intelligence Technology, CAS(脑科学与智能技术卓越创新中心,中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
在异构人脸识别(HFR)中,不同人脸模态的感知模式之间的差距仍然是一个具有挑战性的问题。本文提出了一个对抗性的区别性特征学习框架,通过在原始像素空间和紧凑特征空间上的对抗性学习来缩小感知差距。该框架将跨光谱人脸幻觉和判别特征学习集成到端到端对抗网络中。在像素空间中,我们利用生成对抗网络来执行跨光谱人脸超分辨率。引入了一种精细的双路径模型来缓解图像配对不足的问题,该模型兼顾了全局结构和局部纹理。在特征空间中,分别采用对抗损失和高阶方差差异损失来度量两个异质分布之间的全局差异和局部差异。这两个损失增强了域不变特征学习和模态独立噪声去除。在三个NIR-VIS数据库上的实验结果表明,该方法在不需要复杂网络或大规模训练数据集的情况下,性能优于现有的HFR方法。
2017-09-12 cs.CV
An In-Depth Analysis of Adversarial Discriminative Domain Adaptation for Digit Classification
Princeton University(普林斯顿大学)
本文复现并扩展 ADDA 数字分类实验,分析其在多种域偏移下的适应效果,证明其可显著提升部分跨域准确率且几乎不损害域内性能。
2025-01-07 cs.AI cs.CV cs.LG
Discriminative Domain-Invariant Adversarial Network for Deep Domain Generalization
Queensland University of Technology(昆士兰科技大学)
领域泛化方法旨在从具有不同分布的多个训练源域中学习未知目标域的领域不变预测模型。广泛的领域泛化是机器学习和计算机视觉领域的一个具有挑战性的热点问题,近年来已经做出了大量努力。大多数以前的领域泛化方法假设跨域的条件分布在源域上保持相同,并通过最小化边缘分布来学习域不变模型。然而,训练源域的稳定条件分布的假设在实践中并不真正成立。从源域学习的超平面很容易对分散在聚类边界或远离其相应类中心的样本进行错误分类。为了解决上述两个缺点,我们提出了一个判别域不变对抗网络(DDIAN)的领域泛化。通过区分性特征模块保证特征的区分性,通过全局域和局部子域对齐模块保证域不变特征。在几个基准测试上的大量实验表明,与最先进的领域泛化方法相比,DDIAN在训练过程中对看不见的目标数据实现了更好的预测。
2021-08-20 cs.AI cs.CV cs.LG
Discriminative-Generative Representation Learning for One-Class Anomaly Detection
Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院);Institute of Robotics and Intelligent Manufacturing, Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)机器人与智能制造研究院)
生成对抗网作为一种生成式自监督学习方法,在异常检测领域得到了广泛的研究。然而,生成器的表示学习能力有限,因为它过于关注像素级的细节,并且生成器很难从标签预测借口任务中学习抽象语义表示。为了提高生成器的表示学习能力,提出了一种结合生成方法和判别方法的自监督学习框架。生成器不再通过重构误差来学习表示,而是通过重构误差的指导来学习表示,并且可以从为判别方法设计的借口任务中受益。我们的判别生成表示学习方法具有接近判别方法的性能,并在速度上有很大的优势。我们在一类异常检测任务中使用的方法在多个基准数据集上的性能明显优于几种最先进的方法,在CIFAR-10上将基于GAN的最佳基线性能提高了6%,在MVSTAR上提高了2%。
2021-07-27 cs.CV
TACIT Benchmark: A Programmatic Visual Reasoning Benchmark for Generative and Discriminative Models
Independent Researcher(独立研究者)
TACIT基准提出一个程序化视觉推理测试,包含10个任务和6个领域,通过生成和判别双轨评估模型在空间导航、抽象模式完成等任务中的推理能力。
2026-02-27 cs.AI cs.CV
Deep Intrinsic Decomposition with Adversarial Learning for Hyperspectral Image Classification
Defense Innovation Institute, Chinese Academy of Military Sciences(军事科学院国防科技创新研究院);Information Research Center of Military Science, Chinese Academy of Military Sciences(军事科学院军事科学信息研究中心)
针对环境因素影响高光谱图像分类特征判别性的问题,本文提出基于对抗学习的深度本征分解方法 AdverDecom,通过分离环境相关特征与类别相关特征并联合优化,在三个真实数据集上取得优越性能。
2023-10-28 cs.AI cs.CV
On Discriminative vs. Generative classifiers: Rethinking MLLMs for Action Understanding
National University of Singapore(国立新加坡大学)
本文提出GAD分类器,通过生成辅助判别方法提升封闭集动作理解的准确性和效率,达到SOTA效果。
2026-03-03 cs.CV
Semi-Supervised Adversarial Discriminative Domain Adaptation
University of Science, Ho Chi Minh City(胡志明市科学大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学);University of Liverpool(利物浦大学);University of Information Technology(信息技术大学)
领域自适应是训练强大的深度神经网络的一种潜在方法,它可以处理没有标记数据的情况。更准确地说,领域自适应解决了当训练数据集和测试数据集非常不同时被称为数据集偏差或域偏移的限制。对抗性自适应方法在其他领域自适应方法中越来越流行。对抗性领域自适应基于GAN的思想,试图根据对抗对象的不同,使训练数据集和测试数据集之间的分布最小化。然而,一些传统的对抗性领域自适应方法不能处理两个数据集之间的大的域移位,或者这些方法的泛化能力是低效的。本文提出了一种改进的对抗性领域自适应方法--半监督对抗性判别领域自适应(SADDA),它可以克服其他领域自适应方法的局限性。我们还表明,SADDA具有更好的性能比其他对抗性的适应方法,并说明我们的方法在数字分类和情感识别问题的承诺。
2022-10-19 cs.CV cs.LG
Deep Decision Trees for Discriminative Dictionary Learning with Adversarial Multi-Agent Trajectories
Queensland University of Technology (QUT)(昆士兰科技大学)
随着现代体育运动中时空跟踪数据可用性的爆炸式增长,在对抗性群体环境中更好地分析、学习和预测重要事件有着巨大的机会。在本文中,我们提出了一个深度决策树架构,用于从对抗性多智能体轨迹中进行判别字典学习。我们首先建立了一个层次结构的树结构,通过添加每一层,并执行特征权重为基础的聚类在向前通过。然后,我们使用反向传播来微调玩家角色权重。层次结构保证了群表示的可解释性和完整性。由此产生的架构是一个决策树,与叶节点捕获的多代理组交互的字典。由于有大量的数据可用,我们专注于足球跟踪数据,尽管我们的方法可以用于任何对抗性多智能体领域。我们提出的方法模拟足球比赛以及评估和量化团队策略的应用。
2018-05-14 cs.CV
Hybrid Generative-Discriminative Object Placement
Shanghai Jiao Tong University(上海交通大学)
针对现有物体放置方法难以平衡效率与效果的问题,提出一种半生成式方法,通过在背景分配均匀锚点并融合特征预测得分与放置集合,在OPA数据集上实现了效率与效果的良好平衡。
2026-08-25 cs.CV
CD-UAP: Class Discriminative Universal Adversarial Perturbation
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
一个单一的通用对抗扰动(UAP)可以添加到所有自然图像中,以改变它们的大部分预测类别标签。攻击者灵活地控制要攻击的目标类具有很高的实际意义,然而现有的UAP方法从所有类进行攻击。在这项工作中,我们提出了一种新的通用攻击方法,以生成一个单一的扰动,欺骗目标网络,使其只对选定的一组类进行错误分类,而对其余类的影响有限。由于所提出的攻击产生了一个通用的对抗扰动,是有区别的目标和非目标类,我们称之为类歧视通用对抗扰动(CD-UAP)。我们提出了一个简单而有效的算法框架,在此框架下,我们设计和比较各种损失函数配置适合于类判别通用攻击。所提出的方法进行了评估,在各种基准数据集上进行了广泛的实验。此外,我们提出的方法实现了国家的最先进的性能为原来的任务UAP攻击所有类,这表明我们的方法的有效性。
2020-10-07 cs.CR cs.CV cs.LG
Distance Based Image Classification: A solution to generative classification's conundrum?
Singapore Management University(新加坡管理大学);Institute for Infocomm Research(资讯通信研究院);Australia National University(澳大利亚国立大学)
大多数分类器依赖于区分性边界,将每个类的实例与其他所有实例分开。我们认为,歧视性的边界是反直觉的,因为他们定义的语义是什么,他们不是,应该被取代的生成分类定义的语义是什么,他们是。不幸的是,生成式分类器的准确性要低得多。这可能是由于生成模型倾向于关注易于建模的语义生成因素,而忽略了重要但难以建模的非语义因素。我们提出了一个新的生成模型,其中语义因素容纳壳理论的分层生成过程和非语义因素的实例特定的噪声项。我们使用该模型来开发一种分类方案,该方案在保留语义线索的同时抑制噪声的影响。结果是一个令人惊讶的准确生成分类器,它采用了修改的最近邻算法的形式;我们称之为距离分类。与判别分类器不同,距离分类器:通过它们是什么来定义语义;服从增量更新;并且随着类的数量而扩展。
2022-10-04 cs.AI cs.CV
Joint Discriminative and Generative Learning for Person Re-identification
NVIDIA Research(英伟达研究院);NVIDIA CAI(英伟达人工智能计算中心);University of Technology Sydney(悉尼科技大学);Australian National University(澳大利亚国立大学)
由于不同摄像机之间存在显著的类内差异,人员重新识别(re-id)仍然具有挑战性。最近,人们越来越关注使用生成模型来增加训练数据并增强对输入变化的不变性。然而,现有方法中的生成流水线与判别性re-id学习阶段保持相对分离。因此,re-id模型通常以直接的方式在生成的数据上进行训练。在本文中,我们试图通过更好地利用生成的数据来改进学习的re-id嵌入。为此,我们提出了一个联合学习框架,耦合re-id学习和数据生成端到端。我们的模型包括一个生成模块,分别编码成一个外观代码和一个结构代码,每个人和一个判别模块,共享的外观编码器与生成模块。通过切换外观或结构代码,生成模块能够生成高质量的交叉ID合成图像,这些图像被在线反馈到外观编码器并用于改进鉴别模块。拟议的联合学习框架在不使用生成的数据的情况下,在基线上有了显着的改进,从而在几个基准数据集上实现了最先进的性能。
2021-05-19 cs.CV
Masked Face Recognition with Generative-to-Discriminative Representations
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security at University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Cloud Music Inc.(网易云音乐);Department of Communication Engineering, Shanghai University(上海大学通信工程系)
提出统一深度网络,通过生成式编码器与判别式重构器学习遮挡鲁棒表征,结合关系知识蒸馏,有效提升掩蔽人脸识别性能。
2024-05-27 cs.AI cs.CV cs.LG
Generative and Discriminative Deep Belief Network Classifiers: Comparisons Under an Approximate Computing Framework
University of California, San Diego(加利福尼亚大学圣迭戈分校)
将深度学习硬件算法用于嵌入式应用的特点是存在挑战,例如设备功耗的限制、标记数据的可用性以及用于在云服务器上频繁训练的有限互联网带宽。为了实现低功耗实现,我们考虑针对嵌入式设备分类任务的深度学习算法(称为判别式深度信念网络(DDBN))的有效位宽减少和修剪。我们训练DDBN生成和歧视性目标下的近似计算框架和分析其功率在性能的监督和半监督的应用程序。我们还调查了DDBN的分布性能时,推理数据具有相同的类结构,但统计上不同的训练数据,由于动态实时操作环境。基于我们的分析,我们提供了新的见解和建议,选择训练目标,位宽值,和准确性的敏感性相对于标记的数据量,以实现DDBN推理与最低功耗的嵌入式硬件平台上的精度公差。
2021-01-31 cs.AI cs.CV cs.LG
A Hybrid Generative and Discriminative PointNet on Unordered Point Sets
Georgia State University(佐治亚州立大学)
本文提出GDPNet,首个将联合能量基模型(JEM)扩展至点云的混合生成与判别PointNet,在保持强大分类能力的同时生成高质量点云样本。
2024-04-19 cs.CV
Beyond the Deep Metric Learning: Enhance the Cross-Modal Matching with Adversarial Discriminative Domain Regularization
University of Central Florida(中佛罗里达大学);Facebook(脸书)
跨图像和文本模态匹配信息是涉及视觉和自然语言处理的许多应用的基本挑战。我们的目标是找到有效的相似性度量比较视觉和文本信息之间的相似性。现有的方法主要是利用注意力机制将局部视觉对象和句子单词在共享空间中进行匹配。匹配性能仍然是有限的,因为相似性计算是基于简单的比较匹配功能,忽略了他们的分布在数据中的特点。在本文中,我们解决了这个限制与一个有效的学习目标,认为视觉对象和句子单词之间的歧视性特征分布。具体来说,我们提出了一种新的对抗性判别域正则化(ADDR)学习框架,超越了范式度量学习目标,在每个图像-文本对中构建一组判别数据域。我们的方法通常可以提高学习效率和现有的度量学习框架的性能,通过调节匹配对之间的隐藏空间的分布。在MS-COCO和Flickr 30 K上的实验结果表明,该方法显著提高了几种流行的跨模态匹配技术(SCAN,VSRN,BFAN)的整体性能.
2020-10-27 cs.CV
Introspective Generative Modeling: Decide Discriminatively
UCSD(加州大学圣地亚哥分校)
我们通过开发内省生成建模(IGM)来研究无监督学习,IGM使用渐进学习的深度卷积神经网络来获得生成器。生成器本身是一个具有内省能力的学习器:能够自我评估其生成的样本与给定的训练数据之间的差异。当随后进行重复的判别学习时,现代判别分类器的期望属性直接由生成器继承。IGM使用分类合成算法学习CNN分类器的级联。在实验中,我们观察到令人鼓舞的结果,包括纹理建模,艺术风格转移,人脸建模,和半监督学习的应用。
2017-04-25 cs.CV cs.LG cs.NE
GEDI: GEnerative and DIscriminative Training for Self-Supervised Learning
KU Leuven(鲁汶大学)
自监督学习是利用大量未标记数据的一种流行而强大的方法,文献中已经提出了各种各样的训练目标。在这项研究中,我们进行了贝叶斯分析的国家的最先进的自监督学习目标,并提出了一个统一的制定基于似然学习。我们的分析提出了一种将自监督学习与生成模型相结合的简单方法,允许这两种看似不同的方法进行联合训练。我们将这种组合框架称为GEDI,它代表GEnerative和DIscriminative培训。此外,我们展示了一个实例的GEDI框架集成基于能量的模型与基于集群的自监督学习模型。通过对合成数据和真实数据(包括SVHN、CIFAR10和CIFAR100)的实验,我们表明GEDI在聚类性能方面远远优于现有的自监督学习策略。我们还证明了GEDI可以集成到一个神经符号框架中,以解决小数据制度中的任务,在那里它可以使用逻辑约束,以进一步提高聚类和分类性能。
2023-02-07 cs.AI cs.CV cs.LG
Discriminative Adversarial Domain Adaptation
South China University of Technology(华南理工大学)
无监督领域自适应的目标是在给定源域上的已标记实例和目标域上的未标记实例的情况下,学习一个能够很好地分类目标实例的任务分类器。最近的进展依赖于深度网络的领域对抗训练来学习领域不变特征。然而,由于任务和领域分类器的单独设计引起的模式坍塌的问题,这些方法在对齐跨领域的特征和类别的联合分布方面受到限制。为了克服这个问题,我们提出了一种新的对抗性学习方法,称为歧视性对抗领域自适应(DADA)。基于集成的类别和域分类器,DADA具有一个新的对抗性目标,该目标鼓励任何输入实例的类别和域预测之间的相互抑制关系。我们表明,在实际条件下,它定义了一个极大极小博弈,可以促进联合分布对齐。除了传统的闭集领域自适应,我们还扩展了DADA的部分和开集领域自适应的极具挑战性的问题设置。实验表明,我们提出的方法的有效性,我们实现了新的国家的最先进的基准数据集上的所有三个设置。
2019-12-17 cs.CV cs.LG
DiRA: Discriminative, Restorative, and Adversarial Learning for Self-supervised Medical Image Analysis
Arizona State University(亚利桑那州立大学);Mayo Clinic(梅奥诊所)
判别学习、恢复性学习和对抗性学习已经被证明对计算机视觉和医学成像中的自监督学习方案有益。然而,现有的努力忽略了它们在三元设置中彼此之间的协同效应,我们设想,这可以显着有利于深度语义表示学习。为了实现这一愿景,我们开发了DiRA,这是第一个以统一的方式将区分性,恢复性和对抗性学习结合起来的框架,可以从未标记的医学图像中协作收集互补的视觉信息,用于细粒度的语义表示学习。我们广泛的实验表明,DiRA(1)鼓励三种学习成分之间的协作学习,从而在器官,疾病和模态之间实现更普遍的表示;(2)优于完全监督的ImageNet模型,并提高了小数据体系的鲁棒性,降低了多个医学成像应用的注释成本;(3)学习细粒度的语义表示,仅通过图像级注释促进准确的病变定位;以及(4)增强最先进的修复方法,揭示DiRA是联合表示学习的一般机制。所有代码和预训练模型都可以在https://github.com/JLiangLab/DiRA上找到。
2022-04-21 cs.CV eess.IV
Deep Positive-Negative Prototypes for Adversarially Robust Discriminative Prototypical Learning
Computer Engineering Department, Ferdowsi University of Mashhad(法尔德大学马什哈德分校计算机工程系)
本文提出Adv-DPNP框架,将判别式原型学习与对抗训练结合,通过双分支训练和复合损失在提升干净准确率的同时保持对抗鲁棒性,并在多个基准上验证其有效性。
2025-08-18 cs.CV cs.LG
Learning Discriminators as Energy Networks in Adversarial Learning
University of Technology Sydney(悉尼科技大学);University of Iowa(爱荷华大学)
我们提出了一个通过对抗学习进行结构化预测的新框架。现有的对抗学习方法涉及两个独立的网络,即,结构化预测模型和判别模型。判别模型所捕获的信息是对结构化预测模型的补充,但目前很少有研究利用这些信息在推理阶段改进结构化预测模型。在这项工作中,我们建议通过有效地将判别模型集成到预测中来改进结构化预测模型的预测。判别模型被视为基于能量的模型。与对抗性学习类似,区分性模型被训练来估计衡量预测输出质量的分数,而结构化预测模型被训练来预测具有最大能量分数的对比输出。通过这种方式,梯度消失问题得到了改善,因此我们能够通过遵循判别模型的上升梯度方向来进行推理,以改进结构化预测模型。所提出的方法能够处理一系列任务,例如,多标签分类和图像分割。这两个任务的实验结果验证了我们的学习方法的有效性。
2018-10-02 cs.CR cs.CV cs.LG
Drop to Adapt: Learning Discriminative Features for Unsupervised Domain Adaptation
Seoul National Univ.(首尔大学);NAVER LABS;CODE42.ai
领域自适应的最新研究利用对抗训练从特征提取器和域自适应网络的联合学习中获得域不变特征表示。然而,域对抗方法呈现次优性能,因为它们试图在不考虑手头任务的情况下匹配域之间的分布。我们提出了Drop to Adapt(DTA),它利用对抗性dropout通过强制执行集群假设来学习强区分性特征。相应地,我们设计目标函数来支持鲁棒的领域自适应。我们证明了所提出的方法在各种实验中的有效性,并在图像分类和语义分割任务中实现了一致的改进。我们的源代码可以在https://github.com/postBG/DTA.pytorch上找到。
2019-10-12 cs.CV
Efficient Feature Transformations for Discriminative and Generative Continual Learning
Duke University(杜克大学);Facebook AI(脸书人工智能研究院);IIT Kanpur(坎普尔印度理工学院)
随着神经网络越来越多地应用于现实世界的应用,解决分布转移和顺序任务学习而不遗忘的机制至关重要。结合网络扩展的方法通过自然地增加用于学习新任务的模型容量,同时避免灾难性遗忘而显示出希望。然而,这些类型的方法中的许多方法的附加参数的数量的增长在较大规模上可能在计算上是昂贵的,有时是令人望而却步的。相反,我们提出了一个简单的特定于任务的持续学习,我们称之为有效的特征转换(EFT)的特征映射转换策略。这些EFT为学习新任务提供了强大的灵活性,只需向基础架构添加最少的参数即可实现。我们进一步提出了一个特征距离最大化策略,它显着提高了类增量设置中的任务预测,而不需要昂贵的生成模型。我们通过一组广泛的实验来证明我们的方法在区分性(CIFAR-100和ImageNet-1 K)和生成性(LSUN,CUB-200,Cats)任务序列中的有效性和效率。即使是低个位数的参数增长率,EFT也可以在广泛的设置中胜过许多其他持续学习方法。
2021-03-25 cs.AI cs.CV cs.LG
Discriminative Score Function: Turning Pretrained Models into Functional Generative Priors
Seoul National University(首尔大学)
该研究提出判别式评分函数(DSF),从预训练判别式模型的损失梯度几何提取生成场,可用于图像生成、编辑等任务,还能实现零样本量化校准,效果优于无数据基线。
2026-10-14 cs.CV cs.LG
A Hybrid of Generative and Discriminative Models Based on the Gaussian-coupled Softmax Layer
Osaka University(大阪大学);Institute for Datability Science(数据可行性科学研究所)
本文提出在单个神经网络中结合高斯耦合Softmax层,同时估计类后验与类条件分布,实现生成式与判别式模型的混合,并应用于半监督学习和置信度校准。
2023-05-10 cs.CV cs.LG
Adversarial Soft-detection-based Aggregation Network for Image Retrieval
Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所(CASIA))
近年来,基于卷积神经网络(CNN)激活的紧致表示在图像检索中取得了显著的效果。然而,检索一些感兴趣的对象,只占整个图像的一小部分仍然是一个具有挑战性的问题。因此,提取包含关键小目标区域信息的判别式表示具有重要意义。本文提出了一种新的基于对抗检测器和软区域建议层的无限界框标注的对抗性软检测聚合(ASDA)图像检索方法。我们的可训练对抗性检测器基于对抗性擦除策略生成语义映射,以保留更多有区别的详细信息。我们的软区域建议是基于对应于各种判别模式和语义内容的语义图计算的,它是任意形状的,而不仅仅是矩形,它反映了对象的重要性。基于可训练软区域建议的聚合突出了有区别的语义内容,抑制了背景噪声。我们在标准图像检索数据集上进行了全面的实验。我们的弱监督ASDA方法在大多数数据集上实现了最先进的性能。实验结果表明,该方法是一种有效的图像检索方法.
2019-03-29 cs.CV
Generative Prompt Model for Weakly Supervised Object Localization
University of Chinese Academy of Sciences(中国科学院大学);Zhejiang University(浙江大学)
针对弱监督目标定位易忽略低判别性目标部位的问题,提出生成式提示模型GenPromp,通过条件图像去噪结合视觉语言模型嵌入生成多尺度注意力图,在两个基准数据集上Top-1 Loc指标均优于现有最优判别式模型。
2023-07-19 cs.CV