Discriminative and Geometry Aware Unsupervised Domain Adaptation
Shanghai Jiao Tong University(上海交通大学);Ecole Centrale de Lyon(里昂中央理工学院)
领域自适应(DA)的目标是在训练数据和测试数据之间推广学习模型,而不管它们的数据分布是否匹配。根据误差上界的理论估计,本文认为一个有效的DA方法应该:1)搜索一个共享的特征子空间,在这个子空间中,源数据和目标数据不仅像大多数现有DA方法那样在分布上是一致的,而且在不同类别的实例之间是有区别的; 2)在推断目标域上的数据标签时考虑底层数据流形的几何结构。与只关心源和目标之间的数据分布对齐的基准DA方法相比,我们导出了三种不同的DA模型,即CDDA,GA-DA和DGA-DA,以突出基于1)的接近但有区别的DA(CDDA),基于2)的几何感知DA(GA-DA),以及最后联合实现1)和2)的区别和几何感知DA(DGA-DA)的贡献。使用合成和真实数据,我们表明所提出的方法的有效性,始终优于最先进的DA方法超过36图像分类DA任务,通过6个流行的基准。我们进一步进行深入分析的建议DA方法在量化我们的DA模型的每个术语的贡献,并提供见解的建议DA方法在可视化真实和合成数据。
2017-12-28 cs.CV
Generative Modeling of Convolutional Neural Networks
Microsoft Research(微软研究院);University of California, Los Angeles(加州大学洛杉矶分校)
卷积神经网络(CNN)已被证明是判别学习的强大工具。最近,研究人员也开始对CNN的生成方面表现出兴趣,以便更深入地了解他们所学到的知识以及如何进一步改进它们。本文研究CNN的生成建模。主要贡献包括:(1)构造了一个参考分布指数倾斜形式的CNN生成模型。(2)我们通过非参数重要性采样方案提出了一种用于预训练CNN的生成梯度,该方案与常用的判别梯度有根本不同,但与后者具有相同的计算架构和成本。(3)我们提出了一种生成可视化方法的CNN采样从一个显式的参数图像分布。所提出的可视化方法可以直接绘制合成样本的任何给定的节点在一个训练的CNN的汉密尔顿蒙特卡罗(HMC)算法,而不诉诸任何额外的保持图像。在具有挑战性的ImageNet基准测试上的实验表明,所提出的生成梯度预训练始终有助于提高CNN的性能,并且所提出的生成可视化方法可以从大规模深度CNN中生成有意义的各种合成图像样本。
2015-04-09 cs.CV cs.LG cs.NE
Probing Visual-Audio Representation for Video Highlight Detection via Hard-Pairs Guided Contrastive Learning
Sensetime Research(商汤科技研究院);The Hong Kong Polytechnic University(香港理工大学)
视频精彩片段检测是一个重要而又具有挑战性的问题,旨在识别未修剪视频中的有趣时刻。这一任务的关键在于有效的视频表示,共同追求两个目标,\textit{i.e.},跨模态表示学习和细粒度的特征歧视。在本文中,这两个挑战,不仅丰富内模态和跨模态的关系表示建模,但也形成了有区别的方式的功能来解决。我们提出的方法主要利用内模态编码和跨模态同现编码的充分表示建模。具体而言,模态内编码增强了模态方面的功能,并通过在音频和视觉信号中的模态内关系学习来抑制不相关的模态。同时,跨模态同现编码关注同现的模态间关系,有选择地捕捉多模态之间的有效信息。从局部上下文中提取的全局信息进一步增强了多模态表示。此外,我们扩大了识别能力的特征嵌入与硬对引导对比学习(HPCL)计划。为了提高HPCL的特征区分度,进一步采用了硬对采样策略来挖掘硬样本。在两个基准上进行的大量实验证明了我们所提出的方法与其他最先进的方法相比的有效性和优越性。
2022-06-21 cs.CV
Contrastive Integrated Gradients: A Feature Attribution-Based Method for Explaining Whole Slide Image Classification
ECE Department, University of Houston(德克萨斯大学休斯顿分校电子与计算机工程系);Information Technology, HCMC University of Technology and Education(胡志明市技术与教育大学信息技术系);VN-UK Institute for Research and Executive Education, The University of Da Nang(越南-英国研究与管理教育研究所,丹那大学);Ho Chi Minh City University of Science, Vietnam National University(胡志明市科学大学,越南国家大学);Computational Biology Department, Carnegie Mellon University(卡内基梅隆大学计算生物学系)
针对全切片图像分类现有归因方法易忽略类别判别信号的问题,提出对比积分梯度归因方法CIG及配套评估指标,在多癌症数据集上验证其可生成更精准的归因结果,助力可信病理诊断。
2025-11-14 cs.AI cs.CV
Semi-Discriminative Representation Loss for Online Continual Learning
University of Bristol(布里斯托大学);Amazon Research(亚马逊研究院)
在持续学习中使用情景记忆已经证明了减轻灾难性遗忘的有效性。在最近的研究中,基于梯度的方法已经被开发出来,以更有效地利用紧凑的情景记忆。这种方法通过来自记忆样本的梯度来细化来自新样本的梯度,旨在减少来自不同任务的梯度的多样性。在本文中,我们阐明了梯度的多样性和表示的区分性之间的关系,显示了深度度量学习和持续学习之间的共同利益和冲突,从而展示了在持续学习中学习区分性表示的利弊。基于这些发现,我们提出了一种简单的方法-半判别表示损失(SDRL)-用于持续学习。与现有方法相比,SDRL在在线持续学习的环境下,在多个基准任务上表现出更好的性能和更低的计算成本。
2022-04-14 cs.LG stat.ML
GODS: Generalized One-class Discriminative Subspaces for Anomaly Detection
Australian National University, Canberra(堪培拉澳大利亚国立大学)
单类学习是一个经典的问题,即将模型拟合到只有一个类可用注释的数据。在本文中,我们提出了一个新的单类学习目标。我们的关键思想是使用一对正交框架-作为子空间-通过联合优化两个目标来“三明治”标记数据:i)最小化两个子空间的原点之间的距离,以及ii)最大化超平面和数据之间的间隔,任一子空间要求数据分别处于其正正交和负正交。然而,我们提出的目标导致一个非凸优化问题,我们诉诸黎曼优化计划,并得出一个有效的共轭梯度法的Stiefel流形。为了研究我们的方案的有效性,我们提出了一个新的数据集~ \emph{Dash-Cam-Pose},包括剪辑与骨架姿势的人坐在车里,任务是分类的剪辑为正常或异常,后者是当任何人的姿势是出的位置,就说一个安全气囊的部署。我们在建议的Dash-Cam-Pose数据集以及其他几个标准异常/新奇检测基准上的实验证明了我们方案的好处,实现了最先进的一类精度。
2019-08-16 cs.CV
Rethinking the Role of Gradient-Based Attribution Methods for Model Interpretability
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院);University of Geneva(日内瓦大学)
当前用于区分性深度神经网络的可解释性的方法通常依赖于模型的输入梯度,即,输出logit的梯度w.r.t.输入。常见的假设是,这些输入梯度包含有关$p_θ ( y \mid x)$的信息,模型的判别能力,从而证明他们的使用可解释性。然而,在这项工作中,我们表明,这些输入梯度可以任意操纵的结果softmax的平移不变性,而不改变判别函数。这留下了一个悬而未决的问题:如果输入梯度可以是任意的,为什么它们在标准模型中是高度结构化和解释性的?我们调查这一点,通过重新解释标准的softmax为基础的分类器的非归一化的对数密度的数据分布,并表明输入梯度可以被视为梯度的类条件密度模型$p_θ(x \mid y)$内隐含的歧视性模型。这使我们假设,输入梯度的高度结构化和解释性的性质可能是由于这种类条件模型$p_θ(x \mid y)$与地面实况数据分布$p_{\text{data}} (x \mid y)$的对齐。我们通过研究密度排列对梯度解释的影响来检验这一假设。为了实现这种对齐,我们使用分数匹配,并提出了新的近似算法,使训练大规模的模型。我们的实验表明,改进隐式密度模型与数据分布的对齐增强了梯度结构和解释能力,而减少这种对齐具有相反的效果。总的来说,我们发现输入梯度捕获了关于隐式生成模型的信息,这意味着我们需要重新思考它们在解释判别模型时的用途。
2021-03-03 cs.CV cs.LG stat.ML
Gradients of Generative Models for Improved Discriminative Analysis of Tandem Mass Spectra
University of California, Davis(加州大学戴维斯分校)
串联质谱(MS/MS)是一种高通量技术,用于鉴定复杂生物样品(如一滴血)中的蛋白质。在该过程的输出处生成光谱的集合,其中每个光谱代表原始复杂样品中存在的肽(蛋白质子序列)。在这项工作中,我们利用生成模型的对数似然梯度来提高这种光谱的识别。特别是,我们表明,最近提出的动态贝叶斯网络(DBN)的梯度可以自然地采用基于核的判别分类。由此产生的Fisher核大大改善了最近尝试将生成和判别模型结合起来进行后处理分析的尝试,在评估的数据集上优于所有其他方法。我们通过引入Theseus,DBN代表大量广泛使用的MS/MS评分函数,将Fisher内核框架提供的改进精度扩展到其他搜索算法。此外,通过梯度上升和最大乘积推理,我们使用Theseus在没有任何监督的情况下学习模型参数。
2019-09-04 cs.LG q-bio.QM stat.ML
Enhancing Domain Adaptation through Prompt Gradient Alignment
New York University(纽约大学);VinAI Research(VinAI研究院);Monash University(莫纳什大学)
本文将无监督领域自适应视为多目标优化问题,提出通过对齐各领域损失梯度并惩罚梯度范数来促进目标共识并防止过拟合,在单源和多源场景下均优于其他视觉-语言模型自适应方法。
2025-04-01 cs.CV cs.LG
Gradient Regularization Improves Accuracy of Discriminative Models
Alfréd Rényi Institute of Mathematics(阿尔弗雷德·莱尼数学研究所);Hungarian Academy of Sciences(匈牙利科学院)
正则化神经网络输出相对于其输入的梯度范数是一种强大的技术,多次被重新发现。本文提供的证据表明,梯度正则化可以使用现代深度神经网络持续提高视觉任务的分类精度,特别是当训练数据量很小时。我们介绍我们的正则化更广泛的一类雅可比正则化的成员。我们在真实数据和合成数据上以经验证明,学习过程导致梯度控制在训练点之外,并产生泛化良好的解决方案。
2018-05-24 cs.LG
Gradient-Induced Co-Saliency Detection
Nankai University(南开大学);Tianjin University(天津大学)
共显著性检测(Co-SOD)的目的是分割一组相关图像中共同的显著前景。在本文中,受人类行为的启发,我们提出了一种梯度诱导的共显着性检测(GICD)方法。我们首先在嵌入空间中为分组图像提取一个一致性表示;然后,通过比较单个图像与一致性表示,我们利用反馈梯度信息来引起更多的关注的歧视性共显特征。此外,由于Co-SOD训练数据的缺乏,我们设计了一种拼图训练策略,使得Co-SOD网络可以在一般显著性数据集上训练,而无需额外的像素级标注。为了评估Co-SOD方法在多个前景中发现共显对象的性能,我们构建了一个具有挑战性的CoCA数据集,其中每个图像包含至少一个无关的前景以及共显对象。实验表明,我们的GICD达到国家的最先进的性能。我们的代码和数据集可以在https://mmcheng.net/gicd/上找到。
2020-12-12 cs.CV
Gradient Regularized Contrastive Learning for Continual Domain Adaptation
University of Sydney(悉尼大学);The Chinese University of Hong Kong(香港中文大学);Sensetime Group Limited(商汤集团有限公司)
人类可以通过利用学习经验快速适应环境变化。然而,通过机器学习算法使深度神经网络适应动态环境仍然是一个挑战。为了更好地理解这个问题,我们研究了连续领域自适应的问题,其中模型是由一个标记的源域和一系列未标记的目标域。这个问题的障碍是域转移和灾难性遗忘。我们提出了梯度正则化对比学习(GRCL)来解决这些障碍。在我们的方法的核心,梯度正则化起着两个关键作用:(1)强制梯度不损害源特征的区分能力,这反过来又有利于模型对目标域的适应能力;(2)约束梯度不增加旧目标域上的分类损失,这使得该模型在适应新的目标域时能够保持旧目标域上的性能。Digits,DomainNet和EST-Caltech基准上的实验表明,与其他最先进的方法相比,我们的方法具有很强的性能。
2021-03-23 cs.CV
Select, Attend, and Transfer: Light, Learnable Skip Connections
Simon Fraser University(西蒙弗雷泽大学);Siemens Healthineers(西门子医疗)
深度网络中的跳过连接通过促进更深层次网络架构的训练和降低梯度消失的风险,提高了分割和分类性能。它们为类似编码器-解码器的网络提供了更丰富的特征表示,但代价是更高的内存使用率,计算量,并可能导致传输非歧视性特征图。在本文中,我们专注于改进分段网络中使用的跳过连接(例如,U-Net、V-Net和The One Hundred Layers Tiramisu(DensNet)架构)。我们提出了轻,可学习的跳过连接,学习首先选择最具鉴别力的通道,然后参加所选特征图的最具鉴别力的区域。所提出的跳跃连接的输出是一个独特的特征图,这不仅在很大程度上减少了内存使用和网络参数,但也提高了分割精度。我们在三个不同的2D和体积数据集上评估了所提出的方法,并证明了所提出的轻型,可学习的跳过连接在分割精度,内存使用和网络参数数量方面优于传统的重型跳过连接。
2018-05-03 cs.CV
Discriminative Feature Learning Framework with Gradient Preference for Anomaly Detection
University of Jinan(济南大学);Shandong Jiaotong University(山东交通学院)
无监督表示学习在异常检测中得到了广泛的应用,并取得了令人瞩目的成绩。在无监督表示学习中,提取有价值的特征向量可以显著提高异常检测的性能。为此,我们提出了一种新的歧视性特征学习框架与梯度偏好的异常检测。具体而言,首先设计了一种基于梯度偏好的选择器,在空间上存储功能强大的特征点,然后构建特征库,减轻了冗余特征向量的干扰,提高了推理效率。其次,为了克服特征向量的松散性,提出了一种中心约束的判别式特征学习方法,将特征库映射到一个紧凑的子空间上,从而使异常样本与正常样本更容易区分。此外,我们的方法可以很容易地扩展到异常定位。在流行的工业和医疗异常检测数据集上进行的大量实验表明,我们提出的框架在异常检测和定位方面都可以取得有竞争力的结果。更重要的是,我们的方法在Few Shot异常检测方面优于最先进的方法。
2022-04-23 cs.LG
Proximal Policy Optimization for Improved Convergence in IRGAN
National Institute of Technology Karnataka(卡纳塔克邦国家理工学院)
IRGAN是一种信息检索(IR)建模方法,它利用生成模型和判别模型之间的理论极小极大博弈来迭代优化生成模型和判别模型,从而统一了生成模型和判别模型。尽管在几个信息检索任务中有显着的性能改进,但IRGAN训练是一个不稳定的过程,并且解决方案随着随机参数初始化而变化很大。在这项工作中,我们提出了一个改进的训练目标的基础上,近端策略优化目标和Gumbel-Softmax为基础的采样生成器。我们还提出了一个修改后的训练算法,它需要一个单一的梯度更新的生成器以及每个迭代步骤的迭代。我们提出了改进的收敛性的实证证据,该模型在原来的IRGAN和三个不同的IR任务的基准数据集上的比较也进行了讨论,强调该模型的优越性能。
2019-10-01 cs.IR cs.LG
Discriminative Attribution from Counterfactuals
HHMI Janelia Research Campus(霍华德·休斯医学研究所珍妮莉亚研究园区);ETH Zürich(苏黎世联邦理工学院);MRC Laboratory of Molecular Biology(医学研究理事会分子生物学实验室)
我们提出了一种方法,神经网络的可解释性相结合的功能属性与反事实的解释,以生成属性映射,突出对类之间的最有区别的功能。我们表明,这种方法可以用来定量评估性能的特征归属方法在一个客观的方式,从而防止潜在的观察者偏见。我们在三个不同的数据集上评估了所提出的方法,包括具有挑战性的人工数据集和真实世界的生物数据。我们定量和定性地表明,突出显示的特征比使用传统的归因方法提取的特征更具鉴别力,并认为这种类型的解释更适合于理解由深度神经网络学习的细粒度类差异。
2021-09-28 cs.CV cs.LG
Lipschitz Generative Adversarial Nets
Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学);Stanford University(斯坦福大学)
在本文中,我们从最佳判别函数的梯度信息量的角度研究了生成对抗网络(GANs)的收敛性。我们表明,GANs在判别函数空间上没有限制,通常会遇到这样的问题,即由卷积产生的梯度没有信息来指导生成器。相比之下,Wasserstein GAN(WGAN),其中判别函数被限制为1-Lipschitz,不遭受这样的梯度无信息性问题。我们在论文中进一步表明,具有紧致对偶形式的Wasserstein距离的模型,其中Lipschitz条件被放松,理论上也可能受到这个问题的影响。这暗示了Lipschitz条件的重要性,并促使我们研究具有Lipschitz约束的GANs的一般公式,这导致了一个新的GANs家族,我们称之为Lipschitz GANs(LGANs)。我们证明了LGANs保证了最优判别函数的存在性和唯一性以及唯一的纳什均衡的存在性。我们证明了LGAN通常能够消除梯度不信息性问题。根据我们的实证分析,与WGAN相比,LGAN更稳定,并且始终生成更高质量的样本。
2019-06-24 cs.CV cs.LG stat.ML
A Distributed Optimisation Framework Combining Natural Gradient with Hessian-Free for Discriminative Sequence Training
Apple(苹果公司)
本文提出了一种新的自然梯度和海森自由(NGHF)优化框架的神经网络训练,可以有效地在一个分布式的方式。它依赖于线性共轭梯度(CG)算法,结合自然梯度(NG)方法与来自Hessian-free(HF)或其他二阶方法的局部曲率信息。CG中数值问题的解决方案允许使用比通常使用的CG迭代少得多的CG迭代(例如,5-8而不是200)来生成有效的参数更新。这项工作还提出了一种新的预处理方法,以改善共享参数模型的个别CG迭代所取得的进展。虽然适用于其他训练损失和模型结构,NGHF本文研究了基于格的判别序列训练的混合隐马尔可夫模型声学模型使用标准的递归神经网络,长短期记忆,和时间延迟神经网络模型的输出概率计算。自动语音识别实验报告的多流派广播数据集的范围内不同的声学模型类型。这些实验表明,NGHF实现了更大的字出错率降低比标准的随机梯度下降或亚当,而需要的数量级更少的参数更新。
2021-03-12 cs.CL cs.LG cs.SD
Angular Learning: Toward Discriminative Embedded Features
University of Jinan(济南大学)
基于边缘的softmax损失函数极大地提高了类内的紧凑性,并在人脸识别和对象分类的任务上表现良好。然而,超越性能取决于仔细的超参数选择。此外,硬角度限制也增加了过拟合的风险。本文提出的角损失方法通过最大化角梯度来提高类内紧性,避免了过拟合。此外,我们的方法只有一个可调常数的类内紧凑性控制。我们定义了三个度量来衡量类间的可分性和类内的紧凑性。在实验中,我们在许多知名的数据集上测试了我们的方法以及其他方法。实验结果表明,该方法具有准确性提高,判别信息,和时间消耗的优势。
2019-12-17 cs.CV cs.LG stat.ML
Discriminative Bayesian filtering lends momentum to the stochastic Newton method for minimizing log-convex functions
University of Cambridge(剑桥大学)
该研究将最小化对数凸函数平均值的随机牛顿优化问题转化为判别式观测的潜状态空间序列贝叶斯推断问题,提出结合梯度与海森矩阵历史的贝叶斯滤波优化算法,推导了类重球动量的旧观测衰减条件,并辅以示例阐释。
2023-08-21 cs.LG math.OC stat.ML
SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient
Shanghai Jiao Tong University(上海交通大学);University College London(伦敦大学学院)
生成对抗网(GAN)作为一种新的生成模型训练方法,使用判别模型来指导生成模型的训练,在生成实值数据方面取得了相当大的成功。然而,当目标是生成离散令牌序列时,它具有局限性。一个主要原因在于,生成模型的离散输出使得难以将梯度更新从判别模型传递到生成模型。此外,判别模型只能评估完整的序列,而对于部分生成的序列,一旦整个序列已经生成,则平衡其当前分数和未来分数是不平凡的。在本文中,我们提出了一个序列生成框架,称为SeqGAN,来解决这些问题。SeqGAN将数据生成器建模为强化学习(RL)中的随机策略,通过直接执行梯度策略更新来绕过生成器区分问题。RL奖励信号来自GAN对完整序列的判断,并使用Monte Carlo搜索传递回中间状态-动作步骤。对合成数据和现实任务的广泛实验表明,与强基线相比,性能有显着改进。
2017-08-25 cs.AI cs.LG
Sequence Training of DNN Acoustic Models With Natural Gradient
Cambridge University(剑桥大学)
深度神经网络(DNN)声学模型通常使用区分序列训练,其优化比基于帧的训练更好地近似单词出错率(WER)的目标函数。序列训练通常使用随机梯度下降(SGD)或Hessian Free(HF)训练来实现。本文提出了一种替代批处理风格的优化框架,采用自然梯度(NG)的方法来遍历参数空间。通过根据KL发散的局部曲率校正梯度,NG优化过程比HF更快地收敛。此外,所提出的NG方法可以应用于任何序列判别训练标准。NG方法的有效性使用多类型广播(MGB)转录任务上的实验来显示,该任务展示了所得到的DNN模型的计算效率和准确性。
2018-04-06 cs.CL cs.LG stat.ML
DelTA: Discriminative Token Credit Assignment for Reinforcement Learning from Verifiable Rewards
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院 Gallagher 学院);Ant International(蚂蚁国际)
本文提出DelTA方法,通过估计token系数来增强特定侧的token梯度方向,从而改进可验证奖励强化学习中的token概率更新,提升了模型在数学基准测试中的性能。
2026-05-20 cs.CL cs.LG
Discriminative classification with generative features: bridging Naive Bayes and logistic regression
Brigham Young University(杨百翰大学);University of California, Santa Barbara(加州大学圣芭芭拉分校)
Smart Bayes通过整合生成特征与判别模型,提升分类性能,优于朴素贝叶斯和逻辑回归。
2025-11-30 cs.AI cs.LG stat.CO
Discriminative Nonparametric Latent Feature Relational Models with Data Augmentation
Tsinghua University(清华大学)
提出了一种判别式非参数潜在特征关系模型(LFRM),用于链接预测自动推断潜在特征的维数。在一般的RegBayes(regularized Bayesian inference)框架下,我们将贝叶斯模型的预测损失与概率推理相结合,为不同类型的链路设置不同的正则化参数,以处理真实网络中的不平衡问题,并统一分析平滑对数损失和分段线性铰链损失。对于非共轭后验推断,我们提出了一个简单的吉布斯采样通过数据增强,而不作限制性的假设,在变分方法。我们进一步开发了一个近似采样器,使用随机梯度Langevin动力学来处理具有数十万个实体和数百万个链接的大型网络,其数量级大于现有LFRM模型可以处理的数量级。对各种真实网络的广泛研究显示出良好的性能。
2015-12-07 cs.LG stat.ML
Discriminative Score Function: Turning Pretrained Models into Functional Generative Priors
Seoul National University(首尔大学)
该研究提出判别式评分函数(DSF),从预训练判别式模型的损失梯度几何提取生成场,可用于图像生成、编辑等任务,还能实现零样本量化校准,效果优于无数据基线。
2026-10-14 cs.CV cs.LG
Learning Discriminative Geometry for Drifting Models
ELLIS Institute Finland(芬兰ELLIS研究所);Aalto University(阿尔托大学)
针对漂移模型在像素空间性能不佳的问题,提出持续表示学习以学习判别几何,并通过梯度等价性控制漂移速度,将FID降低82-95%。
2026-10-06 cs.CV cs.LG
Robust Learning from Discriminative Feature Feedback
University of California, San Diego(加州大学圣地亚哥分校);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
最近的工作介绍了从判别特征反馈中学习的模型,其中人类注释器不仅提供实例的标签,而且还识别突出实例对之间的重要差异的判别特征。结果表明,这样的反馈可以有利于学习,并使得有可能有效地学习一些概念类,否则将是棘手的。然而,这些结果都依赖于完美的注释者反馈。在本文中,我们介绍了一个更现实,更强大的版本的框架,其中注释者被允许犯错误。我们将展示如何在对抗性和随机性环境中通过算法处理此类错误。特别是,我们得到的遗憾界在这两种设置,在一个完美的注释器的情况下,是独立的功能的数量。我们表明,这一结果不能得到一个天真的减少从强大的设置到非强大的设置。
2020-03-09 cs.LG stat.ML
Learning Discriminative Features via Label Consistent Neural Network
Raytheon BBN Technologies(雷神BBN技术公司);University of Maryland, College Park(马里兰大学帕克分校)
深度卷积神经网络(CNN)仅在输出层执行监督信息,并且通过反向传播来自输出层的预测误差来训练隐藏层,而无需显式监督。我们提出了一种监督的特征学习方法,标签一致性神经网络,它在后面的隐藏层中实施直接监督。我们将隐藏层中的每个神经元与特定的类标签相关联,并鼓励它为来自同一类的输入信号激活。更具体地说,我们引入了一个标签一致性正则化,称为“判别表示错误”损失的后期隐藏层,并将其与分类错误损失相结合,以建立我们的整体目标函数。这种标签一致性约束消除了梯度消失的常见问题,并趋向于更快的收敛;它还使得即使使用简单的$k$ -NN分类器,从后期隐藏层导出的特征也足以区分分类,因为来自同一类的输入信号将具有非常相似的表示。实验结果表明,我们的方法实现了国家的最先进的性能在几个公共基准动作和对象类别识别。
2016-06-05 cs.CV cs.LG cs.MM
Information-Theoretical Learning of Discriminative Clusters for Unsupervised Domain Adaptation
U. of Southern California(南加州大学)
我们研究了无监督的领域自适应问题,其目的是使在标记源域上训练的分类器适应未标记的目标域。许多现有的方法首先学习域不变特征,然后用它们构造分类器。我们提出了一种新的方法,共同学习两者。具体地,虽然该方法识别源域和目标域中的数据类似地分布的特征空间,但它也有区别地学习特征空间,优化信息理论度量作为目标域上的预期误分类误差的代理。我们展示了如何使用简单的基于梯度的方法有效地进行这种优化,以及如何在不需要来自目标域的任何标记数据的情况下交叉验证超参数。对目标识别和情感分析的基准任务的实证研究验证了我们的建模假设,并证明了我们的方法在分类精度上比竞争对手有显着的改进。
2012-06-27 cs.LG stat.ML
Discriminative Clustering with Representation Learning with any Ratio of Labeled to Unlabeled Data
Swiss Data Science Center(瑞士数据科学中心);Ecole polytechnique fédérale de Lausanne(洛桑联邦理工学院);University of Washington(华盛顿大学)
我们提出了一种判别式聚类方法,其中的特征表示可以从数据中学习,而且利用标记的数据。表示学习可以使基于相似性的聚类方法能够自动适应数据的底层但隐藏的几何结构。所提出的方法增强了具有表示学习能力的BRAC方法,使用基于梯度的随机训练算法和具有熵正则化的最优传输算法来执行聚类分配步骤。当改变标记数据与未标记数据的比率时,在几个真实数据集上评估所得到的方法,从而在完全无监督制度和完全监督制度之间进行插值。实验结果表明,即使在完全无监督的情况下,该方法也可以学习强大的特征表示,甚至可以利用少量的标记数据来改进特征表示,并获得更好的复杂数据集聚类。
2023-02-17 cs.LG stat.ML
Class-Discriminative Attention Maps for Vision Transformers
University of Warsaw(华沙大学);Institute of Informatics(信息学研究所)
本文提出基于梯度的类别判别注意力图 CDAM 及其平滑、积分变体,使 ViT 解释对目标类别或潜在概念敏感,并在医学 CT 预测任务中验证其更准确、紧凑且类别敏感。
2024-10-25 cs.AI cs.CV cs.LG
Hamming Encoder: Mining Discriminative k-mers for Discrete Sequence Classification
Dalian University of Technology(大连理工大学)
针对序列分类中基于模式方法忽略特征组合判别力的问题,提出 Hamming Encoder,利用二值化 1DCNN 和 Hamming 距离一致性挖掘判别性 k-mer 组合,提升了分类准确率。
2023-10-20 cs.LG
A Mean-Field Theory for Kernel Alignment with Random Features in Generative and Discriminative Models
Department of Management Science, Stanford University(斯坦福大学管理科学系);Department of Electrical Engineering, Stanford University(斯坦福大学电气工程系);Department of Radiation Oncology, Stanford University(斯坦福大学放射肿瘤学系);Department of Industrial Engineering, Texas A&M University(得克萨斯农工大学工业工程系)
提出了一种新的监督学习方法来优化最大均值差异生成对抗网络(MMD GANs)的核函数和核函数支持向量机(SVM)。具体来说,我们描述了一个分布鲁棒优化问题,以计算一个良好的分布的随机特征模型的Rahimi和Recht。由于分布优化问题是无穷维的,我们考虑Monte-Carlo样本平均近似(SAA),以获得一个更容易处理的有限维优化问题。随后,我们利用粒子随机梯度下降(SGD)方法来解决派生的有限维优化问题。基于平均场分析,我们证明了在每次迭代的SGD的相互作用的粒子系统的经验分布遵循的路径的Wasserstein流形上的梯度下降流。我们还建立了有限样本估计量的非渐近相合性。我们通过评估内核MMD统计数据来评估我们的内核学习方法用于假设检验问题,并表明与未经训练的内核相比,我们的学习方法确实可以在更大的阈值下获得更好的测试能力。此外,我们对基准数据集的实证评估表明,我们的核学习方法相比,其他核学习方法的优势。
2020-02-22 cs.LG stat.ML
Classification via score-based generative modelling
在这项工作中,我们研究了基于分数的梯度学习在判别和生成分类设置中的应用。分数函数可以用来表征数据分布,作为密度的替代。它可以通过分数匹配有效地学习,并用于灵活地生成可信的样本,以提高区分性分类质量,恢复密度和构建生成式分类器。我们分析了涉及基于分数的表示的决策理论,并在模拟和真实世界的数据集上进行了实验,证明了它在实现和提高二进制分类性能方面的有效性,以及对扰动的鲁棒性,特别是在高维和不平衡的情况下。
2022-07-22 cs.AI cs.LG
Measuring Self-Supervised Representation Quality for Downstream Classification using Discriminative Features
University of Maryland, College Park(马里兰大学学院公园分校);Meta AI
该研究针对自监督学习表示的失效模式与可解释性问题,发现无监督判别特征,提出Q-Score预测分类错误、优化表示,还定义了可解释性指标,证实特征增强可提升表示可解释性。
2023-12-12 cs.AI cs.CV cs.LG
Improving Adversarial Robustness by Encouraging Discriminative Features
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Auburn University(奥本大学)
深度神经网络(DNN)在各种模式识别任务中取得了最先进的成果。然而,它们在分发外的对抗性示例中表现不佳,即由对手专门制作的输入,导致DNN行为不端,质疑应用程序的安全性和可靠性。在本文中,除了常规的softmax交叉熵损失之外,我们还鼓励DNN分类器通过施加中心损失来学习更多的判别特征。直观地说,中心丢失鼓励DNN同时学习每个类的深度特征的中心,并最小化类内深度特征与其相应的类中心之间的距离。我们假设,最小化类内特征之间的距离,同时最大化类间特征之间的距离将提高分类器对对抗性样本的鲁棒性。我们在MNIST、CIFAR-10和CIFAR-100上的最新架构上的结果证实了这种直觉,并强调了区分特征的重要性。
2019-05-08 cs.CR cs.LG
Scalable Energy-Based Models via Adversarial Training: Unifying Discrimination and Generation
MIT(麻省理工学院)
本文提出一种结合对抗训练的框架,解决传统能量模型在稳定性与生成质量上的不足,实现高分辨率数据集上的高效判别与生成性能。
2026-03-18 cs.AI cs.LG
An MLP Baseline for Handwriting Recognition Using Planar Curvature and Gradient Orientation
Department of Science, Technology & Mathematics(科学、技术与数学系)
本研究验证了仅用平面曲率和梯度方向等二阶几何特征即可驱动MLP实现手写字符识别,在MNIST和EMNIST上分别达到97%和89%的准确率,证明可解释手工特征也能发挥深度学习优势。
2025-08-28 cs.CV cs.LG
DISK: Learning local features with policy gradient
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Google Research(谷歌研究院)
由于稀疏关键点的选择和匹配所固有的离散性,局部特征框架很难以端到端的方式学习。我们引入了DISK(离散关键点),这是一种新方法,它通过利用强化学习(RL)的原理来克服这些障碍,优化端到端以获得大量正确的特征匹配。我们简单而富有表现力的概率模型使我们能够保持训练和推理机制的接近,同时保持足够好的收敛特性,以便从头开始可靠地进行训练。我们的特征可以非常密集地提取,同时保持区分性,挑战关于什么构成好的关键点的普遍假设,如图1所示,并在三个公共基准上提供最先进的结果。
2020-10-27 cs.CV cs.LG
A Layer-Wise Information Reinforcement Approach to Improve Learning in Deep Belief Networks
São Paulo State University - UNESP(圣保罗州立大学(UNESP));Recogna Laboratory(Recogna实验室)
随着深度学习的出现,提出新方法或改进现有方法的作品数量在过去几年中呈指数级增长。在这种情况下,“非常深”的模型出现了,一旦它们被期望提取更多的内在和抽象特征,同时支持更好的性能。然而,这样的模型遭受梯度消失问题,即,反向传播值在其较浅的层中变得太接近于零,最终导致学习停滞。在卷积神经网络的上下文中,通过在所谓的深度残差学习框架中创建层之间的“快捷连接”来克服这样的问题。尽管如此,一种非常流行的深度学习技术,称为深度信念网络,在处理区分性任务时仍然会遇到梯度消失的问题。因此,本文提出了残差深度信念网络,该网络考虑了逐层信息强化,提高了特征提取和知识保持能力,支持更好的鉴别性能。在三个公开数据集上进行的实验表明,该算法对二值图像分类任务具有较好的鲁棒性。
2021-01-17 cs.AI cs.LG
Quantum Gradient Class Activation Map for Model Interpretability
Seton Hall University(薛顿贺尔大学);Brookhaven National Laboratory(布鲁克海文国家实验室);Wells Fargo(富国银行)
针对量子机器学习可解释性研究不足的问题,提出量子梯度类激活图(QGrad-CAM)框架,结合量子与经典计算优势推导特征图重要性公式,在多数据集上生成优质可视化解释。
2024-08-12 cs.AI cs.LG quant-ph
Path-Based Gradient Boosting for Graph-Level Prediction
Department of Mathematics, University of Oslo(奥斯陆大学数学系)
本文提出PathBoost,一种基于图结构直接学习判别路径特征的梯度树提升方法,通过逻辑损失实现二分类,结合节点和边属性,自动选择锚点节点,提升图级预测性能。
2026-04-26 cs.LG stat.ML
Large-Margin Softmax Loss for Convolutional Neural Networks
Peking University(北京大学);South China University of Technology(华南理工大学);Carnegie Mellon University(卡内基梅隆大学);Shenzhen University(深圳大学)
交叉熵损失和softmax可以说是卷积神经网络(CNN)中最常用的监督组件之一。尽管它简单,流行和出色的性能,该组件并没有明确鼓励特征的判别式学习。在本文中,我们提出了一个广义的大边际softmax(L-Softmax)损失,明确鼓励类内的紧凑性和类间分离的学习功能。此外,L-Softmax不仅可以调整期望的裕度,而且可以避免过拟合。我们还证明了L-Softmax损失可以通过典型的随机梯度下降来优化。在四个基准数据集上进行的大量实验表明,具有L-softmax损失的深度学习特征变得更具鉴别力,从而显着提高了各种视觉分类和验证任务的性能。
2017-11-17 cs.LG stat.ML
Stochastic Mutual Information Gradient Estimation for Dimensionality Reduction Networks
Northeastern University(东北大学);Graz University of Technology(格拉茨技术大学);Silicon Austria Labs(硅谷奥地利实验室)
特征排序和选择是判别式机器学习中监督降维的各种应用中广泛使用的方法。然而,存在显着的证据特征排名和选择算法的基础上,任何标准导致潜在的次优解决方案的类可分性。在这方面,我们介绍了新兴的信息理论特征转换协议作为端到端的神经网络训练方法。我们提出了一个降维网络(MMINet)的训练过程的基础上随机估计的互信息梯度。该网络将高维特征投影到输出特征空间上,其中特征的低维表示携带与其相关联的类标签的最大互信息。此外,我们制定的训练目标,估计非参数,没有分布假设。我们实验评估我们的方法与应用程序的高维生物数据集,并将其与传统的特征选择算法,形成一个特殊的情况下,我们的方法。
2021-05-01 cs.IT cs.LG math.IT
DDD: Discriminative Difficulty Distance for plant disease diagnosis
Hosei University(法政大学)
本文提出判别难度距离(DDD)度量,用于量化植物病害诊断中训练与测试数据的域差距和分类难度,并验证其与独立分类器诊断难度高度相关,为构建更稳健的数据集提供依据。
2025-01-01 cs.CV cs.LG
Neural Collapse under Gradient Flow on Shallow ReLU Networks for Orthogonally Separable Data
Institute of Natural Sciences & School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学自然科学研究院与数学科学学院);Computer Science and Engineering, Ohio State University(俄亥俄州立大学计算机科学与工程系);Electrical and Systems Engineering & Department of Radiology, University of Pennsylvania(宾夕法尼亚大学电气与系统工程系及放射学系)
本文证明两层ReLU网络在正交可分数据上的梯度流可证明地表现出神经坍缩,放宽了无约束特征假设,并揭示了训练动态隐式偏差的作用。
2025-10-24 cs.LG math.OC