Regional Multi-scale Approach for Visually Pleasing Explanations of Deep Neural Networks
Chonbuk National University(全北国立大学)
最近,已经提出了许多解释和可视化深度神经网络预测的方法,并取得了重大进展。然而,需要一个更具类别区分性和视觉上令人愉悦的解释。因此,本文提出了一种基于区域的方法,估计特征的重要性方面适当分割的区域。通过融合多尺度分割产生的显著性图,获得了更具类别区分力和视觉效果的显著性图。我们将这个区域多尺度的概念到一个预测差异的方法,是模型不可知的。使用超像素方法将输入图像分割成多个尺度,并通过对使用边界先验构造的正态分布进行采样来模拟区域的排除。实验结果表明,区域多尺度方法产生的显着图具有更好的类别区分性和视觉效果。
2018-08-01 cs.CV
Discriminative Feature Learning for Unsupervised Video Summarization
Korea Advanced Institute of Science and Technology(韩国科学技术院)
在本文中,我们解决的问题,自动提取关键镜头从输入视频的无监督视频摘要。具体来说,我们根据我们的经验观察解决了两个关键问题:(i)由于每帧输出重要性分数的平坦分布而导致的无效特征学习,以及(ii)处理长视频输入时的训练困难。为了缓解第一个问题,我们提出了一个简单而有效的正则化损失项,称为方差损失。提出的方差损失允许网络预测具有高差异的每帧的输出分数,这使得能够进行有效的特征学习并显着提高模型性能。对于第二个问题,我们设计了一个新的双流网络命名为块和步幅网络(CSNet),利用本地(块)和全球(步幅)的视频功能的时间视图。与现有方法相比,我们的CSNet为长视频提供了更好的摘要结果。此外,我们还引入了一种注意力机制来处理视频中的动态信息。我们通过进行广泛的消融研究证明了所提出的方法的有效性,并表明我们的最终模型在两个基准数据集上取得了新的最先进的结果。
2018-11-24 cs.CV
Joint Discriminative and Generative Learning for Person Re-identification
NVIDIA Research(英伟达研究院);NVIDIA CAI(英伟达人工智能计算中心);University of Technology Sydney(悉尼科技大学);Australian National University(澳大利亚国立大学)
由于不同摄像机之间存在显著的类内差异,人员重新识别(re-id)仍然具有挑战性。最近,人们越来越关注使用生成模型来增加训练数据并增强对输入变化的不变性。然而,现有方法中的生成流水线与判别性re-id学习阶段保持相对分离。因此,re-id模型通常以直接的方式在生成的数据上进行训练。在本文中,我们试图通过更好地利用生成的数据来改进学习的re-id嵌入。为此,我们提出了一个联合学习框架,耦合re-id学习和数据生成端到端。我们的模型包括一个生成模块,分别编码成一个外观代码和一个结构代码,每个人和一个判别模块,共享的外观编码器与生成模块。通过切换外观或结构代码,生成模块能够生成高质量的交叉ID合成图像,这些图像被在线反馈到外观编码器并用于改进鉴别模块。拟议的联合学习框架在不使用生成的数据的情况下,在基线上有了显着的改进,从而在几个基准数据集上实现了最先进的性能。
2021-05-19 cs.CV
DFNet: Discriminative feature extraction and integration network for salient object detection
Iran University of Science and Technology(伊朗科技大学);Imagia Inc.(Imagia公司)
尽管卷积神经网络具有强大的特征提取能力,但在显著性检测方面仍然存在一些挑战。在本文中,我们关注两个方面的挑战:i)由于显著对象以各种大小出现,因此使用单尺度卷积无法捕获正确的大小。此外,使用多尺度卷积而不考虑其重要性可能会混淆模型。ii)采用多层次特征有助于模型同时使用局部和全局上下文。然而,同等对待所有特征会导致信息冗余。因此,需要一种机制来智能地选择不同级别中的哪些功能是有用的。为了解决第一个挑战,我们提出了一个多尺度注意力引导模块。该模块不仅有效地提取了多尺度特征,而且更加关注与显著对象的尺度相对应的更具鉴别力的特征图。为了解决第二个挑战,我们提出了一个基于注意力的多级集成模块,使模型能够为多级特征图分配不同的权重。此外,我们的Sharpening损失函数指导我们的网络输出具有更高确定性和更少模糊显着对象的显着图,并且它的性能远远优于交叉熵损失。第一次,我们采用了四种不同的骨干,以显示我们的方法的推广。在五个具有挑战性的数据集上的实验证明,我们的方法达到了最先进的性能。我们的方法也很快,可以实时运行。
2020-04-03 cs.CV
Beyond Attentive Tokens: Incorporating Token Importance and Diversity for Efficient Vision Transformers
Jilin University(吉林大学);Baidu VIS(百度视觉技术部);University of Sydney(悉尼大学)
视觉Transformer在各种视觉任务上取得了显著的改进,但它们在令牌之间的二次交互显著降低了计算效率。近年来,为了提高视觉Transformer的效率,人们提出了许多剪枝方法来去除冗余标记.然而,现有的研究主要集中在令牌的重要性,以保持本地注意令牌,而完全忽略了全球令牌的多样性。在本文中,我们强调不同的全球语义的重要性,并提出了一个有效的令牌解耦和合并方法,可以联合考虑令牌的重要性和多样性的令牌修剪。根据类标记的注意程度,将注意标记和不注意标记解耦。除了保留最具歧视性的本地令牌,我们合并类似的不注意令牌和匹配同质注意令牌,以最大限度地提高令牌的多样性。尽管它的简单性,我们的方法获得了一个有前途的模型复杂性和分类精度之间的权衡。在DeiT-S上,我们的方法将FLOPs降低了35%,精度仅下降了0.2%。值得注意的是,得益于保持令牌的多样性,我们的方法甚至可以在将其FLOPs降低40%后将DeiT-T的准确性提高0.1%。
2022-11-21 cs.CV
Randomized Structural Sparsity based Support Identification with Applications to Locating Activated or Discriminative Brain Areas: A Multi-center Reproducibility Study
University of Electronic Science and Technology of China(电子科技大学)
本文主要研究如何根据神经影像学数据,定位与外界刺激或某种精神疾病相关或有区别的脑区,即支持识别。主要困难在于极高维的体素空间和相对较少的训练样本,容易导致不稳定的大脑区域发现(或称为模式识别背景下的特征选择)。当训练样本来自不同的中心并且具有中心间变异时,将更难获得可靠和一致的结果。相应地,我们重新审视我们最近提出的算法的基础上的稳定性选择和结构稀疏。首次将其应用于多中心MRI数据分析。尽管中心间数据存在差异,但在不同中心之间获得了一致和稳定的结果,而许多其他最先进的方法(如双样本t检验)均失败。此外,我们的经验表明,该算法的性能是强大的,它的几个关键参数不敏感。此外,功能MRI和结构MRI的支持识别结果都是可解释的,可以作为潜在的生物标志物。
2015-06-07 cs.CV
Learning the Loss Functions in a Discriminative Space for Video Restoration
Yonsei University(延世大学);Facebook(脸书)
随着更先进的深度网络架构和学习方案(如GANs)的出现,视频恢复算法的性能最近有了很大的提高。同时,优化深度神经网络的损失函数保持相对不变。为此,我们提出了一个新的框架,通过学习特定于视频恢复任务的判别空间来构建有效的损失函数。我们的框架类似于GANs,因为我们迭代地训练两个网络-生成器和损失网络。生成器学习以监督的方式恢复视频,通过损失网络学习的判别空间中的特征匹配来跟踪地面真实特征。此外,我们还引入了一个新的关系损失,以保持输出视频的时间一致性。视频超分辨率和去模糊的实验表明,我们的方法产生的视觉更愉快的视频更好的定量感知度量值比其他国家的最先进的方法。
2020-03-20 cs.CV eess.IV
On Diversity in Discriminative Neural Networks
IMT Atlantique(IMT大西洋国立高等电信学院)
本文提出一种融合多种多样性原理的神经网络架构,在MNIST和CIFAR-10上分别取得99.57%自监督和94.21%半监督的领先准确率。
2024-07-17 cs.AI cs.CV cs.LG
Interpreting Deep Neural Networks with Relative Sectional Propagation by Analyzing Comparative Gradients and Hostile Activations
Korea University(高丽大学);KAIST(韩国科学技术院)
深度神经网络(DNN)的清晰透明性受到复杂的内部结构和沿深度层次的非线性变换的阻碍。在本文中,我们提出了一种新的属性方法,相对分段传播(RSP),充分分解的输出预测的特点,类歧视性的属性和明确的对象。我们仔细回顾了基于反向传播的属性方法的一些缺点,这些缺点是分解DNN时的权衡关系。我们将敌对因素定义为干扰发现目标属性的元素,并以可区分的方式传播它,以克服激活神经元的非抑制性质。因此,可以分配目标(积极)和敌对(消极)归因的双极相关性分数,同时保持每个归因与重要性一致。我们还提出了清除技术,以防止递减的差距之间的相关性分数的目标和敌对的归因在反向传播消除冲突的单位,以通道属性地图。因此,与传统的归因方法相比,我们的方法可以分解DNN的预测,具有更清晰的类别区分性和对激活神经元的详细说明。在经过验证的实验环境中,我们报告了评估结果:(i)指向游戏,(ii)mIoU和(iii)PASCAL VOC 2007,MS COCO 2014和ImageNet数据集的模型灵敏度。结果表明,我们的方法优于现有的向后分解方法,包括独特和直观的可视化。
2020-12-12 cs.CV
Generative and Discriminative Voxel Modeling with Convolutional Neural Networks
Heriot-Watt University(赫瑞-瓦特大学);Renishaw plc(雷尼绍公司)
在处理三维数据时,表示的选择是关键。我们探索基于体素的模型,并提出证据的可行性体素表示的应用程序,包括形状建模和对象分类。我们的主要贡献是用于训练基于体素的变分自编码器的方法,用于探索自动编码器学习的潜在空间的用户界面,以及用于对象分类的深度卷积神经网络架构。我们解决了基于体素的表示所特有的挑战,并在ModelNet基准上对我们的模型进行了经验评估,在该基准上,我们展示了对象分类的最新技术水平的51.5%的相对改进。
2016-08-16 cs.CV cs.HC cs.LG
AdaScan: Adaptive Scan Pooling in Deep Convolutional Neural Networks for Human Action Recognition in Videos
IIT Kanpur(印度理工学院坎普尔分校);SRI International(SRI国际);UCSD(加州大学圣地亚哥分校)
我们提出了一种新的方法,用于在视频中的人类动作识别任务的时间池帧。该方法的动机是观察到,只有少量的帧,它们一起包含足够的信息来区分存在于视频中的动作类,从其余的。所提出的方法学习池这样的歧视性和信息帧,而丢弃在一个单一的时间扫描的视频中的非信息帧的大部分。我们的算法通过连续预测每个视频帧的区分重要性并随后将其汇集在深度学习框架中来实现。我们在标准基准上展示了我们提出的池化方法的有效性,它始终改进了基线池化方法,并基于RGB和光流的卷积网络。此外,结合互补的视频表示,我们显示的结果是有竞争力的两个具有挑战性的和公开可用的基准数据集上的最先进的结果。
2017-06-25 cs.CV
Automated Deception Detection from Videos: Using End-to-End Learning Based High-Level Features and Classification Approaches
Otto-von-Guericke University(奥托·冯·格里克大学)
本研究提出结合深度学习与判别模型的多模态方法,利用视频中的面部表情、凝视和头部姿态进行自动欺骗检测,在五个数据集上验证了方法的有效性。
2023-07-13 cs.CV
On the Evaluation of Generative Adversarial Networks By Discriminative Models
Virginia Tech(弗吉尼亚理工大学)
生成对抗网络(GANs)可以准确地对复杂的多维数据建模并生成真实的样本。然而,由于它们对数据分布的隐式估计,它们的评估是一项具有挑战性的任务。大多数与解决这一问题相关的研究工作都是通过定性视觉评估进行验证的。这样的方法不能很好地推广到图像域之外。由于其中许多评估指标是针对视觉领域提出的,因此很难应用于其他领域。量化措施是必要的,以更好地指导不同GANs模型的训练和比较。在这项工作中,我们利用Siamese神经网络提出了一个领域不可知的评估指标:(1)具有与人类评估一致的定性评估,(2)相对于常见的GAN问题(如模式丢弃和发明)是鲁棒的,(3)不需要任何预先训练的分类器。本文的实证结果表明,该方法的优越性相比,流行的Inception评分和竞争力的FID评分。
2020-10-07 cs.AI cs.CV
Predicting Human Interaction via Relative Attention Model
Shanghai Jiao Tong University(上海交通大学)
预测人类交互是具有挑战性的,因为必须基于部分观察到的视频来推断正在进行的活动。从本质上讲,一个好的算法应该有效地模拟两个交互主体之间的相互影响。此外,只有场景中的一个小区域是有区别的,用于识别正在进行的交互。在这项工作中,我们提出了一个相对注意力模型,明确地解决这些困难。建立在一个三耦合的深度递归结构,代表相互作用的主题和全球互动状态,建议的网络收集时空信息,从每个主题,纠正与全球互动信息,产生有效的互动表示。此外,建议的网络还统一了一个注意力模块,以分配更高的重要性,与正在进行的行动相关的区域。在两个公共数据集上进行了大量的实验,结果表明,所提出的相对注意力网络成功地预测了交互主体之间的信息区域,从而产生了优越的人类交互预测精度。
2017-05-26 cs.CV
Discriminative Neural Clustering for Speaker Diarisation
Cambridge University(剑桥大学)
在本文中,我们提出了判别神经聚类(DNC),制定了数据聚类的最大数量的集群作为一个监督序列到序列的学习问题。与传统的无监督聚类算法相比,DNC从训练数据中学习聚类模式,而不需要显式定义相似性度量。基于Transformer架构的DNC实现被证明是有效的扬声器diarisation任务,使用具有挑战性的AMI数据集。由于AMI仅包含147个完整的会议作为单独的输入序列,因此数据稀缺是训练DNC的Transformer模型的重要问题。因此,本文提出了三种数据增强方案:子序列随机化,输入向量随机化,和Diaconis增强,它通过旋转整个输入序列的L2归一化扬声器嵌入生成新的数据样本。AMI上的实验结果表明,相对于谱聚类,DNC实现了29.4%的说话人错误率(SER)的降低。
2020-11-23 cs.CL cs.CV cs.LG
Multi-modal Discriminative Model for Vision-and-Language Navigation
Google AI Language(谷歌人工智能语言团队)
视觉和语言导航(VLN)是一种基于自然语言的任务,智能体必须在动态环境中的视觉场景中解释自然语言指令,以实现预定的导航目标。成功的智能体必须有能力解析不同语言风格的自然语言,将它们置于可能不熟悉的场景中,计划并对模糊的环境反馈做出反应。泛化能力受到人类注释数据量的限制。特别是,\emph{paired}视觉语言序列数据是昂贵的collection.We开发了一个评价如何以及指令解释一个给定的路径在VLN任务使用多模态对齐。我们的研究表明,只有一小部分来自\citet{Fried:2018:Speaker}的高质量增强数据(由我们的研究人员评分)对于训练VLN代理在以前看不见的环境中具有相似的性能是有用的。我们还表明,一个VLN代理热启动与预先训练的组件,从EQUIPMENT优于基准的成功率35.5的10%的相对措施,以前看不见的环境。
2019-05-31 cs.CL cs.CV
CHIP: Channel-wise Disentangled Interpretation of Deep Convolutional Neural Networks
University of British Columbia(不列颠哥伦比亚大学)
随着深度卷积神经网络(DCNN)的广泛应用,DCNN不仅要做出准确的预测,还要解释它们如何做出决策,这一点变得越来越重要。在这项工作中,我们提出了一个CHannel-wise解纠缠解释(CHIP)模型,为DCNN的预测提供视觉解释。该模型利用稀疏正则化提取网络中信道的类区分重要性。在这里,我们首先引入网络扰动技术来学习模型。该模型不仅能够从网络中提取全局视角知识,而且能够为网络的特定预测提供分类判别的视觉解释。值得注意的是,所提出的模型能够解释网络的不同层,而无需重新训练。通过结合不同层次的解释知识,我们进一步提出了高分辨率和分类判别的精化CHIP目视解释。在标准数据集上的实验结果表明,与现有的视觉解释方法相比,该模型为图像分类任务中的网络预测提供了很好的视觉解释。此外,在ILSVRC 2015弱监督定位任务的应用中,所提出的方法优于相关方法。
2019-12-13 cs.CV cs.LG
ESsEN: Training Compact Discriminative Vision-Language Transformers in a Low-Resource Setting
Department of Computer Science(计算机科学系)
本文提出ESsEN模型,通过双塔编码器结构和传统卷积网络,实现低资源环境下高效视觉-语言模型训练,实验表明其参数量仅为其他模型的分数,性能优异。
2026-04-20 cs.CL cs.CV
GRIP-VLM: Group-Relative Importance Pruning for Efficient Vision-Language Models
Institute for AI Industry Research (AIR), Tsinghua University(人工智能产业研究院(AIR),清华大学);Juhaokan Technology Co.,Ltd(极皓科技有限公司);Nanjing University(南京大学);University of Science and Technology of China(中国科学技术大学)
GRIP-VLM通过强化学习框架解决视觉语言模型中大规模视觉token处理的计算瓶颈,通过组相对重要性策略优化实现高效压缩,达到15%的推理加速。
2026-05-13 cs.AI cs.CV
LightBSR: Towards Lightweight Blind Super-Resolution via Discriminative Implicit Degradation Representation Learning
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(多模态人工智能系统国家重点实验室,中国科学院自动化研究所);North China Electric Power University(华北电力大学);Beijing Jiaotong University(北京交通大学);YunQue AGI, Hangzhou, China(云阙AGI,杭州,中国)
针对盲超分辨率中模型过度复杂化的问题,本文提出轻量级模型LightBSR,通过基于知识蒸馏的退化先验约束对比学习优化隐式退化表示的判别性,以极低复杂度实现卓越性能。
2025-06-28 cs.CV eess.IV
Importance Sampling CAMs for Weakly-Supervised Segmentation
Husqvarna Group(胡斯华纳集团);University of KwaZulu-Natal(夸祖鲁-纳塔尔大学)
针对弱监督分割中CAMs仅关注判别区域且预测轮廓模糊的问题,提出基于重要性采样的随机类别预测和特征相似性损失项,显著提升了轮廓精度并保持了区域相似性。
2023-04-04 cs.CV cs.LG eess.IV
Discriminative Span as a Predictor of Synthetic Data Utility via Classifier Reconstruction
School Of Computer Science(计算机科学学院);Vellore Institute of Technology(维杰雷理工学院)
本文提出一种几何驱动的指标,通过预训练模型的嵌入空间评估合成数据效用,无需模型训练,通过测量线性分类器权重向量在变化子空间中的投影误差,判断合成数据对下游分类性能的影响。
2026-09-11 cs.CV cs.LG
Image-driven discriminative and generative machine learning algorithms for establishing microstructure-processing relationships
Rensselaer Polytechnic Institute(伦斯勒理工学院);Pacific Northwest National Laboratory(太平洋西北国家实验室);GE Research(通用电气研究)
为了从显微组织图像数据中预测加工条件,我们研究了显微组织表示方法。研究了目前正在开发的作为核燃料的二元合金(铀-钼),目的是开发一种改进的机器学习方法,用于图像识别、表征和建立将微结构与加工条件联系起来的预测能力。在这里,我们测试了不同的微观结构表示,并根据F1评分评估模型性能。实现了95.1%的F1分数用于区分对应于十种不同热机械材料处理条件的显微照片。我们发现,我们新开发的微观结构表示很好地描述了图像数据,利用不同阶段的面积分数的传统方法是不足以区分多个类别使用相对较小的,不平衡的原始数据集的272个图像。为了探索生成方法用于补充此类有限数据集的适用性,生成对抗网络被训练以生成人工微结构图像。两个不同的生成网络进行了训练和测试,以评估性能。还讨论了将机器学习应用于有限的微观结构图像数据集的挑战和最佳实践。我们的工作有影响的定量微观结构分析,并在有限的数据集典型的冶金工艺设计研究的微观结构加工关系的发展。
2020-07-27 cs.CV eess.IV physics.app-ph