Robust Structured Declarative Classifiers for 3D Point Clouds: Defending Adversarial Attacks with Implicit Gradients
University of Kansas(堪萨斯大学);Worcester Polytechnic Institute(伍斯特理工学院);Ryerson University(瑞尔森大学)
用于3D点云分类的深度神经网络(如PointNet)已被证明易受对抗攻击的攻击。当前的对抗性防御者通常学会通过重建来对(被攻击的)点云进行降噪,然后将它们作为输入提供给分类器。与文献相比,我们提出了一个强大的结构化声明分类器的点云分类,其中的内部约束优化机制可以有效地防御对抗攻击通过隐式梯度。这样的分类器可以使用双层优化框架来制定。我们进一步提出了一个有效的和高效的实例化我们的方法,即格点分类器(LPC),基于结构化稀疏编码的permutohedral格和2D卷积神经网络(CNN)是端到端的可训练。我们在七种不同的攻击者下在ModelNet 40和ScanNet上展示了最先进的鲁棒点云分类性能。例如,在最近的JGBA攻击下,我们在每个数据集上实现了89.51%和83.16%的测试准确率,比DUP-Net和IF-Defense与PointNet的性能高出约70%。演示代码可在https://zhang-vislab.github.io上获得。
2022-03-29 cs.CV
Grad-PU: Arbitrary-Scale Point Cloud Upsampling via Gradient Descent with Learned Distance Functions
Fudan University(复旦大学);Google(谷歌)
针对现有方法上采样率固定且坐标预测易产生伪影的问题,提出Grad-PU框架,先按任意倍率插值,再用学习距离函数引导迭代细化,实现SOTA精度与效率。
2023-04-24 cs.CV
Gradient-based Point Cloud Denoising with Uniformity
Tsinghua University(清华大学);University of Bath(巴斯大学)
深度传感器获取的点云数据往往被噪声污染,阻碍了进一步的分析和应用。在本文中,我们强调点分布均匀性对下游任务的重要性。我们表明,现有的基于梯度的降噪产生的点云缺乏均匀性,尽管取得了可喜的定量结果。为此,我们提出了GPCD++,这是一种基于梯度的去噪器,具有一个名为UniNet的超轻量级网络来解决均匀性问题。与以前的最先进的方法相比,我们的方法不仅产生有竞争力的甚至更好的去噪结果,而且还显着提高了均匀性,这在很大程度上有利于表面重建等应用。
2022-07-21 cs.CV cs.GR
Surrogate Model-Based Explainability Methods for Point Cloud NNs
TU Dortmund(多特蒙德工业大学)
在自动驾驶和机器人领域,点云作为来自大多数主流3D传感器的原始数据显示出其出色的实时性能。因此,点云神经网络成为近年来的一个热门研究方向。然而,到目前为止,关于深度神经网络对点云的可解释性的讨论还很少。在本文中,我们提出了一个点云适用的可解释性方法的基础上,局部代理模型为基础的方法来显示哪些组件有助于分类。此外,我们提出了定量的保真度验证生成的解释,提高说服力的解释性和比较现有的不同点云适用的解释性方法的可行性。我们新的可解释性方法为点云分类任务提供了一个相当准确,语义上更连贯和广泛适用的解释。我们的代码可在https://github.com/Explain3D/LIME-3D上获得
2021-08-18 cs.CV cs.LG
Human-Interpretable Uncertainty Explanations for Point Cloud Registration
University of Tübingen(图宾根大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);German Aerospace Center(德国航空航天中心)
针对点云配准中传感器噪声等导致的不确定性,提出GP-CA方法,量化并归因不确定性,利用主动学习发现新来源,在公开数据集和真实实验中验证,性能优于现有方法。
2025-09-24 cs.CV cs.RO
XAI for Point Cloud Data using Perturbations based on Meaningful Segmentation
ZFT & UX-Vis Hochschule Worms(ZFT及UX-Vis沃姆斯应用技术大学);University of Applied Sciences Erenburgerstr. 19(埃伦堡街19号应用科学大学);Scientific Visualization Lab RPTU Kaiserslautern-Landau(科学可视化实验室赖兴瑙-兰道大学)
提出一种基于有意义分割的点云分类XAI方法,利用点云分割模型和新型点偏移机制引入扰动以生成显著性图,能产生比传统聚类方法更易于人类理解的有意义解释。
2025-07-29 cs.AI cs.CV
NumGrad-Pull: Numerical Gradient Guided Tri-plane Representation for Surface Reconstruction from Point Clouds
School of Computing, The Australian National University(澳大利亚国立大学计算机学院);Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程系);Department of Computer Science & Software Engineering, the University of Western Australia(西澳大学计算机科学与软件工程系)
本文针对从点云重建连续曲面的挑战,提出NumGrad-Pull方法,利用三平面结构、数值梯度、渐进平面扩展和数据采样策略,集成到统一框架,有效应对学习SDF的局部性和稀疏性问题,实验验证了方法的有效性和鲁棒性。
2026-07-08 cs.CV
Rethinking Gradient-based Adversarial Attacks on Point Cloud Classification
Southwest Jiaotong University(西南交通大学);City University of Hong Kong(香港城市大学)
本文提出WAAttack和SubAttack两种策略,通过动态调整点扰动幅度和适应性步长,提升攻击效果和隐蔽性,实验表明其在生成高隐蔽性对抗示例方面优于现有方法。
2026-03-18 cs.AI cs.CV
Registration between Point Cloud Streams and Sequential Bounding Boxes via Gradient Descent
Australia Nation University(澳大利亚国立大学);Chinese University of Hong Kong(香港中文大学);ShanghaiTech University(上海科技大学);University of Sydney(悉尼大学);University of New South Wales(新南威尔士大学)
针对点云流与序列边界框配准问题,提出利用边界框属性、通过含约束的整体目标函数建模并以梯度下降优化的方法,实现IoU提升40%的更鲁棒配准效果。
2024-09-14 cs.CV cs.RO
Explainability of Point Cloud Neural Networks Using SMILE: Statistical Model-Agnostic Interpretability with Local Explanations
University of Hull(赫尔大学);Dock Robotics Ltd(多克机器人有限公司)
本文研究将基于ECDF统计距离的可解释性方法SMILE应用于点云神经网络,在保真度、R2分数和鲁棒性上表现优越,并通过Jaccard指数建立点云模型稳定性基准,同时揭示数据集偏差问题。
2024-10-20 cs.AI cs.CV cs.LG
Score-Based Point Cloud Denoising
Wangxuan Institute of Computer Technology(王选计算机技术研究院);Peking University(北京大学)
本文提出一种基于分数的点云去噪方法,通过神经网络估计含噪点云分布的梯度并迭代更新点位置,在多种噪声模型下优于现有方法。
2024-02-28 cs.CV
Learning Gradient Fields for Shape Generation
Cornell University(康奈尔大学)
在这项工作中,我们提出了一种新的技术,从点云数据生成形状。点云可以被视为来自3D点分布的样本,其密度集中在形状的表面附近。因此,点云生成相当于将随机采样点移动到高密度区域。我们通过对未归一化的概率密度执行随机梯度上升来生成点云,从而将采样点移向高似然区域。我们的模型直接预测日志密度场的梯度,并且可以用从基于得分的生成模型适应的简单目标来训练。我们表明,我们的方法可以达到点云自动编码和生成的最先进的性能,同时也允许提取高质量的隐式曲面。代码可在https://github.com/RuojinCai/ShapeGF上获得。
2020-08-18 cs.CV cs.LG
Locating and Mitigating Gradient Conflicts in Point Cloud Domain Adaptation via Saliency Map Skewness
National Institute of Health Data Science, Peking University(北京大学国家健康数据科学研究院);Institute of Medical Technology, Peking University(北京大学医学技术研究院);State Key Laboratory of General Artificial Intelligence, Peking University(北京大学通用人工智能国家重点实验室);School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院)
针对点云无监督域自适应中自监督梯度冲突损害分类性能的问题,提出基于显著性图偏度的数据采样块(SM-DSB),动态过滤不利样本,可集成至现有框架并超越最先进方法。
2025-04-22 cs.CV cs.LG
ODAM: Gradient-based instance-specific visual explanations for object detection
City University of Hong Kong(香港城市大学)
本文提出 ODAM 方法,通过梯度加权生成实例级目标检测可视化解释,并结合 Odam-Train 训练方案和 Odam-NMS 策略,提升检测器解释质量与重复检测区分能力。
2023-04-13 cs.CV
Deep Point Set Resampling via Gradient Fields
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
通过扫描现实世界的物体或场景获得的3D点云已经找到了广泛的应用,包括沉浸式远程呈现,自动驾驶,监控等,它们经常受到噪声的干扰或密度低,这阻碍了下游任务,如表面重建和理解。在本文中,我们提出了一种新的范例点集恢复,学习连续梯度场的点云收敛点向底层表面。特别地,我们通过点云的梯度场-对数概率密度函数的梯度来表示点云,并强制梯度场是连续的,从而保证了可解优化模型的连续性。基于通过所提出的神经网络估计的连续梯度场,重建点云相当于对输入的噪声或稀疏点云执行基于梯度的马尔可夫链蒙特卡罗(MCMC)。此外,我们建议在点云恢复过程中将正则化引入到基于梯度的MCMC中,这实质上是迭代地细化中间重采样点云,并在重采样过程中容纳各种先验。大量的实验结果表明,所提出的点集恢复实现了最先进的性能,在代表性的恢复任务,包括点云去噪和上采样。
2021-11-03 cs.CV
DAM: Diffusion Activation Maximization for 3D Global Explanations
TU Dortmund(多特蒙德工业大学)
针对点云黑盒模型可解释性不足的问题,提出基于DDPM的DAM全局解释方法,结合PDT与双分类器引导及适配的路径梯度积分,在多指标上优于现有方法且生成时间更短。
2024-01-26 cs.CV
Integrated Grad-CAM: Sensitivity-Aware Visual Explanation of Deep Convolutional Networks via Integrated Gradient-Based Scoring
University of Toronto(多伦多大学);LG AI Research(LG人工智能研究院)
可视化由卷积神经网络(CNN)捕获的特征是在许多图像识别应用中解释由这些模型做出的预测的常规方法之一。Grad-CAM是一种流行的解决方案,它通过结合从模型中获得的激活图来提供这种可视化。然而,在这种方法中部署的平均基于梯度的项低估了模型发现的表示对其预测的贡献。为了解决这个问题,我们引入了一个解决方案来解决这个问题,通过计算梯度CAM中基于梯度的项的路径积分。我们进行了全面的分析,以证明我们的方法在测量提取的表示对CNN的预测的重要性方面所取得的改进,这有助于我们的方法在对象定位和模型解释方面的管理。
2021-02-15 cs.CV
Clarity: an improved gradient method for producing quality visual counterfactual explanations
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);CentraleSupélec(巴黎中央理工-高等电力学院)
视觉反事实解释识别对图像的修改,这些修改将改变分类器的预测。我们提出了一套基于生成模型(VAE)和分类器集成直接训练的潜在空间,这一切在一起,提高计算视觉反事实所需的梯度的质量的技术。这些改进导致了一种新的分类模型Clarity,它可以对所有图像产生逼真的反事实解释。我们还提出了几个实验,让我们深入了解为什么这些技术导致更好的质量比文献中的结果。所产生的解释与最先进的竞争力,并强调选择一个有意义的输入空间进行培训的重要性。
2022-11-22 cs.CV cs.LG
Effective Cloud Detection and Segmentation using a Gradient-Based Algorithm for Satellite Imagery; Application to improve PERSIANN-CCS
The Pennsylvania State University(宾夕法尼亚州立大学);University of California, Irvine(加州大学欧文分校)
能够有效地识别云并监测其演变是实现更准确的定量降水估计和预报的重要一步。在这项研究中,一个新的基于梯度的云图像分割技术开发使用的工具,从图像处理技术。该方法将形态学图像的梯度幅度集成到可分离的云系统和补丁边界。为了降低图像分割对噪声的敏感性,并捕获具有各种边缘精细度的遥感图像中的目标,实现了一种变尺度核。所提出的方法是灵活的和可扩展的单到多光谱图像。通过将所提出的分割算法应用于由高分辨率天气预报模型模拟的地球同步业务环境卫星(GOES-R)通道的合成辐射度,进行了案例研究以验证该算法。所提出的方法相比,毫不逊色于现有的云补丁为基础的分割技术实现的PERSIANN-CCS(降水估计从遥感信息使用人工神经网络-云分类系统)降雨反演算法。基于事件的图像的评估表明,该算法有可能提高降雨检测和估计技能,与PERSIANN-CCS中使用的分割技术相比,平均增益超过45%,并将云区域识别为准确率高达98%的对象。
2018-09-27 cs.CV
Fusion-CAM: Integrating Gradient and Region-Based Class Activation Maps for Robust Visual Explanations
IRIT, UMR5505 CNRS Université de Toulouse(IRIT,CNRS,Université de Toulouse);INRAE, Centre Occitanie-Toulouse Unité Expérimentale APC(INRAE,Centre Occitanie-Toulouse,Unité Expérimentale APC)
Fusion-CAM通过整合梯度和基于区域的类别激活图,提供更稳健和判别的视觉解释,优于现有方法。
2026-03-05 cs.CV
Towards Gradient-based Time-Series Explanations through a SpatioTemporal Attention Network
Singapore Management University(新加坡管理大学)
本文提出利用时空注意力网络(STAN)结合梯度XAI技术,在弱监督下识别时间序列视频中的关键帧,并在四个医学活动数据集上验证了其有效性。
2024-05-18 cs.CV cs.LG
Cloud Adversarial Example Generation for Remote Sensing Image Classification
提出基于Perlin噪声的云生成攻击方法,通过PGGN网络和差分进化算法优化云参数向量,实现高查询效率的黑盒攻击,并验证了攻击能力、迁移性与防御鲁棒性。
2024-09-21 cs.CV
IDGI: A Framework to Eliminate Explanation Noise from Integrated Gradients
Illinois Institute of Technology(伊利诺伊理工学院)
集成代理(IG)及其变体是用于解释深度神经网络决策的众所周知的技术。虽然基于IG的方法达到了最先进的性能,但它们经常将噪声集成到解释显着性图中,这降低了它们的可解释性。为了最大限度地减少噪声,我们分析了噪声的来源,并提出了一种新的方法来减少解释噪声的基础上,我们的分析结果。我们提出了重要方向梯度积分(IDGI)框架,它可以很容易地纳入任何基于IG的方法,使用雷曼积分的综合梯度计算。与三个IG为基础的方法进行了大量的实验表明,IDGI大大提高了他们的许多可解释性指标。
2023-03-24 cs.AI cs.CV cs.LG
The Manifold Hypothesis for Gradient-Based Explanations
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心)
本研究提出基于梯度的解释算法的感知一致性与特征归因和数据流形切空间的对齐度相关的假设,通过多数据集实验验证该假设,并发现主流事后方法、对抗训练可提升对齐度,为解释算法优化提供方向。
2024-07-15 cs.CV cs.LG
Clouds of Oriented Gradients for 3D Detection of Objects, Surfaces, and Indoor Scene Layouts
Georgia Institute of Technology(佐治亚理工学院);University of California, Irvine(加州大学欧文分校)
我们开发新的表示和算法的三维(3D)目标检测和空间布局预测在杂乱的室内场景。我们首先提出了一个云的定向梯度(COG)描述符,链接的2D外观和3D姿态的对象类别,从而准确地模拟透视投影如何影响感知图像梯度。为了更好地表示大对象的3D视觉风格,并提供上下文线索,以提高小对象的检测,我们引入潜在的支持表面。然后,我们提出了一个“曼哈顿体素”表示,更好地捕捉常见的室内环境的三维房间布局几何。有效的分类规则是通过潜在的结构化预测框架学习的。通过级联分类器捕获类别和布局之间的上下文关系,从而产生超越SUN RGB-D数据库最先进水平的整体场景假设。
2019-06-11 cs.CV
medXGAN: Visual Explanations for Medical Classifiers through a Generative Latent Space
Northwestern University(西北大学);Google(谷歌)
尽管深度学习在过去十年中激增,但由于其黑盒性质,一些用户对在实践中部署这些模型持怀疑态度。具体来说,在存在严重潜在影响的医疗领域,我们需要开发方法来获得对模型决策的信心。为此,我们提出了一种新的医学成像生成对抗框架,medX GAN(医学解释GAN),以直观地解释医学分类器在其二进制预测中的重点。通过对医学图像的领域知识进行编码,我们能够解开解剖结构和病理,通过潜在插值实现细粒度可视化。此外,我们优化了潜在空间,使得插值解释了特征如何对分类器的输出做出贡献。我们的方法优于基线,如协同加权类激活映射(梯度CAM)和集成协同在本地化和解释能力。此外,将medXGAN与集成子模型相结合可以产生对噪声更鲁棒的解释。该代码可从以下网址获取:https://avdravid.github.io/medXGAN_page/。
2022-04-17 cs.CV
Sampling Matters in Explanations: Towards Trustworthy Attribution Analysis Building Block in Visual Models through Maximizing Explanation Certainty
University of Galway(加拉维大学)
针对梯度积分归因分析中样本分布错位导致解释确定性低的问题,提出通过抑制输入特征的半最优采样方法,在ImageNet上验证其有效性及优越性。
2025-06-25 cs.CV
Visual Explanations from Deep Networks via Riemann-Stieltjes Integrated Gradient-based Localization
DePaul University(德保罗大学);Northwestern University(西北大学)
神经网络在涉及图像分类和识别的任务中变得越来越好。与此同时,已经提出了旨在解释网络输出的技术。一种这样的技术是基于卷积的类激活映射(Grad-CAM),其能够在卷积神经网络(CNN)的各个级别定位输入图像的特征,但是对消失梯度问题敏感。有一些技术,如集成代理(IG),不受这个问题的影响,但它的使用仅限于网络的输入层。在这里,我们介绍了一种新的技术,以产生视觉解释的预测CNN。像Grad-CAM一样,我们的方法可以应用于网络的任何层,并且像集成的梯度一样,它不受消失梯度问题的影响。为了提高效率,梯度积分是在层的水平上使用黎曼Stieltjes和近似进行数值。与Grad-CAM算法相比,该算法生成的热图更好地集中在感兴趣的区域,并且其数值计算更稳定。我们的代码可在https://github.com/mlerma54/RSIGradCAM上获得
2022-05-22 cs.AI cs.CV
On the Complexity-Faithfulness Trade-off of Gradient-Based Explanations
KTH Royal Institute of Technology(皇家理工学院)
针对ReLU网络梯度解释噪声大且现有平滑方法牺牲忠实度的问题,提出统一光谱框架量化平滑性与忠实度的权衡,揭示代理平滑导致的解释差距,并通过实验验证理论发现。
2025-08-14 cs.AI cs.CV cs.LG
Guided AbsoluteGrad: Magnitude of Gradients Matters to Explanation's Localization and Saliency
ImageNet-S;ResNet-50;ISIC;EfficientNet;Places365;DenseNet-161
本文提出基于梯度的XAI方法Guided AbsoluteGrad,利用正负梯度幅值和方差降噪,并引入RCAP指标评估定位与噪声,在三个数据集上超越七种基线方法。
2025-06-18 cs.AI cs.CV cs.HC
Grad-ECLIP: Gradient-based Visual and Textual Explanations for CLIP
Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系);Division of Social Science and Department of Computer Science & Engineering, Hong Kong University of Science & Technology(香港科学与技术大学社会科学学院及计算机科学与工程系);SenseTime Group Ltd(时光集团有限公司)
本文提出Grad-ECLIP方法,通过分解CLIP编码器架构并分析匹配相似度与中间空间特征的关系,生成有效热图以解释CLIP匹配结果。通过通道和空间权重提升视觉解释质量,并通过定性定量评估验证其有效性。
2026-08-10 cs.CV
Gradient Frequency Modulation for Visually Explaining Video Understanding Models
Rochester Institute of Technology(罗切斯特理工学院)
在许多应用中,理解为什么机器学习模型做出它所做的决定是至关重要的,但这受到最先进的神经网络的黑盒性质的抑制。正因为如此,深度学习中的可解释性越来越受到关注,包括在视频理解领域。由于视频数据的时间维度,解释视频动作识别模型的主要挑战是产生时空一致的视觉解释,这在现有文献中被忽略。在本文中,我们提出了基于频率的极值扰动(F-EP)来解释一个视频理解模型的决定。由于扰动方法给出的解释在空间和时间上都是噪声和非光滑的,我们提出用离散余弦变换(DCT)调制来自神经网络模型的梯度映射的频率。我们在一系列的实验中表明,F-EP提供了更多的时空一致的解释,更忠实地代表模型的决定相比,现有的国家的最先进的方法。
2021-11-30 cs.CV
On Spectral Properties of Gradient-based Explanation Methods
Department of Computer Science, Royal Institute of Technology(计算机科学系,皇家理工学院)
本文从概率与谱视角正式分析了深度网络解释方法,揭示了梯度导致的谱偏置,并提出标准扰动尺度机制与SpectralLens聚合方法以解决SmoothGrad等方法中的解释不一致问题。
2025-08-14 cs.AI cs.CV cs.LG
Which Models have Perceptually-Aligned Gradients? An Explanation via Off-Manifold Robustness
Harvard University(哈佛大学);University of Tübingen(蒂宾根大学)
该研究针对鲁棒视觉模型的感知对齐梯度机制不明的问题,通过流形外鲁棒性首次给出理论解释,验证了多种鲁棒训练模型的符合度,并划分出三种影响感知对齐与准确率的鲁棒性状态。
2024-03-11 cs.CV cs.LG
Recipro-CAM: Fast gradient-free visual explanations for convolutional neural networks
Intel Corp.(英特尔公司)
卷积神经网络(CNN)是一种广泛用于计算机视觉的深度学习架构。然而,它的黑箱性质使得很难解释模型的行为。为了缓解这个问题,人工智能从业者已经探索了可解释的人工智能方法,如类激活图(CAM)和Grad-CAM。虽然这些方法已经显示出前景,但它们受到架构约束或梯度计算负担的限制。为了克服这个问题,Score-CAM和Ablation-CAM已经被提出作为无梯度方法,但是与基于CAM或Grad-CAM的方法相比,它们具有更长的执行时间,使得它们不适合现实世界的解决方案,尽管它们解决了梯度相关的问题并启用了推理模式XAI。为了解决这个问题,我们提出了一种快速的无梯度倒数CAM(Recipro-CAM)方法。我们的方法涉及在空间上掩蔽提取的特征图,以利用激活图和目标类的网络预测之间的相关性。我们提出的方法已经产生了有希望的结果,在平均丢弃相干复杂度(ADCC)度量方面优于当前最先进的方法,从$1.78 \%$到$3.72 \%$,不包括VGG-16骨干。此外,Recipro-CAM以与Grad-CAM相似的速率生成显著性图,并且比Score-CAM快大约$148$倍。Recipro-CAM的源代码可以在我们的数据分析框架中找到。
2023-03-13 cs.CV cs.LG
Point Cloud Semantic Segmentation with Sparse and Inhomogeneous Annotations
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Tencent(腾讯)
针对点云语义分割中稀疏标注的非均匀性问题,提出AADNet网络,通过标签感知下采样和乘性动态熵梯度校准,在多种标签率下实现性能提升。
2024-12-19 cs.CV
Towards Explainable LiDAR Point Cloud Semantic Segmentation via Gradient Based Target Localization
IISER Bhopal(印度科学教育与研究学院博帕尔分校)
本文提出pGS-CAM,一种基于梯度的点云语义分割可解释性方法,通过在多个数据集和3D架构上生成显著性图,揭示模型中间激活中每个点的贡献,从而帮助理解预测机制并发现改进空间。
2024-02-19 cs.AI cs.CV
Expected Grad-CAM: Towards gradient faithfulness
Halmstad University(哈尔姆斯塔德大学)
提出Expected Grad-CAM方法,通过Expected Gradients和kernel smoothing重塑梯度计算,解决梯度饱和与基线敏感性问题,构建更忠实鲁棒的局部解释。
2024-06-25 cs.CV cs.LG
ViT-ReciproCAM: Gradient and Attention-Free Visual Explanations for Vision Transformer
Intel Corp.(英特尔公司)
针对 ViT 预测解释依赖注意力或梯度的问题,本文提出 ViT-ReciproCAM,通过 token masking 与目标层输出生成显著图,ADCC 指标较 Relevance 提升 4.58%–5.80%。
2023-10-04 cs.CV cs.LG
Scaling Symbolic Methods using Gradients for Neural Model Explanation
Google Research(谷歌研究院)
基于可满足性模理论(SMT)求解器的符号技术已被提出用于分析和验证神经网络特性,但由于其在大型网络中的可扩展性差,其使用受到相当的限制。在这项工作中,我们提出了一种技术相结合的基于梯度的方法与符号技术来扩展这种分析,并展示其应用模型的解释。特别是,我们应用这种技术来识别输入中与神经网络的预测最相关的最小区域。我们的方法使用梯度信息(基于集成的神经元)来关注第一层中的神经元子集,这使得我们的技术可以扩展到大型网络。对应的SMT约束对最小输入掩码发现问题进行编码,使得在对输入进行掩码之后,所选神经元的激活仍然高于阈值。在求解最小掩码之后,我们的方法对掩码区域进行评分,以生成掩码内特征的相对排序。这会产生一个显着图,解释在进行预测时“模型在看什么”。我们在三个数据集上评估了我们的技术- MNIST,ImageNet和Beer Reviews,并在定量和定性上证明了我们的方法生成的区域比单独基于梯度的方法更稀疏,并且获得了更高的显着性分数。代码和示例在-https://github.com/google-research/google-research/tree/master/smug_saliency
2021-05-05 cs.AI cs.CV cs.LG
HiRA-CAM: Preserving Fine-Grained Spatial Relevance in Gradient-Based Visual Explanations
University of Cincinnati(辛辛那提大学)
本文针对CNN可解释性问题,提出基于LayerCAM改进的HiRA-CAM方法,通过自适应利用CNN各层激活图生成更聚焦的显著性图,其在物体分类任务的显著性图生成上优于LayerCAM与Grad-CAM。
2026-08-21 cs.AI cs.CV cs.LG
Generalizing Adversarial Explanations with Grad-CAM
EURECOM(欧洲通信学院)
梯度加权类激活映射(Grad- CAM)是一种基于示例的解释方法,其提供梯度激活热图作为卷积神经网络(CNN)模型的解释。这种方法的缺点是它不能用来概括CNN的行为。在本文中,我们提出了一种新的方法,扩展梯度CAM从基于实例的解释,解释全球模型的行为的方法。这是通过引入两个新的度量来实现的,(i)平均观测相异性(MOD)和(ii)相异性变化(VID),用于模型泛化。这些指标是通过比较Grad-CAM为原始测试集和对抗测试集的样本生成的热图的归一化反向结构相似性指数(NISSIM)指标来计算的。在我们的实验中,我们使用快速梯度符号方法(FGSM)研究了对深度模型(如VGG 16,ResNet 50和ResNet 101)以及宽模型(如InceptionNetv 3和XceptionNet)的对抗攻击。然后,我们使用VGGFace 2数据集计算自动人脸识别(AFR)用例的度量MOD和VID。我们观察到Grad-CAM热图中突出显示的区域的一致变化,反映了在对抗攻击下所有模型的决策参与。所提出的方法可用于理解对抗攻击,并解释用于图像分析的黑盒CNN模型的行为。
2022-04-11 cs.CR cs.CV
Use HiResCAM instead of Grad-CAM for faithful explanations of convolutional neural networks
Duke University(杜克大学)
解释方法促进了模型的开发,这些模型可以学习有意义的概念,避免利用虚假的相关性。我们说明了流行的神经网络解释方法Grad-CAM的一个以前未被认识到的局限性:作为梯度平均步骤的副作用,Grad-CAM有时会突出模型实际上没有使用的位置。为了解决这个问题,我们提出了HiResCAM,这是一种新的特定于类的解释方法,保证只突出模型用于进行每个预测的位置。我们证明了HiResCAM是CAM的推广,并探讨了HiResCAM与其他基于梯度的解释方法之间的关系。在PASCAL VOC 2012上的实验,包括众包评估,表明虽然HiResCAM的解释忠实地反映了模型,但Grad-CAM通常会扩大注意力,以创建更大更平滑的可视化。总的来说,这项工作推进了卷积神经网络解释方法,并可能有助于为敏感应用开发值得信赖的模型。
2021-11-21 cs.CV cs.LG eess.IV
Improving Interpretability for Computer-aided Diagnosis tools on Whole Slide Imaging with Multiple Instance Learning and Gradient-based Explanations
Keen Eye(基恩眼公司);LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI实验室)
深度学习方法广泛用于医疗应用,以帮助医生进行日常工作。虽然性能达到专家水平,但可解释性(强调训练模型如何学习和学习了什么以及为什么做出特定决策)是深度学习方法需要解决的下一个重要挑战,以便完全集成在医学领域。在本文中,我们解决的问题,在整个幻灯片图像(WSI)分类的背景下的可解释性。我们形式化的WSI分类架构的设计,并提出了一个分段的可解释性的方法,依赖于基于梯度的方法,功能可视化和多实例学习上下文。我们的目的是解释如何根据图块级别评分做出决策,如何决定这些图块评分以及使用哪些功能并与任务相关。在Camelyon-16 WSI数据集上训练了两个WSI分类架构,突出了学习到的判别特征,并与病理学家验证了我们的方法之后,我们提出了一种基于提取的特征计算可解释性幻灯片级热图的新方法,该方法将AUC的瓦片级分类性能提高了29%以上。
2020-09-29 cs.CV cs.LG
Improving Visual Grounding by Encouraging Consistent Gradient-based Explanations
Rice University(莱斯大学);Adobe Research(Adobe研究院)
提出基于间隔的损失函数AMC,使视觉-语言模型的梯度解释与人类区域标注一致,在Flickr30k和RefCOCO+等基准上取得SOTA表现。
2024-01-07 cs.CL cs.CV cs.LG
Abs-CAM: A Gradient Optimization Interpretable Approach for Explanation of Convolutional Neural Networks
Hubei University of Technology(湖北工业大学);Central China Normal University(华中师范大学)
深度神经网络(DNN)的黑箱性质严重阻碍了其性能的提高和在特定场景中的应用。近年来,基于类激活映射的方法被广泛用于解释计算机视觉任务中模型的内部决策。然而,当这种方法使用反向传播来获得梯度时,它会在显着图中产生噪声,甚至定位与决策无关的特征。本文提出了一种基于绝对值类激活映射(Abs-CAM)的方法,该方法对反向传播得到的梯度进行优化,将其全部转化为正梯度,以增强输出神经元激活的视觉特征,提高显着图的定位能力。Abs-CAM的框架分为两个阶段:生成初始显著图和生成最终显著图。第一阶段通过优化梯度提高显著图的定位能力,第二阶段将初始显著图与原始图像线性结合,增强显著图的语义信息。我们对所提出的方法进行了定性和定量的评估,包括删除,插入和指向游戏。实验结果表明,Abs-CAM能明显消除显著图中的噪声,能更好地定位与决策相关的特征,在识别和定位任务中优于以往的方法。
2022-07-08 cs.AI cs.CV cs.LG
Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization
Georgia Institute of Technology(佐治亚理工学院);Facebook AI Research(Facebook人工智能研究院)
我们提出了一种技术,用于从一大类基于CNN的模型中为决策生成“视觉解释”,使其更加透明。我们的方法-加权类激活映射(Grad-CAM),使用任何目标概念的梯度,流入最终的卷积层,以产生一个粗略的定位图,突出图像中的重要区域,用于预测概念。Grad-CAM适用于各种各样的CNN模型家族:(1)具有全连接层的CNN,(2)用于结构化输出的CNN,(3)用于具有多模态输入或强化学习的任务的CNN,而无需任何架构更改或重新训练。我们将Grad-CAM与细粒度可视化相结合,以创建高分辨率的类区分可视化,并将其应用于现成的图像分类,字幕和视觉问答(VQA)模型,包括基于ResNet的架构。在图像分类模型的背景下,我们的可视化(a)可以深入了解它们的故障模式,(b)对对抗图像具有鲁棒性,(c)在定位方面优于以前的方法,(d)更忠实于底层模型,(e)通过识别数据集偏差来帮助实现泛化。对于字幕和VQA,我们表明,即使是非注意力为基础的模型可以本地化的输入。我们设计了一种通过Grad-CAM识别重要神经元的方法,并将其与神经元名称相结合,为模型决策提供文本解释。最后,我们设计并进行人体研究来衡量Grad-CAM是否可以帮助用户建立对模型预测的适当信任,并表明Grad-CAM可以帮助未经训练的用户成功地从“较弱”的节点中辨别出“较强”的节点,即使两者都做出相同的预测。我们的代码可以在https://gi…
2019-12-03 cs.AI cs.CV cs.LG
Attributional Robustness Training using Input-Gradient Spatial Alignment
Adobe(奥多比);IIT Hyderabad(印度理工学院海得拉巴分校)
可解释性是可信机器学习的一个新兴研究领域。机器学习系统的安全部署要求预测及其解释是可靠和鲁棒的。最近,研究表明,通过在输入中添加视觉上难以察觉的扰动,同时保持模型的预测不变,可以很容易地操纵解释。在这项工作中,我们研究的问题归因的鲁棒性(即模型具有强大的解释),通过显示输入图像和其解释图之间的空间相关性的归因脆弱性的上限。我们提出了一种训练方法,学习强大的功能,最大限度地减少这个上限使用软利润率三重损失。我们的稳健归因训练方法(\textit{ART})在几个标准数据集上实现了$\approx$ 6-18 $\%$的新的最先进的归因稳健性测量。SVHN、CIFAR-10和GTSRB。我们进一步展示了所提出的鲁棒训练技术(\textit{ART})在弱监督对象定位的下游任务中的实用性,通过在CUB-200数据集上实现新的最先进的性能。
2020-07-18 cs.CV cs.LG eess.IV
Noise-Free Explanation for Driving Action Prediction
University of Manchester(曼彻斯特大学);Imperial College London(帝国理工学院)
针对现有注意力可解释方法存在片面性、易产生虚假噪声归因的问题,提出SNNA方法,通过值向量范数加权注意力、梯度引导标签信号及扰动平均梯度生成无噪声归因,在驾驶动作预测多标签任务上的定性定量评估均优于现有SOTA方法。
2024-07-08 cs.AI cs.CV
Class Activation Mapping in Explainable Computer Vision: A Method-Centered Review of CNN, Transformer, and Foundation-Model-Era Visual Explanations
本综述以方法为中心,整合57篇文献,梳理CAM类视觉解释方法的发展,构建分类体系,分析其从CNN到基础模型时代的演进趋势,同时指出评估碎片化的问题。
2026-08-17 cs.AI cs.CV
Shap-CAM: Visual Explanations for Convolutional Neural Networks based on Shapley Value
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
解释深度卷积神经网络最近引起了越来越多的关注,因为它有助于理解网络的内部操作以及为什么它们会做出某些决定。显着图强调与网络决策相关的显着区域,是计算机视觉社区中可视化和分析深层网络的最常见方法之一。然而,现有的方法产生的显着图不能代表真实的信息,由于未经证实的建议,激活地图的权重缺乏坚实的理论基础,并没有考虑到每个像素之间的关系。在本文中,我们开发了一种新的事后视觉解释方法称为Shap-CAM类激活映射的基础上。与以往的基于梯度的方法不同,Shap-CAM通过Shapley值获得每个像素的重要性,从而摆脱了对梯度的依赖。我们证明了Shap-CAM实现了更好的视觉性能和公平性,用于解释决策过程。我们的方法在识别和定位任务上都优于以前的方法。
2022-08-09 cs.CV cs.GT
Attention Guided CAM: Visual Explanations of Vision Transformer Guided by Self-Attention
Korea Institute of Science and Technology(韩国科学技术研究院);Sogang University(西江大学)
提出一种注意力引导的ViT可视化方法,通过选择性聚合分类输出到自注意力的梯度并辅以自注意力分数,实现仅用类别标签的高性能弱监督定位与忠实解释。
2024-02-07 cs.AI cs.CV
Gradient-Based Interpretability Methods and Binarized Neural Networks
University College London(伦敦大学学院)
二进制神经网络(BNN)有可能彻底改变边缘计算平台中进行深度学习的方式。然而,这些网络上的可解释性方法的有效性尚未得到评估。在本文中,我们比较了几个广泛使用的显着性映射为基础的可解释性技术(梯度,SmoothGrad和GradCAM),当应用于二值化或全精度神经网络(FPNNs)的性能。我们发现,基本的梯度方法为这两种类型的网络生成非常相似的映射。然而,SmoothGrad为BNN生成的贴图明显更嘈杂。GradCAM还生成不同网络类型的显着性图,其中一些BNN具有看似无意义的解释。我们评论这些差异的解释可能的原因,并提出它作为一个例子,为什么解释性技术应在更广泛的网络类型进行测试。
2021-06-23 cs.AI cs.CV cs.LG