Recurrent Attentional Networks for Saliency Detection
Nanyang Technological University（南洋理工大学）
可以采用卷积-去卷积网络来执行端到端显著性检测。但是，它们不能很好地处理多尺度的对象。为了克服这样的限制，在这项工作中，我们提出了一个经常性的注意力卷积-去卷积网络（RACDNN）。使用空间Transformer和递归网络单元，RACDNN能够迭代地关注选定的图像子区域，以逐步执行显著性细化。除了解决规模问题外，RACDNN还可以从过去的迭代中学习上下文感知特征，以增强未来迭代中的显着性细化。在几个具有挑战性的显著性检测数据集上的实验验证了RACDNN的有效性，并表明RACDNN优于最先进的显著性检测方法。
2016-04-12 cs.CV cs.LG stat.ML
Visualizing Uncertainty and Saliency Maps of Deep Convolutional Neural Networks for Medical Imaging Applications
Ryerson University（瑞尔森大学）
深度学习模型现在被用于许多不同的行业，而在某些领域，安全性并不是医疗领域的关键问题，而是一个巨大的问题。我们不仅希望模型能够很好地泛化，而且还想知道模型对其决策的置信度，以及哪些特征最重要。我们的团队旨在开发一个完整的管道，不仅显示模型决策的不确定性，而且还显示显着图，以显示输入图像的哪些像素集对预测贡献最大。
2019-07-05 cs.CV cs.LG eess.IV
Trustworthy Convolutional Neural Networks: A Gradient Penalized-based Approach
Inria（法国国家信息与自动化研究所）；CortAIx, Thales（泰雷兹CortAIx）
卷积神经网络（CNN）通常用于图像分类。显着性方法是可用于事后解释CNN的方法的示例，识别梯度流之后预测的最相关像素。尽管CNN可以正确地对图像进行分类，但在许多情况下，底层的显着性图可能是错误的。这可能导致对模型或其解释的有效性的怀疑。我们提出了一种新的方法，通过惩罚参数选择来训练值得信赖的CNN，这些参数选择会导致在训练过程中生成不准确的显着性图。我们为预测标签正确时产生的不准确显着性图添加了一个惩罚项，为预测标签不正确时产生的准确显着性图添加了一个惩罚项，并为过于自信的显着性图添加了一个正则化项。实验表明，提高分类性能，用户参与度和信任度。
2020-09-29 cs.CV cs.LG cs.NE
Deep Green Function Convolution for Improving Saliency in Convolutional Neural Networks
目前的显着性方法需要使用小卷积核来学习大规模的区域特征，这对于简单的前馈网络是不可能的。一些方法通过分割成超像素来解决这个问题，而另一些方法则通过网络缩小图像并将其重新缩放回原始大小。本文的目的是表明显着性卷积神经网络（CNN）可以通过使用格林函数卷积（GFC）外推边缘特征到显着区域。GFC充当梯度积分器，允许通过直接在CNN内部填充薄边缘来产生显著性特征。因此，我们提出了梯度积分和总和（GIS）层，结合了边缘功能的显着性特征。使用HED和DSS架构，我们证明了在网络输出附近添加GIS层可以降低对参数初始化的敏感性，减少过拟合并提高训练的可重复性。通过简单地将GIS层添加到最先进的DSS模型中，DUT-OMRON数据集上的F测量值绝对增加了1.6%，仅增加了10 ms的计算时间。GIS层还允许网络在高噪声图像或低亮度图像的情况下表现得更好。事实上，我们观察到，当向数据集添加噪声时，F测量值提高了5.2%，当亮度降低时，F测量值提高了2.8%。由于GIS层是模型不可知的，因此它可以实现为不同的完全卷积网络。目前的工作的一个主要贡献是格林函数卷积内的神经网络，它允许网络在特征域和梯度域中同时操作的第一个实现，从而通过边缘填充改善区域表示。
2019-11-15 cs.CV cs.LG
Reproduction of Lateral Inhibition-Inspired Convolutional Neural Network for Visual Attention and Saliency Detection
University of Wrocław（弗罗茨瓦夫大学）
近年来，神经网络持续蓬勃发展，在检测照片中的相关物体或简单地识别（分类）这些物体方面实现了高效率-主要使用CNN网络。然而，目前的解决方案远非理想，因为事实证明，网络甚至可以与自然图像示例相混淆。我怀疑物体的分类受到物体所在的背景像素的强烈影响。在我的工作中，我使用LICNN网络创建的显着图来分析上述问题。它们被设计为抑制被检查对象周围的神经元，从而减少背景像素对分类器预测的贡献。我对自然图像和对抗图像数据集的实验表明，背景和错误分类的前景对象之间确实存在明显的相关性。网络的这种行为并没有得到人类经验的支持，因为，例如，我们不会仅仅因为黄色校车在雪地背景上就把它和扫雪机混淆。
2020-05-05 cs.LG cs.NE
Taxonomy of Saliency Metrics for Channel Pruning
Trinity College Dublin（都柏林圣三一学院）
修剪不重要的参数可以允许深度神经网络（DNN）减少其繁重的计算和内存需求。显着性度量估计哪些参数可以安全地修剪，而对DNN的分类性能影响很小。已经提出了许多显着性度量，每个都在更广泛的修剪算法的上下文中。结果是很难将显著性度量的有效性与围绕它的更广泛的修剪算法分开。由于明显较小的设计选择，看起来相似的显著性度量可能会产生非常不同的结果。我们提出了一种基于四个最正交主成分的显着性度量分类。我们表明，广泛的修剪文学的度量可以根据这些组件进行分组。我们的分类法不仅作为指导以前的工作，但允许我们通过探索我们的分类组件的新组合来构建新的显着性度量。我们对300多个显着性指标进行了深入的实验研究。我们的研究结果提供了决定性的答案，开放的研究问题，并证明了减少和缩放修剪组的权重时的重要性。我们发现，我们构造的一些指标可以优于现有的最好的最先进的卷积神经网络通道修剪的指标。
2021-07-04 cs.LG stat.ML
Abs-CAM: A Gradient Optimization Interpretable Approach for Explanation of Convolutional Neural Networks
Hubei University of Technology（湖北工业大学）；Central China Normal University（华中师范大学）
深度神经网络（DNN）的黑箱性质严重阻碍了其性能的提高和在特定场景中的应用。近年来，基于类激活映射的方法被广泛用于解释计算机视觉任务中模型的内部决策。然而，当这种方法使用反向传播来获得梯度时，它会在显着图中产生噪声，甚至定位与决策无关的特征。本文提出了一种基于绝对值类激活映射（Abs-CAM）的方法，该方法对反向传播得到的梯度进行优化，将其全部转化为正梯度，以增强输出神经元激活的视觉特征，提高显着图的定位能力。Abs-CAM的框架分为两个阶段：生成初始显著图和生成最终显著图。第一阶段通过优化梯度提高显著图的定位能力，第二阶段将初始显著图与原始图像线性结合，增强显著图的语义信息。我们对所提出的方法进行了定性和定量的评估，包括删除，插入和指向游戏。实验结果表明，Abs-CAM能明显消除显著图中的噪声，能更好地定位与决策相关的特征，在识别和定位任务中优于以往的方法。
2022-07-08 cs.AI cs.CV cs.LG
Decoding Layer Saliency in Language Transformers
STR
本文提出一种无需额外训练、计算高效的基于梯度的层显著性解码方法，用于识别语言Transformer在文本分类任务中的语义显著性，并在多个基准数据集上取得一致改进。
2023-08-09 cs.CL cs.LG
Composition of Saliency Metrics for Channel Pruning with a Myopic Oracle
Trinity College Dublin（都柏林圣三一学院）
卷积神经网络（CNN）推理所需的计算量和内存可以通过从训练的网络中修剪权重来减少。修剪由修剪显著性引导，修剪显著性在理论上近似与特定权重的去除相关联的损失函数的变化。已经提出了许多修剪信号，但每个启发式算法的性能取决于特定的训练网络。这让数据科学家面临一个艰难的选择。当在整个修剪过程中使用任何一个显着性度量时，我们会面临度量假设无效的风险，从而导致度量做出糟糕的决策。理想情况下，我们可以结合不同显着性度量的最佳方面。然而，尽管广泛的文献综述，我们无法找到任何先前的工作组成不同的显着性指标。主要的困难在于结合不同显着性度量的数值输出，这是不直接可比的。我们提出了一种方法来组成几个原始的修剪显着性，利用的情况下，每个显着性措施做得很好。我们的实验表明，显着性的组成，避免了许多穷人的修剪选择确定的个人显着性。在大多数情况下，我们的方法找到更好的选择，甚至比最好的个人修剪显着性。
2021-06-24 cs.CV cs.LG stat.ML
Benchmarking Deep Learning Interpretability in Time Series Predictions
Department of Computer Science, University of Maryland（马里兰大学计算机科学系）
显着性方法被广泛用于突出模型预测中输入特征的重要性。这些方法主要用于视觉和语言任务，它们对时间序列数据的应用相对较少。在本文中，我们开始广泛比较各种基于显着性的可解释性方法在不同神经架构中的性能，包括递归神经网络，时间卷积网络和Transformers在合成时间序列数据的新基准中。我们提出并报告了多个指标来经验性地评估显着性方法的性能，用于使用精度（即，识别的特征是否包含有意义的信号）和回忆（即，具有被识别为重要的信号的特征的数量）。通过几个实验，我们表明：（i）一般来说，网络架构和显着性方法无法可靠和准确地识别时间序列数据中随时间变化的特征重要性，（ii）这种失败主要是由于时间和特征域的合并，以及（iii）通过使用我们提出的两步时间显著性重新缩放（TSR），显著性图的质量可以得到显著性的改善。一种方法，首先计算每个时间步的重要性，然后计算每个特征在时间步的重要性。
2020-10-26 cs.LG stat.ML
Domino Saliency Metrics: Improving Existing Channel Saliency Metrics with Structural Information
Trinity College Dublin（都柏林圣三一学院）
信道修剪用于减少卷积神经网络（CNN）中的权重数量。通道修剪移除权重张量的切片，以便卷积层保持密集。从单个层中移除这些权重切片会导致网络层之间的特征映射数量不匹配。一个简单的解决方案是通过从后续层中移除权重切片来强制层之间的特征映射的数量匹配。这种额外的约束在具有分支的DNN中变得更加明显，其中多个通道需要一起修剪以保持网络密度。流行的修剪显着性度量不考虑在具有分支的DNN中出现的结构依赖性。我们建议多米诺指标（建立在现有的渠道显着性指标），以反映这些结构性约束。我们在多个具有分支的网络上测试Domino显着性指标与基线通道显着性指标。Domino显着性度量在大多数测试网络中提高了修剪率，在CIFAR-10上的AlexNet中提高了25%。
2022-06-19 cs.CV cs.LG
Simple vs complex temporal recurrences for video saliency prediction
Insight Center for Data Analytics（Insight数据分析中心）；Dublin City University（都柏林城市大学）；Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）
本文研究了修改现有的神经网络结构的静态显着性预测使用两种类型的递归，整合信息的时间域。第一个修改是在架构中添加ConvLSTM，而第二个是内部卷积状态的概念上简单的指数移动平均。我们使用在SALICON数据集上预训练的权重，并在DHF1K上微调我们的模型。我们的研究结果表明，这两种修改实现了最先进的结果，并产生类似的显着性图。源代码可在https://git.io/fjPiB上获得。
2019-07-16 cs.CV cs.LG
Function Space Pooling For Graph Convolutional Networks
Cardiff University（卡迪夫大学）
图神经网络中的卷积层是输出每个图顶点的表示或嵌入的基本类型的层。该表示通常编码关于所讨论的顶点及其邻域的信息。如果希望执行以图形为中心的任务，例如图形分类，则必须将这组顶点表示集成或汇集以形成图形表示。在本文中，我们提出了一种新颖的池化方法，该方法将一组顶点表示映射到函数空间表示。该方法与现有的池化方法不同，现有的池化方法执行到向量或序列空间的映射。实验结果表明，该方法一般优于大多数基线池方法，并在某些情况下达到最佳性能。
2020-08-25 cs.LG stat.ML
Don't Get Me Wrong: How to Apply Deep Visual Interpretations to Time Series
School of Computer Engineering（计算机工程学院）；Pontificia Universidad Católica de Valparaíso（瓦尔帕莱索天主教大学）；Friedrich-Alexander University Erlangen-Nürnberg（埃尔兰根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）；Hasso-Plattner-Institute（哈索-普拉特纳研究所）
本文研究时间序列数据上的显著性方法，通过在六个真实数据集上评估九种后验显著性方法，提出解释卷积模型的建议与指南，帮助专家为给定模型和数据集选择合适方法。
2025-07-10 cs.AI cs.CV cs.LG
Improving Deep Learning Interpretability by Saliency Guided Training
University of Maryland（马里兰大学）；Genentech, Inc.（基因泰克公司）
显著性方法已被广泛用于突出模型预测中的重要输入特征。大多数现有的方法使用修改的梯度函数上的反向传播来生成显着图。因此，噪声梯度可能导致不忠实的特征属性。在本文中，我们解决了这个问题，并介绍了一个{ \it显着性指导训练}程序的神经网络，以减少噪声梯度预测中使用的同时保留模型的预测性能。我们的显着性指导训练过程迭代地掩蔽具有小的和潜在的噪声梯度的特征，同时最大化掩蔽和未掩蔽输入的模型输出的相似性。我们将显着性引导的训练过程应用于计算机视觉，自然语言处理和不同神经架构的时间序列的各种合成和真实数据集，包括递归神经网络，卷积网络和Transformers。通过定性和定量评估，我们表明显着性指导的训练过程显着提高了模型在各个领域的可解释性，同时保持其预测性能。
2021-11-29 cs.AI cs.CV cs.LG
Efficient Saliency Maps for Explainable AI
University of California at Berkeley（加州大学伯克利分校）
我们描述了一种可解释的AI显着图方法，用于深度卷积神经网络（CNN），比流行的精细分辨率梯度方法更有效。它在数量上也是相似的或更好的准确性。我们的技术通过测量每个网络尺度末端的信息来工作，然后将其组合成单个显着图。我们描述了如何显着措施，可以更有效地利用显着图顺序等价。我们通过使用信息的层有序可视化来可视化各个尺度/层的贡献。这提供了一个有趣的网络内的比例信息贡献的比较，而不是由其他显着图方法提供。使用我们的方法而不是Guided Backprop，粗分辨率类激活方法，如Grad-CAM和Grad-CAM++似乎可以在不牺牲速度的情况下产生明显的优越结果。这将使精细分辨率显着性方法在资源有限的平台上变得可行，例如机器人，手机，低成本工业设备，天文学和卫星图像。
2020-03-09 cs.CV cs.LG cs.PF
FastSal: a Computationally Efficient Network for Visual Saliency Prediction
Insight Centre for Data Analytics, Dublin City University（都柏林城市大学Insight数据分析中心）
本文主要研究视觉显著性预测问题，即在有限的计算预算下，预测图像中容易引起人类视觉注意的区域。我们修改和测试了各种最近的高效卷积神经网络架构，如EfficientNet和MobileNetV2，并将它们与现有的最先进的显着性模型（如SalGAN和DeepGaze II）进行了比较，无论是在AUC和NSS等标准准确性指标方面，还是在计算复杂性和模型大小方面。我们发现，MobileNetV2是一个很好的骨干视觉显着性模型，即使没有一个复杂的解码器也可以有效。我们还表明，从计算成本更高的模型（如DeepGaze II）中转移知识可以通过伪标记未标记的数据集来实现，并且这种方法可以与许多最先进的算法相比，计算成本和模型大小只有一小部分。源代码可在https://github.com/feiyanhu/FastSal上获得。
2020-08-25 cs.CV cs.LG
CRITS: Convolutional Rectifier for Interpretable Time Series Classification
Department of Computer and Systems Sciences, Stockholm University（斯德哥尔摩大学计算机与系统科学系）；Department of Computer Science and Engineering, University of Oviedo（奥维多大学计算机科学与工程系）
针对现有卷积网络可解释方法存在输入空间解释不足或需随机扰动的问题，提出可解释时间序列分类模型CRITS，借助全连接整流网络的ReLU激活内在提取局部解释，无需梯度、扰动和显著性图升尺度，并验证了其分类性能与解释质量。
2025-05-24 cs.AI cs.LG stat.ML
Convolutional Neural Network on Semi-Regular Triangulated Meshes and its Application to Brain Image Data
National University of Singapore（新加坡国立大学）
我们开发了一个卷积神经网络（CNN）上的半规则三角网格，其顶点有6个邻居。所提出的CNN的关键块，包括卷积和下采样，直接在顶点域中定义。利用半正则网格的有序性，将卷积定义在一个顶点域上，这一点与经典卷积的空间定义有很大的不同。此外，嵌入在3D欧几里得空间中的半规则网格的下采样可以实现4、16、64等的下采样率。我们基于阿尔茨海默病神经成像倡议（ADNI）的3169次MRI扫描，展示了这种基于顶点的图CNN用于轻度认知障碍（MCI）和阿尔茨海默病（AD）的分类。我们比较了基于顶点的图CNN与谱图CNN的性能。
2019-04-15 cs.LG stat.ML
Full-Gradient Representation for Neural Network Visualization
Idiap Research Institute（Idiap 研究所）；EPFL（洛桑联邦理工学院）
我们引入了一种新的工具来解释神经网络的响应，即全梯度，它将神经网络的响应分解为输入灵敏度和每个神经元的灵敏度分量。这是第一个提出的表示，它满足两个关键属性：完整性和弱依赖性，这是可以证明的，不能满足任何显着图为基础的可解释性方法。对于卷积网络，我们还提出了一种近似显着图表示，称为FullGrad，通过聚合全梯度分量获得。我们通过实验评估了FullGrad在解释模型行为方面的有用性，其中包括两个定量测试：像素扰动和删除和重新训练。我们的实验表明，我们的方法解释模型的行为正确，更全面地比其他方法在文献中。视觉检查还表明，我们的显着性图比其他方法更清晰，更紧密地局限于对象区域。
2019-12-03 cs.CV cs.LG stat.ML
A matter of attitude: Focusing on positive and active gradients to boost saliency maps
Ericsson（爱立信）；Comillas Pontifical University（科米利亚斯主教大学）
本文提出通过同时考虑正确类别与其他类别的梯度符号和影响来增强显著性图，从而更准确地识别CNN真正关注的像素并预测遮挡或修改这些像素对分类结果的影响。
2023-09-22 cs.AI cs.LG
Predicting Visual Attention and Distraction During Visual Search Using Convolutional Neural Networks
McGill University（麦吉尔大学）
大多数视觉注意的计算建模研究都包括无任务的图像观察。自由观看显著性考虑日常生活的有限场景。大多数视觉活动都是以目标为导向的，需要大量的自上而下的注意力控制。视觉搜索任务需要更多的自上而下的注意控制，相比自由观看。在本文中，我们提出了两种方法来模拟视觉搜索过程中观察者的视觉注意力和注意力分散。我们的第一种方法采用轻量级的自由观看显着性模型来预测人类观察者在搜索图像像素上的眼睛注视密度图，使用双流卷积编码器-解码器网络，在COCO-Search 18数据集上进行训练和评估。该方法预测在搜索特定目标时哪些位置更容易分散注意力。我们的网络在标准显着性指标上取得了良好的结果（AUC-Judd=0.95，AUC-Borji=0.85，sAUC=0.84，NSS=4.64，KLD=0.93，CC=0.72，SIM=0.54和IG=2.59）。我们的第二种方法是基于对象的，并预测视觉搜索过程中的分心物和目标对象。干扰物是除了观察者在搜索过程中注视的目标之外的所有物体。该方法使用Mask-RCNN分割网络，该网络在MS-COCO上进行了预训练，并在COCO-Search 18数据集上进行了微调。我们在COCO-Search 18中发布了三个目标类别的目标和干扰物的分割注释：瓶子，碗和汽车。三个类别的平均得分为：F1-得分=0.64，MAP（iou：0.5）=0.57，MAR（iou：0.5）=0.7…
2022-10-27 cs.AI cs.CV cs.LG
CAM-Guided Saliency Cutout and Image-Based Malware Classification
San Jose State University（圣何塞州立大学）；Czech Technical University in Prague（布拉格捷克技术大学）
该研究探究CAM引导的显著性Cutout对恶意软件图像分类的作用，通过对比不同Cutout设置在RawMal-TF和CIFAR-100数据集上的表现，发现其价值具有领域依赖性，恶意软件图像与自然图像存在差异。
2026-08-13 cs.CV cs.LG
Self-Adaptive Network Pruning
Shanghai Jiao Tong University（上海交通大学）；Mila - Québec AI Institute（Mila-魁北克人工智能研究所）
深度卷积神经网络已被证明在广泛的任务上是成功的，但它们在许多工业场景中仍然受到其巨大计算成本的阻碍。在本文中，我们提出通过自适应网络修剪方法（SANP）来降低CNN的这种成本。我们的方法为每个卷积层引入了一个通用的显着性和修剪模块（SPM），它学习预测显着性分数并对每个通道进行修剪。给定总计算预算，SANP自适应地确定关于每个层和每个样本的修剪策略，使得平均计算成本满足预算。这种设计使SANP在计算方面更有效，并且对数据集和主干更健壮。在2个数据集和3个主干上的大量实验表明，SANP在分类精度和剪枝率方面都优于现有的方法。
2019-10-20 cs.LG eess.IV
Exploring Gradient Flow Based Saliency for DNN Model Compression
City University of Hong Kong（香港城市大学）；Baidu USA LLC（百度美国有限责任公司）
模型修剪旨在减少深度神经网络（DNN）模型大小或计算开销。传统的模型修剪方法，例如评估DNN的通道重要性的l-1修剪，过于关注每个通道的局部分析，并利用整个特征的幅度，而忽略了其与每个卷积操作后的批量归一化（BN）和ReLU层的相关性。为了克服这些问题，本文从梯度流的角度提出了一种新的模型剪枝方法。具体来说，我们首先基于泰勒展开，通过整合BN层和ReLU激活函数的影响，从理论上分析了沟道的影响。然后，建议在BN层中合并缩放参数和移位参数的一阶Talyor多项式，以有效地指示DNN中的通道的重要性。在图像分类和图像去噪两个任务上的综合实验证明了所提出的新理论和方案的优越性。代码可在https://github.com/CityU-AIM-Group/GFBS上获得。
2021-10-24 cs.CV cs.LG
SalNAS: Efficient Saliency-prediction Neural Architecture Search with self-knowledge distillation
Naresuan University（那黎宣大学）；University of South Australia（南澳大学）；Chulalongkorn University（朱拉隆功大学）；RMIT University（皇家墨尔本理工大学）
提出用于显著性预测的神经架构搜索框架SalNAS，结合动态卷积构建权重共享超网络，并引入自知识蒸馏方法提升模型泛化能力，在七个基准数据集上以轻量级参数量实现最优性能。
2024-07-29 cs.AI cs.CV cs.LG
Pruning for Feature-Preserving Circuits in CNNs
Harvard University（哈佛大学）
本文提出利用基于显著性的剪枝方法从深度CNN中提取仅保留目标特征相关卷积核的“特征保持电路”，比较了三种显著性准则，并开发了电路图可视化工具，以提升CNN图像滤波过程的可解释性。
2023-04-17 cs.CV cs.LG
Visual-TCAV: Concept-based Attribution and Saliency Maps for Post-hoc Explainability in Image Classification
Politecnico di Milano（米兰理工大学）
提出Visual-TCAV框架，结合概念激活向量和积分梯度，生成类无关显著性图并估计概念归因，在受控实验中比TCAV更忠实于真实解释。
2026-06-09 cs.AI cs.CV cs.LG
Improving Interpretability in Medical Imaging Diagnosis using Adversarial Training
University of Cambridge（剑桥大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们研究了对抗训练对卷积神经网络（CNN）可解释性的影响，特别是应用于诊断皮肤癌。我们表明，基于梯度的显着性地图的adversarially训练的CNN显着更清晰，更视觉连贯性比那些标准训练的CNN。此外，我们发现，经过逆向训练的网络突出显示了病变内具有显著颜色变化的区域，这是黑色素瘤的一个共同特征。我们发现，用小的学习率微调一个鲁棒的网络可以进一步提高显着性图的清晰度。最后，我们提供了初步的工作表明，鲁棒的第一层提取强大的低级别功能，导致视觉上连贯的解释。
2020-12-02 cs.LG
CenGCN: Centralized Convolutional Networks with Vertex Imbalance for Scale-Free Graphs
Federation University Australia（澳大利亚联邦大学）；Dalian University of Technology（大连理工大学）；Zhejiang University of Technology（浙江工业大学）；The Chinese University of Hong Kong（香港中文大学）
图卷积网络（GCN）在许多领域都取得了令人瞩目的性能，引起了人们的广泛关注。GCN的核心步骤是信息传递框架，该框架认为从邻居到中心顶点的所有信息都同等重要。然而，这种同等的重要性对于无标度网络是不够的，在无标度网络中，由于顶点不平衡，枢纽顶点传播更多的主导信息。在本文中，我们提出了一种新的基于中心的框架命名CenGCN解决信息的不平等。该框架首先通过中心点的标签传播来量化中心点与其邻居之间的相似性。基于这种相似性和中心性指数，框架通过增加或减少连接枢纽顶点的边的权重以及向顶点添加自连接来变换图。在GCN的每个非输出层中，该框架使用中心注意力机制来基于它们与中心顶点的公共信息向连接的非中心顶点分配新的权重。分别基于度中心性和特征向量中心性，提出了两个变体CenGCN D和CenGCN E.我们还进行了全面的实验，包括顶点分类，链接预测，顶点聚类和网络可视化。结果表明，这两种变体显著优于最先进的基线。
2022-02-16 cs.LG cs.SI
Interpretations Steered Network Pruning via Amortized Inferred Saliency Maps
University of Pittsburgh（匹兹堡大学）
卷积神经网络（CNN）压缩对于在资源有限的边缘设备中部署这些模型至关重要。现有的CNN信道修剪算法在复杂模型上取得了很大的成功。他们从不同的角度来处理修剪问题，并使用不同的指标来指导修剪过程。然而，这些衡量标准主要侧重于模型的“产出”或“权重”，而忽略了其“解释”信息。为了填补这一空白，我们建议从一个新的角度来解决通道修剪问题，利用模型的解释来引导修剪过程，从而利用模型的输入和输出的信息。然而，现有的解释方法不能得到部署，以实现我们的目标，因为它们要么是低效的修剪或可能预测不连贯的解释。我们通过引入一个选择器模型来解决这个挑战，该模型可以预测修剪模型的实时平滑显着性掩模。我们通过径向基函数（RBF）类函数将解释性掩模的分布参数化，以将自然图像的几何先验纳入我们的选择器模型的归纳偏差中。因此，我们可以获得紧凑的表示的解释，以减少我们的修剪方法的计算成本。我们利用我们的选择器模型，通过最大化修剪后的模型和原始模型的解释性表示的相似性来引导网络修剪。在CIFAR-10和ImageNet基准数据集上的大量实验证明了我们所提出的方法的有效性。我们的实现可从\url{https://github.com/Alii-Ganjj/InterpretationsSteeredPruning}获得
2022-09-07 cs.CV cs.LG
