CNN Explainer: Learning Convolutional Neural Networks with Interactive Visualization
Georgia Tech（佐治亚理工学院）；Oregon State University（俄勒冈州立大学）
深度学习的巨大成功激励着许多从业者和学生学习这项令人兴奋的技术。然而，由于理解和应用深度学习的复杂性，初学者迈出第一步往往具有挑战性。我们介绍了CNN解释器，这是一个交互式可视化工具，专为非专家学习和检查卷积神经网络（CNN）而设计，CNN是一种基础深度学习模型架构。我们的工具解决了新手在学习CNN时面临的关键挑战，我们从对教师的采访和对过去学生的调查中发现了这些挑战。CNN解释器紧密集成了一个模型概述，总结了CNN的结构，以及按需动态视觉解释视图，帮助用户理解CNN的底层组件。通过抽象层次之间的平滑过渡，我们的工具使用户能够检查低级数学运算和高级模型结构之间的相互作用。一项定性的用户研究表明，CNN解释器可以帮助用户更容易地理解CNN的内部工作原理，并且使用起来非常有趣。我们也从我们的研究中获得设计经验。CNN Explainer使用现代Web技术开发，在用户的Web浏览器中本地运行，无需安装或专用硬件，从而扩大了公众对现代深度学习技术的教育访问。
2020-08-28 cs.AI cs.CV cs.HC
ASU-CNN: An Efficient Deep Architecture for Image Classification and Feature Visualizations
Jiangsu University（江苏大学）；GC University（GC大学）；Abdus Salam School of Mathematical Sciences（阿卜杜勒·萨拉姆数学学院）
本文提出ASU-CNN模型，将非单调振荡激活函数ASU用于卷积神经网络各层，通过特征图可视化分析其作用，并在CIFAR-10分类上验证了模型的有效性与计算可行性。
2023-05-28 cs.CV cs.LG
A visualization method for data domain changes in CNN networks and the optimization method for selecting thresholds in classification tasks
Akuvox（睿云联）
本文提出一种可视化方法以直观反映CNN模型训练效果，并基于数据增强和训练集分布优化跨域FAS性能与阈值选择，在两项竞赛中获第二名。
2024-04-19 cs.CV cs.LG
On Translation Invariance in CNNs: Convolutional Layers can Exploit Absolute Spatial Location
Delft University of Technology（代尔夫特理工大学）
在本文中，我们挑战了现代CNN中卷积层是平移不变的常见假设。我们表明，CNN可以并且将会通过学习过滤器来利用绝对空间位置，这些过滤器通过利用图像边界效应专门响应特定的绝对位置。由于现代CNN滤波器具有巨大的感受野，这些边界效应甚至在远离图像边界的地方起作用，使网络能够利用整个图像的绝对空间位置。我们给出了一个简单的解决方案，以消除空间位置编码，提高了平移不变性，从而提供了一个更强的视觉归纳偏见，特别是有利于小数据集。我们广泛地展示了这些好处的几个架构和各种应用程序，如图像分类，补丁匹配，和两个视频分类数据集。
2020-05-30 cs.CV cs.LG eess.IV
Don't Think It Twice: Exploit Shift Invariance for Efficient Online Streaming Inference of CNNs
EPFL（洛桑联邦理工学院）；Embedded Systems Laboratory (ESL)（嵌入式系统实验室（ESL））
本文提出 StreamiNNC 策略，通过利用卷积平移不变性并解决零填充与池化对齐问题，实现重叠窗口 CNN 在线流式推理的线性加速，并在生物医学信号任务中验证了低偏差效果。
2024-08-06 cs.LG
Assessing learned features of Deep Learning applied to EEG
SCCN, INC, UCSD（加州大学圣迭戈分校斯沃茨计算神经科学中心）；CerCo CNRS, Paul Sabatier University（法国国家科学研究中心大脑与认知研究中心，保罗·萨巴捷大学）
卷积神经网络（Convolutional Neural Network，CNN）在目标检测、图像识别、图像检索等计算机视觉领域取得了令人瞩目的成就。这些成就得益于CNN在深层神经元结构和迭代训练过程中学习判别特征的出色能力。这激发了EEG研究界采用CNN来执行EEG分类任务。然而，CNN学习的特征并不能立即解释，导致人们对CNN的内部工作机制缺乏了解。为了提高CNN的可解释性，应用CNN可视化方法将内部特征转换为视觉上可感知的模式，用于CNN层的定性分析。在计算机视觉文献中已经提出了许多CNN可视化方法来解释CNN网络的结构、操作和语义概念，但在EEG数据分析中的应用受到限制。在这项工作中，我们使用3种不同的方法从原始EEG数据训练的CNN中提取EEG相关特征：每个分类类别的最佳样本，激活最大化和反向卷积。我们将这些方法应用于一个高性能的深度学习模型，该模型具有EEG性别分类任务的最新性能，并表明该模型具有θ频带的差异。我们表明，可视化的CNN模型可以揭示有趣的EEG结果。使用这些工具，使用深度学习的EEG研究人员可以更好地识别学习的EEG特征，可能识别新的类别相关生物标志物。
2021-11-08 cs.LG eess.SP
Classification and Visualization of Genotype x Phenotype Interactions in Biomass Sorghum
Saint Louis University（圣路易斯大学）；George Washington University（乔治华盛顿大学）；Donald Danforth Plant Science Center（唐纳德·丹福思植物科学中心）
我们介绍了一种简单的方法来理解单核苷酸多态性（SNP）或相关SNP组之间的关系，以及它们控制的表型。该管道涉及训练深度卷积神经网络（CNN），以区分具有各种SNP的参考和替代版本的植物图像，然后使用可视化方法突出分类网络的关键。我们展示了深度CNN执行此分类任务的能力，并展示了这些可视化在TERRA-REF机架捕获的生物质高粱RGB图像上的实用性。我们专注于几个不同的遗传标记与已知的表型表达，并讨论了使用这种方法来揭示基因型X表型关系的可能性。
2021-08-09 cs.LG q-bio.QM
Rotaflip: A New CNN Layer for Regularization and Rotational Invariance in Medical Images
AstraZeneca（阿斯利康）；University of Cambridge（剑桥大学）
卷积神经网络（CNN）中的正则化通常使用dropout层来解决。然而，在CNN的卷积部分中，dropout有时是有害的，因为它只是将特征图中的像素百分比设置为零，在训练过程中添加了不具有代表性的示例。在这里，我们提出了一个CNN层，它通过在每个卷积层之后将反射的随机旋转应用于一小部分特征图来执行正则化。我们证明了这个概念是如何有益的图像与方向对称性，如在医学图像，因为它提供了一定程度的旋转不变性。我们在两个数据集中测试了这种方法，一组基于补丁的组织病理学图像（PatchCamelyon）使用通用DenseNet进行分类，一组角膜内皮的镜面显微镜图像使用定制的U形网进行分割，提高了两种情况下的性能。
2021-08-05 cs.CV cs.LG eess.IV
How Well do Feature Visualizations Support Causal Understanding of CNN Activations?
Tübingen AI Center（图宾根人工智能中心）；University of Tübingen（图宾根大学）；Technical University of Darmstadt（达姆施塔特工业大学）
准确理解为什么人工网络中的单元会对某些刺激做出反应，将是迈向可解释的人工智能的一大步。一个广泛使用的方法实现这一目标是可视化单位响应通过激活最大化。这些合成特征可视化旨在为人类提供有关导致单元被激活的图像特征的精确信息-这是比其他替代方案（如强烈激活自然数据集样本）更大的优势。如果人类确实从可视化中获得了因果洞察力，这应该使他们能够预测干预的效果，例如遮挡图像的某个补丁（例如，狗的头部）如何改变单位的激活。在这里，我们通过要求人类决定两个正方形遮挡中的哪一个会导致单位激活的较大变化来测试这一假设。大规模的众包实验和专家测量都表明，平均而言，Olah等人（2017）的极度活跃的特征可视化确实有助于人类完成这项任务（$68 \pm 4$ %准确率;没有任何可视化的基线性能为$60 \pm 3$ %）。然而，它们并不提供优于其他可视化（例如数据集样本）的任何实质性优势，其他可视化产生类似的性能（$66\pm3$ %到$67 \pm3$ %准确度）。两者合计，我们提出了一个客观的心理物理任务，以量化的好处单位级的可解释性方法为人类，并没有发现证据表明，广泛使用的功能可视化方法为人类提供了更好的“因果关系的理解”的单位激活比简单的替代可视化。
2021-11-12 cs.AI cs.CV cs.HC
Generative Modeling of Convolutional Neural Networks
Microsoft Research（微软研究院）；University of California, Los Angeles（加州大学洛杉矶分校）
卷积神经网络（CNN）已被证明是判别学习的强大工具。最近，研究人员也开始对CNN的生成方面表现出兴趣，以便更深入地了解他们所学到的知识以及如何进一步改进它们。本文研究CNN的生成建模。主要贡献包括：（1）构造了一个参考分布指数倾斜形式的CNN生成模型。(2)我们通过非参数重要性采样方案提出了一种用于预训练CNN的生成梯度，该方案与常用的判别梯度有根本不同，但与后者具有相同的计算架构和成本。(3)我们提出了一种生成可视化方法的CNN采样从一个显式的参数图像分布。所提出的可视化方法可以直接绘制合成样本的任何给定的节点在一个训练的CNN的汉密尔顿蒙特卡罗（HMC）算法，而不诉诸任何额外的保持图像。在具有挑战性的ImageNet基准测试上的实验表明，所提出的生成梯度预训练始终有助于提高CNN的性能，并且所提出的生成可视化方法可以从大规模深度CNN中生成有意义的各种合成图像样本。
2015-04-09 cs.CV cs.LG cs.NE
Interpretable Network Visualizations: A Human-in-the-Loop Approach for Post-hoc Explainability of CNN-based Image Classification
Politecnico di Milano（米兰理工大学）
提出一种事后可解释性方法，通过逐层特征显著性图、泛化Grad-CAM权重及Sentence-BERT处理的众包文本标签，完整解释CNN特征提取过程并支持全局解释。
2024-05-06 cs.CV cs.LG
ExBrainable: An Open-Source GUI for CNN-based EEG Decoding and Model Interpretation
National Yang Ming Chiao Tung University（阳明交通大学）
我们开发了一个图形用户界面（GUI）ExBrainable，专用于卷积神经网络（CNN）模型训练和脑电图（EEG）解码中的可视化。可用的功能包括模型训练，评估和时间和空间表示方面的参数可视化。我们证明了这些功能，使用一个经过充分研究的公共数据集的运动图像脑电图和比较的结果与现有的神经科学知识。ExBrainable的主要目标是为跨学科的研究人员提供快速，简化和用户友好的EEG解码解决方案，以利用大脑/神经科学研究中的尖端方法。
2022-01-10 cs.LG eess.SP q-bio.NC
Land Surface Temperature Super-Resolution with a Scale-Invariance-Free Neural Approach: Application to MODIS
IMT Atlantique（大西洋电信学院）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；Ifremer（法国海洋开发研究院）；ONERA-DOTA（法国航空航天研究院DOTA部门）；University of Toulouse（图卢兹大学）；CESBIO（生物环境遥感研究中心）；CNES（法国国家空间研究中心）；INRAE（法国国家农业、食品与环境研究院）；IRD（法国发展研究院）
本文提出无尺度不变性训练方法及SIF-CNN-SR模型，利用高分辨率NDVI纹理信息实现MODIS地表温度超分辨率，并发布ASTER-MODIS测试数据库，实验表明SIF-CNN-SR1在纹理相关指标上优于现有方法。
2025-02-03 cs.CV cs.LG
Prediction of lung and colon cancer through analysis of histopathological images by utilizing Pre-trained CNN models with visualization of class activation and saliency maps
Jaypee University of Information Technology（贾皮尔信息技术大学）
结肠癌和肺癌是世界范围内最危险和最危险的疾病之一，已经成为一个普遍的医疗问题。为了减少死亡的风险，特别需要合理和早期的发现。在任何情况下，这是一个真正麻烦的任务，取决于组织病理学家的经验。如果组织学家准备不足，甚至可能危及患者的生命。最近，深度学习已经获得了能量，并且在医学成像分析中受到重视。本文旨在利用和改变当前预训练的基于CNN的模型，以利用具有更好增强技术的组织病理学图像来识别肺癌和结肠癌。本文在LC 25000数据集上训练了八个不同的预训练CNN模型，VGG 16，NASNetMobile，InceptionV3，InceptionResNetV2，ResNet50，Xception，MobileNet和DenseNet169。模型的性能进行了评估的精度，召回率，f1得分，准确率和auroc得分。结果显示，所有八个模型都取得了值得注意的结果，准确率从96%到100%。随后，GradCAM和SmoothGrad也被用来描绘分类恶性和良性图像的预训练的CNN模型的注意力图像。
2021-03-22 cs.AI cs.CV cs.LG
The role of invariance in spectral complexity-based generalization bounds
EPFL（洛桑联邦理工学院）；University of Edinburgh（爱丁堡大学）
深度卷积神经网络（CNN）已经被证明能够在数据上拟合随机标签，同时仍然能够很好地推广正常标签。最近有人提出通过复杂性的后验度量来描述CNN能力，以解决这一明显的悖论。这些复杂性度量通常通过显示它们与GE的经验相关来验证;在随机标签与正常标签上训练的网络在经验上更大。专注于频谱复杂性的情况下，我们从理论上和经验上研究的复杂性测度的不敏感性相关的CNN的不变性，并显示频谱复杂性的几个限制，因此发生。对于谱复杂度的一个特定公式，我们表明它会导致卷积和局部连接架构（不具有相同的有利的不变性）的上界复杂度估计相同。这与一般的直觉和经验结果相反。
2020-03-06 cs.LG stat.ML
Parametrizing filters of a CNN with a GAN
ETH Zurich（苏黎世联邦理工学院）
人们普遍认为，在机器学习中使用相关不变量作为良好的统计偏差是很重要的。然而，大多数将不变性显式地合并到模型架构中的方法只使用非常简单的转换，例如平移和旋转。因此，需要一种方法来建模和提取更丰富的转换，以捕获更高级别的不变性。为此，我们引入了一种工具，允许用生成对抗网络的潜在空间来参数化训练卷积神经网络的滤波器集。然后，我们表明，该方法可以捕捉高度非线性不变性的数据，通过可视化它们在数据空间中的效果。
2017-10-31 cs.AI cs.LG cs.NE
Preserving gauge invariance in neural networks
Institute for Theoretical Physics, TU Wien（维也纳工业大学理论物理研究所）
在这些程序中，我们提出了格点规范等变卷积神经网络（L-CNN），它能够处理来自格点规范理论模拟的数据，同时精确地保持规范对称性。我们回顾了架构的各个方面，并展示了L-CNN如何在晶格上表示一大类规范不变和等变函数。我们使用非线性回归问题比较了L-CNN和非等变网络的性能，并演示了如何打破非等变模型的规范不变性。
2021-12-21 cs.LG hep-lat hep-ph
Improving Shift Invariance in Convolutional Neural Networks with Translation Invariant Polyphase Sampling
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
针对下采样破坏 CNN 移位不变性的问题，提出可学习的 TIPS 池化及两种正则化以降低 MSB，在分类、分割及鲁棒性基准上实现一致提升。
2024-12-01 cs.CV cs.LG
Exploiting Parallel Audio Recordings to Enforce Device Invariance in CNN-based Acoustic Scene Classification
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
在训练和应用时看到的数据之间的分布不匹配仍然是机器学习所有应用领域的主要挑战。我们在机器监听的背景下研究这个问题（DCASE 2019挑战赛的任务1b）。我们提出了一种新的方法来学习域不变的分类器在一个端到端的方式，通过实施平等的隐藏层表示域并行的样本，即时间对齐的记录从不同的记录设备。我们的域自适应（DA）方法不需要分类标签，这使得数据收集过程更便宜。
2019-09-04 cs.LG cs.SD eess.AS
Pulmonary Disease Classification Using Globally Correlated Maximum Likelihood: an Auxiliary Attention mechanism for Convolutional Neural Networks
卷积神经网络（CNN）现在被广泛用于分类和检测胸部X线照片中的肺部异常。CNN的两个互补的泛化特性，平移不变性和等变性，在检测与肺部疾病相关的明显异常时特别有用，无论它们在图像中的空间位置如何。然而，这些属性也伴随着在局部区域中检测到的异常的精确空间信息和全局相对位置的丢失。这些异常的全球相对位置可能有助于区分类似的情况，如COVID-19和病毒性肺炎。在这种情况下，需要一种全局注意力机制，而CNN在其传统架构中不支持这种机制，这些架构旨在通过平移不变性和等变性提供泛化。视觉Transformer提供了一种全局注意力机制，但缺乏平移不变性和等变性，需要更多的训练数据样本来匹配CNN的泛化。为了解决空间信息的丢失和特征之间的全局关系，同时保留CNN的归纳偏差，我们提出了一种新的技术，作为现有CNN架构的辅助注意力机制，以提取显着特征之间的全局相关性。
2021-09-01 cs.CV cs.LG
Improving Sound Event Classification by Increasing Shift Invariance in Convolutional Neural Networks
Universitat Pompeu Fabra（庞培法布拉大学）
最近的研究对卷积网络通常假设的移位不变性提出了质疑，表明输入中的微小移位会对输出预测产生重大影响。在本文中，我们分析了解决基于CNN的声音事件分类中缺乏移位不变性的好处。具体来说，我们评估了两种池化方法，以提高CNN中的移位不变性，基于低通滤波和对传入特征图的自适应采样。这些方法是通过插入到CNN的池化层中的小的架构修改来实现的。我们使用不同容量的模型并在强正则化的情况下评估这些架构变化对FSD 50 K数据集的影响。我们表明，这些修改一贯提高声音事件分类在所有情况下考虑。我们还实证证明，所提出的池化方法增加了网络中的移位不变性，使其对输入频谱图中的时间/频率移位更具鲁棒性。这是通过添加可忽略不计的可训练参数来实现的，这使得这些方法成为传统池化层的有吸引力的替代方案。结果是在FSD 50 K分类基准上获得了0.541的最新mAP。
2021-07-22 cs.LG cs.SD eess.AS
In situ TensorView: In situ Visualization of Convolutional Neural Networks
University of New Mexico（新墨西哥大学）；Kent State University（肯特州立大学）；US Army Research Laboratory（美国陆军研究实验室）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
卷积神经网络（CNN）是一种复杂的系统。它们经过训练，可以调整内部连接来识别图像、文本等。将这种深层人工神经网络内的动态可视化既有趣又有帮助，这样人们就可以理解这些人工网络是如何学习和做出预测的。在科学模拟领域，像Paraview这样的可视化工具长期以来一直被用来提供见解和理解。我们提出了原位TensorView来可视化CNN的训练和功能，就好像它们是科学模拟系统一样。In situ TensorView是一个松散耦合的原位可视化开放框架，提供多个查看器来帮助用户可视化和理解他们的网络。它利用Paraview的协同处理功能，在训练和预测阶段提供实时可视化。这避免了可视化大型动态系统的繁重I/O开销。在TensorFlow框架中只注入了少量的代码行。可视化可以为调整网络结构或压缩预训练网络提供指导。我们展示了使用原位TensorView可视化LeNet-5和VGG 16的训练。
2018-06-16 cs.CV cs.HC cs.LG
On Preserving Geometrical Invariance for Superpixel Image Classification using Graph Transformer
Indian Institute of Science Education and Research Bhopal（印度科学教育与研究学院博帕尔分校）
研究超像素图像分类，针对卷积神经网络和视觉变换器计算复杂问题，提出基于图变换器的SuperGT框架，能捕捉长距离依赖并保持平移/旋转不变性，在CIFAR-10数据集上表现优于基线。
2026-07-07 cs.LG
Translation Insensitive CNNs
United Technologies Research Center（联合技术研究中心）
我们解决了最先进的卷积神经网络（CNN）分类器对小位移不恒定的问题。这个问题可以通过去除子采样操作（如步幅和最大池化）来解决，但代价是严重降低了训练和测试效率。我们提出了一种新的使用高斯厄米基有效地近似任意滤波器的CNN框架内获得平移不变性。这被证明是不变的小的变化，并保持训练的效率。此外，为了提高内存使用效率以及计算速度，我们表明，它仍然是可能的子采样与这种方法，并保留一个较弱的形式的不变性，我们称之为\emph{translation insensitivity}，这导致相对于移位的稳定性。我们证明这些索赔分析和经验。我们的分析方法进一步提供了一个框架，用于理解任何架构的翻译不敏感性，并为设计提供指导原则。
2019-11-25 cs.CV cs.LG
Learning to Exploit Invariances in Clinical Time-Series Data using Sequence Transformer Networks
Department of Electrical Engineering and Computer Science University of Michigan（密歇根大学电气工程与计算机科学系）；University of Michigan（密歇根大学）
最近，研究人员已经开始将具有一维卷积的卷积神经网络（CNN）应用于涉及时间序列数据的临床任务。这部分是由于它们相对于递归神经网络的计算效率以及它们有效利用某些时间不变性的能力（例如，相位不变性）。然而，公认的是，临床数据可以表现出许多其他类型的不变性（例如，缩放）。虽然预处理技术（例如，动态时间规整）可以成功地变换和对齐输入，但是它们的使用通常需要预先识别不变性的类型。相比之下，我们建议使用序列Transformer网络，这是一种端到端的可训练架构，可以学习识别和解释临床时间序列数据中的不变性。应用于预测住院死亡率的任务，我们提出的方法实现了相对于基线CNN的受试者工作特征曲线下面积（AUROC）的改善（AUROC=0.851 vs. AUROC=0.838）。我们的研究结果表明，各种有价值的不变性可以直接从数据中学习。
2018-08-21 cs.LG stat.ML
Understanding image representations by measuring their equivariance and equivalence
University of Oxford（牛津大学）
尽管定向梯度直方图和深度卷积神经网络（CNN）等图像表示非常重要，但我们对它们的理论理解仍然有限。为了填补这一空白，我们研究了三个关键的数学性质的表示：等变性，不变性和等价性。等方差研究输入图像的变换如何被表示编码，不变性是变换没有影响的特殊情况。等效性研究两种表示，例如CNN的两种不同参数化，是否捕获相同的视觉信息。提出了许多凭经验建立这些属性的方法，包括在CNN中引入变换和缝合层。然后将这些方法应用于流行的表示，以揭示其结构的深刻方面，包括澄清在CNN中的哪些层实现了某些几何不变性。虽然本文的重点是理论，但也展示了结构化输出回归的直接应用。
2015-06-20 cs.CV cs.LG cs.NE
Understanding when spatial transformer networks do not support invariance, and what to do about it
KTH Royal Institute of Technology（瑞典皇家理工学院）
该研究指出空间变换网络（STNs）变换CNN特征图时无法支持不变性并会降低分类准确率，提出与分类网络共享参数的深层定位网络架构以提升复杂数据集分类精度，还探究了定位网络复杂度与迭代图像对齐的相互作用。
2021-05-18 cs.CV cs.LG
Visual Diagnostics for Deep Reinforcement Learning Policy Development
University of California, Santa Barbara（加州大学圣巴巴拉分校）
现代基于视觉的强化学习技术通常使用卷积神经网络（CNN）作为通用函数逼近器，以选择对给定的视觉输入采取哪种操作。直到最近，CNN一直被视为黑箱函数，但当用于安全关键设置中的控制时，这种心态尤其危险。在本文中，我们提出了我们的CNN可视化算法的基于视觉的强化学习域的扩展。我们使用模拟无人机环境作为示例场景。这些可视化算法是行为内省的重要工具，并在与物理世界交互时提供对训练策略的质量和缺陷的洞察。视频可以在https://sites.google.com/view/drlvisual上看到。
2018-09-26 cs.CV cs.LG stat.ML
Pooling is neither necessary nor sufficient for appropriate deformation stability in CNNs
DeepMind（深度思维）
我们关于神经网络如何运行的许多核心假设仍然没有经过经验检验。一个常见的假设是，卷积神经网络需要对小的平移和变形保持稳定，以解决图像识别任务。多年来，这种稳定性通过合并交错池化层而融入CNN架构中。然而，最近，交错池在很大程度上被放弃了。这就提出了一些问题：我们关于变形稳定性的直觉是否正确？很重要吗？变形不变性需要池化吗？如果不是，那么在没有变形不变性的情况下如何实现变形不变性？在这项工作中，我们严格测试了这些问题，并发现卷积网络中的变形稳定性比它最初出现的更微妙：（1）变形不变性不是一个二元属性，而是不同的任务需要不同程度的变形稳定性。(2)变形稳定性不是网络的固定属性，并且在训练过程中进行了大量调整，主要是通过卷积滤波器的平滑度。(3)交错池化层对于实现自然图像分类的变形稳定性的最佳形式既不是必要的，也不是充分的。(4)池化在初始化时为图像分类赋予了太多的变形稳定性，并且在训练期间，网络必须学习抵消这种归纳偏差。总之，这些发现为CNN中交织池化和变形不变性的作用提供了新的见解，并证明了对我们关于神经网络工作的最基本假设进行严格经验测试的重要性。
2018-05-25 cs.CV cs.LG stat.ML
Shift Invariance Can Reduce Adversarial Robustness
Univeristy of Maryland（马里兰大学）；Weizmann Institute of Science（魏茨曼科学研究所）
移位不变性是CNN的一个关键属性，可以提高分类性能。然而，我们发现，循环移位的不变性也会导致对对抗攻击更敏感。我们首先描述了当使用平移不变线性分类器时类之间的间隔。我们表明，裕度只能依赖于信号的直流分量。然后，使用无限宽网络的结果，我们表明，在一些简单的情况下，完全连接和移位不变的神经网络产生线性决策边界。利用这一点，我们证明了神经网络中的移位不变性产生了两个类的简单情况下的对抗性例子，每个类由一个图像组成，在灰色背景上有一个黑色或白色的点。这不仅仅是一种好奇心;我们通过经验证明，对于真实的数据集和现实的架构，移位不变性会降低对抗的鲁棒性。最后，我们描述了使用合成数据来探测这种连接的来源的初始实验。
2021-11-22 cs.LG
Doppler Invariant CNN for Signal Classification
University of Pennsylvania（宾夕法尼亚大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
针对现有模型依赖暴力多普勒增强导致训练效率低、可解释性差的问题，提出基于复数值层和自适应多相采样（APS）池化的多普勒不变CNN架构，在无多普勒频移样本训练下仍能对随机多普勒频移信号保持稳定分类精度，为信号分类提供可证明鲁棒性的不变性驱动框架。
2025-11-18 cs.LG eess.SP
Magnetic Indoor Localization through CNN Regression and Rotation Invariance
University of Freiburg（弗赖堡大学）
提出使用旋转不变特征（磁场强度和重力轴投影）训练轻量级CNN模型，实现无需方向校准的室内定位，在MagPie数据集上达到或超越现有最优精度。
2026-06-01 cs.LG cs.RO
From Interpretable Filters to Predictions of Convolutional Neural Networks with Explainable Artificial Intelligence
Atlantic Technological University（大西洋理工大学）
卷积神经网络（CNN）以其出色的特征提取能力而闻名，可以从数据中学习模型，但却被用作黑箱。对卷积滤波器和相关特征的解释可以帮助建立对CNN的理解，以区分各种类别。在这项工作中，我们专注于用于Covid-19和非Covid-19分类的称为cnnexplain的CNN模型的可解释性，重点关注卷积滤波器对特征的可解释性，以及这些特征如何有助于分类。具体来说，我们使用了各种可解释的人工智能（XAI）方法，如可视化，SmoothGrad，Grad-CAM和LIME，以提供卷积滤波器和相关特征的解释，以及它们在分类中的作用。我们已经分析了使用干咳频谱图检测Covid-19的这些方法的解释。从LIME、SmoothGrad和Grad-CAM获得的解释结果突出了不同谱图的重要特征及其与分类的相关性。
2022-07-26 cs.LG
FuseVis: Interpreting neural networks for image fusion using per-pixel saliency visualization
Visualisation, Faculty of Computer Science, Technische Universit\" a t Dresden, N\" o thnitzer Stra e 46, 01187 Dresden, Germany
图像融合有助于合并两个或多个图像，以构建信息量更大的单个融合图像。最近，基于无监督学习的卷积神经网络（CNN）已经被用于不同类型的图像融合任务，诸如医学图像融合、用于自动驾驶的红外-可见光图像融合以及用于卫星图像的多聚焦和多曝光图像融合。然而，分析这些CNN用于图像融合任务的可靠性是具有挑战性的，因为没有可用的地面实况。这导致了使用各种各样的模型架构和优化功能，从而产生完全不同的融合结果。此外，由于这种神经网络的高度不透明性，很难解释其融合结果背后的内部机制。为了克服这些挑战，我们提出了一种新的实时可视化工具，名为FuseVis，最终用户可以计算每像素的显着性图，检查输入图像像素对融合图像的每个像素的影响。我们在医学图像对上训练了几种基于图像融合的CNN，然后使用我们的FuseVis工具，通过解释每种融合方法的显着性图，对特定的临床应用进行了案例研究。我们具体可视化的相对影响，每个输入图像的融合图像的预测，并表明，一些评估的图像融合方法更适合于特定的临床应用。据我们所知，目前，还没有一种方法用于图像融合的神经网络的视觉分析。因此，这项工作为提高深度融合网络的可解释性开辟了一个新的研究方向。FuseVis工具还可以适用于其他基于深度神经网络的图像处理应用程序，以使其可解释。
2020-12-06 cs.CV cs.LG eess.IV
Ego-CNN: Distributed, Egocentric Representations of Graphs for Detecting Critical Structures
Microsoft Inc.（微软公司）；National Tsing Hua University（国立清华大学）
我们研究了使用图嵌入模型检测关键结构的问题。现有的图嵌入模型缺乏在全局范围内精确检测特定于任务的关键结构的能力。在本文中，我们提出了一种新的图嵌入模型，称为Ego-CNN，它在每一层都采用自我卷积，并使用以自我为中心的方式堆叠层，以有效地检测精确的关键结构。Ego-CNN可以与任务模型联合训练，并帮助解释/发现任务的知识。我们进行了大量的实验，结果表明，Ego-CNN（1）可以导致与最先进的图嵌入模型相当的任务性能，（2）与CNN可视化技术很好地配合，以说明检测到的结构，（3）是有效的，可以与无标度先验结合，这通常发生在社交网络数据集中，以进一步提高训练效率。
2019-06-23 cs.LG stat.ML
CNN 101: Interactive Visual Learning for Convolutional Neural Networks
Georgia Institute of Technology（佐治亚理工学院）；Oregon State University（俄勒冈州立大学）
深度学习解决以前认为的难题的成功激励了许多非专家学习和理解这项令人兴奋的技术。然而，由于深度学习模型的复杂性，学习者往往很难迈出第一步。我们提出了我们正在进行的工作，CNN 101，一个交互式可视化系统，用于解释和教学卷积神经网络。通过紧密集成的交互式视图，CNN 101提供模型如何工作的概述和详细描述。使用现代网络技术构建的CNN 101在用户的网络浏览器中本地运行，而不需要专门的硬件，从而拓宽了公众对现代深度学习技术的教育访问。
2020-02-27 cs.AI cs.HC cs.LG
Invariance encoding in sliced-Wasserstein space for image classification with limited training data
University of Virginia（弗吉尼亚大学）
深度卷积神经网络（CNN）被广泛认为是最先进的通用端到端图像分类系统。然而，当训练数据有限并且因此需要数据增强策略时，已知它们表现不佳，这使得该方法在计算上昂贵并且不总是有效的。而不是使用一个数据增强策略来编码的不变性通常在机器学习，在这里，我们建议在数学上增加最近的子空间分类模型切片Wasserstein空间利用某些数学性质的氡累积分布变换（R-CDT），最近推出的图像变换。我们证明，对于特定类型的学习问题，我们的数学解决方案在分类准确性和计算复杂性方面优于深度CNN的数据增强，并且在有限的训练数据设置下特别有效。该方法简单，有效，计算效率高，非迭代，不需要调整参数。实现我们方法的Python代码可以在https://github.com/rohdelab/mathematical_augmentation上找到。我们的方法被集成为软件包PytransKit的一部分，该软件包可在https://github.com/rohdelab/PyTransKit获得。
2022-07-24 cs.CV cs.LG
Vision Transformer Visualization: What Neurons Tell and How Neurons Behave?
Monash University（莫纳什大学）；OrientSoftware（东方软件公司）；Adobe Research（奥多比研究院）
近年来，视觉Transformer（ViT）已成功地应用于计算机视觉的各种任务。然而，重要的问题，如它们为什么工作或它们如何行为仍然在很大程度上是未知的。在本文中，我们提出了一种有效的可视化技术，以帮助我们揭示神经元中携带的信息以及ViT层中的特征嵌入。我们的方法从ViTs的计算过程出发，专注于可视化输入图像中的局部和全局信息以及多层次的潜在特征嵌入。0级输入和嵌入的可视化揭示了有趣的发现，例如为为什么ViT通常对图像遮挡和补丁重排具有相当鲁棒性提供支持;或者与CNN不同，0级嵌入已经携带丰富的语义细节。接下来，我们开发了一个严格的框架来跨层执行有效的可视化，将ViTs过滤器和分组/聚类行为的效果暴露给对象补丁。最后，我们在真实数据集上提供了全面的实验，定性和定量地证明了我们提出的方法以及我们的研究结果的优点。https://github.com/byM1902/ViT_visualization
2022-10-18 cs.CV cs.LG
Adversarial-Playground: A Visualization Suite Showing How Adversarial Examples Fool Deep Learning
University of Virginia（弗吉尼亚大学）
最近的研究表明，攻击者可以迫使深度学习模型对所谓的"对抗性示例"进行错误分类：通过对像素值进行不知不觉的修改而形成的恶意生成的图像。随着人们对安全应用中的深度学习越来越感兴趣，安全专家和机器学习用户必须认识到学习系统可能受到的攻击。由于深度学习的复杂性，理解深度模型如何被对抗性示例愚弄是一个挑战。因此，我们提出了一个基于Web的可视化工具，对抗游乐场，以证明常见的对抗方法对卷积神经网络（CNN）系统的有效性。Adversarial-Playground具有教育性、模块化和互动性。(1)它使非专家能够直观地比较示例，并理解为什么对抗性示例可以欺骗基于CNN的图像分类器。(2)它可以帮助安全专家探索深度学习作为软件模块的更多漏洞。(3)由于图像分类的特征空间很大（生成对抗性示例通常很慢，并且可视化图像成本很高），因此在该领域构建交互式可视化是一项挑战。通过多种新颖的设计选择，我们的工具可以对用户请求提供快速准确的响应。根据经验，我们发现我们的客户端-服务器划分策略减少了响应时间，平均每个样本1.5秒。我们的另一项创新是JSMA规避算法的一个更快的变体，根据经验，它的执行速度是JSMA的两倍，但仍保持了相当的规避率。项目源代码和实验数据可在www.example.com获得
2017-08-01 cs.AI cs.CR cs.LG
Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）
我们提出了一种技术，用于从一大类基于CNN的模型中为决策生成“视觉解释”，使其更加透明。我们的方法-加权类激活映射（Grad-CAM），使用任何目标概念的梯度，流入最终的卷积层，以产生一个粗略的定位图，突出图像中的重要区域，用于预测概念。Grad-CAM适用于各种各样的CNN模型家族：（1）具有全连接层的CNN，（2）用于结构化输出的CNN，（3）用于具有多模态输入或强化学习的任务的CNN，而无需任何架构更改或重新训练。我们将Grad-CAM与细粒度可视化相结合，以创建高分辨率的类区分可视化，并将其应用于现成的图像分类，字幕和视觉问答（VQA）模型，包括基于ResNet的架构。在图像分类模型的背景下，我们的可视化（a）可以深入了解它们的故障模式，（b）对对抗图像具有鲁棒性，（c）在定位方面优于以前的方法，（d）更忠实于底层模型，（e）通过识别数据集偏差来帮助实现泛化。对于字幕和VQA，我们表明，即使是非注意力为基础的模型可以本地化的输入。我们设计了一种通过Grad-CAM识别重要神经元的方法，并将其与神经元名称相结合，为模型决策提供文本解释。最后，我们设计并进行人体研究来衡量Grad-CAM是否可以帮助用户建立对模型预测的适当信任，并表明Grad-CAM可以帮助未经训练的用户成功地从“较弱”的节点中辨别出“较强”的节点，即使两者都做出相同的预测。我们的代码可以在https：//gi…
2019-12-03 cs.AI cs.CV cs.LG
VAC-CNN: A Visual Analytics System for Comparative Studies of Deep Convolutional Neural Networks
University of California, Davis（加州大学戴维斯分校）
近年来，卷积神经网络（CNN）的快速发展在许多机器学习（ML）应用中引发了重大突破。因此，理解和比较各种可用的CNN模型的能力至关重要。传统的方法可视化每个模型的定量特征，如分类精度和计算复杂性，是不够的，更深入地了解和比较不同的模型的行为。而且，现有的评估CNN行为的工具大多只支持两个模型之间的比较，缺乏根据用户需求定制分析任务的灵活性。本文提出了一个可视化分析系统，VAC-CNN（用于比较CNN的可视化分析），它支持对单个CNN模型的深入检查以及对两个或多个模型的比较研究。比较更大数量的（例如，几十个）模型特别将我们的系统与以前的系统区分开来。通过精心设计的模型可视化和解释支持，VAC-CNN促进了高度互动的工作流程，在每个分析阶段及时呈现定量和定性信息。我们通过两个用例和一个使用ImageNet数据集上的图像分类任务的初步评估研究，证明了VAC-CNN在帮助新手ML从业者评估和比较多个CNN模型方面的有效性。
2022-01-14 cs.HC cs.LG
Patch Reordering: a Novel Way to Achieve Rotation and Translation Invariance in Convolutional Neural Networks
University of Science and Technology of China（中国科学技术大学）；University of Technology Sydney（悉尼科技大学）
卷积神经网络（CNN）在许多视觉识别任务中表现出了最先进的性能。然而，卷积和池化操作的组合仅对输入中有意义的对象中的小的局部位置变化示出不变性。有时，这种网络使用数据增强来训练，以将这种不变性编码到参数中，这限制了模型学习这些对象内容的能力。更有效地使用参数预算是将旋转或平移不变性编码到模型架构中，这使模型无需学习它们。为了使模型能够专注于学习对象的内容而不是它们的位置，我们建议在将它们馈送到下一层之前对特征图进行补丁排名。当补丁排名与卷积和池化操作相结合时，尽管输入中有意义的对象的位置，我们还是获得了一致的表示。我们表明，补丁排名模块提高了CNN在许多基准任务，包括MNIST数字识别，大规模图像识别和图像检索的性能。该代码可在https://github.com//jasonustc/caffe-multigpu/tree/TICNN上获得。
2019-11-28 cs.CV cs.LG eess.IV
Understanding 3D CNN Behavior for Alzheimer's Disease Diagnosis from Brain PET Scan
Georgia State University（佐治亚州立大学）
最近几天，卷积神经网络（CNN）在医学图像分析中表现出令人印象深刻的性能。然而，人们对卷积神经网络为什么以及如何在图像分析任务中表现如此出色缺乏清晰的理解。CNN如何分析图像并区分不同类别的样本通常被认为是不透明的。结果，在临床程序和自动疾病诊断系统中应用基于CNN的方法变得困难。在本文中，我们考虑这个问题，并致力于可视化和理解卷积神经网络用于阿尔茨海默病（AD）诊断的决策。我们使用大脑PET扫描开发了一个用于AD诊断的3D深度卷积神经网络，并提出使用五种可视化技术-灵敏度分析（反向传播），引导反向传播，闭塞，大脑区域闭塞和分层相关传播（LRP），通过突出显示PET数据中的相关区域来理解CNN的决策。
2019-12-26 cs.CV cs.LG eess.IV
Steerable CNNs
University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
长期以来，人们已经认识到，表征的不变性和等变性对于许多视觉任务的成功至关重要。在本文中，我们提出了可控卷积神经网络，一个有效的和灵活的类等变卷积网络。我们证明了可操纵CNN在CIFAR图像分类基准上达到了最先进的结果。可操纵表示的数学理论揭示了一个类型系统，其中任何可操纵表示都是基本特征类型的组合，每一个都与一种特定的对称性相关联。我们展示了可控滤波器组的参数成本如何取决于输入和输出特征的类型，并展示了如何使用这些知识来构建有效利用参数的CNN。
2016-12-27 cs.LG stat.ML
Capsule Network Performance on Complex Data
Carnegie Mellon University（卡内基梅隆大学）
近年来，卷积神经网络（CNN）在深度学习领域发挥了重要作用。CNN的变体已被证明在不同领域的分类任务中非常成功。然而，CNN有两个大缺点：它们没有考虑到特征之间的重要空间层次，以及它们缺乏旋转不变性。只要测试数据中存在对象的某些关键特征，CNN就将测试数据分类为对象，而不考虑特征彼此的相对空间取向。这会导致误报。CNN中缺乏旋转不变性会导致网络错误地为对象分配另一个标签，从而导致假阴性。为了解决这个问题，Hinton等人在最近的一篇论文中提出了一种使用胶囊概念的新型神经网络。通过使用动态路由和重构正则化，胶囊网络模型将是旋转不变的和空间感知的。胶囊网络已经显示出其潜力，在MNIST上实现了0.25%的测试误差，而无需旋转和缩放等数据增强，优于之前的0.39%的基线。为了进一步测试胶囊网络在高维数据上的应用，我们试图找到在CIFAR10数据集上产生最佳测试误差的最佳配置集。
2017-12-10 cs.LG stat.ML
Rotation Equivariance and Invariance in Convolutional Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
神经网络的性能可以通过对特定任务的已知不变性进行编码来显著提高。许多图像分类任务，例如与细胞成像相关的任务，表现出旋转不变性。我们提出了一种新的方案，使用2D离散傅立叶变换（2D-DFT）的幅度响应来编码神经网络中的旋转不变性，以及一个新的，有效的卷积方案，用于编码整个卷积层的旋转等方差。我们实现了这个计划的几个图像分类任务，并证明了改进的性能，在分类精度，训练模型所需的时间，和超参数选择的鲁棒性，超过标准的CNN和另一个国家的最先进的方法。
2018-05-31 cs.CV cs.LG stat.ML
Rad4XCNN: a new agnostic method for post-hoc global explanation of CNN-derived features by means of radiomics
University of Palermo（巴勒莫大学）；National Research Council（国家研究委员会）
本文提出 Rad4XCNN，通过放射组学为 CNN 特征赋予可理解含义，在乳腺癌超声分类中实现不牺牲精度的全局事后解释。
2025-01-08 cs.AI cs.CV cs.LG
A General Framework for Robust G-Invariance in G-Equivariant Networks
UC Santa Barbara（加州大学圣塔芭芭拉分校）
本研究提出G-三重相关层通用方法，利用群上完备三重相关理论实现G-CNN的鲁棒群不变性，可高效适配任意离散群，在多群结构的两类数据集上提升了分类精度与对抗鲁棒性。
2024-01-26 cs.AI cs.CV cs.LG
Interactive dense pixel visualizations for time series and model attribution explanations
University of Konstanz（康斯坦茨大学）
提出交互式可视化分析方法 DAVOTS，通过密集像素可视化探索时间序列数据、神经网络激活值与归因，并应用聚类和排序策略辅助发现模式，帮助理解模型决策与解释。
2024-08-27 cs.AI cs.HC cs.LG
VisCUIT: Visual Auditor for Bias in CNN Image Classifier
Georgia Institute of Technology（佐治亚理工学院）
CNN图像分类器由于其效率和准确性而被广泛使用。然而，它们可能会受到偏见的影响，阻碍其实际应用。大多数现有的偏差调查技术要么不适用于一般的图像分类任务，要么需要大量的用户努力仔细阅读所有数据子组，以手动指定哪些数据属性进行检查。我们提出了VisCUIT，一个交互式可视化系统，揭示了CNN分类器是如何以及为什么有偏见的。VisCUIT直观地总结了分类器表现不佳的子组，并通过揭示负责激活导致错误分类的神经元的图像概念来帮助用户发现和描述表现不佳的原因。VisCUIT在现代浏览器中运行，并且是开源的，允许人们轻松访问并将该工具扩展到其他模型架构和数据集。VisCUIT可通过以下公开演示链接获得：https://poloclub.github.io/VisCUIT。视频演示可在https://youtu.be/eNDbSyM4R_4上获得。
2022-04-13 cs.CV cs.HC cs.LG
The problems with using STNs to align CNN feature maps
KTH Royal Institute of Technology（皇家理工学院）
本文指出STN无法对齐变换前后图像的特征图，导致分类准确率下降，并提出在分类与定位网络间共享参数以利用深层复杂特征。
2020-01-14 cs.CV cs.LG
Disentangling Polysemantic Channels in Convolutional Neural Networks
Technical University of Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
针对CNN中多义通道编码不同概念导致难以解释的问题，提出一种利用前层激活模式差异重构权重的算法，将多义通道分解为单概念通道，增强CNN可解释性并改进特征可视化等解释技术。
2025-04-17 cs.CV cs.LG
Encoding Involutory Invariances in Neural Networks
BITS-Pilani（比尔拉科学技术学院）；Harvard University（哈佛大学）
在某些情况下，神经网络是在服从基本对称性的数据上训练的。然而，预测并不完全尊重对称性，除非嵌入到网络结构中。在这项工作中，我们引入的架构，嵌入一种特殊的对称性，即不变性相对于对合线性/仿射变换奇偶校验$p=\pm 1$。我们提供严格的定理表明，建议的网络确保这样的不变性和一个特殊的普遍逼近定理的定性参数。我们的技术适应CNN任务的数据集具有固有的水平/垂直反射对称性的证明。大量的实验表明，该模型优于基线前馈和物理信息神经网络，同时同样尊重潜在的对称性。
2022-04-26 cs.AI cs.LG cs.NE
FILTRA: Rethinking Steerable CNN by Filter Transform
JD Technology（京东科技）；National University of Singapore（新加坡国立大学）
可控CNN在网络结构中施加变换不变性或等变性的先验知识，以增强网络对数据的几何变换的鲁棒性并减少过拟合。在过去的几十年中，通过将滤波器的变换副本扩展到滤波器来构造可操纵滤波器是一种直观且广泛使用的技术，本文称之为滤波器变换。近年来，人们从群表示理论的角度研究了可操纵CNN问题，揭示了可操纵核函数的函数空间结构。然而，目前还不清楚该理论与滤波器变换技术的关系。本文证明了滤子变换构造的核也可以用群表示理论来解释。这种解释有助于完成可操纵CNN理论的难题，并提供了一种新颖而简单的方法来实现可操纵卷积算子。在多个数据集上进行了实验，验证了该方法的可行性。
2022-02-15 cs.CV cs.LG
