Explainable CNN-attention Networks (C-Attention Network) for Automated Detection of Alzheimer's Disease
Stevens Institute of Technology（史蒂文斯理工学院）
在这项工作中，我们提出了三种可解释的深度学习架构，根据语言能力自动检测阿尔茨海默病患者。架构用途：（1）仅词性特征;（2）仅语言嵌入特征;以及（3）这两个特征类经由统一架构。我们使用自注意力机制和可解释的一维卷积神经网络（CNN）来产生两种类型的解释模型的行动：类内解释和类间解释。类间解释捕获该类中每个不同特征的相对重要性，而类间解释捕获类之间的相对重要性。请注意，尽管我们在本文中考虑了两类功能，但由于其模块化，该架构可以轻松扩展到更多类。大量的实验和与最近几个模型的比较表明，我们的方法优于这些方法，在DementiaBank数据集上的准确率为92.2%，F1得分为0.952，同时能够生成解释。我们通过例子展示了如何使用注意力值来生成这些解释。
2021-01-08 cs.CL cs.LG
Neural Image Compression and Explanation
Georgia State University（佐治亚州立大学）
解释深度神经网络（DNN）的预测和语义图像压缩是深度学习的两个活跃研究领域，在决策关键系统中有许多应用，例如监控摄像头、无人机和自动驾驶汽车，其中可解释的决策至关重要，存储/网络带宽有限。在本文中，我们提出了一种新的端到端神经图像压缩和解释（NICE）框架，该框架学习（1）解释卷积神经网络（CNN）的预测，以及（2）随后压缩输入图像以实现有效的存储或传输。具体地，NICE通过将随机二进制门附加到图像的每个像素来在输入图像上生成稀疏掩模，其参数通过与将要解释的CNN分类器的交互来学习。生成的掩码能够捕获每个像素的显著性，通过其对CNN的最终预测的影响来测量;它还可以用于生成混合分辨率图像，其中重要像素保持其原始高分辨率，而不重要的背景像素被二次采样到低分辨率。所产生的图像实现了高压缩率（例如，约为原始图像文件大小的0.6倍），同时保持类似的分类精度。在多个图像分类基准测试中的大量实验表明，NICE在解释质量和语义图像压缩率方面优于最先进的方法。我们的代码可在https://github.com/lxuniverse/NICE上获得。
2020-12-08 cs.CV cs.LG stat.ML
Propagated Perturbation of Adversarial Attack for well-known CNNs: Empirical Study and its Explanation
LG CNS；LG Science Park（LG科学园）
已知基于深度神经网络的分类器容易受到由对抗攻击构造的输入扰动的影响，以强制错误分类。大多数研究集中在如何利用基于梯度的攻击方法制造脆弱的噪声，或者建立防御对抗攻击的模型。使用去噪模型是一个众所周知的解决方案，以减少对抗性噪声，虽然分类性能没有显着提高。在这项研究中，我们的目标是分析对抗攻击的传播作为一个可解释的AI（XAI）的观点。具体来说，我们通过CNN架构来研究对抗性扰动的趋势。为了分析传播的扰动，我们在每个CNN层中测量通过去噪器的扰动图像的特征图与未扰动的原始图像之间的归一化欧几里得距离和余弦距离。我们使用了五个著名的基于CNN的分类器和三个基于梯度的对抗攻击。从实验结果中，我们观察到，在大多数情况下，欧氏距离在最后一个全连接层爆炸性地增加，而余弦距离在最后一层波动并消失。这意味着使用去噪器可以减少噪声量。然而，它未能防御精度下降。
2019-09-23 cs.CV cs.LG eess.IV
Designing a Direct Feedback Loop between Humans and Convolutional Neural Networks through Local Explanations
George Mason University（乔治梅森大学）；Emory University（埃默里大学）；Michigan State University（密歇根州立大学）；NAVER AI Lab（NAVER人工智能实验室）
本文针对局部解释在 CNN 漏洞诊断中启发式且难以直接修正模型的问题，提出交互式设计 DeepFuse，通过建立用户与 CNN 之间的直接反馈回路，系统性搜索并标注不合理局部解释以引导模型修正，实验表明其能提升模型准确性与合理性。
2023-07-08 cs.AI cs.CV cs.HC
Model Doctor: A Simple Gradient Aggregation Strategy for Diagnosing and Treating CNN Classifiers
Zhejiang University（浙江大学）
近年来，卷积神经网络（CNN）在分类任务中取得了优异的性能。众所周知，CNN被认为是一个“黑匣子”，这是很难理解的预测机制和调试错误的预测。针对上述不足，开展了模型调试和解释工作。然而，这些方法侧重于解释和诊断模型预测的可能原因，研究人员在此基础上手动处理模型的后续优化。在本文中，我们提出了第一个完全自动化的模型诊断和治疗工具，称为模型医生。基于两个发现：1）每个类别只与稀疏和特定的卷积核相关; 2）敌对样本是孤立的，而正常样本在特征空间中是连续的，设计了一个简单的聚合梯度约束，用于有效地诊断和优化CNN分类器。聚合梯度策略是主流CNN分类器的通用模块。大量的实验表明，模型医生适用于所有现有的CNN分类器，并将$16$主流CNN分类器的准确率提高了1%-5%。
2021-12-09 cs.CV cs.LG
Neuron Abandoning Attention Flow: Visual Explanation of Dynamics inside CNN Models
School of Engineering and Built Environment, Griffith University（格里菲斯大学工程与建筑环境学院）；Institute for Integrated and Intelligent Systems, Griffith University（格里菲斯大学集成与智能系统研究所）；School of Electronic Information and Artificial Intelligence, Shaanxi University of Science and Technology（陕西科技大学电子信息与人工智能学院）
针对CNN分类决策中的注意力演化难以解释的问题，本文提出NAFlow，通过级联NA-BP与通道贡献权重模块追踪并可视化决策相关神经元，在9个模型和4类任务上验证有效。
2024-12-02 cs.AI cs.CV cs.LG
Interpretable Network Visualizations: A Human-in-the-Loop Approach for Post-hoc Explainability of CNN-based Image Classification
Politecnico di Milano（米兰理工大学）
提出一种事后可解释性方法，通过逐层特征显著性图、泛化Grad-CAM权重及Sentence-BERT处理的众包文本标签，完整解释CNN特征提取过程并支持全局解释。
2024-05-06 cs.CV cs.LG
High Frequency Component Helps Explain the Generalization of Convolutional Neural Networks
School of Computer Science（计算机科学学院）；Carnegie Mellon University（卡内基梅隆大学）
我们研究了图像数据的频谱和卷积神经网络（CNN）的泛化行为之间的关系。我们首先注意到CNN捕捉图像高频分量的能力。这些高频成分几乎是人类无法察觉的。因此，观察导致了与CNN的泛化行为相关的多个假设，包括对抗性示例的潜在解释，CNN在鲁棒性和准确性之间权衡的讨论，以及理解训练算法的一些证据。
2020-03-24 cs.CV cs.LG
Visual Explanations for Convolutional Neural Networks via Latent Traversal of Generative Adversarial Networks
Northwestern University（西北大学）
人工智能，特别是深度神经网络缺乏可解释性，仍然是在实践中实现模型的瓶颈。诸如梯度加权类激活映射（Grad-CAM）之类的流行技术提供了图像中显著特征的粗略映射，这很少能讲述卷积神经网络（CNN）学习的全部内容。使用COVID-19胸部X射线，我们提出了一种方法，用于解释CNN通过利用生成对抗网络（GANs）学习到的内容。我们的GAN框架将肺部结构与COVID-19特征分开。使用该GAN，我们可以通过在GAN的潜在空间中进行插值来可视化胸部X射线照片中的一对COVID阴性肺到COVID阳性肺的过渡，这提供了CNN如何响应肺内的不同特征的细粒度可视化。
2021-11-02 cs.AI cs.CV cs.LG
HiRA-CAM: Preserving Fine-Grained Spatial Relevance in Gradient-Based Visual Explanations
University of Cincinnati（辛辛那提大学）
本文针对CNN可解释性问题，提出基于LayerCAM改进的HiRA-CAM方法，通过自适应利用CNN各层激活图生成更聚焦的显著性图，其在物体分类任务的显著性图生成上优于LayerCAM与Grad-CAM。
2026-08-21 cs.AI cs.CV cs.LG
On the Performance of Convolutional Neural Networks under High and Low Frequency Information
Indian Institute of Information Technology, Sri City（斯里城印度信息技术学院）
卷积神经网络（CNN）近年来在不同的问题上表现出非常有前途的性能，包括对象识别、人脸识别、医学图像分析等。然而，通常情况下，训练好的CNN模型在与训练集非常相似的测试集上进行测试。CNN模型的泛化能力和鲁棒性是使其能够处理未知数据的重要方面。在这封信中，我们研究了CNN模型在图像的高频和低频信息上的性能。我们观察到，训练后的CNN未能在高频和低频图像上泛化。为了使CNN对高频和低频图像具有鲁棒性，我们提出了在训练过程中基于随机滤波的数据增强。一个令人满意的性能改善已被观察到的高频和低频的推广和鲁棒性与建议的随机滤波为基础的数据增强方法。实验使用ResNet50模型在CIFAR-10数据集上进行，ResNet101模型在Tiny-ImageNet数据集上进行。
2020-10-30 cs.CV cs.LG
Grad-CAM: Why did you say that?
Virginia Tech（弗吉尼亚理工大学）
我们提出了一种技术，通过可视化对预测或视觉解释“重要”的输入区域，使基于卷积神经网络（CNN）的模型更加透明。我们的方法，称为加权类激活映射（梯度CAM），使用类特定的梯度信息本地化的重要区域。这些本地化与现有的像素空间可视化相结合，创建一个新的高分辨率和类歧视可视化称为引导梯度CAM。这些方法有助于更好地理解基于CNN的模型，包括图像字幕和视觉问答（VQA）模型。我们评估我们的视觉解释，通过测量他们的能力，区分类，激发对人类的信任，以及他们与遮挡地图的相关性。Grad-CAM为理解基于CNN的模型提供了一种新的方法。我们已经发布了代码，在CloudCV上托管的在线演示，以及此扩展摘要的完整版本。
2017-01-25 cs.CV cs.LG stat.ML
Frequency Domain Convolutional Neural Network: Accelerated CNN for Large Diabetic Retinopathy Image Classification
University of Nottingham Malaysia（诺丁汉大学马来西亚分校）
卷积神经网络（CNN）中的传统空间卷积层在训练时间可能花费数天的点处计算上是昂贵的，除非减少层的数量、训练图像的数量或训练图像的大小。CNN的大多数应用通常使用256 × 256像素的图像大小，但该图像大小对于像糖尿病视网膜病变（DR）分类这样的应用来说太小了，其中图像细节对于准确分类很重要。本研究提出频域卷积（FDC）层和频域池化（FDP）层，其利用RFFT、核初始化策略、卷积伪影去除和通道独立卷积（CIC）来构建，以取代传统的卷积层和池化层。FDC和FDP层用于构建频域卷积神经网络（FDCNN），以加速DR分类的大图像训练。全FDC层是FDC层的扩展，允许直接用于传统CNN，它也用于修改VGG16架构。与等效的CNN架构相比，FDCNN CNN至少快54.21%，内存效率高70.74%。据报道，与原始的VGG16架构相比，具有完整FDC层的修改后的VGG16架构实现了更短的训练时间和更高的准确率（95.63%）。
2021-06-24 cs.CV cs.LG
Learning and Visualizing Localized Geometric Features Using 3D-CNN: An Application to Manufacturability Analysis of Drilled Holes
Iowa State University（爱荷华州立大学）
3D卷积神经网络（3D-CNN）已经用于基于对象的体素化形状的对象识别。然而，解释这些3D-CNN的决策过程仍然是一项不可行的任务。在本文中，我们提出了一种独特的基于3D-CNN的加权类激活映射方法（3D-GradCAM），用于视觉解释对象内感兴趣的不同局部几何特征。为了能够有效地学习3D几何形状，我们使用对象边界的表面法线来增强体素数据。然后，我们用这个增强的数据训练3D-CNN，并使用3D GradCAM识别对决策至关重要的局部特征。该特征识别框架的一个应用是识别复杂CAD几何形状中难以制造的钻孔特征。该框架可以扩展到在多个空间尺度上识别难以制造的特征，从而实现可制造性决策支持系统的实时设计。
2018-03-28 cs.CV cs.LG stat.ML
When a Relation Tells More Than a Concept: Exploring and Evaluating Classifier Decisions with CoReX
University of Bamberg（班贝格大学）
本文提出基于概念与关系的解释器 CoReX，通过掩蔽概念并约束可解释代理模型中的关系来解释和评估 CNN，实验证明其解释忠实且能辅助识别、重分类模糊或错误样本。
2024-08-06 cs.CV cs.LG
Revealing Vulnerabilities of Neural Networks in Parameter Learning and Defense Against Explanation-Aware Backdoors
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；University of Oldenburg（奥尔登堡大学）
本文揭示了致盲攻击对神经网络解释的误导性，提出一种无需额外训练的评估阶段防御方法，使攻击成功率降低约99%，均方误差减少约91%。
2024-03-25 cs.CR cs.CV cs.LG
Testing predictions of representation cost theory with CNNs
Pacific Northwest National Lab（太平洋西北国家实验室）
本文结合理论分析与实验，利用 CNN 各层的频率空间表征证明其低频敏感性源于自然图像能量集中于低中频的频率分布，并将该视角引入模型鲁棒性研究。
2023-09-26 cs.LG stat.ML
A Frequency-Velocity CNN for Developing Near-Surface 2D Vs Images from Linear-Array, Active-Source Wavefield Measurements
Utah State University（犹他州立大学）；Virginia Tech（弗吉尼亚理工大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出了一种频率-速度卷积神经网络（CNN）的快速，非侵入性的近地表地质材料的二维剪切波速度（Vs）成像。在频率-速度域中操作允许用于生成CNN输入（其是归一化色散图像）的线性阵列有源实验测试配置的显著灵活性。与波场图像不同，归一化色散图像对实验测试配置相对不敏感，可容纳各种源类型、源偏移、接收器数量和接收器间距。我们证明了频率-速度CNN的有效性，将其应用到一个经典的近地表地球物理学问题，即成像两层，起伏，土壤基岩界面。这个问题最近在我们的小组通过开发一个时间-距离CNN，这显示了很大的希望，但缺乏灵活性，利用不同的现场测试配置进行了研究。在此，新的频率-速度CNN被示出为具有与时间-距离CNN相当的精度，同时提供更大的灵活性来处理不同的现场应用。频率-速度CNN使用100，000个合成近地表模型进行训练、验证和测试。建议的频率-速度CNN的能力，概括在各种采集配置首先使用合成近地表模型与不同的采集配置的训练集进行测试，然后应用到实验场数据收集在美国德克萨斯州奥斯汀的Hornsby Bend网站。当针对更广泛的地质条件充分开发时，所提出的CNN最终可用作当前伪2D表面波成像技术的快速、端到端的替代方案，或开发用于全波形反演的起始模型。
2022-07-19 cs.LG eess.SP physics.geo-ph
Intriguing Frequency Interpretation of Adversarial Robustness for CNNs and ViTs
Shanghai Jiao Tong University, China（上海交通大学）；Southeast University, China（东南大学）；Mohamed bin Zayed University of Artificial Intelligence, UAE（穆罕默德·本·扎耶德人工智能大学）；National University of Singapore, Singapore（新加坡国立大学）
该研究针对图像分类任务探究CNN与ViT中对抗样本的频域特性，发现不同架构存在频率偏好差异，频域分量差异影响模型鲁棒性，并提出三项安全参考建议。
2025-06-15 cs.CV cs.LG
Diabetic Retinopathy Detection via Deep Convolutional Networks for Discriminative Localization and Visual Explanation
GE Global Research（通用电气全球研究中心）
我们提出了一种用于可解释的糖尿病视网膜病变（DR）检测的深度学习方法。通过在卷积网络（CNN）的全局平均池化层之后添加回归激活图（RAM），实现了所提出方法的视觉可解释特征。利用RAM，该模型可以定位视网膜图像的判别区域，以显示特定的感兴趣区域的严重程度。我们相信，所提出的深度学习模型的这一优势对于DR检测是非常理想的，因为在实践中，用户不仅对高预测性能感兴趣，而且还热衷于了解DR检测的见解以及所采用的学习模型的工作原理。在大规模的视网膜图像数据集上进行的实验中，我们表明，所提出的CNN模型可以实现高性能的DR检测相比，国家的最先进的，同时实现的优点，提供RAM突出输入图像的显着区域。
2019-12-02 cs.CV cs.LG cs.NE
Receptive-field-regularized CNN variants for acoustic scene classification
声学场景分类和相关任务一直由卷积神经网络（CNN）主导。性能最好的CNN主要使用音频频谱图作为输入，并主要从计算机视觉中借用其架构设计。最近的一项研究表明，以适当的方式限制CNN的感受野（RF）对于它们在音频任务中的性能，鲁棒性和泛化至关重要。限制CNN的RF的一个副作用是丢失了更多的频率信息。在本文中，我们在DCASE 2019任务1.A数据集上对各种CNN架构的不同RF配置进行了系统研究。其次，我们引入了频率感知CNN来补偿由受限RF引起的频率信息的缺乏，并通过实验确定它们是否以及在什么RF范围内产生额外的改进。这些调查的结果是DCASE 2019挑战赛中不同任务的几个表现良好的提交。
2019-09-05 cs.LG cs.SD eess.AS
AS-XAI: Self-supervised Automatic Semantic Interpretation for CNN
Southern University of Science and Technology（南方科技大学）；Peng Cheng Laboratory（鹏城实验室）；Peking University（北京大学）；Eastern Institute of Technology（东方理工大学）
提出AS-XAI框架，利用正交语义提取和行中心PCA实现CNN决策的自动全局解释，兼顾可靠性、因果性和可用性，实验验证其有效性和广泛适用性。
2023-12-02 cs.AI cs.CV cs.HC
Temporal Convolutional Explorer Helps Understand 1D-CNN's Learning Behavior in Time Series Classification from Frequency Domain
Zhejiang University（浙江大学）
本研究提出时间卷积探索器（TCE）从频域分析1D-CNN的学习行为，发现深层网络因干扰卷积偏离低频分量导致准确率下降，并据此提出可集成的调控框架，在多个基准上实现了性能提升且降低了资源开销。
2023-10-09 cs.LG
Radio Frequency Fingerprint Identification for LoRa Using Spectrogram and CNN
University of Liverpool（利物浦大学）；Southeast University（东南大学）；Western University（韦仕敦大学）
射频指纹识别（RFFI）是一种新兴的设备认证技术，其依赖于无线设备的固有硬件特性。我们设计了一种基于频谱图和卷积神经网络（CNN）的远程（LoRa）系统RFFI方案。具体来说，我们使用频谱图来表示LoRa信号的细粒度时频特征。此外，我们发现，瞬时载波频率偏移（CFO）漂移，这将导致误分类和显着损害系统的稳定性，我们证明CFO补偿是一种有效的缓解。最后，我们设计了一个混合分类器，可以调整CNN输出与估计的CFO。CFO的平均值保持相对稳定，因此它可以用于排除估计CFO落在范围之外的CNN预测。我们在真实的无线环境中使用20个LoRa测试设备（DUT）和通用软件无线电外设（USRP）N210接收器进行了实验。通过与基于IQ和基于FFT的RFFI方案的比较，我们的基于谱图的方案可以达到最佳的分类精度，即，20个LoRa DUT为97.61%。
2020-12-30 cs.LG eess.SP
Short-segment heart sound classification using an ensemble of deep convolutional neural networks
Universiti Teknologi Malaysia（马来西亚工艺大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文提出了一种基于深度卷积神经网络（CNN）的框架，用于使用单个心跳的短片段进行自动心音分类。我们设计了一个直接从原始心音信号中学习特征的1D-CNN和一个基于Mel频率倒谱系数（MFCC）的二维的时频特征图的2D-CNN。我们进一步开发了一个时频CNN集成（TF-ECNN）结合的1D-CNN和2D-CNN基于分数级融合的类概率。在大型PhysioNet CinC挑战2016数据库上，提出的CNN模型优于基于支持向量机和隐马尔可夫模型的传统分类器，具有各种手工制作的时域和频域特征。ECNN实现了最佳分类评分，准确度为89.22%，灵敏度为89.94%，2D-CNN单独在测试集上实现了91.55%的特异性和88.82%的修正准确度。
2018-10-27 cs.LG cs.SD eess.AS
ADVISE: ADaptive Feature Relevance and VISual Explanations for Convolutional Neural Networks
Universitat Oberta de Catalunya（开放加泰罗尼亚大学）
本文提出ADVISE方法，通过自适应带宽核密度估计量化CNN特征图单元的相关性，以提供更优的视觉解释，并在多个预训练模型上验证其优于现有方法且满足可解释性公理。
2022-03-02 cs.CV cs.LG
From Interpretable Filters to Predictions of Convolutional Neural Networks with Explainable Artificial Intelligence
Atlantic Technological University（大西洋理工大学）
卷积神经网络（CNN）以其出色的特征提取能力而闻名，可以从数据中学习模型，但却被用作黑箱。对卷积滤波器和相关特征的解释可以帮助建立对CNN的理解，以区分各种类别。在这项工作中，我们专注于用于Covid-19和非Covid-19分类的称为cnnexplain的CNN模型的可解释性，重点关注卷积滤波器对特征的可解释性，以及这些特征如何有助于分类。具体来说，我们使用了各种可解释的人工智能（XAI）方法，如可视化，SmoothGrad，Grad-CAM和LIME，以提供卷积滤波器和相关特征的解释，以及它们在分类中的作用。我们已经分析了使用干咳频谱图检测Covid-19的这些方法的解释。从LIME、SmoothGrad和Grad-CAM获得的解释结果突出了不同谱图的重要特征及其与分类的相关性。
2022-07-26 cs.LG
INSightR-Net: Interpretable Neural Network for Regression using Similarity-based Comparisons to Prototypical Examples
Institute of Biomedical Engineering（生物医学工程研究所）；University of Oxford（牛津大学）
卷积神经网络（CNN）在一系列医学成像任务中表现出卓越的性能。然而，传统的CNN无法解释它们的推理过程，因此限制了它们在临床实践中的应用。在这项工作中，我们提出了一个固有的解释CNN回归使用基于相似性的比较（INSightR-Net），并证明了我们的方法对糖尿病视网膜病变分级的任务。结合到架构中的原型层使图像中与学习的原型最相似的区域可视化。然后，最终的预测直观地建模为原型标签的平均值，并通过相似性进行加权。与ResNet基线相比，我们使用INSightR-Net实现了具有竞争力的预测性能，表明没有必要为了可解释性而牺牲性能。此外，我们使用稀疏性和多样性来量化我们的解释的质量，这两个概念对于一个好的解释很重要，并展示了几个参数对潜在空间嵌入的影响。
2022-07-31 cs.CV cs.LG
Extract fundamental frequency based on CNN combined with PYIN
Xi’an Jiaotong-liverpool University（西交利物浦大学）
本文涉及基于PYIN的多个基频（多个F0）的提取，PYIN是用于提取单声道音乐的基频（F0）的算法，以及训练的卷积神经网络（CNN）模型，其中产生输入信号的音高显著性函数以估计多个F0。本文讨论了这两种算法的实现及其各自的优缺点。分析了两种方法的不同性能，采用PYIN算法对训练好的CNN模型进行F0值的补充，以结合两种算法的优点。对于评估，使用由两个小提琴演奏的四个片段，并且根据提取的F0曲线的平坦度来评估模型的性能。实验结果表明，在单声道和复调音乐的F0提取中，组合模型的性能优于原算法。
2022-08-17 cs.LG cs.SD eess.AS
Amplitude-Phase Recombination: Rethinking Robustness of Convolutional Neural Networks in Frequency Domain
Peking University（北京大学）；Beihang University（北京航空航天大学）；Huawei（华为）
近年来，卷积神经网络（CNN）的泛化行为通过频率分量分解的解释技术逐渐变得透明。然而，图像相位谱对于视觉系统的鲁棒性的重要性仍然被忽视。在本文中，我们注意到，CNN往往收敛于局部最优值，这是密切相关的训练图像的高频分量，而幅度谱容易受到干扰，如噪声或常见的腐败。相比之下，更多的实证研究发现，人类依赖更多的相位分量来实现鲁棒的识别。这一观察结果导致更多的解释CNN的泛化行为在两个鲁棒性常见的扰动和分布外检测，并激发了一个新的视角数据增强设计重新组合的相位谱的当前图像和干扰图像的幅度谱。也就是说，生成的样本迫使CNN更加关注来自相位分量的结构化信息，并对幅度的变化保持鲁棒性。在多个图像数据集上的实验表明，该方法在多个泛化和校正任务上都达到了最先进的性能，包括对常见损坏和表面变化的适应性，分布外检测和对抗攻击。
2021-08-19 cs.CV cs.LG
Low-Frequency Load Identification using CNN-BiLSTM Attention Mechanism
本文提出一种结合CNN、BiLSTM和注意力机制的混合模型，用于低频非侵入式负载监测，在REDD数据集上实现了优于现有方法的准确性和计算效率。
2023-11-14 cs.LG cs.SY eess.SY
Explanatory Masks for Neural Network Interpretability
Pacific Northwest National Lab（太平洋西北国家实验室）
神经网络的可解释性是跨各种领域的应用的重要组成部分。在这种情况下，分析一个已经为特定目的训练过的网络通常是有用的。在这项工作中，我们开发了一种方法来为预训练的网络生成解释掩码。掩码将每个输入的最重要方面定位，以预测原始网络。掩码由二级网络创建，其目标是创建尽可能小的解释，同时仍然保持原始网络的预测准确性。我们证明了我们的方法的适用性与CNN的图像分类，情感分析与RNN，和化学性质预测与混合CNN/RNN架构。
2019-11-15 cs.AI cs.LG stat.ML
Convolutional Fourier Analysis Network (CFAN): A Unified Time-Frequency Approach for ECG Classification
University of São Paulo（圣保罗大学）
本文提出 CFAN，通过 CONV-FAN 模块将傅里叶原理嵌入 CNN，实现无需频谱图转换的联合时频学习，并在三个 ECG 任务上达到最先进准确率。
2025-05-14 cs.LG eess.SP
ThreatVisionAI: A Hybrid CNN-ViT Framework for Image-Based Malware Classification
介绍ThreatVisionAI混合恶意软件家族分类框架，集成多种网络捕捉不同特征，经实验验证该框架能提升恶意软件家族分类准确率，频率感知和基于Transformer的表示有积极作用。
2026-07-07 cs.CR cs.LG
Time is Not Enough: Time-Frequency based Explanation for Time-Series Black-Box Models
KAIST（韩国科学技术院）
针对现有时间序列解释方法多依赖时域的局限，提出支持插入多种扰动XAI方法的时频解释框架SpectralX及新方法FIA，实验验证了其时频域解释性能优越性与实用性。
2024-08-12 cs.LG eess.SP
Human-grounded Evaluations of Explanation Methods for Text Classification
Imperial College London（帝国理工学院）
由于深度学习模型的黑盒性质，解释模型结果的方法对于获得人类的信任和支持人工智能与人类之间的合作至关重要。在本文中，我们考虑了用于文本分类的CNN的几种模型不可知和模型特定的解释方法，并进行了三种基于人类的评估，重点是解释的不同目的：（1）揭示模型行为，（2）证明模型预测，（3）帮助人类调查不确定的预测。结果突出了不同的质量，我们考虑的各种解释方法，并显示在何种程度上，这些方法可以服务于每一个目的。
2019-08-29 cs.AI cs.CL cs.LG
iSTFTNet2: Faster and More Lightweight iSTFT-Based Neural Vocoder Using 1D-2D CNN
NTT Communication Science Laboratories, NTT Corporation（NTT集团NTT通信科学实验室）
针对iSTFTNet中1D CNN难以建模高维频谱图且时间上采样限制速度的问题，本文提出结合1D与2D CNN的iSTFTNet2，在保持语音质量相当的同时实现更快、更轻量的神经声码器。
2023-08-14 cs.LG cs.SD eess.AS
Deep CNNs along the Time Axis with Intermap Pooling for Robustness to Spectral Variations
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Mokwon University（牧园大学）
已经提出了沿频率轴具有卷积和池化操作的卷积神经网络（CNN），以获得对特征的频移的不变性。然而，这对于声学特征在频率上变化的事实是不合适的。在本文中，我们认为沿时间轴的卷积是更有效的。我们还建议在深度CNN中添加一个intermap pooling（IMP）层。在该层中，每组中的过滤器提取共同但光谱变化的特征，然后该层将每组的特征图合并。因此，所提出的IMP CNN可以实现对不同说话者和话语的频谱变化特性的不敏感性。IMP CNN架构的有效性在几个LVCSR任务上得到了证明。即使没有说话人自适应技术，该架构实现了12.7%的WER的Hub5'2000评估测试集的SWB部分，这是与其他国家的最先进的方法竞争。
2016-07-12 cs.CL cs.LG cs.NE
Feature Activation Map: Visual Explanation of Deep Learning Models for Image Classification
Griffith University（格里菲斯大学）
针对无全连接层的图像分类模型，本文提出事后可视化解释方法FAM，利用图像嵌入相似度计算通道权重并生成解释图，实验验证其有效性。
2023-07-11 cs.AI cs.CV cs.LG
Image Denoising for Strong Gaussian Noises With Specialized CNNs for Different Frequency Components
在图像去噪的机器学习方法中，训练网络从噪声图像中恢复干净的图像。本文提出了一种基于训练多个专用网络的新结构，而不是基于单个网络的现有结构。该模型是训练深度网络的一种替代方案，可以避免梯度消失或爆炸等问题。通过将一个非常深的网络划分为两个较小的网络，可以获得相同数量的可学习参数，但是应该训练两个更小的网络，这两个网络更容易训练。过度平滑和蜡质伪影是现有方法的主要问题;因为网络试图保持一般结构和细节的均方误差（MSE）较低，这导致忽略细节。在存在强噪音的情况下，这个问题更加严重。为了减少这个问题，在所提出的结构中，图像被分解为低频和高频分量，每个分量用于训练单独的去噪卷积神经网络。一个网络专门用于重建图像的一般结构，另一个专门用于重建细节。结果表明，该方法具有较高的峰值信噪比（PSNR），和结构相似性指数（SSIM）相比，一个流行的国家的最先进的去噪方法在强噪声的存在下。
2020-11-26 cs.CV cs.LG eess.IV
Activation-Deactivation: A General Framework for Robust Post-hoc Explainable AI
Department of Informatics（信息学院）
研究针对基于扰动的可解释性方法的问题，提出激活-停用新范式，实现CNN的ConvAD近似算法，无需输入扰动，能生成更鲁棒、可转移的解释，优于现有方法。
2026-07-07 cs.AI cs.CV cs.LG
Deep Learning for Stock Selection Based on High Frequency Price-Volume Data
Likelihood Technology（似然科技）；University of California, Irvine（加州大学欧文分校）；Sun Yat-sen University（中山大学）
训练一个实用有效的选股模型一直是人工智能领域非常关注的问题。尽管以前的一些模型通过使用低频数据和特征在美国市场取得了良好的表现，但使用高频股票数据训练合适的模型仍然是一个值得探索的问题。基于过去几天的高频价格数据，我们构建了两个独立的模型--卷积神经网络和长短期记忆模型，可以预测股票当天的预期收益率，并选择开盘时预期收益率最高的股票，以实现总收益最大化。在我们的CNN模型中，我们对E. Hoseinzade和S. Haratizadeh在他们的论文中讨论了低频特征。这些改进使我们的CNN模型能够利用卷积层的能力来提取高级因子，同时避免原始信息的过度丢失。我们的LSTM模型利用了递归神经网络在处理时间序列数据方面的优势。尽管由于我们的股票头寸的每日变化而产生了相当大的交易费用，但我们的CNN模型的年化净收益率为62.27%，我们的LSTM模型为50.31%。
2019-11-06 cs.LG q-fin.CP
TFN: An Interpretable Neural Network with Time-Frequency Transform Embedded for Intelligent Fault Diagnosis
Shanghai Jiao Tong University（上海交通大学）
针对CNN黑箱特性限制高可靠故障诊断应用的问题，提出嵌入物理意义时频变换的可解释时频网络TFN，通过核约束的时频卷积层提取故障时频信息，兼顾诊断性能与频域可解释性，且可推广至不同深度CNN。
2023-06-19 cs.AI cs.LG eess.SP
Acoustic Scene Classification Using Bilinear Pooling on Time-liked and Frequency-liked Convolution Neural Network
Xylem Inc（赛莱默公司）；Newcastle University（纽卡斯尔大学）
当前处理声学场景分类（ASC）任务的方法可以描述为两个步骤，将音频波形预处理成对数梅尔频谱图，然后将其用作卷积神经网络（CNN）的输入表示。这种范式转变发生在DCASE 2016之后，该框架模型在（ESC-50）数据集上实现了ASC任务的最新结果，并实现了64.5%的准确度，比基线模型提高了20.5%，DCASE 2016数据集的准确度为90.0%（开发）和86.2%（评估），分别比基线系统提高了6.4%和9%。本文探讨了利用谐波和谐波源分离（HPSS）将音频分离为谐波音频和谐波音频的方法，该方法在音乐信息检索（MIR）领域得到了广泛的应用。虽然已经在ASC任务中使用HPSS作为CNN模型的输入表示方面做了工作，但是本文进一步研究了通过策展2个CNN来利用分离的谐波分量和谐波分量的可能性，所述2个CNN试图以其自然形式理解谐波音频和谐波音频，一个专门用于在时间偏置域中提取深度特征，另一个专门用于在频率偏置域中提取深度特征，分别然后，从这2个CNN中提取的深度特征将使用双线性池进行组合。因此，提出了一种时频双流CNN结构的声学场景分类方法。该模型正在DCASE 2019子任务1a数据集上进行评估，并在开发数据集Kaggle Leadership Private and Public Board上平均得分为65%。
2020-02-14 cs.LG cs.SD eess.AS
Explainability of CNN Based Classification Models for Acoustic Signal
Department of Computer Science, Missouri State University（计算机科学系，密苏里州立大学）；Department of Biology, Missouri State University（生物学系，密苏里州立大学）；Biodiversity Research Institute（生物多样性研究学院）
本研究针对生物声学中CNN分类模型的可解释性问题，以北美鸟类发声识别为例，结合LIME、SHAP、DeepLIFT和Grad-CAM多种XAI技术，在94.8%准确率模型上提供互补解释，提升决策透明度与信任度。
2025-09-10 cs.AI cs.LG cs.SD
Multi-View Frequency-Attention Alternative to CNN Frontends for Automatic Speech Recognition
TALP Research Center, Universitat Politècnica de Catalunya（加泰罗尼亚理工大学TALP研究中心）；Amazon Alexa（亚马逊Alexa）
针对自动语音识别中卷积前端未区分时频维度特性的问题，提出频率注意力模块替代CNN前端，在生产级和公开数据集上均取得词错误率降低，且具备噪声鲁棒性。
2023-06-12 cs.CL cs.LG cs.SD
Learnable Time-Frequency Masks for Explaining Time-Series Classifiers
Technical University of Denmark（丹麦技术大学）
针对时间序列可解释性难题，提出XACT框架，通过学习可逆时频变换系数上的稀疏掩码生成解释，在合成和真实数据上验证了其有效性和灵活性。
2026-09-25 cs.LG
Rethinking Multimodality: Optimizing Multimodal Deep Learning for Biomedical Signal Classification
Morgan State University（摩根州立大学）；Yale University（耶鲁大学）
本研究通过五种模型对比，证明生物医学信号分类中多模态融合效果取决于域间信息论互补性而非模态数量，并提出量化框架指导最优融合。
2025-08-01 cs.AI cs.LG
Improving Deep Learning-based Respiratory Sound Analysis with Frequency Selection and Attention Mechanism
TICLab, International University of Rabat（国际拉巴特大学TIC实验室）；College of Computing, Mohammed VI Polytechnic University（摩洛哥穆莱·伊斯梅尔polytechnic大学计算机学院）；Faculty of Engineering, University of Leeds（利兹大学工程学院）
提出融合轻量时间自注意力与 FBS 频带选择的紧凑 CNN-TSA，并结合年龄专用模型，在多个肺音数据集上以更低算力达到最优性能。
2025-07-26 cs.LG cs.SD
Deep Learning Models for Arrhythmia Classification Using Stacked Time-frequency Scalogram Images from ECG Signals
Wichita State University（威奇托州立大学）；University of North Texas at Denton（北德克萨斯大学登顿分校）
针对人工分析大量ECG数据诊断心律失常效率低的问题，提出将12导联ECG信号转换为堆叠时频尺度图图像，输入多种深度学习模型分类，微调CNN准确率达98%。
2023-12-01 cs.AI cs.LG eess.SP
A Machine-Learning-Based Direction-of-Origin Filter for the Identification of Radio Frequency Interference in the Search for Technosignatures
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
射频干扰（RFI）的缓解仍然是寻找无线电技术特征的一个主要挑战。典型的缓解策略包括原点方向（DoO）滤波器，其中如果在天空的多个方向上检测到信号，则将其分类为RFI。这些分类通常依赖于信号特性的估计，例如频率和频率漂移率。卷积神经网络（CNN）为现有滤波器提供了一个有前途的补充，因为它们可以经过训练直接分析动态光谱，而不是依赖于推断的信号属性。在这项工作中，我们编译了几个由标记的动态光谱图像对组成的数据集，我们设计并训练了一个CNN，它可以确定在一次扫描中检测到的信号是否也存在于另一次扫描中。这种基于CNN的DoO过滤器在一系列指标上优于基线2D相关模型和现有的DoO过滤器，精确度和召回率分别为99.15%和97.81%。我们发现，在标称情况下，CNN将应用传统DoO滤波器后需要目视检查的信号数量减少了6-16倍。
2021-12-22 astro-ph.EP astro-ph.IM cs.LG
