Making transport more robust and interpretable by moving data through a small number of anchor points
Georgia Tech(佐治亚理工学院);Emory University(埃默里大学)
最优传输(OT)是一种广泛使用的分布对齐技术,在整个机器学习、图形和视觉社区都有应用。然而,在没有任何额外的结构假设的情况下,OT对于离群值或噪声是脆弱的,特别是在高维中。在这里,我们介绍了一种新形式的结构化OT,它同时学习数据中的低维结构,同时利用这种结构来解决对齐任务。与OT相比,所得到的运输计划具有更好的结构可解释性,突出了单个数据点和局部几何之间的联系,并且对噪声和采样更具鲁棒性。我们将该方法应用于合成以及真实数据集,在那里我们表明,我们的方法可以促进在嘈杂的设置对齐,并可用于纠正和解释域移位。
2021-07-17 cs.LG
Correlating Time Series with Interpretable Convolutional Kernels
Massachusetts Institute of Technology(麻省理工学院);University of Central Florida(中佛罗里达大学);McGill University(麦吉尔大学)
本研究针对单变量、多变量及多维时间序列的卷积核学习问题,提出基于稀疏回归与张量计算的方法,通过非负约束实现可解释性,在真实数据集上揭示了时间模式并提升了下游任务性能。
2024-09-02 cs.AI cs.LG
From Constitutions to Control: Interpretable Rewards for Aligning Language Models
本研究提出基于评分标准的框架,将宪法转化为可解释、可调的奖励模型,通过重新加权维度实现可控对齐,并缓解标签偏差。
2026-09-29 cs.LG
Improved Face Detection and Alignment using Cascade Deep Convolutional Network
China Mobile Research Institute(中国移动研究院)
真实世界的人脸检测和对齐需要一个先进的判别模型来解决姿态,光照和表情的挑战。在深度学习算法的启发下,提出了一些基于卷积神经网络的人脸检测和对齐方法。最近的研究利用了人脸检测和对齐之间的关系来提高模型的计算效率,但是他们忽略了每个级联CNN之间的联系。在本文中,我们提出了一种结构,提出了更高质量的训练数据的端到端的级联网络训练,这给计算机更多的空间来自动调整权值参数和加速收敛。实验表明,现有的检测和对齐模型有相当大的改进。
2017-07-28 cs.CV cs.LG
Fast and Interpretable Protein Substructure Alignment via Optimal Transport
Shanghai Jiao Tong University(上海交通大学);University of Cambridge(剑桥大学)
本文提出PLASMA框架,通过最优传输解决蛋白质局部结构对齐问题,实现高效且可解释的残基级对齐,并通过实验验证其准确性与实用性。
2026-04-09 cs.AI cs.LG q-bio.QM
Beyond Graph Convolutional Network: An Interpretable Regularizer-centered Optimization Framework
College of Computer and Data Science, Fuzhou University(福州大学计算机与数据科学学院);School of Computer Science, Beijing University of Posts and Telecommunications(北京邮电大学计算机学院)
本文提出一个可解释的以正则化器为中心的优化框架来统一解释各种图卷积网络,并基于此设计了双正则化器图卷积网络tsGCN,利用矩阵恒等式和低秩近似降低计算复杂度,在多个数据集上取得优异分类性能。
2023-01-11 cs.AI cs.LG
EEG-GMACN: Interpretable EEG Graph Mutual Attention Convolutional Network
Coventry University(考文垂大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局信息通信研究所)
提出EEG-GMACN模型,通过引入逆图权重模块和互注意力机制提升EEG分析的可解释性与临床可信度,并采用可信度校准评估预测不确定性。
2024-12-15 cs.LG eess.SP
Interpretable and Fine-Grained Visual Explanations for Convolutional Neural Networks
Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心);University of Bonn(波恩大学)
为了验证和验证网络,必须深入了解它们的决策、局限性以及训练数据的可能缺陷。在这项工作中,我们提出了一个事后,基于优化的视觉解释方法,它突出了输入图像中的证据,用于特定的预测。我们的方法是基于一种新的技术,通过在优化过程中过滤梯度来防御对抗性证据(即由于人为因素造成的错误证据)。防御不依赖于人为调整的参数。它可以实现既细粒度又保留图像特征(如边缘和颜色)的解释。这些解释是可解释的,适合于可视化详细的证据,并且可以进行测试,因为它们是有效的模型输入。我们在大量模型和数据集上定性和定量地评估我们的方法。
2019-08-07 cs.CV cs.LG
SPDAlign: Interpretable Riemannian Alignment for EEG Forward Modeling Shifts
BIFOLD(柏林智能数据与机器学习研究所);Technical University of Berlin(柏林工业大学);Advanced Telecommunications Research Institute International(国际电气通信基础技术研究所);RIKEN AIP(理化学研究所先进智能研究中心);Nanyang Technological University(南洋理工大学)
SPDAlign利用对称正定流形上的线性变换对齐EEG跨域分布偏移,通过Wasserstein Procrustes实现可解释的域不变学习,在公共数据集上表现优异。
2026-10-06 cs.LG
SCCAM: Supervised Contrastive Convolutional Attention Mechanism for Ante-hoc Interpretable Fault Diagnosis with Limited Fault Samples
Zhejiang University(浙江大学);University of Illinois Urbana–Champaign Institute(伊利诺伊大学厄巴纳-香槟分校学院);Southeast University(东南大学);Huazhong University of Science and Technology(华中科技大学)
本文提出监督对比卷积注意力机制SCCAM,首次在有限故障样本下实现事前可解释的故障诊断与根本原因分析,并在工业基准上验证了其优于现有方法的分类和根因分析性能。
2023-02-17 cs.LG
Generative Latent Alignment for Interpretable Radar Based Occupancy Detection in Ambient Assisted Living
本文提出GLA框架,结合变分自编码器和CLIP文本编码器,通过潜在空间对齐实现雷达占用检测的可解释性,通过Grad-CAM可视化决策区域,并验证雷达特定锚点对解释效果的重要性。
2026-01-27 cs.LG eess.SP
Explaining Deep Convolutional Neural Networks for Image Classification by Evolving Local Interpretable Model-agnostic Explanations
提出一种基于遗传算法的模型无关方法,自动演化局部解释以提升深度卷积神经网络的可解释性,实验表明其解释易于理解且比LIME快十倍以上。
2025-03-26 cs.CV cs.LG
IA-GCN: Interpretable Attention based Graph Convolutional Network for Disease prediction
Technical University of Munich(慕尼黑工业大学);Sharif University of Technology(谢里夫理工大学);Johns Hopkins University(约翰斯·霍普金斯大学)
图卷积网络(GCN)的可解释性在计算机视觉中得到了一定程度的研究,但在医学领域还需要进一步的研究。此外,大多数GCN的可解释性方法,特别是在医学领域,侧重于以事后的方式解释模型。在本文中,我们提出了一个可解释的基于图学习的模型,该模型1)解释输入特征对任务的临床相关性,2)使用解释来提高模型性能,3)学习可用于解释队列行为的群体水平潜图。在临床场景中,这样的模型可以帮助临床专家更好地做出诊断和治疗计划的决策。主要的新颖性在于可解释注意模块(IAM),它直接对多模态特征进行操作。我们的IAM基于独特的可解释性特定损失来学习每个特征的注意力。我们在两个公开的数据集Tadpole和UKBB上展示了该应用程序,用于疾病,年龄和性别预测的三项任务。我们提出的模型显示出优越的性能,相对于比较方法,蝌蚪的平均准确度增加了3.2%,UKBB性别增加了1.6%,UKBB年龄预测任务增加了2%。此外,我们展示了我们的结果的详尽验证和临床解释。
2021-03-29 cs.CV cs.LG
COmic: Convolutional Kernel Networks for Interpretable End-to-End Learning on (Multi-)Omics Data
University of Tübingen(图宾根大学)
针对医疗组学预测黑盒模型的可信性问题,提出结合卷积核网络与通路诱导核的COmic模型,可在多规模单/多组学数据上实现性能优异且本质可解释的端到端学习,无需事后解释。
2023-05-03 cs.LG q-bio.QM
Interpretable deep convolutional model for nonlinear multivariate time series in complex systems
Department of Physics, Faculty of Science, University of Zagreb(扎格拉布大学物理系)
提出DCIts架构,通过分解为Focuser和Modeler组件,实现非线性多元时间序列的局部可解释交互结构学习,在保持预测精度的同时恢复稳定的符号化滞后交互模式。
2026-06-09 cs.LG physics.app-ph stat.ML
From text saliency to linguistic objects: learning linguistic interpretable markers with a multi-channels convolutional architecture
Univ. Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心)
目前已经做出了很多努力来提供分析和理解深度神经网络令人印象深刻的性能的方法,用于诸如图像或文本分类之类的任务。这些方法主要基于可视化网络考虑的重要输入特征来构建决策。然而,这些技术,让我们引用LIME,SHAP,Grad-CAM或TDS,需要额外的努力来解释关于专业知识的可视化。在本文中,我们提出了一种新的方法来检查一个合适的CNN的隐藏层,以提取可解释的语言对象,利用文本分类过程。特别是,我们详细介绍了文本去卷积显著性(wTDS)度量的加权扩展,该度量可用于突出CNN执行分类任务所使用的相关特征。我们从两种不同的语言:英语和法语语料库实证证明了我们的方法的效率。在所有数据集上,wTDS基于共现以及可能的语法和句法分析自动编码复杂的语言对象。
2020-04-07 cs.LG stat.ML
Interpretable Graph Convolutional Network of Multi-Modality Brain Imaging for Alzheimer's Disease Diagnosis
Lehigh University(里海大学);University of Pennsylvania(宾夕法尼亚大学)
识别与特定神经系统疾病相关的脑区域对于生物标志物和诊断研究非常重要。在本文中,我们提出了一个可解释的图卷积网络(GCN)框架,用于使用多模态脑成像数据对阿尔茨海默病(AD)进行识别和分类。具体来说,我们扩展了梯度类激活映射(Grad-CAM)技术,以量化GCN从大脑连接模式中识别出的最具鉴别力的特征。然后,我们利用它们来找到签名感兴趣的区域(ROI),通过检测健康对照(HC),轻度认知障碍(MCI)和AD组的区域之间的特征差异。我们在ADNI数据库上进行了实验,使用了三种模式的成像数据,包括VBM-MRI,FDG-PET和AV45-PET,并表明通过我们的方法学习的ROI特征对于提高临床评分预测和疾病状态识别的性能是有效的。它还成功地鉴定了与AD和MCI相关的生物标志物。
2022-04-27 cs.CV cs.LG eess.IV
CRITS: Convolutional Rectifier for Interpretable Time Series Classification
Department of Computer and Systems Sciences, Stockholm University(斯德哥尔摩大学计算机与系统科学系);Department of Computer Science and Engineering, University of Oviedo(奥维多大学计算机科学与工程系)
针对现有卷积网络可解释方法存在输入空间解释不足或需随机扰动的问题,提出可解释时间序列分类模型CRITS,借助全连接整流网络的ReLU激活内在提取局部解释,无需梯度、扰动和显著性图升尺度,并验证了其分类性能与解释质量。
2025-05-24 cs.AI cs.LG stat.ML
Interpretable Safety Alignment via SAE-Constructed Low-Rank Subspace Adaptation
Beijing University of Posts and Telecommunications(北京邮电大学)
SAILS通过SAE构造低秩子空间实现安全对齐,提升安全性能并保持参数效率。
2026-01-05 cs.AI cs.CL cs.LG
Biological Plausibility and Representational Alignment of Feedback Alignment in Convolutional Networks
University of Toronto(多伦多大学)
本文比较了反馈对齐与反向传播在卷积网络中的生物合理性、可解释性和计算复杂性,发现修改后的反馈对齐能产生与反向传播相似的内部表征。
2026-05-08 cs.AI cs.CV cs.LG
Interpretable Convolutional Filters with SincNet
Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
深度学习目前在更高水平的人工智能方面发挥着至关重要的作用。这种范式允许神经网络学习复杂和抽象的表示,这些表示是通过组合更简单的表示来逐步获得的。然而,当前神经架构自动发现的内部“黑盒”表示往往缺乏可解释性,这使得研究可解释的机器学习技术成为主要兴趣。本文总结了我们最近的努力,开发一个更可解释的神经模型直接处理语音从原始波形。特别是,我们提出了SincNet,一种新的卷积神经网络(CNN),鼓励第一层通过利用参数化sinc函数来发现更有意义的滤波器。与学习每个滤波器的所有元素的标准CNN相反,只有带通滤波器的低截止频率和高截止频率直接从数据中学习。这种电感偏置提供了一种非常紧凑的方式来获得定制的滤波器组前端,这只取决于一些具有明确物理意义的参数。我们在说话人和语音识别上进行的实验表明,所提出的架构收敛更快,性能更好,并且比标准CNN更具可解释性。
2019-08-09 cs.CL cs.LG cs.NE
Graph Similarity Computation via Interpretable Neural Node Alignment
School of Computer Science, Hangzhou Dianzi University(杭州电子科技大学计算机学院);School of Data Science, Lingnan University(岭南大学数据科学学院);School of Science and Technology, Hong Kong Metropolitan University(香港都会大学科技学院)
本文提出一种可解释的神经节点对齐模型,通过松弛二次分配问题和可微Gumbel-Sinkhorn模块实现无监督一对一硬对齐,在图相似性和检索任务上分别降低MSE达16%和提升指标达12%。
2024-12-13 cs.AI cs.LG
Dynamic Weight Alignment for Temporal Convolutional Neural Networks
NTT Communication Science Laboratories(日本电报电话通信科学实验室)
在本文中,我们提出了一种改进时间卷积神经网络(CNN)的方法,通过使用动态规划来确定权值和输入的最佳对齐。传统的CNN卷积将共享权重线性匹配到输入的窗口。然而,有可能存在权重的更优对准。因此,我们建议使用动态时间规整(DTW)来动态地将权重与卷积层的输入对齐。具体地说,动态对准克服了问题,如时间失真,通过寻找最小距离匹配的权重和输入的约束。我们证明了所提出的架构的有效性Unipen在线手写数字和字符数据集,UCI阿拉伯语口语数字数据集,和UCI日常生活活动数据集。
2019-02-07 cs.CV cs.LG cs.NE
Interpretable Deep Convolutional Neural Networks via Meta-learning
Dalhousie University(达尔豪斯大学);Alibaba Group(阿里巴巴集团)
模型的可解释性是许多应用程序中的一个要求,在这些应用程序中,用户依赖于模型的输出做出关键决策。最近的“算法公平性“运动也规定了学习模型的可解释性和可解释性。然而,当代最成功的机器学习方法,即深度神经网络,产生的模型是高度不可解释的。我们试图通过提出一种称为CNN-INTE的技术来解决这一挑战,该技术通过元学习来解释深度卷积神经网络(CNN)。在这项工作中,我们解释了MNIST图像数据集上深度CNN模型的特定隐藏层。我们使用两层结构的聚类算法来寻找元级训练数据,并使用随机森林作为基本学习算法来生成元级测试数据。解释结果通过图表直观地显示出来,清楚地表明了特定测试实例是如何分类的。我们的方法实现了对所有测试实例的全局解释,而不会牺牲原始深度CNN模型所获得的准确性。这意味着我们的模型忠实于深度CNN模型,这导致了可靠的解释。
2018-08-19 cs.AI cs.LG stat.ML
Training Interpretable Convolutional Neural Networks by Differentiating Class-specific Filters
Tsinghua University(清华大学);Tsinghua SIGS(清华大学深圳国际研究生院);Peng Cheng Lab(鹏城实验室);ByteDance AI Lab(字节跳动人工智能实验室);University of Southern California(南加州大学)
卷积神经网络(CNN)已成功地用于一系列任务。然而,CNN通常被视为“黑箱”,缺乏可解释性。一个主要原因是由于过滤器类纠缠-过滤器和类之间复杂的多对多对应关系。大多数现有的作品尝试在预先训练的模型上进行事后解释,而忽略了减少模型背后的纠缠。相比之下,我们专注于在训练过程中减轻过滤器类纠缠。受细胞分化的启发,我们提出了一种新的策略,通过鼓励类特定的过滤器来训练可解释的CNN,其中每个过滤器只响应一个(或几个)类。具体来说,我们设计了一个可学习的稀疏类特定门(CSG)结构,以灵活的方式为每个过滤器分配一个(或几个)类。该门只允许在输入样本来自特定类时通过过滤器的激活。大量的实验证明了我们的方法在生成稀疏和高度类相关的输入表示方面的出色性能,这导致了更强的可解释性。此外,与标准训练策略相比,我们的模型在对象定位和对抗性样本检测等应用中显示出优势。代码链接:https://github.com/hyliang96/CSGCNN.
2021-07-01 cs.CV cs.LG
Interpretable Parallel Recurrent Neural Networks with Convolutional Attentions for Multi-Modality Activity Modeling
School of Computer Science and Engineering, UNSW Sydney, Australia(澳大利亚新南威尔士大学计算机科学与工程学院);School of Information Technology, RMIT University, Australia(澳大利亚皇家墨尔本理工大学信息技术学院);School of Computer Science, Northwestern Polytechnical University, China(中国西北工业大学计算机学院);School of Software, Tsinghua University China(中国清华大学软件学院)
多模态特征在基于传感器的可穿戴人体活动识别(HAR)中起着关键作用。自适应地选择最显著的特征是最大化多模态传感器数据的有效性的一种有前途的方法。在这方面,我们提出了一个“收集充分和明智地选择”的原则,以及一个可解释的并行递归模型与卷积注意力,以提高识别性能。我们首先收集模态特征和每对特征之间的关系来生成活动框架,然后引入注意力机制来精确地从活动框架中选择最显著的区域。所选择的帧不仅最大限度地利用有效的功能,但也减少了要有效地计算的功能的数量。我们进一步分析了所提出的模型的准确性和可解释性的基础上广泛的实验。结果表明,我们的模型在两个基准数据集上实现了具有竞争力的性能,并且在现实生活中效果良好。
2018-05-17 cs.AI cs.HC cs.LG
Interpretable and Efficient Heterogeneous Graph Convolutional Network
Xidian University(西安电子科技大学);Deakin University(迪肯大学)
图卷积网络(GCN)在学习图中节点的有效任务特定表示方面取得了非凡的成功。然而,对于异构信息网络(HIN),现有的面向HIN的GCN方法仍然存在两个不足:(1)不能灵活地探索所有可能的元路径并提取对目标对象最有用的元路径,这影响了有效性和可解释性;(2)通常需要生成基于中间元路径的稠密图,这导致高计算复杂性。为了解决上述问题,我们提出了一个可解释的和高效的异构图卷积网络(即HGCN)来学习对象的表示在HIN。它被设计为分层聚合架构,即,首先是对象级聚合,然后是类型级聚合。新的架构可以自动提取有用的元路径为每个对象从所有可能的元路径(在一定的长度限制),这带来了良好的模型解释性。它还可以通过避免中间HIN变换和邻域注意来降低计算成本。我们提供了理论分析的建议ie-HGCN在评估所有可能的元路径的有用性,其连接到谱图卷积的HIN,其准线性时间复杂度。在三个真实网络数据集上的大量实验证明了ie-HGCN的优越性。
2021-09-08 cs.LG cs.SI stat.ML
AICRN: Attention-Integrated Convolutional Residual Network for Interpretable Electrocardiogram Analysis
Department of Computer Engineering, University of Peradeniya, Peradeniya 20400, Sri Lanka(珀达尼亚大学计算机工程系);Simula Research Laboratory, Kristian Augusts Gate 23, 0164 Oslo(Simula研究实验室)
本文提出注意力集成卷积残差网络AICRN,通过空间与通道注意力机制和卷积残差结构回归PR间期、QT间期等关键心电图参数,以更高精度实现可解释的ECG分析并减少人工负担。
2025-08-16 cs.AI cs.LG
Safe Transformer: An Explicit Safety Bit For Interpretable And Controllable Alignment
Safe Transformer通过在模型中插入显式安全位,实现安全行为的可解释和可控,通过对比训练解耦表示,提升安全性和生成能力。
2026-03-06 cs.AI cs.LG
Universal Sparse Autoencoders: Interpretable Cross-Model Concept Alignment
York University(约克大学);University of Toronto(多伦多大学);Kempner Institute, Harvard University(哈佛大学凯姆纳研究所);Vector Institute(向量研究所);Samsung AI Centre(三星人工智能中心);Trajectory Labs(轨迹实验室)
本文提出通用稀疏自编码器(USAEs),用于揭示并对齐多个预训练深度神经网络中的可解释概念。通过训练一个能重构多个模型内部激活的稀疏自编码器,USAEs发现跨任务、架构和数据集的共同因素概念,为多模型AI系统提供新的可解释分析方法。
2026-03-18 cs.CV cs.LG
Mining Interpretable AOG Representations from Convolutional Networks via Active Question Answering
Shanghai Jiao Tong University(上海交通大学);University of California, Los Angeles(加州大学洛杉矶分校)
在本文中,我们提出了一种方法来挖掘对象的部分模式从一个预先训练的卷积神经网络(CNN)的conv层。挖掘出的对象部分模式由与或图(AOG)组织。这种可解释的AOG表示由四层语义层次结构组成,即,语义部件、部件模板、潜在模式和神经单元。AOG将每个对象部分与conv层特征图中的某些神经单元相关联。AOG是以弱监督的方式构建的,即,非常少的注释(例如,3-20)的对象部分被用来指导AOG的学习。我们开发了一种问答(QA)方法,该方法使用主动的人机通信来从预先训练的CNN中挖掘模式,以便在conv层中逐步解释更多的特征。在学习过程中,我们的QA方法使用当前的AOG进行零件定位。QA方法主动识别对象,其特征图不能由AOG解释。然后,我们的方法要求人们在无法解释的对象上注释部分,并使用答案来发现与新标记的部分相对应的CNN模式。通过这种方式,我们的方法逐渐生长新的分支并细化AOG上的现有分支以语义化CNN表示。在实验中,我们的方法表现出很高的学习效率。我们的方法使用了大约1/6-1/3的部分注释进行训练,但与快速RCNN方法相比,实现了类似或更好的部分定位性能。
2018-12-18 cs.CV cs.LG
Slim multi-scale convolutional autoencoder-based reduced-order models for interpretable features of a complex dynamical system
Technische Universität Ilmenau(伊尔梅瑙工业大学);New York University(纽约大学);Friedrich-Schiller-Universität Jena(弗里德里希·席勒·耶拿大学)
针对卷积自编码器降阶模型潜在特征不可解释的问题,提出一种轻量、可嵌入现有CAE的可解释多尺度方法,并在Rayleigh-Bénard对流数据上验证其重建与参数效率优势。
2025-01-06 cs.LG physics.flu-dyn
Logic Constrained Pointer Networks for Interpretable Textual Similarity
Amazon(亚马逊);Flipkart(弗利普卡特);Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
系统地发现文本中的语义关系是自然语言处理中一个重要且广泛研究的领域,具有各种任务,例如蕴涵,语义相似性等。通过子序列比对的可分解性已经被提出作为使模型更具可解释性的一种方式。我们研究的问题,对齐组件的句子导致一个可解释的模型,语义文本相似性。在本文中,我们介绍了一种新的指针网络为基础的模型与哨兵门控功能,以调整组成块,这是表示使用BERT。我们用一个损失函数改进了这个基础模型,以同等地惩罚两个句子中的不对齐,确保对齐是双向的。最后,为了用结构化的外部知识来指导网络,我们引入了基于ConceptNet和语法知识的一阶逻辑约束。该模型在SemEval基准数据集上的F1得分分别为97.73和96.32,与现有解决方案相比有很大的改进。源代码可在https://github.com/manishb89/interpretable_sentence_similarity上获得
2020-07-15 cs.CL cs.LG
IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking
UC Davis(加州大学戴维斯分校);Virginia Tech(弗吉尼亚理工大学);Salesforce(Salesforce公司);Meta AI
IR3通过对比逆强化学习重建隐含奖励并修正模型,有效识别和缓解奖励黑客问题,提升模型对齐性能。
2026-02-23 cs.AI cs.LG
Interpretable Feature Engineering for Time Series Predictors using Attention Networks
Wells Fargo(富国银行)
带有时间序列预测器的回归问题在银行和许多其他应用领域中很常见。在本文中,我们使用多头注意力网络来开发可解释的功能,并使用它们来实现良好的预测性能。定制的注意力层明确地使用乘法交互,并构建以简约的方式捕获时间动态的特征工程头。卷积层用于组合多变量时间序列。我们还讨论了在建模过程中处理静态协变量的方法。可视化和解释工具用于解释结果,并解释输入和提取的特征之间的关系。模拟和真实数据集都被用来说明该方法的实用性。关键词:注意头,深度神经网络,可解释特征工程
2022-05-23 cs.LG
Context-Aware Interpretable Representations for Retrieval and Graph Convolutional Network Classification
State University of São Paulo (UNESP)(圣保罗州立大学(UNESP))
本文针对视觉表示的几何与可解释性鸿沟,提出融合流形学习与可解释图嵌入的无监督框架,所获上下文感知表示兼具可解释性、降维能力,且在图像检索与GCN半监督分类任务中表现优异。
2026-09-01 cs.CV cs.IR cs.LG
Accurate and interpretable evaluation of surgical skills from kinematic data using fully convolutional neural networks
IRIMAS(IRIMAS研究所);Université Haute Alsace(上阿尔萨斯大学)
目的:由资深外科医生观察经验不足的受训者进行手动反馈是一项非常昂贵、耗时且易于主观的艰巨任务。随着外科手术数量的逐年增加,对受训者的外科技能提供准确、客观和自动的评估以改善外科实践的需求前所未有。研究方法:在本文中,我们设计了一个卷积神经网络(CNN),通过提取在机器人手术期间执行的受训者的运动中的潜在模式来对手术技能进行分类。该方法在JIGSAWS数据集上进行了验证,用于两个手术技能评估任务:分类和回归。结果如下:我们的研究结果表明,深度神经网络构成了强大的机器学习模型,能够在JIGSAWS数据集上达到新的具有竞争力的最先进性能。虽然我们利用了CNN的效率,但我们能够使用类激活图技术将其黑盒效应降至最低。结论:这一特性使我们的方法能够自动确定手术的哪些部分对技能评估影响最大,从而使我们能够解释手术技能分类,并为外科医生提供一种新颖的个性化反馈技术。我们相信这种类型的可解释的机器学习模型可以集成在“手术室2.0”中,并支持新手外科医生提高他们的技能,最终成为专家。
2019-08-20 cs.AI cs.LG stat.ML
Structure-Aware Audio-to-Score Alignment using Progressively Dilated Convolutional Neural Networks
Queen Mary University of London(伦敦玛丽女王大学);Institute for Research and Coordination in Acoustics/Music(声学/音乐研究与协调研究所)
音乐演奏和乐谱之间的结构差异的识别是音频-乐谱对齐的一个具有挑战性但不可或缺的步骤,音频-乐谱对齐是音乐信息检索的一个重要子任务。我们提出了一种新颖的方法,使用逐渐扩大的卷积神经网络来检测给定音乐作品的乐谱和演奏之间的差异。我们的方法在不同层采用不同的膨胀率来捕获短期和长期的上下文,并且可以在有限的注释数据的情况下成功地使用。我们进行实验的真实表演,从结构上不同的分数的音频记录,我们的结果表明,我们的模型优于标准方法的结构感知音频到分数对齐。
2021-02-14 cs.LG cs.SD eess.AS
Interpretable Convolutional Neural Networks for Effective Translation Initiation Site Prediction
Center for Biotech Data Science, Ghent University Global Campus(根特大学国际校区生物技术数据科学中心);IDLab, ELIS, Ghent University - imec(根特大学-imec IDLab实验室);VIB-UGent Center for Inflammation Research(VIB-根特大学炎症研究中心);Department of Applied Mathematics, Computer Science and Statistics, Ghent University(根特大学应用数学、计算机科学与统计学系)
由于测序技术的快速发展,我们可以处理的基因组数据量越来越大。确定基因结构是有效解释基因功能和调控的基本要求。该确定过程中的一个重要部分是翻译起始位点的鉴定。在本文中,我们提出了一种新的翻译起始位点的自动预测方法,利用卷积神经网络,允许自动特征提取。我们的实验结果表明,我们能够提高国家的最先进的方法,减少了75.2%的假阳性率和减少了24.5%的错误率在选定的数据集。此外,对我们的预测模型所使用的决策过程的深入分析表明,我们的神经网络从零开始隐式地学习生物学相关特征,而无需任何关于手头问题的先验知识,例如Kozak共有序列,序列中终止和起始密码子的影响以及供体剪接位点模式的存在。总之,我们的研究结果在将这样的神经网络应用于基因组数据时,更好地理解了卷积神经网络的内部推理。
2017-11-27 cs.LG q-bio.GN
NeuroLIP: Interpretable and Fair Cross-Modal Alignment of fMRI and Phenotypic Text
The University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究院)
NeuroLIP提出跨模态对比学习框架,通过文本令牌条件注意力和局部令牌对齐实现fMRI与表型文本的可解释对齐,并设计敏感属性解耦损失与负梯度技术减少偏见,在ABIDE和ADHD-200上兼顾公平性与性能。
2025-03-27 cs.LG q-bio.NC
Statistical Embeddings for Similarity, Retrieval, and Interpretable Alignment of Numeric Tabular Datasets
Idaho National Laboratory(爱达荷国家实验室)
提出一种通过结构化探索性数据分析描述符、句子变换器嵌入和典型相关分析(CCA)来表征和比较数值表格数据集的方法,实现跨数据集的相似性检索和可解释变量级对齐,并支持差分隐私。
2026-05-28 cs.LG stat.AP stat.ML
Interpretable CNNs for Object Classification
Shanghai Jiao Tong University(上海交通大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出了一种在深度卷积神经网络(CNN)中学习可解释卷积滤波器进行对象分类的通用方法,其中每个可解释滤波器对特定对象部分的特征进行编码。我们的方法不需要额外的注释对象的部分或纹理的监督。相反,我们使用与传统CNN相同的训练数据。我们的方法在学习过程中自动为高conv层中的每个可解释过滤器分配特定类别的对象部分。在CNN的conv层中的这种显式知识表示帮助人们澄清在CNN中编码的逻辑,即,回答CNN从输入图像中提取什么模式并用于预测。我们已经使用具有各种结构的不同基准CNN测试了我们的方法,以证明我们方法的广泛适用性。实验表明,我们的可解释的过滤器是更有意义的语义比传统的过滤器。
2020-03-12 cs.CV cs.LG stat.ML
PICNN: A Pathway towards Interpretable Convolutional Neural Networks
Tongji University(同济大学)
针对CNN中滤波器与类别纠缠导致可解释性不足的问题,提出PICNN路径,通过伯努利采样和重参数化技巧实现深层卷积滤波器按类别聚类,在多架构多数据集上验证其兼具更强可解释性与相当或更优判别能力。
2023-12-19 cs.AI cs.CV cs.LG
Interpretable 3D Multi-Modal Residual Convolutional Neural Network for Mild Traumatic Brain Injury Diagnosis
School of Electrical Engineering and Computer Science, University of Queensland(昆士兰大学电气工程与计算机科学学院);The Centre for Advanced Imaging, University of Queensland(昆士兰大学高级成像中心);Australian Institute for Bioengineering and Nanotechnology, University of Queensland(昆士兰大学生物工程与纳米技术研究所);ARC Training Centre for Innovation in Biomedical Imaging Technology(ARC生物医学成像技术创新培训中心)
本文提出融合OSM的可解释3D多模态残差卷积神经网络MRCNN,用于CT表现常正常的mTBI诊断,五折交叉验证显示其准确率、敏感性和特异性分别达82.4%、82.6%和81.6%,且优于基于CT的RCNN和Grad-CAM解释。
2023-09-22 cs.CV cs.LG eess.IV
A Scalable, Interpretable, Verifiable & Differentiable Logic Gate Convolutional Neural Network Architecture From Truth Tables
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
我们提出了$\mathcal{T}$ Ruth $\mathcal{T}$ able net($\mathcal{TT}$ net),一种新的卷积神经网络(CNN)架构,通过设计,解决了可解释性,形式化验证和逻辑门转换的开放挑战。$\mathcal{TT}$网络是使用CNN的过滤器构建的,这些过滤器相当于易处理的真值表,我们称之为学习真值表(LTT)块。LTT块的对偶形式允许使用梯度下降轻松训练真值表,并使这些CNN易于解释、验证和推断。具体而言,$\mathcal{TT}$网是一种深度CNN模型,在训练后转换之后,可以自动表示为布尔决策树的总和,或表示为析取/合取范式(DNF/CNF)公式的总和,或表示为紧凑的布尔逻辑电路。我们证明了$\mathcal{TT}$网在多个数据集上的有效性和可扩展性,与最先进的方法相比,具有与决策树相当的可解释性,快速完整/健全的形式化验证和可扩展的逻辑门表示。我们相信这项工作代表了使CNN在现实世界的关键应用中更加透明和值得信赖的一步。
2023-02-02 cs.AI cs.FL cs.LG
CP-AGCN: Pytorch-based Attention Informed Graph Convolutional Network for Identifying Infants at Risk of Cerebral Palsy
Durham University(杜伦大学);University of Glasgow(格拉斯哥大学)
早期预测被临床认为是脑瘫治疗的重要组成部分之一。我们建议实现一个低成本和可解释的分类系统,以支持CP预测的基础上一般运动评估(GMA)。我们设计了一个基于Pytorch的注意力通知图卷积网络,从RGB视频提取的骨骼数据中早期识别有CP风险的婴儿。我们还设计了一个频率合并模块,用于在频域中学习CP运动,同时过滤噪声。我们的系统只需要消费级RGB视频进行训练,通过提供可解释的CP分类结果来支持交互时间CP预测。
2022-09-06 cs.CV cs.LG eess.IV
Efficient Convolutional Neural Network Training with Direct Feedback Alignment
School of Electrical Engineering(电气工程学院);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST));Daejeon, Republic of Korea(大邱,韩国)
在深度神经网络(DNN)的训练中,有许多算法可以代替BP算法。然而,由于它们的训练准确率和计算效率比BP差,它们无法流行起来。其中之一是直接反馈对齐(DFA),但它显示出较低的训练性能,特别是对于卷积神经网络(CNN)。本文在CNN的训练过程中,结合传统的BP算法,克服了DFA算法的局限性。为了提高训练的稳定性,我们还提出了反馈权值初始化方法,通过分析固定随机矩阵的模式在DFA。最后,我们提出了新的训练算法,二进制直接反馈对齐(BDFA),以最大限度地减少计算成本,同时保持训练精度相比,DFA。在我们的实验中,我们使用CIFAR-10和CIFAR-100数据集从头开始模拟CNN学习,并将BDFA应用于基于在线学习的对象跟踪应用程序,以检查小数据集环境中的训练。我们提出的算法在两个不同的训练任务中表现出比传统BP更好的性能,特别是当数据集很小时。
2019-01-06 cs.LG stat.ML
Interpretability is in the Mind of the Beholder: A Causal Framework for Human-interpretable Representation Learning
University of Trento(特伦托大学);University of Pisa(比萨大学)
本文提出一个基于因果表示学习的数学框架,通过显式建模人类观察者推导机器表示与人类概念词汇间的对齐,将可解释性与解耦、概念泄漏等属性统一在信息论视角下,为人类可解释表示学习奠定理论基础。
2023-09-14 cs.HC cs.LG
Feedback alignment in deep convolutional networks
Columbia University(哥伦比亚大学)
正在进行的研究已经确定了生物网络和深度人工神经网络中神经表征之间的相似性。这使得人们对开发用于训练人工网络的反向传播学习算法与大脑中的突触可塑性规则之间的类比重新产生了兴趣。这些努力受到反向传播的生物学上难以置信的特征的挑战,其中之一是对对称的前向和后向突触权重的依赖。已经提出了许多不依赖于权重对称的方法,但到目前为止,这些方法未能扩展到深度卷积网络和复杂数据。我们确定的主要障碍,这种算法的可扩展性,并介绍了几种技术来减轻它们。我们证明,修改后的反馈对齐方法,强制执行较弱形式的权重对称性,一个需要协议的重量符号,但不幅度,可以实现与反向传播的性能竞争。我们的研究结果补充了Bartunov et al.(2018)和Xiao et al.(2018 b)的研究结果,并表明促进前馈和反馈权重对齐的机制对于深度网络中的学习至关重要。
2019-06-10 cs.LG cs.NE stat.ML
Robust and interpretable blind image denoising via bias-free convolutional neural networks
Center for Data Science(数据科学中心);New York University(纽约大学);Center for Neural Science(神经科学中心);Howard Hughes Medical Institute(霍华德·休斯医学研究所);Courant Inst. of Mathematical Sciences(库朗数学科学研究所)
深度卷积网络通常会在其卷积运算中添加附加常数(“偏置”)项,从而实现更丰富的函数映射库。偏差也被用来促进训练,通过减去批量训练图像的平均响应(“批量归一化”的一个组成部分)。最近的最先进的盲去噪方法(例如,DnCNN)似乎需要这些术语来获得成功。然而,在这里,我们发现这些网络系统地过拟合了它们训练的噪声水平:当部署在训练范围之外的噪声水平时,性能会急剧下降。相比之下,无偏架构-通过删除网络每一层中的常数项(包括用于批量归一化的常数项)获得-在噪声水平上具有鲁棒性,同时在训练范围内保持最先进的性能。在局部,无偏置网络线性地作用于噪声图像,从而能够通过标准线性代数工具直接分析网络行为。这些分析提供了非线性自适应滤波方面的网络功能的解释,并投影到低维子空间的并集上,将基于学习的方法连接到更传统的去噪方法。
2020-02-08 cs.CV cs.LG eess.IV
HAL: Inducing Human-likeness in LLMs with Alignment
University of Rochester(罗切斯特大学)
提出HAL框架,利用可解释的数据驱动奖励信号,通过对比对话数据提取显式会话特征并优化偏好,使模型在对话中更常被视为类人,同时保持整体性能。
2026-07-03 cs.AI cs.CL cs.LG
DeepAffinity: Interpretable Deep Learning of Compound-Protein Affinity through Unified Recurrent and Convolutional Neural Networks
Texas A&M University(得克萨斯农工大学)
动机:药物发现需要快速定量化合物-蛋白质相互作用(CPI)。然而,目前还缺乏一种方法,可以预测化合物蛋白质的亲和力,从序列单独具有高的适用性,准确性和可解释性。结果:我们提出了一个无缝集成的领域知识和学习为基础的方法。在结构注释的蛋白质序列的新表示下,已经提出了一种统一递归和卷积神经网络的半监督深度学习模型,以利用未标记和标记的数据,用于联合编码分子表示和预测亲和力。我们的表示和模型在IC $_{50}$中的相对误差方面优于传统选项,对于测试用例,相对误差在5倍以内,对于不包括在训练中的蛋白质类,相对误差在20倍以内。具有少量标记数据的新蛋白质类的性能通过迁移学习进一步提高。此外,单独和联合注意力机制的开发和嵌入到我们的模型,以增加其可解释性,如预测和解释选择性药物靶点相互作用的案例研究所示。最后,还探索了使用蛋白质序列或复合图的替代表示以及使用图CNN(GCNN)的统一RNN/GCNN-CNN模型,以揭示未来的算法挑战。可用性:数据和源代码可访问https://github.com/Shen-Lab/DeepAffinity补充信息:补充数据可访问http://shen-lab.github.io/deep-affinity-bioinf18-supp-rev.pdf
2018-12-08 cs.LG q-bio.BM stat.ML
EEG-based Cross-Subject Driver Drowsiness Recognition with an Interpretable Convolutional Neural Network
在基于脑电图(EEG)的驾驶员困倦识别的背景下,设计免校准系统仍然具有挑战性,因为EEG信号在不同的受试者和记录会话之间变化显著。已经做出了许多努力来使用深度学习方法从EEG信号中识别精神状态。然而,现有的工作大多将深度学习模型视为黑箱分类器,而模型已经学习了什么,以及它们在多大程度上受到EEG数据中噪声的影响仍然没有得到充分的研究。在本文中,我们开发了一种新的卷积神经网络,结合了一种解释技术,允许对重要特征进行样本分析以进行分类。该网络具有紧凑的结构,并利用可分离卷积的优势,以处理的EEG信号的时空序列。结果表明,该模型在11名受试者上实现了78.35%的留一跨主体困倦识别平均准确率,高于传统基线方法的53.40%-72.68%和最先进的深度学习方法的71.75%-75.19%。解释结果表明,该模型已经学会从EEG信号中识别有生物意义的特征,例如,阿尔法纺锤波,作为不同受试者困倦的强烈指标。此外,我们还探讨了一些错误分类样本背后的解释技术的原因,并讨论了潜在的方法来提高识别精度。我们的工作说明了一个很有前途的方向,即使用可解释的深度学习模型从复杂的EEG信号中发现与不同精神状态相关的有意义的模式。
2022-02-18 cs.LG cs.NE eess.SP
Rule Extraction from Binary Neural Networks with Convolutional Rules for Model Validation
TU Kaiserslautern(凯泽斯劳滕工业大学);University of Mainz(美因茨大学);Johannes Gutenberg University of Mainz(约翰内斯·古腾堡大学美因茨分校);TU Darmstadt(达姆施塔特工业大学)
大多数深度神经网络被认为是黑匣子,这意味着它们的输出很难解释。相比之下,逻辑表达式被认为是更容易理解的,因为它们使用的符号在语义上接近自然语言,而不是分布式表示。然而,对于诸如图像的高维输入数据,各个符号(即,像素)不容易解释。我们引入了一阶卷积规则的概念,这是可以使用卷积神经网络(CNN)提取的逻辑规则,其复杂度取决于卷积滤波器的大小,而不是输入的维数。我们的方法是基于随机局部搜索的二进制神经网络的规则提取。我们展示了如何提取规则,不一定是短的,但输入的特点,易于可视化。我们的实验表明,所提出的方法是能够建模的神经网络的功能,而在同一时间产生可解释的逻辑规则。
2020-12-15 cs.AI cs.LG