On the Interpretability of Regularisation for Neural Networks Through Model Gradient Similarity
Chalmers University of Technology(查尔姆斯理工大学)
大多数复杂的机器学习和建模技术都容易过度拟合,并且可能随后对未来数据的概括性很差。人工神经网络在这方面没有什么不同,尽管在使用梯度下降训练时具有一定程度的隐式正则化,但通常需要显式正则化器的帮助。我们引入了一个新的框架,模型梯度相似性(MGS),它(1)作为正则化的度量,可用于监控神经网络训练,(2)增加了对显式正则化器如何通过增加MGS通过相同的机制进行操作的洞察,尽管这些正则化器来自广泛不同的原则,(3)为表现出优异性能的新正则化方案提供了基础,特别是在具有挑战性的环境中,例如高水平的标签噪声或有限的样本量。
2022-05-25 cs.LG stat.CO stat.ML
On the Impact of Knowledge Distillation for Model Interpretability
Seoul National University(首尔国立大学);Seoul National University of Science and Technology(首尔科技大学);ZIOVISION Inc.(ZIOVISION公司)
本文研究知识蒸馏除提升准确率外对模型可解释性的影响,发现教师模型传递的类别相似性信息能够增强学生模型的可解释性,并通过多数据集、多KD方法和多度量标准的实验验证了KD模型在各类应用中的可靠性。
2023-05-25 cs.AI cs.CV cs.LG
Drug Similarity Integration Through Attentive Multi-view Graph Auto-Encoders
IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Michigan State University(密歇根州立大学);Cornell University(康奈尔大学)
已经研究了药物相似性以支持下游临床任务,例如从已知特性推断药物的新特性(例如,副作用、适应症、相互作用)。新型药物特征的日益可用性带来了学习更全面和准确的药物相似性的机会,这些药物相似性代表了潜在药物关系的全部范围。然而,它是具有挑战性的,整合这些异构的,嘈杂的,非线性相关的信息,学习准确的相似性措施,特别是当标签是稀缺的。此外,在准确性和可解释性之间存在权衡。在本文中,我们建议从多种类型的药物特征中学习准确和可解释的相似性度量。特别是,我们使用多视图图自动编码器对集成进行建模,并添加注意机制来确定每个视图相对于相应任务和功能的权重,以获得更好的可解释性。我们的模型对于半监督和无监督设置都具有灵活的设计。实验结果表明,显着的预测精度提高。案例研究还表明,模型的能力(如嵌入节点功能)和可解释性更好。
2018-04-28 cs.AI cs.LG stat.ML
Enhancing Model Interpretability and Accuracy for Disease Progression Prediction via Phenotype-Based Patient Similarity Learning
IQIVA Inc.(艾昆纬公司);University of Minnesota(明尼苏达大学);University of Chicago(芝加哥大学)
已经提出了从纵向电子健康记录(EHR)中提取时间模式以用于临床预测模型的模型。然而,患者之间的共同关系(例如,接受相同的治疗)很少被考虑。在本文中,我们提出了学习患者的相似性特征的表型从聚集的患者医疗服务矩阵使用非负矩阵分解。在现实世界的医疗索赔数据中,我们表明,学习的表型在每个组中是一致的,也是对目标疾病的解释和指示。我们进行了实验,以预测慢性淋巴细胞白血病(CLL)患者的诊断。结果表明,基于表型的相似性特征可以改善多基线的预测,包括逻辑斯谛回归、随机森林、卷积神经网络等。
2019-09-26 cs.IR cs.LG stat.AP
Robust Semantic Interpretability: Revisiting Concept Activation Vectors
UCSF(加州大学旧金山分校);SFVAMC(旧金山退伍军人事务医疗中心);UC Berkeley(加州大学伯克利分校);Helen Diller Family Comprehensive Cancer Center, UCSF(加州大学旧金山分校海伦·迪勒家族综合癌症中心);Bakar Computational Health Sciences Institute, UCSF(加州大学旧金山分校巴卡尔计算健康科学研究所)
用于图像分类的可解释性方法通过尝试暴露模型是否系统地有偏见或与人类相同的线索来评估模型的可信度。显著性方法的特征属性占主导地位的可解释性文献,但这些方法不解决语义概念,如纹理,颜色,或性别的图像中的对象。我们提出的鲁棒概念激活向量(RCAV)量化了语义概念对个体模型预测和整体模型行为的影响。RCAV计算概念梯度,并采取梯度上升步骤来评估模型对给定概念的敏感性。通过概括以前的工作概念激活向量占模型的非线性,并通过引入更严格的假设检验,我们表明,RCAV产生的解释都更准确的图像水平和强大的数据集水平。RCAV和显着性方法一样,支持对个体预测的解释。为了评估可解释性方法作为调试工具的实际使用,以及可解释性方法用于识别归纳偏差(例如纹理超过形状)的科学使用,我们构建了两个数据集和相应的度量标准,用于语义可解释性方法的现实基准测试。我们的基准揭示了反事实增强和负控制的重要性,以量化可解释性方法的实际可用性。
2021-04-06 cs.AI cs.CV cs.LG
Leakage and Interpretability in Concept-Based Models
The Alan Turing Institute(阿尔法·图灵研究院);Kings College London(国王学院伦敦);University College London(大学学院伦敦);Roche Pharmaceuticals(罗氏制药)
本文提出信息理论框架量化概念模型中的泄露问题,定义了概念-任务泄露和跨概念泄露指标,揭示了模型泄露的根源并提出减少泄露的实践指南。
2026-03-24 cs.AI cs.LG stat.ML
Towards Better Generalization and Interpretability in Unsupervised Concept-Based Models
Politecnico di Torino(托斯卡纳理工学院);Universita’ della Svizzera Italiana(瑞士意大利大学)
本文提出可学习概念模型LCBM,在伯努利潜在空间中用更少概念实现无监督图像分类,在泛化性上超越现有无监督概念模型并接近黑盒性能,同时保持可解释性。
2025-06-02 cs.AI cs.LG stat.ML
Global Concept-Based Interpretability for Graph Neural Networks via Neuron Analysis
University of Cambridge(剑桥大学)
图神经网络(GNN)在各种与图相关的任务上非常有效;然而,它们缺乏可解释性和透明度。目前的可解释性方法通常是局部的,并将GNN视为黑盒。他们不看模型内部,抑制了人们对模型和解释的信任。受神经元在视觉模型中检测高级语义概念的能力的启发,我们对单个GNN神经元的行为进行了新的分析,以回答有关GNN可解释性的问题,并提出了评估GNN神经元可解释性的新指标。我们提出了一种新的方法,使用神经元级别的概念来生成GNN的全局解释,使从业者能够对模型有一个高层次的看法。具体来说,(i)据我们所知,这是第一个表明GNN神经元充当概念检测器的工作,并且与作为节点度和邻域属性的逻辑组成的概念具有很强的一致性;(ii)我们定量评估检测到的概念的重要性,并确定训练时间和神经元级别可解释性之间的权衡;(iii)我们证明了我们的全球可解释性方法比当前最先进的方法具有优势-我们可以将解释分解为由逻辑描述支持的单个可解释概念,这减少了偏见的可能性并提高了用户友好性。
2023-03-08 cs.AI cs.LG
Quantifying the Accuracy-Interpretability Trade-Off in Concept-Based Sidechannel Models
Department of Computer Science, KU Leuven(计算机科学系,根特大学)
本文提出统一概率元模型和侧信道独立性得分(SIS)及正则化,量化并控制概念侧信道模型在准确性与可解释性间的权衡,实证表明可显著提升可解释性。
2025-10-16 cs.AI cs.LG
Concept Layers: Enhancing Interpretability and Intervenability via LLM Conceptualization
本文提出 Concept Layers,通过将 LLM 内部表示投影到可解释概念空间并重构,在无需人工概念集的情况下保持模型性能,并实现推理时动态干预。
2025-02-19 cs.AI cs.CL cs.LG
The SaTML '24 CNN Interpretability Competition: New Innovations for Concept-Level Interpretability
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);UNIST(蔚山科学技术院);CMU SEI(卡内基梅隆大学软件工程研究所);University of Oxford(牛津大学);Leap Labs(Leap实验室);Apart Research(Apart研究所)
该报告介绍 SaTML 2024 CNN 可解释性竞赛,聚焦 ImageNet 规模下的概念级 CNN 解释与木马诊断,展示四项方案,并在既有基准上取得新纪录。
2024-04-03 cs.AI cs.LG
ConceptCaps: a Distilled Concept Dataset for Interpretability in Music Models
Institute of Computer Science, Warsaw University of Technology(华沙技术大学计算机科学研究所)
ConceptCaps通过分离语义建模与文本生成,提供一个包含21,000个音乐-标签三元组的数据集,用于提升音乐模型的可解释性。
2026-02-03 cs.AI cs.LG cs.SD
More Interpretable Graph Similarity Computation via Maximum Common Subgraph Inference
Xi’an Jiaotong-Liverpool University(西交利物浦大学)
图相似性度量,计算两个图之间的距离/相似性,出现在各种图相关的任务。最近的基于学习的方法缺乏可解释性,因为它们直接将两个图之间的交互信息转换为一个隐藏向量,然后将其映射到相似性。为了解决这个问题,本研究提出了一个更可解释的端到端的图形相似性学习范例,命名为通过最大公共子图推理的相似性计算(INFMCS)。我们对INFMCS的关键见解是相似性得分和最大公共子图(MCS)之间的强相关性。我们隐式地推断MCS以获得归一化的MCS大小,其中监督信息仅是训练期间的相似性得分。为了捕获更多的全局信息,我们还将一些普通的Transformer编码器层与图卷积层堆叠在一起,并提出了一种新的置换不变节点位置编码。整个模型非常简单但有效。综合实验表明,INFMCS始终优于最先进的基线图图分类和回归任务。烧蚀实验验证了所提出的计算范式和其他组件的有效性。此外,可视化和统计结果揭示了INFMCS的可解释性。
2022-09-16 cs.AI cs.LG
From Isolation to Entanglement: When Do Interpretability Methods Identify and Disentangle Known Concepts?
Boston University(波士顿大学);Harvard University(哈佛大学);Mila – Quebec AI Institute(魁北克AI研究所);Goodfire(Goodfire公司)
本文提出多概念评估框架,研究稀疏自编码器和探针等方法是否真正解缠概念,发现特征通常只对单一概念敏感,但概念分布在多个特征上,且干预特征常影响多个概念,表明相关性指标不足以证明干预选择性。
2026-06-12 cs.AI cs.CL cs.LG
This Looks Like That... Does it? Shortcomings of Latent Space Prototype Interpretability in Deep Networks
ETH Zurich(苏黎世联邦理工学院)
深度神经网络通过架构设计产生人类可解释的决策,最近已经成为传统黑箱模型事后解释的越来越受欢迎的替代方案。在这些网络中,可以说最广泛的方法是所谓的原型学习,其中与学习到的潜在原型的相似性作为对看不见的数据点进行分类的基础。在这项工作中,我们指出了这种方法的一个重要缺点。也就是说,潜在空间中的相似性和输入空间中的相似性之间存在语义鸿沟,这可能会破坏可解释性。我们设计了两个实验,在所谓的ProtoPNet上验证这个问题。具体来说,我们发现这个网络的可解释性机制可能会被故意制作的甚至JPEG压缩伪像引入歧途,这可能会产生不可理解的决策。我们认为,从业者在实践中部署基于原型的模型时,应该考虑到这个缺点。
2021-06-23 cs.AI cs.CV cs.LG
Interpretability for Time Series Transformers using A Concept Bottleneck Framework
University of Amsterdam(阿姆斯特丹大学)
本文提出使用概念瓶颈框架提升时间序列转换器的可解释性,通过修改训练目标和干预实验验证了方法的有效性。
2025-11-28 cs.LG
Predictive Concept Decoders: Training Scalable End-to-End Interpretability Assistants
Transluce
预测概念解码器通过端到端训练方法,利用通信瓶颈实现对神经网络内部激活的可解释性分析,能有效检测对抗攻击和揭示潜在用户属性。
2025-12-17 cs.AI cs.CL cs.LG
Clarity: The Flexibility-Interpretability Trade-Off in Sparsity-aware Concept Bottleneck Models
Department of Statistics, University of Economics and Business(经济与商业大学统计系);UMR TETIS, Inria, EVERGREEN, University of Montpellier(蒙彼利埃大学)
研究探讨了概念瓶颈模型中稀疏性对语义对齐的影响,提出Clarity指标衡量下游性能与概念激活稀疏性和精度的相互作用,通过实验揭示灵活性与可解释性之间的关键权衡。
2026-08-12 cs.LG
Concept-Based Mechanistic Interpretability Using Structured Knowledge Graphs
U2IS, ENSTA, Institut Polytechnique de Paris(U2IS、ENSTA、巴黎理工学院);École Polytechnique Fédérale de Lausanne (EPFL)(日内瓦联邦理工学院(EPFL))
提出基于结构化知识图谱的框架BAGEL,将概念可解释性扩展到机制层面,全局剖析模型行为,揭示潜在回路与信息流,增强模型可信度。
2025-07-08 cs.AI cs.CV cs.LG
Prototype-Grounded Concept Models for Verifiable Concept Alignment
Department of Computer Science, KU Leuven(卢森堡大学计算机科学系);IBM Research, Zurich(苏黎世IBM研究院)
本研究提出了一种基于原型的概念模型(PGCMs),通过将概念与学习到的视觉原型关联起来,从而提高概念对齐的可验证性和可解释性,同时保持预测性能。
2026-05-21 cs.AI cs.LG cs.NE
TCNL: Transparent and Controllable Network Learning Via Embedding Human-Guided Concepts
Beijing University of Posts and Telecommunications(北京邮电大学)
解释深度学习模型对于理解人工智能系统、提高安全性和评估公平性至关重要。为了更好地理解和控制CNN模型,已经提出了许多用于可解释性的方法。然而,这些作品中的大多数对于人类的理解来说不太直观,并且对CNN模型的人类控制不足。我们提出了一种新的方法,透明和可控的网络学习(TCNL),以克服这些挑战。为了提高分类的可解释性,TCNL通过对人类直觉的科学研究,为特定的分类任务定义了一些概念,并将概念信息融入到CNN模型中。在TCNL中,浅层特征提取器首先获得初步特征。然后在浅层特征提取器之后建立多个概念特征提取器来学习高维概念表示。鼓励概念特征提取器对与预定义概念相关的信息进行编码。我们还构建了概念映射器,以直观的方式可视化概念提取器提取的特征。TCNL提供了一种可推广的方法来实现可解释性。研究人员可以定义与某些分类任务相对应的概念,并鼓励模型编码特定的概念信息,这在一定程度上提高了CNN模型的可解释性和可控性。我们实验的数据集(包含概念集)也将发布(https://github.com/bupt-ai-cz/TCNL)。
2022-11-22 cs.AI cs.LG
GlanceNets: Interpretabile, Leak-proof Concept-based Models
University of Trento(特伦托大学);University of Pisa(比萨大学)
人们对基于概念的模型(CBMs)越来越感兴趣,它通过获取和推理高级概念的词汇表来结合高性能和可解释性。一个关键的要求是概念是可解释的。现有的建立信任措施解决这一迫切需要使用各种解释学的基础上不清楚的概念的可解释性,并未能获得与预期的语义概念。我们解决这个问题,提供了一个清晰的定义,可解释性的模型的表示和底层的数据生成过程之间的对齐,并介绍GlanceNets,一个新的CBM,利用技术从解开表示学习和开集识别,以实现对齐,从而提高了学习的概念的可解释性。我们表明,GlanceNets与概念级监督相结合,比最先进的方法实现了更好的对齐,同时防止虚假信息无意中泄漏到学习的概念中。
2022-10-18 cs.LG
A Two-Step Concept-Based Approach for Enhanced Interpretability and Trust in Skin Lesion Diagnosis
Universidade da Beira Interior(贝拉内维斯大学);NOVA LINCS;Faculdade de Engenharia da Universidade do Porto(波尔图大学工程学院);INESC TEC
针对皮肤病变诊断中标注稀缺、CBM标注负担重且新增概念需重训的问题,提出用VLM预测概念、LLM生成诊断并支持测试时人工修正的两步免训练方法,在三个数据集上优于传统CBM及SOTA可解释方法。
2025-03-14 cs.CV cs.LG
Mapping Images to Psychological Similarity Spaces Using Neural Networks
Institute of Cognitive Science, Osnabrück University(奥斯纳布吕克大学认知科学研究所);Open University of Cyprus(塞浦路斯开放大学)
概念空间的认知框架通过提出一个中间概念层来弥合符号和子符号AI之间的差距,在这个中间概念层中,知识被几何表示。有两种主要的方法来获得这个概念相似性空间的维度:使用心理学实验的相似性评级和使用机器学习技术。在本文中,我们提出了一种结合这两种方法,通过使用心理学推导的相似性评级来约束机器学习过程。通过这种方式,可以学习从刺激到概念空间的映射,这既得到心理数据的支持,又允许对看不见的刺激进行概括。第一次可行性研究的结果支持我们提出的方法。
2019-08-07 cs.AI cs.LG stat.ML
Conceptual Learning via Embedding Approximations for Reinforcing Interpretability and Transparency
Technion – Israeli Institute of Technology(以色列理工学院)
提出 CLEAR 框架,利用分数匹配与 Langevin 采样在 VLM 潜在空间近似概念嵌入并选择概念,构建可解释图像分类 CBM,在多个基准上达到最先进性能。
2024-06-13 cs.CV cs.LG
OceanCBM: A Concept Bottleneck Model for Mechanistic Interpretability in Ocean Forecasting
University of California, Davis(加州大学戴维斯分校);University of Washington(华盛顿大学);NOAA Geophysical Fluid Dynamics Laboratory(国家海洋大气管理局流体动力学实验室)
本文提出OceanCBM,一种用于时空预测和海洋动力机制解释的概念瓶颈模型,通过混合监督预测混合层热含量,实现可解释且物理基础的表示。
2026-05-12 cs.LG
Concept-Centric Transformers: Enhancing Model Interpretability through Object-Centric Concept Learning within a Shared Global Workspace
Arizona State University(亚利桑那州立大学)
该研究受共享全局工作空间理论启发,提出以概念为中心的Transformer,通过对象中心内存模块、交叉注意力及分类与解释损失,在多数据集分类任务上实现了优于基线的准确率与更一致的概念解释。
2023-11-07 cs.CV cs.LG
Bi-ICE: An Inner Interpretable Framework for Image Classification via Bi-directional Interactions between Concept and Input Embeddings
Arizona State University(亚利桑那州立大学);Seoul National University(首尔国立大学)
Bi-ICE通过概念与输入嵌入的双向交互,提升图像分类任务的内部可解释性与透明度。
2025-12-08 cs.CV cs.LG
Do Concept Bottleneck Models Learn as Intended?
University of Cambridge(剑桥大学);University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所)
概念瓶颈模型从原始输入映射到概念,然后从概念映射到目标。这种模式的目的是将预先指定的,高层次的概念到学习过程中,并已被激励,以满足三个desiderata:可解释性,可预测性和可干预性。然而,我们发现概念瓶颈模型很难达到这些目标。使用事后可解释性方法,我们证明,概念不对应于任何语义上有意义的输入空间,从而质疑概念瓶颈模型在其目前的形式的有用性。
2021-05-10 cs.AI cs.LG
LLM Interpretability with Identifiable Temporal-Instantaneous Representation
Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出了一种针对LLM高维概念空间的可识别时间因果表示学习框架,通过结合SAE技术,提升了LLM的可解释性。
2026-01-02 cs.LG
Interpretability for Multimodal Emotion Recognition using Concept Activation Vectors
PES University(PES大学)
本文针对多模态情感识别模型决策不透明的问题,提出利用CAVs定义可理解概念并映射至IEMOCAP,在BC-LSTM多层评估其影响并通过假设检验验证显著性。
2022-02-02 cs.LG
Enhancing Performance of Explainable AI Models with Constrained Concept Refinement
Princeton University(普林斯顿大学)
本文提出一种约束概念精炼框架,在保持可解释性的同时优化概念嵌入,以解决可解释模型准确性与可解释性权衡问题,并在图像分类基准上以更低计算成本提升预测精度。
2025-05-27 cs.LG
Graph Neural Networks for Heart Failure Prediction on an EHR-Based Patient Similarity Graph
Institute of Informatics, Universidade Federal do Rio Grande do Sul (UFRGS)(信息学院,巴西联邦大学里约格兰德杜斯圣路易斯分校);School of Information Technology, Halmstad University(信息科技学院,哈姆斯塔德大学);Bioinformatics Core, Hospital de Clínicas de Porto Alegre (HCPA)(生物信息学核心,波尔图阿莱格雷医院)
本研究利用图神经网络和图变换器在基于MIMIC-III数据构建的患者相似性图上预测心力衰竭,其中图变换器性能最优,并增强了可解释性。
2024-11-29 cs.AI cs.LG
HyperDAS: Towards Automating Mechanistic Interpretability with Hypernetworks
Stanford University(斯坦福大学);Confirm Labs(确认实验室);Ghent University(根特大学)
HyperDAS提出基于Transformer的超网络架构,自动定位并构建残差流中的概念特征,在Llama3-8B上于RAVEL基准取得最先进性能,并探讨了避免信息注入的设计决策。
2025-04-25 cs.AI cs.CL cs.LG
Interpretability is in the Mind of the Beholder: A Causal Framework for Human-interpretable Representation Learning
University of Trento(特伦托大学);University of Pisa(比萨大学)
本文提出一个基于因果表示学习的数学框架,通过显式建模人类观察者推导机器表示与人类概念词汇间的对齐,将可解释性与解耦、概念泄漏等属性统一在信息论视角下,为人类可解释表示学习奠定理论基础。
2023-09-14 cs.HC cs.LG
Interpretable Company Similarity with Sparse Autoencoders
London School of Economics(伦敦经济学院);Tower Research Capital(塔罗研究资本)
本研究将稀疏自编码器应用于公司描述,提取可解释特征以衡量公司相似性,优于传统分类和嵌入方法,并在协整交易中产生更高夏普比率。
2025-05-24 cs.CL cs.LG econ.GN
An Interpretability Illusion for BERT
Google Research(谷歌研究院)
我们描述了一个“可解释性错觉”,分析时出现的BERT模型。网络中单个神经元的激活可能会虚假地表现为编码一个简单的概念,而实际上它们编码的是更复杂的东西。同样的效果也适用于激活的线性组合。我们追踪这种错觉的来源,BERT的嵌入空间的几何特性,以及一个事实,即共同的文本语料库只代表可能的英语句子的窄片。我们提供了一个模型学习的概念分类,并讨论了可解释性研究的方法学意义,特别是在多个数据集上测试假设的重要性。
2021-04-14 cs.CL cs.LG
Interpretable Hierarchical Concept Reasoning through Attention-Guided Graph Learning
Department of Computer Science, KU Leuven(鲁汶大学计算机科学系);IBM Research, Zurich(苏黎世IBM研究院);Università della Svizzera Italiana, Lugano(瑞士意大利大学卢加诺分校)
针对现有基于概念的模型仅对最终任务预测提供可解释性而概念预测为黑盒的问题,提出H-CMR模型,利用有向无环图和注意力机制分层预测概念与任务,在保持先进性能的同时支持概念与模型干预以提升准确率和数据效率。
2025-06-26 cs.AI cs.LG
Interpretable and Steerable Concept Bottleneck Sparse Autoencoders
University of California, San Diego(加州大学圣迭戈分校);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文提出CB-SAE框架,通过剪枝低效神经元和增加概念瓶颈提升LVLMs和图像生成任务的可解释性和可操控性,效果提升分别为32.1%和14.5%。
2026-03-30 cs.CV cs.LG
E-TCAV: Formalizing Penultimate Proxies for Efficient Concept Based Interpretability
National University of Sciences and Technology(国立科学与技术大学);German Research Centre for Artificial Intelligence(德国人工智能研究中心)
本文提出E-TCAV方法,通过研究TCAV方法的三个关键方面,实现了对TCAV分数的高效近似,解决了计算开销大、层间不一致和统计不稳定等问题。
2026-05-11 cs.AI cs.LG
Compositional Concept-Based Neuron-Level Interpretability for Deep Reinforcement Learning
School of Computer Science, Beijing University of Posts and Telecommunications(北京邮电大学计算机学院)
提出一种自动将神经元激活与逻辑公式对齐的概念解释框架,通过值敏感离散化将连续状态转化为可解释原子概念,为深度强化学习模型提供细粒度神经元级解释。
2026-07-01 cs.AI cs.LG
Transformation of audio embeddings into interpretable, concept-based representations
Dolby Laboratories(Dolby实验室);Dept. of Electrical and Computer Engineering Univ. of Texas at Austin(电气与计算机工程系,德克萨斯大学奥斯汀分校)
本研究利用CLAP模型将音频嵌入转换为基于概念的可解释稀疏表征,在保持或提升下游任务性能的同时提供可解释性,并发布了三个音频词汇表。
2025-04-18 cs.LG cs.SD eess.AS
Mechanistic Interpretability with Sparse Autoencoder Neural Operators
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));California Institute of Technology (Caltech)(加州理工学院(Caltech))
本文提出稀疏自编码器神经算子(SAE-NOs),通过函数空间而非欧几里得空间进行操作,利用联合稀疏性实现对概念的函数化表示,提升对输入域内概念表达的建模能力。
2026-11-10 cs.AI cs.LG eess.SP
SPINEX: Similarity-based Predictions and Explainable Neighbors Exploration for Regression and Classification Tasks in Machine Learning
Clemson University(克莱姆森大学);University of Guelph(圭尔夫大学)
本文提出了一种新颖的基于相似性的可解释邻居探索算法SPINEX,通过结合集成学习与特征交互分析量化特征贡献,在59个数据集上表现出优于或可比的性能,有效解决了高维和不平衡数据的可解释性问题。
2023-06-01 cs.LG stat.AP
Atlas-Alignment: Making Interpretability Transferable Across Language Models
Department of Artificial Intelligence, Fraunhofer Heinrich Hertz Institute(人工智能系,弗劳恩霍夫 Heinrich Hertz 研究所);Department of Electrical Engineering and Computer Science, Technische Universität Berlin(电气工程与计算机科学系,柏林技术大学);Centre of eXplainable Artificial Intelligence, Technological University Dublin(可解释人工智能中心,都柏林技术大学);BIFOLD - Berlin Institute for the Foundations of Learning and Data(BIFOLD - 柏林学习与数据基础研究所)
Atlas-Alignment通过在新模型的潜在空间与预训练的Concept Atlas对齐,实现无需标注数据的可解释性迁移,降低可解释AI的成本。
2026-04-24 cs.AI cs.CL cs.LG
Learning to Select Prototypical Parts for Interpretable Sequential Data Modeling
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
基于原型的可解释性方法通过将样本与记忆样本或典型代表的参考集在相似性方面进行比较来提供对模型预测的直观解释。在序列数据建模领域,原型的相似性计算通常基于编码的表示向量。然而,由于高度递归的函数,基于原型的解释和原始输入之间通常存在不可忽略的差异。在这项工作中,我们提出了一个自我解释的选择模型(SESM),使用原型概念的线性组合来解释自己的预测。该模型采用基于案例推理的思想,通过选择主要激活不同概念的输入子序列作为原型部分,用户可以将其与从不同示例输入中选择的子序列进行比较,以理解模型决策。为了更好的可解释性,我们设计了多个约束,包括多样性,稳定性和局部性作为训练目标。在不同领域的大量实验表明,我们的方法具有良好的可解释性和竞争力的准确性。
2023-03-17 cs.AI cs.LG
An Analysis of Concept Bottleneck Models: Measuring, Understanding, and Mitigating the Impact of Noisy Annotations
POSTECH
本文提出了一种两阶段框架,通过尖锐性感知训练和不确定性校正来缓解概念瓶颈模型中噪声标注的影响,提升模型的鲁棒性和可解释性。
2026-01-30 cs.AI cs.LG
The Loss Kernel: A Geometric Probe for Deep Learning Interpretability
University of Melbourne(墨尔本大学);Timaeus
本研究提出损失核这一深度学习可解释性方法,通过保低损失参数扰动下的逐样本损失协方差衡量数据相似性,经合成任务与ImageNet实验验证其符合理论且匹配语义层级,为可解释性与数据归因提供实用工具。
2025-09-30 cs.LG
Mechanistic Interpretability of Atmospheric Rivers in GraphCast
University of Virginia(弗吉尼亚大学)
本研究在GraphCast上训练稀疏自编码器,发现其内部稳定计算大气河强度(IVT),并验证了因果性,为理解AI天气模型内部机制提供了新方法。
2026-10-07 cs.AI cs.LG
Surpassing Cosine Similarity for Multidimensional Comparisons: Dimension Insensitive Euclidean Metric
Massachusetts Institute of Technology(麻省理工学院)
本文针对余弦相似度在高维比较中因维度依赖而产生偏差的问题,提出维度不敏感欧几里得度量(DIEM),并通过大语言模型应用验证其在多维数据分析中更强的鲁棒性和可解释性。
2025-03-10 cs.LG eess.SP
ICICLE: Interpretable Class Incremental Continual Learning
Jagiellonian University(雅盖隆大学);Ardigen SA(阿迪根公司);Autonomous University of Barcelona(巴塞罗那自治大学);Computer Vision Center(计算机视觉中心);IDEAS NCBR(IDEAS国家计算智能研究中心)
针对持续学习中的可解释性概念漂移问题,提出免样本的原型部分方法ICICLE,通过可解释性正则化、基于邻近性的原型初始化和任务近因偏差补偿减少概念漂移,在基于概念的模型上优于现有免样本类增量学习方法。
2023-07-31 cs.AI cs.CV cs.LG
Learning Interpretable Concept Groups in CNNs
Technical University of Kaiserslautern(凯泽斯劳滕工业大学);Technical University of Berlin(柏林工业大学);University of Birmingham(伯明翰大学);NPZ Innovation GmbH(NPZ创新有限公司);University of St.Gallen(圣加仑大学)
我们提出了一种新的训练方法-概念组学习(CGL)-通过将每层中的过滤器划分为概念组,每个概念组都被训练来学习单个视觉概念,从而鼓励训练可解释的CNN过滤器。我们通过一种新的正则化策略来实现这一点,该策略迫使同一组中的过滤器在给定层的相似图像区域中处于活动状态。我们还使用正则化器来鼓励每一层中概念组的稀疏加权,以便少数概念组可以比其他概念组具有更大的重要性。我们定量评估CGL的模型的可解释性,使用标准的可解释性评估技术,发现我们的方法在大多数情况下增加了可解释性分数。我们比较了使用CGL学习的过滤器与没有CGL学习的过滤器下最活跃的图像区域,发现CGL激活区域更强烈地集中在语义相关的特征周围。
2021-09-21 cs.CV cs.LG
Temporal Sparse Autoencoders: Leveraging the Sequential Nature of Language for Interpretability
Harvard School of Engineering and Applied Science(哈佛工程与应用科学学院);Kempner Institute for the Study of Natural & Artificial Intelligence(自然与人工智能研究学院);Harvard Business School(哈佛商学院)
时间稀疏自编码器通过引入对比损失,有效解耦语义与语法特征,提升语言模型的可解释性。
2026-02-25 cs.AI cs.CL cs.LG
Cosine Similarity Is Not Evidence: Measuring the Noise Floor of Interpretability Transfer Under Quantization
University of Michigan(密歇根大学)
本研究指出,量化下可解释性迁移的余弦相似度报告缺乏噪声基底,无法作为证据;通过测量类别分离度并对比分裂半样本零分布,发现INT4方向旋转而INT8无移动,并提出低成本报告建议。
2026-09-28 cs.LG