ConceptFlow: Hierarchical and Fine-grained Concept-Based Explanation for Convolutional Neural Networks
ConceptFlow通过概念注意力和概念通路追踪CNN中概念跨层传播与演化,模拟模型内部思维路径,从而提供更忠实且人类可对齐的层级化细粒度解释。
2025-09-16 cs.AI cs.LG
Hierarchical Explanations for Video Action Recognition
University of Amsterdam(阿姆斯特丹大学)
本文提出HIPE方法,通过构建原型与类别间的层次关系,实现视频动作分类的多层次推理与解释,并在ActivityNet和UCF-101上验证了其忠实度。
2023-04-03 cs.AI cs.CV cs.LG
Towards Hierarchical Importance Attribution: Explaining Compositional Semantics for Neural Sequence Models
University of Southern California(南加州大学);Fudan University(复旦大学)
神经网络在自然语言处理任务中令人印象深刻的性能归因于它们对复杂单词和短语组合进行建模的能力。为了解释模型如何处理语义组合,我们研究了神经网络预测的层次解释。我们确定的非加性和上下文无关的重要性属性在层次结构中作为两个理想的属性,突出单词和短语的组成。我们展示了一些先前的努力,分层解释,例如上下文分解,不满足数学上所需的属性,导致不一致的解释质量在不同的模型。在本文中,我们首先提出了一个正式的和一般的方法来量化每个单词和短语的重要性。在此基础上,提出了采样和上下文分解(SCD)算法和采样和遮挡(SOC)算法。在多个数据集上对LSTM模型和BERT Transformer模型的人类和度量评估表明,我们的算法优于以前的分层解释算法。我们的算法有助于可视化模型捕获的语义组成,提取分类规则,提高人类对模型的信任。项目页面:https://inklab.usc.edu/hiexpl/
2020-06-15 cs.CL cs.LG stat.ML
CHiQPM: Calibrated Hierarchical Interpretable Image Classification
Institute for Information Processing (tnt) L3S - Leibniz Universität Hannover(信息处理研究所 (tnt) L3S - 莱布尼茨汉诺威大学);Intel Labs(英特尔实验室)
CHiQPM提出了一种兼具全局和局部可解释性的图像分类模型,通过对比解释多数类和分层解释方法,实现高准确率和可解释性,为人类与AI协作提供支持。
2026-04-08 cs.CV cs.HC cs.LG
A Hierarchical Neural Framework for Classification and its Explanation in Large Unstructured Legal Documents
IRIT(信息、机器人与信息技术研究所)
本文提出分层神经框架MESc和解释提取算法ORSE,用于解决长且无结构标注的法律文档判决预测与解释问题,并在多国法律数据集上验证其优于现有方法。
2024-06-27 cs.IR cs.LG
Causal Explanations of Image Misclassifications
Stanford School of Engineering(斯坦福大学工程学院);Stanford School of Medicine(斯坦福大学医学院)
图像误分类的因果解释是一个未充分研究的利基,它可以潜在地提供模型可解释性的有价值的见解,并提高预测精度。该研究在六种现代CNN架构上训练CIFAR-10,包括VGG 16,ResNet 50,GoogLeNet,DenseNet 161,MobileNet V2和Inception V3,并使用条件混淆矩阵和错误分类网络探索错误分类模式。两个原因被确定和定性区分:形态相似性和非必要信息干扰。前一个原因不依赖于模型,而后者在所有六个模型中是不一致的。为了减少由非必要信息干扰引起的错误分类,本研究删除锚定在显着图的顶部5%像素的粘合框内的像素。该方法首先验证原因,然后通过直接修改原因来减少错误分类。未来的研究将集中在定量区分错误分类的两个原因,推广基于锚盒的推理修改方法,以减少错误分类,探索错误分类的两个原因之间的相互作用。
2020-06-28 cs.LG stat.ML
Bayesian Hierarchical Models for Counterfactual Estimation
JPMorgan AI Research(摩根大通人工智能研究院)
反事实解释利用特征扰动来分析原始决策的结果,并建议可操作的追索权。我们认为,这是有益的,而不是一个单点的解决方案,提供几种替代的解释,并提出了一个概率范式来估计一组不同的反事实。具体来说,我们把扰动作为随机变量赋予先验分布函数。这允许从后验密度中采样多个反事实,并具有合并归纳偏差、保留特定领域约束和量化估计中的不确定性的额外好处。更重要的是,我们利用贝叶斯分层模型来共享人口的不同子组之间的信息,这既可以提高鲁棒性,又可以衡量公平性。一个基于梯度的采样器具有优越的收敛特性,有效地计算后验样本。在几个数据集上的实验表明,使用我们的方法估计的反事实是有效的,稀疏的,多样的和可行的。
2023-01-21 cs.AI cs.LG
Hierarchical Graph Neural Networks for Causal Discovery and Root Cause Localization
NEC Laboratories America Inc.(NEC美国实验室);University of Central Florida(中佛罗里达大学);Amazon Inc.(亚马逊公司);University of Utah(犹他大学)
在本文中,我们提出了REASON,一个新的框架,使自动发现的两个内级(即,网络内)和层间(即,跨网络)的因果关系。推理包括拓扑因果发现和个体因果发现。拓扑因果发现组件旨在对故障传播进行建模,以便追溯到根本原因。为了实现这一目标,我们提出了新型的分层图神经网络,通过对层内和层间非线性因果关系建模来构建相互依赖的因果网络。基于学习到的相互依赖的因果网络,我们利用随机游走与重启来模拟系统故障的网络传播。Individual Causal Discovery组件专注于捕获单个系统实体的突变模式。该组件检查每个实体的度量数据的时间模式(即,时间序列),并基于极值理论估计其作为根本原因的可能性。结合拓扑和个体因果分数,前K个系统实体被识别为根本原因。在三个真实数据集上的大量实验和案例研究证明了该框架的有效性和优越性。
2023-02-03 cs.AI cs.LG
Score-based Integrated Gradient for Root Cause Explanations of Outliers
SIREN通过估计数据似然的分数函数,提供了一种新颖且高效的异常值根源解释方法,适用于非线性和高维因果模型。
2026-01-29 cs.AI cs.LG
T-MoXAI: A Hierarchical Explainability Framework for Temporal Multimodal Data
University of Cambridge(剑桥大学);Imperial College Healthcare NHS Trust(帝国理工学院医疗NHS信托基金);HCA UK(英国HCA医疗集团)
T-MoXAI提出层级可解释框架,通过时间Shapley值、注意力分析和梯度归因,在秒级内解释时间多模态数据预测,并在IVF结果预测和小麦产量预测中验证了有效性。
2026-09-29 cs.LG
Conditional Attribution for Root Cause Analysis in Time-Series Anomaly Detection
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Paul Wurth S.A(保罗·沃思公司);Rheinland-Pfälzische Technische Universität Kaiserslautern-Landau(莱茵河-巴尔夫技术大学凯撒斯劳滕-兰道)
提出一种条件归因框架,通过检索与异常观测上下文相似的正态实例进行依赖保持的解释,结合变分自编码器和UMAP流形嵌入实现高维时间序列的高效归因,并在SWaT和MSDS基准上提升了根因识别准确率与鲁棒性。
2026-06-17 cs.LG
Generative Emotion Cause Explanation in Multimodal Conversations
Northeastern University(东北大学);Shenyang Women’s and Children’s Hospital(沈阳市妇女儿童医院)
本文提出多模态对话情感原因解释任务MECEC,构建ECEM数据集,并设计FAME-Net利用大语言模型分析面部表情和情感传染效应,在实验中优于多个基线模型。
2025-06-04 cs.AI cs.CL cs.CV
Hierarchical Concept Embedding & Pursuit for Interpretable Image Classification
University of Pennsylvania(宾夕法尼亚大学)
本文提出HCEP框架,通过在潜在空间中诱导概念嵌入的层次结构,利用层次稀疏编码恢复图像中的概念,提升分类可解释性与精度。
2026-03-30 cs.CV cs.LG
Explaning with trees: interpreting CNNs using hierarchies
Laboratoire de Recherche de l’EPITA(EPITA研究实验室);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);Khalifa University(哈利法大学)
本文提出xAiTrees框架,通过层次分割技术为CNN提供忠实且可解释的解释,提升xAI的可解释性。
2026-01-13 cs.AI cs.CV cs.LG
Causal explanations of outliers in systems with lagged time-dependencies
AMS-Osram(艾迈斯欧司朗);University of Hamburg(汉堡大学)
本文提出了一种针对具有滞后时间依赖性的系统中异常值的因果解释方法,通过两种截断方法处理无限依赖图,并在能源管理场景中验证了其有效性。
2026-02-04 cs.LG stat.ML
Detecting and Explaining Causes From Text For a Time Series Event
Language Technology Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
解释事件的潜在原因或影响是一项具有挑战性但有价值的任务。我们定义了一个新的问题,产生一个时间序列事件的解释(1)搜索的原因和影响的时间序列与文本数据的关系和(2)构建它们之间的连接链,以产生一个解释。为了从文本中检测因果特征,我们提出了一种新的方法,基于从文本中提取的特征(如N-gram,主题,情感及其组成)之间的时间序列的Granger因果关系。因果实体序列的生成需要具有高效推理的常识因果知识库。为了确保良好的可解释性和适当的词汇使用,我们结合了符号和神经表征,使用在常识因果元组上训练的神经推理算法来预测下一个原因步骤。我们的定量和人工分析表明,我们的方法成功地提取了有意义的因果关系的时间序列与文本特征之间的实证证据,并产生适当的解释。
2017-07-27 cs.AI cs.CL cs.LG
Root Cause Explanation of Outliers under Noisy Mechanisms
Deakin University(迪肯大学)
针对现有异常根因研究仅考虑节点贡献、无法归因边异常的问题,提出结合边与节点的噪声函数因果模型及梯度归因法,在多数据集上实现更优归因性能且可扩展至大图。
2023-12-19 cs.AI cs.LG stat.ML
Computing Actual Causes for Neural Network Predictions under Structured Causal Inputs
该研究针对结构化因果输入下神经网络预测解释的误导性问题,提出基于布尔结构因果模型与边界传播、分支定界技术的方法,可高效计算所有最小实际原因,性能优于多种基线方法。
2026-08-05 cs.AI cs.LG cs.LO
CR3G: Causal Reasoning for Patient-Centric Explanations in Radiology Report Generation
IIT Bombay(博伊斯大学)
CR3G通过因果推理提升放射学报告生成的解释能力,增强AI诊断的可信度和实用性。
2025-12-03 cs.AI cs.LG
Unlocking Biomedical Insights: Hierarchical Attention Networks for High-Dimensional Data Interpretation
Department of Computer Science and Engineering, Alliance University(计算机科学与工程系,联盟大学);College of Engineering and IT, University of Dubai(工程与信息技术学院,迪拜大学);Shiv Nadar University(施瓦纳达大学)
本文提出层次注意力可解释网络(HAIN),融合多级注意力、降维与解释驱动损失,在TCGA数据集上以94.3%准确率实现高维生物医学数据的可解释分类,并识别癌症生物标志物。
2025-10-21 cs.AI cs.LG
Formal Explanations for Neuro-Symbolic AI
Monash University(莫纳什大学)
本文针对神经符号AI系统行为难以解释的问题,提出一种基于形式化溯因解释的分层解释方法,先解释符号组件以确定需解释的神经输入子集,再独立解释各神经输入,实验证明其在解释规模、时间、训练效率和模型大小等方面优于纯神经系统。
2024-10-18 cs.AI cs.LG cs.LO
Faster Verified Explanations for Neural Networks
London School of Economics and Political Science, UK(伦敦政治经济学院,英国);Ca’ Foscari University of Venice, Italy(威尼斯卡弗斯卡大学,意大利)
本文提出FaVeX算法,通过动态结合批量和顺序处理输入特征及重用信息,提升神经网络验证解释的效率,并引入验证器最优鲁棒解释,提升解释的正式性。
2026-05-08 cs.LG cs.PL
Theoretical Evaluation of Asymmetric Shapley Values for Root-Cause Analysis
HUN-REN SZTAKI(匈牙利研究网络计算机科学与控制研究所);CNRS(法国国家科学研究中心);University Lille(里尔大学);Ericsson Hungary(爱立信匈牙利公司)
本文理论评估非对称Shapley值(ASV)在根因分析中的表现,发现其放宽对称性会导致反直觉归因,但广义加性模型(GAM)下性质良好,并通过真实数据集实验验证。
2023-10-15 cs.LG stat.ME
Hierarchical Causal Abduction: A Foundation Framework for Explainable Model Predictive Control
System Dynamics, Chemnitz University of Technology, Chemnitz, Germany(化学特伦茨大学系统动力学系);Department of Bioresources, Fraunhofer Institute for Molecular Biology and Applied Ecology(弗劳恩霍夫分子生物学与应用生态学研究所生物资源系)
本文提出层次因果反推框架,结合领域知识图、KKT乘子证据和PCMCI算法,提升非线性MPC控制动作的可解释性,实验显示在温室气候、建筑HVAC和化工过程应用中,解释准确率比LIME高53%。
2026-05-11 cs.AI cs.LG
Graph Neural Network Causal Explanation via Neural Causal Models
Illinois Institute of Technology(伊利诺伊理工大学)
针对现有图神经网络解释器多基于关联易产生虚假相关的问题,提出基于神经因果模型的GNN因果解释器,通过构建定制化神经因果模型计算因果效应以识别因果子图,性能显著优于现有方法。
2024-07-12 cs.AI cs.LG stat.ML
Power Interpretable Causal ODE Networks: A Unified Model for Explainable Anomaly Detection and Root Cause Analysis in Power Systems
PICODE网络通过统一模型实现电力系统中异常检测与根本原因分析的可解释性,提升模型的可解释性和减少对标注数据的依赖。
2026-02-13 cs.AI cs.LG
Optimal scaling laws in learning hierarchical multi-index models
Departement d’Informatique, École Normale Supérieure, PSL & CNRS(信息学院,巴黎综合理工学院,PSL与CNRS);Information, Learning and Physics Laboratory, École Polytechnique Fédérale de Lausanne (EPFL)(信息、学习与物理实验室,洛桑联邦理工学院(EPFL));INRIA Paris(巴黎INRIA)
本文研究了分层多索引模型中神经网络的最优缩放规律,提出了一种简单且高效的谱估计方法,揭示了分层特征的逐层学习过程及统计最优读出机制。
2026-11-17 cs.LG stat.ML
Visual Explanations From Deep 3D Convolutional Neural Networks for Alzheimer's Disease Classification
University of Florida(佛罗里达大学)
我们开发了三种有效的方法,用于从3D卷积神经网络(3D-CNN)中生成用于阿尔茨海默病分类的视觉解释。一种方法对分层3D图像分割进行敏感性分析,另两种方法在空间图上可视化网络激活。视觉检查和定量定位基准表明,所有方法都可以识别阿尔茨海默病诊断的重要大脑部位。对比分析表明,基于敏感性分析的方法难以处理松散分布的大脑皮层,基于激活可视化的方法受到卷积层分辨率的限制。这些方法的互补性从不同角度提高了对3D-CNN在阿尔茨海默病分类中的理解。
2018-07-06 cs.AI cs.CV cs.LG
Class Feature Pyramids for Video Explanation
Utrecht University(乌得勒支大学);University of Essex(埃塞克斯大学);London South Bank University(伦敦南岸大学)
深度卷积网络广泛用于视频动作识别。3D卷积是处理额外时间维度的一种重要方法。虽然3D卷积通常会导致更高的准确性,但训练模型的内部工作更难以解释。我们专注于创建人类可理解的视觉解释,代表时空网络的层次部分。我们引入了类特征金字塔,这是一种遍历整个网络结构并逐步发现不同网络深度的内核的方法,这些内核为特定类提供了信息。我们的方法不依赖于网络的架构或3D卷积的类型,支持分组和深度卷积,纤维卷积和分支卷积。我们在六个最先进的3D卷积神经网络(CNN)上展示了该方法,这些卷积神经网络用于三个动作识别(Kinetics-400,UCF-101和HMDB-51)和两个以自我为中心的动作识别数据集(EPIC-Kitterfly和EGTEA Gaze+)。
2019-09-18 cs.CV cs.LG
Everybody Needs a Little HELP: Explaining Graphs via Hierarchical Concepts
University of Cambridge(剑桥大学);Università della Svizzera Italiana(瑞士意大利语区大学)
本文提出HELP,一种本质可解释的层次化图池化方法,通过揭示不同GNN层概念如何组合来解释预测,其表达力超过1-WL,并在准确性与专家对齐度上表现优异。
2023-12-02 cs.AI cs.LG
Convex Density Constraints for Computing Plausible Counterfactual Explanations
CITEC - Cognitive Interaction Technology Bielefeld University(比勒费尔德大学认知交互技术中心)
随着机器学习的部署以及欧盟GDPR等法律法规的不断增加,需要对机器学习模型提出的决策进行用户友好的解释。反事实解释被认为是解释模型的特定决策的最流行的技术之一。虽然“任意”反事实解释的计算已经得到了很好的研究,但如何有效地计算合理可行的反事实解释仍然是一个开放的研究问题。我们建立在最近的工作,并提出和研究一个正式的定义似是而非的反事实的解释。特别是,我们研究了如何使用密度估计,以加强可验证性和可行性的反事实的解释。为了有效计算的目的,我们提出了凸密度约束,以确保所得到的反事实位于高密度的数据空间的区域。
2020-08-03 cs.AI cs.LG stat.ML
InsightBuild: LLM-Powered Causal Reasoning in Smart Building Systems
Department of Computer Science(计算机科学系);Engineering, Ohio State University, Ohio, US(工程学院,俄亥俄州立大学,俄亥俄州,美国)
本文提出InsightBuild框架,结合因果推断与微调LLM,为智能建筑异常能耗生成可读的因果解释,助力管理者诊断和缓解能效问题。
2025-07-11 cs.AI cs.LG
Succinct Explanations With Cascading Decision Trees
Yale University(耶鲁大学);Barnard College(巴纳德学院)
决策树是20世纪80年代以来最流行和最经典的机器学习模型之一。然而,在许多实际应用中,决策树往往会生成深度过大的决策路径。长的决策路径通常会导致过拟合问题,并使模型难以解释。由于决策路径较长,当数据包含缺失值时,推理也更有可能失败。在这项工作中,我们提出了一个新的树模型称为级联决策树,以减轻这个问题。级联决策树的核心思想是将决策路径和解释路径分开,实验结果表明,级联决策树生成的解释路径平均缩短了63.38%,避免了过拟合,从而获得了更高的测试精度。我们还实证表明,级联决策树的优势,对缺失值的鲁棒性。
2022-11-29 cs.AI cs.LG
Explaining Results of Multi-Criteria Decision Making
我们介绍了一种方法来解释各种线性和层次多准则决策(MCDM)技术,如WSM和AHP的结果。两个关键思想是(A)维护这些技术操作的值的细粒度表示,以及(B)通过合并,过滤和聚合操作从这些表示中导出解释。在我们的模型中的一个解释提出了一个高层次的比较两个替代品在MCDM问题,大概是一个最佳和非最佳的,照亮为什么一个替代品是首选。我们显示了我们的技术的有用性,通过生成两个著名的例子从MCDM文献的解释。最后,我们通过计算实验证明了它们的有效性。
2022-09-10 cs.AI cs.LG cs.PL
Feature compression is the root cause of adversarial fragility in neural network classifiers
Department of Electrical and Computer Engineering(电气与计算机工程系);University of Iowa(爱荷华大学)
本文从矩阵理论角度解释了神经网络分类器的对抗脆弱性,证明其对抗鲁棒性随输入维度增加而退化,仅达最优分类器的 $1/\sqrt{d}$,且与基于信息论的特征压缩解释一致。
2025-11-03 cs.CR cs.IT cs.LG
A Hierarchical Deep Neural Network for Detecting Lines of Codes with Vulnerabilities
Florida Institute For Human and Machine Cognition(佛罗里达人机认知研究所)
由源代码中的无意缺陷引起的软件漏洞是网络攻击的主要根源。源代码静态分析已被广泛用于检测由软件开发者引入源代码中的无意缺陷,即漏洞。在本文中,我们提出了一种基于自然语言处理中已使用的技术的深度学习方法来从LLVM IR表示中检测漏洞。所提出的方法使用一个分层的过程,首先识别源代码的漏洞,然后它确定的代码行,有助于检测到的源代码中的漏洞。这种两步方法减少了检测脆弱线路的虚警。我们在NVD和SARD中收集的真实世界和合成代码上进行了广泛的实验,结果表明在检测源代码漏洞方面具有较高的准确率(约98%)。
2022-11-15 cs.AI cs.CR cs.LG
NeuroExplainer: Fine-Grained Attention Decoding to Uncover Cortical Development Patterns of Preterm Infants
ShanghaiTech University(上海科技大学)
NeuroExplainer 提出一种分层注意力解码的可解释几何深度网络,通过端到端学习解释因子并结合领域知识正则化,在 dHCP 基准上准确识别早产儿并揭示其皮层发育改变模式。
2023-05-25 cs.LG eess.IV q-bio.NC
Unsupervised Detection of Adversarial Examples with Model Explanations
Carnegie Mellon University(卡内基梅隆大学);KAIST(韩国科学技术院)
深度神经网络(DNN)在各种机器学习应用中表现出卓越的性能。然而,众所周知,DNN容易受到简单的对抗性扰动的影响,这会导致模型对输入进行错误的分类。在本文中,我们提出了一种简单而有效的方法来检测对抗性的例子,使用开发的方法来解释模型的行为。我们的主要观察是,增加微小的、人类无法察觉的扰动可能会导致模型解释的剧烈变化,从而导致不寻常或不规则的解释形式。从这一观点出发,我们提出了一种使用重建器网络的对抗性示例的无监督检测,该网络仅在良性示例的模型解释上进行训练。我们对MNIST手写数据集的评估表明,我们的方法能够以高置信度检测由最先进算法生成的对抗性示例。据我们所知,这项工作是第一次提出使用模型解释的无监督防御方法。
2021-07-22 cs.CR cs.CV cs.LG
A Group-Theoretic Approach to Computational Abstraction: Symmetry-Driven Hierarchical Clustering
Coordinated Science Laboratory(协调科学实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
摘要抽象在概念学习和知识发现中起着关键作用,本文主要研究计算抽象。特别是,我们研究的性质,抽象通过一组理论的方法,正式将其作为数据驱动的-而不是数据驱动的-层次聚类。因此,所得到的聚类框架是无数据,无特征,无相似性和全局层次--四个关键特征,使其区别于常见的数据聚类模型,如$k$ -手段。除了抽象的理论基础,我们还提出了一个自上而下和自下而上的方法来建立一个实用的抽象生成方法的算法基础。最后,通过理论解释和实际应用,我们说明了我们的抽象框架与统计学的进一步耦合实现了香农的信息格,甚至进一步将学习带入画面。这不仅提供了我们提出的计算抽象的一个用例,而且还为自动概念学习和知识发现的原则和认知方式迈出了第一步。
2019-07-22 cs.IT cs.LG math.IT