Evaluating the Faithfulness of Saliency-based Explanations for Deep Learning Models for Temporal Colour Constancy
University of British Columbia（不列颠哥伦比亚大学）；Huawei（华为）
深度学习模型的不透明性限制了它们的调试和改进。使用基于显著性的策略（如注意力）增强深度模型，可以帮助更好地理解黑盒模型的决策过程。然而，在自然语言处理（NLP）领域，最近的一些研究对显著性的忠实性提出了质疑，质疑注意力权重对模型真实决策过程的坚持。我们添加到这个讨论中，通过评估的忠实性模型显着性应用到视频处理任务的第一次，即时间的颜色恒定性。我们进行评估，以适应我们的目标任务，从最近的NLP文献，其方法，我们完善的一部分，我们的贡献的忠诚度的两个测试。我们发现，注意力未能实现忠诚，而信心，一种特殊类型的模型视觉显着性，成功。
2022-11-15 cs.CV cs.LG
Towards a Theory of Faithfulness: Faithful Explanations of Differentiable Classifiers over Continuous Data
Imperial College London（伦敦帝国学院）
在文献中有广泛的共识，解释方法应该忠实于他们所解释的模型，但忠实仍然是一个相当模糊的术语。我们在连续数据的背景下重新审视忠诚度，并提出了两个正式的忠诚度定义的特征属性方法。定性的忠实性要求分数反映了模型上特征的真实定性效果（积极与消极），定量的忠实性要求分数的大小反映了真实的定量效果。我们讨论在何种条件下，这些要求可以满足到何种程度（本地与全球）。作为概念思想的一个应用，我们在连续数据上研究可微分类器，并将一致性分数描述为：每个定性忠实的特征属性方法在定性上等同于一致性分数。此外，如果属性方法在分类器的输出的变化与特征的分数成比例的意义上是定量忠实的，则它或者等同于梯度评分，或者它基于分类器的劣近似。为了说明理论的实际意义，我们通过实验证明，流行的归因方法可能无法在数据连续和分类器可区分的情况下给出忠实的解释。
2022-05-19 cs.AI cs.LG
CAREF: Calibration-Aware Regularization for Explanation Faithfulness Without Rationale Supervision
MARSAIL；Chulalongkorn University（朱拉隆梭大学）；PBYAIL (Panboonyuen AI Lab)（PBYAIL（Panboonyuen人工智能实验室））
提出CAREF框架，通过校准感知正则化联合优化预测准确性和解释忠实性，无需理由监督，在四个NLE基准上以少量可训练参数取得最佳性能。
2026-06-01 cs.CL cs.LG
Don't Go Breaking My LLM: The Impact of Pruning Attention Layers on Explanation Faithfulness and Confidence Calibration
University of Copenhagen（哥本哈根大学）；LUT University（拉赫蒂理工大学）
研究剪枝LLM注意力层对解释忠实性和置信度校准的影响，发现尽管准确率保持，但忠实性和校准度常下降，表明模型置信度、可解释性与准确性之间存在错位。
2026-06-25 cs.LG
On the Complexity-Faithfulness Trade-off of Gradient-Based Explanations
KTH Royal Institute of Technology（皇家理工学院）
针对ReLU网络梯度解释噪声大且现有平滑方法牺牲忠实度的问题，提出统一光谱框架量化平滑性与忠实度的权衡，揭示代理平滑导致的解释差距，并通过实验验证理论发现。
2025-08-14 cs.AI cs.CV cs.LG
Does Role Specialization Matter for Explanation Faithfulness in Mixture-of-Experts?
University of Alberta（阿尔伯塔大学）；University of Waikato（怀卡托大学）
研究混合专家模型中专家角色分解对解释忠实度的影响，提出表示级去相关正则化减少专家间重叠，实验表明该方法能提升忠实度指标且不损害任务性能。
2026-06-28 cs.AI cs.LG
Measuring the (Un)Faithfulness of Concept-Based Explanations
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了基于概念的解释方法的忠实性，提出Surrogate Faithfulness方法以评估其忠实度，发现许多视觉上吸引人的U-CBEMs并不忠实。
2026-03-27 cs.AI cs.CV cs.LG
Metamorphic Testing with the Rashomon Set: Explanation Faithfulness in Machine Learning
Norwegian Ministry of Education and Research（挪威教育与研究部）
针对机器学习中因Rashomon效应导致解释不可靠的问题，提出基于蜕变测试的框架，通过后验解释方法评估特征归因的忠实性，无需真实标签。
2026-06-04 cs.AI cs.LG cs.SE
Good-looking but Lacking Faithfulness: Understanding Local Explanation Methods through Trend-based Testing
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文针对局部解释方法忠实性测试中的随机主导问题，提出三种基于趋势的忠实性测试方法，并在图像、自然语言和安全任务上验证了其优于传统测试，首次成功评估复杂数据上的解释方法并显著提升下游模型调试效果。
2023-09-09 cs.AI cs.CR cs.LG
Does Faithfulness Conflict with Plausibility? An Empirical Study in Explainable AI across NLP Tasks
本文通过三个NLP任务上的定量比较，实证发现忠实性与合理性并不必然冲突，传统扰动方法Shapley value和LIME可同时实现较高忠实性与合理性，建议以双重目标优化可解释性算法。
2024-03-29 cs.AI cs.LG
Faithfulness Without Anchors: A Position Paper on the Structural Misalignments of Explainable AI Faithfulness Metrics for Feature Importance
TU Delft（代尔夫特理工大学）；XITASO GmbH（XITASO有限公司）；University College Cork（科克大学学院）；RPTU University Kaiserslautern-Landau（凯撒斯劳滕-兰道工业大学）；DFKI（德国人工智能研究中心）；TU Dresden（德累斯顿理工大学）
本文指出现有可解释AI（XAI）忠实性指标存在五大缺陷，提出四大研究方向以提升其可靠性，旨在解决XAI解释与模型错位的问题。
2026-10-12 cs.AI cs.LG stat.ML
A Positive Case for Faithfulness: LLM Self-Explanations Help Predict Model Behavior
University of Oxford（牛津大学）；University of California, Berkeley（加州大学伯克利分校）；University College London（伦敦大学学院）；Google DeepMind（谷歌DeepMind）
本文提出NSG度量标准，证明LLM自我解释能提升模型行为预测能力，且比外部生成解释更具预测价值，揭示了自我解释在AI监督中的积极作用。
2026-10-08 cs.AI cs.LG
A Causal Lens for Evaluating Faithfulness Metrics
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出因果诊断性框架，用于评估自然语言解释的忠实度度量，通过生成忠实-不忠实解释对，发现Filler Tokens在多任务中表现最佳，连续度量更优但易受噪声影响。
2025-12-24 cs.AI cs.CL cs.LG
FaithLM: Towards Faithful Explanations for Large Language Models
Rice University（里士大学）；Texas A&M University（德克萨斯农工大学）；Wake Forest University（沃杰森林大学）；New Jersey Institute of Technology（新泽西理工学院）；John Hopkins University（约翰霍普金斯大学）；Google Research（谷歌研究）；Meta Platforms, Inc.（元宇宙平台公司）
FaithLM通过干预属性评估并迭代优化大语言模型的解释忠实性，在多个数据集上显著提升解释与人类理据的一致性。
2025-10-27 cs.AI cs.CL cs.LG
On Measuring Faithfulness or Self-consistency of Natural Language Explanations
Heidelberg University（海德堡大学）
本文指出现有LLM解释忠实性测试实际衡量输出自洽性，提出细粒度度量CC-SHAP并构建比较一致性库，以更接近模型内部的方式推进忠实性衡量。
2024-09-18 cs.AI cs.CL cs.LG
Evaluating the Faithfulness of Importance Measures in NLP by Recursively Masking Allegedly Important Tokens and Retraining
Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；Polytechnique Montréal（蒙特利尔综合理工学院）；McGill University（麦吉尔大学）；Facebook（脸书）
为了解释NLP模型，一种流行的方法是使用重要性度量，例如注意力，它告知输入令牌对于进行预测很重要。然而，一个悬而未决的问题是，这些解释在多大程度上准确地反映了模型的逻辑，即所谓的忠实性。为了回答这个问题，我们提出了递归ROAR，一个新的忠诚度度量。这是通过递归地屏蔽所谓的重要标记，然后重新训练模型来实现的。其原理是，与屏蔽随机令牌相比，这将导致更差的模型性能。结果是给定掩蔽比的性能曲线。此外，我们还提出了一个使用相对曲线间面积（RACU）的总结指标，该指标可以轻松比较论文、模型和任务。我们在8个不同的数据集上评估了4种不同的重要性度量，使用了LSTM注意力模型和RoBERTa模型。我们发现重要性度量的忠实性既依赖于模型又依赖于任务。这一结论与之前在计算机视觉和注意力忠实性文献中的评价相矛盾。
2022-10-31 cs.AI cs.CL cs.LG
Rethinking Attention-Model Explainability through Faithfulness Violation Test
City University of Hong Kong（香港城市大学）；National University of Singapore（新加坡国立大学）；The Hong Kong Polytechnic University（香港理工大学）
注意力机制决定着深层模型的可解释性。它们在输入上产生概率分布，这被广泛认为是特征重要性指标。然而，在本文中，我们发现一个关键的限制，注意力的解释：在识别功能的极性影响的弱点。这在某种程度上会产生误导--具有较高注意力权重的特征可能不会忠实地对模型预测做出贡献;相反，它们会施加抑制效应。有了这一发现，我们反映了目前的注意力为基础的技术，如注意力$\odot$梯度和LRP为基础的注意力解释的可解释性。首先，我们提出了一个可行的诊断方法（以下简称忠实违反测试）来衡量解释权重和影响极性之间的一致性。通过大量的实验，我们发现，大多数测试的解释方法出乎意料地阻碍了忠实违反问题，特别是原始的注意。对违规问题影响因素的实证分析进一步为注意模型中采用解释方法提供了有益的观察。
2022-07-05 cs.CL cs.CV cs.LG
Reconsidering Faithfulness in Regular, Self-Explainable and Domain Invariant GNNs
University of Trento（特伦托大学）
本文系统研究了GNN解释的忠实性，证明现有度量指标不可互换且优化忠实性对常规GNN不总是合理，并揭示忠实性与分布外泛化的紧密关联。
2025-04-10 cs.AI cs.LG
On the Impact of Temporal Concept Drift on Model Explanations
University of Sheffield（谢菲尔德大学）
自然语言处理中模型预测的解释忠实性通常在来自与训练数据相同的时间分布（即同步设置）的保持数据上进行评估。虽然模型性能通常由于时间变化（即时间概念漂移）而恶化，但目前尚不清楚当目标数据的时间跨度不同于用于训练模型的数据（即异步设置）时，解释忠实性如何受到影响。为此，我们研究了时间变化对模型解释的影响，这些模型解释是由八种特征归因方法和三种选择然后预测模型在六个文本分类任务中提取的。我们的实验表明，（i）在不同的特征归因方法中，忠诚度在时间变化下是不一致的（例如，它会根据方法的不同而减少或增加），基于注意力的方法在数据集上表现出最强大的忠诚度得分;（ii）选择然后预测模型在异步设置中大多是强大的，预测性能只有很小的下降。最后，特征归因方法在用于FRESH（即选择和预测模型）和用于测量充分性/全面性（即事后方法）时显示出冲突的行为，这表明我们需要更强大的指标来评估事后解释的忠实性。
2022-10-17 cs.AI cs.CL cs.LG
Training Large Language Models for Self-Explanation Faithfulness
Imperial College London（帝国理工学院）
提出强化学习方法，将忠实性度量改为训练目标，研究模型能否检测及优化影响决策因素以提高自解释忠实性。实验用随机词和用户偏差插入，微调模型在忠实性度量上显著改进，交叉干预泛化有模型依赖等情况，为减少不忠实推理提供路径。
2026-07-24 cs.AI cs.CL cs.LG
Comparing Explanation Methods for Traditional Machine Learning Models Part 2: Quantifying Model Explainability Faithfulness and Improvements with Dimensionality Reduction
Cooperative Institute for Severe and High-Impact Weather Research and Operations, University of Oklahoma（俄克拉荷马大学强天气与高影响天气合作研究所）；University of Oklahoma（俄克拉荷马大学）；NOAA/OAR/National Severe Storms Laboratory（美国国家海洋和大气管理局/海洋与大气研究办公室/国家强风暴实验室）；Verisk Analytics Incorporated（Verisk分析公司）；NSF AI Institute for Research on Trustworthy AI in Weather, Climate, and Coastal Oceanography（美国国家科学基金会天气、气候与沿海海洋学可信人工智能研究人工智能研究所）
机器学习（ML）模型在大气科学界越来越常见，具有广泛的应用。为了使用户能够理解ML模型已经学到了什么，ML可解释性已经成为一个活跃的研究领域。在这个两部分研究的第一部分中，我们描述了几种可解释性方法，并证明了不同方法的特征排名可能彼此不一致。然而，目前还不清楚这种分歧是否由于某些方法在分配重要性方面不那么忠实而被夸大了。在本文中，“忠实性”或“保真度”是指所分配的特征重要性与特征对模型性能的贡献之间的对应关系。在本研究中，我们使用多种方法来评估特征排序方法的可信度。考虑到解释方法对特征相关性的敏感性，我们还量化了相关特征受限后可解释性忠诚度的提高程度。在降维之前，特征相关性方法[例如，SHAP、LIME、ALE方差和逻辑回归（LR）系数]通常比排列重要性方法更忠实，这是由于相关特征的负面影响。当相关特征减少后，传统的排列重要性方法成为最可靠的方法。此外，排名不确定性（即，通过不同的排序方法分配给特征的排序的扩展）被减小了2-10倍，并且排除较不忠实的特征排序方法进一步减小了它。这项研究是第一个量化的改善，可解释性从限制相关的功能和了解不同的可解释性方法的相对保真度。
2022-11-18 cs.AI cs.LG physics.ao-ph
DeepFaith: A Domain-Free and Model-Agnostic Unified Framework for Highly Faithful Explanations
DeepFaith提出领域无关、模型无关的统一框架，通过统一保真度指标推导最优目标，结合多解释方法训练，单次前向传播生成高保真解释，在12个任务中超越基线。
2025-08-05 cs.AI cs.LG
Evaluating the overall sensitivity of saliency-based explanation methods
The University of British Columbia（不列颠哥伦比亚大学）
本文针对“黑盒”Deep Learning模型解释方法缺乏跨领域适用性和严谨方法论的问题，选择并扩展了一种模型无关的测试，通过设定阈值和标准来评估和比较解释方法的整体敏感性，并探讨了敏感性与忠实性的关系。
2023-06-21 cs.AI cs.LG
A Framework for Evaluating Faithfulness in Explainable AI for Machine Anomalous Sound Detection Using Frequency-Band Perturbation
本文提出了一种评估XAI在机器异常声音检测中忠实度的框架，通过频率带扰动方法评估不同XAI技术的可靠性，发现遮挡方法在模型敏感性上表现最佳。
2026-01-26 cs.LG cs.SD
Are self-explanations from Large Language Models faithful?
Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；Polytechnique Montréal（蒙特利尔理工学院）；McGill University（麦吉尔大学）；Facebook（脸书）
针对大语言模型自解释可能误导信任的问题，提出用自一致性检验衡量其可解释性忠实度，首次将该方法应用于三类自解释场景，发现忠实度随解释类型、模型和任务变化，自解释总体不可轻信。
2024-05-16 cs.AI cs.CL cs.LG
EXAGREE: Mitigating Explanation Disagreement with Stakeholder-Aligned Models
针对安全关键领域机器学习模型的解释冲突问题，提出EXAGREE两阶段框架，通过最大化统一忠实性与合理性的SMA指标选择SAEM模型，结合DMAN与单调可微分排序实现梯度搜索，实验证明其在多指标上优于基线且保持精度。
2025-11-17 cs.CY cs.LG stat.ML
Faithful or Just Plausible? Evaluating the Faithfulness of Closed-Source LLMs in Medical Reasoning
Stratified Precision；Harvard Medical School（哈佛医学院）；Imperial College London（帝国理工学院伦敦分校）；National Health Service（国家健康服务系统）；Ipsen France（Ipsen法国）；University College London（伦敦大学学院）
本文通过系统性黑盒评估，揭示闭源LLM在医学推理中的忠实性问题，发现链式推理步骤未必驱动预测，模型易受外部提示影响，强调忠实性比准确性更重要。
2026-03-14 cs.AI cs.LG
Towards Robust Interpretability with Self-Explaining Neural Networks
MIT（麻省理工学院）
最近关于复杂机器学习模型的可解释性的工作主要集中在估计围绕特定预测的先前训练模型的$\textit{a posteriori}$解释。可解释性在学习过程中已经起着关键作用的$\textit{Self-explaining}$模型受到的关注要少得多。我们提出了三个必要的解释一般-明确性，忠实性和稳定性-并表明，现有的方法不满足他们。作为回应，我们分阶段设计自我解释模型，逐步将线性分类器推广到复杂但架构明确的模型。忠实性和稳定性是通过专门为这些模型定制的正则化来实现的。在各种基准数据集上的实验结果表明，我们的框架为协调模型复杂性和可解释性提供了一个有希望的方向。
2018-12-03 cs.LG stat.ML
Diagnostics-Guided Explanation Generation
University of Copenhagen（哥本哈根大学）
解释阐明了机器学习模型的基本原理，并有助于识别其推理过程中的缺陷。解释生成模型通常在给定人类解释的情况下以监督的方式进行训练。当这样的注释不可用时，解释通常被选择为使下游任务的性能最大化的输入的那些部分，这对应于优化解释对给定模型的忠实性。忠实性是几个所谓的诊断属性之一，之前的工作已确定其对于在不需要注释的情况下衡量解释的质量很有用。其他诊断属性是数据一致性（Data Consistency）和置信度指示（Confidence Indication），数据一致性衡量相似输入实例的相似解释程度，置信度指示显示解释是否反映了模型的置信度。在这项工作中，我们展示了如何直接优化这些诊断属性时，训练一个模型，以生成高级解释，这显着提高了解释质量，与人类的基本原理，并在三个复杂的推理任务下游任务的性能。
2021-09-08 cs.LG
Faithful Explanations for Deep Graph Models
Carnegie Mellon University（卡内基梅隆大学）
本文研究了图神经网络（GNNs）的忠实解释。首先，我们提供了一个新的和一般的方法来正式表征GNN的解释的忠实性。它适用于现有的解释方法，包括特征属性和子图解释。其次，我们的分析和实证结果表明，特征属性的方法不能捕捉边缘特征的非线性效应，而现有的子图解释方法是不忠实的。第三，我们介绍了\emph{k-hop Explanation with a Convolutional Core}（KEC），一种新的解释方法，可证明最大限度地忠实于原来的GNN利用信息的图结构在其邻接矩阵和它的\emph{k-th}权力。最后，我们对使用GNN进行分类和异常检测任务的合成和真实数据集的实证结果证明了我们方法的有效性。
2022-05-24 cs.AI cs.LG
Explanation-based Training with Differentiable Insertion/Deletion Metric-aware Regularizers
Chiba Institute of Technology（千叶工业大学）；NTT Corporation（NTT公司）
针对机器学习解释忠实度提升问题，提出ID-ExpO方法，通过扩展不可微的插入/删除度量为可微形式并构建正则化器优化预测器，在保持准确率的同时让事后解释器生成更忠实易读的解释。
2024-03-11 cs.CV cs.LG stat.ML
Technical Note: Defining and Quantifying AND-OR Interactions for Faithful and Concise Explanation of DNNs
Shanghai Jiao Tong University（上海交通大学）
本文通过定义AND-OR交互并证明其唯一性，提出在保证忠实性的同时提升解释简洁性的技术，从而用符号化概念忠实且简洁地解释深度神经网络的推理逻辑。
2024-08-01 cs.AI cs.CV cs.LG
Evaluating the Causal Faithfulness of SHAP as a Candidate Attribution Method for SAE Features
Durham University（杜伦大学）
本研究以SST-2情感分类为测试平台，对比SHAP等归因方法与直接因果干预，发现方法间一致性不代表因果忠实性，且归因方法检测特征影响存在比缺失更可靠，提出需单独评估两类忠实性。
2026-10-14 cs.AI cs.CL cs.LG
Faithfulness Measurable Masked Language Models
Mila（米拉研究所）；Polytechnique Montreal（蒙特利尔理工学院）；McGill University（麦吉尔大学）
本文提出一种结合掩码的新型微调方法，使掩码token成为分布内数据，从而构建出可内在测量忠实度的模型，在16个数据集上验证了其通用性，并间接实现了内在可解释性。
2024-08-27 cs.CL cs.LG
Comparing interpretation methods in mental state decoding analyses with deep learning models
Stanford Data Science（斯坦福数据科学）；Stanford University（斯坦福大学）
深度学习（DL）模型在精神状态解码中的应用越来越多，研究人员试图了解精神状态之间的映射（例如，感知恐惧或喜悦）和大脑活动的方法来识别其活动允许准确识别（即，解码）这些状态。一旦DL模型被训练成准确解码一组心理状态，神经成像研究人员通常会利用可解释人工智能研究的解释方法来理解模型在心理状态和大脑活动之间的学习映射。在这里，我们比较突出的解释方法的解释性能在三个功能磁共振成像（fMRI）数据集的心理状态解码分析。我们的研究结果表明，在心理状态解码的解释的两个关键特征之间的梯度，即，其生物的可解释性和忠诚度：解释方法与高的解释忠诚度，捕捉模型的决策过程，一般提供的解释是生物学上不太合理的解释方法与解释忠诚度较低的解释。基于这一发现，我们提供了具体的建议，在心理状态解码的解释方法的应用。
2022-10-14 cs.LG q-bio.NC
Faithfulness as Information Flow: Evaluating and Training Faithful Chain-of-Thought Reasoning
Dept. CSE, Michigan State University（密歇根州立大学计算机科学系）；Anthropic
通过信息流视角提出基于充分性、完整性和必要性的框架，结合熵、掩码KL和梯度诊断评估链式思维忠实性，并引入更新时干预（如注意力掩码、反向梯度掩码等）训练更忠实的推理模型。
2026-05-22 cs.CL cs.LG
ICE: Intervention-Consistent Explanation Evaluation with Statistical Grounding for LLMs
Indian Institute of Information Technology, Allahabad（印度阿勒颇信息学院）；National Institute of Electronics and Information Technology（电子与信息技术国家研究院）
本文提出ICE框架，通过多干预操作比较解释与随机基线，发现解释一致性依赖于干预操作，且不同语言模型在不同任务上的表现存在显著差异，揭示了模型与语言之间的复杂交互。
2026-09-03 cs.AI cs.CL cs.LG
Do RUL explanations hold up? Faithfulness and stability of attributions on C-MAPSS
Phuong Hai JSC（芳海股份公司）；International College of Management Sydney（悉尼国际管理学院）；RMIT（RMIT大学）；FPT（FPT集团）
本研究评估C-MAPSS上三种RUL模型归因方法的忠实性与稳定性，发现积分梯度与遮挡更可靠，Transformer注意力仅宜作可视化，为工程决策提供解释方法选择依据。
2026-10-06 cs.LG
I Don't Miss You, but I Do: Self-Explanation Faithfulness of Modality Missingness in Vision-Language Models
ETH Zurich（苏黎世联邦理工学院）
本研究提出干预性协议评估视觉-语言模型对模态缺失的自解释，发现模型系统性高估可用证据充分性并低估恢复缺失模态的影响，建议以可执行干预作为行为真值。
2026-10-01 cs.CL cs.CV cs.LG
Information Bottleneck Learning for Faithful Time Series Forecasting Explanations
针对现有可解释时间序列预测器忠实性不足的问题，提出IB-Forecast框架，其通过分解预测分量与信息瓶颈优化，在保证预测精度的同时提供高忠实度解释，性能优于多种基线方法。
2026-07-31 cs.AI cs.LG
GInX-Eval: Towards In-Distribution Evaluation of Graph Neural Network Explanations
ETH Zurich（苏黎世联邦理工学院）；Yale University（耶鲁大学）
针对图神经网络解释评估中分布外问题导致忠实度指标失效的痛点，提出GInX-Eval评估框架，通过微调策略的GInX和EdgeRank得分实现分布内评估，发现多种主流解释方法效果不及随机边选择，结果跨数据集一致且符合人类认知。
2023-11-05 cs.AI cs.LG
Improving Interpretation Faithfulness for Vision Transformers
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Lehigh University（利哈伊大学）；University of Georgia（佐治亚大学）；Iowa State University（爱荷华州立大学）
本文针对视觉Transformer解释易受扰动影响的问题，提出去噪扩散平滑方法以构建忠实视觉Transformer，使其在保持注意力可解释性的同时提升对抗鲁棒性。
2024-05-03 cs.AI cs.CV cs.LG
Debiased-CAM to mitigate image perturbations with faithful visual explanations of machine learning
National University of Singapore（新加坡国立大学）；Institut de Robòtica i Informàtica Industrial, CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息技术研究所）
显着性图等模型解释可以通过突出显示预测的重要特征来提高用户对人工智能的信任。然而，当解释受到扰动和腐败的系统误差（偏差）的图像预测时，这些变得扭曲和误导。此外，尽管模型对受不同因素（模糊、色温、白天/夜晚）影响的图像进行了微调，但失真仍然存在。我们提出Debiased-CAM通过训练多输入，多任务模型，辅助任务的解释和偏见水平预测，以恢复各种偏见类型和水平的解释忠诚度。在模拟研究中，该方法不仅提高了预测精度，而且还生成了关于这些预测的高度可信的解释，就好像图像是无偏的一样。在用户研究中，去偏见的解释提高了用户的任务绩效，感知真实性和感知有用性。去偏训练可以为具有数据偏差的广泛应用提供一个多功能平台，以实现强大的性能和解释忠实性。
2022-03-29 cs.CV cs.CY cs.HC
Expected Grad-CAM: Towards gradient faithfulness
Halmstad University（哈尔姆斯塔德大学）
提出Expected Grad-CAM方法，通过Expected Gradients和kernel smoothing重塑梯度计算，解决梯度饱和与基线敏感性问题，构建更忠实鲁棒的局部解释。
2024-06-25 cs.CV cs.LG
A Dual-Perspective Approach to Evaluating Feature Attribution Methods
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；National University of Singapore（新加坡国立大学）；University of Oxford（牛津大学）
本文提出健全性与完备性两个新视角，在忠实性范式内通过可计算的定量指标评估特征归因方法，并应用于主流方法以提供新的比较分析框架。
2024-11-24 cs.AI cs.LG
Evaluating Large Language Models for Phishing Detection, Self-Consistency, Faithfulness, and Explainability
University of Texas at El Paso（德克萨斯理工大学）
本研究针对钓鱼检测中LLM预测准确性与解释可信自洽性的问题，微调BERT、Llama、Wizard等模型，用CC SHAP度量评估，发现Llama解释对齐度高但准确率低，Wizard则相反。
2025-06-16 cs.AI cs.CR cs.LG
Towards a Unified Framework for Evaluating Explanations
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文梳理机器学习与人机交互领域对可解释性的评估差异与重叠，提出构建统一评估框架，明确解释作为模型与利益相关者中介的作用及相关标准的关联，并以可解释神经网络预测学习者行为研究为例进行说明。
2024-07-14 cs.AI cs.LG
Evaluating and Aggregating Feature-based Model Explanations
University of Cambridge（剑桥大学）；Carnegie Mellon University（卡内基梅隆大学）；The Alan Turing Institute（艾伦·图灵研究所）
基于特征的模型解释表示每个输入特征对给定数据点的模型输出的贡献程度。随着建议的解释功能的数量增加，我们缺乏定量的评估标准，以帮助从业者知道什么时候使用哪个解释功能。本文提出了基于特征的解释的定量评价标准：低敏感度，高忠实度，低复杂度。我们设计了一个框架聚合解释功能。我们开发了一个程序，学习一个聚合的解释函数具有较低的复杂性，然后推导出一个新的聚合Shapley值解释函数，最大限度地减少敏感性。
2020-05-01 cs.AI cs.CY cs.LG
Can Large Language Models Still Explain Themselves? Investigating the Impact of Quantization on Self-Explanations
Quality and Usability Lab, Technische Universität Berlin（柏林技术大学质量与可用性实验室）；University of Copenhagen（哥本哈根大学）；Saarland Informatics Campus（萨尔州信息学校园）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Centre for European Research in Trusted AI (CERTAIN)（可信AI欧洲研究中心）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究院）
研究探讨量化对大语言模型自我解释质量及可信度的影响，发现量化会导致中等程度的下降，但不影响其作为压缩技术的有效性。
2026-08-27 cs.AI cs.CL cs.LG
Architecture-Aware Explanation Auditing for Industrial Visual Inspection
本文提出一种基于原生读出假设的架构感知解释审计协议，通过扰动实验证明解释方法的忠实度受其与模型原生决策机制的结构距离约束，并揭示忠实度排名是（模型、解释器、扰动算子）三元组的联合属性。
2026-05-23 cs.CV cs.LG
Measuring Faithfulness and Abstention: An Automated Pipeline for Evaluating LLM-Generated 3-ply Case-Based Legal Arguments
Intelligent Systems Program, University of Pittsburgh（匹兹堡大学智能系统项目）；School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
本文提出一种自动化流水线，通过外部LLM提取因子并与案件三元组比对，评估LLM生成三层法律论证时的忠实性、因子利用和弃权（不执行）能力，发现现有模型虽幻觉率低但因子利用不足且弃权表现差。
2025-06-03 cs.AI cs.CL cs.LG
Attribution Explanations for Deep Neural Networks: A Theoretical Perspective
School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）；School of Cyber Science and Engineering, Xi’an Jiaotong University（西安交通大学网络安全工程学院）；Department of Computer Science and Engineering, the John Hopcroft Center, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系、霍夫曼中心）；Department of Data Science, New Jersey Institute of Technology（新泽西理工学院数据科学系）
本文从理论视角系统回顾深度神经网络归因解释方法，针对其真实性挑战，重点梳理了理论统一、理论原理和理论评估三个关键方向，以深化理解、指导方法选择并启发新研究。
2025-08-11 cs.AI cs.LG
The Effect of Model Size on LLM Post-hoc Explainability via LIME
University College London（伦敦大学学院）
本文通过 LIME 分析四种规模 DeBERTaV3 在 NLI 与零样本分类上的事后解释，发现规模提升改善性能却不提升解释合理性，并揭示忠实度指标局限。
2024-05-08 cs.AI cs.CL cs.LG
Explanation-Guided Fair Federated Learning for Transparent 6G RAN Slicing
Iquadrat Informatica S.L.（伊夸德拉特信息有限公司）；Technical University of Catalonia (UPC)（加泰罗尼亚理工大学）；i2CAT Foundation（i2CAT基金会）；ATHENA/ISI（雅典娜信息系统研究所）；University of Patras（帕特雷大学）
本文提出解释引导联邦学习（EGFL-JS）方案，利用XAI解释和JS散度实现6G RAN切片中的透明公平预测，显著提升解释全面性和召回率。
2024-09-19 cs.LG cs.NI
