Faithfulness Evaluation for Decoder-only LLM Attributions with Controlled Retained Information
City University of Hong Kong（香港城市大学）
针对现有软扰动忠实性指标因保留词数不同导致评估偏差的问题，提出π-Soft-NC和π-Soft-NS框架，通过控制期望保留概率公平比较归因方法，并引入专用于自回归解码器LLM的梯度归因方法Grad-ELLM。
2026-05-26 cs.AI cs.CL cs.LG
Evaluating the Causal Faithfulness of SHAP as a Candidate Attribution Method for SAE Features
Durham University（杜伦大学）
本研究以SST-2情感分类为测试平台，对比SHAP等归因方法与直接因果干预，发现方法间一致性不代表因果忠实性，且归因方法检测特征影响存在比缺失更可靠，提出需单独评估两类忠实性。
2026-10-14 cs.AI cs.CL cs.LG
Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI
Johns Hopkins University（约翰斯·霍普金斯大学）；Meta AI Research（Meta人工智能研究院）
评估解释的可信性是出于信任、可解释性和诊断模型错误的原因。在这项工作中，它专注于NLI任务，我们介绍了通过反事实的忠实的方法，它首先生成一个反事实的假设的基础上的逻辑谓词表示的解释，然后评估模型的预测是否与反事实的表达逻辑一致（即，如果新的公式是\textit{logically satisfiable}）。与现有方法相比，这不需要对训练单独的验证模型进行任何解释。我们首先验证自动反事实假设生成的有效性，利用Few-Shot启动范式。接下来，我们表明，我们提出的度量区分人类模型的协议和新的反事实输入的分歧。此外，我们进行了敏感性分析，以验证我们的指标是敏感的不忠实的解释。
2022-05-25 cs.CL
Faithfulness-QA: A Counterfactual Entity Substitution Dataset for Training Context-Faithful RAG Models
College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）
本文提出Faithfulness-QA数据集，通过反事实实体替换生成可控的知识冲突，旨在训练上下文忠实的RAG模型并评估其上下文接地行为。
2026-04-29 cs.AI cs.CL
RFEval: Benchmarking Reasoning Faithfulness under Counterfactual Reasoning Intervention in Large Reasoning Models
AIDAS Laboratory（AIDAS实验室）；IPAI；ECE（电子工程系）；Seoul National University（首尔国立大学）
RFEval通过反事实推理干预评估大推理模型的推理忠实性，发现49.7%的输出不忠实，主要源于立场不一致，强调准确性不能作为忠实性的可靠代理。
2026-02-23 cs.AI cs.CL
Final Checkpoints Are Not Enough: Analyzing Latent Reasoning Faithfulness Along Training Trajectories
Tongji University（同济大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
研究潜在推理方法的忠实度问题，通过对输入和潜在推理步骤做特定编辑与补丁，追踪不同范式在训练检查点间忠实度演变，发现其受训练阶段和答案格式影响。
2026-11-05 cs.CL cs.LG
A Multilingual Perspective Towards the Evaluation of Attribution Methods in Natural Language Inference
Boğaziçi University（博阿齐奇大学）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Technion – Israel Institute of Technology（以色列理工学院）
针对归因方法评估偏重英语的问题，本文提出基于词对齐的跨语言忠实性评估策略，结合多种输出与聚合机制全面评估 NLI 归因方法，并构建带高亮解释的多语言 XNLI 数据集。
2023-06-05 cs.AI cs.CL
"Will You Find These Shortcuts?" A Protocol for Evaluating the Faithfulness of Input Salience Methods for Text Classification
Google Research（谷歌研究院）
特征属性将重要性分数分配给特征的输入显著性方法是丰富的，但是对于相同输入的相同模型可能产生令人惊讶的不同结果。虽然如果假设不同的重要性定义，预计会有差异，但大多数方法都声称提供忠实的属性，并指出与模型预测最相关的特征。现有的工作对忠诚度的评价是不确定的，并没有提供一个明确的答案，如何不同的方法进行比较。专注于文本分类和模型调试的情况下，我们的主要贡献是一个协议的忠实性评估，利用部分合成数据，以获得地面真相的特征重要性排名。根据协议，我们对BERT和LSTM模型的一系列数据集和快捷方式上的四个标准显着性方法类进行了深入分析，并证明了一些最流行的方法配置即使对于最简单的快捷方式也提供了较差的结果。我们建议遵循每个新任务和模型组合的协议，以找到识别快捷方式的最佳方法。
2022-11-09 cs.CL
An Empirical Study of Counterfactual Self-Explanations in LLMs
National Technical University of Athens（雅典国立技术大学）；Instituto de Telecomunicações（电信研究所）
本研究通过实证评估十个LLaMA-3和Qwen-2.5模型的反事实自我解释，发现模型规模是解释质量的关键，较大模型更忠实，但理由引导虽提高最小性和人类对齐，却未持续提升忠实性。
2026-09-16 cs.CL
Incorporating Attribution Importance for Improving Faithfulness Metrics
University of Sheffield（谢菲尔德大学）
针对现有忠实度指标硬擦除准则忽略单个token重要性的问题，提出按FA重要性比例随机掩码token向量的软擦除准则，实验证明其衍生的软指标更能准确偏好忠实的解释。
2023-05-17 cs.AI cs.CL cs.LG
Counterfactual Tests for Measuring Chain-of-Thought Faithfulness in Visual Language Models
Vienna University of Technology（维也纳技术大学）；University of Oxford（牛津大学）；Imperial College London（伦敦帝国学院）；University College London（伦敦大学学院）
本研究将反事实测试适配至视觉输入，提出vCT和vCCT，评估八个视觉语言模型的思维链忠实性，发现其不可靠，并发布两个单对象差异数据集。
2026-09-09 cs.AI cs.CL cs.CV
Evaluating Human Alignment and Model Faithfulness of LLM Rationale
University of California, Los Angeles（加州大学洛杉矶分校）；Google（谷歌公司）
本文系统比较了基于提示和基于归因的LLM理由生成方法，发现提示式自我解释在人类对齐性和模型忠实度上均不如归因式解释，并指出微调对两类方法影响不同，早期忠实度结论不确定可能源于分类准确率较低。
2024-10-22 cs.AI cs.CL
Faithfulness Tests for Natural Language Explanations
University of Copenhagen（哥本哈根大学）；University College London（伦敦大学学院）；TU Wien（维也纳工业大学）；University of Oxford（牛津大学）
针对自然语言解释（NLEs）的忠实性评估问题，提出反事实输入编辑器和输入重构两项测试方法，为开发忠实NLE模型提供基础工具。
2023-06-30 cs.AI cs.CL
Not All Explanations Simulate Equally: Comparing Verbalized Feature Attributions and Self-Generated Rationales
Faculty of Computer Science, University of Vienna（维也纳大学计算机科学系）；UniVie Doctoral School Computer Science, University of Vienna（维也纳大学计算机科学博士学院）；Faculty of Philological and Cultural Studies, University of Vienna（维也纳大学文学与文化研究系）
本研究通过反事实模拟设置，比较了言语化特征归因和自生成理由两种解释来源对问答模型行为可模拟性的影响，发现解释格式和粒度显著影响模拟效果。
2026-05-31 cs.CL
RSAT: Structured Attribution Makes Small Language Models Faithful Table Reasoners
Department of Computer Science, The George Washington University, USA（计算机科学系，乔治·华盛顿大学，美国）
RSAT通过结构化归因提升小型语言模型的表格推理可信度，采用SFT和GRPO阶段训练，显著提高推理忠实度并确保引用有效性。
2026-05-07 cs.AI cs.CL cs.IR
Beyond Model Interpretability: On the Faithfulness and Adversarial Robustness of Contrastive Textual Explanations
American University of Beirut（贝鲁特美国大学）
对比解释方法超越了透明度，并解决了解释的对比方面。这样的解释正在成为一个有吸引力的选择，以提供可操作的变化的情况下，分类器的决定产生不利影响。然而，它们对文本数据的扩展还没有得到充分的探索，并且很少有人对它们的脆弱性和局限性进行调查。这项工作的动机文本的反事实奠定了基础，一个新的评价方案的启发，忠实的解释。因此，我们扩展计算的三个指标，接近性，连通性和稳定性，文本数据和我们的基准两个成功的对比方法，多汁和MiCE，我们建议的指标。在情感分析数据上的实验表明，在两种模型中，反事实与其原始对应物的连通性都不明显。更有趣的是，生成的对比文本更容易与POLYJUICE，突出了潜在表征在反事实搜索的重要性。最后，我们对文本追索方法进行了第一次语义对抗攻击。结果表明，POLYJUICE的鲁棒性和潜在的输入表示在鲁棒性和可靠性中发挥的作用。
2022-10-17 cs.AI cs.CL cs.HC
Evidence Contextualization and Counterfactual Attribution for Conversational QA over Heterogeneous Data with RAG Systems
Fraunhofer IIS（弗劳恩霍夫应用研究促进协会 IIS）；Audio and Media Technologies（音频与媒体技术）
针对RAG系统检索缺乏上下文及归因非因果的问题，提出RAGONITE系统，通过证据上下文化与反事实归因提升性能，并发布ConfQuestions基准验证有效性。
2024-12-23 cs.CL cs.IR
Contrastive Error Attribution for Finetuned Language Models
Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
本文提出一种基于对比的错误归因方法，通过比较不良生成与人工校正输出来识别低质量训练数据，并在 NYT 和 E2E 数据集上显著减少幻觉和语义错误。
2023-07-11 cs.CL
Context-faithful Prompting for Large Language Models
University of Southern California（南加州大学）；Microsoft Research（微软研究院）
本文研究如何通过基于观点的提示和反事实演示两种无需额外训练的提示策略，提升大型语言模型在知识冲突和带弃权预测场景下的上下文忠实度，并在机器阅读理解和关系抽取任务上验证了其有效性。
2023-10-23 cs.CL
On the Impact of Temporal Concept Drift on Model Explanations
University of Sheffield（谢菲尔德大学）
自然语言处理中模型预测的解释忠实性通常在来自与训练数据相同的时间分布（即同步设置）的保持数据上进行评估。虽然模型性能通常由于时间变化（即时间概念漂移）而恶化，但目前尚不清楚当目标数据的时间跨度不同于用于训练模型的数据（即异步设置）时，解释忠实性如何受到影响。为此，我们研究了时间变化对模型解释的影响，这些模型解释是由八种特征归因方法和三种选择然后预测模型在六个文本分类任务中提取的。我们的实验表明，（i）在不同的特征归因方法中，忠诚度在时间变化下是不一致的（例如，它会根据方法的不同而减少或增加），基于注意力的方法在数据集上表现出最强大的忠诚度得分;（ii）选择然后预测模型在异步设置中大多是强大的，预测性能只有很小的下降。最后，特征归因方法在用于FRESH（即选择和预测模型）和用于测量充分性/全面性（即事后方法）时显示出冲突的行为，这表明我们需要更强大的指标来评估事后解释的忠实性。
2022-10-17 cs.AI cs.CL cs.LG
The Probabilities Also Matter: A More Faithful Metric for Faithfulness of Free-Text Explanations in Large Language Models
Google DeepMind（谷歌DeepMind）；University College London（伦敦大学学院）
本文提出相关解释忠实性指标CEF及相关反事实测试CCT，通过考虑预测标签分布的总偏移而非仅二元变化，更准确地度量大型语言模型自由文本解释的忠实性，并在Llama2模型上验证其能捕捉CT遗漏的忠实性方面。
2024-06-07 cs.AI cs.CL
Hallucination Augmented Recitations for Language Models
Center for Information and Language Processing, LMU Munich（慕尼黑大学语言与信息处理中心）；Munich Center of Machine Learning（慕尼黑机器学习中心）；Google Research（谷歌研究院）
提出幻觉增强复述（HAR）方法，利用LLM幻觉生成反事实数据集以增强开放书问答的归因能力，实验显示F1最高提升8.0%，且在小模型和小数据集上仍优于人类标注数据。
2023-11-13 cs.AI cs.CL
Layer-wise Target Propagation: Efficient Component Attribution through Target Centric Propagation
School of Computer Science and Engineering, Kyungpook National University（韩国庆北国立大学计算机科学与工程学院）
本文提出双路径归因方法，通过单次前向和反向传播高效追踪Transformer内部信息流，实现高保真度和高效性，适用于长序列和密集组件归因。
2026-09-28 cs.CL cs.LG
What Really Counts? Examining Step and Token Level Attribution in Multilingual CoT Reasoning
University of Groningen（格罗宁根大学）
本研究通过对比多语言Co-T推理中步骤和令牌级归因方法，揭示了归因分数的偏差及结构化提示对高资源语言准确性的影响，强调了多语言鲁棒性和解释透明性的挑战。
2025-11-19 cs.CL
Towards Faithful Natural Language Explanations: A Study Using Activation Patching in Large Language Models
Nanyang Technological University（南洋理工大学）；Institute of High Performance Computing (IHPC)（高性能计算研究所）
本研究针对现有大语言模型自然语言解释忠实度衡量方法的缺陷，提出基于激活修补技术的因果忠实度指标，经多规模模型实验验证其更可靠，且对齐微调模型的解释更忠实。
2024-11-01 cs.CL
Benchmarking Faithfulness: Towards Accurate Natural Language Explanations in Vision-Language Tasks
Universität Hamburg（汉堡大学）
本文针对视觉-语言任务中自然语言解释的忠实性评估问题，提出归因相似度、NLE充分性和NLE完备性三个指标，并在VQA-X和e-SNLI-VE数据集上验证其有效性，为深入分析解释生成过程提供了新工具。
2023-04-03 cs.AI cs.CL cs.CV
LIBERTy: A Causal Framework for Benchmarking Concept-Based Explanations of LLMs with Structural Counterfactuals
Technion – Israel Institute of Technology（以色列理工学院）
LIBERTy提出了一种基于因果框架的基准测试框架，通过结构反事实评估LLM基于概念的解释，改进了可解释性方法的可信度。
2026-01-18 cs.AI cs.CL
Double Trouble: How to not explain a text classifier's decisions using counterfactuals synthesized by masked language models?
Auburn University（奥本大学）；Adobe Research（Adobe研究院）
几十种归因方法背后的一个原则是将输入特征（这里是标记）被删除前后的预测差异作为其归因。流行的输入边缘化（IM）方法（Kim等人，2020）使用BERT来替换令牌，产生更合理的反事实。虽然Kim等人（2020）报告IM是有效的，但我们发现这一结论并不令人信服，因为他们论文中使用的DeletionBERT指标偏向于IM。重要的是，这种偏见存在于基于删除的指标中，包括插入，充分性和全面性。此外，我们使用6个指标和3个数据集进行的严格评估发现，没有证据表明IM优于留一法（LOO）基线。我们发现了IM不如LOO的两个原因：（1）从输入中删除一个单词只会略微降低分类器的准确性;（2）高度可预测的单词总是被赋予接近零的属性，而不管它对分类器的真正重要性。相比之下，通过BERT使LIME样本更自然，在几个ROAR指标下一致地提高了LIME准确性。
2022-10-10 cs.AI cs.CL
FitCF: A Framework for Automatic Feature Importance-guided Counterfactual Example Generation
Quality and Usability Lab, Technische Universität Berlin（柏林技术大学质量与可用性实验室）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Deutsche Telekom（德国电信）；Saarland Informatics Campus（萨尔州信息学校区）；Centre for European Research in Trusted AI (CERTAIN)（可信人工智能欧洲研究中心）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究院）
本文提出FitCF框架，通过ZeroCF在零样本下利用特征归因重要词生成反事实样本，经标签翻转验证后作为少样本提示演示，提升了样本质量并揭示了特征归因忠实性与反事实样本质量的强相关性。
2025-05-28 cs.CL cs.LG
Verbosity Tradeoffs and the Impact of Scale on the Faithfulness of LLM Self-Explanations
Google DeepMind（谷歌DeepMind）；Centre for AI, University College London（伦敦大学学院人工智能中心）；Imperial College London（伦敦帝国学院）；University College London（伦敦大学学院）
本文分析13个模型家族共75个模型的反事实忠实度，提出phi-CCT和F-AUROC两个新指标，发现更大更强的模型在所有指标上更忠实。
2026-07-02 cs.AI cs.CL
Explaining Pre-Trained Language Models with Attribution Scores: An Analysis in Low-Resource Settings
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Stuttgart（斯图加特大学）；Hochschule der Medien（媒体大学）；Technical University of Darmstadt（达姆施塔特工业大学）
本研究针对低资源场景下基于提示的模型归因分数质量未被探究的问题，纳入训练规模维度对比提示范式、微调模型及大语言模型的归因质量，发现低资源下提示范式解释更合理，沙普利值采样表现优于注意力和积分梯度。
2024-03-08 cs.CL
Faithfulness to Refusal: A Causal Audit of Neuron Selectors
Lexsi Labs（Lexsi实验室）
针对归因分数识别神经元行的因果有效性未经验证的问题，通过单次神经元行置零的配对审计，验证归因方法在识别冗余行、实现安全拒绝行为上的因果有效性，揭示排序稳定性不能代表因果有效性。
2026-07-07 cs.CL cs.ET cs.LG
Cited but Not Consulted: A Counterfactual Audit of Legal Chain-of-Thought Faithfulness
Lexsi Labs（雷克西实验室）
该研究通过反事实审计发现，大型语言模型提及法律权威的表现与其判决随权威变化的一致性存在巨大差距，专用模型也无法缩小差距，且模型易受对抗性操纵，这对法律AI的应用具有重要意义。
2026-10-09 cs.AI cs.CL cs.CY
Evaluating Reasoning Faithfulness in Medical Vision-Language Models using Multimodal Perturbations
Technical University of Munich (TUM)（慕尼黑技术大学）；TUM University Hospital（慕尼黑技术大学医院）；German Heart Center TUM University Hospital（慕尼黑技术大学医院德国心脏中心）；Department of Radiology（放射科）；Klinikum rechts der Isar TUM University Hospital（慕尼黑技术大学医院右岸诊所）；Uniklinik RWTH Aachen（亚琛工业大学医院）；HOPPR IL USA（HOPPR美国）；University of Oxford（牛津大学）；Imperial College London（伦敦帝国学院）
本文提出基于胸部X光VQA的多模态扰动框架，从临床保真度、因果归因和置信度校准三个维度评估VLM的CoT推理忠实性，发现答案准确性与解释质量可能脱钩，专有模型在归因和保真度上优于开源模型。
2025-11-09 cs.CL cs.CV
Comparing Explanation Faithfulness between Multilingual and Monolingual Fine-tuned Language Models
University of Sheffield（谢菲尔德大学）
本研究比较多语言与单语言微调语言模型的特征归因忠实度，发现多语言模型越大忠实度越低，差异可能源于分词器差异。
2024-03-19 cs.AI cs.CL
Explaining the Reasoning of Large Language Models Using Attribution Graphs
University of Florida（佛罗里达大学）
CAGE框架通过归因图解释大语言模型的推理过程，提升上下文归因的准确性。
2025-12-17 cs.AI cs.CL
Behind the [MASK]: Disentangling Representation and Faithfulness in DAPF-Based Dementia Detection
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
该研究针对基于提示微调的领域自适应模型（DAPF）框架，探究其在痴呆检测任务中的表征优势与标记级解释忠实性不匹配的问题，为痴呆筛查模型的可解释性优化提供了依据。
2026-08-27 cs.CL cs.LG
A Causal Lens for Evaluating Faithfulness Metrics
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出因果诊断性框架，用于评估自然语言解释的忠实度度量，通过生成忠实-不忠实解释对，发现Filler Tokens在多任务中表现最佳，连续度量更优但易受噪声影响。
2025-12-24 cs.AI cs.CL cs.LG
Are self-explanations from Large Language Models faithful?
Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；Polytechnique Montréal（蒙特利尔理工学院）；McGill University（麦吉尔大学）；Facebook（脸书）
针对大语言模型自解释可能误导信任的问题，提出用自一致性检验衡量其可解释性忠实度，首次将该方法应用于三类自解释场景，发现忠实度随解释类型、模型和任务变化，自解释总体不可轻信。
2024-05-16 cs.AI cs.CL cs.LG
Hessian-Enhanced Token Attribution (HETA): Interpreting Autoregressive LLMs
Department of Computer & Information Science & Engineering, University of Florida（佛罗里达大学计算机与信息科学与工程系）；School of Computer Science, University of Oklahoma（俄克拉荷马大学计算机科学学院）；Department of Electrical Engineering and Computer Science, United States Military Academy（美国军事学院电子工程与计算机科学系）
HETA提出了一种针对解码器-only语言模型的新型解释框架，结合语义过渡向量、Hessian敏感度评分和KL散度，提升上下文感知和因果解释能力，通过基准数据集验证其在生成任务中的优越性。
2026-04-14 cs.AI cs.CL
Measuring Social Bias in Vision-Language Models with Face-Only Counterfactuals from Real Photos
School of Intelligence Science and Engineering, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）智能科学与工程学院）；School of Information Science and Engineering, Ningbo University（宁波大学信息科学与工程学院）；School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学与技术学院）
本文提出通过真实照片生成面部-only反事实来评估视觉语言模型中的社会偏见，构建了FOCUS数据集和REFLECT基准，发现严格视觉控制下仍存在种族性别差异，强调了反事实审计和任务设计的重要性。
2026-04-20 cs.AI cs.CL cs.CV
JoPA:Explaining Large Language Model's Generation via Joint Prompt Attribution
Pennsylvania State University（宾夕法尼亚州立大学）
本文提出基于联合提示归因的反事实解释框架JoPA，通过组合优化和概率算法搜索因果输入组合，揭示输入提示如何协同影响LLM的完整生成，并验证了其忠实性与效率。
2025-09-16 cs.CL cs.LG
Logic Traps in Evaluating Attribution Scores
Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
现代深度学习模型是出了名的不透明，这促使人们开发了解释深度模型预测效果的方法。这一目标通常通过归因方法来实现，该方法评估特征对模型预测的影响。作为一种解释方法，归因方法的评价标准是它在多大程度上准确地反映了模型的实际推理过程（忠实性）。同时，由于深度模型的推理过程是不可访问的，研究人员设计了各种评估方法来证明他们的论点。然而，这些评价方法中的一些关键逻辑陷阱在大多数作品中被忽视，导致不准确的评价和不公平的比较。本文系统地回顾了现有的归因得分评估方法，并总结了这些方法中存在的逻辑陷阱。我们进一步进行实验来证明每个逻辑陷阱的存在。通过理论和实验分析，希望引起对归因分数不准确评价的关注。此外，在本文中，我们建议停止关注在不可靠的评估系统下提高性能，并开始努力减少拟议逻辑陷阱的影响
2023-03-04 cs.AI cs.CL cs.LG
Walk the Talk? Measuring the Faithfulness of Large Language Model Explanations
MIT（麻省理工学院）；Microsoft Research（微软研究院）
针对大语言模型解释可能不忠实的问题，提出基于概念差异的忠实度定义，结合辅助LLM生成反事实与贝叶斯层次模型的估算方法，可量化并发现不忠实模式。
2025-05-20 cs.AI cs.CL cs.LG
