When Do Explanations Help In-Context Learning? A Comparative Study of Natural Language Explanation Types and Faithfulness
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Imperial College London（伦敦帝国学院）；Technical University of Munich（慕尼黑工业大学）；MaiNLP lab, CIS, LMU Munich（慕尼黑大学CIS研究所MaiNLP实验室）
该研究通过在6个基准和4个指令调优模型上的比较评估，探究不同来源与选择方式的自然语言解释对上下文学习下游性能的影响，为实际提示流程中解释的选择和报告提供了见解。
2026-08-18 cs.AI cs.CL
Verbosity Tradeoffs and the Impact of Scale on the Faithfulness of LLM Self-Explanations
Google DeepMind（谷歌DeepMind）；Centre for AI, University College London（伦敦大学学院人工智能中心）；Imperial College London（伦敦帝国学院）；University College London（伦敦大学学院）
本文分析13个模型家族共75个模型的反事实忠实度，提出phi-CCT和F-AUROC两个新指标，发现更大更强的模型在所有指标上更忠实。
2026-07-02 cs.AI cs.CL
FaithLens: Detecting and Explaining Faithfulness Hallucination
Tsinghua University（清华大学）；DeepLang AI；Fudan University（复旦大学）；University of Illinois Urbana-Champaign（伊利诺伊大学香槟分校）；Peking University（北京大学）
本文提出FaithLens模型，通过合成训练数据和规则强化学习，有效检测并解释大语言模型中的忠实性幻觉，优于GPT-5.2和o3模型，提升可信度与效率。
2026-04-21 cs.AI cs.CL
Do Chess Explanations Reflect Model Decisions? Behavioral and Token-Level Tests of LLM Reasoning Faithfulness
Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）；Technical University of Munich（慕尼黑工业大学）
本研究通过行为与词元级测试，证明LLM在国际象棋中的流畅解释虽能影响动作偏好，但仅提供有限的推理忠实度证据，语言合理性与决策正确性相互独立。
2026-09-22 cs.AI cs.CL
Evaluating Human Alignment and Model Faithfulness of LLM Rationale
University of California, Los Angeles（加州大学洛杉矶分校）；Google（谷歌公司）
本文系统比较了基于提示和基于归因的LLM理由生成方法，发现提示式自我解释在人类对齐性和模型忠实度上均不如归因式解释，并指出微调对两类方法影响不同，早期忠实度结论不确定可能源于分类准确率较低。
2024-10-22 cs.AI cs.CL
FaithLM: Towards Faithful Explanations for Large Language Models
Rice University（里士大学）；Texas A&M University（德克萨斯农工大学）；Wake Forest University（沃杰森林大学）；New Jersey Institute of Technology（新泽西理工学院）；John Hopkins University（约翰霍普金斯大学）；Google Research（谷歌研究）；Meta Platforms, Inc.（元宇宙平台公司）
FaithLM通过干预属性评估并迭代优化大语言模型的解释忠实性，在多个数据集上显著提升解释与人类理据的一致性。
2025-10-27 cs.AI cs.CL cs.LG
On Measuring Faithfulness or Self-consistency of Natural Language Explanations
Heidelberg University（海德堡大学）
本文指出现有LLM解释忠实性测试实际衡量输出自洽性，提出细粒度度量CC-SHAP并构建比较一致性库，以更接近模型内部的方式推进忠实性衡量。
2024-09-18 cs.AI cs.CL cs.LG
Walk the Talk? Measuring the Faithfulness of Large Language Model Explanations
MIT（麻省理工学院）；Microsoft Research（微软研究院）
针对大语言模型解释可能不忠实的问题，提出基于概念差异的忠实度定义，结合辅助LLM生成反事实与贝叶斯层次模型的估算方法，可量化并发现不忠实模式。
2025-05-20 cs.AI cs.CL cs.LG
Training Large Language Models for Self-Explanation Faithfulness
Imperial College London（帝国理工学院）
提出强化学习方法，将忠实性度量改为训练目标，研究模型能否检测及优化影响决策因素以提高自解释忠实性。实验用随机词和用户偏差插入，微调模型在忠实性度量上显著改进，交叉干预泛化有模型依赖等情况，为减少不忠实推理提供路径。
2026-07-24 cs.AI cs.CL cs.LG
Explanation-Driven Counterfactual Testing for Faithfulness in Vision-Language Model Explanations
Mercedes-Benz Research & Development North America（梅赛德斯-奔驰研究与开发北美）
针对视觉-语言模型自然语言解释合理性与忠实性不匹配的问题，提出全自动化的解释驱动反事实测试方法，通过解析解释、生成反事实编辑、计算反事实一致性得分，验证解释的因果忠实性并提供合规审计依据。
2025-09-27 cs.AI cs.CV
A Causal Lens for Evaluating Faithfulness Metrics
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出因果诊断性框架，用于评估自然语言解释的忠实度度量，通过生成忠实-不忠实解释对，发现Filler Tokens在多任务中表现最佳，连续度量更优但易受噪声影响。
2025-12-24 cs.AI cs.CL cs.LG
EDCT-Bench: Uncovering Faithfulness Gaps in VLMs via Explanation-Driven Counterfactual Testing
Mercedes-Benz Research & Development North America（梅赛德斯-奔驰北美研发中心）
提出EDCT协议与EDCT-Bench基准，通过反事实测试揭示VLM解释与视觉证据的忠实性差距，并证明其生成数据对微调有高价值。
2026-09-17 cs.AI cs.CV
Towards Faithful Knowledge Graph Explanation Through Deep Alignment in Commonsense Question Answering
针对常识问答中知识图谱解释不忠实的问题，提出LM-KG保真度指标和LKDA对齐算法，在CommonsenseQA和OpenBookQA上显著提升解释保真度与模型性能。
2024-09-20 cs.AI cs.CL
Are self-explanations from Large Language Models faithful?
Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；Polytechnique Montréal（蒙特利尔理工学院）；McGill University（麦吉尔大学）；Facebook（脸书）
针对大语言模型自解释可能误导信任的问题，提出用自一致性检验衡量其可解释性忠实度，首次将该方法应用于三类自解释场景，发现忠实度随解释类型、模型和任务变化，自解释总体不可轻信。
2024-05-16 cs.AI cs.CL cs.LG
A Positive Case for Faithfulness: LLM Self-Explanations Help Predict Model Behavior
University of Oxford（牛津大学）；University of California, Berkeley（加州大学伯克利分校）；University College London（伦敦大学学院）；Google DeepMind（谷歌DeepMind）
本文提出NSG度量标准，证明LLM自我解释能提升模型行为预测能力，且比外部生成解释更具预测价值，揭示了自我解释在AI监督中的积极作用。
2026-10-08 cs.AI cs.LG
Evaluating Readability and Faithfulness of Concept-based Explanations
Renmin University of China（中国人民大学）；University of Science and Technology of China（中国科学技术大学）；Kuaishou Technology（快手科技）
针对基于概念的大语言模型解释缺乏统一评估框架的问题，提出概念形式化定义，通过扰动量化忠实性、用自动确定性指标衡量可读性，并基于测量理论设计可推广的元评估方法，经实验为指标选择提供依据。
2024-10-04 cs.AI cs.HC
TimeLitmus: A Diagnostic Benchmark for Cross-Modal Understanding and Explanation Faithfulness in Event-Conditioned Time-Series Prediction
Wuhan University（武汉大学）；Nanjing Audit University（南京审计大学）；The University of Manchester（曼彻斯特大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；McGill University（麦吉尔大学）；Shanghai Jiao Tong University（上海交通大学）
TimeLitmus是一个诊断基准，通过4,856条记录和反事实干预测试，揭示LLM在事件条件时间序列预测中跨模态理解与解释忠实性的不足，并证明人类优于模型。
2026-09-22 cs.AI
Causally Grounded Mechanistic Interpretability for LLMs with Faithful Natural-Language Explanations
本文提出一种基于因果机制的LLM解释方法，通过识别因果重要的注意力头并生成自然语言解释，提高了模型解释的准确性和全面性。
2026-02-13 cs.AI cs.CL
University of Oxford（牛津大学）；University of Warmia and Mazury in Olsztyn（奥尔什丁瓦尔米亚-马祖里大学）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
2021-05-14 cs.AI cs.CL
ICE: Intervention-Consistent Explanation Evaluation with Statistical Grounding for LLMs
Indian Institute of Information Technology, Allahabad（印度阿勒颇信息学院）；National Institute of Electronics and Information Technology（电子与信息技术国家研究院）
本文提出ICE框架，通过多干预操作比较解释与随机基线，发现解释一致性依赖于干预操作，且不同语言模型在不同任务上的表现存在显著差异，揭示了模型与语言之间的复杂交互。
2026-09-03 cs.AI cs.CL cs.LG
Explainability in Practice: A Survey of Explainable NLP Across Various Domains
Department of Methodology and Statistics, Utrecht University, The Netherlands（方法论与统计学系，乌得勒支大学，荷兰）
本综述针对实际部署的可解释NLP，覆盖7个应用领域，提出两级评估协议，探讨研究缺口并给出未来方向，为跨领域XNLP实践提供参考。
2026-08-13 cs.AI cs.CL
Faithful Explanations of Black-box NLP Models Using LLM-generated Counterfactuals
Columbia University（哥伦比亚大学）；Technion, IIT（以色列理工学院）；Microsoft Research（微软研究院）
本文提出两种模型无关的反事实近似方法（CF生成与基于LLM引导的匹配方法），用于对黑盒NLP模型进行忠实解释，实验证明其优于多种基线且能降低计算成本。
2023-11-22 cs.AI cs.CL
Faithfulness and the Notion of Adversarial Sensitivity in NLP Explanations
SRM University AP（SRM大学AP分校）
针对自然语言处理解释忠实性评估方法存在差异和偏差的问题，提出对抗敏感性新方法，通过捕捉解释器对模型对抗攻击下输入变化的响应评估忠实性，解决现有技术局限并从新范式量化该指标。
2024-10-09 cs.AI cs.CL
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
2021-06-23 cs.AI cs.CL
