Interpretable feature subset selection: A Shapley value based approach
IIT Bombay（印度理工学院孟买分校）
对于特征选择和相关问题，我们介绍了分类游戏的概念，一个合作的游戏，与功能作为球员和铰链损失为基础的特征函数和相关的功能的贡献Shapley值为基础的错误分配（SVEA）的总训练错误。我们的主要贡献是（$\star$）表明，对于任何数据集，SVEA值的阈值0识别其标签预测的联合相互作用显着的特征子集，或者跨越数据主要位于的子空间的特征。此外，我们的计划（$\star$）识别贝叶斯分类器不依赖但任何基于代理损失函数的有限样本分类器依赖的特征;这导致了这种分类器的过量$0$ - $1$风险，（$\star$）估计特征的未知真实铰链风险，和（$\star$）通过设计分类对策核心的模拟，将分配的稳定性与负值SVEA联系起来。由于Shapley值的计算昂贵的性质，我们建立在一个已知的基于蒙特卡罗的近似算法，计算特征函数（线性规划），只有在需要的时候。我们通过提供从多个子样本中获得的SVEA值的区间估计来解决特征选择中潜在的样本偏差问题。我们在各种合成和真实数据集上说明了上述所有方面，并表明我们的方案在大多数情况下比现有的递归特征消除技术和ReliefF取得了更好的结果。我们的理论上接地分类游戏定义良好的特征函数提供了可解释性（我们正式的最终任务）和我们的框架的可解释性，包括识别的重要功能。
2021-04-25 cs.LG stat.ML
All Leaks Count, Some Count More: Interpretable Temporal Contamination Detection and Mitigation in LLM Backtesting
Department of Statistics and Data Science, Northwestern University（统计与数据科学系，西北大学）；Bridgewater AIA Labs（布里奇沃特AIA实验室）
提出基于Shapley值的声明级评估框架Shapley-DCLR和推理时架构TimeSPEC，用于检测和缓解LLM回测中的时间污染问题。
2026-05-25 cs.AI cs.LG
SHED: Shapley-Based Automated Dataset Refinement for Instruction Fine-Tuning
University of Maryland（马里兰大学）；Clemson University（克莱姆森大学）；Rutgers University（罗格斯大学）
针对指令微调数据冗余问题，提出无需人工与商用LLM的基于沙普利值的自动化数据集精炼框架SHED，其选出的10%数据性能可比肩甚至超越全量数据，且具备跨模型迁移性。
2024-10-30 cs.CL cs.LG
CoopQ: Cooperative Game Inspired Layerwise Mixed Precision Quantization for LLMs
CoopQ通过合作博弈理论优化层间交互，实现低比特精度下的大语言模型高效混合量化，显著降低困惑度。
2025-12-12 cs.LG
Who will dropout from university? Academic risk prediction based on interpretable machine learning
Dalian University of Technology（大连理工大学）
在院校研究模式下，为了从高维、不平衡分类的小样本学生行为数据集中探索哪些特征是预测学业风险的最佳指标，将大学生学业风险预测转化为二元分类任务。它基于LightGBM模型和Shapley值的可解释机器学习方法来预测学术风险。仿真结果表明，从预测模型的全局视角来看，学业伙伴质量、教室座位、宿舍学习氛围、高考英语成绩、学业伙伴数量、电子游戏成瘾程度、学业伙伴流动性和逃学程度等8个特征是学业风险的最佳预测因子。与直觉相反，在本实验中，是否住校、勤工俭学、是否涂口红、是否当学生干部、情人数量、吸烟等特征与大学学业风险的相关性很小。从样本的局部来看，影响学业风险的因素因人而异。它可以通过Shapley值进行个性化的可解释性分析，这是传统的数学统计预测模型无法做到的。本研究的学术贡献主要体现在两个方面：第一，首次提出了学习互动网络，使社会行为可以用来弥补个体行为的片面性，提高学业风险预测的绩效。二是Shapley值计算的引入，使缺乏清晰推理过程的机器学习可视化，为教育管理者提供直观的决策支持。
2021-12-02 cs.LG stat.ML
TokenShapley: Token Level Context Attribution with Shapley Value
TikTok Inc.（字节跳动公司）；Princeton University（普林斯顿大学）
针对LLM响应中关键词级归因难题，提出TokenShapley方法，融合Shapley值数据归因与KNN检索，在四个基准上实现11%-23%的准确率提升。
2025-07-09 cs.CL cs.LG
Explaining Large Language Models Decisions Using Shapley Values
Carnegie Mellon University（卡内基梅隆大学）
本文提出基于合作博弈论 Shapley 值的模型无关方法，量化提示词各组件对 LLM 输出的贡献，揭示了 LLM 决策受低信息量 token 过度影响的“token 噪声”效应，为优化提示词和减轻认知偏差提供工具。
2024-11-12 cs.AI cs.CL cs.LG
Prompt Valuation Based on Shapley Values
Zhejiang University（浙江大学）
本文利用Shapley值公平量化提示词贡献，识别有益或有害提示词，并指导数据市场中的估值，实验验证了其有效性。
2024-12-16 cs.CL cs.DB cs.LG
From Explainability to Interpretability: Interpretable Policies in Reinforcement Learning Via Model Explanation
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
针对现有可解释强化学习方法仅能提供局部洞察、无法全局理解模型的问题，研究提出基于Shapley值的模型无关方法，可适配异策略与同策略算法，在保留原模型性能的同时生成更稳定的可理解策略。
2025-01-16 cs.AI cs.LG cs.SY
Collective eXplainable AI: Explaining Cooperative Strategies and Agent Contribution in Multiagent Reinforcement Learning with Shapley Values
Université Paris-Saclay（巴黎萨克雷大学）；Ubisoft（育碧）；University of Granada（格拉纳达大学）
虽然可解释人工智能（XAI）正在不断扩展更多的应用领域，但很少有人应用于使深度强化学习（RL）更容易理解。随着RL变得无处不在，并用于关键和一般公共应用，开发使其更好地理解和更可解释的方法至关重要。这项研究提出了一种新的方法来解释合作策略，在多智能体RL使用Shapley值，博弈论的概念，在XAI，成功地解释了机器学习算法所采取的决定背后的理由。通过在两个以合作为中心的具有社会挑战性的多智能体环境中测试这种技术的常见假设，本文认为Shapley值是评估合作多智能体RL环境中参与者贡献的一种恰当方法。为了减轻这种方法的高开销，Shapley值近似使用Monte Carlo抽样。多智能体粒子和顺序社会困境的实验结果表明，Shapley值成功地估计每个代理的贡献。这些结果可能具有超越经济学游戏的影响，（例如，非歧视性决策，道德和负责任的人工智能衍生决策或公平约束下的政策制定）。它们还揭示了Shapley值如何仅给出关于模型的一般解释，而不能解释单个运行、事件，也不能证明代理所采取的精确行动是合理的。今后的工作应侧重于解决这些关键问题。
2021-10-04 cs.AI cs.GT cs.LG
Interpretable Load Forecasting via Representation Learning of Geo-distributed Meteorological Factors
针对多地点气象因素选择与解释难题，提出融合空间关系表示学习、图模型Shapley值及Monte Carlo加速的负荷预测框架，提升极端场景日前预测精度并揭示其与GDP和产业的关联。
2025-01-04 cs.AI cs.LG
ShaplEIG: Bayesian Experimental Design for Shapley Value Estimation
Department of Statistics, LMU Munich（LMU慕尼黑统计系）；Institute for Informatics, LMU Munich（LMU慕尼黑信息学院）；Department of Computer Science, TU Dortmund University（图腾大学计算机科学系）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Lamarr Institute for Machine Learning（拉马尔机器学习研究所）
提出ShaplEIG方法，通过高斯过程代理和期望信息增益自适应选择联盟，以高效估计Shapley值，在低预算场景下显著提升样本效率。
2026-06-01 cs.LG stat.ML
Data Science with LLMs and Interpretable Models
Microsoft Research（微软研究院）
本文展示大型语言模型能够描述、解释和调试广义加性模型，并结合二者优势实现数据集摘要、问答与模型批判，同时发布了开源LLM-GAM接口TalkToEBM。
2024-02-22 cs.CL cs.LG
Is Data Valuation Learnable and Interpretable?
National Center for Applied Mathematics, Tianjin University（天津大学国家应用数学中心）
本文针对现有Shapley值数据估值方法缺乏可学习模型和可解释性的问题，提出基于MLP和新型回归树的两种数据价值建模框架，实验证明数据估值既可学习又可解释。
2024-06-03 cs.AI cs.LG
Colorful Talks with Graphs: Human-Interpretable Graph Encodings for Large Language Models
University of Illinois Chicago（伊利诺伊大学香槟分校）
本文提出一种将图结构直接注入自然语言提示的编码策略，通过将图结构转换为人类可理解的颜色标记，提升大语言模型处理图任务的能力，实验显示在合成和真实数据集上均取得显著改进。
2026-04-22 cs.LG
SafeSteer: Interpretable Safety Steering with Refusal-Evasion in LLMs
NVIDIA（英伟达）；School of Computing and AI（计算与人工智能学院）；Arizona State University（亚利桑那州立大学）
SafeSteer 通过类别特定引导向量和无需梯度的无监督方法，在不依赖对比安全数据的情况下实现 LLM 的精确安全引导，避免全面拒绝并保持主题相关性。
2025-06-01 cs.LG
ShapShift: Explaining Model Prediction Shifts with Subgroup Conditional Shapley Values
J.P. Morgan AI Research（摩根大通人工智能研究院）
本文提出ShapShift方法，通过可解释子组的条件Shapley值解释模型预测变化，适用于决策树和集成模型，提供简单且可信的解释，帮助动态环境下的模型监控。
2026-04-13 cs.AI cs.LG stat.ML
TextGenSHAP: Scalable Post-hoc Explanations in Text Generation with Long Documents
University of Southern California（南加州大学）；Google Cloud AI（谷歌云人工智能）
本文提出TextGenSHAP，一种融合语言模型特定技术的高效事后解释方法，大幅加速长文档文本生成中的Shapley值计算，并展示了其在长文档问答理解和文档检索系统改进中的应用价值。
2023-12-03 cs.AI cs.CL cs.LG
Unveiling the Vulnerability of Graph-LLMs: An Interpretable Multi-Dimensional Adversarial Attack on TAGs
Beijing Institute of Technology（北京理工大学）；Shandong University（山东大学）；Shenzhen Institute of Technology（深圳理工大学）
提出可解释多维图攻击（IMDGA），统一扰动图结构与文本特征，揭示Graph-LLM的语义脆弱性，提升可解释性与攻击效果。
2025-10-14 cs.LG
Interpretable Model-Aware Counterfactual Explanations for Random Forest
Prospect 33, LLC（Prospect 33公司）；BlackRock, Inc（BlackRock公司）
本文提出一种基于相似性学习的反事实搜索与解释方法，利用 Random Forest 模型表征寻找反事实案例并计算特征重要性，在 MNIST 和 German credit 数据集上生成的解释比 Shapley values 更稀疏且更有用。
2025-10-31 cs.LG stat.ML
Adaptive Discovery of Interpretable Audio Attributes with Multimodal LLMs for Low-Resource Classification
Kyoto University（京都大学）
本文提出利用多模态大语言模型自适应发现可解释音频属性，提升低资源音频分类的效率和准确性。
2026-03-07 cs.LG cs.SD
SHAPE: Coalition-Aware Expert Pruning for Sparse Mixture-of-Experts LLMs
Beihang University（北航大学）
提出SHAPE框架，通过合作博弈论建模专家间协作，利用Shapley值识别高贡献专家，结合质量覆盖选择规则在剪枝预算下保留关键专家，实验表明在多种MoE模型上提升鲁棒性并降低显存。
2026-06-03 cs.AI cs.LG
Coding LLMs Can Be Harnessed to Learn Interpretable Models from Data
Carnegie Mellon University（卡内基梅隆大学）
本文提出一种调控机制，通过提示编码类LLM生成规则集的下一条规则，在表格和文本数据上学习可解释模型，表现优于现有方法，还引入了新的编码基准。
2026-10-14 cs.AI cs.LG
EVIL: Evolving Interpretable Algorithms for Zero-Shot Inference on Event Sequences and Time Series with LLMs
Lamarr Institute（拉马尔研究所）；Fraunhofer IAIS（弗劳恩霍夫人工智能研究所）
EVIL通过LLM引导的进化搜索发现简单可解释的算法，用于动态系统推断，无需训练神经网络，能在多个任务中实现跨数据集泛化。
2026-04-17 cs.AI cs.LG
Interpretable Anomaly-Based DDoS Detection in AI-RAN with XAI and LLMs
University of Surrey（萨里大学）
本研究面向AI-RAN场景，提出结合LSTM异常检测、LIME/SHAP可解释方法与LLM自然语言转化的DDoS检测框架，在真实5G数据上F1值超0.96，实现高精度且可解释的攻击检测。
2025-07-27 cs.CR cs.LG
Greenhouse gases emissions: estimating corporate non-reported emissions using interpretable machine learning
BNP Paribas（法国巴黎银行）；CentraleSupélec, Université Paris-Saclay（巴黎萨克雷大学中央理工-高等电力学院）
截至2022年，温室气体（GHG）排放报告和审计尚未强制要求所有公司，测量和估计方法也未统一。我们提出了一个基于机器学习的模型来估计尚未报告的公司的范围1和范围2温室气体排放量。我们的模型专门设计为透明并完全适应这种用例，能够估计大量公司的排放量。它显示出良好的样本外的全球表现，以及良好的样本外的粒度性能时，按部门，按国家或收入桶进行评估。我们还将我们的结果与其他供应商的结果进行比较，发现我们的估计更准确。由于使用Shapley值的可解释性工具，我们的模型是完全可解释的，用户能够理解哪些因素可以解释每个特定公司的温室气体排放。
2022-12-21 cs.AI cs.LG q-fin.GN
OncoReason: Structuring Clinical Reasoning in LLMs for Robust and Interpretable Survival Prediction
提出统一多任务学习框架，通过监督微调、思维链提示和强化学习三种对齐策略，使自回归大语言模型在MSK-CHORD数据集上联合进行二元生存分类、连续生存时间回归和自然语言理由生成，实现可解释的生存预测。
2026-05-30 cs.CL cs.LG
Concept Bottleneck Large Language Models
提出概念瓶颈大型语言模型框架，将内在可解释性集成到LLMs中，在文本分类和生成任务上实现可解释推理、精确概念检测与安全控制，增强模型安全性与可信度。
2025-09-07 cs.CL cs.LG
Biological Reasoning-Informed Regression for Interpretable Regulatory DNA Activity Prediction
Gaoling School of Artificial Intelligence（甘岭人工智能学院）；Renmin University of China（中国人民大学）；Zhongguancun Academy（中关村学院）
提出R3LM框架，通过结构化生物学知识教LLM进行推理引导回归，在增强子预测上达到最优性能并提供可解释机制。
2026-06-06 cs.LG q-bio.GN
Control Reinforcement Learning: Interpretable Token-Level Steering of LLMs via Sparse Autoencoder Features
University College London（伦敦大学学院）
CRL通过稀疏自编码器特征实现LLM的可解释性令牌级操控，提供动态干预探针与静态特征分析互补的机制可解释性工具。
2026-02-12 cs.AI cs.CL cs.LG
Crafting Interpretable Embeddings by Asking LLMs Questions
UC Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）；Cornell University（康奈尔大学）；UT Austin（德克萨斯大学奥斯汀分校）
本研究提出QA-Emb，通过向LLM提问生成可解释嵌入，用于预测fMRI反应，显著优于基线且问题少，并探索了高效近似与NLP应用。
2024-05-26 cs.AI cs.CL cs.LG
A Hierarchical Language Model For Interpretable Graph Reasoning
Texas A&M University（德克萨斯农工大学）
针对大语言模型图结构理解能力有限的问题，提出双模块架构的图分层语言模型HLM-G，兼顾局部与全局图信息，提升图任务性能与效率，兼具可解释性，在多类图任务上表现优异。
2024-10-29 cs.AI cs.LG
Augmenting Interpretable Models with LLMs during Training
Microsoft Research（微软研究院）；University of California, Berkeley（加州大学伯克利分校）
本文提出Aug-imodels框架，利用LLM在训练阶段增强可解释模型，使推理时无需LLM即可实现高效透明，并在文本分类和fMRI研究中验证其性能与可解释性优势。
2023-04-25 cs.AI cs.CL cs.LG
MolReasoner: Toward Effective and Interpretable Reasoning for Molecular LLMs
DP Technology, Beijing, China（DP技术有限公司）；AI for Science Institute, Beijing, China（AI for Science研究院）；Shanghai Jiao Tong University, Shanghai, China（上海交通大学）；Fudan University, Shanghai, China（复旦大学）
MolReasoner通过两阶段框架提升分子大语言模型的推理能力和可解释性，有效减少幻觉并提高生成质量。
2026-02-22 cs.AI cs.CL cs.LG
Interpretable estimation of the risk of heart failure hospitalization from a 30-second electrocardiogram
Inventec Corporation（英业达公司）；Chang Gung Memorial Hospital（长庚纪念医院）；Chang Gung University（长庚大学）；Chang Gung University of Science and Technology（长庚科技大学）
医疗保健中的生存建模依赖于可解释的统计模型;然而，它们的基本假设往往过于简单，因此不切实际。机器学习模型可以估计更复杂的关系，并导致更准确的预测，但不可解释。这项研究表明，它是可能的估计住院充血性心力衰竭的30秒单导联心电图信号。使用机器学习方法不仅可以提高预测能力，还可以提供有临床意义的解释。我们训练一个极限梯度提升加速失效时间模型，并利用SHapley加法解释值来解释每个特征对预测的影响。我们的模型在6,573例患者的保持测试集上实现了0.828的一致性指数和0.853的一年曲线下面积和0.858的两年曲线下面积。这些结果表明，基于心电图的快速检测对于靶向和治疗高危人群至关重要。
2022-11-04 cs.LG cs.LO q-bio.QM
Towards LLM-guided Efficient and Interpretable Multi-linear Tensor Network Rank Selection
Imperial College London（帝国理工学院）
提出一种利用LLMs指导张量网络模型秩选择的框架，通过LLMs的推理与知识提升可解释性并优化目标函数，在金融高阶数据集上验证了其强泛化与自我增强能力。
2024-10-14 cs.AI cs.LG
LIFT: Interpretable truck driving risk prediction with literature-informed fine-tuned LLMs
Department of Civil Engineering, Tsinghua University, Beijing, China（清华大学土木工程系）；College of Traffic Management, People's Public Security University of China, Beijing, China（中国人民公安大学交通管理学院）；Beijing Key Laboratory of Traffic Engineering, Beijing University of Technology, Beijing, China（北京理工大学交通工程重点实验室）；State Key Laboratory of Intelligent Green Vehicle and Mobility, Tsinghua University, Beijing, China（清华大学智能绿色车辆与移动国家重点实验室）
本研究提出LIFT框架，利用文献微调大语言模型实现可解释的卡车驾驶风险预测，在召回率和F1分数上分别提升26.7%和10.1%，并通过文献知识库增强解释的一致性与鲁棒性。
2025-10-25 cs.AI cs.LG
Ex-GraphRAG: Interpretable Evidence Routing for Graph-Augmented LLMs
Tel Aviv University（特拉维夫大学）；Institute for AI, University of Stuttgart（人工智能研究所，斯图加特大学）；NVIDIA（英伟达）；Meta AI
本文提出Ex-GraphRAG，通过引入多变量图神经加法网络（M-GNAN）来解决图增强大语言模型中证据路由的可解释性问题，揭示了语义重要性与结构连通性之间的不匹配，对检索剪枝、上下文构建和失败诊断有重要影响。
2026-05-21 cs.AI cs.LG
Interpretable LLMs for Credit Risk: A Systematic Review and Taxonomy
School of Electronic Engineering and Computer Science, Queen Mary University of London（伦敦大学电子工程与计算机科学学院）；Institute for Data Science and Artificial Intelligence, Boğaziçi University（博雅大学数据科学与人工智能研究所）；College of Science Computer Science Department, Kuwait University（科威特大学科学学院计算机科学系）
本文用PRISMA筛选60篇2020—2025年论文，系统梳理LLM在信用风险估计中的架构、数据、可解释性机制与应用，并提出分类体系和未来研究方向。
2025-06-07 cs.LG q-fin.RM
Towards More Trustworthy and Interpretable LLMs for Code through Syntax-Grounded Explanations
University of Central Florida（佛罗里达中央大学）
本文提出 ASTrust，一种基于抽象语法树和模型置信度生成语法解释的代码 LLM 可解释性方法，支持局部与全局解释，并通过可视化及多项研究验证其提升可信度的效果。
2026-09-29 cs.AI cs.LG cs.SE
Successor Heads: Recurring, Interpretable Attention Heads In The Wild
University of Cambridge（剑桥大学）
本研究提出并验证了大语言模型中普遍存在的可解释“后继头”注意力组件，揭示其跨架构通用的mod-10数值表征机制，为理解LLM内部运算逻辑提供了新视角。
2023-12-14 cs.AI cs.CL cs.LG
Mechanistic Data Attribution: Tracing the Training Origins of Interpretable LLM Units
University of Science and Technology of China（中国科学技术大学）
提出机械论数据归因（MDA）框架，利用影响函数将可解释单元追溯到特定训练样本，通过因果验证表明干预高影响样本可显著调节可解释头的涌现，并发现重复结构数据作为机械催化剂，同时验证了归纳头与上下文学习之间的功能联系。
2026-06-07 cs.AI cs.CL cs.LG
Large Language Models are Interpretable Learners
UCLA（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）
本文提出基于LLM的符号程序（LSPs），结合大型语言模型与符号规则，通过分治方法训练，在保持高可解释性的同时提升预测性能，并实现对分布外样本的良好泛化。
2024-06-25 cs.AI cs.CL cs.CV
RubricRAG: Towards Interpretable and Reliable LLM Evaluation via Domain Knowledge Retrieval for Rubric Generation
Department of Computer Science（计算机科学系）；Emory University（埃默里大学）
本文提出RubricRAG，通过领域知识检索生成可解释的评估 rubric，提升LLM评估的透明性和有效性。
2026-03-21 cs.AI cs.CL cs.IR
