CoTAR: Chain-of-Thought Attribution Reasoning with Multi-level Granularity
Intel Labs(英特尔实验室)
针对大型语言模型在问答任务中存在的幻觉问题,提出多粒度的思维链归因推理方法CoTAR,通过生成以归因为中心的输出提升归因准确性,经GPT-4在两个数据集验证有效,结合微调还可提升小型模型性能。
2024-11-26 cs.AI cs.CL cs.LG
Whodunit? Learning to Contrast for Authorship Attribution
National University of Singapore(新加坡国立大学);AWS AI Research & Education(亚马逊云科技人工智能研究与教育部门)
作者归属是识别给定文本的作者的任务。关键是找到可以区分作者的表示。现有的方法通常使用手动设计的功能来捕获数据集的内容和样式,但这些方法依赖于数据集,并且在语料库中产生不一致的性能。在这项工作中,我们提出了\textit{learning}作者特定的表示微调预训练的通用语言表示与对比的目标(对比-X)。我们表明,反X学习表示,形成高度可分离的集群不同的作者。它在多个人类和机器作者归属基准上推进了最先进的技术,使交叉熵微调的改进高达6.8%。然而,我们发现,对某些作者来说,Contra-X以牺牲性能为代价提高了整体准确性。化解这一紧张关系将是今后工作的重要方向。据我们所知,我们是第一个将对比学习与预训练的语言模型微调结合起来的作者归属。
2022-10-10 cs.AI cs.CL cs.LG
TRACE: TRansformer-based Attribution using Contrastive Embeddings in LLMs
National University of Singapore(新加坡国立大学);Institute of Data Science, National University of Singapore(新加坡国立大学数据科学研究院)
针对 LLM 响应来源归因在 NLP 中缺乏稳健框架的问题,本文提出基于 Transformer 与对比嵌入的 TRACE,并通过多场景实证评估证明其可显著提升来源准确归因能力与模型可信度。
2024-07-06 cs.CL cs.LG
Neurosymbolic AI approach to Attribution in Large Language Models
AI Institute(AI研究所);University of South Carolina(南卡罗来纳大学)
针对大语言模型归因存在的幻觉、偏差、来源不可靠等问题,本文提出整合结合神经网络与结构化符号推理的NesyAI,以提升归因模型的可靠性、可解释性与适应性。
2024-09-30 cs.CL
DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning
National University of Singapore(新加坡国立大学);Singapore-MIT Alliance for Research and Technology(新加坡-麻省理工学院研究与技术联盟);Institute for Infocomm Research, A*STAR(新加坡科技研究局信息通信研究所);CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
本文提出基于影响函数的归因方法DETAIL,用于解释上下文学习中的任务演示作用,并通过演示重排序与策展提升模型性能,且归因分数可迁移至黑盒模型。
2024-12-15 cs.AI cs.CL cs.LG
Learning Text Styles: A Study on Transfer, Attribution, and Verification
SUTD(新加坡科技设计大学);ISTD(科技设计学院)
本文围绕文本风格迁移、作者归属与作者验证三大任务,提出基于大语言模型参数高效适配、对比解耦和指令微调的方法,以提升风格操控与作者识别的效果和可解释性。
2025-07-22 cs.CL
Pruning via Causal Attribution Preserves Reasoning Performance in Large Language Models
Edison Academy Magnet School(爱迪生学院磁石学校);Massachusetts Institute of Technology(麻省理工学院);State University of New York College at Plattsburgh(纽约州立大学普拉茨堡学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Independent Researcher(独立研究员)
提出无需训练的因果归因剪枝(CAP)方法,通过测量注意力头对推理任务的因果影响进行细粒度剪枝,在20%稀疏度下相比Wanda在ARC-Challenge上准确率提升高达61%。
2026-10-28 cs.CL
Model Attribution in LLM-Generated Disinformation: A Domain Generalization Approach with Supervised Contrastive Learning
School of Computing;AI Arizona State University Tempe, AZ;Department of Computer Science Illinois Institute of Technology Chicago, IL;Department of Computer Science Emory University Atlanta, GA
针对大语言模型生成虚假信息的归因难题,本文将其转化为领域泛化问题,提出基于监督对比学习的方法以增强对提示变化的鲁棒性,经多提示方法、多模型实验验证,在未见数据集上取得了当前最优的归因性能。
2024-08-14 cs.CL
AI as Humanity's Salieri: Quantifying Linguistic Creativity of Language Models via Systematic Attribution of Machine Text against Web Text
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本研究提出量化文本语言创造力的创造力指数及配套动态规划算法DJ SEARCH,发现人类创造力指数高于大语言模型,且该指数可有效用于零样本机器文本检测。
2025-01-12 cs.CL
A Survey of AI-generated Text Forensic Systems: Detection, Attribution, and Characterization
Arizona State University(亚利桑那州立大学);Stanford University(斯坦福大学);Amazon GenAI(亚马逊生成式人工智能部门)
本文综述AI生成文本取证系统,围绕检测、归因与特征刻画构建分类体系,梳理现有研究与资源,并讨论该领域挑战及未来方向。
2024-03-02 cs.AI cs.CL
Can Input Attributions Explain Inductive Reasoning in In-Context Learning?
Tohoku University(东北大学);MBZUAI;RIKEN(日本研究机构)
本文设计合成归纳推理诊断任务,探究输入归因方法能否在上下文学习中识别关键示例,发现简单方法最优且模型越大越难解释。
2025-07-09 cs.CL
Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration
Chinese Academy of Sciences(中国科学院);Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对大语言模型训练数据归因中拟合误差损害溯源准确性的问题,本文提出去偏与去噪归因方法DDA,通过消除基础模型知识偏差和平滑拟合差异来增强影响函数,在多个模型上取得91.64%的平均AUC并展现出良好的通用性。
2024-11-19 cs.CL
Enhancing Answer Attribution for Faithful Text Generation with Large Language Models
Technical University of Munich(慕尼黑工业大学);School of Computation, Information and Technology(计算、信息与技术学院)
本文针对大语言模型答案归因中声明分割与证据检索的不足,提出生成更独立且上下文化的声明的新方法,并通过评估验证其能有效提升答案归因性能。
2024-10-22 cs.CL cs.IR
GenerationPrograms: Fine-grained Attribution with Executable Programs
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Bar-Ilan University(巴伊兰大学)
针对大语言模型文本生成归因能力不足、可解释性有限的问题,提出模块化生成框架GenerationPrograms,将生成拆分为程序规划与执行两阶段,显著提升多任务下的细粒度归因质量,还可作为事后归因方法并支持模块级优化。
2025-06-17 cs.AI cs.CL
Show or Suppress? Managing Input Uncertainty in Machine Learning Model Explanations
National University of Singapore(新加坡国立大学)
特征属性在可解释的机器学习中被广泛用于解释每个测量的输入特征值对输出推断的影响程度。然而,测量可能是不确定的,目前还不清楚如何输入不确定性的意识会影响解释的信任。我们提出并研究了两种方法来帮助用户管理他们对模型解释中的不确定性的感知:1)透明地显示特征属性中的不确定性,以允许用户进行反思; 2)通过不确定性惩罚正则化来抑制对具有不确定性测量的特征的归因,并将归因转移到其他特征。通过模拟实验,定性访谈和定量用户评价,我们确定了适度抑制归因不确定性的好处,以及对归因不确定性的关注。这项工作增加了对处理和沟通模型可解释性的不确定性的理解。
2021-01-23 cs.AI cs.HC cs.LG
High-performance automatic categorization and attribution of inventory catalogs
Webstructor project(Webstructor项目)
自动文本分类的机器学习技术的应用和适应的库存目录数据属性的问题,探索不同的方法和最佳的解决方案,解决准确性和性能之间的权衡选择。
2022-02-09 cs.IR cs.LG
Actionable Attribution Maps for Scientific Machine Learning
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
科学界越来越有兴趣利用深度学习的力量来解决各种领域的挑战。然而,尽管构建预测模型很有效,但由于深度神经网络的不透明性,从深度神经网络中提取可操作知识仍然存在根本性挑战。在这项工作中,我们提出了探索深度学习模型的行为的技术,通过在分析管道中注入特定领域的可操作概念作为可调的“旋钮”。通过将领域知识与生成建模相结合,我们不仅能够更好地理解这些黑盒模型的行为,而且还为科学家提供了可操作的见解,这些见解可能会导致根本性的发现。
2020-06-30 cs.CV cs.LG
Attribution-Scores in Data Management and Explainable Machine Learning
SKEMA Business School(SKEMA商学院)
本文介绍了实际因果性中的责任分数在数据库查询答案解释和机器学习分类模型输出解释中的应用,说明了与数据库修复的联系,扩展了分类模型的责任分数,并讨论了Shap-score的高效计算。
2023-07-31 cs.AI cs.DB cs.LG
ANML: Attribution-Native Machine Learning with Guaranteed Robustness
University of Cambridge(剑桥大学)
ANML通过质量加权训练提升模型性能和归因能力,在多个数据集上显著减少误差。
2026-02-12 cs.AI cs.LG
Analysis, Characterization, Prediction and Attribution of Extreme Atmospheric Events with Machine Learning: a Review
Universidad de Alcalá(阿尔卡拉大学);Universidad Politécnica de Madrid(马德里理工大学);Politecnico di Milano(米兰理工大学);TECNALIA(TECNALIA研究院);University of the Basque Country (UPV/EHU)(巴斯克大学);Universidad Rey Juan Carlos (URJC)(胡安卡洛斯国王大学);Deutsches Klimarechenzentrum GmbH(德国气候计算中心有限公司);Instituto de Geociencias (CSIC-UCM)(西班牙国家研究委员会-马德里康普顿斯大学地球科学研究所)
大气极端事件对人类社会和生态系统造成了严重的危害。在当前气候变化和全球变暖的风险下,EE和其他相关事件的频率和强度正在增加。因此,准确的预测,表征和大气EEs的属性是一个关键的研究领域,其中许多小组目前正在通过应用不同的方法和计算工具。机器学习(ML)方法在过去几年中已经出现,作为解决与大气EE相关的许多问题的强大技术。本文综述了ML算法应用于分析,表征,预测和最重要的大气EEs的属性。最常用的ML技术在这一领域的总结,并提供了一个全面的关键审查的文学ML EE。一些例子进行了讨论,并在该领域的观点和展望。
2022-06-03 cs.LG cs.NE physics.ao-ph
Discerning the painter's hand: machine learning on surface topography
Case Western Reserve University(凯斯西储大学);Cleveland Museum of Art(克利夫兰艺术博物馆);Hathaway Brown School(哈撒韦布朗学校);Cleveland Institute of Art(克利夫兰艺术学院)
绘画的归属问题是美术史上的一个重要问题。本研究将机器学习分析扩展到绘画作品的表面形貌。积极归因的控制研究设计了一个艺术类学生的绘画作品。这些画是用共焦光学轮廓仪扫描产生表面数据。将表面数据划分为虚拟块,并用于训练用于属性的卷积神经网络(CNN)的集合。在0.5到60 mm的补丁大小范围内,发现结果的归因准确率为60%到96%,并且当比较不同颜色的区域时,准确率几乎是使用绘画彩色图像的CNN的两倍。值得注意的是,短的长度尺度,小到鬃毛直径的两倍,是可靠区分艺术家的关键。这些结果表明,承诺为现实世界的归属,特别是在研讨会的做法。
2021-06-14 cs.CV cs.LG
Feature Attributions and Counterfactual Explanations Can Be Manipulated
University of California, Irvine(加州大学欧文分校);Harvard University(哈佛大学)
随着机器学习模型越来越多地用于关键决策制定环境(例如,医疗保健、金融),人们越来越重视开发解释模型预测的方法。这种\textit{explanations}用于理解模型并建立模型信任,是机器学习管道中的重要组件。虽然解释是这些系统中的关键部分,但人们对它们如何容易受到对手的操纵知之甚少。在本文中,我们讨论了两大类解释是如何容易被操纵的。我们展示了对手如何设计有偏见的模型,操纵模型不可知的特征归因方法(例如,LIME \& SHAP)和在反事实搜索期间爬山的反事实解释(例如,Wachter的算法\& DiCE)转化为\textit{concealing}模型的偏差。这些漏洞允许攻击者部署有偏见的模型,但解释不会揭示这种偏见,从而欺骗利益相关者信任模型。我们评估了对现实世界数据集的操纵,包括COMPAS和社区\犯罪,并发现解释可以在实践中操纵。
2021-06-25 cs.CR cs.LG
Harmonizing Feature Attributions Across Deep Learning Architectures: Enhancing Interpretability and Consistency
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);University of Oldenburg(奥尔登堡大学)
本文研究不同深度学习架构(如CNN和视觉Transformer)之间特征归因的泛化与协调,提出通过协调特征归因方法增强局部解释一致性,从而提升模型可解释性与可信度。
2023-07-25 cs.CV cs.LG
Attribution Methods in Asset Pricing: Do They Account for Risk?
Charlotte(夏洛特)
针对机器学习归因方法未结合资产定价领域风险知识的问题,本文提出若干基于资产定价知识的公理,验证发现Shapley值和Integrated Gradients均无法满足全部公理,并明确了归因方法反映风险的适用场景。
2024-07-12 cs.LG q-fin.CP
RoSHAP: A Distributional Framework and Robust Metric for Stable Feature Attribution
Department of Statistics(统计学系);Virginia Tech(弗吉尼亚理工大学);Transportation Institute(交通运输研究所);Department of Computer Science(计算机科学系)
本文提出RoSHAP框架和稳健度量,通过Bootstrap重采样和核密度估计建模特征归因分布,提升特征归因的稳定性与可解释性。
2026-05-14 cs.LG stat.ML
Machines Explaining Linear Programs
Cranberry-Lemon University(酸果蔓柠檬大学)
最近有一个推动使机器学习模型更可解释,使其性能可以信任。虽然这些方法很成功,但它们大多集中在深度学习方法上,而机器学习中的基本优化方法,如线性规划(LP),却被排除在外。即使LP可以被认为是白盒或透明盒模型,它们也不容易理解输入和输出之间的关系。由于线性规划只提供优化问题的最优解,因此进一步的解释通常是有帮助的。在这项工作中,我们扩展的属性解释神经网络的线性规划的方法。这些方法通过为模型输入提供相关性分数来解释模型,以显示每个输入对输出的影响。除了使用经典的基于梯度的归因方法,我们还提出了一种方法,以适应扰动为基础的归因方法的LP。我们的几个不同的线性和整数问题的评价表明,属性方法可以产生有用的解释线性规划。然而,我们也证明了直接使用神经属性方法可能会有一些缺点,因为这些方法在神经网络上的属性不一定转移到线性规划。如果一个线性规划有多个最优解,这些方法也会很困难,因为求解器只返回一个可能的解。我们的研究结果可以作为一个很好的起点,在这个方向上进一步研究。
2022-06-14 cs.LG
SHAP-Guided Regularization in Machine Learning Models
Lamarr Institute for Machine Learning and AI(拉马尔机器学习与人工智能研究所)
针对特征归因方法在模型优化中作用未被充分挖掘的问题,提出SHAP引导的正则化框架,通过基于熵的惩罚实现稀疏稳定的特征归因,经实验验证可同时提升树基模型的泛化性能与可解释性。
2025-07-31 cs.LG
A Machine Learning based Empirical Evaluation of Cyber Threat Actors High Level Attack Patterns over Low level Attack Patterns in Attributing Attacks
International Islamic University Islamabad (IIUI)(国际伊斯兰大学伊斯兰堡分校);Seoul National University(首尔大学)
针对网络威胁归因中低层IOC有效性缺乏实证评估、高层IOC数据集难直接训练模型的问题,本研究构建专用真实数据集开展对比实验,证实高层IOC训练的归因模型准确率达95%,远高于低层IOC模型的40%。
2023-07-17 cs.CR cs.LG
Data Attribution in Adaptive Learning
本文研究自适应学习中的数据归因问题,提出条件干预目标,证明回放信息无法一般性恢复归因,并识别出一个结构类以从日志数据中识别目标。
2026-04-06 cs.LG
Distributing Synergy Functions: Unifying Game-Theoretic Interaction Methods for Machine-Learning Explainability
University of Southern California(南加州大学)
本研究提出一个统一框架,用于博弈论启发的归因和$k^\ ext{th}$阶交互方法,揭示各方法通过分配协同函数被唯一表征,并指出需结合目标与背景选择方法。
2023-05-17 cs.GT cs.LG
Machine Unlearning for Robust DNNs: Attribution-Guided Partitioning and Neuron Pruning in Noisy Environments
School of Computer Science and Artificial Intelligence(计算机科学与人工智能学院)
针对噪声训练数据降低DNN性能的问题,提出融合归因引导数据划分、神经元剪枝与微调的机器遗忘框架,在CIFAR-10等任务上提升准确率并缩短重训练时间。
2025-06-13 cs.LG
Traceable Spectral Inference via Influence Functions: Efficient Data Attribution and Error Proxies for the Ariel Mission
ML Analytics;Delft University of Technology(代尔夫特理工大学);King’s College London(伦敦国王学院);European Space Agency(欧洲空间局)
本研究针对Ariel任务的光谱数据归因与误差评估需求,提出基于影响函数的可追溯谱推断方法,通过极限学习机实现高效计算,其误差代理可准确关联光谱误差,为科学机器学习提供运行框架。
2026-08-25 astro-ph.IM cs.LG stat.ML
Relational Local Explanations
University of Tübingen(图宾根大学)
现有的大多数用于机器学习模型的事后解释方法产生独立的、每个变量的特征属性得分,忽略了均匀结构化数据(诸如视觉或文本数据)的关键固有特征:特征之间存在潜在的变量间关系。在此基础上,我们开发了一种新的模型不可知和置换为基础的特征归因方法的基础上输入变量之间的关系分析。因此,我们能够更广泛地了解机器学习模型的预测和决策。实验评估我们的框架比较国家的最先进的归因技术在各种设置,涉及图像和文本数据模式证明了我们的方法的有效性和有效性。
2023-02-11 cs.LG
The Explanation Game: Explaining Machine Learning Models Using Shapley Values
Fiddler Labs(菲德勒实验室)
已经提出了许多技术来通过将机器学习模型的预测归因于相应的输入特征来解释该预测。其中流行的技术是应用合作博弈论的Shapley值方法。虽然现有的论文专注于Shapley值的公理化动机和计算它们的有效技术,但它们几乎没有为所使用的博弈公式提供任何理由,也没有解决其方法输出中隐含的不确定性。例如,流行的SHAP算法的公式可能会对在模型中不起作用的特征赋予实质性的属性。在这项工作中,我们说明了如何微妙的差异,在现有的方法的基础游戏配方可能会导致大的差异,在归因的预测。然后,我们提出了一个通用的游戏配方,统一现有的方法,并使他们的属性直接的置信区间。此外,它允许我们将属性解释为相对于参考输入分布的输入的对比解释。我们将这个想法与认知心理学中关于对比解释的经典研究联系起来,并提出了一个概念框架,用于生成和解释ML模型的解释,称为公式化,近似,解释(FAE)。我们应用这个框架来解释在两个UCI数据集和一个Lending Club数据集上训练的黑盒模型。
2020-06-25 cs.AI cs.LG stat.ML
Attribution-based Explanations that Provide Recourse Cannot be Robust
Korteweg-de Vries Institute for Mathematics(科特韦赫-德弗里斯数学研究所);University of Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文证明任何单一归因方法无法同时具备补救敏感性和鲁棒性,为LIME、SHAP等流行方法提供反例,并探讨了可能的绕行方案及受限情况下的精确刻画。
2023-12-20 cs.LG stat.ML
Change Detection for Local Explainability in Evolving Data Streams
University of Tuebingen(蒂宾根大学)
随着复杂的机器学习模型越来越多地用于银行、交易或信用评分等敏感应用,对可靠解释机制的需求也越来越大。局部特征属性方法已经成为一种流行的技术事后和模型不可知的解释。然而,归因方法通常假设预测模型已经在其中训练并且保持稳定的静态环境。因此,通常不清楚本地属性在现实的、不断发展的环境中(如流媒体和在线应用程序)的行为。在本文中,我们讨论了时间变化对局部特征属性的影响。特别是,我们表明,本地属性可以成为过时的每次更新的预测模型或概念漂移改变数据生成分布。因此,数据流中的局部特征属性只有在与允许我们检测和响应随时间推移的局部变化的机制相结合时才能提供高的解释力。为此,我们提出了CDLEEDS,一个灵活的和模型无关的框架,用于检测局部变化和概念漂移。CDLEEDS作为基于属性的解释技术的直观扩展,用于识别过时的本地属性,并实现更有针对性的重新计算。在实验中,我们还表明,该框架可以可靠地检测本地和全球的概念漂移。因此,我们的工作有助于在线机器学习中更有意义和更强大的可解释性。
2022-09-06 cs.LG stat.ML
Taming Hyperparameter Sensitivity in Data Attribution: Practical Selection Without Costly Retraining
University of Michigan Ann Arbor(密歇根大学安娜堡分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究首次大规模实证揭示数据归因方法对超参数的敏感性,并提出基于理论分析的无重训练正则化选择流程,以低成本实现有效调优。
2025-10-23 cs.LG stat.ML
Generalization and Feature Attribution in Machine Learning Models for Crop Yield and Anomaly Prediction in Germany
Leibniz Centre for Agricultural Landscape Research (ZALF)(莱布尼茨农业景观研究中心(ZALF));CDM Smith
本研究探讨了机器学习模型在德国作物产量预测中的泛化能力与特征归因问题,指出模型在时间验证中的不足及可解释性方法的局限性。
2025-12-17 cs.LG
Achieving Transparency in Distributed Machine Learning with Explainable Data Collaboration
University of Tsukuba(筑波大学);NTT DATA Corporation(NTT数据公司)
用于各行各业决策支持的机器学习模型的透明度对于确保其道德使用至关重要。为此,诸如SHAP(SHapley Additive exPlanations)的特征归因方法被广泛用于向客户和开发人员解释黑盒机器学习模型的预测。然而,一个平行的趋势是与其他数据持有者合作训练机器学习模型,而不访问他们的数据。这些模型在水平或垂直分区的数据上训练,对可解释的AI提出了挑战,因为解释方可能对背景数据有偏见或对特征空间有部分看法。因此,从分布式机器学习的不同参与者那里获得的解释可能彼此不一致,从而破坏了对产品的信任。提出了一种基于模型无关的加性特征属性算法(KernelSHAP)和隐私保护分布式机器学习的数据协作方法的可解释数据协作框架。特别是,我们提出了三种算法,不同的情况下,在数据协作的可解释性,并验证其一致性与开放获取数据集上的实验。我们的研究结果表明,分布式机器学习用户之间的特征归因差异显著减少(至少减少了1.75倍)。
2022-12-06 cs.AI cs.LG
On the Fragility of Data Attribution When Learning Is Distributed
Department of Computer Science and Software Engineering, Auburn University, Auburn, Alabama, USA(计算机科学与软件工程系,阿伯茨温泉大学,阿伯茨温泉,阿拉巴马州,美国);Department of Computer Science, University of Tulsa, Tulsa, Oklahoma, USA(计算机科学系,塔尔萨大学,塔尔萨,俄克拉荷马州,美国);Department of Computer Science and Information Engineering, National Central University, Taoyuan, Taiwan(计算机科学与信息工程系,国立中央大学,桃园,台湾)
研究揭示了分布式学习中数据归因的脆弱性,通过归因优先攻击展示归因值可能被人为放大,同时提出归因鲁棒和激励相容的评分机制。
2026-05-15 cs.AI cs.DC cs.LG
EvalAttAI: A Holistic Approach to Evaluating Attribution Maps in Robust and Non-Robust Models
Rowan University(罗文大学);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
本文提出新的可解释性忠实度指标 EvalAttAI,以解决现有归因图评估指标的局限,并发现结合 Vanilla Gradient 的贝叶斯深度神经网络更具可解释性,而鲁棒模型未必更具可解释性。
2023-03-15 cs.AI cs.CV cs.LG
A Versatile Influence Function for Data Attribution with Non-Decomposable Loss
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
本文针对非可分解损失下的数据归因难题,基于稳健统计学的一般影响函数提出VIF,利用自动微分免逐损失推导,并在Cox回归、节点嵌入和列表级排序中验证其高效准确。
2024-12-02 cs.LG stat.ML
Shift-Invariant Feature Attribution in the Application of Wireless Electrocardiograms
Department of Mathematics, Tufts University(塔夫茨大学数学系);Faculty of Computer Science, Technische Universität Dresden(德累斯顿技术大学计算机科学系)
本文提出位移不变基线方法,用于无线心电图信号分析,通过归因评分识别对决策贡献最大的特征,关联心脏阶段。
2026-03-20 cs.AI cs.LG eess.SP
Explaining Risks: Axiomatic Risk Attributions for Financial Models
Duke Kunshan University(杜克-昆山大学)
本文针对金融机器学习模型的可解释性需求,提出通过扩展 Shapley value 框架进行公理化风险归因,以公平分配各特征对模型风险的贡献。
2025-06-07 cs.LG q-fin.CP stat.ML
Attribution Regularization for Multimodal Paradigms
针对多模态模型中单模态主导导致性能不佳的问题,提出一种归因正则化项,鼓励模型在决策时利用所有模态信息,并在视频-音频领域验证其有效性,以提升多模态学习性能。
2025-09-10 cs.LG
Selective Explanations
Harvard University(哈佛大学);IBM Research(IBM研究院)
提出选择性解释方法,通过检测低质量解释并使用带初始猜测的技术改进,以弥合摊销解释器与高质量解释器之间的差距。
2024-05-29 cs.CL cs.CY cs.LG
Beyond Shapley Values: Cooperative Games for the Interpretation of Machine Learning Models
Département de Mathématiques, Université du Québec à Montréal(魁北克大学蒙特利尔分校数学系);Institut Intelligence et Données, Université Laval(拉瓦尔大学智能与数据研究所)
该研究针对Shapley值在机器学习特征归因中公理相关性存疑的问题,从可解释性视角拓展合作博弈论的应用,提出Weber集、Harsanyi集两类分配方案及三步特征归因构建蓝图,为XAI领域提供适配性更强的理论框架。
2025-06-16 cs.AI cs.LG stat.ML
Sound Explanation for Trustworthy Machine Learning
University of YYY(YYY大学);Institute of WWW(WWW研究所)
该研究形式化探讨机器学习可解释性问题,证明归因算法无法同时满足四项性质,定义了“可靠解释”概念,并将特征选择作为癌症预测模型的可靠解释以建立临床信任。
2023-06-08 cs.AI cs.LG
Feature salience - not task-informativeness - drives machine learning model explanations
研究发现,机器学习模型解释的重要性主要由测试时图像结构的显著性驱动,而非统计关联。
2026-02-18 cs.LG
FairSHAP: Preprocessing for Fairness Through Attribution-Based Data Augmentation
Technical University of Denmark(技术大学)
FairSHAP通过基于属性的数据增强方法,提升机器学习模型的公平性,减少歧视风险并保持数据和模型准确性。
2026-02-21 cs.AI cs.CY cs.LG
Learning Theory of Mind via Dynamic Traits Attribution
Deakin University(迪肯大学)
心智理论(ToM)的机器学习对于构建与人类和其他智能体共同生活的社会智能体至关重要。这种能力一旦获得,将帮助机器从观察到的上下文动作轨迹中推断出他人的心理状态,从而能够预测未来的目标、意图、动作和后续表征。然而,这种预测的潜在机制仍不清楚。受人类经常推断他人的性格特征,然后用它来解释行为的观察的启发,我们提出了一种新的神经ToM架构,它可以学习从过去的轨迹中生成演员的潜在特征向量。然后,该特征向量通过预测神经网络中的“快速权重”方案倍增地调制预测机制,该预测网络读取当前上下文并预测行为。我们的经验表明,快速的权重提供了一个很好的归纳偏差模型的代理人的性格特征,从而提高读心能力。在对错误信念理解的间接评估方面,新的心理理论模型使帮助行为更有效。
2022-04-17 cs.AI cs.LG
Meaningful machine learning models and machine-learned pharmacophores from fragment screening campaigns
University of Cambridge(剑桥大学);Astex Pharmaceuticals(Astex制药公司)
机器学习(ML)广泛用于药物发现以训练预测蛋白质-配体结合的模型。这些模型对药物化学家具有重要价值,特别是如果它们提供了对驱动结合过程的物理相互作用的特定情况的洞察。在这项研究中,我们从50多个片段筛选活动中推导出ML模型,以引入两个重要元素,我们认为这两个元素在迄今为止报道的大多数(如果不是全部的话)这种类型的ML研究中都不存在:首先,除了我们用来训练我们的模型的观察到的命中率之外,我们还纳入了真实的未命中率,并表明这些实验验证的阴性数据对导出模型的质量具有重要意义。其次,我们提供了一个物理上可解释和可验证的表示,ML模型认为成功绑定的重要性。这种表示是来自一个简单的归因程序,解释了预测的化学环境的(相互)作用。重要的是,我们验证了归因结果在大规模上对先前的注释独立的专家分子建模。我们发现ML模型提出的关键分子子结构与手动分配的分子子结构之间存在良好的一致性,即使该模型在区分命中和未命中方面的性能远非完美。通过将属性投射到预定义的相互作用原型(药效团)上,我们表明ML允许我们制定简单的规则,用于从筛选数据中自动驱动片段结合目标。
2022-03-25 cs.LG q-bio.BM q-bio.QM
Synthetic Benchmarks for Scientific Research in Explainable Machine Learning
Stanford University(斯坦福大学)
随着机器学习模型变得越来越复杂,其应用变得越来越高风险,解释模型预测的工具变得越来越重要。这激发了对模型可解释性的一系列研究,并产生了LIME和SHAP等特征属性方法。尽管它们被广泛使用,但评估和比较不同的特征归因方法仍然具有挑战性:理想情况下,评估需要人类研究,而经验评估指标通常是数据密集型的,或者在现实世界的数据集上计算量过大。在这项工作中,我们通过发布XAI-Bench来解决这个问题:一套合成数据集以及用于基准特征属性算法的库。与真实世界的数据集不同,合成数据集允许有效计算评估地面真实Shapley值和其他指标所需的条件期望值。我们发布的合成数据集提供了各种各样的参数,可以配置这些参数来模拟真实世界的数据。我们展示了我们的图书馆的力量,通过基准测试流行的可解释性技术在几个评估指标和各种设置。我们库的多功能性和效率将帮助研究人员将他们的可解释性方法从开发到部署。我们的代码可在https://github.com/abacusai/xai-bench上获得。
2021-11-04 cs.AI cs.LG stat.ML
Exploring the Relationship Between Feature Attribution Methods and Model Performance
University of São Paulo(圣保罗大学);Federal Institute of Alagoas(阿拉戈斯联邦学院);New York University(纽约大学)
本研究通过九种解释方法分析特征归因一致性,发现其与模型性能存在强相关,为教育预测模型的可解释性提供新视角。
2024-05-22 cs.LG