Exemplars and Counterexemplars Explanations for Image Classifiers, Targeting Skin Lesion Labeling
ISTI-CNR(意大利国家研究委员会信息科学与技术研究所);University of Pisa(比萨大学);Sorbonne Universite(索邦大学)
可解释的人工智能包括开发机制,通过使决策系统的决策变得可理解,从而允许决策系统和人类之间的交互。这在医疗领域等敏感环境中尤为重要。我们提出了一个用于皮肤病变诊断的用例研究,说明如何为医生提供关于最先进的深度神经网络分类器的决策的解释,该分类器经过训练以从示例中表征皮肤病变。我们的框架由一个经过训练的分类器,解释模块操作。后者能够为医生提供分类诊断的范例和反例,从而允许医生与自动诊断系统交互。样本是通过对抗自动编码器生成的。我们说明了具有代表性的例子系统的行为。
2023-01-18 cs.AI cs.CV cs.LG
OmniXAI: A Library for Explainable AI
Salesforce Research(赛富时研究院);Salesforce Search(赛富时搜索部门)
我们介绍OmniXAI(Omni eXplainable AI的缩写),这是eXplainable AI(XAI)的开源Python库,它提供了全方位的可解释AI功能和各种可解释的机器学习技术,以解决理解和解释机器学习(ML)在实践中做出的决策的痛点。OmniXAI旨在成为一站式综合库,为数据科学家,ML研究人员和从业者提供可解释的AI,他们需要在ML过程的不同阶段(数据探索,特征工程,模型开发,评估和决策等)解释各种类型的数据,模型和解释方法。特别是,我们的库包括一个丰富的家庭的解释方法集成在一个统一的接口,它支持多种数据类型(表格数据、图像、文本、时间序列),多种类型的ML模型(Scikit-learn中的传统ML和PyTorch/TensorFlow中的深度学习模型),以及一系列不同的解释方法,包括“模型特定”和“模型不可知”的解释方法(如特征归因解释、反事实解释、基于梯度的解释等)。对于从业者来说,该库提供了一个易于使用的统一界面,只需编写几行代码即可为其应用程序生成解释,还提供了一个GUI仪表板,用于可视化不同的解释,以获得更多关于决策的见解。在本技术报告中,我们介绍了OmniXAI的设计原理、系统架构和主要功能,并展示了不同类型数据、任务和模型的几个示例用例。
2022-12-12 cs.AI cs.CV cs.LG
GraphXAIN: Narratives to Explain Graph Neural Networks
University of Antwerp(安特卫普大学)
GraphXAIN利用大型语言模型将GNN解释性子图和特征重要性分数转化为自然语言故事化叙述,以提升图神经网络预测的可理解性、可信度和可用性,并通过实验和用户调查验证其有效性。
2025-02-12 cs.AI cs.LG
Informing clinical assessment by contextualizing post-hoc explanations of risk prediction models in type-2 diabetes
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院);IBM Watson Health(IBM沃森健康)
医学专家可以更信任地使用人工智能(AI)系统,如果这些系统得到上下文解释的支持,让从业者将系统推断与其使用上下文联系起来。然而,它们在提高模型使用和理解方面的重要性尚未得到广泛研究。因此,我们考虑合并症风险预测场景,并关注患者临床状态的背景、关于并发症风险的AI预测以及支持预测的算法解释。我们将探讨如何从医疗指南中提取这些维度的相关信息,以回答临床医生的典型问题。我们确定这是一个问答(QA)任务,并采用几个国家的最先进的法学硕士风险预测模型推断的背景下,并评估其可接受性。最后,我们通过构建一个端到端的人工智能管道来研究上下文解释的好处,包括数据集合,人工智能风险建模,事后模型解释,并建立一个可视化仪表板原型,以呈现来自不同上下文维度和数据源的综合见解,同时预测和识别慢性肾脏病风险的驱动因素-一种常见的2型糖尿病合并症。所有这些步骤都是在医疗专家的参与下进行的,包括由一个专家医疗小组对仪表板结果进行最终评估。我们表明,LLM,特别是BERT和SciBERT,可以很容易地部署提取一些相关的解释,以支持临床使用。为了理解上下文解释的附加值,专家小组评估了这些关于相关临床环境中可操作的见解。总的来说,我们的论文是第一个端到端的分析,确定了在现实世界的临床用例中上下文解释的可行性和好处。
2023-02-11 cs.AI cs.LG
Directive Explanations for Actionable Explainability in Machine Learning Applications
The University of Melbourne(墨尔本大学);University of California, Irvine(加州大学欧文分校)
本文探讨了使用指导性解释来帮助人们实现机器学习决策的追索权的前景。指导性解释列出了个人需要采取哪些具体行动来实现其预期的结果。如果一个机器学习模型做出了一个对个人不利的决定(例如拒绝贷款申请),那么它既需要解释为什么做出这个决定,也需要解释个人如何获得他们想要的结果(如果可能的话)。目前,这通常是使用反事实的解释,但这种解释一般不告诉个人如何行动。我们断言,反事实解释可以通过明确地为人们提供他们可以用来实现预期目标的行动来改进。本文有两个贡献。首先,我们提出了一个在线研究的结果,调查人们的看法的指示性解释。其次,我们提出了一个概念模型来产生这样的解释。我们的在线研究显示,人们对指令性解释($p<0.001$)有明显的偏好。然而,受试者偏好的解释类型受到多种因素的影响,如个人偏好、社会因素和指令的可行性。我们的研究结果强调了需要一个以人为本和特定背景的方法来创建指导性的解释。
2021-02-03 cs.AI cs.LG
From Human Explanation to Model Interpretability: A Framework Based on Weight of Evidence
Microsoft Research(微软研究院);University of Michigan(密歇根大学);University of Maryland(马里兰大学)
我们从人类解释的研究中获得灵感,为机器学习中可解释性方法的设计和评估提供信息。首先,我们调查了哲学,认知科学和社会科学中关于人类解释的文献,并提出了一系列对人类有意义的机器生成解释的设计原则。利用信息论中证据权重的概念,我们开发了一种方法来生成符合这些原则的解释。我们表明,这种方法可以适应于处理高维,多类设置,产生一个灵活的框架生成的解释。我们证明,这些解释可以准确地估计从有限的样本,是强大的输入的小扰动。我们还通过与机器学习从业者的定性用户研究来评估我们的方法,在那里我们观察到,尽管一些参与者在努力解决先验类概率等背景概念,但所得到的解释是可用的。最后,我们得出结论,表面~设计~一般的可解释性工具的影响。
2021-09-20 cs.AI cs.LG
Biased Models Have Biased Explanations
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们通过为机器学习模型生成的基于属性的解释来研究机器学习(FairML)中的公平性。我们的假设是:有偏的模型有偏的解释。为了建立这一点,我们首先翻译现有的群体公平的统计概念,并根据模型给出的解释来定义这些概念。然后,我们提出了一种新的方法来检测(不)公平的任何黑盒模型。我们进一步研究后处理技术的公平性和原因如何解释可以用来使偏见缓解技术更个别公平。我们还介绍了一种新的后处理缓解技术,提高个人公平性的追索权,同时保持组级的公平性。
2020-12-20 cs.AI cs.LG
Aggregating explanation methods for stable and robust explainability
DTU Compute, Technical University Denmark(丹麦技术大学计算学院)
尽管关于解释神经网络的文献越来越多,但在如何解释神经网络决策或如何评估解释方面尚未达成共识。我们在本文中的贡献是双重的。首先,我们调查的计划,结合解释方法,减少模型的不确定性,以获得一个单一的聚合解释。我们提供的证据表明,聚合是更好地确定重要的功能,比单独的方法。对解释的对抗攻击是最近一个活跃的研究课题。作为我们的第二个贡献,我们提出的证据表明,总的解释是更强大的攻击比个人的解释方法。
2020-03-20 cs.AI cs.LG stat.ML
Collective Counterfactual Explanations: Balancing Individual Goals and Collective Dynamics
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(图宾根人工智能中心);University of California, Berkeley(加州大学伯克利分校)
本文提出纳入种群动态模型的集体反事实解释框架,将个体追索转化为集体优化,并用可扩展算法在公平性、效率和集体目标一致性上展现优势。
2025-09-30 cs.LG stat.ME
Feature construction using explanations of individual predictions
University of Ljubljana(卢布尔雅那大学);Faculty of Computer and Information Science(计算机与信息科学学院)
特征构造有助于提高机器学习模型的可理解性和性能。不幸的是,它通常需要在属性空间中进行穷举搜索或耗时的人工参与来生成有意义的特征。我们提出了一种新的启发式方法,减少基于实例的解释预测模型的聚合的搜索空间。建议的可解释的功能建设(EFC)的方法,确定了流行的解释方法,如IME和SHAP暴露的共现属性组。我们的经验表明,减少搜索到这些群体显着减少了使用逻辑,关系,笛卡尔,数值和阈值的N和X的N建设性运营商的功能建设的时间。对10个透明合成数据集的分析表明,EFC有效地识别信息组的属性和构造相关的功能。使用30个真实世界的分类数据集,我们表现出显着的改进,分类精度的几个分类器,并证明了所提出的功能建设的可行性,即使是大型数据集。最后,EFC生成了一个来自金融行业的真实问题的可解释特征,并得到了领域专家的确认。
2023-01-23 cs.AI cs.LG
Scaling Guarantees for Nearest Counterfactual Explanations
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Ferdowsi University of Mashhad(费尔多西大学);MPI for Security and Privacy(马克斯·普朗克安全与隐私研究所);IMDEA Software Institute(IMDEA软件研究所);MPI for Software Systems(马克斯·普朗克软件系统研究所);Saarland University(萨尔兰大学)
反事实解释(CFE)被广泛用于解释算法决策,特别是在后果决策背景下(例如,贷款批准或审前保释)。在这种情况下,CFE旨在为受算法决策影响的个体提供最相似的个体(即,最接近的个体)具有不同的结果。然而,虽然越来越多的作品提出了计算CFE的算法,但这种方法要么缺乏距离的最优性(即,它们不返回最近的个体)和完美覆盖(即,它们不为所有个体提供CFE);或者它们不能处理复杂的模型,例如神经网络。在这项工作中,我们提供了一个框架的基础上,混合编程(MIP)计算最近的反事实的解释,可证明的保证和运行时相媲美的梯度为基础的方法。我们在成人,COMPAS和信用数据集上的实验表明,与以前的方法相比,我们的方法可以有效地计算不同的CFE,同时具有距离保证和完美的覆盖率。
2021-02-08 cs.AI cs.LG cs.LO
A Survey on Explainable Anomaly Detection
Leiden Institute of Advanced Computer Science (LIACS), Leiden University(莱顿大学莱顿高级计算机科学研究所)
本文综述可解释异常检测技术,针对异常检测长期重精度、轻解释的问题,系统梳理最新方法并提出分类框架,以辅助研究者和从业者选择合适方案。
2023-07-11 cs.LG
Evaluation of Human-Understandability of Global Model Explanations using Decision Tree
University of Aberdeen(阿伯丁大学);Maastricht University(马斯特里赫特大学)
针对医疗场景非专业用户的AI模型解释需求,提出用决策树生成叙事性患者专属全局解释的方案,实验发现多数非专业用户偏好全局解释,相关评估结果可指导可信可执行的医疗信息系统设计。
2023-09-18 cs.AI cs.HC cs.LG
Selective Explanations
Harvard University(哈佛大学);IBM Research(IBM研究院)
提出选择性解释方法,通过检测低质量解释并使用带初始猜测的技术改进,以弥合摊销解释器与高质量解释器之间的差距。
2024-05-29 cs.CL cs.CY cs.LG
From Attribution to Action: A Human-Centered Application of Activation Steering
Fraunhofer Heinrich-Hertz-Institut(弗劳恩霍夫 Heinrich-Hertz 研究所);Technische Universität Berlin(柏林技术大学);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所)
提出结合SAE归因与激活导向的交互式工作流,通过专家访谈验证其能促进从检查到干预的转变,并揭示组件抑制等调试策略及潜在风险。
2026-05-26 cs.AI cs.HC cs.LG
Fair Recourse for All: Ensuring Individual and Group Fairness in Counterfactual Explanations
University of Applied Sciences and Arts of Southern Switzerland(瑞士南方应用科学与艺术大学);Università della Svizzera italiana(瑞士意大利大学)
本文提出了一种基于强化学习的方法,生成同时满足个体和群体公平性的反事实解释,以提升XAI的公平性和透明度。
2026-01-28 cs.AI cs.LG
Why Are You Wrong? Counterfactual Explanations for Language Grounding with 3D Objects
Institute of Advanced Computer Science, Leiden University(先进计算机科学研究所,莱顿大学);BMW Group(宝马集团)
本文针对3D物体语言接地中模型错误预测难以解释的问题,提出通过生成保持原描述结构且语义相似的反事实示例来揭示描述弱点与模型偏差,并在ShapeTalk数据集和三个模型上验证了其有效性。
2025-05-09 cs.AI cs.CV cs.LG
Coalitional strategies for efficient individual prediction explanation
Université de Toulouse-Capitole(图卢兹第一大学);IRIT(图卢兹计算机科学研究所);Kaduceo(Kaduceo公司)
随着机器学习(ML)现在广泛应用于许多领域,无论是在研究还是在工业中,对黑盒子内部发生的事情的理解正在成为一个日益增长的需求,特别是对于这些模型的非专家来说。因此,开发了几种方法,以提供对特定观测的模型预测的清晰见解,但代价是计算时间长或限制性假设,没有充分考虑到属性之间的相互作用。本文提供了方法的基础上检测的相关组的属性-命名联盟-影响预测,并与文献进行比较。我们的研究结果表明,这些联盟的方法是更有效的比现有的,如SHapley加法解释(SHAP)。计算时间缩短,同时保持可接受的精度的个人预测解释。因此,这使得解释方法能够更广泛地实际使用,以增加已开发的ML模型、最终用户以及受这些模型所起作用的任何决策影响的人之间的信任。
2021-04-01 cs.LG
TalkToModel: Explaining Machine Learning Models with Interactive Natural Language Conversations
UC Irvine(加州大学欧文分校);Harvard University(哈佛大学);AI2(艾伦人工智能研究所)
机器学习(ML)模型越来越多地用于在现实世界的应用中做出关键决策,但它们变得越来越复杂,使其更难理解。为此,研究人员提出了几种技术来解释模型预测。然而,实践者很难使用这些可解释性技术,因为他们往往不知道选择哪一种,以及如何解释解释的结果。在这项工作中,我们通过引入TalkToModel来解决这些挑战:一个通过对话解释机器学习模型的交互式对话系统。具体来说,TalkToModel由三个关键组件组成:1)用于参与对话的自然语言接口,使ML模型的可解释性高度可访问,2)适应任何表格模型和数据集的对话引擎,解释自然语言,将其映射到适当的解释,并生成文本响应,以及3)构建解释的执行组件。我们对TalkToModel进行了广泛的定量和人体评估。总的来说,我们发现会话系统能够高精度地理解用户在新数据集和模型上的输入,证明了系统对新情况的泛化能力。在对人类的真实世界评估中,73%的医疗保健工作者(例如,医生和护士)同意他们将在疾病预测任务中使用TalkToModel而不是基准点和点击系统来解释,85%的ML专业人员同意TalkToModel更容易用于计算解释。我们的研究结果表明,TalkToModel是更有效的模型的可解释性比现有的系统,为从业者介绍了一个新的类别的可解释性工具。代码和演示发布在这里:https://github.com/dylan-slack/TalkToModel。
2023-03-06 cs.AI cs.CL cs.LG
Truthful Meta-Explanations for Local Interpretability of Machine Learning Models
Aristotle University of Thessaloniki(亚里士多德大学)
基于自动化机器学习的系统由于其性能和速度而扩展到广泛的任务中。尽管采用基于ML的系统有许多优点,但如果它们不可解释,则不应将其用于危及人类生命的关键高风险应用中。为了解决这个问题,研究人员和企业一直专注于寻找提高复杂ML系统可解释性的方法,并且已经开发了几种这样的方法。事实上,有如此多的开发技术,从业者很难为他们的应用程序选择其中最好的,即使在使用评估指标。因此,显然需要一种选择工具,一种基于高质量评价指标的元解释技术。在本文中,我们提出了一个本地元解释技术,建立在真实性度量,这是一个基于忠诚度的度量。我们通过具体定义所有概念和实验来证明技术和度量的有效性。
2022-12-07 cs.AI cs.LG cs.LO
Measuring the Fragility of Trust: Devising Credibility Index via Explanation Stability (CIES) for Business Decision Support Systems
Bucharest University of Economic Studies(布加勒斯特经济研究大学)
本文提出CIES指标,通过解释稳定性衡量AI模型解释的可信度,验证模型复杂度和数据平衡对解释稳定性的影响,为商业决策系统提供可信度预警。
2026-03-05 cs.AI cs.LG
Statistical stability indices for LIME: obtaining reliable explanations for Machine Learning models
CRIF S.p.A.(CRIF公司)
如今,我们正在目睹业务流程向更计算驱动的方法转变。机器学习技术的不断增加的使用是这种趋势的最明显的例子。这种革命通常提供优势,例如提高预测准确性和缩短获得结果的时间。然而,这些方法存在一个主要缺点:很难理解算法做出决定的依据。为了解决这个问题,我们考虑LIME方法。我们给出了LIME的一般背景,然后,我们专注于稳定性问题:在相同条件下重复使用该方法,可能会产生不同的解释。两个互补的指标,提出了衡量石灰稳定性。从业者必须意识到这个问题,并有一个工具来发现它。稳定性保证LIME解释是可靠的,因此通过建议的指数进行稳定性评估是至关重要的。作为案例研究,我们将机器学习和经典统计技术应用于信用风险数据。我们在机器学习算法上测试LIME并检查其稳定性。最后,我们检查返回的解释是否合理。
2020-11-12 cs.AI cs.LG stat.ML
SurvSHAP(t): Time-dependent explanations of machine learning survival models
Warsaw University of Technology(华沙工业大学)
本文提出SurvSHAP(t),首个基于SHAP的时间依赖解释方法,用于解释生存黑盒模型,实验证明其能检测时间依赖变量且优于SurvLIME。
2022-09-07 cs.AI cs.LG stat.ML
Precision of Individual Shapley Value Explanations
University of Oslo(奥斯陆大学);The Alan Turing Institute(艾伦·图灵研究所)
本文研究表格模型中个体条件 Shapley 值解释的精度,发现所有估计方法对训练分布外围观测的解释均系统性更不精确,提醒从业者谨慎使用。
2023-12-06 cs.LG stat.AP stat.CO
Towards Realistic Individual Recourse and Actionable Explanations in Black-Box Decision Making Systems
Vector Institute(向量研究所);UIUC(伊利诺伊大学厄巴纳-香槟分校);Google Brain(谷歌大脑);UT Austin(德克萨斯大学奥斯汀分校)
基于机器学习的决策系统越来越多地影响人类。在这种决策系统下,个人可能会遭受不希望的结果(例如拒绝信贷),而不管决策是否公平或准确。个人追索权涉及提供一套可操作的改变,一个人可以采取,以改善其结果的问题。我们提出了一个追索算法,模型的基础数据分布或流形。然后,我们提供了一种机制,以产生最小的变化集,这将改善个人的结果。这种机制可以很容易地用于为任何基于可微机器学习的决策系统提供资源。此外,所得到的算法被证明是适用于监督分类和因果决策系统。我们的工作试图填补现有的公平性文献,主要集中在发现和/或算法上执行决策系统的公平性约束的空白。这项工作也提供了一种替代方法来产生反事实的解释。
2019-07-22 cs.LG stat.ML
Explanations of Black-Box Model Predictions by Contextual Importance and Utility
Umeå University(于默奥大学)
自主系统的重大进步以及更广泛的应用领域增加了对可信智能系统的需求。可解释的人工智能正在研究人员和开发人员中获得相当大的关注,以满足这一要求。虽然有越来越多的作品解释和透明的机器学习算法,他们主要是为技术用户。在许多有用的和实际的应用中,对最终用户的解释被忽视了。在这项工作中,我们提出了上下文的重要性(CI)和上下文的效用(CU)的概念,提取的解释,很容易理解的专家以及新手用户。该方法解释了预测结果,而无需将模型转换为可解释的模型。我们提出了一个例子,提供解释线性和非线性模型,以证明该方法的推广。CI和CU是可以以视觉和自然语言形式向用户表示的数值,以证明动作并解释针对个体实例、情况和上下文的推理。我们展示了在汽车选择的例子和鸢尾花分类的解释的效用,提出完整的(即个人预测的原因)和对比解释(即对比实例对感兴趣的实例)。实验结果表明了所提出的解释方法的可行性和有效性。
2020-05-30 cs.AI cs.LG
Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations
Element AI;MILA(蒙特利尔学习算法研究所);UdeM(蒙特利尔大学);McGill University(麦吉尔大学);HEC Montreal(蒙特利尔高等商学院)
考虑到部署更可靠的机器学习系统的重要性,机器学习模型的可解释性在研究界得到了相当大的关注。在计算机视觉应用中,生成反事实方法指示如何扰动模型的输入以改变其预测,提供有关模型决策的细节。目前的方法往往会产生关于模型决策的琐碎反事实,因为它们经常建议夸大或删除被分类属性的存在。对于机器学习从业者来说,这些类型的反事实几乎没有价值,因为它们没有提供关于不期望的模型或数据偏差的新信息。在这项工作中,我们确定了平凡的反事实生成的问题,我们提出了潜水来减轻它。潜水学习扰动的解纠缠的潜在空间,使用多样性强制损失的约束,以揭示多个有价值的解释模型的预测。此外,我们引入了一种机制,以防止模型产生琐碎的解释。在CelebA和Syndrome上的实验表明,与以前最先进的方法相比,我们的模型提高了产生高质量有价值解释的成功率。代码可在https://github.com/ElementAI/beyond-trivial-explanations上获得。
2021-11-11 cs.CV cs.LG
Linear Explanations for Individual Neurons
UC San Diego(加州大学圣迭戈分校);HDSI, UC San Diego(加州大学圣迭戈分校数据科学与创新研究所)
针对现有神经元解释仅关注最高激活的不足,本文提出将神经元视为概念的线性组合,给出高效线性解释方法,并通过视觉场景模拟评估描述质量。
2024-05-10 cs.CV cs.LG
Topological Methods in Machine Learning: A Tutorial for Practitioners
University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Central Florida(中佛罗里达大学)
本文是一篇面向实践者的拓扑机器学习教程,系统介绍持续同调和Mapper算法两种核心技术,并通过数据驱动的实现与案例展示其在真实问题中的应用价值。
2024-09-04 cs.CG cs.LG math.AT
Fidelity of Ensemble Aggregation for Saliency Map Explanations using Bayesian Optimization Techniques
Leibniz Universität Hannover(汉诺威莱布尼茨大学);dSPACE GmbH(dSPACE有限公司)
近年来,人们提出了大量解释神经网络的特征属性方法。特别是在计算机视觉领域,存在许多用于生成提供像素属性的显著图的方法。然而,他们的解释往往相互矛盾,不清楚哪种解释值得信赖。这个问题的一个自然解决方案是多种解释的聚合。我们提出并比较了不同的基于像素的聚合方案,其目标是生成一个新的解释,其模型的决定的保真度高于每个单独的解释。使用贝叶斯优化领域的方法,我们将个体解释之间的方差纳入聚合过程。此外,我们分析了多重归一化技术对集成聚合的影响。
2022-07-05 cs.CV cs.LG
One Explanation to Rule them All -- Ensemble Consistent Explanations
Bielefeld University(比勒费尔德大学);University of Cyprus(塞浦路斯大学)
透明度是部署在现实世界中的现代人工智能决策系统的主要要求。实现透明度的一种流行方法是通过解释。对于单一决策系统,人们提出了各种不同的解释。在实践中,通常的情况是使用一组(即整体)决策来代替单个决策,特别是在复杂系统中。不幸的是,单一决策系统的解释方法不容易适用于合奏-即,它们会产生一个合奏的个人解释不一定是一致的,因此更有用,更难以理解比一个单一的一致的解释所有观察到的现象。我们提出了一个新的概念,始终解释一个单一的解释,本地集成的决定-我们引入了一个正式的概念,以及使用反事实的解释的具体实施。
2022-05-18 cs.AI cs.LG
Do Fair Models Reason Fairly? Counterfactual Explanation Consistency for Procedural Fairness in Credit Decisions
本文提出CEC框架,通过对个体与反事实对照体的特征归因对齐,检测并缓解隐藏的程序性偏见,提升信用决策的公平性。
2026-05-12 cs.AI cs.CE cs.CY
Shedding Light on Black Box Machine Learning Algorithms: Development of an Axiomatic Framework to Assess the Quality of Methods that Explain Individual Predictions
KIT – University of the State of Baden-Wuerttemberg and National Laboratory of the Helmholtz Association(卡尔斯鲁厄理工学院——巴登-符腾堡州立大学暨亥姆霍兹联合会国家实验室)
从自动驾驶汽车和后空翻机器人,到为我们预约下一次美发沙龙或餐厅晚餐的虚拟助理,机器学习系统正变得越来越普遍。其主要原因是这些方法拥有卓越的预测能力。然而,这些模型中的大多数仍然是黑箱,这意味着人类要理解和理解它们复杂的内部工作是非常具有挑战性的。因此,在机器学习模型的这种不断增加的复杂性下,可解释性受到了影响。特别是对于新的法规,如通用数据保护条例(GDPR),这些黑匣子所做预测的可验证性和可验证性是必不可少的。在行业和实践需求的推动下,研究界已经认识到这一可解释性问题,并在过去几年中专注于开发越来越多的所谓解释方法。这些方法解释了由黑盒机器学习模型做出的个体预测,并有助于恢复一些失去的可解释性。然而,随着这些解释方法的扩散,通常不清楚哪种解释方法提供更高的解释质量,或者通常更适合手头的情况。在这篇论文中,我们因此提出了一个公理化的框架,它允许相互之间比较不同的解释方法的质量。通过实验验证,我们发现,开发的框架是有用的,以评估不同的解释方法的解释质量,并得出与独立研究一致的结论。
2018-08-15 cs.LG stat.ML
Provably Better Explanations with Optimized Aggregation of Feature Attributions
LMU Munich(慕尼黑大学);Siemens AG(西门子公司);Technical University of Munich(慕尼黑工业大学);University of Oxford(牛津大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);German Cancer Research Center (DKFZ)(德国癌症研究中心);Goethe University Frankfurt(法兰克福大学)
本文提出通过最优凸组合聚合多个特征归因方法,以可证明的方式提升解释的鲁棒性和忠实度,并在多种模型与归因技术上验证其优于单个方法及现有基线。
2024-06-07 cs.AI cs.CV cs.LG
DExT: Detector Explanation Toolkit
Bonn-Rhein-Sieg University of Applied Sciences(波恩-莱茵-锡格应用技术大学);University of Bremen(不来梅大学);University of Groningen(格罗宁根大学)
本文提出开源 DExT 工具包,利用基于梯度的方法和多目标可视化统一解释目标检测器的边界框与分类决策,并通过定量及人类评估验证其可信性。
2023-06-04 cs.CV cs.LG
Accurate and Intuitive Contextual Explanations using Linear Model Trees
American Express, AI Labs(美国运通人工智能实验室)
随着复杂的机器学习模型在金融领域的关键应用中越来越多地使用,解释模型的决策已成为必要。从信用评分到信用营销的应用程序,这些模型的影响是不可否认的。在人们可以解释这些复杂模型的决策的多种方式中,局部事后模型不可知论的解释得到了广泛采用。这些方法允许人们独立于训练时使用的建模技术来解释每个预测。作为解释,它们要么给出单个特征属性,要么提供足够的规则来表示要进行预测的条件。现有技术方法的当前状态使用基本方法来在要解释的点周围生成合成数据。其次是拟合简单的线性模型作为替代,以获得预测的局部解释。在本文中,我们寻求显着改善这两个,用于生成解释的方法和所产生的解释的性质。我们使用生成对抗网络来生成合成数据,并训练线性模型树形式的分段线性模型来作为代理模型。除了单个特征属性之外,我们还通过利用我们的代理模型的结构和属性来为我们的解释提供伴随的上下文。
2020-09-11 cs.AI cs.LG stat.ML
Provable concept learning for interpretable predictions using variational autoencoders
ETH Zürich(苏黎世联邦理工学院);Max-Planck-Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
在安全关键应用中,当没有可解释的解释时,从业者不愿意信任神经网络。许多提供这种解释的尝试围绕基于像素的属性或使用先前已知的概念。在本文中,我们的目的是提供可证明的识别\emph{high-level, previously unknown ground-truth concepts}的解释。为此,我们提出了一个概率建模框架,以获得(C)概念(L)收入和(P)预测(CLAP)-一个基于VAE的分类器,使用视觉上可解释的概念作为预测一个简单的分类器。假设地面实况概念的生成模型,我们证明CLAP能够识别它们,同时达到最佳的分类精度。我们在合成数据集上的实验验证了CLAP在合成数据集上识别出不同的地面实况概念,并在医学胸部X射线数据集上产生了有希望的结果。
2022-07-22 cs.LG stat.ME
Weight of Evidence as a Basis for Human-Oriented Explanations
Microsoft Research(微软研究院);University of Maryland(马里兰大学)
可解释性是现代机器学习方法的一个难以捉摸但非常受欢迎的特性。最近的工作集中在通过$\textit{explanations}$的可解释性,证明个别模型的预测。在这项工作中,我们从哲学、认知科学和社会科学的解释研究中汲取灵感,朝着协调机器解释与人类产生和偏好的解释迈出了一步。我们确定的关键方面,这些人类的解释不同于当前的机器解释,提炼成一个列表的desiderata,并通过信息论的概念,$\textit{weight of evidence}$,将它们形式化成一个框架。最后,我们实例化这个框架在两个简单的应用程序,并显示它产生直观和可理解的解释。
2019-10-29 cs.AI cs.LG stat.ML
Evaluating Neuron Explanations: A Unified Framework with Sanity Checks
UC San Diego(加州大学圣地亚哥分校)
本文将神经元解释评估方法统一到数学框架下,提出两项健全性检查,发现多个常用指标失效,并给出评估指南与可靠指标集合。
2025-06-06 cs.LG
What are the Machine Learning best practices reported by practitioners on Stack Exchange?
Universidad de los Andes(洛斯安第斯大学);Technische Universität Clausthal(克劳斯塔尔工业大学);Universidad Nacional(国立大学)
机器学习(ML)由于其推断数据内关系的强大能力而被用于多个学科。特别是,软件工程(SE)是ML已用于多个任务的学科之一,如软件分类,错误预测和测试。除了多种ML应用程序之外,还进行了一些研究来检测和理解使用ML时可能存在的陷阱和问题。然而,据我们所知,只有少数研究专注于提出ML在不同领域应用的最佳实践或指南。此外,先前文献(i)中提出的实践和文献是特定于领域的(例如,生物力学中的具体实践),(ii)描述很少的实践,或(iii)实践缺乏严格的验证,并在灰色文献中提出。在本文中,我们提出了一项研究,列出了127个ML最佳实践,系统地挖掘了14个不同Stack Exchange(STE)网站的242个帖子,并由四位独立的ML专家进行了验证。实践列表以一组与支持ML的系统的实施过程的不同阶段相关的类别呈现;对于每种实践,我们都包括解释和示例。在所有实践中,提供的示例都侧重于SE任务。我们希望这个实践列表可以帮助从业者更好地理解实践,并以更明智的方式使用ML,特别是这个位于软件工程和机器学习交叉点的新领域的新手。
2023-01-25 cs.LG cs.SE
SHAPCA: Consistent and Interpretable Explanations for Machine Learning Models on Spectroscopy Data
School of Computer Science and Information Technology(计算机科学与信息技术学院);Centre for Research Training in Artificial Intelligence(人工智能研究培训中心);Insight Centre for Data Analytics(数据分析洞察中心)
本文提出SHAPCA框架,结合主成分分析和SHAP方法,在原始输入空间提供可解释性,从全局和局部视角分析光谱数据驱动模型行为和个体预测的特征。
2026-03-19 cs.LG
Explanation-Guided Fairness Testing through Genetic Algorithm
Xi’an Jiaotong University(西安交通大学)
公平性是可信AI系统的一个重要属性。大量的研究提出了不同的方法来测试个人的公平性。然而,它们受到三大限制,即,低效率、低效益和模型特异性。这项工作提出了ExpGA,通过遗传算法(GA)的推理引导的公平性测试方法。ExpGA采用可解释方法产生的解释结果来收集高质量的初始种子,这些种子易于通过稍微修改特征值来获得歧视性样本。ExpGA然后采用GA搜索歧视性的样本候选人,通过优化的适应值。将解释结果与遗传算法相结合,使得ExpGA能够有效地检测出歧视个体。此外,ExpGA只需要测试模型的预测概率,从而导致更好的泛化能力,以各种模型。多个真实世界的基准测试,包括表格和文本数据集上的实验表明,ExpGA比四个国家的最先进的方法具有更高的效率和有效性。
2022-05-16 cs.LG cs.NE
Decisions, Counterfactual Explanations and Strategic Behavior
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
随着数据驱动的预测模型越来越多地用于为决策提供信息,人们认为决策者应该提供解释,帮助个人理解为了使这些决策成为有益的决策,必须改变什么。然而,很少有人讨论个人可能会使用上述反事实解释来战略性地投入努力,并最大限度地提高他们获得有利决策的机会。在本文中,我们的目标是找到政策和反事实的解释,是最佳的效用在这样的战略设置。我们首先表明,给定预定义的政策,找到最佳反事实解释集的问题是NP难的。然后,我们证明了相应的目标是非减的,并满足子模块性,这使得一个标准的贪心算法享受近似保证。此外,我们进一步表明,共同寻找最优策略和一组反事实解释的问题归结为最大化一个非单调子模函数。因此,我们可以使用最近的随机算法来解决这个问题,这也提供了近似保证。最后,我们证明,通过将拟阵约束到问题的制定,我们可以增加的多样性的最佳集的反事实的解释和激励个人在整个频谱的人口自我提高。合成和真实的贷款和信用卡数据上的实验说明了我们的理论研究结果,并表明我们的算法发现的反事实解释和决策策略比几个有竞争力的基线实现了更高的效用。
2020-10-14 cs.CY cs.GT cs.HC
Am I Being Treated Fairly? A Conceptual Framework for Individuals to Ascertain Fairness
Data Science and Computational Intelligence Institute (DaSCI), University of Granada(格拉纳达大学数据科学与计算智能研究所(DaSCI));University of Bergen(卑尔根大学);Department of Computer Science and Artificial Intelligence (DCSAI), University of Granada(格拉纳达大学计算机科学与人工智能系(DCSAI))
本文提出一个概念框架,赋予个体评估自动决策系统公平性的能力,将公平性视为个体的认知权利,使其能理解、质疑和验证决策,并为组织与政策制定者提供蓝图。
2025-04-03 cs.AI cs.CY cs.HC
Exact Shapley Values for Local and Model-True Explanations of Decision Tree Ensembles
Biodesix(百迪赛)
使用Shapley值的加性特征解释已经变得流行,用于提供每个特征对机器学习模型的个体预测的相对重要性的透明度。虽然Shapley值在合作博弈论中提供了一个独特的附加特征属性,但即使是单个机器学习模型也可以生成Shapley值,这远远不是唯一的,理论和实现决策会影响最终的属性。在这里,我们考虑应用Shapley值解释决策树集成,并提出了一种新的方法,Shapley值为基础的特征属性,可应用于随机森林和提升决策树。这种新方法提供了准确反映单个实例的模型预测算法细节的属性,同时在计算上与当前最广泛使用的方法之一竞争。我们解释了标准和新方法之间的理论差异,并使用合成和真实数据比较它们的性能。
2021-12-16 cs.LG
Automated Explanation of Machine Learning Models of Footballing Actions in Words
Uppsala University(乌普萨拉大学);Twelve Football
研究提出wordalizations方法,利用逻辑回归构建预期进球模型并结合大型语言模型生成射门描述,以弥合机器学习与足球教练沟通的鸿沟。
2025-04-01 cs.CL cs.HC cs.LG
Optimising Human-AI Collaboration by Learning Convincing Explanations
University of Cambridge(剑桥大学)
针对高风险决策中模型故障难以检测的问题,提出Ardent算法,通过交互学习个体偏好解释,让人类最终决策,实现安全高效的人机协作,并在图像分类任务中验证了其优于现有系统。
2023-11-13 cs.CV cs.HC cs.LG