"Why Should You Trust My Explanation?" Understanding Uncertainty in LIME Explanations
Cornell University（康奈尔大学）；Zshield Inc（Zshield公司）
解释机器学习黑箱模型的方法增加了结果的透明度，从而使人们深入了解算法的可靠性和公平性。然而，解释本身可能包含重大的不确定性，破坏了对结果的信任，并引起了对模型可靠性的担忧。聚焦于方法“本地可解释模型不可知解释”（LIME），我们证明了存在两个来源的不确定性，即在其采样过程中的随机性和不同的输入数据点的解释质量的变化。这种不确定性甚至存在于具有高训练和测试精度的模型中。我们将LIME应用于合成数据和两个公共数据集，20个新闻组中的文本分类和COMPAS中的累犯风险评分，以支持我们的论点。
2019-06-04 cs.AI cs.LG stat.ML
Why Uncertainty Calibration Matters for Reliable Perturbation-based Explanations
Siemens AG（西门子公司）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Goethe University Frankfurt（法兰克福歌德大学）；German Cancer Research Center (DKFZ)（德国癌症研究中心）；German Cancer Consortium (DKTK)（德国癌症联合会）
本文研究不确定性校准与基于扰动的解释的关系，提出ReCalX方法在保留原始预测的同时重校准模型，实验证明其能生成更符合人类感知与实际物体位置的解释。
2025-06-24 cs.AI cs.LG
Hypothesis Class Determines Explanation: Why Accurate Models Disagree on Feature Attribution
SRM Institute of Science and Technology（SRM科学与技术学院）
研究显示，预测等效模型在特征归因上存在显著差异，揭示了假设类对解释稳定性的影响，提出解释可靠性评分R(x)以评估解释稳定性。
2026-03-16 cs.AI cs.LG
Tell me why! Explanations support learning relational and causal structure
DeepMind（深度思维）
推理世界的抽象关系和因果结构是学习代理的主要挑战。对人类来说，语言-特别是以解释的形式-在克服这一挑战方面起着相当大的作用。在这里，我们证明了语言可以在复杂环境中为深度RL代理发挥类似的作用。虽然代理通常很难获得关系和因果知识，但通过训练他们预测语言描述和解释来增加他们的经验可以克服这些限制。我们表明语言可以帮助智能体学习具有挑战性的关系任务，并研究语言的哪些方面有助于其益处。然后，我们表明，解释可以帮助代理推断不仅关系，而且因果结构。语言可以塑造智能体从模糊的、因果混淆的训练中概括分布外的方式，解释甚至允许智能体学习执行实验干预以识别因果关系。我们的研究结果表明，语言描述和解释可能是提高智能体学习和泛化能力的有力工具。
2022-05-25 cs.AI cs.LG stat.ML
Tell me why: Training preferences-based RL with human preferences and step-level explanations
Ulm University（乌尔姆大学）；Institute of Artificial Intelligence（人工智能研究所）
针对PbRL反馈表达不足的问题，提出结合轨迹偏好与步骤级事实解释的偏好强化学习方法，并通过模拟人类预言机验证其可加快学习。
2024-08-05 cs.AI cs.HC cs.LG
Why do explanations fail? A typology and discussion on failures in XAI
本文针对XAI解释失败问题，提出系统性与用户性失败的类型学框架，倡导整体视角，以帮助从业者理解局限并提升解释质量。
2025-10-16 cs.AI cs.HC cs.LG
Why Does My Model Fail? Contrastive Local Explanations for Retail Forecasting
University of Amsterdam（阿姆斯特丹大学）；Ahold Delhaize（阿霍德德尔海兹）
在各种商业环境中，人们对使用更复杂的机器学习技术进行销售预测感兴趣。很难说服分析师及其上级采用这些技术，因为这些模型被认为是“黑匣子”，即使它们比当前使用的模型性能更好。我们研究的影响对比解释大错误的用户的态度对“黑箱”模型。我们提出了一个算法，合理预测的蒙特卡罗边界。在大误差的情况下，MC-BRP确定（1）将导致合理预测的特征值，以及（2）每个特征和目标之间的一般趋势，两者都基于蒙特卡洛模拟。我们通过对75名参与者进行用户研究，对真实用户的真实数据集进行评估，以确定MC-BRP生成的解释是否有助于用户理解为什么预测会导致较大的错误，以及这是否会促进对自动学习模型的信任。我们的研究表明，当提供这些对比解释时，用户能够回答关于模型预测的客观问题，总体准确率为81.1%。我们发现，看到MC-BRP解释的用户理解为什么该模型在预测中产生的大误差显著高于对照组的用户。我们还对从业者和研究者之间的态度差异进行了深入分析，并确认我们的结果在用户背景条件下成立。
2019-11-27 cs.AI cs.HC cs.LG
Why the Agent Made that Decision: Contrastive Explanation Learning for Reinforcement Learning
Syracuse University（苏塞克斯大学）；Air Force Research Laboratory（空军研究实验室）
本文提出对比解释学习框架VisionMask，通过自监督方式对比智能体所选动作与备选动作来生成解释，在多种强化学习环境中验证了其在忠实性、鲁棒性和复杂性上的优势，提升了智能体决策的可解释性。
2025-08-06 cs.AI cs.LG
"Why did you do that?": Explaining black box models with Inductive Synthesis
Uppsala University（乌普萨拉大学）
就其本质而言，黑盒模型的组成是不透明的。这使得产生对刺激反应的解释的能力具有挑战性。鉴于人工智能和机器学习系统的流行以及围绕它们建立法律和监管框架的需要，解释黑盒模型的重要性变得越来越重要。这样的解释也可以增加对这些不确定系统的信任。在我们的论文中，我们提出了RICE，一种用于生成解释的黑盒模型的行为的方法，通过（1）探测模型，提取模型输出的例子，使用灵敏度分析;（2）应用CNPInduce，归纳逻辑程序合成的方法，生成基于关键输入输出对的逻辑程序;（3）解释作为人类可读的解释的目标程序。我们通过生成一个人工神经网络的解释来演示我们的方法的应用，该神经网络被训练成在一个假设的自动驾驶汽车模拟中遵循简单的交通规则。最后，我们讨论了我们的方法的可扩展性和可用性及其潜在的应用程序，以简化关键的场景。
2019-04-17 cs.AI cs.LG
On Identifying Why and When Foundation Models Perform Well on Time-Series Forecasting Using Automated Explanations and Rating
本文结合传统XAI与RDE评估ARIMA、Gradient Boosting、Chronos及Llama在四类异构时间序列数据集上的表现，揭示基础模型与特征工程模型各自适用的情境及可解释性差异。
2025-08-28 cs.AI cs.LG
A New Class of Explanations for Classifiers with Non-Binary Features
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
该研究针对非二元特征分类器，提出基于新型量化算子的改进版完整理由，进而得到更丰富的充分与必要理由类新解释，提升了分类器决策的解释信息量。
2023-07-22 cs.AI cs.LG cs.LO
Rethinking Saliency Maps: A Cognitive Human Aligned Taxonomy and Evaluation Framework for Explanations
本文提出RFxG分类法，通过区分点对点与对比性解释及不同粒度，改进显著性图的评估框架，以更符合人类认知需求。
2025-11-18 cs.AI cs.CV cs.LG
Reproducibility review of "Why Not Other Classes": Towards Class-Contrastive Back-Propagation Explanations
KTH Royal Institute of Technology（KTH皇家理工学院）
复现Wang & Wang 2022的类对比反向传播解释方法，验证其泛化性并指出原论文细节不足与方程错误，提供开源代码。
2025-01-19 cs.CV cs.LG
Generalized SHAP: Generating multiple types of explanations in machine learning
The Wharton School of Business, University of Pennsylvania（宾夕法尼亚大学沃顿商学院）；University of Pennsylvania（宾夕法尼亚大学）
关于模型的许多重要问题不能仅仅通过解释每个特征对其输出的贡献来回答。为了回答更广泛的问题，我们概括了一个流行的，数学上有充分基础的解释技术，Shapley加法解释（SHAP）。我们的新方法-广义Shapley加法解释（G-SHAP）-产生了许多其他类型的解释，包括：1）一般分类解释;为什么这个样本更可能属于一个类而不是另一个？2)组间差异;为什么我们的模型的预测在不同的观察组之间存在差异？3)模型失败：为什么我们的模型在给定的样本上表现不佳？我们正式定义这些类型的解释，并说明其实际使用的真实数据。
2020-06-15 cs.LG stat.ML
When Explanations Lie: Why Many Modified BP Attributions Fail
Dahlem Center of Machine Learning and Robotics（达勒姆机器学习与机器人中心）；Freie Universität Berlin（柏林自由大学）
本文分析了多种修改后的BP归因方法，发现除DeepLIFT外大多数方法的解释与后续层参数无关，并提出了CSC指标和评估框架来衡量和解释这一缺陷。
2024-02-19 cs.LG stat.ML
Counterfactual Explanations for Predictive Business Process Monitoring
paluno - The Ruhr Institute for Software Technology（帕鲁诺——鲁尔软件技术研究所）
预测性业务流程监控越来越多地利用复杂的预测模型。虽然复杂模型的预测精度始终高于简单模型，但一个主要缺点是缺乏可解释性，这限制了它们在实践中的采用。因此，我们看到对可解释的预测业务流程监控的兴趣越来越大，其目的是提高预测模型的可解释性。现有的解决方案侧重于给出事实解释。虽然事实解释可能有帮助，但人类通常不会问为什么做出特定的预测，而是为什么做出它而不是另一个预测，即，人类对反事实的解释很感兴趣虽然可解释人工智能的研究产生了几种有前途的技术来生成反事实解释，但直接将它们应用于预测过程监控可能会产生不切实际的解释，因为它们忽略了底层的过程约束。我们提出了LORELEY，一种用于预测过程监控的反事实解释技术，它扩展了LORE，一种最近可解释的人工智能技术。我们施加控制流约束的解释生成过程，以确保现实的反事实的解释。此外，我们扩展了LORE，使解释多类分类模型。使用真实的公共数据集的实验结果表明，LORELEY可以近似预测模型的平均保真度为97.69%，并产生现实的反事实解释。
2022-02-24 cs.AI cs.LG
Why am I Still Seeing This: Measuring the Effectiveness Of Ad Controls and Explanations in AI-Mediated Ad Targeting Systems
Princeton University（普林斯顿大学）
本研究评估Meta转向AI中介定向后“See less”广告控制与定向解释的有效性，发现该控制未能显著减少相关广告且解释缺乏可操作性，表明亟需适应复杂AI广告系统的新透明度与控制方法。
2024-08-21 cs.AI cs.CY cs.HC
Feature Necessity & Relevancy in ML Classifier Explanations
University of Toulouse（图卢兹大学）；Univ. Paul Sabatier（保罗·萨巴蒂埃大学）；Universitat de Lleida（莱里达大学）；CNRS（法国国家科学研究中心）
给定机器学习（ML）模型和预测，解释可以被定义为足以用于预测的特征集。在某些应用程序中，除了要求解释之外，还必须了解敏感特征是否可以出现在某些解释中，或者不感兴趣的特征是否必须出现在所有解释中。本文首先将这些问题分别与基于逻辑的溯因推理中的关联性和必要性问题联系起来。然后证明了几个ML分类器的家庭成员和硬度的结果。然后分别给出了两类分类器的具体算法。实验结果证实了所提出的算法的可扩展性。
2023-02-07 cs.AI cs.LG
"Why Should I Trust You?": Explaining the Predictions of Any Classifier
University of Washington（华盛顿大学）
尽管被广泛采用，但机器学习模型仍然主要是黑箱。然而，了解预测背后的原因对于评估信任非常重要，如果一个人计划根据预测采取行动，或者选择是否部署新模型，这是至关重要的。这种理解还提供了对模型的洞察，可以用来将不可信的模型或预测转换为可信的模型或预测。在这项工作中，我们提出了LIME，一种新的解释技术，通过在预测周围局部学习可解释的模型，以可解释和忠实的方式解释任何分类器的预测。我们还提出了一种解释模型的方法，通过以非冗余的方式呈现代表性的个人预测及其解释，将任务框架为子模块优化问题。我们通过解释文本（例如随机森林）和图像分类（例如神经网络）的不同模型来展示这些方法的灵活性。我们通过新的实验，模拟和人类受试者，在各种需要信任的情况下显示解释的效用：决定是否应该信任预测，在模型之间进行选择，改进不值得信任的分类器，并确定为什么分类器不应该被信任。
2016-08-09 cs.AI cs.LG stat.ML
A Categorisation of Post-hoc Explanations for Predictive Models
University College Dublin（都柏林大学学院）
基于机器学习的预测模型在现代社会中无处不在，这自然会让人们问这些模型的可信度如何？在预测建模中，在准确性和可解释性之间进行权衡是很常见的。例如，医生想知道某些治疗对患者的有效性，或者为什么模型会建议对表现出这些症状的患者使用特定的药物？我们承认，可解释性的必要性是问题的不完全形式化的结果，或者更确切地说，是坚持一个特定概念的多重含义的结果。对于某些问题，仅仅得到答案（是什么）是不够的，模型还必须解释它是如何得出这个结论的（为什么），因为正确的预测只能部分解决原始问题。在这篇文章中，我们扩展了现有的分类技术，以帮助模型的可解释性和测试这种分类。
2019-04-04 cs.AI cs.LG
Why is "Problems" Predictive of Positive Sentiment? A Case Study of Explaining Unintuitive Features in Sentiment Classification
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文针对情感分类中“problems”等非直观特征与标签的关联，提出自动检测与解释方法，并通过众包实验验证其有效性，填补了XAI在此方向的研究空白。
2024-06-05 cs.AI cs.HC cs.LG
There Are Many Consistent Explanations of Unlabeled Data: Why You Should Average
Cornell University（康奈尔大学）
目前，最成功的半监督学习方法是基于一致性正则化，从而训练模型对其输入和参数的小扰动具有鲁棒性。为了理解一致性正则化，我们从概念上探讨了损失几何如何与训练过程相互作用。一致性损失大大提高了仅监督训练的泛化性能;然而，我们发现SGD难以收敛于一致性损失，并继续进行大的步骤，导致测试数据的预测发生变化。出于这些观察，我们提出了训练一致性为基础的方法与随机权重平均（SWA），最近的方法，平均权重沿SGD的轨迹与修改后的学习率调度。我们还提出了快速SWA，它通过对周期性学习率调度的每个周期内的多个点进行平均来进一步加速收敛。通过加权平均，我们在CIFAR-10和CIFAR-100上实现了最知名的半监督结果，超过了许多不同数量的标记训练数据。例如，我们在CIFAR-10上实现了5.0%的错误，只有4000个标签，而文献中以前的最佳结果为6.3%。
2019-02-21 cs.AI cs.CV cs.LG
Why Knowledge Distillation Works in Generative Models: A Minimal Working Explanation
New York University（纽约大学）；Genentech（基因泰克）
本文通过模拟和实验揭示了知识蒸馏在生成模型中通过精度与召回权衡提升生成质量的机制。
2026-01-14 cs.LG
Why is the User Interface a Dark Pattern? : Explainable Auto-Detection and its Analysis
Waseda University（早稻田大学）；National Consumer Affairs Center of Japan（日本国民生活中心）；Waseda Research Institute for Science and Engineering（早稻田大学理工学研究所）
本文研究可解释的暗模式自动检测，使用BERT模型在电子商务数据集上训练，并结合LIME和SHAP事后解释技术揭示影响暗模式预测的关键术语，以防止用户被操纵并促进更公平的互联网服务构建。
2023-12-30 cs.AI cs.HC cs.LG
Why Did This Model Forecast This Future? Closed-Form Temporal Saliency Towards Causal Explanations of Probabilistic Forecasts
Delft University of Technology（代尔夫特理工大学）
围绕低层次人类行为动态的预测任务对多个研究领域具有重要意义。在这种情况下，解释特定预测的方法可以使领域专家深入了解行为之间的预测关系。在这项工作中，我们介绍并解决以下问题：给定一个概率预测模型，我们如何确定观察到的窗口，该模型认为显着时，作出预测？我们建立在基于人类感知的信息理论显着性的一般定义基础上，并通过利用该领域的一个关键属性将其扩展到预测环境：单个观察可以导致多个有效的未来。我们建议表达的显着性观察到的窗口的差分熵的预测未来的分布。与现有的方法，要么需要显式训练的显着性机制或访问的预测模型的内部状态，我们获得了一个封闭形式的解决方案的显着性图中常用的密度函数在概率预测。我们经验性地展示了我们的框架如何使用合成的会话数据集从发言转向预测的样本任务的头部姿势特征中恢复显着的观察窗口。
2022-06-01 cs.AI cs.IT cs.LG
Why Are You Weird? Infusing Interpretability in Isolation Forest for Anomaly Detection
KU Leuven（鲁汶大学）
异常检测涉及识别数据集中不符合预期行为的示例。虽然存在大量的异常检测算法，但很少有人注意解释为什么这些算法将某些示例标记为异常。然而，这样的解释对任何解释算法输出的人都非常有用。本文开发了一种方法来解释国家的最先进的隔离森林异常检测算法的异常预测。该方法输出一个解释向量，该向量捕获示例的每个属性对于将其识别为异常的重要性。对合成和真实世界数据集的全面实验评估表明，我们的方法比大多数当代最先进的可解释性方法更准确，更有效。
2021-12-13 cs.LG
Why Are You Wrong? Counterfactual Explanations for Language Grounding with 3D Objects
Institute of Advanced Computer Science, Leiden University（先进计算机科学研究所，莱顿大学）；BMW Group（宝马集团）
本文针对3D物体语言接地中模型错误预测难以解释的问题，提出通过生成保持原描述结构且语义相似的反事实示例来揭示描述弱点与模型偏差，并在ShapeTalk数据集和三个模型上验证了其有效性。
2025-05-09 cs.AI cs.CV cs.LG
"Why is 'Chicago' deceptive?" Towards Building Model-Driven Tutorials for Humans
University of Colorado（科罗拉多大学）
为了用机器学习模型支持人类决策，我们经常需要阐明模型中嵌入的模式，这些模式对人类来说是不明显的、未知的或违反直觉的。虽然现有的方法专注于在实时辅助下解释机器预测，但我们探索了模型驱动的教程，以帮助人类在训练阶段理解这些模式。我们认为这两个教程的指导方针，从科学论文，类似于目前的做法，科学通信，并自动选择的例子，从训练数据与解释。我们使用欺骗性评论检测作为测试平台，并进行大规模的随机人类受试者实验，以检查此类教程的有效性。我们发现，教程确实提高了人类的表现，有和没有实时援助。特别是，尽管深度学习提供了比简单模型更优越的预测性能，但来自简单模型的教程和解释对人类更有用。我们的工作为以人为本的教程和解释提出了未来的方向，以实现人类和人工智能之间的协同作用。
2020-01-14 cs.AI cs.CL cs.CY
Why is the prediction wrong? Towards underfitting case explanation via meta-classification
Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能和替代能源委员会）；Conservatoire National des Arts et Métiers (CNAM)（法国国立工艺学院）
在本文中，我们提出了一个探试法，提供个人的解释数据集（数据点），其中错误的预测由一个给定的分类器的元素。由于一般情况下是太困难了，在目前的工作中，我们专注于错误的数据，从一个欠拟合的模型。首先，我们将错误数据投影到手工制作的，因此人类可读的中间表示（元表示，轮廓向量）中，目的是分离分类错误的两个主要原因：分类器不够强大，或者数据点属于输入空间中类别不可分离的区域。其次，在这些轮廓向量的空间中，我们提出了一种方法来拟合元分类器（决策树），并将其输出表示为一组可解释的（人类可读的）解释规则，这导致了几个目标诊断标签：数据点或者是正确分类，或者由于模型太弱而出错，或者由于输入空间中的混合（重叠）类而出错。在几个真实数据集上的实验结果显示出超过80%的诊断标签准确度，并确认所提出的中间表示允许相对于输入空间中使用的分类器和被分类的数据集实现高度的不变性，即，我们可以利用给定的分类器学习数据集上的元分类器，并成功地预测不同数据集或分类器的诊断标签（或两者）。
2023-02-20 cs.LG
Same Accuracy, Different Gene Panels: How the Hyperparameter Grid Chooses the Reported Explanation
University of Hertfordshire（赫特福德大学）
研究机器学习模型预测一致但解释不同的问题，引入EvoXplain框架，通过分析训练和模型选择过程中解释样本，判断解释是否唯一确定，揭示平均共识与单一训练模型的关系，将可解释性视为训练管道属性。
2026-07-07 cs.AI cs.LG
Why Does It Look There? Structured Explanations for Image Classification
Department of Computer Science, Tulane University, New Orleans LA 70118, USA（计算机科学系，路易斯安那大学，新奥尔良 LA 70118, 美国）；Department of Biochemistry and Molecular Biology, Tulane University School of Medicine, New Orleans LA 70112, USA（生物化学与分子生物学系，路易斯安那大学医学院，新奥尔良 LA 70112, 美国）
I2X通过结构化解释提升图像分类模型的可解释性和预测准确性。
2026-03-10 cs.CV cs.LG
Creating an Explainable Intrusion Detection System Using Self Organizing Maps
Mississippi State University（密西西比州立大学）；U.S Army Engineer Research and Development Center（美国陆军工程研究与发展中心）
现代人工智能（AI）支持的入侵检测系统（IDS）是复杂的黑匣子。这意味着安全分析师几乎没有解释或澄清IDS模型为什么做出特定的预测。解决这一问题的一个可能的方法是在现有的可解释人工智能（XAI）的基础上研究和开发可解释入侵检测系统（X-IDS）。在本文中，我们创建了一个自组织地图（SOM）的X-IDS系统，能够产生解释性的可视化。我们利用SOM的可解释性来创建全局和局部解释。分析人员可以使用全局解释来大致了解特定IDS模型如何计算预测。为各个数据点生成局部解释，以解释计算某个预测值的原因。此外，我们基于SOM的X-IDS使用NSL-KDD和CIC-IDS-2017数据集在解释生成和传统准确性测试方面进行了评估。
2022-07-15 cs.AI cs.CR cs.LG
Why Alignment Must Precede Distillation: A Minimal Working Explanation
New York University（纽约大学）；Genentech（基因泰克）
本文指出参考模型分布召回率会根本约束偏好对齐，并通过高斯混合与 SmolLM2 实验证明 Align→KD 优于 KD→Align。
2025-09-28 cs.LG
Causal Explanations from the Geometric Properties of ReLU Neural Networks
Department of Computer Science University of York（计算机科学系 英国约克大学）
研究通过ReLU神经网络的几何特性生成因果解释，直接提取网络行为规则，提升可解释性与安全性。
2026-05-11 cs.LG cs.NE
Explanatory Paradigms in Neural Networks
在这篇文章中，我们提出了一个跨越式的扩展，在神经网络的可解释性的研究，考虑解释作为答案的抽象推理为基础的问题。使用$P$作为来自神经网络的预测，这些问题是“为什么是P？”，“如果不是P呢？“为什么是P，而不是Q？”对于给定的对比度预测$Q$。这些问题的答案分别是观察到的相关性、观察到的反事实和观察到的对比解释。这些解释一起构成了溯因推理方案。我们把这三种解释模式称为观察到的解释范式。观察到的术语是指事后可解释性的特定情况，即在经过训练的神经网络做出决策$P$之后，解释性技术解释了决策$P$。通过基于溯因推理的问题来看待解释的主要优点是，解释可以在决策时用作理由。可解释性的事后领域，以前只证明决策是合理的，通过参与决策过程并提供有限的，但相关的和上下文的干预而变得活跃。这篇文章的贡献是：（$i$）将解释实现为推理范式，（$ii$）提供观察到的解释的概率定义及其完整性，（$iii$）创建用于评价解释的分类，以及（$iv$）定位跨多个应用和数据模态的基于梯度的完全可重复性的可复制性和可再现性，（$v$）代码库，可在www.example.com公开获得https://github.com/olivesgatech/Explanatory-Paradigms。
2022-02-24 cs.CV cs.LG
Instance-wise or Class-wise? A Tale of Neighbor Shapley for Concept-based Explanation
Zhejiang University（浙江大学）；Columbia University（哥伦比亚大学）；University of Rochester（罗切斯特大学）
深度神经网络在许多数据驱动和面向预测的应用中表现出卓越的性能，有时甚至比人类表现得更好。然而，它们最大的缺点是缺乏可解释性，这使得它们在许多现实世界的应用中不那么有吸引力。当涉及道德问题或不确定的环境因素时，如犯罪判断，财务分析和医疗诊断，挖掘模型预测的证据（解释模型知识）以说服人类是至关重要的。因此，研究如何解释模型知识对于学术研究和实际应用都是至关重要的。
2023-02-21 cs.LG
Grad-CAM: Why did you say that?
Virginia Tech（弗吉尼亚理工大学）
我们提出了一种技术，通过可视化对预测或视觉解释“重要”的输入区域，使基于卷积神经网络（CNN）的模型更加透明。我们的方法，称为加权类激活映射（梯度CAM），使用类特定的梯度信息本地化的重要区域。这些本地化与现有的像素空间可视化相结合，创建一个新的高分辨率和类歧视可视化称为引导梯度CAM。这些方法有助于更好地理解基于CNN的模型，包括图像字幕和视觉问答（VQA）模型。我们评估我们的视觉解释，通过测量他们的能力，区分类，激发对人类的信任，以及他们与遮挡地图的相关性。Grad-CAM为理解基于CNN的模型提供了一种新的方法。我们已经发布了代码，在CloudCV上托管的在线演示，以及此扩展摘要的完整版本。
2017-01-25 cs.CV cs.LG stat.ML
What Neural Networks Memorize and Why: Discovering the Long Tail via Influence Estimation
Apple（苹果公司）；Google Research, Brain Team（谷歌研究院 Brain 团队）
众所周知，深度学习算法具有非常好地拟合训练数据的倾向，并且通常甚至拟合离群值和错误标记的数据点。这种拟合需要记住训练数据标签，这一现象已经引起了重大的研究兴趣，但迄今为止还没有给出令人信服的解释。Feldman（2019）最近的一项工作基于两种见解的结合提出了对这一现象的理论解释。首先，自然图像和数据分布（非正式地）已知是长尾的，即具有显著比例的罕见和非典型示例。第二，在一个简单的理论模型中，当数据分布是长尾时，这种记忆对于实现接近最优的泛化误差是必要的。然而，没有为这一解释提供直接的经验证据，甚至也没有提供获得这种证据的方法。在这项工作中，我们设计实验来测试这个理论中的关键思想。实验需要估计每个训练样本对每个测试样本的准确度的影响以及训练样本的记忆值。直接估计这些数量是计算禁止，但我们表明，密切相关的子采样的影响和记忆值可以更有效地估计。我们的实验证明了记忆泛化的几个标准基准的显着好处。它们还为（Feldman，2019）中提出的理论提供了定量和视觉上令人信服的证据。
2020-08-09 cs.LG stat.ML
