Investigating the Impact of Model Instability on Explanations and Uncertainty
University of Copenhagen(哥本哈根大学)
本文通过在推理时引入噪声扰动,研究模型不稳定性对解释和不确定性的影响,发现高不确定性不一定意味着低解释合理性,且噪声增强模型在不确定时更擅长识别显著标记,同时显著性图鲁棒性可指示模型稳定性问题。
2024-06-04 cs.CL cs.LG
Uncertainty Estimation and Out-of-Distribution Detection for Counterfactual Explanations: Pitfalls and Solutions
University College Dublin(都柏林大学学院);Insight Centre for Data Analytics(洞察数据分析中心);VistaMilk SFI Research Centre(VistaMilk SFI研究中心)
虽然最近已经提出了丰富的技术来生成不透明的黑盒系统的预测的反事实的解释,显着较少的注意力已经支付到探索这些生成的解释的不确定性。这在高风险场景中成为一个关键问题,在这种场景中,不确定和误导性的解释可能会产生可怕的后果(例如,医疗诊断和治疗计划)。此外,通常难以确定所生成的解释是否在训练数据中有良好的基础并且对分布偏移敏感。本文提出了几种实用的解决方案,可以通过与其他研究作品在可解释性方面建立新的联系来解决这些问题(例如,信任分数)和不确定性估计(例如,Monte Carlo Dropout)。两个实验证明了我们提出的解决方案的实用性。
2021-07-20 cs.AI cs.LG
Fast Calibrated Explanations: Efficient and Uncertainty-Aware Explanations for Machine Learning Models
Jönköping University(延雪平大学);University of Bologna(博洛尼亚大学)
提出 Fast Calibrated Explanations,融合 ConformaSight 扰动技术与 CE 核心要素,在保留校准预测、局部特征重要性及不确定性量化的同时显著提升解释生成效率。
2024-10-28 cs.AI cs.CY cs.LG
Conceptualizing Uncertainty: A Concept-based Approach to Explaining Uncertainty
Bielefeld University(比勒菲尔德大学)
针对高维场景下机器学习不确定性解释难、现有方法仅支持局部解释的问题,提出基于概念激活向量的方法,可生成局部与全局不确定性解释,并验证其可用于优化模型。
2025-07-29 cs.AI cs.LG
Show or Suppress? Managing Input Uncertainty in Machine Learning Model Explanations
National University of Singapore(新加坡国立大学)
特征属性在可解释的机器学习中被广泛用于解释每个测量的输入特征值对输出推断的影响程度。然而,测量可能是不确定的,目前还不清楚如何输入不确定性的意识会影响解释的信任。我们提出并研究了两种方法来帮助用户管理他们对模型解释中的不确定性的感知:1)透明地显示特征属性中的不确定性,以允许用户进行反思; 2)通过不确定性惩罚正则化来抑制对具有不确定性测量的特征的归因,并将归因转移到其他特征。通过模拟实验,定性访谈和定量用户评价,我们确定了适度抑制归因不确定性的好处,以及对归因不确定性的关注。这项工作增加了对处理和沟通模型可解释性的不确定性的理解。
2021-01-23 cs.AI cs.HC cs.LG
Robust Explanations Through Uncertainty Decomposition: A Path to Trustworthier AI
CNRS(法国国家科学研究中心);Université de technologie de Compiègne(图卢兹技术大学);UMR CNRS 7253 Heudiasyc(CNRS 7253 Heudiasyc 联合研究单位)
本文提出利用偶然与认知不确定性的分解来指导解释方法选择,并以认知不确定性作为不可靠解释的拒绝标准,从而提升传统机器学习和深度学习中解释的稳健性与可获取性。
2025-07-17 cs.LG
Uncertainty-Aware Explainable Federated Learning
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
本文提出 UncertainXFL 框架,首次在联邦学习中显式评估解释的不确定性,并利用不确定性分数加权聚合客户端模型,从而同时提升模型准确率与解释可靠性。
2025-03-07 cs.AI cs.DC cs.LG
Why Uncertainty Calibration Matters for Reliable Perturbation-based Explanations
Siemens AG(西门子公司);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Goethe University Frankfurt(法兰克福歌德大学);German Cancer Research Center (DKFZ)(德国癌症研究中心);German Cancer Consortium (DKTK)(德国癌症联合会)
本文研究不确定性校准与基于扰动的解释的关系,提出ReCalX方法在保留原始预测的同时重校准模型,实验证明其能生成更符合人类感知与实际物体位置的解释。
2025-06-24 cs.AI cs.LG
δ-CLUE: Diverse Sets of Explanations for Uncertainty Estimates
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦图灵研究所)
为了解释可微概率模型的不确定性估计,最近的工作提出了生成反事实潜在不确定性假设(CLUE)。然而,对于单个输入,由于缺乏对解释的约束,这种方法可以输出各种解释。在这里,我们增强了原始的CLUE方法,以提供我们称之为$δ$ -CLUE的方法。CLUE指示$\it{one}$改变输入的方式,同时保留在数据流形上,使得模型对其预测变得更有信心。相反,我们返回一个$\it{set}$的合理线索:多个不同的输入,在潜在空间中的原始输入的$δ$球内,所有这些都产生可信的预测。
2021-12-03 cs.AI cs.LG stat.ML
Calibrated Explanations: with Uncertainty Information and Counterfactuals
Jönköping University(延雪平大学);University of Borås(布罗斯大学)
本文提出名为Calibrated Explanations(CE)的新型特征重要性解释方法,基于Venn-Abers校准模型并量化特征权重与概率估计的不确定性,支持生成反事实解释,在25个基准数据集上验证了其快速、可靠、稳定和稳健的有效性。
2023-11-04 cs.AI cs.LG
Improving Perturbation-based Explanations by Understanding the Role of Uncertainty Calibration
Siemens AG(西门子股份公司);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Goethe University Frankfurt(法兰克福歌德大学);German Cancer Research Center (DKFZ)(德国癌症研究中心);German Cancer Consortium (DKTK)(德国癌症联合会)
针对基于扰动的机器学习模型解释易受扰动下模型置信度失准影响的问题,本文提出ReCalX重校准方法,在保留原始预测的同时降低扰动相关校准误差,提升解释鲁棒性与重要特征识别效果。
2025-11-13 cs.AI cs.LG
When Explanations Compete: Policy-Aware Selection Under Uncertainty
Jönköping University(延雪平大学);Jönköping AI Lab(延雪平人工智能实验室)
针对现有可解释AI方法无法指导降低预测中认知不确定性的问题,本文提出ensured解释等新型解释方式与ensured排序指标,扩展Calibrated Explanations方法以可视化特征变化对不确定性的影响,提升不确定场景下的模型可解释性与信任度。
2026-10-07 cs.AI cs.LG
Uncertainty Quantification for Local Model Explanations Without Model Access
Stanford University(斯坦福大学);Edge & Node;Microsoft(微软);Google DeepMind(谷歌DeepMind)
提出一种无需直接访问模型、仅基于静态输入输出样本生成局部解释及不确定性区间的模型无关算法,通过自助法量化有限样本带来的不确定性,在区间宽度与覆盖概率上优于现有方法并适用于真实黑盒模型。
2023-06-24 cs.AI cs.LG stat.ME
CAREF: Calibration-Aware Regularization for Explanation Faithfulness Without Rationale Supervision
MARSAIL;Chulalongkorn University(朱拉隆梭大学);PBYAIL (Panboonyuen AI Lab)(PBYAIL(Panboonyuen人工智能实验室))
提出CAREF框架,通过校准感知正则化联合优化预测准确性和解释忠实性,无需理由监督,在四个NLE基准上以少量可训练参数取得最佳性能。
2026-06-01 cs.CL cs.LG
Uncertainty Quantification of Surrogate Explanations: an Ordinal Consensus Approach
TU Dresden(德累斯顿工业大学);University of Bristol(布里斯托大学)
黑盒机器学习模型的可解释性至关重要,特别是在医学或自动驾驶汽车等关键应用中部署时。现有的方法产生的解释模型的预测,然而,如何评估这种解释的质量和可靠性仍然是一个悬而未决的问题。在本文中,我们更进一步,以便为从业者提供工具来判断解释的可信度。为此,我们通过测量一组不同的自举代理解释者之间的有序共识来估计给定解释的不确定性。虽然我们鼓励多样性,使用集成技术,我们提出和分析指标,通过一个评级计划,聚合内的一组解释器中包含的信息。我们通过对最先进的卷积神经网络集成的实验来实证说明这种方法的特性。此外,通过量身定制的可视化,我们展示了具体的情况下,不确定性估计提供了具体的可操作的见解,用户超出了标准的替代解释。
2021-11-17 cs.AI cs.LG stat.ML
CONFEX: Uncertainty-Aware Counterfactual Explanations with Conformal Guarantees
Department of Informatics, King’s College London(伦敦国王学院信息学院);Department of Computer Science, University of Manchester(曼彻斯特大学计算机科学系)
CONFEX提出一种结合保形预测与混合整数线性规划的方法,生成具有局部覆盖保证的不确定性感知反事实解释,在预测不确定性和最优性上提供严格保证,并验证其稳健性与合理性。
2025-10-23 cs.LG
QUCE: The Minimisation and Quantification of Path-Based Uncertainty for Generative Counterfactual Explanations
School of Mathematics and Computer Science(数学与计算机科学学院);Swansea University(斯旺西大学);Department of Finance, Insurance and Real Estate(金融、保险与房地产系);Université Laval(拉瓦尔大学);Lee Kong Chian School of Medicine(李科珍医学院);School of Computer Science and Engineering(计算机科学与工程学院);Nanyang Technological University(南洋理工大学)
QUCE通过最小化路径不确定性,缓解深度神经网络分布外遍历导致的解释性能下降,并量化不确定性以生成更确定的反事实示例。
2025-05-24 cs.AI cs.LG
Concerning Uncertainty -- A Systematic Survey of Uncertainty-Aware XAI
本文系统调研了将不确定性纳入解释性流程的方法,指出三种不确定性量化方法及整合策略,强调评价实践碎片化,呼吁统一评估原则以提升解释性与可靠性的一致性。
2026-03-27 cs.AI cs.LG
Is Your Explanation Reliable: Confidence-Aware Explanation on Graph Neural Networks
New Jersey Institute of Technology(新泽西理工学院);Arizona State University(亚利桑那州立大学);Florida International University(佛罗里达国际大学)
本文提出ConfExplainer框架,通过广义图信息瓶颈与置信度约束量化GNN解释的可靠性,实验证明其能提升解释的可信度与鲁棒性。
2025-05-31 cs.AI cs.LG
Diverse, Global and Amortised Counterfactual Explanations for Uncertainty Estimates
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所)
为了解释来自可微概率模型的不确定性估计,最近的工作提出了针对模型不确定的给定数据点生成单个反事实潜在不确定性解释(CLUE),识别输入的单个流形上变化,使得模型在其预测中变得更加确定。我们扩大探索,以检查$δ$ -线索,潜在的CLUE内的一个$δ$球的原始输入在潜在空间。我们研究了这些集合的多样性,发现许多CLUE是冗余的;因此,我们提出了DIVerse CLUE($\nabla$ -CLUE),一组CLUE,每个CLUE都提出了一个不同的解释,说明如何减少与输入相关的不确定性。然后,我们进一步提出了全球摊销的CLUE(GLAM-CLUE),一个独特的和新颖的方法,学习摊销的映射特定组的不确定的输入,采取他们和有效地将它们在一个单一的函数调用到输入的模型将是肯定的。我们的实验表明,$δ$,$\nabla$ -CLUE和GLAM-CLUE都解决了CLUE的缺点,并为从业者提供了有益的解释不确定性估计。
2021-12-09 cs.AI cs.CY cs.LG
DA-DGCEx: Ensuring Validity of Deep Guided Counterfactual Explanations With Distribution-Aware Autoencoder Loss
Ikerlan Technology Research Centre(伊克尔兰技术研究中心);Basque Research and Technology Alliance (BRTA)(巴斯克研究与技术联盟);Mondragon University(蒙德拉贡大学)
深度学习已经成为不同领域中非常有价值的工具,没有人怀疑这些模型的学习能力。然而,由于深度学习模型由于缺乏可解释性而经常被视为黑匣子,因此在其决策过程中存在普遍的不信任。为了在有效性和可解释性之间找到平衡,可解释人工智能(XAI)近年来越来越受欢迎,该领域的一些方法用于生成反事实解释。生成这些解释的过程通常包括为要解释的每个输入求解优化问题,这在需要实时反馈时是不可行的。为了加快这个过程,一些方法利用自动编码器来生成即时的反事实解释。最近,提出了一种称为深度引导反事实解释(DGCEx)的方法,该方法训练了一个连接到分类模型的自动编码器,以生成简单的反事实解释。然而,该方法不能确保生成的反事实实例接近数据流形,因此可能生成不切实际的反事实实例。为了克服这个问题,本文提出了分布式感知深度引导反事实推理(DA-DGCEx),它在DGCEx成本函数中添加了一个项,该项对分布式反事实实例进行惩罚。
2021-04-22 cs.AI cs.LG
Communicating Uncertainty in Machine Learning Explanations: A Visualization Analytics Approach for Predictive Process Monitoring
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Saarland University(萨尔兰大学)
本文研究如何将模型不确定性量化与PDP、ICE等事后解释方法结合,并通过可视化分析界面在制造业预测性流程监控中验证其有效性与可靠性。
2023-04-12 cs.AI cs.LG stat.AP
Boundary-Aware Uncertainty for Feature Attribution Explainers
Northeastern University(东北大学)
本文提出 GPEC 框架,通过融合决策边界感知与解释函数逼近的不确定性,并引入测地线核,量化任意黑盒分类器特征归因解释的可信度。
2024-03-04 cs.LG
Uncertainty Propagation in XAI: A Comparison of Analytical and Empirical Estimators
Berliner Hochschule für Technik(柏林应用技术大学);Einstein Center Digital Future(爱因斯坦数字未来中心)
本文提出统一框架量化XAI中的不确定性传播,通过解析与经验估计器比较,识别出无法可靠捕获和传播不确定性的XAI方法,为高风险应用中的不确定性感知解释提供新见解。
2025-04-01 cs.AI cs.CV cs.LG
Context-Aware Visualization for Explainable AI Recommendations in Social Media: A Vision for User-Aligned Explanations
Newcastle University(纽卡斯尔大学)
针对社交媒体AI推荐解释通用、未对齐用户需求的问题,提出首个在单一流水线中同时适配解释风格和粒度的上下文感知可视化解释系统,将通过30名X用户的公开试点验证其对决策和信任的影响。
2025-08-01 cs.AI cs.HC cs.LG
Causality-Aware Local Interpretable Model-Agnostic Explanations
University of Pisa(比萨大学)
本文针对XAI方法的特征独立性假设缺陷,提出一种整合因果知识的局部模型无关解释器扩展,通过在数据中编码显式因果关系,提升了黑盒模型解释的忠实度、一致性与可靠性。
2024-04-15 cs.AI cs.LG
VOICE: Variance of Induced Contrastive Explanations to quantify Uncertainty in Neural Network Interpretability
Georgia Institute of Technology(佐治亚理工学院)
本文提出VOICE方法,通过量化基于梯度的视觉解释技术中的预测不确定性,揭示错误预测下解释技术对归因特征的不确定性,并发现其客观指标与认知不确定性表现相似。
2024-06-01 cs.CV cs.LG
Reliable Post hoc Explanations: Modeling Uncertainty in Explainability
UC Irvine(加州大学欧文分校);Harvard University(哈佛大学)
随着黑箱解释越来越多地被用于在高风险环境中建立模型可信度,确保这些解释准确可靠非常重要。然而,先前的工作表明,最先进的技术产生的解释是不一致的,不稳定的,并提供很少的洞察其正确性和可靠性。此外,这些方法在计算上也是低效的,并且需要显著的超参数调整。在本文中,我们通过开发一种新的贝叶斯框架来解决上述挑战,该框架用于生成本地解释及其相关的不确定性。我们实例化这个框架,以获得贝叶斯版本的LIME和KernelSHAP输出可信区间的功能的重要性,捕捉相关的不确定性。由此产生的解释不仅使我们能够对它们的质量做出具体的推断(例如,有95%的机会特征重要性位于给定范围内),但也是高度一致和稳定的。我们进行了详细的理论分析,利用上述不确定性来估计要采样多少扰动,以及如何采样以加快收敛。这项工作首次尝试用流行的解释方法一次性解决几个关键问题,从而以计算效率高的方式产生一致,稳定和可靠的解释。多个真实世界的数据集和用户研究的实验评估表明,所提出的框架的有效性。
2021-11-06 cs.LG stat.ML
Explanation-Aware Experience Replay in Rule-Dense Environments
University of Bologna(博洛尼亚大学);University of Cambridge(剑桥大学)
人类环境通常由明确而复杂的规则集来调节。将强化学习(RL)代理集成到这样的环境中,可以促进学习机制的发展,这些学习机制在规则密集和异常充斥的环境中表现良好,例如在受管制的道路上进行自动驾驶。在本文中,我们提出了一种组织经验的方法,通过分区的经验缓冲区成集群标记的每解释的基础上。我们提出了与模块化规则集和9个学习任务兼容的离散和连续导航环境。对于具有可解释规则集的环境,我们将基于规则的解释转换为基于案例的解释,方法是将状态转换分配到标有解释的聚类中。这使我们能够以课程和任务为导向的方式进行体验,专注于事件的稀有性,重要性和意义。我们把这个概念称为解释-意识(XA)。我们执行XA体验重放(XAER)与集群内和集群间的优先级,并引入XA兼容版本的DQN,TD 3和SAC。与传统的优先体验重放基线相比,这些算法的XA版本的性能始终优于传统的优先体验重放基线,这表明解释工程可以用于替代具有可解释功能的环境的奖励工程。
2021-12-16 cs.AI cs.LG cs.RO
Uncertainty-Aware Machine Translation Evaluation
Instituto de Telecomunicações(电信研究所);Unbabel(Unbabel公司);INESC-ID(葡萄牙系统与计算机工程研究所(里斯本分部));Instituto Superior Técnico(高等技术学院);LUMLIS (Lisbon ELLIS Unit)(里斯本ELLIS单元LUMLIS)
最近提出了几种基于神经的度量来评估机器翻译质量。然而,所有这些方法都采用点估计,这在分部一级提供的信息有限。更糟糕的是,它们是在嘈杂、有偏见和缺乏人类判断的情况下训练的,往往导致不可靠的质量预测。在本文中,我们介绍了不确定性感知MT评估和分析的可信度的预测质量。我们将COMET框架与两种不确定性估计方法(Monte Carlo dropout和deep ensembles)相结合,以获得质量分数和置信区间。我们比较了QT21数据集和WMT20指标任务中多个语言对的不确定性感知MT评估方法的性能,并使用MQM注释进行了增强。我们实验不同数量的参考文献,并进一步讨论了有用的不确定性意识的质量估计(没有参考文献),标志可能是关键的翻译错误。
2022-03-24 cs.CL cs.LG
SAUP: Situation Awareness Uncertainty Propagation on LLM Agent
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);NEC Labs America(美国NEC实验室);NEC Corporation(NEC公司)
针对LLM智能体多步决策中现有方法无法解释累积不确定性与动态交互的问题,提出SAUP框架,通过态势权重整合态势感知并传播每步不确定性,兼容单步技术,实验显示其AUROC较SOTA提升达20%。
2024-12-02 cs.CL cs.LG
Uncertainty-aware INVASE: Enhanced Breast Cancer Diagnosis Feature Selection
Peking University(北京大学);Virginia Military Institute(弗吉尼亚军事学院)
在本文中,我们提出了一个不确定性感知的INVASE来量化医疗保健问题的预测置信度。通过引入可学习的高斯分布,我们将它们的方差进行统计,以衡量不确定性的程度。基于vanilla INVASE,提出了两个附加模块,即,预测器中的不确定性量化模块和选择器中的奖励塑造模块。我们在UCI-WDBC数据集上进行了广泛的实验。值得注意的是,我们的方法消除了几乎所有的预测偏差,只有大约20%的查询,而不确定性不可知的对应需要近100%的查询。在https://github.com/jx-zhong-for-academic-purpose/Uncertainty-aware-INVASE/blob/main/tutorialinvase%2B.ipynb上可以找到带有详细教程的开源实现。
2021-05-04 cs.AI cs.CV cs.LG
PPO-UE: Proximal Policy Optimization via Uncertainty-Aware Exploration
Virginia Tech(弗吉尼亚理工大学);University of Oslo(奥斯陆大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室);University of Texas at Dallas(德克萨斯大学达拉斯分校);University of the District of Columbia(哥伦比亚特区大学)
近端策略优化(PPO)是一种非常流行的基于策略的深度强化学习(DRL)方法。然而,我们观察到PPO中的同质探索过程可能会在训练阶段导致意想不到的稳定性问题。为了解决这个问题,我们提出了PPO-UE,一个PPO的变种配备了自适应的不确定性感知探索(UE)的基础上的比例不确定性水平。所提出的PPO-UE被设计为以优化的比率不确定性水平来提高收敛速度和性能。通过广泛的灵敏度分析,通过改变比例的不确定性水平,我们提出的PPO-UE在Roboschool连续控制任务中大大优于基线PPO。
2022-12-13 cs.AI cs.LG
CXPlain: Causal Explanations for Model Interpretation under Uncertainty
ETH Zurich(苏黎世联邦理工学院)
特征重要性估计可以告知用户给定输入对预测模型输出的影响程度,这对于理解、验证和解释机器学习模型至关重要。然而,为高维数据提供快速准确的特征重要性估计,并量化这种估计的不确定性仍然是一个挑战。在这里,我们将为机器学习模型的决策提供解释的任务定义为因果学习任务,并训练因果解释(CXPlain)模型,该模型学习估计某些输入在多大程度上导致另一个机器学习模型的输出。CXPlain一旦经过训练,就可以在很短的时间内解释目标模型,并通过自举集成量化与其特征重要性估计相关的不确定性。我们目前的实验表明,CXPlain是显着更准确,更快,比现有的模型无关的方法来估计特征的重要性。此外,我们确认CXPlain集成提供的不确定性估计与其准确估计特征重要性的能力密切相关。
2019-10-27 cs.LG stat.ML
Uncertainty Quantification as a Principled Foundation for Explainable Artificial Intelligence: A Case Study of Counterfactual Explanations
Department of Informatics, USI Lugano(乌里大学信息学院);Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系);Institute of Informatics, LMU Munich(慕尼黑大学信息研究所)
本文通过反事实可解释性中的不确定性量化,展示其作为统一框架的潜力,提出两种解释器变体,并证明其在性能上优于现有方法。
2026-05-15 cs.AI cs.LG stat.ML
Uncertainty-Aware Boosted Ensembling in Multi-Modal Settings
BITS Pilani, K K Birla Goa Campus(比拉理工学院皮拉尼校区果阿分校);Harvard Medical School(哈佛医学院)
机器学习(ML)系统的可靠性在医疗保健等安全关键型应用中至关重要,而不确定性估计是一种广泛研究的方法,用于突出ML系统在部署中的置信度。顺序和并行集成技术已经显示出通过一起利用特征集来提高ML系统在多模态设置中的性能。我们提出了一种用于多模态集成的不确定性感知提升技术,以便专注于具有较高相关不确定性估计的数据点,而不是具有较高损失值的数据点。我们评估这种方法对涉及现实世界的多模态语音和文本数据的痴呆症和帕金森病相关的医疗保健任务,其中我们的方法显示出改进的性能。进一步的分析表明,将不确定性意识引入到增强的集合中会降低系统的整体熵,使其对数据中的异方差更鲁棒,并更好地校准每个模态以及高质量的预测区间。我们在https://github.com/usarawgi911/Uncertainty-aware-boosting上开源了整个代码库
2021-04-21 cs.AI cs.LG
Uncertainty-Aware Optimization for Physics-Aware Highway Trajectory Prediction
Technische Hochschule Augsburg(奥格斯堡应用技术大学);TTZ Landsberg am Lech(莱希河畔兰茨贝格技术转移中心)
针对自动驾驶轨迹预测的不确定性问题,提出X-TRACK的两种不确定性感知扩展版本,通过建模并传播运动空间不确定性提升预测精度,其不确定性可校准至期望覆盖率。
2026-10-09 cs.LG
$μ$DARTS: Model Uncertainty-Aware Differentiable Architecture Search
Georgia Institute of Technology(佐治亚理工学院);National Institute of Standards and Technology(美国国家标准与技术研究院);Colorado State University(科罗拉多州立大学)
我们提出了一个模型不确定性感知微分ARCHITECTURE搜索($μ$ DARTS),优化神经网络,同时实现高精度和低不确定性。我们在DARTS单元中引入具体的dropout,并在训练损失中包含Monte-Carlo正则化器以优化具体的dropout概率。在验证损失中引入了预测方差项,以使搜索具有最小模型不确定性的架构成为可能。在CIFAR 10、CIFAR 100、SVHN和ImageNet上的实验验证了$μ$ DARTS方法在提高精度和降低不确定性方面的有效性。此外,从$μ$ DARTS获得的最终架构与从现有DARTS方法获得的架构相比,在输入图像和模型参数处显示出对噪声的更高鲁棒性。
2022-09-11 cs.AI cs.LG
LEMON: Local Explanations via Modality-aware OptimizatioN
University of Bristol(布里斯托大学)
LEMON是一种高效的多模态局部解释框架,通过模态感知优化生成统一解释,减少计算成本并提升解释忠实性。
2026-02-02 cs.LG
Counterfactual Explanations in Sequential Decision Making Under Uncertainty
IIT Bombay(印度理工学院孟买分校);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
寻找反事实解释的方法主要集中在一步决策过程。在这项工作中,我们开始开发的方法,以找到反事实的解释决策过程中,多个,依赖的行动,随着时间的推移顺序。我们开始正式使用有限时域马尔可夫决策过程和Gumbel-Max结构因果模型的动作和状态序列的特征。在此基础上,我们正式声明的问题,找到反事实的解释顺序决策过程。在我们的问题表述中,反事实解释指定了一个替代的行动序列,与观察到的序列最多有k个不同的行动,这些行动可能会导致观察到的过程实现更好的结果。然后,我们引入了一个基于动态规划的多项式时间算法来构建一个反事实策略,该策略保证总是对反事实环境动态的每一个可能的实现提供最优的反事实解释。我们使用来自认知行为治疗的合成数据和真实数据来验证我们的算法,并表明我们的算法发现的反事实解释可以提供有价值的见解,以增强不确定性下的顺序决策。
2021-10-27 cs.CY cs.LG stat.ML
Post-Hoc Uncertainty-Aware Explanations for Deployed Power Quality Disturbance Classifiers via Laplace Approximation
School of Engineering, Deakin University(德肯大学工程学院);ARC Training Centre in Energy Technologies for Future Grids, School of Engineering, University of Wollongong(未来电网能源技术培训中心,沃尔灵宗大学工程学院)
本文提出一种贝叶斯解释框架,通过生成相关性归因分布来建模解释不确定性,提升电力质量问题分类器的透明度和可靠性。
2026-08-14 cs.LG
SELAUR: Self Evolving LLM Agent via Uncertainty-aware Rewards
Johns Hopkins University(约翰霍普金斯大学);Arizona State University(亚利桑那州立大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Purdue University(普渡大学)
SELAUR通过将不确定性直接融入奖励设计,提升大语言模型在多步决策中的探索效率和学习稳定性。
2026-02-25 cs.CL cs.LG
Uncertainty-Aware Learning from Demonstration using Mixture Density Networks with Sampling-Free Variance Modeling
Seoul National University(首尔国立大学);Korea University(高丽大学)
在本文中,我们提出了一种不确定性感知的示教学习方法,提出了一种新的不确定性估计方法,利用混合密度网络建模复杂和嘈杂的人类行为。建议的不确定性采集可以用一个单一的前向路径,而无需蒙特卡罗采样,是适合于实时机器人应用。通过三个不同的合成例子,没有数据,重测量噪声,和组合功能的情况下,建议的不确定性度量的属性进行了分析。我们表明,每种情况下,可以区分使用所提出的不确定性措施,并提出了一个不确定性意识的学习,从演示方法的自动驾驶使用此属性。所提出的不确定性感知的示教学习方法在使用复杂的真实世界驾驶数据集的安全性方面优于其他比较方法。
2017-09-08 cs.AI cs.CV cs.LG
Uncertainty-Aware Deep Learning Framework for Remaining Useful Life Prediction in Turbofan Engines with Learned Aleatoric Uncertainty
Krishang Sharma(独立研究者)
本文提出一种不确定性感知深度学习框架,通过概率建模直接学习数据固有不确定性,提升涡扇发动机剩余使用寿命预测的准确性和置信区间校准。
2025-11-26 cs.AI cs.LG
Extracting Explanations, Justification, and Uncertainty from Black-Box Deep Neural Networks
GE Aerospace Research(GE航空航天研究院);GE Aerospace(GE航空航天公司)
本文提出一种贝叶斯方法,无需重训练即可从黑盒深度神经网络中提取解释、理由与不确定性,并在CIFAR-10上验证,显著提升可解释性与可靠性。
2024-03-13 cs.LG stat.ML
SAFE: Saliency-Aware Counterfactual Explanations for DNN-based Automated Driving Systems
Warwick Manufacturing Group(华威制造集团);The University of Warwick(华威大学)
本文提出SAFE方法,利用显著性图生成更具信息量的反事实解释,解决现有深度生成式CF模型未关注黑盒判别特征而导致CF示例偏离决策边界的问题。
2023-07-28 cs.AI cs.LG cs.LO
Informative Perturbation Selection for Uncertainty-Aware Post-hoc Explanations
Ïndraprastha Institute of Information Technology Delhi(印度理工学院德里)
本文提出EAGLE框架,通过信息论主动学习问题选择扰动,提升模型可解释性,实验证明其在可解释性和扰动质量上优于现有方法。
2026-08-18 cs.AI cs.LG stat.ML
UCTECG-Net: Uncertainty-aware Convolution Transformer ECG Network for Arrhythmia Detection
Deakin University(德金大学);University of Southern Queensland(南方昆士兰大学);School of Mathematics, Physics and Computing(数学、物理与计算学院)
UCTECG-Net通过结合一维卷积和Transformer编码器,提升ECG信号处理的准确性与可靠性,实现98.58%的MIT-BIH心律失常检测准确率。
2026-02-18 cs.AI cs.LG
Uncertainty-Aware Deep Neural Representations for Visual Analysis of Vector Field Data
IIT Kanpur(印度理工学院坎普尔分校)
本研究针对深度神经网络缺乏内置不确定性度量机制的问题,开发不确定性感知隐式神经表征建模稳态矢量场,评估两种深度不确定性估计技术的效果,提升了模型鲁棒性与可解释性,可用于复杂矢量场的可视化分析。
2024-08-10 cs.AI cs.GR cs.LG
Fidelity-Aware Recommendation Explanations via Stochastic Path Integration
SPINRec通过概率路径积分技术提升推荐系统解释的保真度,通过随机基线采样实现更稳定和个性化的解释,建立了新的可解释性基准。
2025-11-22 cs.AI cs.IR cs.LG
Distance-Aware eXplanation Based Learning
University College Dublin(都柏林大学学院)
本文提出一种距离感知的解释损失方法,通过计算Grad-CAMs等视觉解释与用户标注的偏差来训练深度学习模型关注重要图像区域,并提出新的可解释性指标,在三个图像分类任务上验证了有效性。
2023-09-11 cs.CV cs.LG
Explanation-based Training with Differentiable Insertion/Deletion Metric-aware Regularizers
Chiba Institute of Technology(千叶工业大学);NTT Corporation(NTT公司)
针对机器学习解释忠实度提升问题,提出ID-ExpO方法,通过扩展不可微的插入/删除度量为可微形式并构建正则化器优化预测器,在保持准确率的同时让事后解释器生成更忠实易读的解释。
2024-03-11 cs.CV cs.LG stat.ML
U-CAM: Visual Explanation using Uncertainty based Class Activation Maps
Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
理解和解释深度学习模型是一项势在必行的任务。为此,我们提出了一种方法,获得基于梯度的确定性估计,也提供视觉注意力地图。特别地,我们解决了视觉问答任务。我们结合了现代概率深度学习方法,通过使用这些估计的梯度来进一步改进。这有两方面的好处:a)在获得与误分类样本更好相关的确定性估计方面的改进,以及b)在与人类注意区域的相关性方面提供最先进结果的改进的注意力图。改进后的注意力地图对视觉问答的各种方法都有一致的改进。因此,所提出的技术可以被认为是获得改进的确定性估计和深度学习模型解释的秘诀。我们提供了详细的实证分析的视觉问答任务的所有标准的基准和比较与国家的最先进的方法。
2019-10-17 cs.CL cs.CV cs.LG
UATTA-ENS: Uncertainty Aware Test Time Augmented Ensemble for PIRC Diabetic Retinopathy Detection
Manipal Institute of Technology(马尼帕尔理工学院);Manipal Academy of Higher Education(马尼帕尔高等教育学院)
深度嵌入卷积神经网络已成为分析医学图像的首选方法,其诊断性能与医生相当,包括糖尿病视网膜病变的诊断。然而,常用的技术是确定性的,因此无法提供任何估计的预测不确定性。量化模型的不确定性对于降低误诊风险至关重要。一个可靠的架构应该经过良好的校准,以避免过度自信的预测。为了解决这个问题,我们提出了一个UATTA-ENS:不确定性感知测试时间增强Entrance技术5类PIRC糖尿病视网膜病变分类,以产生可靠的和校准良好的预测。
2022-11-08 cs.AI cs.CV cs.LG