A survey of unsupervised learning methods for high-dimensional uncertainty quantification in black-box-type problems
Johns Hopkins University（约翰斯·霍普金斯大学）；Technische Universität Darmstadt（达姆施塔特工业大学）；Siemens AG（西门子股份公司）
在具有固有高维$\mathcal{O}(10^{\ge 2})$随机输入（例如，强迫项、边界条件、初始条件）提出了巨大的挑战。维数灾难可以用合适的无监督学习技术来解决，该技术用作预处理工具以将输入编码到低维子空间上，同时保留其结构信息和有意义的属性。在这项工作中，我们回顾和研究13个降维方法，包括线性和非线性，频谱，盲声源分离，凸和非凸的方法，并利用由此产生的嵌入构建一个映射到感兴趣的数量通过多项式混沌展开（PCE）。我们将一般提出的方法称为流形PCE（m-PCE），其中流形对应于任何研究的降维方法产生的潜在空间。为了研究这些方法的能力和局限性，我们进行数值测试三个基于物理的系统（视为黑盒子）具有不同复杂性的高维随机输入建模为高斯和非高斯随机场调查的内在维数的影响输入数据。我们展示了无监督学习方法的优点和局限性，我们得出结论，与文献中提出的替代算法相比，合适的m-PCE模型提供了一种具有成本效益的方法，包括最近提出的昂贵的基于深度神经网络的代理，并且可以很容易地应用于随机偏微分方程中的高维UQ。
2022-05-16 cs.LG stat.ML
SpatialUQ: Post-Hoc Uncertainty Quantification from Spatial Consistency in Black-Box Vision Models
NPI University of Bangladesh（NPI孟加拉大学）；Towson University（陶森大学）；University of Asia Pacific（亚洲太平洋大学）
提出SpatialUQ，一种仅用输出概率的后验不确定性量化方法，通过空间一致性（Jensen-Shannon散度）在多个数据集上超越MC-Dropout，实现高效、校准良好的失败检测，并随模型质量提升性能。
2026-10-08 cs.AI cs.CV cs.LG
Generating with Confidence: Uncertainty Quantification for Black-box Large Language Models
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carle’s Illinois College of Medicine, University of Illinois at Urbana-Champaign（卡尔伊利诺伊医学院，伊利诺伊大学厄巴纳-香槟分校）
本研究针对黑盒大语言模型自然语言生成场景下的不确定性量化问题，区分不确定性与置信度概念，提出多种度量方法并应用于选择性NLG，实验证实语义离散度可可靠预测响应质量，为LLM应用中的不确定性管理提供参考。
2024-05-20 cs.CL cs.LG stat.ML
Output-Weighted Optimal Sampling for Bayesian Experimental Design and Uncertainty Quantification
Massachusetts Institute of Technology（麻省理工学院）
我们介绍了一类采集功能的样本选择，导致更快的收敛，贝叶斯试验设计和不确定性量化相关的应用程序。该方法遵循主动学习的范式，即利用黑盒函数的现有样本来优化下一个信息量最大的样本。所提出的方法旨在利用黑盒函数的某些输入方向对输出的影响比其他方向更大的事实，这对于表现出罕见和极端事件的系统尤其重要。在这项工作中引入的采集函数利用了似然比的属性，该似然比是一个充当概率采样权重并将主动学习算法引导到被认为最相关的输入空间区域的量。我们证明了所提出的方法在水文系统的不确定性量化以及动力系统中罕见事件的概率量化及其前兆识别方面的优越性。
2021-04-08 cs.IT cs.LG math.IT
Uncertainty Estimation and Quantification for LLMs: A Simple Supervised Approach
University of North Carolina（北卡罗来纳大学）；Tsinghua University（清华大学）；HKUST(GZ)（香港科技大学（广州））；Imperial College London（伦敦帝国学院）
本文提出一种利用隐藏激活和带标签数据的监督方法，用于LLM不确定性估计，并证明其能提升校准性能且适用于黑盒、灰盒和白盒场景。
2024-10-23 cs.CL cs.LG
Beyond Single-Turn Confidence: Trajectory-Adapted Uncertainty Quantification for LLM Agents
本研究探讨单轮UQ方法能否迁移至LLM智能体的交互式轨迹场景，评估三类UQ方法在多轮工具使用数据集上的表现，发现黑盒自一致性通常最优，提示需在轨迹层面重新验证单轮UQ方法。
2026-08-13 cs.AI cs.CL cs.LG
MetaDetect: Uncertainty Quantification and Prediction Quality Estimates for Object Detection
University of Wuppertal（伍珀塔尔大学）；School of Mathematics and Natural Sciences（数学与自然科学学院）
在利用深度神经网络进行目标检测时，逐框对象性得分往往过于自信，有时甚至在存在不准确预测的情况下指示高置信度。因此，预测的可靠性和可靠的不确定性是最重要的。在这项工作中，我们提出了一个后处理方法，为任何给定的神经网络提供预测的不确定性估计和质量估计。这些估计是通过后处理模型学习的，该模型接收一组手工制作的透明指标作为输入，这些指标以结构化数据集的形式存在。由此，我们学习了预测边界框的两个任务。我们区分真阳性（$\mathit{IoU}\geq0.5$）和假阳性（$\mathit{IoU} < 0.5$），我们称之为Meta分类，我们直接预测$\mathit{IoU}$值，我们称之Meta回归。Meta分类模型的概率旨在学习成功和失败的概率，因此提供建模的预测不确定性估计。另一方面，Meta回归产生质量估计。在数值实验中，我们使用公开可用的YOLOv 3网络和Faster-RCNN网络，并在Kitti，Pascal VOC和COCO数据集上评估Meta分类和回归性能。我们证明了我们的指标确实与$\mathit{IoU}$相关。对于Meta分类，我们获得了高达98.92%的分类准确率和高达99.93%的AUROC。对于Meta回归，我们获得了高达91.78%的$R^2$值。与其他网络的客观性得分和其他基线方法相比，这些结果产生了显着的改进。因此，我们获得了更可靠的不确定性和质量估计，这在…
2020-10-06 cs.CV cs.LG
Uncertainty Quantification for Rule-Based Models
IBM Research（IBM研究院）
以逻辑语言描述的基于规则的分类模型直接预测布尔值，而不是像统计模型那样对概率建模并将其转换为预测。绝大多数现有的不确定性量化方法依赖于提供基于规则的模型所不能提供的连续输出的模型。在这项工作中，我们提出了一个元模型形式的不确定性量化框架，该框架将具有二进制输出的任何二进制分类器作为黑盒，并估计该基础模型在给定输入下的预测准确性以及对该估计的置信度。信心取决于输入区域的探索程度，并且旨在适用于任何OOD场景。我们证明了这种不确定性模型的有用性，通过构建一个由它驱动的弃权分类器，并观察其在各种情况下的性能。
2022-11-03 cs.AI cs.LG
Estimating Semantic Alphabet Size for LLM Uncertainty Quantification
George Washington University（乔治·华盛顿大学）；LMI Consulting（LMI咨询公司）；University of Virginia（弗吉尼亚大学）
本文提出了一种改进的语义字母表大小估计器，用于更准确地估计LLM的不确定性，同时保持高可解释性。
2026-02-06 cs.CL cs.LG
Beyond Semantic Entropy: Boosting LLM Uncertainty Quantification with Pairwise Semantic Similarity
UCLA CS（UCLA计算机科学系）；Cisco Systems Inc.（思科系统公司）
针对语义熵在长回复中忽略聚类内外相似性的局限，提出基于最近邻估计的黑盒不确定性量化方法，可扩展至白盒并推广语义熵，在 Phi3 和 Llama3 等任务上优于语义熵。
2025-05-30 cs.CL cs.LG
The Consistency Hypothesis in Uncertainty Quantification for Large Language Models
Rensselaer Polytechnic Institute（拉特格斯理工学院）；IBM Research（IBM研究院）；Zalando
本文形式化了将生成一致性作为置信度代理的“一致性假设”，通过数学陈述与统计检验在多任务上验证其普遍性，并基于最具可操作性的“Sim-Any”假设提出无数据黑盒UQ方法，有效提升了置信度估计性能。
2025-06-27 cs.AI cs.CL cs.LG
Old Rules in a New Game: Mapping Uncertainty Quantification to Quantum Machine Learning
Quantum Security Technologies（量子安全技术）；Fraunhofer Institute for Applied and Integrated Security（弗劳恩霍夫应用与集成安全研究所）
本文针对量子机器学习黑箱问题，将经典不确定性量化方法映射到量子领域，通过理论构建与实证评估证明在设计量子模型时引入不确定性意识的必要性。
2025-07-20 cs.LG quant-ph
Trustworthy clinical AI solutions: a unified review of uncertainty quantification in deep learning models for medical image analysis
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inserm（法国国家健康与医学研究院）；Pixyl Research and Development Laboratory（Pixyl研发实验室）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）
深度学习（DL）模型在临床领域的完全接受度相对于文献中报道的高性能解决方案的数量而言相当低。特别地，最终用户不愿意依赖DL模型的粗略预测。在文献中提出了不确定性量化方法，作为一种潜在的响应，以减少DL黑盒提供的粗略决策，从而增加最终用户对结果的可解释性和可接受性。在这篇综述中，我们提出了一个概述现有的方法来量化与DL预测相关的不确定性。我们专注于医学图像分析的应用，由于图像的高维性及其质量的可变性，以及与现实生活中的临床常规相关的限制，这提出了具体的挑战。然后，我们讨论的评估协议，以验证相关的不确定性估计。最后，我们强调了医学领域不确定性量化的开放性挑战。
2022-10-05 cs.AI cs.CV cs.LG
Bayesian active learning for optimization and uncertainty quantification in protein docking
Texas A&M University（得克萨斯农工大学）
动机：从头算蛋白质对接是一个主要的挑战，优化一个嘈杂的和昂贵的“黑盒子”一样的功能在高维空间。尽管在这一领域的进展，有没有对接方法可用于严格的不确定性量化（UQ）的解决方案的质量（如接口RMSD或iRMSD）。结果如下：我们介绍了一种新的算法，贝叶斯主动学习（BAL），优化和UQ这样的黑盒功能和灵活的蛋白质对接。BAL直接模拟全局最优值（或蛋白质对接的天然结构）的后验分布，其中主动采样和后验估计迭代地相互馈送。此外，我们使用复杂的正常模式来表示一个均匀的欧氏构象空间适合高维优化和漏斗状的能量模型的遭遇复合物。在一个蛋白质对接基准集和CAPRI集，包括同源对接，我们建立BAL显着提高对两个起点的刚性对接和粒子群优化的改进，提供了三分之一的目标前3名的近本地预测。BAL还生成紧密的置信区间，半范围约为iRMSD的25%，置信水平为85%。它估计的预测是本地或非本地的概率达到了二元分类AUROC为0.93，AUPRC超过0.60（与偶然的0.14相比）;并且还发现有助于对预测进行排名。据我们所知，这项研究代表了第一个蛋白质对接的不确定度量化解决方案，具有理论严谨性和全面评估。源代码可在https://github.com/Shen-Lab/BAL上获得。
2019-01-31 cs.LG math.OC q-bio.BM
ESI: Epistemic Uncertainty Quantification via Semantic-preserving Intervention for Large Language Models
Harbin Institute of Technology（哈尔滨工业大学）；Kunming University of Science and Technology（昆明理工大学）
本文提出一种基于因果视角的灰盒不确定性量化方法，通过测量语义保持干预前后模型输出的变化来估计大语言模型的认知不确定性，实验证明该方法在有效性和计算效率上均表现优异。
2025-10-15 cs.AI cs.CL cs.LG
Conformal Prediction Beyond the Seen: A Missing Mass Perspective for Uncertainty Quantification in Generative Models
University of Pennsylvania（宾夕法尼亚大学）
本文针对生成模型仅可查询的黑盒场景，提出CPQ框架，通过缺失质量视角刻画覆盖率、查询预算与信息量的最优权衡，并设计最优查询策略与映射，在多个LLM任务上验证其能产生更具信息量的预测集。
2025-06-05 cs.AI cs.LG
An Active Learning Method for Diabetic Retinopathy Classification with Uncertainty Quantification
Turner Institute for Brain and Mental Health, Monash University（莫纳什大学特纳大脑与心理健康研究所）；Wellcome Centre for Human Neuroimaging, UCL（伦敦大学学院惠康人类神经成像中心）；Information Technology University (ITU) Punjab（旁遮普信息技术大学）
近年来，深度学习（DL）技术在不同的医学成像任务上提供了最先进的性能。然而，由于所涉及的时间限制和专家注释者的可用性，高质量注释的医学数据的可用性是非常具有挑战性的，例如，放射科医生此外，DL是数据饥渴型的，它们的训练需要大量的计算资源。深度学习的另一个问题是它的黑盒子性质和内部工作缺乏透明度，这抑制了因果理解和推理。在本文中，我们共同解决这些挑战，提出了一个混合模型，它使用贝叶斯卷积神经网络（BCNN）的不确定性量化，和主动学习的方法来注释未标记的数据。BCNN用作特征描述符，然后将这些特征用于在主动学习设置中训练模型。我们评估了糖尿病视网膜病变分类问题的建议框架，并在不同的指标方面取得了最先进的性能。
2020-12-26 cs.LG
On Subjective Uncertainty Quantification and Calibration in Natural Language Generation
University of Oxford（牛津大学）
本文从贝叶斯决策理论出发，基于相似性度量提出对黑盒语言模型主观不确定性与认知不确定性的量化及校准方法，并在问答和机器翻译任务中验证其校准效果与在上下文学习数据获取中的延迟策略价值。
2024-10-18 cs.AI cs.CL cs.LG
Adaptive Uncertainty Quantification for Generative AI
Department of Statistics, University of Chicago（芝加哥大学统计系）；Booth School of Business, University of Chicago（芝加哥大学商学院）
本研究提出一种针对黑盒生成式AI模型的自适应共形预测方法，通过自适应划分预测器空间并逐组校准，实现有限样本组条件覆盖保证与局部收紧的不确定性区间，并在GPT-4o预测的皮肤病诊断和立法者意识形态分类应用中验证了有效性。
2025-04-24 cs.AI cs.CL cs.LG
A Quantum Tensor Network-Based Viewpoint for Modeling and Analysis of Time Series Data
针对机器学习中不确定性量化的挑战，本文提出一种基于量子物理的“白箱”方法，通过映射核均值嵌入构建张量网络启发的自旋链哈密顿量，求解薛定谔方程并应用微扰理论，在变化点检测和聚类任务中实现准确量化与增强可解释性。
2025-11-17 cs.IT cs.LG math.IT
Uncertainty quantification and exploration-exploitation trade-off in humans
University of Milano-Bicocca（米兰比可卡大学）
本文的主要目的是勾勒出一个理论框架，分析人类的决策策略下的不确定性管理信息收集（探索）和奖励寻求（剥削）之间的权衡。一个关键的观察，激励这一系列的研究，是认识到人类学习者是惊人的快速和有效地适应陌生的环境，并纳入即将到来的知识：这是一个有趣的行为认知科学以及机器学习的一个重要挑战。所考虑的目标问题是黑盒优化任务中的主动学习，更具体地说，如何在基于高斯过程的贝叶斯优化框架内对探索/开发困境进行建模，该框架又基于不确定性量化。主要贡献是分析人类的决策帕累托理性的两个目标是改善预期和不确定性量化。根据这个帕累托理性模型，如果一个决策集包含一个帕累托有效（主导）策略，理性的决策者应该总是选择主导策略。离帕累托边界的距离决定了一个选择是否是（帕累托）理性的（即，位于边境）或与“令人恼火”的探索有关。然而，由于不确定性是定义帕累托前沿的两个目标之一，我们已经研究了三种不同的不确定性量化措施，并选择了一个更符合帕累托理性模型的建议。关键的结果是一个分析框架来描述偏离“理性”如何依赖于不确定性量化和寻求奖励过程的演变。
2021-02-05 cs.AI cs.LG
Probabilistic Object Detection with Conformal Prediction
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT））
本文提出基于置信预测的目标检测方法，通过坐标轴应用和置信区间缩放提升预测精度，同时结合RAPS构建预测集，提升不确定性量化效果。
2026-09-29 cs.CV cs.LG
Uncertainty Quantification for Transformer Models for Dark-Pattern Detection
Advantx Technological Foundation (Funditec)（Advantx技术基金会（Funditec））
针对Transformer模型在暗模式检测中的不透明性问题，提出差异微调结合SNGPs/BNNs不确定性量化方法，在保持性能的同时提升透明度与可解释性，为高可信度模型开发提供支持。
2024-12-06 cs.AI cs.CL cs.LG
Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities
Aalto University（阿尔托大学）；University of Oxford（牛津大学）
提出核语言熵（KLE）方法，通过半正定单位迹核编码语义相似度并利用von Neumann熵量化大语言模型的不确定性，相比语义熵考虑了成对语义依赖，在多个数据集和架构上提升了不确定性量化性能。
2024-05-30 cs.AI cs.CL cs.LG
DPA-WNO: A gray box model for a class of stochastic mechanics problem
Indian Institute of Technology (IIT) Delhi（印度理工学院德里分校）
针对纯数据驱动模型可解释性弱、耗数据且难外推的问题，本文提出融合可微物理求解器与 WNO 的灰盒模型 DPA-WNO，用于随机初始条件下的时变不确定性量化，并在四个跨领域基准算例中验证。
2023-09-28 cs.LG
Uncertainty Quantification of Surrogate Explanations: an Ordinal Consensus Approach
TU Dresden（德累斯顿工业大学）；University of Bristol（布里斯托大学）
黑盒机器学习模型的可解释性至关重要，特别是在医学或自动驾驶汽车等关键应用中部署时。现有的方法产生的解释模型的预测，然而，如何评估这种解释的质量和可靠性仍然是一个悬而未决的问题。在本文中，我们更进一步，以便为从业者提供工具来判断解释的可信度。为此，我们通过测量一组不同的自举代理解释者之间的有序共识来估计给定解释的不确定性。虽然我们鼓励多样性，使用集成技术，我们提出和分析指标，通过一个评级计划，聚合内的一组解释器中包含的信息。我们通过对最先进的卷积神经网络集成的实验来实证说明这种方法的特性。此外，通过量身定制的可视化，我们展示了具体的情况下，不确定性估计提供了具体的可操作的见解，用户超出了标准的替代解释。
2021-11-17 cs.AI cs.LG stat.ML
Improved Confidence Estimates for Black-Box Large Language Models
Layer 6 AI；TD Insurance（TD保险）
本研究针对黑盒大型语言模型的不确定性量化问题，利用目标数据集构建基于现有分数和相似查询正确性的简单分类器，以改进置信度估计，且计算开销极小。
2026-08-21 cs.AI cs.LG stat.ML
Physics-based prediction, uncertainty quantification and decision-making for IN718 crystallographic texture intensity across LPBF defocus regimes
Virginia Tech（弗吉尼亚理工学院）；Macromolecules Innovation Institute, Virginia Tech（弗吉尼亚理工学院大分子创新研究所）
本研究提出两阶段物理模型预测IN718激光粉末床熔融织构，结合经验模型与随机森林残差，通过k近邻衰减和离焦准则实现可靠迁移与弃权（不执行），优于黑盒模型。
2026-09-17 cond-mat.mtrl-sci cs.CE cs.LG
Fine-Grained Uncertainty Quantification for Long-Form Language Model Outputs: A Comparative Study
CVS Health（CVS健康公司）；Wellesley, MA（马萨诸塞州韦尔士利）
针对长文本生成，提出细粒度不确定性量化分类法，通过响应分解、单元级评分和响应级聚合三阶段区分方法，引入FactScore-STEM-Geo数据集，实验发现声明-响应蕴含评分优于复杂方法，声明级评分优于句子级，不确定性感知解码有效提升事实性。
2026-06-23 cs.AI cs.CL cs.LG
Explainable Uncertainty Quantification for Wastewater Treatment Energy Prediction via Interval Type-2 Neuro-Fuzzy System
Jheronimus Academy of Data Science, Eindhoven University of Technology, Eindhoven, The Netherlands（杰罗尼穆斯数据科学学院，埃因霍温理工大学，埃因霍温，荷兰）；Haskoning, Amersfoort, The Netherlands（哈索宁，阿默斯福尔特，荷兰）；School of Industrial Engineering, Eindhoven University of Technology（工业工程学院，埃因霍温理工大学）
本文提出一种区间型2神经模糊系统，用于废水处理能耗预测，通过模糊规则结构生成可解释的预测区间，分解不确定性层级，提升决策可靠性。
2026-01-26 cs.AI cs.LG
Conformal uncertainty quantification to evaluate predictive fairness of foundation AI model for skin lesion classes across patient demographics
Indian Statistical Institute（印度统计研究所）；The Alan Turing Institute（艾伦·图灵研究所）；University College London（伦敦大学学院）
该研究利用保形分析量化基于ViT的基础模型在不同人口统计学特征下进行皮肤病变分类的预测不确定性，并提出将其作为公平性指标评估模型特征嵌入的稳健性，从而提升临床AI的可信度与公平性。
2025-03-31 cs.AI cs.CV cs.LG
Uncertainty Quantification for Local Model Explanations Without Model Access
Stanford University（斯坦福大学）；Edge & Node；Microsoft（微软）；Google DeepMind（谷歌DeepMind）
提出一种无需直接访问模型、仅基于静态输入输出样本生成局部解释及不确定性区间的模型无关算法，通过自助法量化有限样本带来的不确定性，在区间宽度与覆盖概率上优于现有方法并适用于真实黑盒模型。
2023-06-24 cs.AI cs.LG stat.ME
A Gentle Introduction to Conformal Prediction and Distribution-Free Uncertainty Quantification
黑箱机器学习模型现在经常用于高风险环境，如医疗诊断，这需要量化不确定性以避免相应的模型故障。保形预测是一种用户友好的范例，用于为此类模型的预测创建统计上严格的不确定性集/区间。重要的是，这些集合在无分布意义上是有效的：即使没有分布假设或模型假设，它们也具有明确的非渐近保证。我们可以使用任何预先训练的模型（如神经网络）进行共形预测，以产生保证包含用户指定概率（如90%）的地面真值的集合。它易于理解、易于使用和通用，自然适用于计算机视觉、自然语言处理、深度强化学习等领域出现的问题。这篇动手介绍旨在通过一个独立的文档为读者提供对共形预测和相关的无分布不确定性量化技术的工作理解。我们带领读者通过实用的理论和共形预测的例子，并描述其扩展到复杂的机器学习任务，涉及结构化输出，分布偏移，时间序列，离群值，弃权模型，等等。在本书中，有许多解释性的插图、示例和Python代码示例。每个代码示例都有一个在真实数据示例上实现该方法的笔记本;可以使用我们的代码库访问和轻松运行笔记本。
2022-12-07 cs.AI cs.LG math.ST
SleepTransformer: Automatic Sleep Staging with Interpretability and Uncertainty Quantification
Queen Mary University of London（伦敦玛丽女王大学）；Alan Turing Institute（艾伦·图灵研究所）；Aarhus University（奥胡斯大学）；University of Bristol（布里斯托大学）；University of Lübeck（吕贝克大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；KU Leuven（鲁汶大学）
背景资料：黑箱怀疑论是阻碍基于深度学习的自动睡眠评分在临床环境中使用的主要障碍之一。方法：为了提高解释能力，本文提出了一个序列到序列的睡眠分期模型，即SleepTransformer。它基于Transformer主干，并在历元和序列级别上提供模型决策的可解释性。我们进一步提出了一个简单而有效的方法来量化模型决策中的不确定性。该方法，这是基于熵，可以作为一个度量推迟到人类专家进行进一步检查的低置信度时期。结果如下：为了解释性而理解Transformer的自我注意力分数，在时期水平上，注意力分数被编码为热图以突出从输入EEG信号捕获的睡眠相关特征。在序列级别，注意力分数被可视化为输入序列（即上下文）中不同相邻时期对目标时期识别的影响，模仿人类专家进行手动评分的方式。结论：此外，我们证明了SleepTransformer在两个不同大小的数据库上与现有方法的性能相当。重要性：SleepTransformer具有可解释性和不确定性量化能力，有望集成到临床环境中。
2022-01-26 cs.LG eess.SP
Improving Counterfactual Truthfulness for Molecular Property Prediction through Uncertainty Quantification
Institute of Theoretical Informatics, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院理论信息学研究所）；Institute of Nanotechnology, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院纳米技术研究所）
针对分子性质预测中反事实解释无法反映真实性质分布的问题，提出通过集成和均值-方差估计等不确定性量化技术过滤高不确定性反事实候选，有效降低了预测误差并提升了反事实真实性。
2025-04-03 cs.AI cs.LG
Conformal Calibration: Ensuring the Reliability of Black-Box AI in Wireless Systems
King’s Communications, Learning and Information Processing (KCLIP) lab（国王通讯、学习与信息处理实验室）；Centre for Intelligent Information Processing Systems (CIIPS)（智能信息处理系统中心）；Department of Engineering（工程系）
本文提出conformal calibration框架，通过计算轻巧的统计工具提供可靠性保证，无需重新训练即可实现部署前校准、在线监控和部署后分析，解决无线系统中黑盒AI的信任问题。
2025-04-27 cs.IT cs.LG eess.SP
Improving Trustworthiness of AI Disease Severity Rating in Medical Imaging with Ordinal Conformal Prediction Sets
医疗AI的监管批准和广泛的临床部署受到了阻碍，因为人们认为深度学习模型会以不可预测甚至可能是灾难性的方式失败。缺乏统计上严格的不确定性量化是破坏对人工智能结果信任的一个重要因素。最近的发展，在分布自由的不确定性量化这些问题提供了实际的解决方案，通过提供可靠性保证的黑箱模型的任意数据分布作为正式有效的有限样本预测区间。我们的工作将这些新的不确定性量化方法-特别是适形预测-应用于深度学习模型，用于对腰椎MRI中椎管狭窄的严重程度进行分级。我们展示了一种技术，用于形成有序的预测集，保证包含正确的狭窄严重程度在用户定义的概率（置信区间）。在深度学习模型处理的409个MRI检查的数据集上，共形方法提供了小预测集大小的紧密覆盖。此外，我们探讨了潜在的临床应用的标记情况下，高不确定性的预测（大预测集），通过量化的显着的成像异常（如运动伪影，金属伪影，和肿瘤），可能会降低预测性能的信心相比，随机样本的情况下，患病率的增加。
2022-07-05 cs.LG eess.IV
The Hatching-Box: A Novel System for Automated Monitoring and Quantification of Drosophila melanogaster Developmental Behavior
Institute of Geoinformatics（地理信息研究所）；University of Münster（穆尔斯特大学）；Faculty of Mathematics & Computer Science（数学与计算机科学学院）；Institute of Neuro- and Behavioral Biology（神经生物学与行为生物学研究所）
本文提出孵化箱系统，通过定制硬件和算法实现果蝇发育行为的自动化监测与量化，适用于长期实验和培养过程的自动化监控。
2026-01-15 cs.CV
Decision Theoretic Foundations for Conformal Prediction: Optimal Uncertainty Quantification for Risk-Averse Agents
University of Pennsylvania（宾夕法尼亚大学）
本文从决策论角度证明预测集对风险厌恶决策者最优，提出最大最小决策策略和风险厌恶校准算法RAC，在保证安全阈值的同时提升下游效用。
2025-02-04 cs.AI cs.LG stat.ML
Probabilistic Consistency in Machine Learning and Its Connection to Uncertainty Quantification
National Institute of Standards and Technology（国家标准与技术研究院）
本文从诊断学中的患病率出发，建立分类水平集与自洽性理论，证明概率一致性条件是 ML 模型具有有效概率解释的基础，并用于 Bayes 分类、密度比推断和不确定性传播。
2025-09-26 cs.LG math.PR
Flow-based Conformal Prediction for Multi-dimensional Time Series
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（希拉德-米利斯坦斯通工业与系统工程学院，佐治亚理工学院）
本文提出基于流和分类器无指导的新型时间序列置信预测方法，解决观测相关性和非一致性评分的交换性假设问题，并构建多维输出的预测集，提供精确的覆盖保证。
2026-03-20 cs.LG stat.ML
Uncertainty Aware Tropical Cyclone Wind Speed Estimation from Satellite Data
Technical University of Munich（慕尼黑工业大学）；EO Data Science, DLR（德国航空航天中心EO数据科学部）；Siemens AG（西门子公司）；University of Amsterdam（阿姆斯特丹大学）
针对深度神经网络应用于地球观测时缺乏可靠不确定性估计的问题，该研究对热带气旋卫星图像风速估计任务下的现有DNN不确定性量化方法展开理论与定量比较，发现预测不确定性可提升精度并分析了不同方法在各类风暴下的表现。
2024-04-12 cs.LG physics.ao-ph stat.AP
A comparative study of conformal prediction methods for valid uncertainty quantification in machine learning
Ghent University（根特大学）
本文比较研究了保形预测方法在机器学习不确定性量化中的有效性，指出其作为无分布框架无需参数假设即可提供准确的不确定性估计，并分析了其多方面应用。
2024-05-03 cs.AI cs.LG math.ST
Bayesian Concept Bottleneck Models with LLM Priors
University of California, San Francisco（加州大学旧金山分校）；Microsoft Research（微软研究院）；National University of Singapore（新加坡国立大学）
本文提出BC-LLM模型，利用贝叶斯框架和LLM作为先验，实现高效的概念提取和可解释性提升。
2025-12-04 cs.AI cs.LG stat.ML
Conformal Prediction: A Data Perspective
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；University of California-Los Angeles（加利福尼亚大学洛杉矶分校）；University of Chicago（芝加哥大学）
本文从数据视角系统综述了保形预测的基础概念与最新进展，涵盖结构化、非结构化和动态数据应用，并探讨其在大规模数据与模型中的挑战和机遇。
2025-03-10 cs.LG
Conformalised imprecise inference for robust extrapolation under limited data
Institute for Risk and Uncertainty（风险与不确定性研究所）；University of Liverpool（利物浦大学）
提出一种模型无关的共形化不精确推断框架，通过引入不精确性和距离感知，在分布偏移下保持覆盖并自适应扩展不确定性，实现有限数据下的鲁棒外推。
2026-05-25 cs.LG
Multivariate Uncertainty in Deep Learning
The Charles Stark Draper Laboratory, Inc.（查尔斯·斯塔克·德雷珀实验室公司）
深度学习有可能极大地影响对自动驾驶汽车和机器人至关重要的导航和跟踪状态估计问题。在基于Kalman滤波器和其他贝叶斯滤波器的状态估计系统中，通常假设测量不确定性是一个固定的协方差矩阵。这种假设是有风险的，特别是对于“黑匣子”深度学习模型，其中的不确定性可能会发生巨大而意外的变化。多变量不确定性的精确量化将允许深度学习的全部潜力在这些应用中更安全可靠地使用。我们展示了如何用神经网络对回归问题的多元不确定性进行建模，将异方差不确定性的任意和认识来源结合起来。我们以两种方式训练深度不确定性协方差矩阵模型：直接使用多变量高斯密度损失函数，以及通过卡尔曼滤波器间接使用端到端训练。我们的实验表明，在一个视觉跟踪问题的大的影响，准确的多变量不确定性量化可以对卡尔曼滤波器性能的域内和域外的评估数据。我们还展示了一个具有挑战性的视觉里程计问题，端到端的过滤器训练如何允许不确定性预测来补偿过滤器的弱点。
2021-06-14 cs.LG cs.NE cs.RO
COMPASS: Robust Feature Conformal Prediction for Medical Segmentation Metrics
COMPASS通过利用深度神经网络的归纳偏差，为医学图像分割提供高效的基于度量的不确定性量化方法。
2026-02-28 cs.CV cs.LG eess.IV
Distributionally Robust Statistical Verification with Imprecise Neural Networks
University of British Columbia（不列颠哥伦比亚大学）；University of Manchester（曼彻斯特大学）；University of Pennsylvania（宾夕法尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Florida（佛罗里达大学）；Institute for Clarity in Documentation（文档清晰研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗康校区）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）
本文针对高维黑盒系统的安全验证问题，提出基于不精确神经网络集成的不确定性量化方法，并结合主动学习与Sherlock验证工具，在MuJoCo环境中实现了可扩展的分布鲁棒性能保证。
2025-03-10 cs.AI cs.LG cs.RO
Conformal Depression Prediction
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
本文提出保形抑郁症预测方法CDP，通过即插即用的保形预测模块提供理论覆盖保证，并进一步提出改进的CDP-ACC以实现近似条件覆盖，从而提供适应特定输入的更紧凑预测区间，有效提升了面部抑郁症预测的不确定性量化能力。
2024-08-27 cs.AI cs.LG
MD-split+: Practical Local Conformal Inference in High Dimensions
Carnegie Mellon University（卡内基梅隆大学）
量化模型预测中的不确定性是寻求不仅仅是点预测的从业者的共同目标。一种需要最少假设的不确定性量化工具是共形推理，它可以帮助为黑盒模型创建概率有效的预测区域。经典的共形预测只提供边缘有效性，而在许多情况下，局部有效的预测区域是可取的。在应用局部共形预测时，决定如何最好地划分特征空间X仍然是一个悬而未决的问题。我们提出了MD分裂+，一个实用的局部共形方法，创建X分区的基础上本地化的模型性能的条件密度估计模型。我们的方法处理复杂的现实世界的数据设置，这些模型可能会被错误指定，并扩展到高维输入。我们讨论了我们的局部分区如何从一个无法实现的条件共形推理方法与预期的行为一致。我们还经验比较我们的方法对其他地方的共形方法。
2021-07-07 cs.LG stat.ML
On Uncertainty In Natural Language Processing
IT University of Copenhagen（哥本哈根信息技术大学）；Danmarks Tekniske Universitet（丹麦技术大学）；Instituto Superior Técnico（高等技术学院）
本论文从多角度研究自然语言处理中的不确定性表征与量化，提出基于不可交换保形预测的校准采样方法和黑盒大语言模型置信度预测方法，并通过多语言文本分类实验验证归纳偏置对不确定性量化的影响。
2024-10-04 cs.AI cs.CL cs.LG
Conformalized Interactive Imitation Learning: Handling Expert Shift and Intermittent Feedback
Robotics Institute, School of Computer Science, Carnegie Mellon University（机器人研究所、计算机科学学院、卡内基梅隆大学）；Departments of Statistics and Machine Learning, Carnegie Mellon University（统计学与机器学习系、卡内基梅隆大学）
针对交互式模仿学习中部署时的分布偏移与间歇性专家反馈问题，提出基于在线共形预测的IQT算法与ConformalDAgger框架，利用校准的预测区间主动查询专家反馈，使机器人更快适应专家策略变化。
2025-04-29 cs.AI cs.HC cs.LG
Uncertainty Quantification of Collaborative Detection for Self-Driving
University of Connecticut（康涅狄格大学）；Tandon School of Engineering, New York University（纽约大学坦登工程学院）
互联车辆和自动驾驶车辆（CAV）之间的信息共享从根本上提高了自动驾驶协作目标检测的性能。但是，由于实际挑战，CAV在目标检测上仍然存在不确定性，这将影响自动驾驶中的规划和控制等后期模块。因此，不确定性量化是至关重要的安全关键系统，如CAV。我们的工作是第一个估计的不确定性协作目标检测。我们提出了一种新的不确定性量化方法，称为双M量化，它量身定制的移动块引导（MBB）算法与直接建模的多变量高斯分布的限界框的每个角落。我们的方法基于离线双M训练过程，通过一次推理来捕获认知不确定性和任意不确定性。它可以与不同的协作对象检测器一起使用。通过在综合协作感知数据集上的实验，我们表明，与最先进的不确定性量化方法相比，我们的Double-M方法在不确定性得分上实现了超过4倍的提高，准确率提高了3%以上。我们的代码在https://coperception.github.io/double-m-quantification上公开。
2023-03-17 cs.CV
