Uncertainty Toolbox: an Open-Source Library for Assessing, Visualizing, and Improving Uncertainty Quantification
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Computer Science Department, Stanford University（斯坦福大学计算机科学系）
随着机器学习系统在各种现实任务中的部署越来越多，对预测不确定性的准确量化的需求也越来越大。虽然机器学习中的不确定性量化（UQ）的共同目标是近似目标数据的真实分布，但UQ中的许多工作在所使用的评估指标中往往是不相交的，并且每个指标的不同实现导致在不同工作中不能直接比较的数值结果。为了解决这个问题，我们引入了Uncertainty，这是一个开源的Python库，可以帮助评估，可视化和改进UQ。Uncertainty还提供教学资源，例如关键术语词汇表和有组织的关键论文参考资料。我们希望这个工具箱有助于加速和统一机器学习中不确定性的研究工作。
2021-09-21 cs.LG stat.ML
Improving Label Error Detection and Elimination with Uncertainty Quantification
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；NASA IMPACT；Marshall Space Flight Center（马歇尔太空飞行中心）
针对现有标签错误检测依赖softmax概率无法准确反映模型不确定性的问题，提出融合多种技术的模型无关UQ-LED算法，在四个图像分类基准上优于现有方法，还提出类别相关标签错误合成新方法，证明选择性清洗数据集可提升分类准确率。
2024-05-15 cs.AI cs.LG
Improving LLM Reasoning with Homophily-aware Structural and Semantic Text-Attributed Graph Compression
Shanghai Jiao Tong University（上海交通大学）
提出HS2C框架，通过结构熵最小化进行全局层次划分以识别同质社区，并利用检测到的结构同质性指导LLM进行差异化语义聚合，在10个节点级和7个图级基准上同时提升压缩率和推理精度。
2026-07-01 cs.AI
SEAM: Semantically Equivalent Across Modalities Benchmark for Vision-Language Models
Department of Computer Science, University of Toronto（多伦多大学计算机科学系）；Coolwei AI Lab（Coolwei人工智能实验室）
针对视觉-语言模型跨表征推理一致性评估的挑战，提出SEAM基准，通过跨模态语义等价输入配对，揭示模型模态失衡问题，为改进模态无关推理提供受控评估设置。
2025-08-25 cs.AI cs.CV
Improving Out-of-Distribution Detection via Epistemic Uncertainty Adversarial Training
Booz Allen Hamilton（博思艾伦汉密尔顿）；Jura Bio, Inc.（朱拉生物公司）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
不确定性的量化对于机器学习的采用非常重要，特别是将分布外（OOD）数据拒绝回人类专家进行审查。然而，进展缓慢，因为必须在计算效率和不确定性估计的质量之间取得平衡。出于这个原因，许多人使用神经网络的深度集成或蒙特卡罗丢弃，以相对最小的计算和内存进行合理的不确定性估计。令人惊讶的是，当我们关注$\leq 1\%$假阳性率（FPR）的现实世界适用约束时，现有方法无法可靠地检测OOD样本本身。值得注意的是，即使是高斯随机噪声也无法触发这些流行的OOD技术。我们通过设计一个简单的对抗训练方案来帮助缓解这个问题，该方案结合了对辍学合奏预测的认知不确定性的攻击。我们证明了这种方法提高了标准数据上的OOD检测性能（即，非对抗性制作），并将标准化部分AUC从接近随机猜测性能提高到$\geq 0.75$。
2022-09-09 cs.LG
Improving Semantic Uncertainty Quantification in Language Model Question-Answering via Token-Level Temperature Scaling
University of Oxford（牛津大学）；University of Toronto（多伦多大学）
本文通过系统评估校准与判别两个方面，提出词级温度缩放方法，有效提升语义校准、判别及下游熵值，优于传统基线和更复杂的重校准方法。
2026-04-08 cs.LG
Improving Predictive Uncertainty Estimation using Dropout -- Hamiltonian Monte Carlo
German Research Center for Artificial Intelligence（德国人工智能研究中心）
估计预测不确定性对于从图像分类到自动驾驶系统的许多计算机视觉任务至关重要。Hamilton Monte Carlo（HMC）是一种用于执行贝叶斯推断的抽样方法。另一方面，Dropout正则化已经被提出作为一种近似模型平均技术，其倾向于改善大规模模型（例如深度神经网络）中的泛化。虽然HMC为大多数标准贝叶斯模型提供了收敛保证，但它不处理由Dropout正则化产生的离散参数。在本文中，我们提出了一个强大的方法来改善预测的不确定性分类问题，基于辍学和汉密尔顿蒙特卡洛。尽管Dropout引入了一个不光滑的能量函数，但没有这样的收敛保证，由此产生的哈密顿量的离散化证明了经验上的成功。所提出的方法可以有效地估计预测精度，并提供更好的推广困难的测试例子。
2019-07-02 cs.LG stat.ML
Semantic Token Clustering for Efficient Uncertainty Quantification in Large Language Models
The University of Tokyo（东京大学）
本文提出语义标记聚类方法，通过语义信息高效量化大型语言模型的不确定性，无需辅助模型且计算开销低。
2026-03-20 cs.AI cs.CL cs.LG
Consistency Calibration: Improving Uncertainty Calibration via Consistency among Perturbed Neighbors
University of Sydney（悉尼大学）；City University of Hong Kong（香港城市大学）
本文提出一致性校准（CC）方法，通过模型在扰动输入间的一致性调整置信度，无需额外数据或标签，在logit级别提升效率，并在多个标准及长尾数据集上达到最先进性能。
2024-10-16 cs.AI cs.CV cs.LG
Improving Uncertainty Quantification of Variance Networks by Tree-Structured Learning
Renmin University of China（中国人民大学）；Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院）
针对方差网络不确定性量化问题，提出基于不确定性异质性分裂的树结构局部神经网络USNRT，可高效构建集成模型估计总不确定性，在UCI数据集上性能优于现有方法。
2023-07-20 cs.LG stat.ML
Uncertainty in Semantic Language Modeling with PIXELS
Department of Artificial Intelligence, Bernoulli Institute, University of Groningen（人工智能系、伯努利研究所、 Groningen大学）
本研究分析基于像素的语言模型在18种语言和7种文字中的不确定性，发现模型低估不确定性且拉丁文字不确定性较低，集成学习结合超参数调优在NER和问答任务中表现更优。
2025-09-23 cs.CL cs.LG
Direct-Inverse Prompting: Analyzing LLMs' Discriminative Capacity in Self-Improving Generation
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Illinois at Chicago（芝加哥大学伊利诺伊分校）
本文提出并分析直接、逆和混合三种判别提示，利用LLMs的判别能力减少生成不确定性，实现自我改进，并在两个基准数据集上验证其效果。
2024-06-27 cs.AI cs.CL cs.LG
DebUnc: Improving Large Language Model Agent Communication With Uncertainty Metrics
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
针对大语言模型多智能体辩论中错误自信回答易误导同伴的问题，提出DebUnc框架，通过不确定性指标评估置信度并经改进注意力机制或文本提示传递，显著提升性能。
2025-02-22 cs.AI cs.CL cs.MA
Improving Medical Diagnostics with Vision-Language Models: Convex Hull-Based Uncertainty Analysis
University of Stavanger（斯塔万格大学）；Old Dominion University（奥多明尼昂大学）
本文针对医疗 VQA 中 VLM 响应可靠性问题，提出基于凸包的不确定性分析方法，并通过 LLM-CXR 在五种温度下验证：温度越高，模型不确定性越显著。
2024-11-24 cs.AI cs.CV
Clustered Self-Assessment: A Simple yet Effective Method for Uncertainty Quantification in Large Language Models
The University of Tokyo（东京大学）
提出一种基于语义聚类和多项选择概率的简单自评估方法，用于大型语言模型的不确定性量化，在多个模型和数据集上优于基线方法。
2026-06-02 cs.AI cs.CL cs.LG
Distinction Maximization Loss: Efficiently Improving Out-of-Distribution Detection and Uncertainty Estimation by Replacing the Loss and Calibrating
Universidade Federal de Pernambuco（伯南布哥联邦大学）；Montreal Institute for Learning Algorithms, University of Montreal（蒙特利尔大学蒙特利尔学习算法研究所）
构建鲁棒的确定性神经网络仍然是一个挑战。一方面，某些方法在某些情况下以降低分类准确度为代价来改进分布外检测。另一方面，一些方法以降低推理效率为代价同时提高分类精度、不确定性估计和分布外检测。在本文中，我们提出使用DisMax损失来训练确定性神经网络，它可以作为通常SoftMax损失的替代品（即，线性输出层、SoftMax激活和交叉熵损失的组合）。从IsoMax+损失开始，我们根据到所有原型的距离创建每个logit，而不仅仅是与正确类相关的距离。我们还引入了一种机制来结合图像，构建我们所谓的分数概率正则化。此外，我们提出了一种快速的方法来校准后的网络训练。最后，我们提出了一个综合得分来执行分布外检测。我们的实验表明，DisMax通常优于目前的方法，同时在分类精度，不确定性估计，和分布外检测，同时保持确定性神经网络推理效率。重现结果的代码可在https://github.com/dlmacedo/distinction-maximization-loss上获得。
2022-08-05 cs.AI cs.CV cs.LG
Improving Uncertainty Quantification of Deep Classifiers via Neighborhood Conformal Prediction: Novel Algorithm and Theoretical Analysis
Washington State University（华盛顿州立大学）
在高风险的现实世界应用中安全部署深度神经网络需要理论上合理的不确定性量化。共形预测（CP）是用于深度模型的不确定性量化的原则性框架，其形式为具有用户指定的覆盖率的分类任务的预测集（即，真类标签以高概率被包含）。本文提出了一种新的算法，称为邻域共形预测（NCP），以提高深度分类器（即，减小预测集大小）。NCP背后的关键思想是使用神经网络的学习表示来识别给定测试输入的k个最近邻校准示例，并为它们分配与它们的距离成比例的重要性权重，以创建自适应预测集。我们从理论上证明，如果神经网络的学习数据表示满足一些温和的条件，NCP将产生更小的预测集比传统的CP算法。我们使用不同的深度神经网络对CIFAR-10、CIFAR-100和ImageNet数据集进行的综合实验强烈表明，与先前的CP方法相比，NCP导致预测集大小显著减少。
2023-03-19 cs.LG stat.ML
Semantic uncertainty intervals for disentangled latent spaces
MIT（麻省理工学院）；University of California, Berkeley（加州大学伯克利分校）；Technion—Israel Institute of Technology（以色列理工学院）
计算机视觉中有意义的不确定性量化需要对语义信息进行推理--比如照片中人的头发颜色或街上汽车的位置。为此，最近在生成建模方面的突破使我们能够在分离的潜在空间中表示语义信息，但提供语义潜变量的不确定性仍然具有挑战性。在这项工作中，我们提供了原则性的不确定性区间，保证包含任何底层生成模型的真实语义因素。该方法执行以下操作：（1）它使用分位数回归为潜在空间中的每个元素输出启发式不确定性区间（2）校准这些不确定性，使得它们包含新的、看不见的输入的潜在的真实值。然后，这些校准间隔的端点可以通过生成器传播，以产生每个语义因素的可解释的不确定性可视化。这种技术可靠地传达了图像超分辨率和图像补全等逆问题中语义上有意义、有原则和实例自适应的不确定性。
2022-11-30 cs.AI cs.CV cs.LG
IUQ: Interrogative Uncertainty Quantification for Long-Form Large Language Model Generation
University of Pennsylvania（宾夕法尼亚大学）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；City University of Hong Kong（香港城市大学）
本文提出IUQ框架，通过跨样本一致性与内样本忠实度量化长文本生成的不确定性，验证了其在不同模型上的优越性能。
2026-04-19 cs.AI cs.CL cs.LG
BiG-SURE - Bipartite Graph for Semantic Uncertainty and Reliability Estimation of LLMs
Indian Institute of Science（印度科学学院）
BiG-SURE是一种基于跨温度语义一致性的二分图方法，用于黑盒LLMs/VLMs的语义不确定性与可靠性估计，在多类问答任务上提升了弃权AUROC性能。
2026-11-09 cs.AI cs.CL cs.LG
Improving group robustness under noisy labels using predictive uncertainty
Deargen Inc.（Deargen公司）；Deargen USA Inc.（Deargen美国公司）
标准的经验风险最小化（ERM）在某些少数群体（即，由于输入与其标签之间的虚假相关性，陆地上的水鸟或水中的陆地鸟类）。一些研究通过关注高损失样本来提高最差组的准确性。这背后的假设是这样的高损耗样本是\textit{spurious-cue-free}（SCF）样本。然而，这些方法可能是有问题的，因为高损失样本也可能是现实世界场景中具有噪声标签的样本。为了解决这个问题，我们利用模型的预测不确定性来提高噪声标签下的最差组准确度。为了激励这一点，我们从理论上表明，高不确定性的样本是SCF样本的二进制分类问题。这一理论结果意味着，预测的不确定性是一个足够的指标，以确定SCF样品在嘈杂的标签设置。基于此，我们提出了一种新的基于熵的去偏（END）框架，该框架可以防止模型学习虚假线索，同时对噪声标签具有鲁棒性。在END框架中，我们首先训练\textit{identification model}以使用其预测不确定性从训练集中获得SCF样本。然后，在用过采样SCF集扩充的数据集上训练另一个模型。实验结果表明，我们的END框架优于其他强基线的几个现实世界的基准，同时考虑嘈杂的标签和虚假线索。
2022-12-14 cs.CV cs.LG
Improving Uncertainty-based Out-of-Distribution Detection for Medical Image Segmentation
Pixyl（皮克西尔公司）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔工业大学）；LJK（让·昆廷实验室）；Inserm（法国国家健康与医学研究院）；Grenoble Institut Neurosciences（格勒诺布尔神经科学研究所）
本文针对医学图像分割中的 OOD 检测问题，系统评估多种不确定性框架，发现联合学习病灶与解剖标签能显著改善多发性硬化症病灶分割中的 OOD 输入检测。
2022-11-10 cs.CV cs.LG eess.IV
Improving Consistency in Retrieval-Augmented Systems with Group Similarity Rewards
University of Maryland, College Park（马里兰大学学院公园分校）；Capital One
针对RAG系统因检索器和生成器可变性导致的语义等价查询输出不一致问题，本研究提出拆解一致性的评估框架，结合PS-GRPO强化学习方法与可扩展近似方案实现Con-RAG，在无真实标签监督下显著提升了多类问答基准的一致性与准确率。
2025-10-05 cs.AI cs.CL cs.CY
The Tree Loss: Improving Generalization with Many Classes
Claremont Graduate University（克莱蒙特研究生大学）；Claremont McKenna College（克莱蒙特·麦肯纳学院）
多类分类问题通常有许多语义相似的类。例如，ImageNet的1000个类中有90个是针对不同品种的狗的。我们应该期望这些语义相似的类将具有相似的参数向量，但是标准的交叉熵损失并不强制执行此约束。我们引入树损失作为交叉熵损失的替代。树丢失重新参数化参数矩阵，以保证语义相似的类将具有相似的参数向量。利用随机梯度下降的简单性质，我们证明了树损失的泛化误差渐近优于交叉熵损失。然后，我们在合成数据，图像数据（CIFAR100，ImageNet）和文本数据（Twitter）上验证了这些理论结果。
2022-04-16 cs.AI cs.LG
Revisiting Explicit Regularization in Neural Networks for Well-Calibrated Predictive Uncertainty
ESTsoft（ESTsoft公司）
从统计学习的角度来看，通过显式正则化的复杂性控制是提高过参数化模型泛化能力的必要条件。然而，仅使用隐式正则化的神经网络令人印象深刻的泛化性能可能与这种传统智慧不一致。在这项工作中，我们重新审视了显式正则化的重要性，以获得良好的校准预测的不确定性。具体来说，我们引入了校准性能的概率度量，这是由对数似然下界。然后，我们探索显式正则化技术，以提高未见过的样本的对数似然，这提供了良好的校准预测的不确定性。我们的研究结果提出了一个新的方向，以提高确定性神经网络的预测概率质量，这可以是一个有效的和可扩展的替代贝叶斯神经网络和集成方法。
2021-02-06 cs.LG stat.ML
Improving reasoning at inference time via uncertainty minimisation
Aarhus University（奥胡斯大学）
通过在单个思想层面最大化自我确定性，提升推理能力并实现高效推理时间扩展。
2026-03-07 cs.AI
Sim-CLIP: Unsupervised Siamese Adversarial Fine-Tuning for Robust and Semantically-Rich Vision-Language Models
Florida Atlantic University（佛罗里达大西洋大学）
Sim-CLIP通过无监督对抗微调提升CLIP视觉编码器的鲁棒性，同时保持语义表示。采用孪生架构和余弦相似度目标，避免大批次对比学习和额外动量编码器，实现低计算开销的鲁棒训练。
2026-04-07 cs.AI cs.CL cs.CV
CoT-UQ: Improving Response-wise Uncertainty Quantification in LLMs with Chain-of-Thought
Purdue University（普渡大学）
本文提出CoT-UQ框架，将思维链推理中的关键词重要性信息聚合用于响应级不确定性量化，在Llama 8B至13B模型上较现有UQ方法平均提升5.9% AUROC。
2025-06-03 cs.CL cs.LG stat.ML
Improving Trustworthiness of AI Disease Severity Rating in Medical Imaging with Ordinal Conformal Prediction Sets
医疗AI的监管批准和广泛的临床部署受到了阻碍，因为人们认为深度学习模型会以不可预测甚至可能是灾难性的方式失败。缺乏统计上严格的不确定性量化是破坏对人工智能结果信任的一个重要因素。最近的发展，在分布自由的不确定性量化这些问题提供了实际的解决方案，通过提供可靠性保证的黑箱模型的任意数据分布作为正式有效的有限样本预测区间。我们的工作将这些新的不确定性量化方法-特别是适形预测-应用于深度学习模型，用于对腰椎MRI中椎管狭窄的严重程度进行分级。我们展示了一种技术，用于形成有序的预测集，保证包含正确的狭窄严重程度在用户定义的概率（置信区间）。在深度学习模型处理的409个MRI检查的数据集上，共形方法提供了小预测集大小的紧密覆盖。此外，我们探讨了潜在的临床应用的标记情况下，高不确定性的预测（大预测集），通过量化的显着的成像异常（如运动伪影，金属伪影，和肿瘤），可能会降低预测性能的信心相比，随机样本的情况下，患病率的增加。
2022-07-05 cs.LG eess.IV
Improving evidential deep learning via multi-task learning
Deargen Inc.（Deargen 公司）；Deargen USA Inc.（Deargen 美国公司）
证据回归网络（ENet）估计连续目标及其预测不确定性，而无需昂贵的贝叶斯模型平均。然而，由于ENet的原始损失函数的梯度收缩问题（负对数边际似然（NLL）损失），可能不准确地预测目标。在本文中，目标是提高预测精度的ENet，同时保持其有效的不确定性估计通过解决梯度收缩问题。一个多任务学习（MTL）的框架，被称为MT-ENet，提出来实现这一目标。在MTL中，我们定义Lipschitz修正的均方误差（MSE）损失函数作为另一个损失，并将其添加到现有的NLL损失。Lipschitz修正的MSE损失被设计为通过动态调整其Lipschitz常数来减轻与NLL损失的梯度冲突。通过这样做，Lipschitz MSE损失不会干扰NLL损失的不确定性估计。MT-ENet增强了ENet的预测准确性，而不会失去对合成数据集和真实世界基准的不确定性估计能力，包括药物-靶标亲和力（DTA）回归。此外，MT-ENet在DTA基准上显示出显著的校准和分布外检测能力。
2021-12-17 cs.LG stat.ML
Uncertainty quantification for improving radiomic-based models in radiation pneumonitis prediction
Chakri Naruebodindra Medical Institute, Faculty of Medicine, Ramathibodi Hospital, Mahidol University（玛希隆大学拉玛提博迪医院医学院查克里·纳鲁厄博丁德拉医学研究所）；Department of Clinical Epidemiology and Biostatistics, Faculty of Medicine, Ramathibodi Hospital, Mahidol University（玛希隆大学拉玛提博迪医院医学院临床流行病学与生物统计学系）；Department of Diagnostic and Therapeutic Radiology, Faculty of Medicine, Ramathibodi Hospital, Mahidol University（玛希隆大学拉玛提博迪医院医学院诊断与治疗放射学系）
本研究针对放射性肺炎预测问题，在结合影像组学与剂量组学特征的四类机器学习模型中应用多种事后不确定性量化方法，经101例食管癌患者队列验证，发现共形预测可有效提升模型的预测精度与校准性，助力更可靠的临床决策。
2025-05-21 cs.LG physics.med-ph
Towards a Probabilistic Framework for Analyzing and Improving LLM-Enabled Software
Universidad de Buenos Aires（布宜诺斯艾利斯大学）；CONICET（阿根廷国家科学技术研究委员会）
针对软件工程中启用LLM的系统可靠性与可验证性挑战，提出概率框架，通过建模语义等效输出簇分布分析改进系统，应用于自动形式化问题，助力识别弱点并引导对齐改进，提升系统可靠性。
2025-04-13 cs.AI cs.SE
INFAMOUS-NeRF: ImproviNg FAce MOdeling Using Semantically-Aligned Hypernetworks with Neural Radiance Fields
Michigan State University（密歇根州立大学）；Qualcomm Technologies Inc.（高通技术公司）
提出INFAMOUS-NeRF，结合超网络与NeRF，通过语义对齐潜在空间和边界约束，实现高表示力且可编辑的人脸建模，并采用损失引导自适应采样提升训练效率。
2023-12-23 cs.CV cs.LG
Query The Agent: Improving sample efficiency through epistemic uncertainty estimation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
目标条件强化学习代理的课程通常依赖于对代理的认知不确定性的较差估计，或者完全没有考虑代理的认知不确定性，从而导致较差的样本效率。我们提出了一种新的算法，查询代理（QTA），这显着提高了样本效率估计代理的认知不确定性，在整个状态空间和高度不确定的领域设置目标。鼓励代理在高度不确定的状态下收集数据，允许代理快速提高其对价值函数的估计。QTA利用一种新的技术来估计认知的不确定性，预测不确定性网络（PUN），让QTA评估代理的不确定性，在所有以前观察到的状态。我们证明，QTA提供了决定性的样本效率的改进，比现有的方法。
2022-10-05 cs.AI cs.LG
Improving Pattern Recognition of Scheduling Anomalies through Structure-Aware and Semantically-Enhanced Graphs
Carnegie Mellon University（卡内基梅隆大学）；Illinois Institute of Technology（伊利诺伊理工学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Duke University（杜克大学）；Northeastern University（东北大学）
本文提出一种结构感知和语义增强的调度图建模方法，用于提高复杂系统调度异常的识别能力。
2025-12-21 cs.LG
Improving Uncertainty Calibration of Deep Neural Networks via Truth Discovery and Geometric Optimization
University at Buffalo（布法罗大学）；Penn State Erie（宾夕法尼亚州立大学伊利分校）
深度神经网络（DNN）尽管近年来取得了巨大的成功，但由于其学习过程中固有的不确定性，仍然可能对其预测产生怀疑。Enhancement技术和事后校准是两种类型的方法，它们分别在改善DNN的不确定性校准方面表现出了希望。然而，这两类方法的协同效应尚未得到很好的探索。在本文中，我们提出了一个真理发现框架，集成基于集合和事后校准方法。使用集合候选的几何方差作为样本不确定性的一个很好的指标，我们设计了一个保持精度的真值估计，可证明没有精度下降。此外，我们还表明，事后校准也可以通过真理发现正则化优化来增强。在包括CIFAR和ImageNet在内的大规模数据集上，我们的方法在基于直方图和基于内核密度的评估指标上显示出与最先进的校准方法一致的改进。我们的代码可在https://github.com/horsepurve/truly-uncertain上获得。
2022-03-01 cs.AI cs.LG
An Ensemble Embedding Approach for Improving Semantic Caching Performance in LLM-based Systems
Amirkabir Univ. of Tech.（阿美里卡比大学）
本文提出集成嵌入方法，通过元编码器组合多个嵌入模型，在QQP数据集上实现92%缓存命中率与85%拒绝准确率，显著提升LLM语义缓存性能。
2025-07-08 cs.LG
Improving greedy core-set configurations for active learning with uncertainty-scaled distances
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
我们通过一个不确定性因素来缩放核心集算法的感知距离，并搜索低置信度配置，发现CIFAR 10/100和SVHN图像分类的样本效率有显著提高，特别是在较大的采集尺寸中。我们展示了我们的修改的必要性，并解释了如何改进是由于概率二次加速收敛的核心集损失，模型的不确定性和误分类的关系的假设下。
2022-02-09 cs.LG
Bridging the Semantic Gaps: Improving Medical VQA Consistency with LLM-Augmented Question Sets
University of Sydney（悉尼大学）；Macquarie University（麦考瑞大学）
针对医疗VQA系统因问题表述语言变异性导致的一致性不足问题，提出SEQA框架利用LLM生成语义等价问题重述，并引入TAR-SC等指标，增强数据集后提升了模型准确率与一致性。
2025-04-16 cs.CV cs.LG
Improving Perturbation-based Explanations by Understanding the Role of Uncertainty Calibration
Siemens AG（西门子股份公司）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Goethe University Frankfurt（法兰克福歌德大学）；German Cancer Research Center (DKFZ)（德国癌症研究中心）；German Cancer Consortium (DKTK)（德国癌症联合会）
针对基于扰动的机器学习模型解释易受扰动下模型置信度失准影响的问题，本文提出ReCalX重校准方法，在保留原始预测的同时降低扰动相关校准误差，提升解释鲁棒性与重要特征识别效果。
2025-11-13 cs.AI cs.LG
REPEAT: Improving Uncertainty Estimation in Representation Learning Explainability
UiT The Arctic University of Norway（挪威北极大学）；Technical University of Denmark（丹麦技术大学）；Norwegian Computing Center（挪威计算中心）；University of Copenhagen（哥本哈根大学）
针对现有表示学习可解释AI方法无法有效估计像素是否确实重要的问题，提出REPEAT方法，通过伯努利随机变量建模像素重要性与确定性，实验证明其估计更直观、分布外检测能力更强且更简洁。
2024-12-11 cs.AI cs.LG
Improving Instruction Following in Language Models through Proxy-Based Uncertainty Estimation
Samsung SDS Technology Research（三星SDS技术研究院）
针对语言模型指令响应质量评估困难的问题，提出基于贝叶斯近似的URM模型，通过评估响应不确定性优化数据筛选与策略目标，显著提升了模型指令遵循能力。
2025-01-31 cs.AI cs.CL cs.LG
Improving Model-Based Control and Active Exploration with Reconstruction Uncertainty Optimization
Sapienza University of Rome（罗马第一大学）；Curious AI
动态系统的未来轨迹的基于模型的预测经常遭受不准确，迫使基于模型的控制算法经常重新规划，因此计算昂贵、次优且不可靠。在这项工作中，我们提出了一个模型不可知的方法来估计模型的不确定性？的预测的基础上重建误差，使用它的控制和勘探。正如我们的实验所示，这种不确定性估计可用于通过选择模型有信心的预测来改善各种环境下的控制性能。它还可以用于主动学习，通过规划具有高不确定性的轨迹来更有效地探索环境，从而实现更快的模型学习。
2018-12-10 cs.AI cs.LG cs.NE
Error-Aware B-PINNs: Improving Uncertainty Quantification in Bayesian Physics-Informed Neural Networks
Technical University of Munich（慕尼黑工业大学）；Pontificia Universidad Católica de Chile（智利天主教大学）；Harvard University（哈佛大学）
物理信息神经网络（PINN）作为一种求解微分方程的方法越来越受欢迎。虽然在某些情况下比经典的数值技术更可行，但PINN仍然缺乏可信度。对此的补救措施可以在不确定性量化（UQ）中找到，它刚刚开始出现在PINN的上下文中。评估训练后的PINN如何符合强加的微分方程是解决不确定性的关键，但缺乏全面的方法来完成这项任务。我们提出了一个框架UQ贝叶斯PINN（B-PINN），结合B-PINN解决方案和未知的真实解决方案之间的差异。我们利用最近的结果的误差界的PINNs的线性动力系统，并证明了预测的不确定性的一类线性常微分方程。
2022-12-14 cs.LG
Improving the Reliability of Semantic Segmentation of Medical Images by Uncertainty Modeling with Bayesian Deep Networks and Curriculum Learning
Hiroshima University（广岛大学）；Nagoya Institute of Technology（名古屋工业大学）
在本文中，我们提出了一种新的方法，该方法通过课程学习利用贝叶斯深度网络提供的不确定性度量，以便将不确定性估计反馈给系统，从而在不确定性较高的区域更密集地重新采样训练数据。我们表明，在具体设置的语义分割任务（iPS细胞集落分割），该系统能够显着增加模型的可靠性。
2021-08-26 cs.CV cs.LG cs.NE
Semantically-Informed Syntactic Machine Translation: A Tree-Grafting Approach
U.S. Dept. of Defense（美国国防部）；JHU HLTCOE（约翰斯·霍普金斯大学人类语言技术卓越中心）；University of Maryland（马里兰大学）；CMU（卡内基梅隆大学）；BBN（BBN公司）；JHU/APL（约翰斯·霍普金斯大学应用物理实验室）
我们描述了一个统一的和连贯的语法框架，支持语义知情的句法方法统计机器翻译。语义丰富的句法标签分配给目标语言的培训文本提高翻译质量。由此产生的系统显着优于语言幼稚的基线模型（Hiero），并达到了NIST 2009年乌尔都语-英语翻译任务的最高分数。这一发现支持了MT社区的许多研究人员提出的假设，例如，在DARPA GALE中），句法和语义信息对于提高翻译质量至关重要-并进一步表明，对于词序与英语不同的低资源语言，可以获得很大的收益。
2014-09-24 cs.CL cs.LG stat.ML
Improving Uncertainty-Error Correspondence in Deep Bayesian Medical Image Segmentation
Leiden University Medical Center（莱顿大学医学中心）；Erasmus Medical Center（伊拉斯姆斯医学中心）；Holland Proton Therapy Centre（荷兰质子治疗中心）；TU Delft（代尔夫特理工大学）
针对医学分割自动轮廓QA，本文用AvU损失训练FlipOut贝叶斯模型，使不确定性集中于错误体素，并在头颈CT和前列腺MR上验证其ROC/PR表现。
2024-09-05 cs.AI cs.CV cs.HC
Labels Are Not Perfect: Improving Probabilistic Object Detection via Label Uncertainty
Corporate Research, Robert Bosch GmbH（罗伯特·博世公司企业研究部）；Institute of Measurement, Control and Microtechnology, Ulm University（乌尔姆大学测量、控制与微技术研究所）
可靠的不确定性估计对于自主驾驶中的鲁棒目标检测至关重要。然而，以前的工作概率目标检测要么学习预测概率限界框回归在无监督的方式，或使用简单的算法来做不确定性正则化。这导致不稳定的训练或次优的检测性能。在这项工作中，我们利用我们以前提出的方法估计固有的不确定性地面真理限界框参数（我们称之为标签的不确定性），以提高检测精度的概率激光雷达为基础的对象检测器。在KITTI数据集上的实验结果表明，我们的方法在平均精度方面超过了基线模型和基于简单几何学的模型，最高可达3.6%。
2020-08-10 cs.CV cs.LG
Improving black-box optimization in VAE latent space using decoder uncertainty
University of Oxford（牛津大学）；University of Cambridge（剑桥大学）
变分自编码器的潜在空间中的优化是一种有希望的方法，用于生成最大化昂贵的黑盒属性（例如，分子生成中的药物相似性，算术表达式的函数近似）。然而，现有的方法缺乏鲁棒性，因为它们可能决定探索在训练期间没有数据可用的潜在空间的区域，并且解码器可能不可靠，导致生成不切实际或无效的对象。我们建议利用解码器的认知不确定性来指导优化过程。但这并不是微不足道的，因为我们认为在高维和结构化设置中对不确定性的天真估计会导致高估计方差。为了解决这个问题，我们引入了一个基于重要性采样的估计，提供了更强大的估计认知不确定性。我们的不确定性引导优化方法不需要修改模型架构，也不需要修改训练过程。它生成的样本在黑盒目标和生成样本的有效性之间具有更好的权衡，有时同时改善两者。我们说明了这些优势，在几个实验设置在数字生成，算术表达式近似和药物设计的分子生成。
2021-06-30 cs.LG stat.ML
Improving Active Learning with a Bayesian Representation of Epistemic Uncertainty
Warwick Mathematics Institute, University of Warwick（华威大学华威数学研究所）；Division of Mathematical Sciences, Nanyang Technological University（南洋理工大学数学科学学院）
针对主动学习中两类不确定性难以区分且缺乏通用最优策略的问题，提出结合概率与可能性理论表示认知不确定性的新主动学习策略，引入可能性GP并在分类任务的模拟及真实数据集上验证了优异性能。
2024-12-11 cs.LG stat.ME
Towards Improving the Trustworthiness of Hardware based Malware Detector using Online Uncertainty Estimation
Georgia Institute of Technology（佐治亚理工学院）
使用机器学习（ML）模型的基于硬件的恶意软件检测器（HMD）在检测恶意工作负载方面显示出了希望。然而，在这些HMD中使用的传统的基于黑盒的机器学习（ML）方法未能解决不确定的预测，包括对零日恶意软件进行的预测。HMD中使用的ML模型对决定模型是否“知道它知道什么”的不确定性是不可知的，严重破坏了它的可信度。我们提出了一种基于集成的方法，当HMD的ML模型遇到未知的工作负载时，该方法可以量化HMD的ML模型所做预测的不确定性。我们在文献中提出的两种不同的HMD上测试了我们的方法。我们表明，所提出的不确定性估计器可以检测基于电源管理的HMD的未知工作负载的>90%，并得出结论，重叠的良性和恶意软件类破坏了基于性能计数器的HMD的可信度。
2021-03-21 cs.CR cs.LG
Improving Image-Based Precision Medicine with Uncertainty-Aware Causal Models
McGill University（麦吉尔大学）；Microsoft Research（微软研究院）；Montreal Neurological Institute（蒙特利尔神经学研究所）；MILA (Quebec AI institute)（MILA（魁北克人工智能研究所））
本文提出用贝叶斯深度学习估计多种治疗下事实与反事实结果的后验分布，以量化治疗方案和个体治疗效应的不确定性，并在多发性硬化症MRI数据上验证其与误差的关系及对临床决策的改善作用。
2023-08-10 cs.LG
Measuring and Improving Model-Moderator Collaboration using Uncertainty Estimation
Jigsaw（Jigsaw公司）；Google Research（谷歌研究院）
内容审核通常由人类和机器学习模型之间的协作来执行。然而，它是没有很好地理解如何设计的协作过程，以最大限度地提高组合的主持人模型系统的性能。这项工作提出了一个严格的研究这个问题，专注于一种方法，将模型的不确定性纳入协作过程。首先，我们引入原则性的指标来描述人类主持人的能力约束下的协作系统的性能，量化如何有效地利用人类的决策相结合的系统。使用这些指标，我们进行了一个大型的基准研究，评估国家的最先进的不确定性模型在不同的协作审查策略的性能。我们发现，基于不确定性的策略始终优于广泛使用的策略的基础上的毒性分数，而且审查策略的选择大大改变了整体系统的性能。我们的研究结果表明，严格的指标的重要性，了解和开发有效的主持人模型系统的内容审核，以及在这一领域的不确定性估计的效用。
2021-07-09 cs.CL cs.LG
UMIX: Improving Importance Weighting for Subpopulation Shift via Uncertainty-Aware Mixup
Tianjin University（天津大学）；Hong Kong University of Science and Technology（香港科技大学）；Tencent AI Lab（腾讯人工智能实验室）
子群迁移广泛存在于现实世界的机器学习应用中，指的是训练分布和测试分布包含相同的子群组，但子群频率不同。重要性重新加权是一种处理子群体偏移问题的正常方法，通过对训练数据集中的每个样本施加恒定或自适应的采样权重。然而，最近的一些研究已经认识到，这些方法中的大多数未能提高经验风险最小化的性能，特别是当应用于过度参数化的神经网络。在这项工作中，我们提出了一个简单而实用的框架，称为不确定性感知mixup（UMIX），以减轻过参数化模型中的过拟合问题，根据样本的不确定性重新加权“混合"样本。建议的UMIX为每个样本配备了基于训练轨迹的不确定性估计，以灵活地表征亚群分布。我们还提供了有见地的理论分析，以验证UMIX实现了更好的泛化范围比以前的作品。此外，我们在广泛的任务中进行了广泛的实证研究，以定性和定量地验证我们的方法的有效性。代码可在https://github.com/TencentAILabHealthcare/UMIX上获得。
2023-01-03 cs.LG
