Generative Uncertainty in Diffusion Models
UvA-Bosch Delta Lab, University of Amsterdam(阿姆斯特丹大学)
针对扩散模型单个样本质量难检测的问题,提出基于贝叶斯框架的生成不确定性估计方法,结合语义似然应对高维挑战,可事后应用于预训练模型且能有效识别低质量样本。
2025-06-12 cs.AI cs.LG
Generative Posterior Networks for Approximately Bayesian Epistemic Uncertainty Estimation
Carnegie Mellon University(卡内基梅隆大学);Bosch Center for Artificial Intelligence(博世人工智能中心);Amazon Alexa AI(亚马逊Alexa AI)
提出生成式后验网络(GPNs),利用未标记数据通过正则化网络趋向先验样本来直接近似贝叶斯后验,从而在高维问题中提升认知不确定性估计和可扩展性。
2023-12-29 cs.LG stat.ML
Uncertainty-Gated Generative Modeling
Electrical Engineering and Computer Science University of California, Berkeley(加州大学伯克利分校电子工程与计算机科学系);School of Electrical and Computer Engineering Cornell University(康奈尔大学电气与计算机工程学院)
本文提出UGGM方法,通过不确定性门控机制提升金融时间序列预测的鲁棒性和准确性,实验显示在NYISO数据集上MSE显著降低。
2026-03-08 cs.LG
GAN-DUF: Hierarchical Deep Generative Models for Design Under Free-Form Geometric Uncertainty
Northwestern University(西北大学)
深度生成模型在学习紧凑和富有表现力的设计表示方面表现出了有效性,这些设计表示显着改善了几何设计优化。然而,这些模型不考虑制造或制造引入的不确定性。过去的工作,量化这种不确定性往往使简化假设的几何变化,而“真实世界”,“自由形式”的不确定性及其对设计性能的影响是难以量化的,由于高维数。为了解决这个问题,我们提出了一个基于生成对抗网络的不确定性框架下的设计(GAN-DUF),它包含一个深度生成模型,可以同时学习标称(理想)设计的紧凑表示和给定任何标称设计的制造设计的条件分布。这开辟了以下新的可能性:1)~构建与形状和拓扑设计兼容的通用不确定性量化模型; 2)~建模自由形式的几何不确定性而无需对几何可变性的分布做出任何假设;以及3)~允许快速预测新标称设计的不确定性。我们可以将所提出的深度生成模型与鲁棒设计优化或基于可靠性的设计优化相结合,用于不确定性设计。我们在两个实际的工程设计实例中展示了该框架,并展示了其在制造后找到具有更好性能的解决方案的能力。
2022-10-07 cs.CE cs.LG
Uncertainty Quantification with Generative Models
Berkeley Center for Cosmological Physics(伯克利宇宙物理中心);University of California, Berkeley(加州大学伯克利分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
我们开发了一种基于生成模型的方法来解决贝叶斯逆问题,例如从噪声和不完整图像中重建图像。我们的框架解决了贝叶斯重建的两个常见挑战:1)它利用复杂的数据驱动先验,包括有关未损坏数据分布的所有可用信息。2)它能够以潜在空间和数据空间中的后验分析的形式实现计算上易于处理的不确定性量化。该方法是非常有效的,因为生成模型只需要在未损坏的数据集上训练一次,之后,该过程可以用于任意损坏类型。
2019-10-22 astro-ph.CO cs.LG stat.ML
Generative Parameter Sampler For Scalable Uncertainty Quantification
Harvard Data Science Initiative(哈佛数据科学倡议);Harvard University(哈佛大学)
不确定性量化一直是统计机器学习的核心问题,但其计算瓶颈一直是贝叶斯学派和频率学派面临的严峻挑战。我们提出了一个基于模型的框架,在量化的不确定性,称为预测匹配生成参数采样器(GPS)。此过程考虑目标参数的不确定性量化(UQ)分布,该分布将对应的预测分布与观测数据相匹配。该框架采用分层建模的观点,使每个观察是由一个单独的参数建模。这种单独的参数化允许所得到的推断在计算上是可扩展的并且对离群值是鲁棒的。我们的方法说明了线性模型,泊松过程和深层神经网络分类。结果表明,全球定位系统是成功的,在提供不确定性量化以及额外的灵活性超出了经典的统计程序所允许的假设的统计模型。
2019-06-02 cs.LG stat.ME stat.ML
Leveraging Active Subspaces to Capture Epistemic Model Uncertainty in Deep Generative Models for Molecular Design
本研究利用活动子空间近似后验分布,为JT-VAE分子设计模型提供无需改动架构的认知不确定性量化方法,并验证其对分子优化的潜在价值。
2024-08-15 cs.LG q-bio.QM stat.ML
Separating Intrinsic Ambiguity from Estimation Uncertainty in Deep Generative Models for Linear Inverse Problems
Neuroscience Institute, Carnegie Mellon University(卡内基梅隆大学神经科学研究所);Machine Learning Department, Carnegie Mellon University(卡内基梅隆大学机器学习系);Department of Electrical and Computer Engineering, Carnegie Mellon University(卡内基梅隆大学电气与计算机工程系)
本文提出一种分解后验不确定性的方法,用于区分逆问题中固有模糊性和推断传播的不确定性,通过校准分析揭示模型失败模式。
2026-05-14 cs.LG
Handling Uncertainty in Health Data using Generative Algorithms
City University of New York, Graduate Center(纽约城市大学研究生中心);City University of New York, Hunter College(纽约城市大学亨特学院);Columbia University(哥伦比亚大学)
本文提出RIGA流水线,通过生成式AI将表格医疗数据转为图像并生成平衡样本,以缓解类别不平衡问题,从而提升分类器性能与模型鲁棒性。
2025-03-05 cs.LG
Conformalized Generative Bayesian Imaging: An Uncertainty Quantification Framework for Computational Imaging
Department of Electrical and Computer Engineering, University of Rochester(电气与计算机工程系,罗切斯特大学);Goergen Institute for Data Science & AI, University of Rochester(数据科学与人工智能研究院,罗切斯特大学)
针对计算成像中难以联合量化偶然与认知不确定性的问题,提出结合生成后验采样、带潜变量贝叶斯网络与深度集成的可扩展框架,引入共形预测实现校准,在多成像任务中验证了不确定性估计的有效性与边际覆盖保证。
2025-10-06 cs.LG eess.IV
Shedding Light on Large Generative Networks: Estimating Epistemic Uncertainty in Diffusion Models
Barcelona Supercomputing Center - Centro Nacional de Supercomputación (BSC-CNS)(巴塞罗那超级计算中心)
本文提出DECU框架,通过结合预训练参数高效训练条件扩散模型集成,并采用成对距离估计器评估互信息,准确估计大规模扩散模型的认知不确定性。
2024-06-05 cs.AI cs.CV cs.LG
Disentangled Uncertainty and Out of Distribution Detection in Medical Generative Models
Manipal Institute of Technology(马尼帕尔理工学院);University of Groningen(格罗宁根大学)
在医疗领域等安全关键环境中信任深度学习模型的预测仍然不是一个可行的选择。在医学成像领域中,不确定性量化的问题很少受到关注。在本文中,我们研究在医学领域的图像到图像的翻译任务中的解纠缠的不确定性。我们比较了多种不确定性量化方法,即Ensembles,Flipout,Dropout和DropConnect,同时使用CycleGAN将T1加权脑部MRI扫描转换为T2加权脑部MRI扫描。我们进一步评估了存在分布数据(脑CT和RGB面部图像)的不确定性行为,表明认知不确定性可以用于检测分布输入,这应该会增加模型输出的可靠性。
2022-11-11 cs.CV cs.LG eess.IV
Robustness to Out-of-Distribution Inputs via Task-Aware Generative Uncertainty
Berkeley AI Research (BAIR), University of California, Berkeley(加州大学伯克利分校伯克利人工智能研究中心(BAIR));Uber AI Labs(优步人工智能实验室)
当观察结果与训练数据相似时,深度学习为机器感知提供了强大的工具。然而,现实世界的机器人系统必须对他们的观察做出智能反应,即使在意想不到的情况下。这就要求系统在不熟悉的、分布外的观察结果下,对自己的不确定性进行推理。近似贝叶斯方法通常用于估计神经网络预测的不确定性,但可能难以处理分布外的观测值。生成模型原则上可以检测出分布外的观测值,因为这些观测值具有较低的估计密度。然而,仅仅存在分发外输入本身并不表示不安全的情况。在本文中,我们提出了一种方法,结合生成建模和模型的不确定性,以应付来自分布状态的不确定性感知的不确定性。我们的方法估计模型预测的不确定性度量,同时考虑到观察分布的显式(生成)模型来处理分布外的输入。这是通过将观察结果概率性地投影到训练分布上来实现的,使得分布外输入映射到不确定的分布内观察结果,这反过来又产生不确定的任务相关预测,但只有当图像的任务相关部分发生变化时。我们评估我们的方法与模拟和真实数据的行动条件碰撞预测任务,并证明我们的方法,预测出的分布观察提高了四个标准贝叶斯和非贝叶斯神经网络方法的性能,提供更有利的权衡的时间比例的机器人可以保持自主和即将发生的碰撞成功避免的比例。
2018-12-27 cs.LG stat.ML
Enhancing Generative Molecular Design via Uncertainty-guided Fine-tuning of Variational Autoencoders
Texas A&M University(德克萨斯农工大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
本文提出了一种基于主动学习的模型不确定性引导微调方法,通过在变分自编码器参数的低维活跃子空间中量化不确定性并结合黑盒优化,有效提升了生成式分子设计在下游属性优化任务中的表现。
2024-05-31 cs.LG q-bio.BM q-bio.QM
Wasserstein Generative Adversarial Uncertainty Quantification in Physics-Informed Neural Networks
The University of Hong Kong(香港大学)
本文研究了Wasserstein生成对抗网络(WGANs)的一种基于物理信息的算法,用于量化偏微分方程解的不确定性。通过在对抗网络鉴别器中使用groupsort激活函数,网络生成器被用来学习从初始/边界数据观察到的偏微分方程解的不确定性。在适当的假设条件下,证明了当样本个数足够大时,计算生成器的泛化误差以很高的概率收敛于网络的逼近误差.根据我们建立的误差界,我们还发现,我们的物理信息WGAN有更高的要求,鉴别器的能力比发生器。通过对偏微分方程的合成实例进行数值计算,验证了我们的理论结果,并展示了如何对偏微分方程的解和初始/边界数据的分布进行不确定性量化。然而,不确定度量化理论在国内各点的质量或准确性仍是理论上的空白,有待于进一步研究。
2022-08-09 cs.LG cs.NA math.NA
Decomposing Representations for Deterministic Uncertainty Estimation
University of Oxford(牛津大学)
不确定性估计是任何部署的机器学习系统中的关键组件。评估不确定性估计的一种方法是使用“分布外”(OoD)检测,即使用不确定性区分训练数据分布和看不见的不同数据分布。在这项工作中,我们表明,目前的特征密度为基础的不确定性估计不能在不同的OoD检测设置一致地执行。为了解决这个问题,我们建议分解学习的表示,并分别整合对它们的不确定性估计。通过实验,我们证明我们可以大大提高性能和解释的不确定性估计。
2021-12-01 cs.LG
Uncertainty-Aware Generative Oversampling Using an Entropy-Guided Conditional Variational Autoencoder
针对高维生物医学数据的类别不平衡问题,提出融合局部不确定性的LEO-CVAE生成式过采样框架,通过熵加权损失和熵引导采样提升分类性能,优于传统与生成式基线方法。
2025-10-04 cs.AI cs.LG
Estimation with Uncertainty via Conditional Generative Adversarial Networks
Korea University(高丽大学)
传统的预测人工神经网络(ANN)通常采用确定性权重矩阵;因此,它们的预测是点估计。人工神经网络的这种确定性性质导致了将人工神经网络用于医疗诊断、法律问题和投资组合管理的局限性,其中不仅需要发现预测,而且还需要发现预测的不确定性。为了解决这个问题,我们提出了一个预测概率神经网络模型,它对应于一个不同的方式使用的发电机在条件生成对抗网络(cGAN),已被常规用于条件样本生成。通过反转普通cGAN的输入和输出,该模型可以成功地用作预测模型;此外,由于采用对抗训练,该模型对噪声具有鲁棒性。此外,为了度量预测的不确定性,我们分别为回归问题和分类问题引入了熵和相对熵。该框架适用于股票市场数据和图像分类任务。结果表明,该框架具有优越的估计性能,特别是在噪声数据上;此外,它表明,该框架可以正确地估计预测的不确定性。
2020-07-01 cs.LG stat.ML
Gaussian Process Deep Belief Networks: A Smooth Generative Model of Shape with Uncertainty Propagation
University of Bath(巴斯大学);University of Bristol(布里斯托大学)
目标的形状是分割、检测和跟踪等视觉问题的重要特征。由于独立于外观,因此可以从少量数据中概括到大范围的对象。然而,由于复杂的似然函数导致难以处理的后验,表示为轮廓图像的形状是具有挑战性的建模。在本文中,我们提出了一个生成模型的形状,它提供了一个低维的潜在编码,重要的是驻留在一个光滑的流形上的轮廓图像。所提出的模型以原则性的方式传播不确定性,允许它从少量数据中学习,并提供具有相关不确定性的预测。我们提供的实验表明,我们提出的模型提供了有利的定量结果相比,国家的最先进的,同时提供了一个表示,驻留在一个低维的可解释的流形。
2018-12-13 cs.CV cs.LG stat.ML
GAUDA: Generative Adaptive Uncertainty-guided Diffusion-based Augmentation for Surgical Segmentation
Technical University Darmstadt(德累斯顿技术大学);University Medical Center Mainz(马因茨大学医学中心);University of Girona(加泰罗尼亚大学)
针对手术数据积累的伦理与监管限制及配对数据合成探索不足的问题,提出GAUDA方法,利用贝叶斯下游模型的认知不确定性进行在线自适应引导生成,有效提升了手术分割的IoU。
2025-01-18 cs.CV cs.LG
E-QRGMM: Efficient Generative Metamodeling for Covariate-Dependent Uncertainty Quantification
School of Data Science(数据科学学院);School of Management(管理学院);Department of Decision Analytics and Operations, College of Business, City University of Hong Kong(商业学院决策分析与运营系,香港城市大学);The Laboratory for AI-Powered Financial Technologies(人工智能赋能金融技术实验室)
E-QRGMM通过整合三次Hermite插值与梯度估计,提升生成元模型在协变量依赖不确定性量化中的计算效率与分布准确性。
2026-01-27 cs.LG stat.ML
Adaptive Planning with Generative Models under Uncertainty
Purdue University(普渡大学)
本文提出利用逆动力学模型 Deep Ensemble 的预测不确定性动态调整规划间隔,使生成模型可连续执行多步动作;在 OpenAI Gym 运动任务中将重规划频率降至约10%且保持性能。
2024-08-02 cs.LG cs.RO
Uncertainty-Aware Deep Classifiers using Generative Models
Blue Prism AI Labs(蓝棱镜人工智能实验室);Ozyegin University(奥兹耶金大学);US Army Research Lab(美国陆军研究实验室);University of Brescia(布雷西亚大学);Cardiff University(卡迪夫大学)
深度神经网络通常对他们不知道的事情一无所知,并且在做出不知情的预测时过于自信。最近的一些方法通过训练模型来直接量化分类不确定性,以输出接近类边界或来自训练分布外部的数据样本的高不确定性。这些方法在训练期间使用辅助数据集来表示分布外的样本。然而,这种辅助数据集的选择或创建是不平凡的,特别是对于诸如图像的高维数据。在这项工作中,我们开发了一种新的神经网络模型,能够表达任意和认知的不确定性,区分决策边界和分布区域的特征空间。为此,将变分自编码器和生成对抗网络结合起来,自动生成用于训练的分布外样本。通过广泛的分析,我们证明了所提出的方法提供了更好的估计的不确定性的分布样本,和对抗的例子对国家的最先进的方法,包括最近的贝叶斯方法神经网络和异常检测方法的知名数据集。
2020-06-07 cs.LG stat.ML
Directional Concentration Uncertainty: A representational approach to uncertainty quantification for generative models
Department of Mechanical Engineering, Iowa State University, Ames, IA, USA(机械工程系,爱荷华州立大学);Pacific Northwest National Laboratory, Richland, WA, USA(太平洋西北国家实验室);Department of Statistics, North Carolina State University, Raleigh, NC, USA(统计系,北卡罗来纳州立大学)
本文提出方向性集中不确定性(DCU)方法,通过基于vMF分布的嵌入集中度量化,提升生成模型的不确定性量化性能,并在多模态任务中展现良好泛化能力。
2026-02-04 cs.AI cs.CL cs.LG
On Attacking Out-Domain Uncertainty Estimation in Deep Neural Networks
University of Notre Dame(圣母大学)
在许多具有现实后果的应用中,为人工智能决策系统所做的预测开发可靠的不确定性估计至关重要。针对估计不确定性的目标,已经提出了各种基于深度神经网络(DNN)的不确定性估计算法。然而,这些算法返回的不确定性的鲁棒性还没有被系统地探讨。在这项工作中,为了提高研究界对鲁棒不确定性估计的认识,我们表明,最先进的不确定性估计算法可能会在我们提出的对抗攻击下发生灾难性失败,尽管它们在不确定性估计方面表现出色。特别是,我们的目标是攻击域外不确定性估计:在我们的攻击下,不确定性模型将被愚弄,对域外数据进行高置信度的预测,而这些数据最初会被拒绝。在各种基准图像数据集上的大量实验结果表明,最先进的方法估计的不确定性很容易被我们的攻击破坏。
2022-10-12 cs.AI cs.CV cs.LG
Tailored Uncertainty Estimation for Deep Learning Systems
Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);Fraunhofer Center for Machine Learning(弗劳恩霍夫机器学习中心);Volkswagen AG(大众汽车集团);University of Bonn(波恩大学)
不确定性估计有可能使深度学习(DL)系统更加可靠。然而,用于不确定性估计的标准技术伴随着优点和缺点的特定组合,例如,关于估计质量、泛化能力和计算复杂性。为了实际利用不确定性量化的潜力,需要其属性与给定用例的需求紧密匹配的估计器。在这项工作中,我们提出了一个框架,首先,结构和形状这些要求,其次,指导选择一个合适的不确定性估计方法,第三,提供策略,以验证这种选择,并发现结构上的弱点。通过贡献量身定制的不确定性估计,在这个意义上,我们的框架有助于培养值得信赖的DL系统。此外,它还预测了未来的机器学习法规,例如,在欧盟,机器学习系统技术适用性的证据。我们的框架提供了这样的证据系统组件建模的不确定性。
2022-04-29 cs.LG
Conf-Gen: Conformal Uncertainty Quantification for Generative Models
layer6ai-labs(layer6ai实验室)
提出Conf-Gen框架,通过共形风险控制适配生成任务,统一并扩展了共形预测在大型语言模型等生成模型中的应用,并在图像生成、对话AI和AI代理等新领域提供了形式化保证。
2026-05-27 cs.AI cs.LG stat.ML
Beyond Keywords: Leveraging Generative LLMs and Label Aggregation to Classify Economic Policy Uncertainty in News Articles
本研究利用生成式大语言模型和弱监督标签聚合技术,自动分类新闻中的经济政策不确定性,克服了关键词误报和人工标注成本高的局限,并支持多标签与层次分类。
2026-09-30 cs.AI cs.LG
Latent diffusion models for generative precipitation nowcasting with accurate uncertainty quantification
Federal Office of Meteorology and Climatology MeteoSwiss(瑞士联邦气象与气候办公室);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
本文提出用于降水临近预报的潜在扩散模型LDM,相比DGMR和PySTEPS预测更准确、样本更多样,并能通过样本分布可靠量化预测不确定性。
2023-04-25 cs.LG eess.IV physics.ao-ph
Revisiting the Evaluation of Uncertainty Estimation and Its Application to Explore Model Complexity-Uncertainty Trade-Off
University of Notre Dame(圣母大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
准确估计神经网络预测中的不确定性对于构建可信的基于DNN的模型非常重要,并且人们越来越关注在许多任务(例如安全摄像头和自动驾驶车辆)上提供准确的不确定性估计。在本文中,我们专注于不确定性估计的两个主要用例,即选择性预测和置信度校准。我们首先揭示了两种用例中不确定性估计常用质量度量的潜在问题,并提出了我们的新度量来缓解这些问题。然后,我们应用这些新的指标来探索模型复杂性和不确定性估计质量之间的权衡,在文献中严重缺失的工作。我们的实证实验结果验证了所提出的指标的优越性,并观察到一些有趣的趋势的复杂性不确定性权衡。
2020-07-12 cs.LG stat.ML
Beyond Unimodal: Generalising Neural Processes for Multimodal Uncertainty Estimation
Monash University(莫纳什大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61研究所)
针对多模态数据不确定性估计的挑战,本文提出多模态神经过程(MNPs),通过泛化NPs并设计针对多模态特征的新机制,实现了更优的估计性能、抗噪鲁棒性、分布外检测可靠性及更快的计算速度。
2023-10-23 cs.AI cs.LG
Uncertainty Estimation and Quantification for LLMs: A Simple Supervised Approach
University of North Carolina(北卡罗来纳大学);Tsinghua University(清华大学);HKUST(GZ)(香港科技大学(广州));Imperial College London(伦敦帝国学院)
本文提出一种利用隐藏激活和带标签数据的监督方法,用于LLM不确定性估计,并证明其能提升校准性能且适用于黑盒、灰盒和白盒场景。
2024-10-23 cs.CL cs.LG
MARS: Meaning-Aware Response Scoring for Uncertainty Estimation in Generative LLMs
Amazon AI(亚马逊人工智能)
针对生成式LLM输出的不确定性估计问题,提出意义感知响应评分(MARS)函数替代长度归一化评分,在多数据集和多LLM上实验证明可显著提升UE性能,并在医学QA数据集验证有效性。
2024-06-08 cs.CL cs.LG
Generative Score Inference for Multimodal Data
School of Statistics, University of Minnesota(明尼苏达大学统计学院)
本文提出生成分数推断(GSI)框架,通过深度生成模型生成合成样本近似条件分数分布,提升多模态学习中的不确定性量化能力,在大语言模型幻觉检测和图像描述不确定性估计中取得最佳性能。
2026-03-27 cs.AI cs.LG stat.ML
Epistemic Generative Adversarial Networks
School of Engineering, Computing and Mathematics(工程、计算与数学学院);Oxford Brookes University(奥xford布鲁克斯大学)
本文基于Dempster-Shafer证据理论改进GAN损失函数,提出生成器预测像素质心函数的架构,提升生成多样性与不确定性建模能力。
2026-03-18 cs.CV cs.LG
GenAI4UQ: A Software for Inverse Uncertainty Quantification Using Conditional Generative Models
Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出 GenAI4UQ 软件,利用条件生成式 AI 将观测直接映射为参数分布与预测,以高效支持逆不确定性量化、模型校准和集合预报。
2024-12-09 cs.LG physics.geo-ph
Towards Generation-Efficient Uncertainty Estimation in Large Language Models
University of Oxford(牛津大学)
本文提出通过部分生成或仅输入信息实现高效不确定性估计,提出Logit Magnitude和MetaUE方法,在通用和领域基准上验证了部分生成的有效性。
2026-05-07 cs.LG
Unleashing Uncertainty: Efficient Machine Unlearning for Generative AI
ITI, Centre for Research \& Technology Hellas, Greece;University of Amsterdam, Netherlands
本文提出基于信息论的SAFEMax方法,通过最大化生成熵并调控早期扩散步骤,使扩散模型对不允许类别停止去噪并输出高斯噪声,实现高效机器遗忘。
2025-08-28 cs.AI cs.CV cs.LG
GUESS: Generative Uncertainty Ensemble for Self Supervision
West Virginia University(西弗吉尼亚大学)
针对自监督学习中确定性增强不变性可能损害下游性能的问题,提出GUESS伪白化框架,通过数据派生不确定性与多失真集成实现更鲁棒的表示学习。
2024-12-03 cs.CV cs.LG
Uncertainty Estimation for Multi-view Data: The Power of Seeing the Whole Picture
Monash University(莫纳什大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61)
不确定性估计是使神经网络在现实世界中值得信赖的关键。已经进行了广泛的研究努力来量化和减少预测的不确定性。然而,大多数现有的工作是专为单峰数据,而多视图不确定性估计还没有得到充分的研究。因此,我们提出了一个新的多视图分类框架,更好的不确定性估计和域外样本检测,在那里我们将每个视图与一个不确定性感知分类器,并结合所有的意见,在一个原则性的方式预测。与真实世界的数据集的实验结果表明,我们提出的方法是一个准确,可靠,校准良好的分类器,主要优于多视图基线测试的预期校准误差,噪声的鲁棒性,以及准确性的域内样本分类和域外样本检测任务。
2022-10-06 cs.LG
Replay to Remember (R2R): An Efficient Uncertainty-driven Unsupervised Continual Learning Framework Using Generative Replay
Department of Computational Intelligence, SRM Institute of Science and Technology(计算智能系,SRM科学与技术学院)
本文提出R2R无监督持续学习框架,通过簇级不确定性反馈和生成回放机制在多个数据集上显著提升知识保留能力并取得领先性能。
2025-05-09 cs.AI cs.CV cs.LG
Generative Network-Based Reduced-Order Model for Prediction, Data Assimilation and Uncertainty Quantification
Applied Modelling and Computation Group(应用建模与计算组);Computation Group(计算组)
本研究提出一种将生成网络集成到降阶模型框架的新方法,仅用离散化偏微分方程的少量无条件模拟训练生成网络,可高效求解偏微分方程逆问题,准确匹配测量值与马尔可夫链蒙特卡洛金标准并量化不确定性,已在流行病学时空仓室模型中验证有效。
2023-09-05 cs.LG stat.ML
Generative Latent Diffusion Model for Inverse Modeling and Uncertainty Analysis in Geological Carbon Sequestration
本文提出CoNFiLD-geo模型,结合条件神经场编码与贝叶斯潜空间扩散,实现地质碳封存中高效、不确定性感知的正反演建模与数据同化。
2025-08-17 cs.LG physics.geo-ph
Global Optimisation of Black-Box Functions with Generative Models in the Wasserstein Space
HSE University(高等经济大学)
本研究提出一种基于Wasserstein距离的不确定性估计器,结合深度生成代理模型用于黑盒模拟器的无梯度优化,经测试其鲁棒性优于当前最优方法。
2024-11-03 cs.LG hep-ex physics.data-an
Conditional deep generative models as surrogates for spatial field solution reconstruction with quantified uncertainty in Structural Health Monitoring applications
National Technical University of Athens(雅典国立技术大学);School of Naval Architecture and Marine Engineering(船舶与海洋工程学院)
本文提出一种基于CNN的条件变分自编码器作为代理模型,用于结构健康监测中高维随机结构模拟的空间场重建,在保证重建精度的同时有效量化荷载不确定性。
2023-02-14 cs.AI cs.LG
Dropout Prediction Uncertainty Estimation Using Neuron Activation Strength
UIUC(伊利诺伊大学厄巴纳-香槟分校);Google, Inc.(谷歌公司)
Dropout常被用来量化预测的不确定性,即在给定的输入样本上模型预测的变化。然而,在实践中使用dropout可能是昂贵的,因为它需要多次运行dropout推断。在本文中,我们研究了如何以资源有效的方式估计辍学预测的不确定性。我们证明了我们可以使用神经元激活强度来估计不同dropout设置下的dropout预测不确定性,并使用三个大型数据集MovieLens,Criteo和EMNIST进行各种任务。我们的方法提供了一个推理一次的方法来估计辍学预测的不确定性作为一个廉价的辅助任务。我们还证明,使用激活功能的神经网络层的子集可以足以实现不确定性估计的性能几乎可以与使用激活功能的所有层,从而减少资源,甚至进一步为不确定性估计。
2022-06-16 cs.LG
Generative Robust Optimisation
Department of Chemical Engineering, Sargent Centre for Process Systems Engineering, UCL (University College London)(伦敦大学学院化学工程系,萨金特过程系统工程中心)
提出生成式鲁棒优化(GRO)框架,用深度生成模型定义不确定性集,通过五点评分标准评估,结合Wasserstein对抗自编码器实现,在规划问题中验证其表达力与可解性。
2026-06-23 cs.AI cs.LG cs.SY
Uncertainty Estimation in Autoregressive Structured Prediction
Yandex(扬德克斯);Higher School of Economics(高等经济学院);University of Cambridge(剑桥大学)
不确定性估计对于确保AI系统的安全性和鲁棒性非常重要。虽然该领域的大多数研究都集中在非结构化预测任务,有限的工作已经调查了一般的不确定性估计方法的结构化预测。因此,这项工作的目的是研究在一个统一的和可解释的概率集成为基础的框架内的自回归结构化预测任务的不确定性估计。我们认为:在令牌级和完整的序列级序列数据的不确定性估计;解释,和应用,各种措施的不确定性;并讨论与获得它们相关的理论和实践挑战。这项工作还为标记级和序列级错误检测以及WMT'14英法和WMT'17英德翻译和LibriSpeech语音识别数据集上的序列级域外输入检测提供了基线。
2021-02-11 cs.AI cs.LG stat.ML
History Matching under Uncertainty of Geological Scenarios with Implicit Geological Realism Control with Generative Deep Learning and Graph Convolutions
Tomsk Polytechnic University(托姆斯克理工大学);Heriot-Watt University(赫瑞-瓦特大学)
提出基于图的变分自编码器架构,利用低维潜空间和测地线度量隐式控制地质真实性,解决不同地质情景的不确定性,并在合成数据集上验证了方法可行性。
2025-07-14 cs.LG physics.data-an stat.AP
Trading Confidence: Comprehensive Uncertainty Estimation in Algorithmic Trading
Nanyang Technological University(南洋理工大学);Centre for Frontier AI Research(前沿人工智能研究中心);A*STAR(新加坡科技研究局);Laval University(拉瓦尔大学)
针对传统强化学习模型在金融交易动态环境中难以应对不确定性问题,提出含分布、认知和随机不确定性估计的框架,用多种方法增强估计,实验表明该框架下的强化学习智能体在收益和风险管理上表现更优。
2026-07-07 cs.LG
Training-Free Uncertainty Estimation for Dense Regression: Sensitivity as a Surrogate
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Rutgers University(罗格斯大学)
不确定性估计是评估计算机视觉中深度学习模型鲁棒性的重要步骤,尤其是在应用于风险敏感领域时。然而,大多数最先进的深度学习模型要么无法获得不确定性估计,要么需要进行重大修改(例如,大多数以前的方法都不能把一个任意的模型从货架上拿下来,产生不确定性估计,而不重新训练或重新设计它。为了解决这个差距,我们进行了系统的探索到训练免费密集回归的不确定性估计,一个未被认识到的重要问题,并提供了一个理论建设证明这样的估计。我们提出了三种简单且可扩展的方法来分析训练网络在可容忍扰动下的输出方差:推断转换,推断噪声和推断辍学。它们仅在推理期间操作,而不需要重新训练、重新设计或微调模型,而这通常是最先进的不确定性估计方法所要求的。令人惊讶的是,即使在训练中不涉及这种扰动,与需要训练的最先进的方法相比,我们的方法也能产生相当甚至更好的不确定性估计。
2022-01-11 cs.CV cs.LG
A Geometric Method for Improved Uncertainty Estimation in Real-time
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
机器学习分类器本质上是概率性的,因此不可避免地涉及不确定性。预测特定输入正确的概率称为不确定性(或置信度)估计,对于风险管理至关重要。事后模型校准可以改善模型的不确定性估计,而不需要重新训练,也不需要改变模型。本文提出了一种基于几何的不确定性估计方法。粗略地说,我们使用当前输入与现有训练输入的几何距离作为估计不确定性的信号,然后使用标准的事后校准技术校准该信号(而不是模型的估计)。我们表明,我们的方法产生更好的不确定性估计比最近提出的方法,通过广泛评估多个数据集和模型。此外,我们还证明了我们的方法在近实时的【形】应用的可能性。我们的代码可以在我们的Github https://github.com/NoSleepDeveloper/Geometric-Calibrator上找到。
2022-06-23 cs.AI cs.LG stat.ML
Uncertainty Estimation with Deep Learning for Rainfall-Runoff Modelling
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);Natel Energy Inc.(纳特尔能源公司);Google Research(谷歌研究院)
深度学习正在成为一种越来越重要的方法,可以在广泛的空间和时间尺度上进行准确的水文预测。不确定性估计对于可操作的水文预报至关重要,虽然标准化的社区基准正在成为水文模型开发和研究的一个越来越重要的部分,但缺乏类似的基准不确定性估计工具。我们建立了一个不确定性估计基准测试程序,并提出了四个深度学习基线,其中三个基于混合密度网络,一个基于蒙特卡罗丢弃。此外,我们提供了一个事后模型分析,提出了一些定性的理解所产生的模型。然而,最重要的是,我们证明了通过深度学习可以实现准确、精确和可靠的不确定性估计。
2020-12-15 cs.LG physics.geo-ph
Real-Time Uncertainty Estimation in Computer Vision via Uncertainty-Aware Distribution Distillation
Samsung Inc(三星公司);Cornell University(康奈尔大学)
不确定性的校准估计对于深度学习的许多现实世界计算机视觉应用至关重要。虽然有几种广泛使用的不确定性估计方法,辍学推断突出其简单性和有效性。然而,这种技术在推理期间需要通过网络的多次前向传递,因此可能过于资源密集而不能部署在实时的【形】应用中。我们提出了一种简单,易于优化的蒸馏方法,用于学习预训练的辍学模型的条件预测分布,用于计算机视觉任务中的快速,无样本不确定性估计。我们经验性地测试了所提出的方法在语义分割和深度估计任务上的有效性,并证明了我们的方法可以显着减少推理时间,实现实时的【形】不确定性量化,同时实现了比常规辍学模型更高质量的不确定性估计和预测性能。
2020-11-06 cs.CV cs.LG stat.ML