Pseudo-marginal Bayesian inference for supervised Gaussian process latent variable models
School of Engineering, University of Warwick, UK(华威大学工程学院,英国);Warwick Center for Predictive Modelling, University of Warwick, UK(华威大学预测建模中心,英国);Department of Statistics, University of Warwick, UK(华威大学统计系,英国);Division of Translational Medicine, Warwick Medical School, UK(华威医学院转化医学部,英国);Dept of Clinical Biochemistry, Division of Pathology, University Hospital Coventry and Warwickshire, Coventry, UK(考文垂和华威郡大学医院病理学部临床生物化学系,考文垂,英国)
我们引入了一个贝叶斯框架的推理与监督版本的高斯过程潜变量模型。该框架克服了隐变量和超参数之间的高度相关性,通过使用无偏伪估计的边缘似然近似集成的潜变量。这是用来构建一个马尔可夫链,探索超参数的后验。我们演示了模拟和真实的例子,显示其捕获的超参数和改进的不确定性量化预测相比,变分推断的不确定性和多模态的能力的过程。
2018-03-28 cs.LG stat.ML
On Unsupervised Uncertainty-Driven Speech Pseudo-Label Filtering and Model Calibration
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Le Mans University(勒芒大学)
伪标签(PL)过滤是无监督域自适应自训练(ST)方法的重要组成部分。基于丢弃的不确定性驱动的自训练(DUST)首先在源域标记数据上训练教师模型。然后,教师模型用于为未标记的目标领域数据提供PL。最后,我们训练一个学生增强标记和伪标记的数据。这个过程是迭代的,学生成为下一个DUST迭代的老师。在每个DUST迭代中,学生模型训练之前的一个关键步骤是过滤掉可能导致学生模型误入歧途的噪声PL。在DUST中,我们提出了一种简单,有效,理论上合理的PL过滤策略,该策略基于教师模型对未标记语音话语预测的不确定性。我们估计模型的不确定性,通过计算从教师模型中提取的多个样本之间的不一致,在推理过程中通过dropout注入噪声。在这项工作中,我们表明,DUST的PL过滤,最初使用的,可能会失败严重的源和目标域不匹配。我们提出了几种方法来消除或缓解这个问题。此外,我们将神经网络模型校准研究的见解带到DUST,并表明校准良好的模型与DUST PL过滤步骤的积极结果密切相关。
2022-11-14 cs.AI cs.LG eess.AS
Nonconvex Extension of Generalized Huber Loss for Robust Learning and Pseudo-Mode Statistics
我们提出了一个扩展的推广的伪Huber损失制定。我们表明,使用对数-exp变换与逻辑函数,我们可以创建一个损失相结合的理想性质的严格凸损失与强大的损失函数。有了这个公式,我们表明,可以利用线性收敛算法来找到一个最小值。我们进一步讨论了一个准凸的复合损失的创建,并提供了一个导数免费指数收敛速度算法。
2022-02-22 cs.LG stat.CO stat.ML
Discretization-Induced Dirichlet Posterior for Robust Uncertainty Quantification on Regression
Paris-Saclay University(巴黎-萨克雷大学);ENSTA Paris, Institut Polytechnique de Paris(巴黎综合理工学院 ENSTA 巴黎);University of Oxford(牛津大学)
针对视觉回归任务现有AuxUE仅侧重偶然不确定性、缺乏鲁棒性的问题,提出通用AuxUE方案,用拉普拉斯分布估计偶然不确定性,以DIDO方法建模离散预测误差的Dirichlet后验实现认知不确定性,在多任务上验证了噪声输入下的鲁棒性与可扩展性。
2023-12-13 cs.CV cs.LG stat.ML
Breaking Diversity Collapse in Spiking Pseudo-Ensembles for Efficient OOD Detection in Remote Sensing
该研究针对遥感系统的OOD检测难题,提出带“同意-不同意”目标的脉冲伪集成方法,破解多样性崩溃问题,以低部署成本实现了优于深度集成的检测性能。
2026-08-04 cs.LG
Integrating uncertainty quantification into randomized smoothing based robustness guarantees
Ruhr University Bochum(鲁尔大学波鸿分校);Heinrich-Heine-University Düsseldorf(海因里希·海涅杜塞尔多夫大学);University of Cambridge(剑桥大学)
本文将高不确定性时弃权(不执行)的分类器纳入随机平滑框架,提出两类不确定性感知认证半径,并在 CIFAR10 上验证其鲁棒性与 OOD 检测收益。
2024-10-27 cs.CR cs.LG stat.ML
Robust Neural Regression via Uncertainty Learning
School of Information Technology, Deakin University(迪肯大学信息技术学院)
深度神经网络往往会低估不确定性,并产生过于自信的预测。最近提出的解决方案,如MC Dropout和SDENet,需要复杂的训练和/或辅助分布外数据。我们提出了一个简单的解决方案,通过扩展经过时间考验的迭代加权最小二乘(IRLS)在广义线性回归。我们使用两个子网络参数化的预测和不确定性估计,使复杂的输入和非线性响应的简单处理。这两个子网络具有共享的表示,并通过两个互补的损失函数进行训练,用于预测和不确定性估计,并具有如合作游戏中的交错步骤。与更复杂的模型(如MC-Dropout或SDE-Net)相比,我们提出的网络更容易实现,更鲁棒(对变化的任意和认知不确定性不敏感)。
2021-10-12 cs.AI cs.LG stat.ML
Robustness Meets Uncertainty: Evidential Adversarial Training for Robust Selective Classification
Multitel Research & Innovation Center, Artificial Intelligence Department(多特尔研究与创新中心,人工智能部门);TRAIL – Trusted AI Labs(TRAIL——可信AI实验室)
研究安全关键应用中分类器的稳健性与可靠性,通过选择性分类视角探讨差距,引入统一基准,提出证据对抗训练方法,提升稳健性与不确定性权衡,优于现有对抗训练方法。
2026-07-07 cs.CV cs.LG
PseudoCal: A Source-Free Approach to Unsupervised Uncertainty Calibration in Domain Adaptation
Centre for Frontier AI Research, A*STAR(新加坡科技研究局前沿人工智能研究中心);Institute of High Performance Computing, A*STAR(新加坡科技研究局高性能计算研究所);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);National University of Singapore(新加坡国立大学)
针对无源 UDA 中目标域不确定性校准难题,提出仅用无标注目标数据构造伪目标集的 PseudoCal,并在 10 种 UDA 方法上验证其显著降低校准误差。
2023-07-14 cs.CV cs.LG
On the underestimation of model uncertainty by Bayesian K-nearest neighbors
当使用K-最近邻方法时,人们经常忽略K的选择中的不确定性。为了解释这种不确定性,Holmes和Adams(2002)提出了一个贝叶斯框架,用于K-最近邻(KNN)。他们的贝叶斯KNN(BKNN)方法使用伪似然函数和标准的马尔可夫链蒙特卡罗(MCMC)技术来绘制后验样本。Holmes和Adams(2002)关注BKNN在误分类错误方面的性能,但没有评估其量化不确定性的能力。我们提出了一些证据表明,BKNN仍然显着低估了模型的不确定性。
2008-04-08 stat.ML
Robustness and uncertainty: two complementary aspects of the reliability of the predictions of a classifier
Ghent University(根特大学)
本文提出了一种结合鲁棒性量化和不确定性量化的混合方法,通过比较不同数据集上的表现,证明两者互补且能提升分类器预测的可靠性。
2025-12-17 cs.LG
Uncertainty Quantification for Multi-level Models Using the Survey-Weighted Pseudo-Posterior
U.S. Bureau of Labor Statistics(美国劳工统计局)
本文探讨了复杂调查样本中多级模型参数估计的不确定性量化问题,提出改进方法以提高方差和区间估计的准确性。
2026-05-11 stat.CO stat.ME
Complementing Semi-Supervised Learning with Uncertainty Quantification
University of Central Florida(中佛罗里达大学)
全监督分类的问题在于它需要大量的注释数据,然而,在许多数据集中,很大一部分数据是未标记的。为了缓解这个问题,半监督学习(SSL)利用分类器在标记域上的知识,并将其外推到未标记域,该未标记域具有与注释数据类似的分布。最近SSL方法的成功关键在于阈值伪标记,从而一致性正则化的未标记的域。然而,现有的方法没有考虑到的不确定性的伪标签或未标记的样本在训练过程中,这是由于噪声标签或外的分布样本,由于强扩增。受SSL最近发展的启发,本文的目标是提出一种新的无监督不确定性感知目标,该目标依赖于任意和认知不确定性量化。补充最近的技术,在SSL与建议的不确定性感知损失函数,我们的方法优于或等同于国家的最先进的标准SSL基准,同时计算轻量级。我们的结果优于复杂数据集(如CIFAR-100和Mini-ImageNet)的最新结果。
2022-07-22 cs.AI cs.LG
Maximum Likelihood Uncertainty Estimation: Robustness to Outliers
Bonn-Rhein-Sieg University of Applied Sciences(波恩-莱茵-锡格应用技术大学);German Aerospace Center (DLR)(德国航空航天中心);University of Luxembourg(卢森堡大学)
我们基准的鲁棒性最大似然为基础的不确定性估计方法的离群值在训练数据回归任务。训练数据中的异常值或噪声标签会导致性能下降以及不确定性的不正确估计。我们建议使用重尾分布(拉普拉斯分布),以提高对离群值的鲁棒性。使用标准回归基准和单目深度估计的高维回归任务来评估此属性,两者都包含离群值。特别地,基于重尾分布的最大似然提供了更好的不确定性估计,更好地分离分布外数据的不确定性,以及在存在离群值的情况下更好地检测对抗攻击。
2022-02-03 cs.AI cs.LG
A Robust Multi-Objective Bayesian Optimization Framework Considering Input Uncertainty
Ghent University(根特大学);imec(比利时微电子研究中心)
贝叶斯优化是一种流行的工具,用于对昂贵的目标函数进行数据有效的优化。在工程设计等实际应用中,设计人员通常希望考虑多个目标以及输入的不确定性,以找到一组鲁棒的解决方案。虽然这在单目标贝叶斯优化中是一个活跃的话题,但在多目标情况下研究较少。我们引入了一种新的贝叶斯优化框架,有效地执行多目标优化考虑输入的不确定性。我们提出了一个强大的高斯过程模型来推断贝叶斯风险标准来量化鲁棒性,我们开发了一个两阶段的贝叶斯优化过程来搜索一个强大的帕累托前沿。完整的框架支持各种分布的输入不确定性,并充分利用并行计算。我们证明了框架的有效性,通过数值基准。
2022-02-25 cs.AI cs.CE stat.ML
Bayesian Uncertainty Estimation Under Complex Sampling
社会和经济研究通常作为复杂的调查设计来实施。例如,联邦统计机构所利用的多阶段、不相等的概率抽样设计通常被构造为最大化目标域水平估计器的效率(例如,按地理区域编制索引)。此类设计可能会导致采样单元之间的依赖性;例如,采用选择按地理索引的单元集群的采样步骤。采样加权伪后验分布可用于估计观察样本的总体模型。在共同聚类单元之间引起的依赖性膨胀了所得到的伪后验协方差阵的规模,其已被证明在可信度集的覆盖下引起。通过将贝叶斯模型误指定和调查抽样的结果桥接,我们证明了在简单随机抽样下,伪极大似然估计、伪后验估计和极大似然估计之间的渐近分布的尺度和形状是不同的。通过调查抽样方差估计和计算方法的最新进展的见解,我们设计了一个校正应用作为一个简单而快速的后处理步骤MCMC绘制的伪后验分布。该调整投影伪后验协方差阵,使得近似实现标称覆盖。我们提出了一个应用程序的全国调查药物使用和健康作为一个激励的例子,我们证明了我们的规模和形状的投影程序的合成数据的调查设计的几个常见的原型的功效。
2019-07-29 stat.ME
Scalable Bayesian Structure Learning for Gaussian Graphical Models Using Marginal Pseudo-likelihood
针对高斯图模型贝叶斯学习可扩展性差的问题,提出基于边际伪似然的连续时间与离散时间MCMC算法,实现千节点图的高效后验探索,兼具理论保证与计算优势。
2025-08-27 stat.CO stat.ME stat.ML
General Robust Bayes Pseudo-Posterior: Exponential Convergence results with Applications
虽然贝叶斯推理在包括统计学家在内的很大一部分科学家中是一种非常流行的范式,但大多数应用都考虑了客观的先验知识,需要进行严格的调查(Efron,2013,Science)。虽然它有几个最佳的属性,贝叶斯推理的一个主要缺点是缺乏对数据污染和模型错误指定的鲁棒性,这在使用客观先验时变得有害。本文给出了一种能产生稳健推断的Bayes伪后验分布的一般形式。在一般的参数设置下建立了与新的伪后验估计和相应的Bayes估计相关的指数收敛结果,并对独立平稳和非齐次模型进行了说明.几个额外的细节和属性的过程中描述,包括固定设计回归模型下的估计。
2020-09-10 math.ST stat.ME stat.TH
UPL: Uncertainty-aware Pseudo-labeling for Imbalance Transductive Node Classification
Sharif University of Technology(谢里夫理工大学);Alan Turing Institute(阿兰·图灵研究所)
针对图结构数据的类别不平衡导致节点分类困难的问题,提出不确定性感知伪标签标注算法UPL,通过为无标签节点分配伪标签并利用不确定性方法降低训练噪声,有效提升了分类准确率,性能优于现有最先进方法。
2025-02-02 cs.LG
An Uncertainty-Aware Pseudo-Label Selection Framework using Regularized Conformal Prediction
针对伪标签因模型校准差而产生错误高置信预测的问题,本文提出基于保形正则化不确定性集合的不确定性感知伪标签选择框架,以减少噪声训练样本。
2023-08-30 cs.LG
In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning
Center for Research in Computer Vision(计算机视觉研究中心);University of Central Florida(中佛罗里达大学)
目前半监督学习的研究主要集中在基于一致性正则化的学习方法上,这些方法具有很好的性能。然而,它们严重依赖于特定领域的数据增强,这并不容易为所有数据模式生成。伪标记(PL)是一种通用的SSL方法,它没有这种约束,但在其原始公式中表现相对较差。我们认为PL表现不佳是由于校准不良的模型的错误高置信度预测;这些预测生成许多不正确的伪标签,导致噪声训练。我们提出了一个不确定性感知的伪标签选择(UPS)框架,通过大幅减少训练过程中遇到的噪声量来提高伪标签的准确性。此外,UPS概括了伪标签过程,允许创建负伪标签;这些负伪标签可用于多标签分类以及负学习以改进单标签分类。与最近的SSL方法相比,我们在CIFAR-10和CIFAR-100数据集上实现了强大的性能。此外,我们证明了我们的方法在视频数据集UCF-101和多标签数据集Pascal VOC上的多功能性。
2021-04-19 cs.CV cs.LG
Uncertainty-Aware Graph Self-Training with Expectation-Maximization Regularization
本研究提出一种带EM正则化的不确定性感知图自训练方法,用于半监督节点分类,通过迭代优化伪标签置信度处理含噪图数据,实验显示其准确率较基线最高提升2.5%且性能更稳定。
2025-07-29 cs.LG stat.ML
Graph-Based Uncertainty-Aware Self-Training with Stochastic Node Labeling
针对半监督自训练中伪标签过置信度问题,提出基于图拓扑的随机节点标记GUST框架,结合贝叶斯不确定性估计与类EM步骤,在标记数据稀疏的节点分类任务上达SOTA性能。
2025-07-29 cs.LG stat.ML
Calibrating Uncertainty for Semi-Supervised Crowd Counting
Stony Brook University(石溪大学)
针对半监督人群计数中伪标签可靠性问题,提出通过监督式逐块匹配代理函数校准模型不确定性,从而筛选高质量伪标签并达到最先进性能。
2023-08-19 cs.CV cs.LG
Conditional Pseudo-Reversible Normalizing Flow for Surrogate Modeling in Quantifying Uncertainty Propagation
Oak Ridge National Laboratory(橡树岭国家实验室);Auburn University(奥本大学)
本文提出条件伪可逆归一化流模型,直接从输入-输出对学习条件概率密度函数,无需噪声先验知识,用于高效量化正向与逆向不确定性传播,并在基准测试和地质碳封存问题中验证了有效性。
2024-03-31 cs.LG cs.NA math.NA
A Data-Driven Approach to Robust Hypothesis Testing Using Sinkhorn Uncertainty Sets
Georgia Institute of Technology(佐治亚理工学院)
小样本情形下的假设检验是一个具有重要实际意义的问题。在本文中,我们研究了强大的假设检验问题,在数据驱动的方式,我们寻求最坏情况下的检测器分布的不确定性集的经验分布为中心的样本使用Sinkhorn距离。与Wasserstein鲁棒性检验相比,该方法在训练样本之外支持相应的最不利分布,从而提供了一种更灵活的检测器。在合成数据集和真实数据集上进行了各种数值实验,以验证我们所提出的方法的竞争力。
2022-05-15 cs.LG stat.ML
Unifying Count-Based Exploration and Intrinsic Motivation
Google DeepMind(谷歌DeepMind)
我们认为代理人的不确定性,其环境和问题的概括这种不确定性的意见。具体来说,我们专注于非表格强化学习中的探索问题。从内在动机文献中汲取灵感,我们使用密度模型来测量不确定性,并提出了一种新的算法,用于从任意密度模型导出伪计数。这种技术使我们能够将基于计数的探索算法推广到非表格的情况。我们将我们的想法应用于Atari 2600游戏,从原始像素提供合理的伪计数。我们将这些伪计数转换为内在奖励,并在一些硬游戏中获得显着改善的探索,包括臭名昭著的困难蒙特祖玛的复仇。
2016-11-07 cs.AI cs.LG stat.ML
Guiding Pseudo-labels with Uncertainty Estimation for Source-free Unsupervised Domain Adaptation
Istituto Italiano di Tecnologia(意大利技术研究院)
标准的无监督领域自适应(UDA)方法假设在自适应期间源数据和目标数据都是可用的。在这项工作中,我们研究无源无监督领域自适应(SF-UDA),一个特定的情况下,UDA模型是适应目标域没有访问源数据。我们提出了一种新的方法,SF-UDA设置的基础上的损失重新加权策略,带来了鲁棒性的噪声,不可避免地影响伪标签。基于通过估计其不确定性来测量的伪标签的可靠性来重新加权分类损失。在这种重新加权策略的指导下,通过从相邻样本中聚合知识来逐步改进伪标签。此外,一个自我监督的对比框架被利用作为一个目标空间正则化,以提高这样的知识聚合。提出了一种新的负对排除策略,即使在伪标签中存在一些噪声的情况下,也可以识别和排除由共享同一类的样本组成的负对。我们的方法在三个主要的基准测试中表现优于以前的方法。我们在VisDA-C和DomainNet上设置了最先进的新SF-UDA,在两个基准测试中的性能增益为+1.8%,在PACS上的性能增益为+12.3%,在多目标自适应中为+6.6%。额外的分析表明,所提出的方法是鲁棒的噪声,这导致显着更准确的伪标签相比,国家的最先进的方法。
2023-03-17 cs.AI cs.CV cs.LG
Robust Optimization using Machine Learning for Uncertainty Sets
MIT(麻省理工学院)
我们的目标是建立鲁棒的最优化问题,以便根据过去的复杂数据做出决策。在鲁棒优化(RO)中,目标通常是创建一个决策策略,该策略对我们对未来的不确定性具有鲁棒性。特别是,我们希望我们的政策能够最好地处理一系列不确定的可能情况中可能出现的最坏情况。传统上,不确定性集只是由用户选择,或者它可能是以过于简单的方式进行估计,具有很强的假设;而在这项工作中,我们从过去收集的数据中学习不确定性集。过去的数据是从(未知的)可能复杂的高维分布中随机抽取的。我们提出了一个新的不确定性集的设计,并展示了如何从统计学习理论的工具可以用来提供概率保证的政策的鲁棒性。
2014-07-04 cs.LG math.OC stat.ML
Conformal Uncertainty Indicator for Continual Test-Time Adaptation
New Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所新模式识别实验室);China Nuclear Power Engineering Co., LTD(中国核电工程有限公司);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);School of Computer Science & Engineering, LinYi University(临沂大学计算机科学与工程学院);School of Electric & Information Engineering, Suzhou University of Science and Technology(苏州科技大学电子与信息工程学院)
本文提出共形不确定性指示器CUI,通过动态补偿共形预测的覆盖率并筛选可靠伪标签,解决CTTA中错误伪标签累积问题,提升持续测试时自适应性能。
2025-02-05 cs.LG
CRUPL: A Semi-Supervised Cyber Attack Detection with Consistency Regularization and Uncertainty-aware Pseudo-Labeling in Smart Grid
Indian Institute of Technology Dharwad(印度达尔瓦德理工学院);Rajiv Gandhi Institute of Technology(拉吉夫·甘地理工学院)
本文提出半监督方法CRUPL,利用一致性正则化、伪标签与课程学习处理智能电网未标签数据,在未知样本下将检测准确率提升至99%并显著减少误报。
2025-03-01 cs.AI cs.CR cs.LG
Variational Voxel Pseudo Image Tracking
Aarhus University(奥胡斯大学);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
不确定性估计是机器人和自动驾驶等关键问题的重要任务,因为它允许创建统计上更好的感知模型,并将模型预测的确定性发送给决策方法或人类监督者。在本文中,我们提出了一个变分神经网络为基础的版本的体素伪图像跟踪(VPIT)方法的三维单目标跟踪。所提出的变分VPIT的变分特征生成网络计算目标和搜索区域的特征以及相应的不确定性,随后使用不确定性感知互相关模块以两种方式之一进行组合:通过计算相应不确定性之间的相似性并将其添加到常规互相关值,或者通过惩罚不确定特征通道以增加某些特征的影响。在实验中,我们表明,这两种方法提高跟踪性能,而惩罚的不确定性功能提供了最好的不确定性质量。
2023-02-12 cs.CV cs.LG
Semi-Supervised Regression with Heteroscedastic Pseudo-Labels
Xi’an Jiaotong University(西安交通大学);City University of Hong Kong(香港城市大学);Harvard University(哈佛大学);Xidian University(西安电子科技大学);Pazhou Laboratory (Huangpu)(黄埔实验室)
针对半监督回归中伪标签不可靠的问题,提出不确定性感知的伪标签框架,通过双层优化动态调整伪标签影响,在基准数据集上验证了鲁棒性和性能优势。
2025-10-17 cs.LG
Uncertainty Guided Ensemble Self-Training for Semi-Supervised Global Field Reconstruction
Defense Innovation Institute, Chinese Academy of Military Science(中国人民解放军军事科学院国防科技创新研究院)
从有限的传感器中恢复出全局精确的复杂物理场是航天工程测量与控制的关键。一般的重建方法,尤其是参数较多、表征能力较强的深度学习方法,通常需要大量的标注数据,这是难以承受的。针对这一问题,本文提出了不确定性引导的嵌入式自训练算法(UGE-ST),利用大量的未标记数据来提高重构性能。首先提出了一种新的自训练框架,该框架具有集成教师和预训练学生,旨在提高伪标签的准确性并弥补噪声的影响。另一方面,提出了不确定性引导的学习,以鼓励模型专注于伪标签的高置信度区域,并减轻错误的伪标签在自训练中的影响,提高重建模型的性能。翼型压力场、速度场和飞机系统温度场重建实验表明,UGE-ST在保持监督学习精度的同时,可以节省高达90%的数据。
2023-02-23 cs.AI cs.LG
AugMix: A Simple Data Processing Method to Improve Robustness and Uncertainty
DeepMind;Google(谷歌)
现代深度神经网络在训练分布和测试分布同分布时可以达到很高的精度,但在实践中经常违反这一假设。当训练和测试分布不匹配时,准确性会急剧下降。目前,很少有技术可以提高部署过程中遇到的不可预见的数据变化的鲁棒性。在这项工作中,我们提出了一种技术,以提高图像分类器的鲁棒性和不确定性估计。我们提出AugMix,一种易于实现的数据处理技术,增加了有限的计算开销,并帮助模型承受不可预见的损坏。AugMix显著提高了具有挑战性的图像分类基准的鲁棒性和不确定性度量,在某些情况下缩小了以前方法与最佳性能之间的差距。
2020-02-17 cs.CV cs.LG stat.ML
BDNNSurv: Bayesian deep neural networks for survival analysis using pseudo values
AbbVie Inc.(艾伯维公司);University of Michigan(密歇根大学)
在医学研究中使用深度学习方法对生存数据建模的兴趣越来越大。本文提出了一种贝叶斯分层深度神经网络模型,用于生存数据的建模和预测。与以往研究的方法相比,新的建议不仅可以提供生存概率的点估计,但也量化相应的不确定性,这可能是至关重要的预测建模和随后的决策。通过模拟研究和实际数据分析,证明了点估计和不确定度估计的良好统计特性。提供了实现所提出的方法的Python代码。
2021-09-17 cs.LG stat.ME
MEDL-U: Uncertainty-aware 3D Automatic Annotation based on Evidential Deep Learning
Hong Kong University of Science and Technology(香港科技大学)
本文提出MEDL-U框架,基于证据深度学习量化3D伪标签不确定性,解决标注模糊问题,在KITTI数据集上超越现有3D自动标注器。
2024-02-15 cs.CV cs.LG cs.RO
Robustness to Multi-Modal Environment Uncertainty in MARL using Curriculum Learning
University of Maryland(马里兰大学)
本文首次提出多智能体强化学习中多模态环境不确定性的鲁棒性问题,并基于课程学习提出通用训练方法,在合作与竞争环境中达到最先进鲁棒性。
2023-10-12 cs.LG
Online Robust Reinforcement Learning with Model Uncertainty
University at Buffalo(布法罗大学)
鲁棒强化学习(RL)是在不确定的MDP集合上找到一个优化最坏情况性能的策略。在本文中,我们专注于无模型鲁棒RL,其中不确定性集被定义为以错误指定的MDP为中心,该MDP顺序地生成单个样本轨迹,并且假设是未知的。我们开发了一种基于样本的方法来估计未知的不确定性集,并设计了一个强大的Q-学习算法(表格的情况下)和强大的TDC算法(函数近似设置),这可以实现在线和增量的方式。对于鲁棒Q-学习算法,我们证明了它收敛于最优鲁棒Q函数,对于鲁棒TDC算法,我们证明了它渐近收敛于某些平稳点。与[Roy等人]中的结果不同,2017],我们的算法不需要任何额外的条件折扣因子,以保证收敛。我们进一步描述了这两种算法的有限时间误差界,并表明鲁棒Q-学习和鲁棒TDC算法收敛速度与其香草同行一样快(在一个常数因子内)。数值实验进一步证明了算法的鲁棒性。我们的方法可以很容易地扩展到鲁棒许多其他算法,例如,TD、SARSA和其他GTD算法。
2021-10-28 cs.LG
Towards Robust Off-policy Learning for Runtime Uncertainty
Walmart Labs(沃尔玛实验室);University of California, Berkeley(加州大学伯克利分校);Instacart;LinkedIn(领英)
离策略学习在在线部署之前优化和评估策略方面起着关键作用。然而,在实时服务过程中,我们观察到各种各样的干预和约束,导致在线和离线设置之间的不一致,我们总结和术语为运行时的不确定性。由于其异常性和稀有性,这种不确定性不能从记录的数据中学习。为了保证一定程度的鲁棒性,考虑到运行时的不确定性,我们沿着对抗方向扰动了非策略估计器。它允许所得到的估计是强大的,不仅观察到的,但也意想不到的运行时的不确定性。利用这一思想,我们带来了运行时的不确定性鲁棒性的三个主要的离策略学习方法:逆倾向得分方法,奖励模型方法,和双鲁棒方法。我们从理论上证明我们的方法的鲁棒性运行时的不确定性,并证明其有效性,使用模拟和现实世界的在线实验。
2022-02-27 cs.IR cs.LG
Unsupervised Domain Adaptation for Speech Recognition via Uncertainty Driven Self-Training
MERL(三菱电机研究实验室)
当训练数据域和测试数据域不匹配时,自动语音识别(ASR)系统的性能通常会显著下降。在本文中,我们表明,自训练(ST)结合基于不确定性的伪标签过滤方法可以有效地用于领域自适应。我们提出了DUST,这是一种基于辍学的不确定性驱动的自我训练技术,它使用针对不同辍学设置获得的ASR系统的多个预测之间的一致性来测量模型对其预测的不确定性。DUST从训练中排除了具有高不确定性的伪标记数据,这导致与没有滤波的ST相比大大改善了ASR结果,并且由于减少了训练数据集而加快了训练时间。领域自适应实验使用WSJ作为源域和TED-LIUM 3以及EQUCHBOARD作为目标域表明,高达80%的地面实况数据训练的系统的性能可以恢复。
2021-02-16 cs.CL cs.LG cs.SD
Robust Depth Completion with Uncertainty-Driven Loss Functions
School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院);Lane Dep. of CSEE, West Virginia University(西弗吉尼亚大学计算机科学与电气工程系)
从稀疏LiDAR扫描恢复密集深度图像是一项具有挑战性的任务。尽管用于稀疏到密集深度完成的颜色引导方法很受欢迎,但它们在优化过程中平等地对待像素,忽略了稀疏深度图中的不均匀分布特征和合成地面实况中的累积离群值。在这项工作中,我们引入不确定性驱动的损失函数,以提高深度完成的鲁棒性和处理深度完成中的不确定性。具体来说,我们提出了一个明确的不确定性制定强大的深度完成与杰弗里的先验。引入参数不确定性驱动的损失,并将其转换为对噪声或缺失数据具有鲁棒性的新的损失函数。同时,我们提出了一个多尺度联合预测模型,可以同时预测深度和不确定性地图。估计的不确定性图还用于对具有高不确定性的像素执行自适应预测,从而产生用于细化完成结果的残差图。我们的方法已经在KITTI深度完井基准上进行了测试,并在MAE,IMAE和IRMSE指标方面实现了最先进的鲁棒性性能。
2021-12-28 cs.CV cs.LG
Nonparametric Estimation of Uncertainty Sets for Robust Optimization
我们研究了一种数据驱动的方法来构建鲁棒最优化问题的不确定性集,其中不确定的问题参数被建模为随机变量,其联合概率分布是未知的。仅依赖于从该分布中提取的独立样本,我们提供了一种非参数方法来估计不确定性集,其概率质量保证在给定的公差内以高置信度近似给定的目标质量。我们考虑的非参数估计也服从分布自由有限样本性能界,这意味着他们的依概率收敛给定的目标质量。除了是有效的计算,所提出的估计结果的不确定性集,产生计算上易于处理的鲁棒最优化问题的一大家族的约束函数。
2020-09-20 cs.LG math.OC
Robust Policy Learning over Multiple Uncertainty Sets
Stanford University(斯坦福大学);Facebook AI Research(脸书人工智能研究院)
强化学习(RL)代理需要对安全关键环境中的变化具有鲁棒性。虽然系统辨识方法提供了一种从在线体验中推断变化的方法,但它们在无法快速识别的环境中可能会失败。另一种主要的方法是鲁棒强化学习,它产生了一个可以处理最坏情况的策略,但这些方法通常被设计为实现对必须在训练时指定的单个不确定性集的鲁棒性。为了更一般的解决方案,我们制定了多集鲁棒性问题,以学习对不同扰动集具有鲁棒性的策略。然后,我们设计了一个算法,享受系统辨识和鲁棒RL的好处:它减少了不确定性,在可能的情况下,给出了一些相互作用,但仍然可以采取行动,相对于其余的不确定性鲁棒。在一组不同的控制任务,我们的方法证明了改进的最坏情况下的性能相比,以前的方法基于系统辨识和鲁棒RL单独在新的环境。
2022-03-04 cs.AI cs.LG cs.RO
Robust Representation Learning with Reliable Pseudo-labels Generation via Self-Adaptive Optimal Transport for Short Text Clustering
Zhejiang University(浙江大学)
本文提出RSTC模型,通过自适应最优传输生成可靠伪标签,并结合类别级与实例级对比学习,提升短文本聚类在不平衡和噪声数据下的鲁棒性。
2023-05-23 cs.AI cs.CL cs.LG
Roping in Uncertainty: Robustness and Regularization in Markov Games
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文研究s-矩形不确定性的鲁棒马尔可夫博弈,建立鲁棒纳什均衡与正则化博弈纳什均衡的等价性,并针对一般情形证明PPAD难,进而提出高效玩家可分解性结构,使两人零和RMG可在多项式时间内求解。
2024-06-13 cs.DS cs.GT cs.LG
FARCLUSS: Fuzzy Adaptive Rebalancing and Contrastive Uncertainty Learning for Semi-Supervised Semantic Segmentation
Department of Artificial Intelligence, Korea University(人工智能系,韩国大学)
本文提出FARCLUSS框架,通过模糊伪标签等四项技术解决半监督语义分割的未标记数据利用问题,在基准测试中优于现有方法,提升了代表性不足类别与模糊区域的分割效果。
2026-08-12 cs.CV cs.LG eess.IV