UAMDP: Uncertainty-Aware Markov Decision Process for Risk-Constrained Reinforcement Learning from Probabilistic Forecasts
The Kyoto College of Graduate Studies for Informatics（京都大学研究生院信息学研究科）；Department of Computer Science, University of Illinois at Chicago（伊利诺伊大学芝加哥分校计算机科学系）
UAMDP通过整合概率预测、后验不确定性探索和风险约束规划，提升高波动环境下序列决策的安全性和盈利能力。
2025-12-18 cs.LG
Guiding Reinforcement Learning Using Uncertainty-Aware Large Language Models
University of Kentucky（肯塔基大学）
本文提出一种基于蒙特卡洛Dropout和动态平均熵的校准引导方法，利用不确定性感知的大语言模型可靠地引导强化学习，并在Minigrid实验中验证其优于未校准LLM和无引导RL的性能。
2024-11-15 cs.LG
Learning-to-defer for sequential medical decision-making under uncertainty
Harvard University（哈佛大学）；Imperial College London（伦敦帝国理工学院）
学习推迟是一个框架，当基于ML的决策被认为不可靠时，自动将决策推迟给人类专家。现有的学习延迟框架不是为顺序设置而设计的。也就是说，他们在每一个实例中独立地推迟，基于即时预测，而忽略了这些干预措施的潜在长期影响。因此，现有的框架是短视的。此外，它们不会自适应地推迟，这在人类干预成本高昂时至关重要。在这项工作中，我们提出了顺序学习推迟（SLTD），学习推迟领域专家在顺序决策设置的框架。与现有文献相反，我们提出了学习延迟的问题，作为基于基于模型的强化学习（RL），以i）使用RL解释基于ML的动作的长期后果，ii）基于动态（基于模型）的自适应延迟。我们提出的框架确定是否推迟（在每个时间步），通过量化现在推迟是否会提高价值相比，推迟到下一个时间步。为了量化改善，我们考虑了潜在的未来延期。因此，我们学习了一个先发制人的推迟政策（即，如果使用基于ML的政策可能会恶化长期结果，则提前推迟的政策）。我们的延迟政策是适应的非平稳的动态。我们证明，通过SLTD的自适应延迟提供了一个改进的权衡长期的结果和延迟频率的合成，半合成，和现实世界的数据与非平稳动态。最后，我们通过分解围绕结果传播的（长期）不确定性来解释推迟决策，以证明推迟决策的合理性。
2022-12-05 cs.LG stat.ML
Counterfactual Explanations in Sequential Decision Making Under Uncertainty
IIT Bombay（印度理工学院孟买分校）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
寻找反事实解释的方法主要集中在一步决策过程。在这项工作中，我们开始开发的方法，以找到反事实的解释决策过程中，多个，依赖的行动，随着时间的推移顺序。我们开始正式使用有限时域马尔可夫决策过程和Gumbel-Max结构因果模型的动作和状态序列的特征。在此基础上，我们正式声明的问题，找到反事实的解释顺序决策过程。在我们的问题表述中，反事实解释指定了一个替代的行动序列，与观察到的序列最多有k个不同的行动，这些行动可能会导致观察到的过程实现更好的结果。然后，我们引入了一个基于动态规划的多项式时间算法来构建一个反事实策略，该策略保证总是对反事实环境动态的每一个可能的实现提供最优的反事实解释。我们使用来自认知行为治疗的合成数据和真实数据来验证我们的算法，并表明我们的算法发现的反事实解释可以提供有价值的见解，以增强不确定性下的顺序决策。
2021-10-27 cs.CY cs.LG stat.ML
Temporal Difference Calibration in Sequential Tasks: Application to Vision-Language-Action Models
Technion - Israel Institute of Technology（技术ion-以色列理工学院）
本文提出了一种用于连续任务的时间差校准方法，通过将Brier分数扩展到序列任务，将不确定性校准与强化学习结合，提高了视觉-语言-动作模型的性能。
2026-04-22 cs.LG cs.RO
Risk-Sensitive and Robust Model-Based Reinforcement Learning and Planning
Pembroke College（彭布罗克学院）
针对现实环境中认知与偶然不确定性带来的风险，本论文提出风险敏感且鲁棒的基于模型的强化学习与规划算法，以提升序贯决策在不确定环境中的安全性与鲁棒性。
2023-04-02 cs.AI cs.LG
Martingale Posterior Neural Networks for Fast Sequential Decision Making
Oxford-Man Institute of Quantitative Finance（牛津-曼定量金融研究所）；Mathematical Institute, University of Oxford（牛津大学数学研究所）；Google Deepmind（谷歌DeepMind）
本文提出基于鞅后验的预测优先神经网络算法，通过卡尔曼滤波式递推在线更新后验预测，实现快速贝叶斯序贯决策，在非平稳上下文赌博机和贝叶斯优化中比经典汤普森采样快10-100倍且性能相当或更优。
2025-10-08 cs.LG stat.ML
Deep Learning for Sequential Decision Making under Uncertainty: Foundations, Frameworks, and Frontiers
Grado Department of Industrial and Systems Engineering, Virginia Tech（弗吉尼亚理工大学工业与系统工程系）
本文探讨在不确定环境下序列决策制定的深度学习方法，结合运筹学与管理科学的视角，分析深度学习与优化的互补性，并讨论其在供应链、医疗等领域的应用。
2026-09-17 cs.AI cs.LG cs.SY
Sequential Monte Carlo for Policy Optimization in Continuous POMDPs
University of Amsterdam（阿姆斯特丹大学）；Aalto University（阿尔托大学）
本文提出了一种基于序列蒙特卡洛的策略优化方法，用于解决连续部分可观测马尔可夫决策过程中的探索与利用平衡问题。
2025-12-04 cs.AI cs.LG stat.ML
Uncertainty-Aware Sequential Decision Rules for Event-Triggered LLM Invocation in Streaming Systems
Viterbi School of Engineering, University of Southern California（南加州大学维特比工程学院）
研究流系统中何时调用大语言模型的问题，将其转化为基于风险的序贯停止问题，证明了相关理论结果。通过在涡轮风扇退化数据上的实验，验证假设、比较基线，得出次线性遗憾、高诊断质量等结论，表明异常分数驱动的风险函数更优。
2026-07-16 cs.AI cs.LG stat.ML
Sequential Stochastic Optimization in Separable Learning Environments
The Coca-Cola Company（可口可乐公司）；Georgia Institute of Technology（佐治亚理工学院）
我们考虑一类顺序决策问题的不确定性，可以包括各种类型的监督学习的概念。这些问题有完全可观察的状态过程和部分可观察的调制过程，其中状态过程仅通过观察过程受到调制过程的影响，观察过程仅观察调制过程，并且调制过程对于控制是外生的。我们将这类问题建模为部分观测的马尔可夫决策过程（POMDP）。调制过程的置信函数是控制不变的，从而将调制过程的估计与状态过程的控制分离。我们将这种特殊结构的POMDP称为可分离的POMDP，或SEP-POMDP，并表明它（i）可以作为广泛的应用领域的模型，例如，库存控制、金融、医疗保健系统，（ii）从一组完全观察到的MDP中继承价值函数和最优策略结构，（iii）可以作为具有完全指定的模型工件的不确定性下的顺序决策的经典模型与未完全指定并需要使用来自统计和机器学习的预测方法的模型之间的桥梁，以及（iv）允许专门的近似解过程。
2021-08-21 cs.LG math.OC stat.ML
Thompson Sampling via Local Uncertainty
McCombs School of Business, The University of Texas at Austin（德克萨斯大学奥斯汀分校麦库姆斯商学院）
汤普森抽样是一种有效的序贯决策算法，它利用后验不确定性来解决探索-开发困境。最近，人们对将贝叶斯神经网络集成到汤普森采样中产生了极大的兴趣。这些方法大多依赖于全局变量的不确定性进行探索。在本文中，我们提出了一个新的概率建模框架汤普森采样，局部潜变量的不确定性被用来采样的平均回报。采用变分推断逼近局部变量的后验，并进一步引入半隐式结构以增强其表达能力。我们在八个上下文bandit基准数据集上的实验结果表明，由局部不确定性引导的Thompson采样在具有低计算复杂度的同时实现了最先进的性能。
2020-08-05 cs.LG stat.ME stat.ML
Deep learning for prediction of complex geology ahead of drilling
NORCE Norwegian Research Centre（挪威研究中心）；Heriot-Watt University（赫瑞-瓦特大学）
在地质导向操作期间，响应于在钻井时获取的新数据而有意地调整井路径。为了实现一致的高质量决策，特别是在复杂环境中钻井时，决策支持系统可以帮助应对大量数据和解释复杂性。他们可以将实时测量同化到概率地球模型中，并使用更新的模型进行决策建议。最近，机器学习（ML）技术已经实现了将计算成本从在线计算重新分配到离线计算的各种方法。在本文中，我们介绍了两个ML技术的地质导向决策支持框架。首先，使用生成对抗网络（GAN）生成复杂的地球模型表示。其次，商业超深电磁模拟器表示使用前向深度神经网络（FDNN）。数值试验表明，在一个集合随机极大似然数据同化方案的组合的GAN和FDNN提供了复杂的地质不确定性的实时估计。这使得从井眼后面和周围收集的测量结果减少钻头前面的地质不确定性。
2021-04-06 cs.LG stat.ML
Uncertainty Prediction for Deep Sequential Regression Using Meta Models
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
为序贯回归生成高质量的不确定性估计，特别是深度递归网络，仍然是一个具有挑战性和开放性的问题。现有的方法往往作出限制性的假设（如平稳性），但在实践中仍然表现不佳，特别是在现实世界的非平稳信号和漂移的存在。本文介绍了一种灵活的方法，可以产生对称和非对称的不确定性估计，不作任何假设平稳性，并优于漂移和非漂移情况下的竞争基线。这项工作有助于使序贯回归在现实世界的应用中更加有效和实用，并且是一般序贯不确定性量化建模工具箱的强大新添加。
2021-07-22 cs.LG stat.ML
Neural Bayesian Sequential Routing
提出神经贝叶斯序列路由（NBSR）框架，将神经推理建模为有向无环图上的主动证据累积，通过狄利克雷-分类共轭框架实现不确定性量化、早期退出和资源理性推理。
2026-05-22 cs.LG
Guiding the Sequential Experiments in Autonomous Experimentation Platforms through EI-based Bayesian Optimization and Bayesian Model Averaging
West Virginia University（西弗吉尼亚大学）
自主实验平台（AEP）是先进的制造平台，在智能控制下，可以顺序搜索材料设计空间（MDS）并识别具有所需特性的参数。这些AEP的智能控制的核心是指导顺序实验的策略，即选择进行下一个实验的位置。在这种情况下，必须实现开采和勘探之间的平衡。贝叶斯优化（BO）框架与预期的改善为基础的（EI为基础的）采集功能可以有效地搜索MDS和指导在哪里进行下一个实验，使潜在的关系，可以确定与较少的实验数量。传统的BO框架试图通过依赖于单个模型以顺序的方式优化黑盒目标函数。然而，这种单一模型方法并不考虑模型的不确定性。贝叶斯模型平均（BMA）通过使用多个模型来解决这个问题，从而考虑模型中的不确定性。在这项工作中，我们首先将传统的BO算法与最流行的基于EI的实验策略应用于钢的真实疲劳数据集，以预测钢的疲劳强度。之后，我们通过使用一组预测模型将BMA应用于同一数据集，并将BMA的性能与传统的BO算法进行比较，后者依赖于单个模型进行近似。我们比较结果的RMSE和发现，BMA的表现优于基于EI的BO在预测任务中，通过考虑模型的不确定性在其框架。
2023-02-26 cs.LG
BayeSQP: Bayesian Optimization through Sequential Quadratic Programming
Institute for Data Science in Mechanical Engineering（机械工程中的数据科学研究所）；RWTH Aachen University（亚琛工业大学）
BayeSQP通过结合序列二次规划与贝叶斯优化，提供了一个灵活的框架，用于高维黑箱优化问题，优于现有方法。
2026-02-03 cs.LG
Lattice: A Confidence-Gated Hybrid System for Uncertainty-Aware Sequential Prediction with Behavioral Archetypes
banlys.com（banlys公司）
提出Lattice混合系统，通过二元置信门控条件激活行为原型，在不确定时回退到骨干预测，在MovieLens上LSTM+Lattice的HR@10提升31.7%，Transformer和SASRec也有提升。
2026-06-07 cs.LG
Decision-Focused Sequential Experimental Design: A Directional Uncertainty-Guided Approach
Department of Statistics and Operations Research, University of North Carolina（统计与运筹学系，北卡罗来纳大学）；Department of Industrial Engineering and Operations Research, University of California, Berkeley（工业工程与运筹学系，加州大学伯克利分校）
本文提出一种基于方向性的不确定性度量，用于改进顺序实验设计，以更有效地优化决策损失。
2026-02-05 cs.LG stat.ML
Sequential Service Region Design with Capacity-Constrained Investment and Spillover Effect
National Natural Science Foundation of China（中华人民共和国国家自然科学基金委员会）
本文提出整合实物期权分析与TPPO算法的框架，解决具有容量约束和随机溢出效应的顺序服务区域设计问题，通过高效生成高期权价值的投资序列，提升服务网络的长期运营绩效。
2026-03-09 cs.LG
Modeling Sequences as Distributions with Uncertainty for Sequential Recommendation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Pinterest Inc.（拼趣公司）
用户交互中的顺序模式对于表示用户的偏好和捕获项目之间的潜在关系至关重要。最近Transformers在序列建模方面的进步促使社区为序列推荐设计更有效的编码器。大多数现有的顺序方法假设用户是确定性的。然而，项目-项目转换可能会在几个项目方面波动很大，并表现出用户兴趣的随机性。该\textit{stochastic characteristics}提出了在表示序列和项时包含不确定性的可靠需求。此外，对具有不确定性的序列和项目进行建模扩展了用户和项目的交互空间，从而进一步缓解了冷启动问题。在这项工作中，我们提出了一个基于分布的Transformer顺序推荐（DT 4SR），它注入不确定性的顺序建模。我们使用椭圆高斯分布来描述具有不确定性的项目和序列。我们将项目和序列中的不确定性描述为椭圆高斯分布。并采用Wasserstein距离来度量分布之间的相似性。我们设计了两个新的变压器建模的均值和协方差，这保证了正定性的分布。所提出的方法显着优于国家的最先进的方法。在三个基准数据集上的实验也证明了它在缓解冷启动问题方面的有效性。该代码可在https：//www.example.com上获得。github.com/DyGRec/DT4SR
2021-06-11 cs.AI cs.IR cs.LG
On Uncertainty Estimation by Tree-based Surrogate Models in Sequential Model-based Optimization
POSTECH（浦项科技大学）；BARO AI
基于模型的序贯优化通过构造具有评价历史的代理模型来顺序地选择候选点，以解决黑盒优化问题。高斯过程（GP）回归是一个流行的选择作为代理模型，因为它的能力，分析计算预测的不确定性。另一方面，随机化树的集合是另一种选择，并且由于其可扩展性和易于处理连续/离散混合变量而具有优于GP的实际优点。在本文中，我们重新审视各种合奏的随机树的预测不确定性估计的角度来研究他们的行为。然后，我们提出了一种新的方法来构建一个合奏的随机树，被称为BwO森林，装袋与过采样被用来构建自举样本，用于建立随机树与随机分裂。实验结果表明，在各种情况下，BwO森林的有效性和良好的性能比现有的基于树的模型。
2022-02-22 cs.LG math.OC stat.ML
Gradient and Uncertainty Enhanced Sequential Sampling for Global Fit
ZF Friedrichshafen AG（采埃孚股份公司）；Niederrhein University of Applied Sciences（下莱茵应用科学大学）；Zalando SE（扎兰多股份公司）；PI Probaligence GmbH（PI Probaligence有限公司）
本文提出GUESS自适应序贯采样策略，融合后验不确定性探索与高阶Taylor近似利用，并在26个1至8维基准上对比9种方法，验证其平均样本效率最优。
2023-09-29 cs.LG stat.ML
Multi-person Pose Tracking using Sequential Monte Carlo with Probabilistic Neural Pose Predictor
Panasonic Corporation（松下公司）；Ritsumeikan University（立命馆大学）
逐帧预测和匹配是视频中多人姿态跟踪的有效策略。对于这种类型的方法，不确定性感知建模是必不可少的，因为精确的预测是不可能的。然而，以前的研究只依赖于一个单一的预测，而不包括不确定性，这可能会导致严重的跟踪错误，如果预测是不可靠的。本文提出了一种扩展这种方法与顺序蒙特卡罗（SMC）。这自然地重新制定跟踪方案以处理姿态的多个预测（或假设），从而减轻预测误差的负面影响。SMC的重要组成部分，即，一个建议分布，被设计为概率神经姿态预测器，它可以提出不同的和合理的假设，通过合并认知的不确定性和异方差任意不确定性。此外，我们的神经模型中引入了一个递归架构，利用姿势的时间序列信息来管理困难的情况，如频繁的消失和再现的姿势。与现有的基线相比，该方法通过减少最先进的基线方法中约50%的跟踪误差，在PoseTrack2018验证数据集上实现了最先进的MOTA评分。
2020-02-27 cs.CV cs.LG
Sequential sparse Gaussian process quantile regression
Inria（法国国家信息与自动化研究所）；Center for Applied Mathematics, École polytechnique, Institut Polytechnique de Paris（巴黎综合理工学院应用数学中心）；CNRS（法国国家科学研究中心）
提出一种稀疏高斯过程框架，通过拉普拉斯近似进行后验推断，并利用预测不确定性分解驱动诱导点填充和数据获取的序贯算法，以高效实现贝叶斯分位数回归。
2026-10-22 cs.LG stat.ML
Sequential Neural Models with Stochastic Layers
Technical University of Denmark（丹麦技术大学）；University of Copenhagen（哥本哈根大学）；Google DeepMind（谷歌DeepMind）
我们如何用递归神经网络有效地传播潜在状态表示中的不确定性？本文介绍了随机递归神经网络，它将确定性递归神经网络和状态空间模型粘合在一起，形成一个随机和顺序的神经生成模型。确定性层和随机性层的明确分离允许结构化变分推断网络跟踪模型的后验分布的因子分解。通过保留递归神经网络的非线性递归结构，并对潜在路径中的不确定性进行平均，如状态空间模型，我们大幅提高了Blizzard和TIMIT语音建模数据集的最新结果，同时实现了与复调音乐建模竞争方法相当的性能。
2016-11-13 cs.LG stat.ML
Uncertainty-Gated Stochastic Sequential Model for EHR Mortality Prediction
Korea University（高丽大学）；Electronics and Telecommunications Research Institute（电子与电信研究院）
电子健康记录（EHR）的特点是非平稳，异构，噪声和稀疏的数据，因此，它是具有挑战性的学习，或其中固有的模式。特别是，稀疏性主要是由许多缺失值引起的，已经引起了研究人员的注意，他们试图找到一个更好地利用所有可用的样本来确定一个主要的目标任务的解决方案，通过定义一个次要的插补问题。在方法上，现有的方法，无论是确定性或随机性，采用不同的假设来估算缺失值。然而，一旦缺失值被插补，大多数现有的方法不考虑下游任务建模中插补值的保真度或置信度。毫无疑问，缺失变量的错误或不适当的插补会导致建模困难以及性能下降。在这项研究中，我们提出了一种新的变分递归网络，它（i）估计缺失变量的分布，允许表示估算值中的不确定性，（ii）通过在递归期间基于估算值的方差显式应用保真度来更新隐藏状态（即，不确定性随时间的传播），以及（iii）预测住院死亡率的可能性。值得注意的是，我们的模型可以在单个流中执行这些过程，并以端到端的方式联合学习所有网络参数。我们使用MIMIC-III和PhysioNet挑战2012的公共数据集，通过与我们实验中考虑的其他最先进的死亡率预测方法进行比较并优于其他方法，验证了我们方法的有效性。此外，我们确定了模型的行为，该行为很好地代表了插补估计值的不确定性，这表明计算的MAE与不确定性之间具有高度相关性。
2020-03-02 cs.LG stat.ML
Uncertainty Quantification for Demand Prediction in Contextual Dynamic Pricing
Warrington College of Business, University of Florida（佛罗里达大学沃灵顿商学院）；Leonard N. Stern School of Business, New York University（纽约大学伦纳德·N·斯特恩商学院）；School of Management, Xi’an Jiaotong University（西安交通大学管理学院）；Shanghai University of Finance and Economics（上海财经大学）
数据驱动的序贯决策在现代运营管理中有着广泛的应用，如动态定价、库存控制、产品分类优化等。现有的数据驱动序贯决策的研究大多集中在设计一个在线的政策，以最大限度地提高收入。然而，对底层真实模型函数（例如，需求函数），这是从业人员的一个关键问题，尚未得到很好的探讨。本文以动态定价中的需求函数预测问题为例，研究了需求函数精确置信区间的构造问题。主要的挑战是，顺序收集的数据导致显着的分布偏差的极大似然估计或经验风险最小化估计，使经典的统计方法，如沃尔德的测试不再有效。我们通过开发一种去偏方法来解决这一挑战，并提供了去偏估计的渐近正态性保证。在此基础上，我们给出了需求函数的逐点和均匀置信区间。
2020-08-31 cs.LG stat.ML
Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Cambridge University（剑桥大学）
循环神经网络（RNN）在建模连续和时间序列数据方面是有用的。然而，当使用RNN为决策提供信息时，预测本身是不够的;我们还需要对预测不确定性进行估计。现有的RNN不确定性量化方法主要基于贝叶斯方法;这些方法在计算上是禁止的，并且需要对RNN架构和训练进行重大修改。利用经典的刀切响应的思想，我们开发了一种频率论的替代方案：（a）不干扰模型训练或损害其准确性，（b）适用于任何RNN架构，（c）提供对估计的不确定性区间的理论覆盖保证。我们的方法从RNN输出的（折刀）采样分布的可变性中获得预测不确定性，该可变性通过重复删除（时间相关的）训练数据块并收集在剩余数据上重新训练的RNN的预测来估计。为了避免穷举重新训练，我们利用影响函数来估计去除训练数据块对学习的RNN参数的影响。使用来自重症监护环境的数据，我们证明了不确定性量化在顺序决策中的实用性。
2020-06-27 cs.LG stat.ML
At the Intersection of Deep Sequential Model Framework and State-space Model Framework: Study on Option Pricing
Stanford University（斯坦福大学）；Duke University（杜克大学）
本文提出无偏共振平滑器模型，统一深度序列模型和状态空间模型，提升期权定价中的预测准确性和不确定性度量能力。
2026-01-06 cs.LG math.DS stat.ML
Interpretable epistemic uncertainty decomposition in sequential generative models via polynomial chaos surrogates
Mathematical Institute, University of Oxford, United Kingdom（牛津大学数学研究所，英国）；IBM Research, Thomas J. Watson Research Center, USA（IBM研究院，托马斯·J·沃森研究中心，美国）；IBM Research Europe, Daresbury, United Kingdom（IBM欧洲研究院，达尔斯伯里，英国）；MIT–IBM Watson AI Lab, Massachusetts, USA（麻省理工–IBM沃森人工智能实验室，马萨诸塞州，美国）；Université de Montréal, Mila–Quebec AI Institute, Montreal, Quebec, Canada（蒙特利尔大学，魁北克人工智能研究所，蒙特利尔，魁北克，加拿大）
本文提出通过多项式混沌展开分析序列生成模型中epistemic不确定性的来源，揭示奖励组件对生成决策的影响，优于深度集合、贝叶斯神经网络等方法，且在多个真实任务中展现高效性和鲁棒性。
2026-05-15 cs.LG stat.ML
Model-Agnostic Dynamic Feature Selection with Uncertainty Quantification
School of Computer Science and Electronic Engineering（计算机科学与电子工程学院）；University of Essex（埃塞克斯大学）；Institute of Mathematics（数学研究所）；Slovak Academy of Sciences（斯洛伐克科学院）
本文提出了一种模型无关的动态特征选择框架，通过高效子集重新参数化策略，提升模型兼容性并增强不确定性量化能力。
2026-02-18 cs.AI cs.LG
Optimal Learning for Sequential Decisions in Laboratory Experimentation
Princeton University（普林斯顿大学）
物理、生物和医学科学的发现过程可能是极其缓慢的。大多数实验都失败了，从研究开始到新的进展达到商业化生产的时间可以跨越20年。本教程旨在为实验科学家提供决策科学的基础。使用数值例子从作者的经验，本文描述了任何实验学习问题的基本要素。它强调了信念模型的重要作用，它不仅包括先前的研究，先前的实验和科学专业知识提供的关系的最佳估计，而且还包括这些关系中的不确定性。我们介绍了学习政策的概念，并回顾了政策的主要类别。然后，我们引入了一个政策，称为知识梯度，最大限度地提高每个实验的信息的价值。我们提出了减少不确定性的重要性，并说明了不同的信念模型的这一过程。
2020-04-14 cs.AI cs.LG
Convergence of uncertainty estimates in Ensemble and Bayesian sparse model discovery
University of Washington（华盛顿大学）；Imperial College（帝国理工学院）
本文理论分析基于bootstrap的序贯阈值最小二乘集成稀疏模型发现，证明其变量选择错误率指数收敛，并能高效实现趋近真实值的不确定性量化。
2023-04-26 cs.LG math.DS stat.ME
Online machine-learning forecast uncertainty estimation for sequential data assimilation
Servicio Meteorológico Nacional（国家气象局）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）；Instituto Franco-Argentino para el Estudio del Clima y sus Impactos (IRL 3351 IFAECI)（法阿气候及其影响研究所（IRL 3351 IFAECI））；Universidad Nacional del Nordeste（东北国立大学）；Centro de Investigaciones del Mar y la Atmósfera（海洋与大气研究中心）；IMT Atlantique（大西洋国立高等工业技术学院）；Inria（法国国家信息与自动化研究所）
提出一种基于卷积神经网络的方法，利用单一模型积分估计状态相关预报不确定性，并在混合数据同化中验证其性能，在集合较小时优于集合 Kalman 滤波。
2023-05-12 cs.AI cs.LG physics.ao-ph
Uncertainty Quantification and Experimental Design for Large-Scale Linear Inverse Problems under Gaussian Process Priors
University of Bern（伯尔尼大学）；University of Lausanne（洛桑大学）
我们考虑使用高斯过程（GP）先验知识求解贝叶斯框架中的反问题。众所周知，GP的计算复杂度在数据点的数量上成立方比例。我们在这里表明，在涉及积分算子的反问题的背景下，人们面临着额外的困难，阻碍大网格反演。此外，在该上下文中，协方差阵可能变得太大而无法存储。通过利用高斯测度的顺序分解的结果，我们能够引入后验协方差阵的隐式表示，该隐式表示通过仅存储低秩中间矩阵来减少内存占用，同时允许在不需要构建完整后验协方差阵的情况下即时访问各个元素。此外，它允许快速顺序包含新的观察。当考虑顺序试验设计任务时，这些特征至关重要。我们证明了我们的方法，通过计算连续的数据收集计划的偏移集恢复重力逆问题，其目标是提供高密度区域内的斯特龙博利火山，意大利的精细分辨率估计。通过将加权综合方差减少（wIVR）准则扩展到反问题来计算顺序数据收集计划。我们的研究结果表明，这一标准是能够显着减少的不确定性的偏移量，达到接近最低水平的剩余不确定性。总的来说，我们的技术允许概率模型的优势，承担在自然科学中产生的大规模逆问题。
2022-08-31 cs.LG stat.AP stat.CO
Scalable Model-Based Clustering with Sequential Monte Carlo
Lancaster University（兰卡斯特大学）；Microsoft Research（微软研究院）
本文提出一种基于序列蒙特卡洛的聚类算法，通过分解问题提升效率，适用于大规模和复杂分布数据的聚类任务。
2026-04-16 cs.LG stat.CO stat.ML
Generalizing Off-Policy Evaluation From a Causal Perspective For Sequential Decision-Making
Harvard University（哈佛大学）
基于来自不同政策的观测数据评估政策的效果是几个高风险决策领域的共同问题，并且已经提出了几种政策外评估（OPE）技术。然而，这些方法在很大程度上将OPE表述为与用于生成数据的过程无关的问题（即因果图形式的结构假设）。我们认为，明确强调这种关联对我们理解OPE的基本限制具有重要意义。第一，这意味着目前的业务促进方案的制定只涉及一套狭窄的任务，即一个具体的因果被估量，其重点是对人口或次人口的政策进行前瞻性评价。其次，我们展示了这种关联如何激励自然desiderata考虑一组一般的因果被估量，特别是扩大的作用，OPE反事实的政策外评估在人口的个人水平。因果被估量的精确描述强调了在所述生成假设下，哪些OPE被估量可从观测数据中识别。对于那些无法识别的OPE被估量，因果观点进一步强调了需要更多实验数据的地方，并强调了人类专业知识可以帮助识别和估计的情况。此外，OPE的许多形式主义完全忽略了不确定性在估计过程中的作用，我们展示了如何具体描述因果被估量突出了不确定性的不同来源，以及人类的专业知识何时可以自然地管理这种不确定性。我们讨论了这些方面的每一个可操作的必要条件，为未来的OPE研究规模和实际效用。
2022-01-20 cs.LG stat.ML
Meta-Learning surrogate models for sequential decision making
DeepMind（深度思维）
我们引入了一个统一的概率框架，用于解决从贝叶斯优化到上下文强盗和强化学习的顺序决策问题。这是通过一种基于概率模型的方法来实现的，该方法解释了观测数据，同时在决策过程中捕获了预测的不确定性。至关重要的是，这个概率模型被选为元学习系统，允许从相关问题的分布中学习，允许数据有效地适应目标任务。作为这个框架的一个合适的实例，我们探讨了由于统计和计算的需要而使用神经过程。我们将我们的框架应用于广泛的问题领域，例如控制问题，推荐系统和对RL代理的对抗性攻击，展示了一种有效和通用的黑盒学习方法。
2019-06-12 cs.LG stat.ML
Safe Active Dynamics Learning and Control: A Sequential Exploration-Exploitation Framework
Stanford University（斯坦福大学）
自主机器人在不同场景中的安全部署需要能够有效适应新环境的代理，同时满足约束条件。在这项工作中，我们提出了一个实际的和理论上合理的方法来保持安全的存在动力学的不确定性。我们的方法利用贝叶斯元学习和最后一层适应。离线训练的神经网络特征的表现力，再加上有效的最后一层在线自适应，使得能够推导出紧密的置信集，这些置信集在模型在线自适应时围绕真实动态收缩。我们利用这些信心集规划轨迹，保证系统的安全性。我们的方法处理高动态不确定性的问题，安全地达到目标是可能最初是不可行的，通过第一\textit{exploring}收集数据和减少不确定性，自主\textit{exploiting}获取的信息之前，安全地执行任务。在合理的假设下，我们证明了我们的框架保证了所有约束在任何时候联合，即在总任务持续时间的高概率满足。这种理论分析还激发了最后一层元学习模型的两个正则化器，它们通过减少置信集的大小来提高在线适应能力和性能。我们在仿真和硬件上广泛地展示了我们的方法。
2022-02-16 cs.LG cs.RO cs.SY
Batch simulations and uncertainty quantification in Gaussian process surrogate approximate Bayesian computation
Department of Biostatistics, University of Oslo（奥斯陆大学生物统计系）；Helsinki Institute for Information Technology HIIT, Department of Computer Science, Aalto University（赫尔辛基信息技术研究所，阿尔托大学计算机科学系）
近似贝叶斯计算（ABC）的计算效率已被提高，通过使用代理模型，如高斯过程（GP）。在这样一个有前途的框架模拟和观察到的数据之间的差异建模与GP，这是进一步用于形成一个基于模型的估计难以处理的后验。在本文中，我们将从几个方面改进这种方法。我们开发了批序贝叶斯试验设计策略，并行化昂贵的模拟。在早期的工作中，只使用了顺序策略。目前基于替代的ABC方法也没有充分考虑到由于模拟预算有限而导致的不确定性，因为它们仅输出ABC后验的点估计。我们提出了一种数值方法来充分量化的不确定性，例如，ABC后验矩。我们还提供了一些新的分析GP建模的假设，在由此产生的改进框架称为贝叶斯ABC，并讨论其连接到贝叶斯正交（BQ）和贝叶斯优化（BO）。玩具和现实世界的仿真模型的实验证明了所提出的技术的优势。
2020-08-06 cs.LG stat.CO stat.ME
UProp: Investigating the Uncertainty Propagation of LLMs in Multi-Step Agentic Decision-Making
Drexel University（德雷塞尔大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Argonne National Laboratory（阿贡国家实验室）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
针对多步智能体决策中的不确定性传播问题，提出基于信息论框架的UProp方法，通过估计逐点互信息高效量化外部不确定性，在AgentBench等基准上优于现有单轮UQ基线。
2025-06-20 cs.AI cs.CL cs.LG
Probabilistic inverse optimal control for non-linear partially observable systems disentangles perceptual uncertainty and behavioral costs
Centre for Cognitive Science（认知科学中心）；Technische Universität Darmstadt（达姆施塔特工业大学）
本文提出一种针对部分可观测随机非线性系统且动作信号未知的概率逆最优控制方法，通过噪声显式建模与局部线性化推导可单次前向计算的近似似然，并证明其能在序贯决策中分离感知不确定性与行为代价。
2023-10-30 cs.LG cs.SY eess.SY
