PPO-UE: Proximal Policy Optimization via Uncertainty-Aware Exploration
Virginia Tech(弗吉尼亚理工大学);University of Oslo(奥斯陆大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室);University of Texas at Dallas(德克萨斯大学达拉斯分校);University of the District of Columbia(哥伦比亚特区大学)
近端策略优化(PPO)是一种非常流行的基于策略的深度强化学习(DRL)方法。然而,我们观察到PPO中的同质探索过程可能会在训练阶段导致意想不到的稳定性问题。为了解决这个问题,我们提出了PPO-UE,一个PPO的变种配备了自适应的不确定性感知探索(UE)的基础上的比例不确定性水平。所提出的PPO-UE被设计为以优化的比率不确定性水平来提高收敛速度和性能。通过广泛的灵敏度分析,通过改变比例的不确定性水平,我们提出的PPO-UE在Roboschool连续控制任务中大大优于基线PPO。
2022-12-13 cs.AI cs.LG
vMFER: Von Mises-Fisher Experience Resampling Based on Uncertainty of Gradient Directions for Policy Improvement
Zhejiang University(浙江大学);NetEase Fuxi AI Lab(网易伏羲人工智能实验室);Nanyang Technological University(南洋理工大学);Tianjin University(天津大学);Skywork AI(天工AI)
针对强化学习中集成评论家梯度分歧影响策略改进效率的问题,提出基于梯度方向不确定性的vMFER经验重采样方法,为低不确定性样本赋高置信度,显著优于基准且适配集成结构。
2024-05-14 cs.LG
Bayesian Policy Optimization for Model Uncertainty
Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
解决不确定性对于自主系统稳健地适应现实世界至关重要。我们将模型不确定性问题表述为连续贝叶斯-自适应马尔可夫决策过程(BAMDP),其中代理在给定观测历史的情况下保持潜在模型参数的后验分布,并最大化其相对于此信念分布的预期长期回报。我们的算法,贝叶斯策略优化,建立在最近的策略优化算法,学习一个通用的政策,导航的勘探开发权衡,以最大限度地提高贝叶斯价值函数。为了解决连续潜在参数空间离散化的挑战,我们提出了一种新的策略网络架构,该架构独立于可观察状态对信念分布进行编码。我们的方法显着优于算法,解决模型的不确定性,而不显式推理的信念分布,是最先进的部分可观察马尔可夫决策过程求解器的竞争力。
2019-05-08 cs.LG cs.RO
Balancing policy constraint and ensemble size in uncertainty-based offline reinforcement learning
Warwick Medical School, University of Warwick(华威大学华威医学院);WMG, University of Warwick(华威大学华威制造集团);Department of Statistics, University of Warwick(华威大学统计系);Alan Turing Institute(艾伦·图灵研究所)
离线强化学习代理从固定的数据集中寻求最优策略。由于环境相互作用被禁止,智能体面临着重大挑战,即防止价值估计中的错误加剧并随后导致学习过程崩溃。使用集成的不确定性估计通过惩罚高方差值估计来补偿这一点,允许代理基于数据驱动的动作来学习鲁棒的策略。然而,需要大的合奏,以促进足够的惩罚结果在显着的计算开销。在这项工作中,我们研究的作用,政策约束作为一种机制,用于调节不确定性,以及相应的平衡水平的约束和合奏大小。通过将行为克隆纳入政策更新,我们的经验表明,足够的惩罚可以实现一个小得多的合奏大小,大大减少计算需求,同时保留最先进的性能基准任务。此外,我们展示了这样的方法可以促进稳定的在线微调,允许持续的政策改善,同时避免严重的性能下降。
2023-03-26 cs.LG
GUPO: Gradient Uncertainty-aware Policy Optimization for Post-Training Large Language Models
针对GRPO中组梯度冲突导致策略更新效果差的问题,提出GUPO方法,通过贝叶斯框架建模组梯度并结合狄利克雷公式校准梯度贡献,经多基准实验验证其有效性。
2026-08-19 cs.LG
Runtime Safety Filtering for Learned Small UAS Separation Policies under GNSS Degradation
研究在GNSS退化时小型无人机分离策略的运行时安全过滤问题,对比动作过滤和观测过滤两种方法,发现动作过滤安全改进小,观测过滤能减少近90%的空中碰撞且更稳健,表明保留策略决策权限更优。
2026-09-01 cs.LG cs.MA cs.RO
Uncertainty-Aware Instance Reweighting for Off-Policy Learning
Bytedance Research(字节跳动研究院);ChongQing University(重庆大学);University of Virginia(弗吉尼亚大学);The Chinese University of Hong Kong(香港中文大学)
针对离策略学习中记录策略未知导致的高偏差与高方差问题,本文提出带收敛保证的不确定性感知逆倾向得分估计器UIPS,并在合成及真实推荐数据集上验证其样本效率优势。
2023-09-27 cs.AI cs.LG
Uncertainty-Aware Policy Optimization: A Robust, Adaptive Trust Region Approach
Boston University(波士顿大学)
为了使强化学习技术在现实世界的决策过程中发挥作用,它们必须能够从有限的数据中产生强大的性能。深度策略优化方法在复杂任务上取得了令人印象深刻的结果,但它们在现实世界中的应用仍然有限,因为它们通常需要大量数据才能成功。当与小样本量相结合时,这些方法可能会导致不稳定的学习,因为它们依赖于基于高维样本的估计。在这项工作中,我们开发的技术来控制这些估计所引入的不确定性。我们利用这些技术提出了一种深度策略优化方法,旨在即使在数据稀缺的情况下也能产生稳定的性能。由此产生的算法,不确定性感知的信任域策略优化,生成强大的策略更新,以适应整个学习过程中存在的不确定性水平。
2020-12-19 cs.AI cs.LG stat.ML
Conservative Query and Adaptive Regularization for Offline RL Under Uncertainty Estimation
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
针对离线强化学习面临的挑战,提出不确定性估计下的保守查询与自适应正则化框架,通过莫尔斯网络估计不确定性,采用保守查询策略与自适应正则化方案,与CQL集成并在D4RL基准测试,取得优异或有竞争力的性能。
2026-07-22 cs.LG
Model-Predictive Policy Learning with Uncertainty Regularization for Driving in Dense Traffic
Courant Institute, New York University(纽约大学库朗研究所);Microsoft Research(微软研究院);Facebook AI Research(脸书人工智能研究院)
仅使用观察数据学习策略是具有挑战性的,因为它在执行时诱导的状态分布可能与训练期间观察到的分布不同。我们建议通过在多个时间步长上展开环境动态的学习模型来训练策略,同时显式地惩罚两个成本:策略寻求优化的原始成本,以及表示其与训练状态的偏差的不确定性成本。我们通过使用动态模型关于其自身预测的不确定性来测量第二个成本,使用来自深度网络的不确定性估计的最新想法。我们使用从交通摄像头记录的驾驶行为的大规模观测数据集来评估我们的方法,并表明我们能够从纯粹的观测数据中学习有效的驾驶策略,而无需环境交互。
2019-01-08 cs.AI cs.LG stat.ML
Safe Domain Randomization via Uncertainty-Aware Out-of-Distribution Detection and Policy Adaptation
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Meta AI
提出UARL框架,通过集成评论家量化不确定性和渐进式环境随机化,在不与目标域直接交互的情况下实现安全的OOD检测与策略自适应,在MuJoCo和四足机器人上验证了有效性和样本效率。
2025-07-08 cs.LG cs.RO
Uncertainty-aware Model-based Policy Optimization
VNU University of Engineering and Technology(越南国立大学工程技术大学);Microsoft Research(微软研究院)
基于模型的强化学习有可能比无模型方法更有效。然而,现有的基于模型的方法容易受到模型偏差的影响,这导致与无模型方法相比,泛化能力和渐近性能较差。此外,它们通常基于模型预测控制(MPC)框架,该框架不仅在决策时计算效率低,而且由于缺乏明确的策略表示而不能实现策略传输。在本文中,我们提出了一种新的不确定性感知的基于模型的策略优化框架,解决了这些问题。在该框架中,智能体同时学习一个具有不确定性的动态模型,并根据这些学习到的模型优化策略。在优化步骤中,通过模型的自动微分计算策略梯度。相对于单独的样本效率,我们的方法在具有竞争力的渐近性能和显着低于最先进的基线样本复杂性的挑战连续控制基准显示出可喜的成果。
2019-06-25 cs.LG math.OC stat.ML
When to Act, Ask, or Learn: Uncertainty-Aware Policy Steering
Carnegie Mellon University(卡内基梅隆大学)
本文提出不确定性感知策略引导框架,通过联合推理任务语义不确定性和低层动作可行性,选择执行高置信度动作、通过自然语言查询澄清任务歧义或请求动作干预修正低层策略,提升机器人部署性能。
2026-05-12 cs.LG cs.RO
Uncertainty Quantification and Causal Considerations for Off-Policy Decision Making
针对离策略评估的统计不确定性与因果局限,提出边际比率估计器降低方差、共形离策略预测提供有限样本区间、序贯决策因果边界,为鲁棒决策及策略评估提供新方法与见解。
2025-02-09 cs.LG stat.ML
Efficient Action Robust Reinforcement Learning with Probabilistic Policy Execution Uncertainty
University of California, Davis(加州大学戴维斯分校);Northwestern University(西北大学)
本文研究带概率策略执行不确定性的动作鲁棒强化学习问题,证明最优策略存在性并给出Bellman最优方程,提出ARRLC算法实现极小极大最优遗憾与样本复杂度,实验验证其在动作扰动下性能更优、收敛更快。
2023-07-20 cs.AI cs.LG math.OC
Policy Gradient Algorithms for Robust MDPs with Non-Rectangular Uncertainty Sets
Risk Analytics and Optimization Chair, EPFL(洛桑联邦理工学院风险分析与优化教席);Department of Economics, University of St.Gallen(圣加仑大学经济系)
针对非矩形不确定性集下难以动态规划求解的鲁棒无限时域 MDP,提出随机投影 Langevin、确定性策略梯度与 actor-critic 算法,并给出误差、复杂度及全局最优性保证。
2025-09-28 cs.LG math.OC
Neural Control and Certificate Repair via Runtime Monitoring
Institute of Science and Technology Austria(奥地利科学技术研究所);Singapore Management University(新加坡管理大学)
本文提出一种利用运行时监控检测违规行为并生成新训练数据,以修复黑盒环境中神经网络控制策略与证书函数的方法,并在两个自主控制任务上提升了安全率。
2024-12-17 cs.AI cs.LG
UCPO: Uncertainty-Aware Policy Optimization
针对现有强化学习范式在不确定性奖励下存在的优势偏差和过度自信问题,提出三元优势解耦和动态不确定性奖励调整机制,显著提升模型在知识边界外的可靠性。
2026-05-26 cs.AI cs.LG
Bi-level Meta-Policy Control for Dynamic Uncertainty Calibration in Evidential Deep Learning
针对证据深度学习静态超参数导致校准不佳的问题,提出元策略控制器(MPC),通过双层优化动态调整KL系数和狄利克雷先验,提升不确定性校准与预测性能。
2025-10-10 cs.CV cs.LG
Robust Constrained-MDPs: Soft-Constrained Robust Policy Optimization under Model Uncertainty
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
在本文中,我们专注于问题的鲁棒性强化学习(RL)算法与模型的不确定性。事实上,在基于模型的RL的框架中,我们建议将约束马尔可夫决策过程(CMDP)理论与鲁棒马尔可夫决策过程(RMDP)理论相结合,从而形成鲁棒约束MDP(RCMDP)。这个公式,简单的本质上,使我们能够设计RL算法,是强大的性能,并提供约束满足保证,相对于系统的状态转移概率的不确定性。对RCMPD的需求对于RL的实际应用非常重要。例如,这样的公式化可以在安全关键应用中从模拟到现实世界(Sim2Real)的策略转移中发挥重要作用,这将受益于相对于模型不确定性而言稳健的性能和安全保证。我们首先提出了一般的问题公式下的概念RCMDP,然后提出了一个拉格朗日公式的最优问题,导致鲁棒约束的策略梯度RL算法。最后,我们验证了这一概念的库存管理问题。
2020-10-10 cs.LG
Deep Gaussian Process Proximal Policy Optimization
深度高斯过程近端策略优化通过利用深度高斯过程来近似策略和价值函数,在保持性能的同时提供校准的不确定性估计,以促进更安全有效的探索。
2025-12-19 cs.LG
The Value of Variance: Mitigating Debate Collapse in Multi-Agent Systems via Uncertainty-Driven Policy Optimization
Department of Computer Science, Binghamton University, Binghamton, NY, USA(宾夕法尼亚州立大学计算机科学系);University of Iowa, Iowa City, IA, USA(爱荷华大学)
本文提出了一种基于不确定性驱动的策略优化方法,通过量化多智能体系统中的不确定性来缓解辩论崩溃问题,提升决策准确性和系统一致性。
2026-02-06 cs.LG cs.MA
Hierarchical Reinforcement Learning with Uncertainty-Guided Diffusional Subgoals
Aalto University(阿尔托大学)
针对分层强化学习中低层策略变化导致高层难以生成有效子目标的问题,提出利用高斯过程先验正则化的条件扩散模型生成复杂子目标并进行不确定性量化,显著提升了样本效率和性能。
2025-05-27 cs.LG
Can We Detect Failures Without Failure Data? Uncertainty-Aware Runtime Failure Detection for Imitation Learning Policies
Toyota Research Institute (TRI)(丰田研究院);Woven by Toyota (WbyT)(丰田编织(WbyT))
针对模仿学习策略的运行时失败检测,提出模块化两阶段方法FAIL-Detect,利用共形预测和流密度估计器,无需失败数据,实现更准确快速的失败检测。
2025-06-20 cs.AI cs.LG cs.RO
Uncertainty-Aware LLM-Guided Policy Shaping for Sparse-Reward Reinforcement Learning
USD AI Research Lab(USD人工智能研究实验室)
提出ULPS框架,结合校准的大语言模型与不确定性估计,通过A*轨迹微调BERT模型提供动作建议,并用熵机制平衡LLM引导与PPO策略,在MiniGridUnlockPickup基准上显著提升成功率、奖励效率和样本复杂度。
2026-06-04 cs.LG
How to Enable Uncertainty Estimation in Proximal Policy Optimization
ETH Zürich(苏黎世联邦理工学院);University of Konstanz(康斯坦茨大学);ETH AI Center(苏黎世联邦理工学院人工智能中心)
虽然深度强化学习(RL)代理在许多领域都展示了强大的结果,但一个主要的问题是它们固有的不透明性和这些系统在现实世界用例中的安全性。为了克服这些问题,我们需要能够量化其不确定性并检测出分布(OOD)状态的代理。现有的不确定性估计技术,如Monte-Carlo Dropout或Deep Ensembles,尚未在策略深度RL中得到广泛采用。我们认为这是由于两个原因:与监督学习相比,不确定性和OOD状态等概念没有很好地定义,特别是对于策略RL方法。其次,RL中不确定性估计方法的实现和比较研究有限。为了克服第一个差距,我们提出了不确定性和OOD的演员-评论RL算法,即近端策略优化(PPO)的定义,并提出了可能适用的措施。特别是,我们讨论了价值和政策不确定性的概念。第二点是通过实现不同的不确定性估计方法并在许多环境中比较它们来解决的。OOD检测性能通过各种RL环境的分发(ID)和OOD状态的自定义评估基准进行评估。我们确定了奖励和OOD检测性能之间的权衡。为了克服这一点,我们制定了一个帕累托优化问题,我们同时优化奖励和OOD检测性能。我们的实验表明,最近提出的方法Masksembles罢工的调查方法之间的有利平衡,使高质量的不确定性估计和OOD检测,同时匹配原始RL代理的性能。
2022-10-07 cs.AI cs.LG cs.MA
UOPD: Uncertainty-Aware Intervention for On-Policy Distillation of Multi-Turn Agents
University of California, Irvine(加州大学尔湾分校);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
UOPD通过不确定性感知干预,在关键步骤用教师动作纠正学生,提升多轮智能体在线策略蒸馏的性能,在ALFWorld、WebShop和Search任务上优于现有方法。
2026-09-29 cs.AI cs.LG
Sequential Cohort Selection under Uncertainty
研究不确定性下公平队列选择问题,提出结合结果概率建模与策略梯度方法的框架,在顺序设置中联合更新策略和模型,实验表明自适应策略在预期效用上优于静态基线。
2026-07-07 cs.LG
Risk-Sensitive Bayesian Games for Multi-Agent Reinforcement Learning under Policy Uncertainty
Zenseact AB(Zenseact公司);University of Oslo(奥斯陆大学)
在不完全信息的随机博弈中,不确定性是由于缺乏对参与者自身和其他参与者类型(即效用函数和策略空间)的了解,以及不同参与者之间相互作用的内在随机性引起的。在现有的文献中,随机博弈中的风险已被研究的内在不确定性引起的变化的过渡和行动。在这项工作中,我们重点关注与\textit{uncertainty over types}相关的风险。我们将此与多智能体强化学习框架进行对比,在该框架中,其他智能体具有固定的静态策略,并由于其他智能体的自适应策略的不确定性而调查风险敏感性。我们提出了风险敏感版本的现有算法提出的风险中性的随机游戏,如迭代最佳响应(IBR),虚拟播放(FP)和一般的多目标梯度方法,使用双上升(DAPG)。我们的实验分析表明,风险敏感的DAPG比竞争算法的社会福利和一般和随机游戏。
2022-03-18 cs.LG cs.MA
Robust Policy Learning over Multiple Uncertainty Sets
Stanford University(斯坦福大学);Facebook AI Research(脸书人工智能研究院)
强化学习(RL)代理需要对安全关键环境中的变化具有鲁棒性。虽然系统辨识方法提供了一种从在线体验中推断变化的方法,但它们在无法快速识别的环境中可能会失败。另一种主要的方法是鲁棒强化学习,它产生了一个可以处理最坏情况的策略,但这些方法通常被设计为实现对必须在训练时指定的单个不确定性集的鲁棒性。为了更一般的解决方案,我们制定了多集鲁棒性问题,以学习对不同扰动集具有鲁棒性的策略。然后,我们设计了一个算法,享受系统辨识和鲁棒RL的好处:它减少了不确定性,在可能的情况下,给出了一些相互作用,但仍然可以采取行动,相对于其余的不确定性鲁棒。在一组不同的控制任务,我们的方法证明了改进的最坏情况下的性能相比,以前的方法基于系统辨识和鲁棒RL单独在新的环境。
2022-03-04 cs.AI cs.LG cs.RO
Uncertainty Estimates for Efficient Neural Network-based Dialogue Policy Optimisation
Cambridge University(剑桥大学)
在统计对话管理中,对话管理器学习将信念状态映射到系统要执行的动作的策略。有效的勘探是成功的政策优化的关键。目前的深度强化学习方法非常有前途,但依赖于ε-贪婪探索,因此在学习过程中使用户随机选择动作。诸如高斯过程SARSA(GPSARSA)的替代方法估计不确定性并且是样本有效的,从而导致更好的用户体验,但是以更大的计算复杂度为代价。本文研究了在对话管理的背景下从深度Q网络(DQN)中提取不确定性估计的方法。我们执行了一个广泛的深度贝叶斯方法基准来提取不确定性估计,即Bayes-By-Backprop,dropout,其具体变化,bootstrapped合奏和alpha发散,将其与DQN算法相结合。
2017-11-30 cs.CL cs.LG cs.NE
Statistical Bootstrapping for Uncertainty Estimation in Off-Policy Evaluation
Google Research(谷歌研究院)
在强化学习中,通常使用经验观察到的转换和奖励来通过基于模型或Q拟合的方法估计策略的价值。尽管这些技术很简单,但通常会对保单的真实价值产生有偏差的估计。在这项工作中,我们调查的潜力,统计引导被用来作为一种方式,采取这些有偏估计,并产生校准的置信区间的政策的真实价值。我们确定的条件-特别是,足够的数据大小和足够的覆盖范围-在此设置下的统计自举是保证产生正确的置信区间。在实际情况下,这些条件往往不成立,因此我们讨论并提出了可以用来减轻其影响的机制。我们评估了我们提出的方法,并表明它可以在各种条件下产生准确的置信区间,包括具有挑战性的连续控制环境和小数据制度。
2020-07-27 cs.LG stat.ML
Identify, Estimate and Bound the Uncertainty of Reinforcement Learning for Autonomous Driving
Tsinghua University(清华大学)
针对深度强化学习驾驶策略的黑箱不确定性导致决策不可靠的问题,提出不确定性约束强化学习(UBRL)框架,通过自助法和集成网络估计不确定性并引入基线策略作为下限,保证性能优于基线。该方法能识别不可靠决策并随数据量增加性能提升。
2023-05-12 cs.AI cs.LG cs.RO
What Can Be Enforced? A Theory of Certified Runtime Safety for Tool-Using Agents
研究使用工具的智能体认证运行时安全,区分三个问题:确定性门与安全策略、外部法则下的边界及证书、闭环边界识别;介绍了相关方法,通过多种实验针对差异进行研究。
2026-07-28 cs.AI cs.CR cs.LG
When Explanations Compete: Policy-Aware Selection Under Uncertainty
Jönköping University(延雪平大学);Jönköping AI Lab(延雪平人工智能实验室)
针对现有可解释AI方法无法指导降低预测中认知不确定性的问题,本文提出ensured解释等新型解释方式与ensured排序指标,扩展Calibrated Explanations方法以可视化特征变化对不确定性的影响,提升不确定场景下的模型可解释性与信任度。
2026-10-07 cs.AI cs.LG
Guided Uncertainty-Aware Policy Optimization: Combining Learning and Model-Based Strategies for Sample-Efficient Policy Learning
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校);Nvidia(英伟达);University of Toronto(多伦多大学);University of Sydney(悉尼大学);University of Washington(华盛顿大学)
传统的机器人方法依赖于精确的环境模型,如何执行任务的详细描述,以及强大的感知系统来跟踪当前状态。另一方面,强化学习方法可以直接从原始感官输入操作,只有一个奖励信号来描述任务,但样本效率极低且脆弱。在这项工作中,我们将基于模型的方法的优势与基于学习的方法的灵活性相结合,以获得一种通用方法,该方法能够克服机器人感知/驱动管道中的不准确性,同时需要与环境的最小交互。这是通过利用不确定性估计将空间划分为给定的基于模型的政策可靠的区域和可能存在缺陷或定义不明确的区域来实现的。在这些不确定的地区,我们表明,本地学习的政策可以直接与原始的感官输入。我们测试我们的算法,引导不确定性感知策略优化(GUAPO),在现实世界中的机器人执行钉插入。视频可在https://sites.google.com/view/guapo-rl上获得
2020-05-26 cs.AI cs.LG cs.RO
Uncertainty-Based Smooth Policy Regularisation for Reinforcement Learning with Few Demonstrations
Department of Statistics(统计系);Warwick Manufacturing Group University of Warwick(沃里克大学沃里克制造集团)
提出SPReD框架,通过集成方法量化不确定性,在少示范强化学习中实现连续且与不确定性成正比的模仿正则化,显著降低梯度方差并在复杂机器人任务中取得最高14倍的性能提升。
2025-10-31 cs.AI cs.LG cs.RO
MUSBO: Model-based Uncertainty Regularized and Sample Efficient Batch Optimization for Deployment Constrained Reinforcement Learning
Princeton University(普林斯顿大学)
在诸如医疗保健、金融、机器人和推荐系统的许多当代应用中,用于数据汇集和在线学习的新策略的连续部署要么成本低要么不切实际。我们考虑一种介于纯离线强化学习(RL)和纯在线RL之间的设置,称为部署约束RL,其中用于数据采样的策略部署的数量是有限的。为了解决这个具有挑战性的任务,我们提出了一个新的算法学习框架,称为基于模型的不确定性正则化和样本有效批量优化(MUSBO)。我们的框架为每个部署发现新颖且高质量的样本,以实现高效的数据汇集。在每个离线训练会话中,我们通过量化收集的数据中的不确定性来引导策略更新。在高支持区域(低不确定性),我们通过采取积极的更新来鼓励我们的政策。在低支持区域(高不确定性),当政策引导到分布外区域时,我们通过估计的不确定性量化来降低权重。实验结果表明,MUSBO在部署受限的RL设置中实现了最先进的性能。
2021-06-03 cs.AI cs.LG
Neetyabhas: A Framework for Uncertainty-Aware Public Policy Optimization in Rational Agent-Based Models
ThoughtWorks
提出一种集成流行病测量和政策执行不确定性的分层强化学习框架,通过模拟个体行为与政策干预的交互,有效管理疫情并降低影响。
2026-06-03 cs.AI cs.LG cs.SI
Weak Supervision in Analysis of News: Application to Economic Policy Uncertainty
经济决策需要及时的数据分析,这促使大多数经济学家和决策者寻找非传统的补充数据来源。在这种情况下,文本数据正在被探索,以丰富传统的数据源,因为它很容易收集和高度丰富。我们的工作重点是研究文本数据,特别是新闻报道,用于衡量经济政策不确定性(EPU)的潜力。经济政策的不确定性是指公众无法预测他们在新政策和未来基本经济要素下的决策结果。量化EPU对政策制定者、经济学家和投资者来说非常重要,因为它影响他们对未来基本经济要素的预期,从而影响他们的政策、投资和储蓄决策。以前大多数使用新闻文章测量EPU的工作都是手动的或基于简单的关键字搜索。我们的工作提出了一种基于机器学习的解决方案,涉及弱监督,以根据经济政策的不确定性对新闻文章进行分类。弱监督被证明是一种有效的机器学习范式,用于在没有或缺乏训练集的低资源环境中应用机器学习模型,利用领域知识和知识。我们进一步生成了一个基于弱监管的EPU指数,我们使用该指数与爱尔兰宏观经济指标一起进行广泛的计量经济分析,以验证我们生成的指数是否预示着较弱的宏观经济表现
2022-09-20 cs.AI cs.CY cs.LG
ADARL: Adaptive Low-Rank Structures for Robust Policy Learning under Uncertainty
Texas A&M University(德克萨斯大学);University of Minnesota(明尼苏达大学);Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学);Northeastern University(东北大学)
针对鲁棒强化学习计算昂贵且策略保守的问题,提出自适应秩表示(AdaRL)双层优化框架,通过动态调整策略秩平衡偏差-方差,在MuJoCo基准上超越现有方法并收敛至任务内在秩。
2025-10-13 cs.LG stat.ML
Robust Adversarial Policy Optimization Under Dynamics Uncertainty
Hybrid Robotics , UC Berkeley(混合机器人实验室,伯克利大学)
本文提出RAPO框架,通过轨迹层面温度参数与模型层面Boltzmann重加权,提升策略在动态不确定性下的鲁棒性与泛化能力。
2026-04-15 cs.LG cs.RO
Lyapunov Robust Constrained-MDPs: Soft-Constrained Robustly Stable Policy Optimization under Model Uncertainty
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
安全性和鲁棒性是任何强化学习算法的两个期望属性。CMDPs可以处理额外的安全约束,RMDPs可以在模型不确定性下表现良好。在本文中,我们建议将这两个框架结合起来,产生强大的约束MDPs(RCMDPs)。我们的动机是开发一个框架,可以满足安全约束,同时也提供鲁棒性模型的不确定性。我们开发了RCMDP目标,推导出梯度更新公式来优化这个目标,然后提出了基于策略梯度的算法。我们还独立地提出了基于李雅普诺夫的奖励塑造的RCMDPs,产生更好的稳定性和收敛性。
2021-08-05 cs.LG cs.SY eess.SY
Some Supervision Required: Incorporating Oracle Policies in Reinforcement Learning via Epistemic Uncertainty Metrics
Coventry University(考文垂大学);Farama Foundation(法拉马基金会)
针对强化学习随机探索效率低的问题,提出CCGE方法,基于认知不确定性动态引入预言者策略的动作建议,在多种基准任务上提升了样本效率与最终性能,为相关研究提供新思路。
2023-08-21 cs.AI cs.LG
Beyond Keywords: Leveraging Generative LLMs and Label Aggregation to Classify Economic Policy Uncertainty in News Articles
本研究利用生成式大语言模型和弱监督标签聚合技术,自动分类新闻中的经济政策不确定性,克服了关键词误报和人工标注成本高的局限,并支持多标签与层次分类。
2026-09-30 cs.AI cs.LG
POETS: Uncertainty-Aware LLM Optimization via Compute-Efficient Policy Ensembles
IBM Research – Zurich(IBM瑞士苏黎世实验室);Department of Computer Science, ETH Zürich(苏黎世联邦理工学院计算机科学系)
POETS通过计算高效的策略集合,结合KL正则化和策略优化,实现了在序列决策和黑箱优化中的不确定性量化,提升了样本效率和优化轨迹。
2026-10-26 cs.AI cs.LG stat.ML
Bayesian Residual Policy Optimization: Scalable Bayesian Reinforcement Learning with Clairvoyant Experts
University of Washington(华盛顿大学)
面对不确定性,明智和稳健的决策对于与人类一起执行物理任务的机器人至关重要。我们将其表述为潜在马尔可夫决策过程(MDP)上的贝叶斯强化学习。虽然贝叶斯最优性在理论上是黄金标准,但现有算法不能很好地扩展到连续状态和动作空间。我们的建议基于以下见解:在没有不确定性的情况下,每个潜在的MDP更容易解决。我们首先获得一组专家,每个潜在的MDP一个,并融合他们的建议来计算基线策略。接下来,我们训练贝叶斯残差策略来改进集合的建议并学习减少不确定性。我们的算法,贝叶斯残差策略优化(BRPO),进口的可扩展性的策略梯度方法和特定于任务的专家技能。BRPO显著提高了专家的集合,并大大优于现有的自适应RL方法。
2020-02-07 cs.LG cs.RO
Dual-Uncertainty Guided Policy Learning for Multimodal Reasoning
Tencent Hunyuan(腾讯文汇);University of Maryland(马里兰大学);University of North Carolina(北卡罗来纳大学)
提出DUPL方法,通过量化感知不确定性和输出不确定性来引导策略更新,在多个多模态推理基准上显著提升模型准确率,优于现有方法。
2026-06-16 cs.AI cs.CL cs.LG
Overcoming Reward Overoptimization via Adversarial Policy Optimization with Lightweight Uncertainty Estimation
ByteDance Research(字节跳动研究院);Fudan University(复旦大学);Tsinghua University(清华大学)
针对大语言模型RLHF中普遍存在的奖励过度优化问题,提出一种带轻量级不确定性估计的对抗策略优化方法AdvPO,通过分布鲁棒优化改进策略,在相关数据集上验证了其缓解过度优化、提升性能的效果。
2024-07-09 cs.AI cs.LG
Why Semantic Entropy Fails: Geometry-Aware and Calibrated Uncertainty for Policy Optimization
University of Notre Dame(诺丁汉大学)
本文提出了一种新的策略优化框架GCPO,通过几何感知措施捕捉语义分歧,并利用基于奖励的校准对齐不确定性与学习信号强度,从而更准确地跟踪梯度变化并提升训练后性能。
2026-05-20 cs.CL cs.LG
Composing Learned Robot Behaviors with Temporal Logic at Runtime
Purdue University(普渡大学)
本文提出hint$^2$,一种用分层世界模型引导策略满足LTL规范的方法,在CALVIN基准及真实UR5e机械臂实验中,其性能优于现有推理引导方法。
2026-10-06 cs.LG cs.RO
Adaptive Temporal-Difference Learning for Policy Evaluation with Per-State Uncertainty Estimates
DeepMind(深度思维);Google Research(谷歌研究院);Universitat Pompeu Fabra(庞培法布拉大学)
我们考虑的核心学习问题的政策价值函数近似从一批轨迹数据,并专注于各种问题的时间差分(TD)学习和蒙特卡洛(MC)政策评估。已知这两种方法可实现互补的偏差-方差权衡特性,其中TD倾向于实现较低的方差但可能较高的偏差。在本文中,我们认为,较大的偏差TD可以是一个结果的放大局部近似误差。我们解决这个问题,提出了一种算法,自适应切换TD和MC在每个状态,从而减轻传播的错误。我们的方法是基于学习的置信区间,检测偏差的TD估计。我们在各种政策评估任务中证明,这种简单的自适应算法在事后看来与最佳方法具有竞争力,这表明学习的置信区间是一种强大的技术,用于调整政策评估,以数据驱动的方式使用TD或MC回报。
2019-06-19 cs.AI cs.LG stat.ML
A context-adaptive policy framework for robust and reactive robotic manipulation via uncertainty-aware imitation learning
German Aerospace Center (DLR)(德国航空航天中心)
研究如何生成适应变化的机器人操作策略,基于策略融合与不确定性量化提出上下文自适应框架,用LfD获取策略并结合MoE提升鲁棒性,在多种场景下评估该方法。
2026-07-29 cs.AI cs.LG cs.RO
Robust Optimization using Machine Learning for Uncertainty Sets
MIT(麻省理工学院)
我们的目标是建立鲁棒的最优化问题,以便根据过去的复杂数据做出决策。在鲁棒优化(RO)中,目标通常是创建一个决策策略,该策略对我们对未来的不确定性具有鲁棒性。特别是,我们希望我们的政策能够最好地处理一系列不确定的可能情况中可能出现的最坏情况。传统上,不确定性集只是由用户选择,或者它可能是以过于简单的方式进行估计,具有很强的假设;而在这项工作中,我们从过去收集的数据中学习不确定性集。过去的数据是从(未知的)可能复杂的高维分布中随机抽取的。我们提出了一个新的不确定性集的设计,并展示了如何从统计学习理论的工具可以用来提供概率保证的政策的鲁棒性。
2014-07-04 cs.LG math.OC stat.ML