UCPO: Uncertainty-Aware Policy Optimization
针对现有强化学习范式在不确定性奖励下存在的优势偏差和过度自信问题,提出三元优势解耦和动态不确定性奖励调整机制,显著提升模型在知识边界外的可靠性。
2026-05-26 cs.AI cs.LG
Guided Uncertainty-Aware Policy Optimization: Combining Learning and Model-Based Strategies for Sample-Efficient Policy Learning
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校);Nvidia(英伟达);University of Toronto(多伦多大学);University of Sydney(悉尼大学);University of Washington(华盛顿大学)
传统的机器人方法依赖于精确的环境模型,如何执行任务的详细描述,以及强大的感知系统来跟踪当前状态。另一方面,强化学习方法可以直接从原始感官输入操作,只有一个奖励信号来描述任务,但样本效率极低且脆弱。在这项工作中,我们将基于模型的方法的优势与基于学习的方法的灵活性相结合,以获得一种通用方法,该方法能够克服机器人感知/驱动管道中的不准确性,同时需要与环境的最小交互。这是通过利用不确定性估计将空间划分为给定的基于模型的政策可靠的区域和可能存在缺陷或定义不明确的区域来实现的。在这些不确定的地区,我们表明,本地学习的政策可以直接与原始的感官输入。我们测试我们的算法,引导不确定性感知策略优化(GUAPO),在现实世界中的机器人执行钉插入。视频可在https://sites.google.com/view/guapo-rl上获得
2020-05-26 cs.AI cs.LG cs.RO
Efficient Action Robust Reinforcement Learning with Probabilistic Policy Execution Uncertainty
University of California, Davis(加州大学戴维斯分校);Northwestern University(西北大学)
本文研究带概率策略执行不确定性的动作鲁棒强化学习问题,证明最优策略存在性并给出Bellman最优方程,提出ARRLC算法实现极小极大最优遗憾与样本复杂度,实验验证其在动作扰动下性能更优、收敛更快。
2023-07-20 cs.AI cs.LG math.OC
Accelerating Residual Reinforcement Learning with Uncertainty Estimation
本文提出改进残差强化学习方法,通过不确定性估计提升样本效率,并使其适用于随机基策略。在Robosuite和D4RL任务中,该方法在多种模拟环境和现实部署中均表现优异。
2026-03-13 cs.AI cs.LG cs.RO
UOPD: Uncertainty-Aware Intervention for On-Policy Distillation of Multi-Turn Agents
University of California, Irvine(加州大学尔湾分校);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
UOPD通过不确定性感知干预,在关键步骤用教师动作纠正学生,提升多轮智能体在线策略蒸馏的性能,在ALFWorld、WebShop和Search任务上优于现有方法。
2026-09-29 cs.AI cs.LG
SHAPO: Sharpness-Aware Policy Optimization for Safe Exploration
Université de Montréal(蒙特利尔大学);Mila - Québec AI Institute(蒙特利尔人工智能研究所);Université Laval(拉瓦尔大学);IID - Institut Intelligence et Données(智能与数据研究所);LawZero;CIFAR AI Chair(CIFAR人工智能主席)
提出SHAPO算法,通过锐度感知策略更新隐式重加权梯度,放大罕见不安全动作的影响,抑制安全动作的贡献,从而在欠探索区域实现保守行为,提升安全性与任务性能。
2026-06-08 cs.AI cs.LG cs.RO
Deep Model-Based Reinforcement Learning via Estimated Uncertainty and Conservative Policy Optimization
University of Science and Technology of China(中国科学技术大学)
基于模型的强化学习算法往往比无模型方法实现更高的样本效率。然而,由于学习模型不可避免的误差,基于模型的方法很难达到与无模型方法相同的渐近性能。在本文中,我们提出了一种基于模型的不确定性策略优化方法(POMBU)-一种新的基于模型的方法-,可以有效地提高渐近性能,利用Q值的不确定性。我们推导出一个上限的不确定性,基于此,我们可以近似的不确定性准确和有效地基于模型的方法。我们进一步提出了一个不确定性感知的策略优化算法,优化的政策保守,鼓励性能提高的概率很高。这可以显著缓解政策对不准确模型的过度拟合。实验结果表明,POMBU算法在样本效率和渐近性能方面均优于现有的策略优化算法。此外,实验证明了优秀的鲁棒性POMBU相比,以前的基于模型的方法。
2019-11-28 cs.LG stat.ML
MUSBO: Model-based Uncertainty Regularized and Sample Efficient Batch Optimization for Deployment Constrained Reinforcement Learning
Princeton University(普林斯顿大学)
在诸如医疗保健、金融、机器人和推荐系统的许多当代应用中,用于数据汇集和在线学习的新策略的连续部署要么成本低要么不切实际。我们考虑一种介于纯离线强化学习(RL)和纯在线RL之间的设置,称为部署约束RL,其中用于数据采样的策略部署的数量是有限的。为了解决这个具有挑战性的任务,我们提出了一个新的算法学习框架,称为基于模型的不确定性正则化和样本有效批量优化(MUSBO)。我们的框架为每个部署发现新颖且高质量的样本,以实现高效的数据汇集。在每个离线训练会话中,我们通过量化收集的数据中的不确定性来引导策略更新。在高支持区域(低不确定性),我们通过采取积极的更新来鼓励我们的政策。在低支持区域(高不确定性),当政策引导到分布外区域时,我们通过估计的不确定性量化来降低权重。实验结果表明,MUSBO在部署受限的RL设置中实现了最先进的性能。
2021-06-03 cs.AI cs.LG
Guided Policy Exploration for Markov Decision Processes using an Uncertainty-Based Value-of-Information Criterion
University of Florida(佛罗里达大学);United States Naval Surface Warfare Center PCD(美国海军水面作战中心巴拿马城分部)
在具有许多动作-状态对的环境中进行强化学习具有挑战性。争论的焦点是彻底搜索政策空间所需的事件数量。大多数传统的算法以随机的方式解决这个搜索问题。这可能会在早期培训阶段留下大部分未访问的策略空间。在本文中,我们提出了一个基于不确定性的,信息理论的方法进行引导随机搜索,更有效地覆盖政策空间。我们的方法是基于信息的价值,一个标准,提供了预期的成本和搜索过程的粒度之间的最佳权衡。信息的价值产生了一个随机的例程,用于在学习过程中选择动作,可以以从粗到细的方式探索策略空间。我们增加了这个标准与状态转换的不确定性因素,引导搜索过程到以前未探索的区域的政策空间。
2018-02-05 cs.AI
Some Supervision Required: Incorporating Oracle Policies in Reinforcement Learning via Epistemic Uncertainty Metrics
Coventry University(考文垂大学);Farama Foundation(法拉马基金会)
针对强化学习随机探索效率低的问题,提出CCGE方法,基于认知不确定性动态引入预言者策略的动作建议,在多种基准任务上提升了样本效率与最终性能,为相关研究提供新思路。
2023-08-21 cs.AI cs.LG
Bayesian Residual Policy Optimization: Scalable Bayesian Reinforcement Learning with Clairvoyant Experts
University of Washington(华盛顿大学)
面对不确定性,明智和稳健的决策对于与人类一起执行物理任务的机器人至关重要。我们将其表述为潜在马尔可夫决策过程(MDP)上的贝叶斯强化学习。虽然贝叶斯最优性在理论上是黄金标准,但现有算法不能很好地扩展到连续状态和动作空间。我们的建议基于以下见解:在没有不确定性的情况下,每个潜在的MDP更容易解决。我们首先获得一组专家,每个潜在的MDP一个,并融合他们的建议来计算基线策略。接下来,我们训练贝叶斯残差策略来改进集合的建议并学习减少不确定性。我们的算法,贝叶斯残差策略优化(BRPO),进口的可扩展性的策略梯度方法和特定于任务的专家技能。BRPO显著提高了专家的集合,并大大优于现有的自适应RL方法。
2020-02-07 cs.LG cs.RO
Overcoming Reward Overoptimization via Adversarial Policy Optimization with Lightweight Uncertainty Estimation
ByteDance Research(字节跳动研究院);Fudan University(复旦大学);Tsinghua University(清华大学)
针对大语言模型RLHF中普遍存在的奖励过度优化问题,提出一种带轻量级不确定性估计的对抗策略优化方法AdvPO,通过分布鲁棒优化改进策略,在相关数据集上验证了其缓解过度优化、提升性能的效果。
2024-07-09 cs.AI cs.LG
Neetyabhas: A Framework for Uncertainty-Aware Public Policy Optimization in Rational Agent-Based Models
ThoughtWorks
提出一种集成流行病测量和政策执行不确定性的分层强化学习框架,通过模拟个体行为与政策干预的交互,有效管理疫情并降低影响。
2026-06-03 cs.AI cs.LG cs.SI
Uncertainty-aware Model-based Policy Optimization
VNU University of Engineering and Technology(越南国立大学工程技术大学);Microsoft Research(微软研究院)
基于模型的强化学习有可能比无模型方法更有效。然而,现有的基于模型的方法容易受到模型偏差的影响,这导致与无模型方法相比,泛化能力和渐近性能较差。此外,它们通常基于模型预测控制(MPC)框架,该框架不仅在决策时计算效率低,而且由于缺乏明确的策略表示而不能实现策略传输。在本文中,我们提出了一种新的不确定性感知的基于模型的策略优化框架,解决了这些问题。在该框架中,智能体同时学习一个具有不确定性的动态模型,并根据这些学习到的模型优化策略。在优化步骤中,通过模型的自动微分计算策略梯度。相对于单独的样本效率,我们的方法在具有竞争力的渐近性能和显着低于最先进的基线样本复杂性的挑战连续控制基准显示出可喜的成果。
2019-06-25 cs.LG math.OC stat.ML
Bayes-Adaptive Deep Model-Based Policy Optimisation
Technical University of Munich(慕尼黑工业大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
我们引入了一种贝叶斯(深度)基于模型的强化学习方法(RoMBRL),该方法可以捕获模型的不确定性,以实现样本有效的策略优化。我们建议制定基于模型的政策优化问题作为贝叶斯自适应马尔可夫决策过程(BAMDP)。RoMBRL通过深度贝叶斯神经网络的置信分布来维护模型的不确定性,该深度贝叶斯神经网络的样本是通过随机梯度哈密顿蒙特卡罗生成的。不确定性通过由采样模型和基于历史的策略控制的模拟来传播。由于信念是在访问历史中编码的,我们提出了一个基于历史的策略网络,可以进行端到端的训练,以概括整个历史空间,并将使用经常性的信任区域策略优化进行训练。我们表明,RoMBRL优于现有的方法在许多具有挑战性的控制基准任务的样本复杂性和任务性能。本文的源代码也可在https://github.com/thobotics/RoMBRL上公开获得。
2021-01-04 cs.LG cs.RO
vMFER: Von Mises-Fisher Experience Resampling Based on Uncertainty of Gradient Directions for Policy Improvement
Zhejiang University(浙江大学);NetEase Fuxi AI Lab(网易伏羲人工智能实验室);Nanyang Technological University(南洋理工大学);Tianjin University(天津大学);Skywork AI(天工AI)
针对强化学习中集成评论家梯度分歧影响策略改进效率的问题,提出基于梯度方向不确定性的vMFER经验重采样方法,为低不确定性样本赋高置信度,显著优于基准且适配集成结构。
2024-05-14 cs.LG
POETS: Uncertainty-Aware LLM Optimization via Compute-Efficient Policy Ensembles
IBM Research – Zurich(IBM瑞士苏黎世实验室);Department of Computer Science, ETH Zürich(苏黎世联邦理工学院计算机科学系)
POETS通过计算高效的策略集合,结合KL正则化和策略优化,实现了在序列决策和黑箱优化中的不确定性量化,提升了样本效率和优化轨迹。
2026-10-26 cs.AI cs.LG stat.ML
Look Before Leap: Look-Ahead Planning with Uncertainty in Reinforcement Learning
University of California, Davis(加州大学戴维斯分校)
提出不确定性感知的k步前瞻规划与探索性策略优化框架,通过权衡模型不确定性与价值误差,在机器人操作和Atari游戏中以更少交互超越现有方法。
2025-03-26 cs.AI cs.LG
Dual-Uncertainty Guided Policy Learning for Multimodal Reasoning
Tencent Hunyuan(腾讯文汇);University of Maryland(马里兰大学);University of North Carolina(北卡罗来纳大学)
提出DUPL方法,通过量化感知不确定性和输出不确定性来引导策略更新,在多个多模态推理基准上显著提升模型准确率,优于现有方法。
2026-06-16 cs.AI cs.CL cs.LG
Selective Uncertainty Propagation in Offline RL
Meta;Amazon(亚马逊公司);Adobe(奥多比公司);Indian Institute of Technology, Bombay(印度理工学院孟买分校)
针对离线强化学习中动态规划各步骤策略学习的分布偏移难题,提出选择性不确定性传播方法构建置信区间,自适应问题难度,并在玩具环境验证其对离线策略学习的益处。
2025-01-19 cs.AI cs.LG
Balancing policy constraint and ensemble size in uncertainty-based offline reinforcement learning
Warwick Medical School, University of Warwick(华威大学华威医学院);WMG, University of Warwick(华威大学华威制造集团);Department of Statistics, University of Warwick(华威大学统计系);Alan Turing Institute(艾伦·图灵研究所)
离线强化学习代理从固定的数据集中寻求最优策略。由于环境相互作用被禁止,智能体面临着重大挑战,即防止价值估计中的错误加剧并随后导致学习过程崩溃。使用集成的不确定性估计通过惩罚高方差值估计来补偿这一点,允许代理基于数据驱动的动作来学习鲁棒的策略。然而,需要大的合奏,以促进足够的惩罚结果在显着的计算开销。在这项工作中,我们研究的作用,政策约束作为一种机制,用于调节不确定性,以及相应的平衡水平的约束和合奏大小。通过将行为克隆纳入政策更新,我们的经验表明,足够的惩罚可以实现一个小得多的合奏大小,大大减少计算需求,同时保留最先进的性能基准任务。此外,我们展示了这样的方法可以促进稳定的在线微调,允许持续的政策改善,同时避免严重的性能下降。
2023-03-26 cs.LG
Adaptive Temporal-Difference Learning for Policy Evaluation with Per-State Uncertainty Estimates
DeepMind(深度思维);Google Research(谷歌研究院);Universitat Pompeu Fabra(庞培法布拉大学)
我们考虑的核心学习问题的政策价值函数近似从一批轨迹数据,并专注于各种问题的时间差分(TD)学习和蒙特卡洛(MC)政策评估。已知这两种方法可实现互补的偏差-方差权衡特性,其中TD倾向于实现较低的方差但可能较高的偏差。在本文中,我们认为,较大的偏差TD可以是一个结果的放大局部近似误差。我们解决这个问题,提出了一种算法,自适应切换TD和MC在每个状态,从而减轻传播的错误。我们的方法是基于学习的置信区间,检测偏差的TD估计。我们在各种政策评估任务中证明,这种简单的自适应算法在事后看来与最佳方法具有竞争力,这表明学习的置信区间是一种强大的技术,用于调整政策评估,以数据驱动的方式使用TD或MC回报。
2019-06-19 cs.AI cs.LG stat.ML
Reinforcement Learning for Sequential Solar PV Policy Design under Uncertainty: An Agent-Based Approach
School of Computer Science, University of Galway(戈尔韦大学计算机科学学院)
本研究将光伏政策设计建模为序列决策问题,结合强化学习与基于智能体模型,通过PPO等算法学习不同权衡的政策,其生成的政策权衡结构清晰且优于静态基准,可用于不确定性下的自适应政策设计。
2026-09-07 cs.AI
Computing Policies That Account For The Effects Of Human Agent Uncertainty During Execution In Markov Decision Processes
Arizona State University(亚利桑那州立大学)
当人类被赋予一个策略来执行时,如果在识别状态时存在不确定性,则可能存在策略执行错误和策略偏差。这可能是由于人类代理的认知限制和/或感知错误而发生的。因此,计算供人类执行的策略的算法应该在计算中考虑这些影响。一个最优的马尔可夫决策过程(MDP)政策,执行不佳(由于人类代理)可能比另一个政策是次优的MDP,但考虑人类代理的执行行为。在本文中,我们考虑两个问题,从状态的不确定性,这些是错误的状态推断,和额外的感知行动,一个人可能会采取由于他们的不确定性。我们提出了一个框架来模拟人类代理的行为与状态的不确定性,并可用于计算MDP政策,占这些问题。其次是一个爬山算法,以寻找良好的政策,我们的模型的人类代理。我们还提出了一个分支定界算法,可以找到这样的问题的最优策略。我们展示了在Gridworld域和仓库工人域中的实验结果。最后,我们提出了支持我们的人类模型假设的人类受试者研究。
2022-03-03 cs.AI
COIN: Chance-Constrained Imitation Learning for Uncertainty-aware Adaptive Resource Oversubscription Policy
Microsoft(微软);Microsoft 365
本文提出机会约束模仿学习框架COIN,利用随机约束与集成价值函数处理遥测数据中的偶然不确定性,在云资源超售中实现约3-4倍的效率与安全性提升。
2024-01-13 cs.AI cs.LG
Conservative Query and Adaptive Regularization for Offline RL Under Uncertainty Estimation
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
针对离线强化学习面临的挑战,提出不确定性估计下的保守查询与自适应正则化框架,通过莫尔斯网络估计不确定性,采用保守查询策略与自适应正则化方案,与CQL集成并在D4RL基准测试,取得优异或有竞争力的性能。
2026-07-22 cs.LG
Optimal Immunization Policy Using Dynamic Programming
公共卫生方面的决策几乎总是在不确定的情况下作出的。决策者负责作出重要决定,面临着从许多可能的选择中作出选择的艰巨任务。这一任务被称为不确定性下的规划,在处理全球卫生和发展问题等复杂系统时尤为紧迫。不确定性导致谨慎或错误的决策,花费时间,金钱和生命。正是基于这一认识,我们力求更明确地阐述卫生领域的最佳决策,并寻求更好的方法。在不确定的情况下做出决策是一项具有挑战性的任务,而且这种不确定性往往被平均化,以简化决策者的结果。我们在这项工作中的目标是实现动态规划,它提供了基础编译规划结果为反应策略。我们在这里描述了一种基于AI的方法,并说明了这种方法如何提高我们找到最佳疫苗接种策略的能力。我们建模的问题作为一个部分可观察的马尔可夫决策过程,POMDP和显示如何使用动态规划计算一个积极的政策。在本文中,我们开发了一个框架,在一个不确定的动态设置的最优卫生政策设计。我们应用随机动态规划的方法来确定最佳的时间来改变卫生干预政策和决策相关信息的价值,以提高政策的影响。
2020-05-18 cs.AI
Policy Gradient Algorithms for Robust MDPs with Non-Rectangular Uncertainty Sets
Risk Analytics and Optimization Chair, EPFL(洛桑联邦理工学院风险分析与优化教席);Department of Economics, University of St.Gallen(圣加仑大学经济系)
针对非矩形不确定性集下难以动态规划求解的鲁棒无限时域 MDP,提出随机投影 Langevin、确定性策略梯度与 actor-critic 算法,并给出误差、复杂度及全局最优性保证。
2025-09-28 cs.LG math.OC
Max-Min Off-Policy Actor-Critic Method Focusing on Worst-Case Robustness to Model Misspecification
University of Tsukuba(筑波大学);RIKEN AIP(理化学研究所人工智能研究中心)
在强化学习领域,由于在现实世界中进行策略训练的成本和风险较高,因此在仿真环境中训练策略并将其转移到相应的现实环境中。然而,仿真环境并不能完美地模仿真实世界的环境,导致模型的错误设定。多项研究报告称,在现实环境中,政策绩效显著恶化。在这项研究中,我们专注于涉及一个模拟环境的不确定性参数和它们的可能值,称为不确定性参数集的设置方案。其目的是在不确定性参数集上优化最坏情况下的性能,以保证在相应的现实环境中的性能。为了获得优化策略,我们提出了一种称为最大-最小双延迟深度确定性策略梯度算法(M2 TD 3)的非策略行为者-评论家方法,该算法使用同步梯度上升下降方法解决了最大-最小优化问题。在多关节接触动力学(MuJoCo)环境中的实验表明,该方法表现出优于几个基线方法的最坏情况下的性能。
2023-01-11 cs.AI cs.LG
Uncertainty Estimates for Efficient Neural Network-based Dialogue Policy Optimisation
Cambridge University(剑桥大学)
在统计对话管理中,对话管理器学习将信念状态映射到系统要执行的动作的策略。有效的勘探是成功的政策优化的关键。目前的深度强化学习方法非常有前途,但依赖于ε-贪婪探索,因此在学习过程中使用户随机选择动作。诸如高斯过程SARSA(GPSARSA)的替代方法估计不确定性并且是样本有效的,从而导致更好的用户体验,但是以更大的计算复杂度为代价。本文研究了在对话管理的背景下从深度Q网络(DQN)中提取不确定性估计的方法。我们执行了一个广泛的深度贝叶斯方法基准来提取不确定性估计,即Bayes-By-Backprop,dropout,其具体变化,bootstrapped合奏和alpha发散,将其与DQN算法相结合。
2017-11-30 cs.CL cs.LG cs.NE
Reinforcement Learning for Monetary Policy Under Macroeconomic Uncertainty: Analyzing Tabular and Function Approximation Methods
Department of Computer Science Stanford University(计算机科学系 斯坦福大学)
本文通过比较不同强化学习方法,发现简单表格化Q学习在宏观经济不确定性下表现最佳,优于复杂RL方法和传统政策规则。
2026-01-03 cs.AI cs.LG econ.EM
Soft-Robust Actor-Critic Policy-Gradient
Technion(以色列理工学院);Google Deepmind(谷歌DeepMind)
鲁棒强化学习的目标是获得最佳行为,说明动态系统中的模型不确定性。然而,先前的研究表明,考虑到最坏的情况,稳健的政策可能过于保守。我们的软稳健框架就是为了解决这个问题。在本文中,我们提出了一种新的软鲁棒Actor-Critic算法(SR-AC)。它学习关于不确定性集合上的分布的最优策略,并对模型的不确定性保持鲁棒性,但避免了鲁棒策略的保守性。我们展示了SR-AC的收敛性,并通过将其与常规学习方法及其鲁棒性公式进行比较来测试我们的方法在不同领域上的效率。
2018-10-24 cs.AI cs.LG stat.ML
Robust Regularized Policy Iteration under Transition Uncertainty
College of Computer Science and Technology, Zhejiang University, Hangzhou, China(浙江大学计算机科学与技术学院);School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University, Xi'an, China(西北工业大学人工智能、光学与电子学院(iOPEN));School of Software Technology, Zhejiang University, Hangzhou, China(浙江大学软件技术学院);School of Software Engineering, Xi'an Jiaotong University, Xi'an, China(西安交通大学软件工程学院);School of Systems Science and Engineering, Sun Yat-sen University, Guangzhou, China(中山大学系统科学与工程学院)
提出鲁棒正则化策略迭代(RRPI),通过将离线强化学习建模为鲁棒策略优化,使用KL正则化替代难解的双层目标,并基于鲁棒正则化贝尔曼算子实现高效策略迭代,理论保证收敛性,实验在D4RL基准上表现优异。
2026-06-18 cs.AI stat.ML
Risk-Sensitive Bayesian Games for Multi-Agent Reinforcement Learning under Policy Uncertainty
Zenseact AB(Zenseact公司);University of Oslo(奥斯陆大学)
在不完全信息的随机博弈中,不确定性是由于缺乏对参与者自身和其他参与者类型(即效用函数和策略空间)的了解,以及不同参与者之间相互作用的内在随机性引起的。在现有的文献中,随机博弈中的风险已被研究的内在不确定性引起的变化的过渡和行动。在这项工作中,我们重点关注与\textit{uncertainty over types}相关的风险。我们将此与多智能体强化学习框架进行对比,在该框架中,其他智能体具有固定的静态策略,并由于其他智能体的自适应策略的不确定性而调查风险敏感性。我们提出了风险敏感版本的现有算法提出的风险中性的随机游戏,如迭代最佳响应(IBR),虚拟播放(FP)和一般的多目标梯度方法,使用双上升(DAPG)。我们的实验分析表明,风险敏感的DAPG比竞争算法的社会福利和一般和随机游戏。
2022-03-18 cs.LG cs.MA
Mixed Reinforcement Learning with Additive Stochastic Uncertainty
Tsinghua University(清华大学);Cornell University(康奈尔大学)
强化学习(RL)方法通常依赖于大量的探索数据来搜索最优策略,并且具有较差的采样效率。本文提出了一种混合强化学习算法(mixed reinforcement learning,mixed RL),该算法同时利用环境动力学的对偶表示搜索最优策略,以提高学习精度和训练速度。双重表示表示环境模型和状态-动作数据:前者可以加速RL的学习过程,而其固有的模型不确定性通常会导致比后者更差的策略准确性,后者来自状态和动作的直接测量。在混合强化学习的框架设计中,通过迭代贝叶斯估计器(IBE)利用探索的状态-动作数据,将对加性随机模型不确定性的补偿嵌入到策略迭代强化学习框架中.然后,通过在策略评估(PEV)和策略改进(PIM)之间交替,以迭代的方式计算最优策略。使用Bellman最优性原理证明了混合RL的收敛性,并通过Lyapunov直接方法证明了生成策略的递归稳定性。通过一个典型的随机非仿射非线性系统的最优控制问题(即,自动车辆的双车道变换任务)。
2020-02-28 cs.LG cs.RO cs.SY
Model-Based Epistemic Variance of Values for Risk-Aware Policy Optimization
Bosch Corporate Research(博世公司研究中心);Technical University Darmstadt(达姆施塔特工业大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Centre for Cognitive Science(认知科学中心)
针对基于模型的强化学习中价值后验方差过度近似导致探索低效的问题,提出收敛于真实方差的新型不确定性贝尔曼方程及近似方案,构建通用策略优化算法QU-SAC,经在线离线实验验证性能优于现有不确定性估计方法。
2024-09-17 cs.AI cs.LG
DROMO: Distributionally Robust Offline Model-based Policy Optimization
Affiliated High School of South China Normal University(华南师范大学附属中学)
研究了基于模型控制的离线强化学习问题,其目标是从经验回放中学习一个动力学模型,并在学习的模型下获得一个面向悲观的智能体.当前基于模型的约束包括显式不确定性惩罚和隐式保守正则化,其将分布外状态-动作对的Q值向下推,而分布内状态-动作对的Q值向上推。虽然前者所依赖的不确定性估计可以对复杂动态进行松散校准,但后者的性能略好。为了扩展正则化的基本思想而不进行不确定性量化,我们提出了分布式鲁棒离线基于模型的策略优化(DROMO),它利用分布式鲁棒优化中的思想来惩罚超出标准经验分布外Q值最小化的更广泛的分布外状态-动作对。我们从理论上表明,我们的方法优化了地面实况政策评估的下限,它可以被纳入任何现有的策略梯度算法。我们还分析了DROMO的线性和非线性实例化的理论性质。
2021-09-15 cs.AI cs.LG
Collaborative Weighting with Pessimistic Critic for Mitigating Overestimation in Off-Policy Reinforcement Learning
School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院);Shanghai University of Engineering Science(上海工程技术大学)
本文提出CWAC框架,通过分布式评判者、协同加权机制及随机悲观值估计缓解离线强化学习的高估问题,可集成于SAC等算法,在多模拟任务中性能显著提升。
2026-07-30 cs.AI cs.LG
Policy Gradient Bayesian Robust Optimization for Imitation Learning
University of California, Berkeley(加州大学伯克利分校);University of New Hampshire(新罕布什尔大学)
在许多现实世界的问题中,很难指定奖励,这导致人们越来越关注从人类反馈(如演示)中学习奖励。然而,通常有许多不同的奖励函数来解释人类反馈,这使得代理人不确定真正的奖励函数是什么。虽然大多数策略优化方法通过优化预期性能来处理这种不确定性,但许多应用程序需要规避风险的行为。我们推导出一种新的策略梯度式的鲁棒优化方法,PG-BROIL,优化了软鲁棒目标,平衡预期的性能和风险。据我们所知,PG-BROIL是第一个对奖励假设分布具有鲁棒性的策略优化算法,该算法可以扩展到连续的MDP。结果表明,PG-BROIL可以产生一个家庭的行为,从风险中性到风险厌恶,并优于国家的最先进的模仿学习算法时,从模糊的示范对冲不确定性,而不是寻求唯一识别演示的奖励功能。
2021-06-21 cs.AI cs.LG
Statistical Bootstrapping for Uncertainty Estimation in Off-Policy Evaluation
Google Research(谷歌研究院)
在强化学习中,通常使用经验观察到的转换和奖励来通过基于模型或Q拟合的方法估计策略的价值。尽管这些技术很简单,但通常会对保单的真实价值产生有偏差的估计。在这项工作中,我们调查的潜力,统计引导被用来作为一种方式,采取这些有偏估计,并产生校准的置信区间的政策的真实价值。我们确定的条件-特别是,足够的数据大小和足够的覆盖范围-在此设置下的统计自举是保证产生正确的置信区间。在实际情况下,这些条件往往不成立,因此我们讨论并提出了可以用来减轻其影响的机制。我们评估了我们提出的方法,并表明它可以在各种条件下产生准确的置信区间,包括具有挑战性的连续控制环境和小数据制度。
2020-07-27 cs.LG stat.ML
Robust Constrained-MDPs: Soft-Constrained Robust Policy Optimization under Model Uncertainty
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
在本文中,我们专注于问题的鲁棒性强化学习(RL)算法与模型的不确定性。事实上,在基于模型的RL的框架中,我们建议将约束马尔可夫决策过程(CMDP)理论与鲁棒马尔可夫决策过程(RMDP)理论相结合,从而形成鲁棒约束MDP(RCMDP)。这个公式,简单的本质上,使我们能够设计RL算法,是强大的性能,并提供约束满足保证,相对于系统的状态转移概率的不确定性。对RCMPD的需求对于RL的实际应用非常重要。例如,这样的公式化可以在安全关键应用中从模拟到现实世界(Sim2Real)的策略转移中发挥重要作用,这将受益于相对于模型不确定性而言稳健的性能和安全保证。我们首先提出了一般的问题公式下的概念RCMDP,然后提出了一个拉格朗日公式的最优问题,导致鲁棒约束的策略梯度RL算法。最后,我们验证了这一概念的库存管理问题。
2020-10-10 cs.LG
Hierarchical Reinforcement Learning with Uncertainty-Guided Diffusional Subgoals
Aalto University(阿尔托大学)
针对分层强化学习中低层策略变化导致高层难以生成有效子目标的问题,提出利用高斯过程先验正则化的条件扩散模型生成复杂子目标并进行不确定性量化,显著提升了样本效率和性能。
2025-05-27 cs.LG
Lyapunov Robust Constrained-MDPs: Soft-Constrained Robustly Stable Policy Optimization under Model Uncertainty
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
安全性和鲁棒性是任何强化学习算法的两个期望属性。CMDPs可以处理额外的安全约束,RMDPs可以在模型不确定性下表现良好。在本文中,我们建议将这两个框架结合起来,产生强大的约束MDPs(RCMDPs)。我们的动机是开发一个框架,可以满足安全约束,同时也提供鲁棒性模型的不确定性。我们开发了RCMDP目标,推导出梯度更新公式来优化这个目标,然后提出了基于策略梯度的算法。我们还独立地提出了基于李雅普诺夫的奖励塑造的RCMDPs,产生更好的稳定性和收敛性。
2021-08-05 cs.LG cs.SY eess.SY
Uncertainty-Aware LLM-Guided Policy Shaping for Sparse-Reward Reinforcement Learning
USD AI Research Lab(USD人工智能研究实验室)
提出ULPS框架,结合校准的大语言模型与不确定性估计,通过A*轨迹微调BERT模型提供动作建议,并用熵机制平衡LLM引导与PPO策略,在MiniGridUnlockPickup基准上显著提升成功率、奖励效率和样本复杂度。
2026-06-04 cs.LG
MRAC-RL: A Framework for On-Line Policy Adaptation Under Parametric Model Uncertainty
Massachusetts Institute of Technology(麻省理工学院)
强化学习(RL)算法已成功地用于开发动力系统的控制策略。对于许多这样的系统,这些策略是在模拟环境中训练的。由于模拟模型与真实系统动态之间的差异,RL训练的策略在部署到现实环境中时往往无法进行适当的泛化和适应。目前的研究在弥合这一模拟到真实的差距,主要集中在改进仿真设计和开发的改进和专门的RL算法的鲁棒控制政策的产生。本文应用自适应控制和系统辨识的原理,提出了模型参考自适应控制和强化学习(MRAC-RL)框架。我们提出了一套新的MRAC算法适用于广泛的线性和非线性系统,并推导出相关的控制律。MRAC-RL框架利用内环自适应控制器,允许模拟训练的外环策略在测试环境中有效地适应和操作,即使存在参数模型不确定性。我们证明了MRAC-RL方法在开发可应用于具有建模误差的系统的控制策略方面改进了最先进的RL算法。
2020-11-20 cs.LG cs.RO cs.SY
Stochastic Actor-Critic: Mitigating Overestimation via Temporal Aleatoric Uncertainty
Turkish Aerospace(土耳其航空航天)
STAC通过引入时间性随机不确定性来缓解强化学习中批评器的过估计问题,采用分布性批评器和dropout正则化提升稳定性和效率。
2026-01-02 cs.AI cs.LG cs.SY
Sequential Cohort Selection under Uncertainty
研究不确定性下公平队列选择问题,提出结合结果概率建模与策略梯度方法的框架,在顺序设置中联合更新策略和模型,实验表明自适应策略在预期效用上优于静态基线。
2026-07-07 cs.LG
ADARL: Adaptive Low-Rank Structures for Robust Policy Learning under Uncertainty
Texas A&M University(德克萨斯大学);University of Minnesota(明尼苏达大学);Tsinghua University(清华大学);University of Science and Technology of China(中国科学技术大学);Northeastern University(东北大学)
针对鲁棒强化学习计算昂贵且策略保守的问题,提出自适应秩表示(AdaRL)双层优化框架,通过动态调整策略秩平衡偏差-方差,在MuJoCo基准上超越现有方法并收敛至任务内在秩。
2025-10-13 cs.LG stat.ML
Diffusion-Guided Uncertainty-Aware Delayed Policy Optimization
The Key Laboratory of Smart Manufacturing in Energy Chemical Process, Ministry of Education, East China University of Science and Technology, Shanghai, China(能源化工过程智能制造重点实验室,教育部,东华大学,上海,中国);The School of Mathematics, East China University of Science and Technology, Shanghai, China(东华大学数学学院,上海,中国)
针对现实环境强化学习因延迟反馈性能严重下降问题,提出DUPO方法。用扩散模型明确延迟状态与当前状态关系,利用差异估计加权延迟策略,实验表明该方法优于现有方法。
2026-07-07 cs.AI
Plan To Predict: Learning an Uncertainty-Foreseeing Model for Model-Based Reinforcement Learning
Sun Yat-sen University(中山大学);Huawei(华为)
在基于模型的强化学习(MBRL)中,模型学习是至关重要的,因为不准确的模型可以通过生成误导性样本来偏差策略学习。然而,学习准确的模型可能是困难的,因为策略不断更新,并且用于模型学习的访问状态的诱导分布相应地发生变化。现有方法通过量化模型生成的样本的不确定性来缓解这个问题。然而,这些方法只是被动地量化的不确定性后,产生的样本,而不是在模型轨迹落入这些高度不确定的区域之前,消除不确定性。由此产生的低质量样本可能会导致学习目标不稳定,并阻碍策略的优化。此外,虽然被学习以最小化一步预测误差,但模型通常用于预测多个步骤,导致模型学习和模型使用的目标之间的不匹配。为此,我们提出了\emph{Plan To Predict}(P2P),一个MBRL框架,将模型推出过程作为一个连续的决策问题,考虑模型作为决策者和当前的政策作为动态。通过这种方式,模型可以快速适应当前策略,并在生成轨迹时预见未来多步的不确定性。理论上,我们证明了P2P的性能可以通过近似优化真实环境回报的下限来保证。实证结果表明,P2P在几个具有挑战性的基准任务上达到了最先进的性能。
2023-01-20 cs.LG
Lipschitz-Regularized Critics Lead to Policy Robustness Against Transition Dynamics Uncertainty
College of Engineering & Computer Science, Syracuse University(工程与计算机科学学院,苏利文大学)
研究针对强化学习中转移动态不确定性致策略性能下降问题,提出基于近端策略优化的PPO-PGDLC算法,集成投影梯度下降与李普希茨正则化评论家,实验表明该算法在环境扰动下性能更好且动作更平滑。
2026-07-09 cs.LG
Pessimistic Bootstrapping for Uncertainty-Driven Offline Reinforcement Learning
Harbin Institute of Technology(哈尔滨工业大学);Northwestern University(西北大学);Princeton University(普林斯顿大学);University of Technology Sydney(悉尼科技大学);University of Toronto(多伦多大学);Vector Institute(向量研究所);NVIDIA(英伟达)
离线强化学习(RL)旨在从先前收集的数据集中学习策略,而无需探索环境。直接将离线策略算法应用于离线强化学习通常会由于分布外(OOD)操作引起的外推错误而失败。以前的方法通过惩罚OOD动作的Q值或限制训练策略接近行为策略来解决这个问题。然而,这样的方法通常防止价值函数的泛化超出离线数据,也缺乏OOD数据的精确表征。在本文中,我们提出了离线RL(PBRL),一个纯粹的不确定性驱动的离线算法,没有明确的政策约束的Pessierity Bootstrapping。具体而言,PBRL通过自举Q函数的不一致性进行不确定性量化,并通过基于估计的不确定性惩罚价值函数来执行悲观更新。为了解决外推误差,我们进一步提出了一种新的OOD采样方法。我们表明,这样的OOD抽样和悲观的自举产生可证明的不确定性量化的线性MDPs,从而提供了PBRL的理论基础。在D4RL基准测试上的大量实验表明,PBRL算法比现有算法具有更好的性能。
2022-02-23 cs.LG
Deep Gaussian Covariance Network with Trajectory Sampling for Data-Efficient Policy Search
Zalando SE(扎兰多公司);Institute for Modelling and High Performance Computing(建模与高性能计算研究所);Niederrhein University of Applied Sciences(下莱茵应用科学大学)
提出结合轨迹采样与深度高斯协方差网络(DGCN)的方法,通过概率世界模型提升基于模型的强化学习在最优控制中的数据效率与策略鲁棒性。
2024-03-23 cs.LG stat.ML
Q-Distribution guided Q-learning for offline reinforcement learning: Uncertainty penalized Q-value via consistency model
HKUST(香港科技大学);HKUST (GZ)(香港科技大学(广州));SUSTech(南方科技大学)
针对离线强化学习中分布外动作Q值易高估的问题,提出基于一致性模型估计不确定性、对分布外区域Q值做悲观调整的QDQ方法,兼具理论保障与D4RL基准上的性能提升。
2025-01-12 cs.LG stat.ML