Fundamental Limits of Reinforcement Learning in Environment with Endogeneous and Exogeneous Uncertainty
Zhejiang University（浙江大学）；The University of Cambridge（剑桥大学）
在线强化学习（RL）已广泛应用于信息处理场景，这些场景通常由于信道和服务需求的内在随机性而表现出很大的不确定性。在本文中，我们考虑了具有内生和外生不确定性的一般马尔可夫决策过程（MDP）中的未贴现RL，其中RL代理的奖励和状态转移概率都是未知的，并且只要它们各自的变化不超过一定的动态预算（即，上界）。我们首先开发了一个变量感知的基于伯恩斯坦的上置信度强化学习（VB-UCRL），我们允许根据依赖于变化的时间表重新启动。我们成功地克服了由于外源的不确定性的挑战，并建立了一个遗憾界保存最多$\sqrt{S}$或$S^{\frac{1}{6}}T^{\frac{1}{12}}$在文献中的最新结果相比，其中$S$表示的状态大小的MDP和$T$表示的学习步骤的迭代指数。
2021-06-15 cs.LG stat.ML
Constrained Upper Confidence Reinforcement Learning
Department of Electrical & Computer Engineering University of Washington（华盛顿大学电气与计算机工程系）
约束马尔可夫决策过程是一类随机决策问题，其中决策者必须选择满足辅助成本约束的策略。本文扩展了上置信度强化学习的设置，其中的奖励函数和约束，描述的成本函数，是未知的先验，但过渡内核是已知的。这样的设置受到许多应用的良好激励，包括探索未知的、潜在的不安全的环境。我们提出了一个算法C-UCRL，并表明，它实现了次线性遗憾（$ O(T^{\frac{3}{4}}\sqrt{\log(T/δ)})$）方面的奖励，同时满足的限制，即使在学习的概率$1-δ$。提供了说明性的例子。
2020-01-26 cs.LG stat.ML
A Primal-Dual-Critic Algorithm for Offline Constrained Reinforcement Learning
University of Michigan（密歇根大学）
本文提出PDCA算法，通过在评论家估计的拉格朗日函数上运行原始-对偶算法解决离线约束强化学习问题，仅需可集中性和可实现性假设即可实现样本高效学习并找到近似最优鞍点。
2023-10-19 cs.LG stat.ML
A Globally Convergent Evolutionary Strategy for Stochastic Constrained Optimization with Applications to Reinforcement Learning
Polytechnique Montréal（蒙特利尔综合理工学院）；University of Basel（巴塞尔大学）；Johannes Kepler University Linz（林茨约翰·开普勒大学）
进化策略最近被证明可以在强化学习中实现复杂优化问题的性能竞争水平。在这样的问题中，人们经常需要优化一个受一组约束的目标函数，包括例如对策略熵的约束，或者限制代理可访问的可能的动作或状态集。然而，文献中缺乏优化随机约束问题的进化策略的收敛保证。在这项工作中，我们解决这个问题，通过设计一种新的优化算法，有足够的减少机制，确保收敛，这是只基于估计的功能。我们证明了该算法对两种类型的实验的适用性：i）最大化奖励的控制任务和ii）最大化奖励受一组不可放松的约束。
2022-02-21 cs.LG cs.NE math.OC
Uncertainty Quantification and Exploration for Reinforcement Learning
Northwestern University（西北大学）；Columbia Business School（哥伦比亚商学院）；Columbia University（哥伦比亚大学）
我们研究了强化学习（RL）的统计不确定性量化及其在探索策略中的意义。尽管关于强化学习应用的文献越来越多，但关于推理和错误量化的基本问题，如大样本行为，似乎仍然是相当开放的。在本文中，我们填补了文献空白，通过研究中心极限定理的行为估计Q值和价值函数在各种RL设置。特别是，我们明确确定的渐近方差的封闭形式的表达式，这使我们能够有效地构建渐近有效的置信区域的关键RL量。此外，我们利用这些渐近表达式来设计一个有效的勘探策略，我们称之为基于Q值的最优计算预算分配（Q-OCBA）。该策略依赖于最大化Q值估计值之间的相对差异。数值实验表明，我们的探索策略优于其他基准政策的性能。
2022-12-04 cs.LG stat.ML
Incorporating Explicit Uncertainty Estimates into Deep Offline Reinforcement Learning
New York University（纽约大学）；Microsoft Research Montréal（微软蒙特利尔研究院）
在离线强化学习环境中，大多数理论上的工作都需要精确的不确定性估计。这一要求限制了在该工作中推导出的算法，以表格和线性设置，其中存在这样的估计。在这项工作中，我们开发了一种新的方法，将可扩展的不确定性估计到一个称为深SPIBB的离线强化学习算法，扩展SPIBB系列算法的环境具有更大的状态和动作空间。我们使用深度学习社区最近在不确定性估计方面的创新，以获得更可扩展的不确定性估计，以插入到深度SPIBB中。虽然这些不确定性的估计不允许在表格的情况下，相同的理论保证，我们认为，SPIBB机制，将不确定性是更强大和更灵活的比悲观的方法，将不确定性作为一个价值函数罚款。我们从经验上证明了这一点，表明深度SPIBB在获得相同不确定性估计的情况下优于基于悲观主义的方法，并且在多个环境和数据集上的表现至少与其他各种强基线相当。
2022-06-02 cs.LG
Semi-Infinitely Constrained Markov Decision Processes and Efficient Reinforcement Learning
Peking University（北京大学）
该研究提出泛化的半无限约束马尔可夫决策过程SICMDP，设计了基于模型的SI-CRL和策略优化类SI-CPO两种算法，首次将半无限规划工具用于约束强化学习，完成理论分析并通过实验验证了算法有效性。
2023-04-29 cs.LG stat.ML
Risk Sensitive Model-Based Reinforcement Learning using Uncertainty Guided Planning
University of Bristol（布里斯托大学）
识别不确定性并采取缓解措施对于安全可靠的强化学习代理至关重要，特别是在高风险环境中部署时。在本文中，风险敏感性，促进了基于模型的强化学习算法，利用自举集成的动力学模型，以估计环境认知不确定性的能力。我们提出了不确定性指导的交叉熵方法规划，该方法惩罚在模型推出期间导致高方差状态预测的动作序列，将代理引导到具有低不确定性的状态空间的已知区域。实验显示的能力，为代理，以确定不确定的区域的状态空间规划过程中，并采取行动，保持代理在高置信度的地区，而不需要明确的约束。其结果是在获得回报方面的业绩下降，显示出风险和回报之间的权衡。
2021-11-09 cs.LG
Distributional constrained reinforcement learning for supply chain optimization
Imperial College London（帝国理工学院）
本文研究了强化学习（RL）在多周期供应链中的应用，生产和库存。我们介绍了分布约束策略优化（DCPO），一种新的方法，可靠的约束满足在RL。我们的方法是基于约束策略优化（CPO），这是受到近似误差，在实践中导致它收敛到不可行的政策。我们通过将分布式RL的各个方面纳入DCPO来解决这个问题。具体来说，我们使用输出离散分布的神经网络表示收益和成本价值函数，并根据相关置信度重塑成本。使用供应链的案例研究，我们表明，DCPO提高了RL政策收敛的速度，并确保可靠的约束满足的训练结束。所提出的方法还提高了可预测性，大大降低了运行之间的回报方差，分别，这一结果是显着的策略梯度方法，这在训练过程中本质上引入显着的方差的上下文中。
2023-02-03 cs.LG math.OC
Reinforcement Learning with Budget-Constrained Nonparametric Function Approximation for Opportunistic Spectrum Access
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
主动频谱接入是用于最大化拥塞频带中的吞吐量的新兴技术之一，并且通过预测频谱中的空闲时隙来实现。我们提出了一种基于内核的强化学习方法，再加上一种新的约束稀疏化技术，有效地捕捉环境，找到最佳的通道访问动作。这种方法允许在固有的状态-动作空间上进行学习和规划，并且可以很好地扩展到大的状态空间。我们应用我们的方法来评估基于强化学习的无线电与多通道对抗无线电和单通道CSMA-CA无线电的共存。数值实验表明，性能增益载波侦听系统。
2018-06-20 cs.IT cs.LG math.IT
Reinforcement Learning for Robotics and Control with Active Uncertainty Reduction
基于无模型强化学习的方法，例如近端策略优化或Q学习，通常需要与环境进行数千次交互，以近似最佳控制器，由于安全性和时间消耗，这在机器人技术中可能并不总是可行的。基于模型的方法，如PILCO或BlackDrops，虽然数据效率高，但提供的解决方案具有有限的鲁棒性和复杂性。为了解决这一问题，我们引入了基于主动不确定性减少的虚拟环境，它是通过在原始环境中进行有限的试验形成的。我们提供了一个有效的方法不确定性管理，这是用来作为一个度量自我改进的点，通过自适应采样的最大预期改善的识别。捕捉不确定性还允许更好地模仿原始系统的奖励响应。我们的方法可以通过基于模型和无模型方法的独特组合来使用复杂的策略结构和奖励函数，同时仍然保持数据效率。我们在OpenAI gym中的几个经典强化学习问题上证明了我们方法的有效性。我们证明，我们的方法提供了一个更好的建模能力，复杂的系统动力学相比，已建立的方法。
2019-05-15 cs.LG cs.RO stat.ML
Quantile Constrained Reinforcement Learning: A Reinforcement Learning Framework Constraining Outage Probability
KAIST（韩国科学技术院）
约束强化学习（Reinforcement Learning，RL）是强化学习的一个分支，其目标是在满足给定约束的前提下，找到一个最大化期望累积收益的最优策略。以往的约束强化学习算法大多将期望累积和成本作为约束条件。然而，具有该约束的优化不能保证累积和成本超过给定阈值的中断事件的目标概率。本文提出了一个框架，名为分位数约束RL（QCRL），限制的分位数的分布的累积和成本，这是一个必要和充分条件，以满足中断约束。这是第一个工作，解决的问题，适用于分位数的策略梯度定理，并提供了近似梯度的分位数的理论结果。在此基础上，利用拉格朗日乘子技术，构造了一种分位数约束策略优化算法（QCPO）。我们使用分布强化学习与大偏差原则（LDP）估计分位数和尾部概率的累积和成本的实施QCPO。所实现的算法在训练期后满足中断概率约束。
2022-11-28 cs.AI cs.LG
Risk-Averse Model Uncertainty for Distributionally Robust Safe Reinforcement Learning
Boston University（波士顿大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本文提出一种基于相干失真风险度量的风险厌恶深度强化学习框架，通过避免极小极大优化实现高效无模型训练，并在扰动测试环境中验证了其鲁棒安全性能。
2023-10-26 cs.AI cs.LG stat.ML
State Augmented Constrained Reinforcement Learning: Overcoming the Limitations of Learning with Rewards
Universitat Pompeu Fabra（庞培法布拉大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Stuttgart（斯图加特大学）；University of Pennsylvania（宾夕法尼亚大学）
本文针对约束强化学习中奖励线性组合无法诱导最优策略的问题，提出用拉格朗日乘子增广状态并将原始-对偶方法重新解释为乘子演化动力学，从而保证求解带约束的强化学习问题。
2023-09-21 cs.LG cs.RO math.OC
Q-Distribution guided Q-learning for offline reinforcement learning: Uncertainty penalized Q-value via consistency model
HKUST（香港科技大学）；HKUST (GZ)（香港科技大学（广州））；SUSTech（南方科技大学）
针对离线强化学习中分布外动作Q值易高估的问题，提出基于一致性模型估计不确定性、对分布外区域Q值做悲观调整的QDQ方法，兼具理论保障与D4RL基准上的性能提升。
2025-01-12 cs.LG stat.ML
KCRL: Krasovskii-Constrained Reinforcement Learning with Guaranteed Stability in Nonlinear Dynamical Systems
California Institute of Technology（加州理工学院）；University of California San Diego（加州大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）；Purdue University（普渡大学）
学习一个动态系统需要稳定未知的动态，以避免状态爆破。然而，目前的强化学习（RL）方法缺乏稳定性保证，这限制了它们对安全关键系统控制的适用性。我们提出了一个基于模型的RL框架，正式的稳定性保证，Krasovskii约束RL（KCRL），采用Krasovskii的家庭的李雅普诺夫函数作为稳定性约束。所提出的方法使用特征表示（例如，随机傅立叶特征）来学习系统动态直到置信区间。然后，它解决了一个受约束的政策优化问题的稳定性约束的基础上Krasovskii的方法使用原始对偶方法恢复稳定的政策。我们表明，KCRL是保证学习稳定的政策，在有限数量的相互作用与潜在的未知系统。我们还通过KCRL框架导出了未知非线性动力系统镇定的样本复杂性上界。
2022-06-03 cs.LG cs.SY eess.SY
An Empirical Evaluation of Posterior Sampling for Constrained Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；Jheronimus Academy of Data Science（赫罗尼姆斯数据科学学院）；University of Jyväskylä（于韦斯屈莱大学）；Tilburg University（蒂尔堡大学）
研究了约束强化学习中有效探索的后验抽样方法。替代现有的算法，我们提出了两个简单的算法，更有效的统计，更简单的实现和计算成本更低。第一种算法是基于CMDP的线性公式，第二种算法利用CMDP的鞍点公式。我们的实证结果表明，尽管它的简单性，后验采样达到最先进的性能，在某些情况下，显着优于乐观算法。
2022-09-08 cs.LG
Safe Reinforcement Learning for Constrained Markov Decision Processes with Stochastic Stopping Time
Aalborg University（奥尔堡大学）；University College London（伦敦大学学院）
本文针对具有随机停止时间的受约束马尔可夫决策过程，提出一种基于线性规划的无模型在线强化学习算法，通过计算安全基线策略和定义代理集实现高置信度安全与高效探索，仿真验证了其有效性。
2024-03-23 cs.LG math.OC
POPCORN: Partially Observed Prediction COnstrained ReiNforcement Learning
Harvard SEAS（哈佛大学哈佛约翰·A·保尔森工程与应用科学学院）；Tufts University（塔夫茨大学）
许多医疗决策任务可以被框架为部分可观察马尔可夫决策过程（POMDP）。然而，流行的两阶段方法（首先学习POMDP，然后解决它）通常会失败，因为最适合数据的模型可能不太适合规划。我们引入了一个新的优化目标，该目标（a）产生高性能的策略和高质量的生成模型，即使某些观察结果与规划无关，以及（b）在医疗保健中典型的批量非策略设置中这样做，当只有回顾性数据可用时。我们展示了我们的方法合成的例子和一个具有挑战性的医疗决策问题。
2020-03-31 cs.LG stat.ML
Adversarial Constrained Policy Optimization: Improving Constrained Reinforcement Learning by Adapting Budgets
Shanghai Jiao Tong University（上海交通大学）；ParisTech Elite Institute of Technology, Shanghai Jiao Tong University（上海交通大学巴黎卓越工程师学院）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）
针对约束强化学习难以平衡性能与安全、易陷入过度保守或违约局部最优的问题，本文提出ACPO，通过对抗式交替优化实现奖励提升与成本预算自适应，并在Safety Gymnasium和四足运动任务中验证其优于常用基线。
2024-10-28 cs.LG cs.RO
Robust Constrained Reinforcement Learning for Continuous Control with Model Misspecification
DeepMind（深度思考（DeepMind））
许多现实世界的物理控制系统需要满足部署时的约束。此外，现实世界中的系统经常受到诸如非平稳性、磨损、未校准的传感器等影响，这些影响有效地扰乱了系统动态，并且可能导致在一个域中成功训练的策略在部署到同一域的扰动版本时表现不佳。这可能会影响政策最大化未来回报的能力以及它满足约束的程度。我们称之为约束模型误指定。我们提出了一种算法，减轻这种形式的错误规范，并展示其性能在多个模拟Mujoco任务从现实世界的强化学习（RWRL）套件。
2021-03-03 cs.AI cs.LG stat.ML
Efficient Action Robust Reinforcement Learning with Probabilistic Policy Execution Uncertainty
University of California, Davis（加州大学戴维斯分校）；Northwestern University（西北大学）
本文研究带概率策略执行不确定性的动作鲁棒强化学习问题，证明最优策略存在性并给出Bellman最优方程，提出ARRLC算法实现极小极大最优遗憾与样本复杂度，实验验证其在动作扰动下性能更优、收敛更快。
2023-07-20 cs.AI cs.LG math.OC
ConstrainedSQL: Training LLMs for Text2SQL via Constrained Reinforcement Learning
Rensselaer Polytechnic Institute（拉特格斯理工大学）；IBM Research（IBM研究院）
针对现有Text2SQL大语言模型强化学习训练易出现奖励黑客的问题，提出融入可解释奖励与约束信号的ConstrainedSQL框架，经理论验证与数据集实验证明其性能优于现有最优RL训练的Text2SQL大模型。
2025-11-12 cs.LG
Natural Policy Gradient and Actor Critic Methods for Constrained Multi-Task Reinforcement Learning
JPMorgan AI Research（摩根大通人工智能研究院）；Virginia Tech（弗吉尼亚理工大学）；Georgia Tech（佐治亚理工学院）
本文针对约束多任务强化学习提出集中式与分散式求解框架，设计原始-对偶算法及基于采样的演员-评论家算法，并扩展到线性函数逼近，以实现满足单任务性能约束的全局最优策略。
2024-05-03 cs.LG math.OC
Offline Constrained Reinforcement Learning under Partial Data Coverage
KAIST（韩国科学技术院）；University of Michigan（密歇根大学）
本文提出PDOCRL算法，通过分解线性规划公式实现约束强化学习，避免了需要数据生成分布的策略提取，提供近最优且可行的策略，具有$\widetilde{\mathcal O}(ε^{-2})$样本保证。
2026-05-12 cs.LG stat.ML
Uncertainty Estimation Using Riemannian Model Dynamics for Offline Reinforcement Learning
Technion Institute of Technology（以色列理工学院）；Nvidia Research（英伟达研究院）
基于模型的离线强化学习方法通常依赖于模型误差的界限。估计这些界限通常通过不确定性估计方法来实现。在这项工作中，我们结合了参数和非参数方法的不确定性估计，通过一种新的潜在空间为基础的度量。特别是，我们建立在黎曼几何的生成模型的最新进展，构建一个回调度量的编码器-解码器为基础的前向模型。我们提出的度量标准既衡量了分布外样本的质量，也衡量了数据中示例的差异。我们利用我们的方法在一个悲观的基于模型的框架不确定性估计，显示了显着的改进，当代基于模型的离线方法的连续控制和自动驾驶基准。
2022-10-28 cs.AI cs.LG
Mind the Uncertainty: Risk-Aware and Actively Exploring Model-Based Reinforcement Learning
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
提出一种基于轨迹采样的模型强化学习方法，通过概率安全约束及分离认知与偶然不确定性来平衡乐观与悲观，有效管理风险，在不确定及安全关键的控制环境中表现优异。
2023-09-11 cs.AI cs.LG cs.RO
AI2STOW: End-to-End Deep Reinforcement Learning to Construct Master Stowage Plans under Demand Uncertainty
IT University of Copenhagen（哥本哈根信息技术大学）
本文提出AI2STOW，一种结合可行性投影和动作掩码的端到端深度强化学习模型，用于在需求不确定性下求解集装箱船主积载计划问题，并在目标性能和计算效率上优于强化学习和随机规划基线方法。
2025-04-06 cs.AI cs.LG math.OC
Robust Constrained Reinforcement Learning
University at Buffalo（纽约州立大学布法罗分校）；University of Connecticut（康涅狄格大学）
约束强化学习是在效用/成本约束下最大化期望回报。然而，训练环境可能与测试环境不同，例如，建模误差、对抗攻击、非平稳性，导致严重的性能下降，更重要的是违反约束。提出了一种模型不确定性下的鲁棒约束强化学习框架，其中MDP不是固定的，而是位于某个不确定集合中，目标是保证不确定集合中的所有MDP都满足效用/成本约束，并在不确定集合上最大化最坏情况下的奖励性能.我们设计了一个鲁棒的原始-对偶方法，并进一步从理论上保证了其收敛性、复杂性和鲁棒可行性。然后，我们研究了一个具体的例子$δ$ -污染不确定性集，设计了一个在线和无模型的算法，并从理论上描述了其样本复杂性。
2022-09-14 cs.LG
Risk-Constrained Reinforcement Learning with Percentile Risk Criteria
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）；INRIA Lille（里尔国家信息与自动化研究所）
在许多顺序决策问题中，人们感兴趣的是在考虑\emph{risk}的同时使期望累积成本最小化，即，提高对小概率和高后果事件的认识。因此，本文的目标是提出有效的强化学习算法的风险约束马尔可夫决策过程（MDP），其中风险表示通过机会约束或约束的条件风险价值（CVaR）的累积成本。我们将这些问题统称为百分位风险约束MDP。具体来说，我们首先推导出一个公式，用于计算拉格朗日函数的梯度百分位风险约束的MDP。然后，我们设计了策略梯度和行动者-批评者算法，用于（1）估计此类梯度，（2）在下降方向上更新策略，以及（3）在上升方向上更新拉格朗日乘数。对于这些算法，我们证明收敛到局部最优的政策。最后，我们证明了我们的算法在最优停止问题和在线营销应用的有效性。
2017-04-06 cs.AI cs.LG math.OC
EUBRL: Epistemic Uncertainty Directed Bayesian Reinforcement Learning
National University of Singapore（新加坡国立大学）
EUBRL通过信念不确定性引导，在稀疏奖励、长时间跨度和随机性任务中实现了高效、可扩展且一致的强化学习性能。
2026-02-28 cs.LG
Disentangling Epistemic and Aleatoric Uncertainty in Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Munich Data Science Institute（慕尼黑数据科学研究所）；Stanford University（斯坦福大学）；Stanford Intelligent Systems Laboratory（斯坦福智能系统实验室）
表征预测奖励的任意性和认知不确定性有助于构建可靠的强化学习（RL）系统。随机不确定性是由不可约的环境随机性导致的，它导致了固有的风险状态和行为。认知的不确定性是由于在学习过程中积累的有限信息而导致的。表征任意性和认知不确定性可以用于加速训练环境中的学习，提高对类似测试环境的泛化，并在异常测试环境中标记不熟悉的行为。在这项工作中，我们介绍了一个框架，在RL解开任意和认知的不确定性。(1)我们首先定义了四个desiderata捕获任意和认知不确定性估计在RL在训练和测试时的期望行为。(2)然后，我们提出了四个受监督学习启发的RL模型（即蒙特卡洛辍学，集成，深度内核学习模型和证据网络），以实例化任意和认知的不确定性。最后，（3）提出了一种实用的评估方法，用于评估无模型强化学习中基于分布外环境检测和扰动环境推广的不确定性估计。我们提出了理论和实验证据来验证，仔细装备无模型RL代理监督学习不确定性方法可以满足我们的需求。
2022-06-03 cs.LG
Solving The Lunar Lander Problem under Uncertainty using Reinforcement Learning
Stanford University（斯坦福大学）
强化学习（RL）是机器学习的一个领域，它涉及使智能体能够在不确定的环境中导航，以最大化累积长期奖励的概念。在本文中，我们在OpenAI Gym的LunarLander-v2环境中实现并分析了两种不同的RL技术，Sarsa和Deep QLearning。然后，我们引入额外的不确定性，原来的问题，以测试所提到的技术的鲁棒性。使用我们最好的模型，我们能够在原始问题上使用Sarsa代理实现170+的平均奖励，使用Deep Q-Learning代理实现200+的平均奖励。我们还表明，这些技术能够克服额外的不确定性，并实现积极的平均奖励100+与两个代理。然后，我们对这两种技术进行了比较分析，以得出哪种代理表现更好。
2020-11-24 cs.LG
Safe Reinforcement Learning for Autonomous Vehicles through Parallel Constrained Policy Optimization
Tsinghua University（清华大学）；University of Michigan（密歇根大学）
强化学习（RL）由于其解决复杂分类和控制问题的潜力，在自动驾驶领域引起了越来越多的关注。然而，现有的强化学习算法很少应用于真实车辆，主要有两个问题：行为无法解释，并且它们无法保证新场景下的安全性。本文提出了一种安全的RL算法，称为并行约束策略优化（PCPO），两个自动驾驶任务。PCPO将目前常见的行动者-批评者结构扩展为一个三组件学习框架，其中三个神经网络分别用于逼近策略函数、价值函数和一个新添加的风险函数。同时，信任域约束的加入，允许大的更新步骤，而不打破单调改善条件。为了保证安全约束问题的可行性，采用同步并行学习器探索不同的状态空间，加快了学习和策略更新。对自动驾驶汽车的两种场景的模拟证实了我们可以在确保安全的同时实现快速学习。
2020-03-03 cs.AI cs.LG stat.ML
Constrained episodic reinforcement learning in concave-convex and knapsack settings
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
我们提出了一种带约束的表格式情景强化学习算法。我们提供了一个模块化的分析与强有力的理论保证设置凹奖励和凸约束，并设置硬约束（背包）。在约束强化学习中，以前的大多数工作都局限于线性约束，剩下的工作集中在可行性问题或单集设置上。我们的实验表明，该算法显着优于这些方法在现有的约束情景环境。
2021-06-06 cs.AI cs.DS cs.LG
Uncertainty-Based Out-of-Distribution Classification in Deep Reinforcement Learning
LMU Munich（慕尼黑大学）；MaibornWolff
对分布外（OOD）数据的鲁棒性是构建可靠的机器学习系统的重要目标。特别是在自治系统中，OOD输入的错误预测可能导致安全关键情况。作为解决方案的第一步，我们考虑在基于值的深度强化学习（RL）设置中检测此类数据的问题。建模这个问题作为一类分类问题，我们提出了一个框架，基于不确定性的OOD分类：UBOOD。它是基于这样的效果，即代理的认知不确定性在训练期间遇到的情况（分布）减少，因此低于未遇到的情况（OOD）。由于对用于估计认知不确定性的方法不可知，因此可以组合不同的不确定性估计方法，例如近似贝叶斯推理方法或集成技术。我们进一步提出了第一个可行的解决方案，用于计算动态分类阈值，基于训练数据的不确定性分布。评估表明，该框架产生可靠的分类结果时，结合基于集合的估计，而与具体的辍学为基础的估计相结合，无法可靠地检测OOD的情况。总之，UBOOD提出了一种可行的方法，OOD分类在深度RL设置利用认知的不确定性代理的价值函数。
2019-12-31 cs.AI cs.LG stat.ML
Directed Exploration for Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
有效的探索对于一般的强化学习来说是实现良好的样本效率所必需的。从小的表格设置，如网格世界到大的，连续的和稀疏的奖励设置，如机器人对象操作任务，探索通过添加一个不确定性奖金的奖励函数已被证明是有效的，当不确定性能够准确地驱动探索有希望的状态。然而，奖励奖金仍然是低效的，因为它们是非平稳的，这意味着我们必须等待函数逼近器赶上并在不确定性发生变化时再次收敛。我们提出了定向探索的想法，即学习目标条件策略，其中目标只是其他状态，并使用该策略直接尝试到达具有较大不确定性的状态。目标条件策略独立于不确定性，因此是静态的。我们在实验中展示了定向探索是如何更有效地探索和更强大的不确定性是如何计算的，而不是增加奖金的奖励。
2019-06-18 cs.AI cs.LG stat.ML
Uncertainty-aware Low-Rank Q-Matrix Estimation for Deep Reinforcement Learning
Tianjin University（天津大学）
值估计是强化学习中的一个关键问题。尽管深度强化学习（Deep Reinforcement Learning，DRL）在不同领域取得了许多成功，但价值函数的底层结构和学习动力学，特别是复杂函数逼近，尚未完全理解。在本文中，我们报告的降秩$Q$ -矩阵广泛存在于学习过程中的一系列连续控制任务的不同流行的算法。我们假设低秩现象表明$Q$ -矩阵从随机高维空间到光滑低维空间的共同学习动力学。此外，我们揭示了价值矩阵秩和价值估计不确定性之间的正相关关系。受上述证据的启发，我们提出了一种新的不确定性感知的低秩Q矩阵估计（UA-LQE）算法作为一个通用框架，以促进价值函数的学习。通过量化状态-动作值估计的不确定性，有选择地删除状态-动作值矩阵中高度不确定值的元素，并对其进行低秩矩阵重构，恢复其值。这样的重构利用了值矩阵的底层结构来改善值逼近，从而导致价值函数的更有效的学习过程。在实验中，我们评估了UA-LQE在几个代表性OpenAI MuJoCo连续控制任务中的有效性。
2021-11-19 cs.AI cs.LG stat.ML
Dyna-Style Safety Augmented Reinforcement Learning: Staying Safe in the Face of Uncertainty
Institute for Data Science in Mechanical Engineering, RWTH Aachen University（机械工程机械数据科学研究所，亚琛RWTH大学）
本文提出Dyna-SAuR算法，通过学习不确定性感知的动力学模型，同时学习安全过滤器和控制策略，有效减少高维系统中的失败率，实验表明其在CartPole和MuJoCo Walker任务中性能显著优于现有方法。
2026-04-28 cs.LG
Sample Efficient Deep Reinforcement Learning via Uncertainty Estimation
Mila - Quebec Institute of Artificial Intelligence（米拉 - 魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
在无模型深度强化学习（RL）算法中，使用噪声值估计来监督策略评估和优化不利于样本效率。由于这种噪声是异方差的，因此可以在优化过程中使用基于不确定性的权重来减轻其影响。以前的方法依赖于采样集合，这并不能捕捉到不确定性的所有方面。我们提供了一个系统的分析中发生在RL的噪声监督的不确定性的来源，并引入逆方差RL，贝叶斯框架，它结合了概率合奏和批量逆方差加权。我们提出了一种方法，两个互补的不确定性估计方法占Q值和环境随机性，以更好地减轻噪声监督的负面影响。我们的研究结果表明，离散和连续控制任务的样本效率方面的显着改善。
2022-05-03 cs.AI cs.LG cs.RO
Resilient Constrained Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）
研究训练前约束规范未知的约束强化学习问题，提出弹性约束RL方法联合搜索策略与约束规范，通过引入松弛成本实现约束自适应，在弹性均衡下平衡奖励最大化与约束满足，并提供非渐近收敛保证的算法。
2023-12-29 cs.LG cs.SY eess.SY
X-MEN: Guaranteed XOR-Maximum Entropy Constrained Inverse Reinforcement Learning
Purdue University（普渡大学）
逆向强化学习（IRL）是一种从演示中进行示教学习的强大方法。在本文中，我们解决IRL问题的先验知识，最佳的政策将永远不会违反某些限制。传统的方法忽略了这些限制，需要许多的示范收敛。提出了XOR-最大熵约束逆强化学习（X-MEN）算法，保证了算法在线性速率下收敛到最优策略.学习迭代的次数。X-MEN将XOR采样（一种可证明的采样方法，将#P完全采样问题转换为对NP预言机的查询）嵌入到最大熵IRL的框架中。X-MEN还保证学习的策略永远不会生成违反约束的轨迹。在导航的实证结果表明，X-MEN收敛速度更快的最佳政策相比，基线方法，总是产生的轨迹，满足多状态组合约束。
2022-03-22 cs.LG
Uncertainty-Driven Replay Memory for Reinforcement Learning
Rochester Institute of Technology（罗切斯特理工学院）
本研究提出一种名为不确定性驱动的回放记忆（UDRM）的经验回放缓冲区，通过基于不确定性估计更新存储的记忆，使RL智能体在训练中获得更高奖励、提升泛化能力。
2026-09-01 cs.LG
CRLLK: Constrained Reinforcement Learning for Lane Keeping in Autonomous Driving
Nanyang Technological University（南洋理工大学）；Indian Institute of Technological（印度技术学院）；Indian Institute of Technology（印度理工学院）
提出将车道保持建模为约束强化学习，自动学习权重系数，免去场景特定调整，实验证明其优于传统RL并具有实际应用价值。
2025-03-28 cs.LG cs.RO
Robust Reinforcement Learning in Finance: Modeling Market Impact with Elliptic Uncertainty Sets
University of Maryland（马里兰大学）
本文提出了一种基于椭圆不确定性集的鲁棒强化学习方法，用于金融市场中的市场影响建模，通过显式和隐式闭式解提升策略评估效率，并在单资产和多资产交易任务中验证了其在夏普比率和鲁棒性方面的优越性。
2026-01-23 cs.AI cs.LG math.OC
Risk-Sensitive Reinforcement Learning: a Martingale Approach to Reward Uncertainty
JP Morgan AI Research（摩根大通人工智能研究院）
我们引入了一个新的框架来解释敏感性奖励的不确定性顺序决策问题。虽然到目前为止研究的马尔可夫决策过程的风险敏感配方集中在作为一个整体的累积奖励的分布，我们的目标是学习政策敏感的奖励的不确定性/随机性，这在某些情况下具有概念上更有意义的优势。为此，我们提出了一个新的分解的随机性包含在累积奖励的基础上的Doob分解的随机过程，并引入了一个新的概念工具-\textit{chaotic variation} -它可以被严格地解释为风险度量的鞅分量相关的累积奖励过程。我们在强化学习方面进行了创新，将这种新的风险敏感方法融入到无模型算法中，基于策略梯度和价值函数，并说明了其在网格世界和投资组合优化问题上的相关性。
2020-09-15 cs.LG q-fin.RM stat.ML
Uncertainty Weighted Actor-Critic for Offline Reinforcement Learning
Apple Inc.（苹果公司）；Carnegie Mellon University（卡内基梅隆大学）
离线强化学习承诺从以前收集的静态数据集中学习有效的策略，而无需探索。然而，现有的Q-学习和Actor-Critic基于离线策略的RL算法在从分布外（OOD）动作或状态引导时失败。我们假设，从现有的方法中缺失的一个关键成分是在离线设置的不确定性的适当处理。我们提出了不确定性加权演员-评论家（UWAC），一种检测OOD状态-动作对并相应地降低其在训练目标中的贡献的算法。在实现方面，我们采用了一种实用有效的基于丢弃的不确定性估计方法，该方法比现有RL算法引入的开销非常小。根据经验，我们观察到UWAC在训练过程中大大提高了模型的稳定性。此外，UWAC在各种竞争性任务上的表现优于现有的离线RL方法，并在从人类专家收集的稀疏演示数据集上实现了超过最先进基线的显着性能提升。
2021-05-17 cs.LG
Memory Allocation in Resource-Constrained Reinforcement Learning
School of Informatics University of Edinburgh（信息学院爱丁堡大学）
本研究探讨资源受限强化学习中内存分配对智能体性能的影响，重点分析MCTS和DQN算法下模型估计与规划间的内存权衡，并评估不同分配在情节式和持续学习场景中的效果。
2025-06-09 cs.AI cs.LG
Randomized Prior Functions for Deep Reinforcement Learning
DeepMind（深度思维）
处理不确定性对于有效的强化学习至关重要。关于从固定数据集进行深度学习的不确定性估计的文献越来越多，但许多最流行的方法都不适合顺序决策问题。其他方法，如自助抽样，没有机制的不确定性，不是来自观察到的数据。我们强调为什么这可能是一个关键的缺点，并提出了一个简单的补救措施，通过增加一个随机的不可训练的“先验”网络的每个合奏成员。我们证明了这种方法是有效的线性表示，提供简单的说明其功效与非线性表示，并表明这种方法的规模大规模的问题远远优于以前的尝试。
2018-11-15 cs.AI cs.LG stat.ML
A Simple Reward-free Approach to Constrained Reinforcement Learning
Princeton University（普林斯顿大学）
在约束强化学习（RL）中，学习代理不仅要优化整体奖励，还要满足额外的安全性、多样性或预算约束。因此，现有的约束RL解决方案需要几个新的算法成分，显着不同于标准RL。另一方面，无奖励强化学习是在无约束文献中独立开发的，它在不使用奖励信息的情况下学习过渡动态，因此自然能够在共同动态下解决具有多个目标的强化学习。本文桥接了无报酬强化学习和约束强化学习。特别地，我们提出了一个简单的元算法，使得给定任何无奖励的RL预言，可以直接解决可接近性和约束RL问题，样本复杂度的开销可以忽略不计。利用现有的无奖励的RL求解器，我们的框架提供了尖锐的样本复杂性结果约束RL在表格MDP设置，匹配最好的现有结果的一个因素的水平依赖性，我们的框架直接扩展到一个设置的表格两个球员马尔可夫游戏，并给出了一个新的结果约束RL与线性函数近似。
2021-07-12 cs.AI cs.LG
Deterministic Policies for Constrained Reinforcement Learning in Polynomial Time
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本研究提出一种结合价值-需求增广等三种技术的新算法，为满足时间-空间递归成本准则的约束强化学习提供完全多项式时间近似方案，解答了三类约束策略的多项式时间可近似性开放问题。
2024-10-30 cs.DS cs.LG
Hierarchical Reinforcement Learning with Uncertainty-Guided Diffusional Subgoals
Aalto University（阿尔托大学）
针对分层强化学习中低层策略变化导致高层难以生成有效子目标的问题，提出利用高斯过程先验正则化的条件扩散模型生成复杂子目标并进行不确定性量化，显著提升了样本效率和性能。
2025-05-27 cs.LG
Decentralized Multi-Agent Reinforcement Learning for Task Offloading Under Uncertainty
University of Manitoba（曼尼托巴大学）
多智能体强化学习（MARL）是强化学习的一个具有挑战性的子领域，由于环境的非平稳性和组合动作空间的高维性。深度MARL算法已被应用于解决不同的任务卸载问题。然而，在现实世界的应用中，代理所需的信息（即奖励和状态）会受到噪声和变化的影响。深度MARL的稳定性和对实际挑战的鲁棒性仍然是一个开放的研究问题。在这项工作中，我们应用最先进的MARL算法来解决任务卸载与奖励的不确定性。我们发现，在奖励信号的扰动可以诱导性能下降相比，学习完美的奖励。我们希望本文能够激发更多的研究，研究和解决在无线通信系统中部署深度MARL解决方案的实际挑战。
2021-07-26 cs.LG cs.MA
Reinforcement Learning for Safety-Critical Control under Model Uncertainty, using Control Lyapunov Functions and Control Barrier Functions
UC Berkeley（加州大学伯克利分校）
在本文中，安全关键控制中的模型不确定性的问题是解决与数据驱动的方法。为此，我们利用输入-输出线性化控制器的结构的基础上的标称模型以及控制障碍函数和控制李雅普诺夫函数基于二次规划（CBF-CLF-QP）。具体来说，我们提出了一种新的强化学习框架，学习模型的不确定性存在于CBF和CLF约束，以及其他控制仿射动态约束的二次规划。将训练后的策略与基于名义模型的CBF-CLF-QP相结合，得到基于强化学习的CBF-CLF-QP（RL-CBF-CLF-QP），解决了安全约束中的模型不确定性问题。通过在一个欠驱动非线性双足机器人上的实验，验证了该方法的有效性，在模型不确定的情况下，该机器人在具有一步预瞄的随机间隔踏脚石上行走，获得了稳定和安全的行走。
2020-06-04 cs.LG cs.RO cs.SY
