Constrained Group Relative Policy Optimization
Mila - Quebec AI Institute（魁北克AI研究所）；CIFAR AI Chair（CIFAR人工智能主席）
本文提出带约束的GRPO，通过拉格朗日松弛解决受约束策略优化问题，实验验证其在网格世界和机器人任务中的有效性。
2026-09-03 cs.CL cs.LG cs.RO
Regret Analysis of Unichain Average Reward Constrained MDPs with General Parameterization
University of Maryland College Park（马里兰大学学院市分校）；Purdue University West Lafayette（普渡大学西拉法叶分校）
本文提出了一种基于对偶的自然策略-批评算法，解决了单链假设下具有通用参数化的无限时间平均奖励约束MDP的遗憾问题，实现了有限时间遗憾和约束违反的最优界。
2026-02-08 cs.LG
Learning General Parameterized Policies for Infinite Horizon Average Reward Constrained MDPs via Primal-Dual Policy Gradient Algorithm
Purdue University（普渡大学）；Indian Institute of Technology Kanpur（坎普尔印度理工学院）
针对无限时域平均回报约束马尔可夫决策过程，首次开展通用参数化策略下的遗憾与约束违反分析，提出原对偶策略梯度算法，实现低遗憾全局最优策略及对应约束违反界保障。
2024-10-30 cs.AI cs.LG
CIM: Constrained Intrinsic Motivation for Sparse-Reward Continuous Control
针对稀疏奖励连续控制任务中任务无关内在动机设计失效的问题，提出CIM，利用任务先验构建受约束的内在目标，并通过拉格朗日同步最大化框架自适应平衡内外目标，显著提升了性能与样本效率。
2023-05-18 cs.LG
Latent Safety-Constrained Policy Approach for Safe Offline Reinforcement Learning
Iowa State University（爱荷华州立大学）
本文提出了一种潜在安全约束策略方法，通过条件变分自动编码器和受约束奖励-回报最大化框架，实现了安全离线强化学习中的安全性和奖励优化的平衡。
2025-06-05 cs.LG stat.ML
Solving Richly Constrained Reinforcement Learning through State Augmentation and Reward Penalties
本文提出一种通过状态增广和奖励惩罚将约束强化学习转化为等价无约束问题的新范式，并在多个基准问题上超越现有领先方法。
2023-05-31 cs.LG
Reward Constrained Interactive Recommendation with Natural Language Feedback
Samsung Research America（三星美国研究院）；University at Buffalo（布法罗大学）；Duke University（杜克大学）
基于文本的交互式推荐提供了更丰富的用户反馈，并已证明优于传统的交互式推荐系统。然而，建议可以很容易地违反用户的偏好，从他们过去的自然语言反馈，因为推荐需要探索新的项目，以进一步改进。为了缓解这个问题，我们提出了一种新的约束增强强化学习（RL）框架，有效地将用户的偏好随着时间的推移。具体来说，我们利用一个搜索引擎来检测违反用户历史偏好的推荐，这被纳入标准的RL目标，最大化预期的累积未来奖励。我们提出的框架是通用的，并进一步扩展到约束文本生成的任务。实验结果表明，该方法相对于标准RL方法产生一致的改善。
2020-05-04 cs.CL cs.IR cs.LG
Learning Constrained Markov Decision Processes With Non-stationary Rewards and Constraints
Politecnico di Milano（米兰理工大学）
针对具有非平稳奖励和约束的CMDPs，提出在bandit反馈下实现$\tilde{\mathcal{O}}(\sqrt{T}+C)$遗憾的算法，并扩展至$C$未知情形，缓解了对抗性CMDPs中的不可能性结果。
2024-09-26 cs.LG
Constrained Flow Optimization via Sequential Fine Tuning for Molecular Design
Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；Institute of Chemical and Bioengineering, Department of Chemistry and Applied Biosciences, ETH Zurich（苏黎世联邦理工学院化学与生物工程研究所）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
提出约束流优化（CFO）算法，通过将约束生成优化问题转化为序列微调，在分子设计中平衡奖励最大化与约束满足。
2026-05-28 cs.LG
Global Convergence for Average Reward Constrained MDPs with Primal-Dual Actor Critic Algorithm
Purdue University, USA（普渡大学，美国）；Indian Institute of Science, Bengaluru, India（印度班加罗尔印度理工学院）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文提出了一种对偶-actor-critic算法，实现了平均奖励约束MDP的全局收敛性和约束违反率的理论最优解。
2025-12-09 cs.AI cs.LG
Rethinking Large Language Model Distillation: A Constrained Markov Decision Process Perspective
Huawei Noah’s Ark Lab（华为诺亚实验室）；Huawei R&D Munich（华为慕尼黑研发部）；UCL Centre for Artificial Intelligence（伦敦大学学院人工智能中心）
本文从约束马尔可夫决策过程视角研究LLM蒸馏，提出无需部署期访问教师模型或状态增强的奖励优化框架，在数学推理任务上提升约束满足率与推理能力。
2025-09-26 cs.AI cs.LG
Efficient Exploration in Average-Reward Constrained Reinforcement Learning: Achieving Near-Optimal Regret With Posterior Sampling
Eindhoven University of Technology（埃因霍温理工大学）；Jheronimus Academy of Data Science（赫罗尼姆斯数据科学学院）；University of Jyväskylä（于韦斯屈莱大学）
针对无限时域无折扣设置下的约束马尔可夫决策过程（CMDP），提出一种基于后验采样的算法，实现了近似最优的贝叶斯遗憾界并在实验中优于现有方法。
2024-05-29 cs.LG
Thompson Sampling for Linearly Constrained Bandits
KTH Royal Institute of Technology（KTH皇家理工学院）；University of California Berkeley（加州大学伯克利分校）
我们解决多武装土匪（MAB）的目标是最大化的累积奖励下的概率线性约束。对于这个问题的几个现实世界的例子，最近提出了著名的汤普森采样（TS）启发式的约束扩展。然而，受限TS的有限时间分析是具有挑战性的;因此，在累积奖励损失上仅O（\sqrt{T}）界限（即，遗憾的是）。在本文中，我们描述了LinConTS，一个基于TS的强盗算法，对每一轮获得奖励的概率进行线性约束。我们表明，对于LinConTS，遗憾以及累积约束违反的上限为O（\log T）的次优武器。我们开发了一种证明技术，依赖于仔细分析的对偶问题，并结合它与最近的理论工作无约束TS。通过在两个真实数据集上的数值实验，我们证明了LinConTS在同时最小化后悔和违规方面优于渐近最优置信上限（UCB）方案.
2020-05-12 cs.LG stat.ML
Constrained Upper Confidence Reinforcement Learning
Department of Electrical & Computer Engineering University of Washington（华盛顿大学电气与计算机工程系）
约束马尔可夫决策过程是一类随机决策问题，其中决策者必须选择满足辅助成本约束的策略。本文扩展了上置信度强化学习的设置，其中的奖励函数和约束，描述的成本函数，是未知的先验，但过渡内核是已知的。这样的设置受到许多应用的良好激励，包括探索未知的、潜在的不安全的环境。我们提出了一个算法C-UCRL，并表明，它实现了次线性遗憾（$ O(T^{\frac{3}{4}}\sqrt{\log(T/δ)})$）方面的奖励，同时满足的限制，即使在学习的概率$1-δ$。提供了说明性的例子。
2020-01-26 cs.LG stat.ML
Predictive Coding for Boosting Deep Reinforcement Learning with Sparse Rewards
UC Berkeley（加州大学伯克利分校）
虽然深度强化学习的最新进展使机器人能够学习复杂的行为，但具有长期视野和稀疏奖励的任务仍然是一个持续的挑战。在这项工作中，我们提出了一个有效的奖励塑造方法，通过预测编码来解决稀疏奖励问题。通过离线学习预测表示并将这些表示用于奖励塑造，我们可以获得了解环境结构和动态的奖励信号。特别是，我们的方法通过提供奖励信号来实现更好的学习，这些奖励信号1）理解环境动态2）强调对学习最有用的特征3）通过奖励累积来抵抗学习表示中的噪声。我们证明了这种方法在从机器人操作到导航的不同领域中的有用性，并且我们表明，通过预测编码产生的奖励信号对于学习和手工制作的奖励一样有效。
2020-08-03 cs.AI cs.LG stat.ML
Variance-Constrained Actor-Critic Algorithms for Discounted and Average Reward MDPs
INRIA Lille - Nord Europe（法国国立信息学及其应用研究院里尔-北欧中心）；Adobe Research（奥多比研究院）；INRIA Lille（法国国立信息学及其应用研究院里尔中心）
在许多顺序决策问题中，我们可能希望通过最大化标准之外的最小化奖励的可变性来管理风险。方差相关风险度量是金融和运筹学中最常见的风险敏感标准之一。然而，优化许多这样的标准是已知的是一个困难的问题。在本文中，我们考虑贴现和平均报酬马尔可夫决策过程。对于每个公式，我们首先定义一个政策的可变性度量，这反过来又给了我们一组风险敏感的标准来优化。对于这些标准中的每一个，我们推导出计算其梯度的公式。然后，我们设计的演员，评论家的算法，在三个时间尺度上操作-TD的最快的时间尺度上的评论家，一个策略梯度（演员）的中间时间尺度上，和一个双上升拉格朗日乘数上最慢的时间尺度。在贴现的设置，我们指出的困难，估计的方差的回报率的梯度，并结合同时扰动的方法来减轻这一点。另一方面，平均值设置允许使用兼容的特征来估计方差的梯度的演员更新。我们建立我们的算法收敛到局部风险敏感的最优策略。最后，我们证明了我们的算法在交通信号控制应用程序的实用性。
2015-03-18 cs.LG math.OC stat.ML
Generalizing Across Multi-Objective Reward Functions in Deep Reinforcement Learning
Cooper Union（库珀联盟学院）
许多认知学习研究者将奖励函数视为环境的一部分，这意味着智能体只有在试运行中遇到某个状态时才能知道该状态的奖励。然而，我们认为，这是一个不必要的限制，相反，奖励功能应提供给学习算法。这样做的好处是，算法可以使用奖励函数来检查智能体尚未遇到的状态的奖励。此外，该算法可以同时学习多个奖励函数的策略。对于每个状态，算法将使用每个奖励函数计算奖励，并将奖励添加到其经验重放数据集。Andrychowicz等人（2017）开发的后见之明经验重放算法就是这样做的，并学会在稀疏的基于目标的奖励分布中进行泛化。我们将该算法扩展到线性加权的多目标奖励，并学习一个单一的政策，可以推广到多目标奖励的所有线性组合。而其他多目标算法教Q函数概括整个奖励权重，我们的算法使政策概括，因此可以与连续的行动。
2018-09-17 cs.LG stat.ML
Shortest-Path Constrained Reinforcement Learning for Sparse Reward Tasks
University of Michigan（密歇根大学）；LG AI Research（LG人工智能研究院）；Yonsei University（延世大学）；Microsoft Research（微软研究院）
我们提出了k-最短路径（k-SP）约束：一种新的约束代理的轨迹，提高了样本效率稀疏奖励MDP。我们证明了任何最优策略必然满足k-SP约束。值得注意的是，k-SP约束防止策略沿着非k-SP轨迹探索状态-动作对（例如，来回的）。然而，在实践中，排除状态动作对可能会阻碍RL算法的收敛。为了克服这一点，我们提出了一种新的成本函数，惩罚违反SP约束的政策，而不是完全排除它。我们的数值实验在一个表格RL设置表明，SP约束可以显着减少策略的轨迹空间。因此，我们的约束通过抑制冗余的探索和利用，使更多的样本有效的学习。我们在MiniGrid、DeepMind Lab、Atari和Fetch上的实验表明，该方法显着提高了近端策略优化（PPO），即使在连续控制任务中也优于现有的新颖性探索方法，包括基于计数的探索，这表明它通过防止代理采取冗余动作来提高样本效率。
2021-07-13 cs.AI cs.LG cs.RO
Adversarial Constrained Policy Optimization: Improving Constrained Reinforcement Learning by Adapting Budgets
Shanghai Jiao Tong University（上海交通大学）；ParisTech Elite Institute of Technology, Shanghai Jiao Tong University（上海交通大学巴黎卓越工程师学院）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）
针对约束强化学习难以平衡性能与安全、易陷入过度保守或违约局部最优的问题，本文提出ACPO，通过对抗式交替优化实现奖励提升与成本预算自适应，并在Safety Gymnasium和四足运动任务中验证其优于常用基线。
2024-10-28 cs.LG cs.RO
Algorithms with Logarithmic or Sublinear Regret for Constrained Contextual Bandits
University of California at Davis（加州大学戴维斯分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了具有预算和时间约束的上下文强盗问题，时间和预算约束使得上下文之间的耦合性大大增加，从而使得获取已知强盗统计信息的预言解变得困难.为了获得洞察力，我们首先研究具有已知上下文分布的单位成本系统。当预期的回报是已知的，我们开发了一个近似的预言，称为自适应线性规划（ALP），它实现了近最优，只需要预期的回报排序。有了这些非常理想的功能，然后我们结合ALP与置信上限（UCB）的方法在一般情况下，预期的回报是未知的{ \it先验}。我们表明，建议的UCB-ALP算法实现对数遗憾，除了某些边界的情况下。此外，我们设计的算法，并获得类似的遗憾分析结果更一般的系统与未知的上下文分布和异构成本。据我们所知，这是第一个工作，表明如何实现对数遗憾的约束上下文土匪。此外，这项工作也揭示了计算效率的算法的研究一般约束上下文土匪。
2015-10-19 cs.LG stat.ML
Training LLMs for Multi-Step Tool Orchestration with Constrained Data Synthesis and Graduated Rewards
Amazon Services Inc.（亚马逊服务公司）；Department of Computer Science and Engineering, HKUST（香港科技大学计算机科学与工程系）；School of Computational Science and Engineering, Georgia Institute of Technology（佐治亚理工学院计算科学与工程学院）
本文提出强化学习框架解决LLM多步骤工具协调难题，通过构建确定性环境和渐进奖励机制提升执行准确率，并在不同API生态中实现技能迁移。
2026-04-06 cs.CL cs.LG
Towards Socially Compliant Navigation in Deep Reinforcement Learning via Proxemics-Based Reward Modeling
该研究针对DRL社会导航中社会合规目标不足的问题，提出基于近体学的奖励建模方法，经模拟验证可提升社会指标且保持导航性能。
2026-08-14 cs.LG cs.RO
Constrained Reinforcement Learning with Average Reward Objective: Model-Based and Model-Free Algorithms
Purdue University（普渡大学）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本专著探讨了平均奖励MDP下的约束强化学习，分析了基于模型（乐观主义与后验采样）和无模型（原始对偶策略梯度）算法，提供遗憾保证与约束违反分析，并将结果扩展至弱通信MDP。
2024-07-17 cs.AI cs.LG
Safe Reinforcement Learning in Constrained Markov Decision Processes
IBM Research AI（IBM研究院）；Tsinghua University（清华大学）
安全强化学习是一种很有前途的方法，用于优化在安全关键应用中运行的代理的策略。在本文中，我们提出了一种算法，SNO-MDP，探索和优化马尔可夫决策过程未知的安全约束。具体来说，我们采取逐步的方法来优化安全性和累积奖励。在我们的方法中，智能体首先通过扩大安全区域来学习安全约束，然后在已认证的安全区域内优化累积奖励。我们提供了理论保证的安全约束的满意度和近最优的累积奖励下适当的规律性假设。在我们的实验中，我们通过两个实验证明了SNO-MDP的有效性：一个是在一个新的、开放的环境GP-SAFETY-GYM中使用合成数据，另一个是使用真实的观测数据模拟火星表面探测。
2020-08-15 cs.AI cs.LG cs.RO
Communication-Constrained Bandits under Additive Gaussian Noise
National University of Singapore（新加坡国立大学）
研究加性高斯噪声和二阶矩功率约束下的分布式随机多臂老虎机，给出极小极大遗憾下界，并提出多阶段 UE-UCB++ 算法实现近似匹配。
2023-06-06 cs.IT cs.LG math.IT
Constrained Flow Policy Updates: A Generalized Schrödinger Bridge View
针对在线安全强化学习中多模态动作分布与原始-对偶方法不稳定的问题，提出基于广义薛定谔桥的流策略更新方法RAFALE，直接微分增广目标并采用无密度动能正则化，在七个Safety-Gymnasium任务上实现奖励与安全约束的平衡。
2026-09-29 cs.LG cs.RO
Confronting Reward Model Overoptimization with Constrained RLHF
Gatsby Unit, UCL（伦敦大学学院盖茨比单元）；Strategy Robot, Inc.（战略机器人公司）；Strategic Machine, Inc.（战略机器公司）；Optimized Markets, Inc.（优化市场公司）；Google DeepMind（谷歌DeepMind）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）
本文首次研究复合奖励模型中的过度优化问题，提出用约束强化学习动态加权各RM，防止超过有效性阈值，提升评估性能。
2023-10-10 cs.AI cs.LG
On-Policy Deep Reinforcement Learning for the Average-Reward Criterion
New York University（纽约大学）；New York University Shanghai（上海纽约大学）
我们开发的理论和算法的平均奖励的政策强化学习（RL）。我们首先考虑限制两种策略的长期平均回报的差异。我们表明，以前的工作的基础上贴现回报（舒尔曼等人，2015; Achiam等人，2017）导致平均奖励设置中的无意义约束。通过直接处理平均回报准则，我们得到了一个新的界限，它取决于两个政策之间的平均分歧和凯梅尼常数。基于这个界限，我们开发了一个迭代过程，产生一个序列的单调改进的平均奖励标准的政策。然后，可以将此迭代过程与经典的DRL（深度强化学习）方法相结合，从而产生针对长期平均奖励标准的实用DRL算法。特别是，我们证明了平均奖励TRPO（ATRPO），它适应的政策TRPO算法的平均奖励标准，显着优于TRPO在最具挑战性的MuJuCo环境。
2021-06-14 cs.AI cs.LG stat.ML
Reward Prediction Error as an Exploration Objective in Deep RL
Princeton University（普林斯顿大学）；Samsung AI Center NYC（三星人工智能中心（纽约））；Stanford University（斯坦福大学）
强化学习的一个主要挑战是探索，当局部抖动方法（如ε贪婪采样）不足以解决给定的任务时。许多最近的方法已经提出了内在地激励代理寻求新的状态，驱动代理发现改进的奖励。然而，虽然状态新颖性探索方法适用于新观察与改进的奖励相关的任务，但在两者不相关的环境中，它们可能不会比ε贪婪方法更有效地探索。在本文中，我们区分探索任务，寻求新的状态有助于找到新的奖励，和那些没有，如目标条件任务和逃避当地的奖励最大值。我们提出了一个新的探索目标，最大化的奖励预测误差（RPE）的价值函数训练预测外部奖励。然后，我们提出了一种深度强化学习方法QXplore，它利用Q函数的时间差误差来解决高维MDP中的硬探索任务。我们在几个OpenAI Gym MuJoCo任务和Atari游戏上展示了QXplore的探索行为，并观察到QXplore在所有情况下都与基线状态新颖性方法相当或更好，在状态新颖性与改进的奖励不相关的任务上优于基线。
2021-01-14 cs.LG stat.ML
Learning Soft Constraints From Constrained Expert Demonstrations
University of Waterloo（滑铁卢大学）；Vector Institute（矢量研究院）；Huawei Technologies Canada（华为加拿大技术公司）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对逆强化学习中专家行为受约束但约束未知的问题，提出一种迭代优化的方法，可从专家演示中恢复累积软约束，并在多类场景中验证了有效性。
2023-04-27 cs.LG
Global Convergence of Average Reward Constrained MDPs with Neural Critic and General Policy Parameterization
Department of Computer Science University of Maryland College Park（计算机科学系大学马里兰大学学院公园）；Indian Institute of Technology, Kanpur（印度理工学院坎浦尔）；Department of Electrical Engineering Indian Institute of Technology, Kanpur（电气工程系印度理工学院坎浦尔）；Department of Industrial Engineering Purdue University West Lafayette（工业工程系普渡大学威斯康星拉法叶）
本文提出了一种基于神经批评者和通用策略参数化的算法，实现了约束马尔可夫决策过程的全局收敛性保障，突破了传统线性批评者方法的限制。
2026-03-08 cs.LG
Constrained Exploration and Recovery from Experience Shaping
IBM Research - Tokyo（IBM东京研究院）
我们考虑安全要求下的强化学习问题，在该问题中，代理被训练来完成给定的任务，通常形式化为随着时间的推移的奖励信号的最大化，同时避免与较低的奖励或惩罚相关联的不期望的动作或状态。在存在多个目标的情况下，不同奖励成分的构建和平衡可能是困难的，但对于制定令人满意的政策至关重要。例如，在避开障碍物的同时到达目标时，低碰撞处罚可能导致鲁莽的移动，而高处罚可能会阻止探索。为了规避这一限制，我们研究了过去的行动在安全方面的影响，以估计哪些是可以接受的，或者在未来应该避免。然后，我们在强化学习过程中主动重塑智能体的动作空间，从而将奖励驱动的探索限制在安全范围内。我们提出了一种算法，使学习这样的安全约束并行强化学习，并证明其有效性的任务完成和训练时间。
2018-09-21 cs.AI cs.LG
Effects of a Social Force Model reward in Robot Navigation based on Deep Reinforcement Learning
Institut de Robòtica i Informàtica Industrial, CSIC-UPC（西班牙国家研究委员会-加泰罗尼亚理工大学工业机器人与信息技术研究所）
在本文中，提出了一个具体的深度强化学习（RL）框架的机器人导航的社会力模型（SFM）的包含。这些类型的技术已被证明是有用的，以处理不同类型的环境，以实现一个目标。在深度强化学习中，描述世界的状态和适应环境的奖励是获得期望行为和实现高性能的关键因素。出于这个原因，这项工作增加了一个基于SFM的密集奖励函数，并使用状态中的力作为额外的描述。此外，增加了障碍，以改善只考虑移动代理的作品的行为。这种SFM包含可以提供对导航障碍的更好描述。已经进行了几次模拟来检查这些修改对平均性能的影响。
2019-12-08 cs.LG cs.RO
STRIDE: Automating Reward Design, Deep Reinforcement Learning Training and Feedback Optimization in Humanoid Robotics Locomotion
South China University of Technology（华南理工大学）；Tsinghua University（清华大学）；Zhejiang University（浙江大学）
针对人形机器人运动中DRL奖励设计需大量手动工作的瓶颈，提出基于智能体工程的STRIDE框架，结合LLMs自动化奖励设计、训练与反馈优化，在多样环境中优于EUREKA，效率和性能平均提升约250%。
2025-02-12 cs.LG cs.RO
GrammarRL: Effective Grammar-Constrained Decoding via Reinforcement Learning
University of Catania（卡塔尼亚大学）；ISTC - National Research Council, Italy（意大利国家研究委员会科学技术研究所）；University of Bologna（博洛尼亚大学）
GrammarRL提出无标签强化学习方法，通过直接与反向奖励优化语言模型适应语法约束，在多项任务上平均提升9.8分，最高达22.8 BLEU，且保持贪心解码成本。
2026-10-01 cs.AI cs.CL cs.LG
Identifiability and Generalizability in Constrained Inverse Reinforcement Learning
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文构建约束马尔可夫决策过程下的 IRL 理论框架，分析不同正则化与安全约束对奖励可辨识性及跨环境泛化性的影响，并给出有限样本保证与 gridworld 验证。
2023-06-01 cs.AI cs.LG cs.SY
Specification Gaming and a Constrained Reinforcement Learning Mitigation in a Cleaning Gridworld
Kwame Nkrumah University of Science and Technology（夸梅·恩克鲁玛科技大学）
该研究针对强化学习的规范博弈问题，构建清洁机器人网格世界场景，提出受限强化学习方法，可消除博弈行为并恢复真实目标性能，还推导验证了相关精确恒等式。
2026-10-16 cs.AI cs.LG
Long-Term Visitation Value for Deep Exploration in Sparse Reward Reinforcement Learning
Meta AI Research（Meta人工智能研究院）；Technische Universität Darmstadt（达姆施塔特工业大学）；Aalto University（阿尔托大学）
具有稀疏奖励的强化学习仍然是一个公开的挑战。经典的方法依赖于通过外部奖励获得反馈来训练智能体，在这种情况很少发生的情况下，智能体学习缓慢或根本无法学习。类似地，如果智能体还获得了创建目标函数的次优模式的奖励，则它可能会过早地停止探索。最近的方法增加了辅助的内在奖励，以鼓励探索。然而，辅助奖励导致Q函数的非平稳目标。在本文中，我们提出了一种新的方法，（1）通过使用长期访问计数来规划未来的探索行动，（2）通过学习一个单独的函数来评估行动的探索价值，从而实现探索和开发。与使用奖励和动态模型的现有方法相反，我们的方法是脱离政策和无模型的。我们进一步提出了新的表格环境，用于强化学习中的基准测试探索。经典和新颖的基准测试的实证结果表明，所提出的方法优于现有的方法在稀疏奖励的环境中，特别是在存在的奖励，创建次优模式的目标函数。结果还表明，我们的方法可以随着环境的大小优雅地扩展。源代码可在https://github.com/sparisi/visit-value-explore上获得
2022-03-03 cs.LG stat.ML
Deep PQR: Solving Inverse Reinforcement Learning using Anchor Actions
Princeton University（普林斯顿大学）；Amazon（亚马逊）
我们提出了一个基于深度能量策略的逆强化学习的奖励函数估计框架。我们将我们的方法命名为PQR，因为它通过深度学习依次估计策略、$Q$函数和奖励函数。PQR并不认为奖励只取决于状态，相反，它允许依赖于行动的选择。此外，PQR允许随机状态转换。为了实现这一点，我们假设存在一个锚定动作，其奖励是已知的，通常是什么也不做的动作，不产生奖励。我们提出的PQR方法的估计和算法。当环境转移是已知的，我们证明了PQR奖励估计唯一恢复真实的奖励。对于未知的转移，我们限制了PQR的估计误差。最后，PQR的性能证明了合成和真实世界的数据集。
2020-08-15 cs.LG math.OC stat.ML
A Deep Learning Approach for Joint Video Frame and Reward Prediction in Atari Games
Microsoft Research（微软研究院）
强化学习关注的是在最初未知的环境中识别奖励最大化的行为策略。最先进的强化学习方法，如深度Q网络，是无模型的，可以在Atari游戏等广泛的环境中有效地学习，但需要大量的数据。基于模型的技术数据效率更高，但需要获得有关环境的明确知识。在本文中，我们采取了一个步骤，使用基于模型的技术，在环境中的高维视觉状态空间，证明它是可能的学习系统动力学和奖励结构联合。我们的贡献是扩展最近开发的用于Atari游戏中视频帧预测的深度神经网络，以实现奖励预测。为此，我们提出了一个联合优化问题，以最小化视频帧和奖励重建损失，并相应地调整网络参数。对五款Atari游戏的实证评估表明，累积奖励预测准确度高达200帧。我们认为这些结果为复杂的、最初未知的环境中的基于模型的强化学习开辟了重要的方向。
2017-08-17 cs.AI cs.LG stat.ML
Risk-Averse Constrained Reinforcement Learning with Optimized Certainty Equivalents
Yale University（耶鲁大学）；King’s College London（伦敦国王学院）；Cisco Systems Inc.（思科系统公司）
本文提出一种基于优化确定等价的风险厌恶约束强化学习框架，通过增强鲁棒性和算法收敛性，提升高风险环境下的决策可靠性。
2025-12-02 cs.LG
Robust Peak-cost Constrained Reinforcement Learning
Washington State University（华盛顿州立大学）；The Ohio State University（俄亥俄州立大学）
研究鲁棒峰值成本约束强化学习，针对安全关键应用。开发代理优化框架和鲁棒值估计方法，解决模拟器到现实世界的不匹配，在动态扰动下加强安全性并保持奖励性能。
2026-09-29 cs.LG
A Simple Reduction Scheme for Constrained Contextual Bandits with Adversarial Contexts via Regression
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）；Tata Institute of Fundamental Research（塔塔基础研究院）
本文提出了一种通过回归将约束上下文老虎机问题简化为无约束问题的方法，适用于对抗性上下文设置，并提供了改进的保证和透明的分析。
2026-02-04 cs.LG
Balancing Constraints and Rewards with Meta-Gradient D4PG
DeepMind
部署强化学习（RL）代理来解决现实世界的应用程序通常需要满足复杂的系统约束。通常，由于系统的复杂性或无法离线验证阈值（例如，没有模拟器或合理的离线评估程序），约束阈值设置不正确。这导致在不违反约束的情况下无法解决任务的解决方案。然而，在许多现实世界的情况下，约束违反是不可取的，但他们不是灾难性的，激励需要软约束RL方法。我们提出了一种软约束RL方法，利用元梯度，以找到一个良好的权衡之间的预期回报和最小化约束违反。我们证明了这种方法的有效性，表明它始终优于四个不同的MuJoCo域的基线。
2020-11-27 cs.AI cs.LG stat.ML
Deep Reinforcement Learning with a Stage Incentive Mechanism of Dense Reward for Robotic Trajectory Planning
Huazhong University of Science and Technology（华中科技大学）；South East University（东南大学）；Central Queensland University（中央昆士兰大学）
(This工作已提交给IEEE可能出版。版权可能会在不通知的情况下转让，之后可能无法再访问此版本。为了提高基于深度强化学习（DRL）的机器人操作器轨迹规划方法在随机工作环境中的效率，提出了三种稠密奖励函数。这些奖励不同于传统的稀疏奖励。首先，通过对距离和方向约束进行建模，提出了一种姿态奖励函数，以加快学习过程，获得更合理的轨迹，减少探索的盲目性。其次，提出了一种步幅奖励函数，通过对关节约束的距离和运动距离进行建模来提高学习过程的稳定性。最后，为了进一步提高学习效率，我们从人类行为的认知过程中得到启发，提出了一种阶段激励机制，包括硬阶段激励奖励函数和软阶段激励奖励函数。大量的实验表明，软阶段激励奖励函数能够提高收敛速度高达46.9%的国家的最先进的DRL方法。收敛平均奖励的增加百分比为4.4 - 15.5%，标准差的减少百分比为21.9 - 63.2%。在评估实验中，机器人操作器的轨迹规划成功率达到99.6%。
2021-05-23 cs.AI cs.LG cs.RO
Reward Estimation for Variance Reduction in Deep Reinforcement Learning
MILA（蒙特利尔学习算法研究所）；McGill University（麦吉尔大学）；Facebook AI Research（脸书人工智能研究院）；Université de Montréal（蒙特利尔大学）
强化学习（RL）代理需要为学习行为指定奖励信号。然而，引入腐败或随机奖励可能会在学习中产生高方差。这种破坏可能是目标错误指定、奖励信号的随机性或奖励与代理未知的外部因素的相关性的直接结果。奖励信号的损坏或随机性在机器人技术中可能尤其成问题，因为对于复杂的任务来说，目标规范可能特别困难。虽然已经研究了许多方差减少技术来提高RL过程的鲁棒性，但处理这种随机或损坏的奖励结构仍然很困难。作为在无模型RL方法中处理这种情况的替代方案，我们建议使用奖励和价值函数的估计器。我们证明，这提高了性能下损坏的随机奖励在表格和非线性函数近似设置为各种噪声类型和环境。使用奖励估计是一种鲁棒且易于实现的改进，用于处理无模型RL中的损坏奖励信号。
2018-11-07 cs.AI cs.LG stat.ML
Continuous-Time Multi-Armed Bandits with Controlled Restarts
The Ohio State University（俄亥俄州立大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
时间约束决策过程在物理学、生物学和计算机科学的许多基础应用中是普遍存在的。最近，重新启动策略获得了显着的关注，以提高效率的时间约束的过程，加快完成时间。在这项工作中，我们研究了时间约束决策过程的控制重启的强盗问题，并开发了可证明的好的学习算法。特别是，我们考虑一个强盗设置，其中每个决策都需要随机的完成时间，并在最后产生随机且相关的奖励，决策时的值未知。决策者的目标是在时间约束$τ$下最大化期望总回报。作为额外的控制，我们允许决策者中断正在进行的任务，放弃其奖励，以获得潜在的更有价值的替代方案。对于这个问题，我们开发了有效的在线学习算法$O(\log(τ))$和$O(\sqrt{τ\log(τ)})$遗憾在有限和连续的动作空间的重新启动策略，分别。我们证明了我们的算法的适用性，使用它来提高SAT求解器的性能。
2020-06-30 cs.LG math.OC stat.ML
Asymptotics of Language Model Alignment
University of Sydney（悉尼大学）；Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）
本文从渐近与信息论角度分析语言模型对齐，给出 KL 约束强化学习最优解的闭式刻画，并证明 best-of-N 方法在期望奖励和 KL 散度意义上与其渐近等价。
2024-04-02 cs.IT cs.LG math.IT
Deep Ordinal Reinforcement Learning
TU Darmstadt（达姆施塔特工业大学）
强化学习通常使用数值奖励，其具有良好的性质，但也存在缺点和困难。使用顺序等级的奖励（顺序奖励）是近年来受到更多关注的数字奖励的替代方案。在本文中，一个通用的方法来适应强化学习问题，使用顺序奖励和动机。我们通过Q学习的例子展示了如何将常见的强化学习算法转换为有序变化，并介绍了有序深度Q网络，它使深度强化学习适应有序奖励。此外，我们对OpenAI Gym框架提供的问题进行了评估，结果表明我们的序数变体表现出与许多问题的数值变化相当的性能。我们也给出了第一个证据，证明我们的序数变体能够产生更好的结果，为工程较少，设计简单的奖励信号的问题。
2019-07-11 cs.AI cs.LG stat.ML
Multi-Objective Reward and Preference Optimization: Theory and Algorithms
University of Southern California（南加州大学）
本论文提出多目标约束优化算法MOPO，通过理论与算法结合，提升约束强化学习在控制、偏好学习和大语言模型对齐中的性能与安全性。
2025-12-11 cs.LG
Deep Interactive Reinforcement Learning for Path Following of Autonomous Underwater Vehicle
Ocean University of China（中国海洋大学）
自主式水下机器人（AUV）在海洋探测中发挥着越来越重要的作用。现有的AUV通常不是完全自主的，并且通常限于预先规划或预先编程任务。强化学习和深度强化学习被引入到AUV的设计和研究中，以提高其自主性。然而，这些方法仍然很难直接应用于实际的AUV系统，因为稀疏的奖励和低的学习效率。结合深度强化学习和交互式强化学习的优点，提出了一种深度交互式强化学习方法用于水下机器人路径跟踪。此外，由于AUV在海洋中运行时，人类训练者无法提供人类奖励，而AUV需要适应不断变化的环境，因此我们进一步提出了一种同时从人类奖励和环境奖励中学习的深度强化学习方法。通过在Gazebo平台上的仿真，分别对AUV的直线跟踪和正弦曲线跟踪两种路径跟踪任务进行了验证。我们的实验结果表明，使用我们提出的深度交互式RL方法，AUV可以比仅从环境奖励的DQN学习器更快地收敛。此外，AUV从人类和环境奖励的深度RL学习也可以实现与深度交互式RL方法相似甚至更好的性能，并且可以通过进一步从环境奖励学习来适应实际环境。
2020-01-10 cs.AI cs.LG cs.RO
Direct Behavior Specification via Constrained Reinforcement Learning
Institut d’intelligence aritficielle du Québec (Mila)（魁北克人工智能研究所（Mila））；École Polytechnique de Montréal（蒙特利尔理工学院）；Ubisoft La Forge（育碧La Forge实验室）；Université de Montréal（蒙特利尔大学）；ServiceNow（ServiceNow公司）
强化学习的标准制定缺乏一种实用的方法来指定什么是允许的和禁止的行为。大多数情况下，从业者通过手动设计奖励函数来完成行为规范的任务，这是一个违反直觉的过程，需要多次迭代，并且很容易被代理奖励投机攻击。在这项工作中，我们认为，受约束的RL，这几乎完全用于安全RL，也有可能显着减少在应用RL项目中用于奖励规范的工作量。为此，我们建议在CMDP框架中指定行为偏好，并使用拉格朗日方法自动权衡这些行为约束。具体来说，我们研究如何CMDPs可以适应解决基于目标的任务，同时坚持几个约束。我们评估这个框架上的一组连续控制任务相关的应用程序的强化学习NPC设计在视频游戏。
2022-06-18 cs.LG
Deep Bayesian Reward Learning from Preferences
University of Texas at Austin（德克萨斯大学奥斯汀分校）
贝叶斯逆强化学习（IRL）方法是安全模仿学习的理想方法，因为它们允许学习代理推理奖励的不确定性和学习策略的安全性。然而，贝叶斯IRL是计算上棘手的高维问题，因为从后验的每个样本需要解决整个马尔可夫决策过程（MDP）。虽然存在非贝叶斯深度IRL方法，但这些方法通常推断奖励函数的点估计，从而排除了严格的安全性和不确定性分析。我们提出了贝叶斯奖励外推（B-REX），一个高效的，基于偏好的贝叶斯奖励学习算法，可扩展到高维，视觉控制任务。我们的方法使用继任者的功能表示和偏好的演示，有效地生成样本的后验分布的演示者的奖励函数，而不需要一个MDP求解器。使用后验样本，我们演示了如何在模仿学习设置中计算策略性能的高置信度界限，其中地面真实奖励函数是未知的。我们评估我们提出的方法学习玩雅达利游戏的任务，通过模仿学习从像素输入，没有访问游戏得分。我们证明了B-REX学习的模仿策略与最先进的深度模仿学习方法具有竞争力，该方法只学习奖励函数的点估计。此外，我们证明了通过B-REX生成的后验样本可以用于计算各种评估策略的高置信度性能界限。我们表明，高置信度的性能界限是有用的，准确地排名不同的评价政策时，奖励函数是未知的。我们还表明，高置信度的性能界限可能是有用的检测奖励投机。
2019-12-10 cs.AI cs.LG stat.ML
Finite-Time Guarantees for Constrained Reinforcement Learning under Partial Observability
University of Padova（帕多瓦大学）；EPFL（洛桑联邦理工学院）；SYCAMORE
针对部分可观测带约束强化学习的挑战，提出基于有限历史窗口近似的原-对偶算法，获首个联合约束奖励次优性与约束违反的非渐近保证，实验验证其有效性。
2026-10-16 cs.LG
