Learning Cooperative Multi-Agent Policies with Partial Reward Decoupling
Yale University（耶鲁大学）；Carnegie Mellon University（卡内基梅隆大学）
将多智能体强化学习扩展到大量智能体的主要障碍之一是为单个智能体的行为分配信用。在本文中，我们解决这个信用分配问题的方法，我们称之为\textit{partial reward decoupling}（PRD），它试图将大型合作多代理RL问题分解为解耦的子问题，涉及代理的子集，从而简化信用分配。我们的经验表明，使用PRD分解RL问题的演员-评论家算法的结果在较低的方差策略梯度估计，提高数据效率，学习稳定性，并在广泛的多代理RL任务的渐近性能，相比其他各种演员-评论家的方法。此外，我们将我们的方法与反事实的多代理策略梯度（COMA），一个国家的最先进的MARL算法，并实证表明，我们的方法优于COMA更好地利用代理的奖励流中的信息，并使最新进展的优势估计使用。
2021-12-23 cs.AI cs.LG cs.RO
Joint Learning of Reward Machines and Policies in Environments with Partially Known Semantics
研究了由奖励机编码的任务的强化学习问题。该任务定义在环境中的一组属性上，称为原子命题，并由布尔变量表示。在文献中常用的一个不切实际的假设是，这些命题的真值是准确已知的。然而，在实际情况下，这些真值是不确定的，因为它们来自遭受不完美的传感器。与此同时，奖励机器可能很难明确建模，特别是当它们编码复杂任务时。我们开发了一个推理学习算法，该算法推断出一个奖励机器，该机器在学习如何执行任务的同时对底层任务进行编码，尽管命题的真值存在不确定性。为了解决这种不确定性，算法保持对原子命题真值的概率估计;它根据从环境探索中获得的新的感官测量来更新该估计。此外，该算法维护一个假设奖励机，它充当对要学习的任务进行编码的奖励机的估计。当智能体探索环境时，算法根据获得的奖励和原子命题真值的估计更新假设奖励机。最后，该算法使用Q学习过程的假设奖励机的状态，以确定完成任务的政策。我们证明了该算法成功地推断奖励机和渐近学习的政策，完成各自的任务。
2023-02-05 cs.AI cs.LG cs.SY
Inferring Reward Machines and Transition Machines from Partially Observable Markov Decision Processes
针对部分可观测环境中的非马尔可夫性，提出转移机器与双重行为米利机统一表示，并开发DB-RPNI算法高效推断最小正确自动机，速度提升达三个数量级。
2025-08-03 cs.AI cs.LG
Reasoning-SQL: Reinforcement Learning with SQL Tailored Partial Rewards for Reasoning-Enhanced Text-to-SQL
Google Cloud（谷歌云）；Stanford University（斯坦福大学）；Google DeepMind（谷歌DeepMind）
提出专为Text-to-SQL定制的部分奖励集并结合GRPO算法训练LLM，有效解决了强化学习中的奖励稀疏问题，使14B模型在BIRD基准上超越o3-mini等更大专有模型。
2025-04-01 cs.AI cs.DB cs.LG
On the Expressivity of Markov Reward
DeepMind；Princeton University（普林斯顿大学）；Brown University（布朗大学）
奖励是学习型智能体的驱动力。本文致力于理解奖励的表现力，作为捕获我们希望代理执行的任务的一种方式。我们围绕三个新的抽象概念的“任务”，这可能是可取的：（1）一组可接受的行为，（2）行为的偏序，或（3）轨迹的偏序。我们的主要结果证明，虽然奖励可以表达这些任务中的许多任务，但存在没有马尔可夫奖励函数可以捕获的每个任务类型的实例。然后，我们提供了一组多项式时间算法，构建一个马尔可夫奖励函数，允许代理优化这三种类型的任务，并正确地确定何时不存在这样的奖励函数。最后，我们的实证研究，证实和说明我们的理论研究结果。
2022-01-18 cs.AI cs.LG
Partial Identifiability and Misspecification in Inverse Reinforcement Learning
Oxford University（牛津大学）
本文对逆向强化学习中的部分可识别性与模型误设进行系统数学分析，完整刻画常见行为模型下奖励函数的歧义性，并给出避免错误推断的偏离条件及统一分析框架。
2024-11-24 cs.AI cs.LG
Maximally Permissive Reward Machines
Utrecht University（乌得勒支大学）；Open University（开放大学）；University of Aberdeen（阿伯丁大学）
针对现有基于单规划的奖励机灵活性不足的问题，提出基于目标偏序规划集合成最大容许奖励机的方法，理论与实验均证明其能让智能体获得更高奖励。
2024-08-15 cs.AI cs.LG
A Geometric Traversal Algorithm for Reward-Uncertain MDPs
KAIST（韩国科学技术院）；Department of Computer Science（计算机科学系）
马尔可夫决策过程（MDP）被广泛应用于随机环境中的决策问题建模。然而，在MDP中的奖励函数的精确规范通常是非常困难的。最近的方法都集中在计算最优策略的基础上的极小极大后悔准则获得一个强大的政策下的不确定性的奖励函数。计算极小极大后悔策略的核心任务之一是求出对于某个候选奖励函数最优的所有策略的集合。在本文中，我们提出了一个有效的算法，利用与政策的奖励函数的几何性质。我们还提出了一个近似版本的方法，以进一步加快。我们的实验表明，我们的算法提高了性能的数量级。
2012-02-14 cs.AI
PaVeRL-SQL: Text-to-SQL via Partial-Match Rewards and Verbal Reinforcement Learning
Samsung SDSA（三星 SDSA）
PaVeRL-SQL结合部分匹配奖励与言语强化学习，通过两条流水线（言语RL和CoT RL）提升文本到SQL在复杂工业数据库上的执行准确率，在Spider、Spider 2.0和BIRD基准上达到SOTA，并在Spider2.0-SQLite上分别提升7.4%和1.4%。
2025-09-08 cs.AI
Assigning Credit with Partial Reward Decoupling in Multi-Agent Proximal Policy Optimization
Tata Consultancy Services（塔塔咨询服务公司）；Carnegie Mellon University（卡内基梅隆大学）
本文提出 PRD-MAPPO 算法，通过部分奖励解耦和注意力机制将大规模多智能体群体动态分解为更小的子群体，从而改进信用分配，并在多个任务（包括 StarCraft II）上显著提升数据效率和渐近性能，还扩展支持共享奖励设置。
2025-02-07 cs.AI cs.LG cs.MA
DiffLight: A Partial Rewards Conditioned Diffusion Model for Traffic Signal Control with Missing Data
School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机与信息技术学院）；Beijing Key Laboratory of Traffic Data Analysis and Mining（北京市交通数据分析与挖掘重点实验室）
针对交通信号控制中常见的交通数据缺失问题，提出融合数据插补与决策的DiffLight模型，结合STFormer与扩散通信机制，实验验证其在多数据集缺失场景下的有效性。
2024-10-31 cs.AI cs.LG cs.SY
LERO: LLM-driven Evolutionary framework with Hybrid Rewards and Enhanced Observation for Multi-Agent Reinforcement Learning
Qiyuan Lab（启元实验室）
LERO框架结合LLM与进化优化，通过混合奖励和增强观测解决多智能体强化学习中的信用分配与部分可观测性问题，在MPE中提升任务性能和训练效率。
2025-03-25 cs.AI cs.LG cs.MA
Active Inference and Reinforcement Learning: A unified inference on continuous state and action spaces under partial observability
University of Toronto（多伦多大学）
本文提出统一原理建立主动推理与强化学习的理论联系，在连续空间POMDP中克服两者局限，通过最小化期望自由能结合利用与探索行为，实现无需显式奖励设计的有效学习。
2024-05-31 cs.AI cs.LG
Choice Between Partial Trajectories: Disentangling Goals from Beliefs
Stanford University（斯坦福大学）
针对AI智能体从人类选择数据学习偏好的问题，提出基于自举回报的选择行为模型，通过证明对齐定理将目标与信念解耦，确保在多种选择行为下均能鲁棒地恢复对齐的奖励函数。
2024-12-21 cs.AI cs.LG
Joint Inference of Reward Machines and Policies for Reinforcement Learning
Oden Institute for Computational Engineering and Sciences, University of Texas, Austin（得克萨斯大学奥斯汀分校奥登计算工程与科学研究所）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
高级知识的提取是加速强化学习（RL）的有效方法，特别是对于具有稀疏奖励的复杂任务。我们研究了一个强化学习问题，其中高级知识是奖励机器的形式，即，一种编码奖励函数的Mealy机器。我们专注于一个设置中，这种知识是先验的学习代理不可用。我们开发了一种迭代算法，可以对RL（更具体地说，q学习）的奖励机和策略进行联合推理。在每次迭代中，该算法维护一个假设奖励机和RL事件的样本。它从当前的假设奖励机导出q函数，并执行RL来更新q函数。在执行RL时，该算法通过添加RL情节来更新样本，沿着RL情节获得的奖励与基于当前假设奖励机的奖励不一致。在下一次迭代中，该算法从更新的样本中推断出新的假设奖励机。基于我们定义的等价关系的状态之间的奖励机，我们转移的q-函数之间的假设奖励机在连续的迭代。我们证明了，该算法几乎肯定收敛到一个最优的政策，如果一个最小的奖励机器可以推断，每个RL情节的最大长度是足够长的限制。实验表明，以奖励机器的形式学习高级知识可以导致RL快速收敛到最优策略，而标准RL方法（如q学习和分层RL方法）在许多任务中经过大量训练步骤后无法收敛到最优策略。
2022-02-08 cs.AI
Learning Optimal Advantage from Preferences and Mistaking it for Reward
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google Research（谷歌研究院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；UC Berkeley（加州大学伯克利分校）；Sony AI（索尼人工智能）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本研究针对基于人类偏好的强化学习中常用的部分回报偏好假设，探讨当偏好实际源于后悔时的影响，指出所学函数是最优优势函数近似，还解释了RLHF微调大模型的原理，揭示该假设实践效果好的原因。
2023-10-03 cs.AI cs.LG
Reinforcement Learning with Stochastic Reward Machines
University of Zagreb（Zagreb大学）；Max Planck Institute for Software Systems（软件系统马克斯·普朗克研究所）
针对现有奖励机算法假设无噪声奖励的局限，本文提出随机奖励机及其基于约束求解的学习算法，可结合现有强化学习算法，保证收敛到最优策略，并在案例研究中优于现有方法。
2025-10-16 cs.AI cs.LG
Average-Reward Off-Policy Policy Evaluation with Function Approximation
University of Oxford（牛津大学）；University of Alberta（阿尔伯塔大学）
我们考虑在平均报酬的MDP，其中的目标是估计的回报率和微分价值函数的函数逼近（FA）的政策外的政策评估。对于这个问题，自举是必要的，并且与离策略学习和FA一起，导致致命的三位一体（Sutton & Barto，2018）。为了解决致命的黑社会，我们提出了两个新的算法，再现了著名的成功梯度TD算法在平均奖励设置。在估计微分价值函数方面，该算法是一类收敛的非策略线性函数近似算法。在回报率估计方面，该算法是第一个收敛的非策略线性函数近似算法，不需要估计密度比。我们经验证明了所提出的算法的优势，以及它们的非线性变体，在一个简单的域，以及具有挑战性的机器人仿真任务的竞争力的密度比为基础的方法。
2022-10-18 cs.AI cs.LG
Zero-Shot Reinforcement Learning Under Partial Observability
本研究探讨部分可观测条件下零样本强化学习的性能退化，并提出基于记忆的架构作为有效补救，实验证明其优于无记忆基线。
2025-06-18 cs.AI cs.LG
APReL: A Library for Active Preference-based Reward Learning Algorithms
Stanford University（斯坦福大学）
奖励学习是人机交互中的一个基本问题，让机器人按照人类用户的需求进行操作。许多基于偏好的学习算法和主动查询技术被提出来作为这个问题的解决方案。在本文中，我们提出了APReL，一个基于主动偏好的奖励学习算法库，它使研究人员和从业者能够实验现有的技术，并很容易地开发自己的算法的各个模块的问题。APReL可在https://github.com/Stanford-ILIAD/APReL上获得。
2022-01-04 cs.AI cs.LG cs.RO
DERAIL: Diagnostic Environments for Reward And Imitation Learning
École Polytechnique（巴黎综合理工学院）；UC Berkeley（加州大学伯克利分校）
许多现实世界任务的目标是复杂的，难以在程序上指定。这使得有必要使用奖励或模仿学习算法来直接从人类数据中推断奖励或策略。这些算法的现有基准集中在现实主义，在复杂的环境中测试。不幸的是，这些基准测试是缓慢的，不可靠的，不能隔离故障。作为一种补充方法，我们开发了一套简单的诊断任务，单独测试算法性能的各个方面。我们评估了一系列常见的奖励和模仿学习算法在我们的任务。我们的研究结果证实，算法的性能是高度敏感的实现细节。此外，在一个流行的基于偏好的奖励学习实现的案例研究中，我们说明了该套件如何查明设计缺陷并快速评估候选解决方案。这些环境可在https://github.com/HumanCompatibleAI/seals上获得。
2020-12-02 cs.AI cs.LG
Reinforcement Learning with Non-Markovian Rewards
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
标准的RL世界模型是马尔可夫决策过程（MDP）的模型。MDP的一个基本前提是奖励仅取决于最后的状态和动作。然而，许多现实世界的奖励是非马尔可夫的。例如，如果国家只记录当前的请求和交付，那么仅在请求较早且尚未送达时才提供咖啡的奖励是非马尔可夫的。过去的工作考虑了用非马尔可夫奖励（NMR）建模和解决MDP的问题，但我们不知道用NMR进行RL的原则性方法。在这里，我们解决的问题，策略学习从经验与这种奖励。我们描述和经验评估四个组合的经典RL算法Q-学习和R-max与自动机学习算法，以获得新的RL算法与NMR域。我们还证明了这些变种收敛到一个最优策略的限制。
2019-12-05 cs.AI
Regret Analysis of Policy Gradient Algorithm for Infinite Horizon Average Reward Markov Decision Processes
Purdue University（普渡大学）
本文针对无限时域平均奖励MDP，提出通用策略梯度算法，证明其全局收敛性，并首次给出$\tilde{\mathcal{O}}({T}^{3/4})$的遗憾界。
2024-02-02 cs.AI cs.LG
Average-Reward Soft Actor-Critic
本文提出平均奖励软演员-评论家算法，填补熵正则化平均奖励深度RL空白，并在标准基准上优于现有方法。
2025-08-05 cs.AI cs.LG
Models of human preference for learning reward functions
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Bosch（博世）；Google Research（谷歌研究院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Sony AI（索尼人工智能研究院）
本文指出RLHF中基于部分回报的偏好假设存在缺陷，提出基于遗憾的偏好模型，理论证明其可识别性，实验表明该模型在有限数据下表现更优，能更好地预测真实人类偏好并学习到更符合人类对齐的奖励函数。
2023-09-06 cs.AI cs.LG cs.SY
Multi-Environment POMDPs: Discrete Model Uncertainty Under Partial Observability
Radboud University（拉德堡德大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Antwerp（安特卫普大学）；Ruhr-University Bochum（波鸿鲁尔大学）；Radboud University Bochum（波鸿鲁尔大学）
针对部分可观测场景下的离散模型不确定性问题，研究提出多环境POMDP的推广形式对抗信念POMDP，证明其可约简性并设计精确与近似鲁棒策略算法，可应用于扩展的标准POMDP基准。
2025-10-27 cs.AI
Geometry and Determinism of Optimal Stationary Control in Partially Observable Markov Decision Processes
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学研究所）；Faculty of Mathematics and Computer Science（数学与计算机科学学院）；Leipzig University（莱比锡大学）；Santa Fe Institute（圣塔菲研究所）
众所周知，对于任何有限状态的马尔可夫决策过程（MDP），都存在一个无记忆的确定性策略使期望回报最大化。对于部分可观测马尔可夫决策过程（POMDPs），最优无记忆策略通常是随机的。研究了无记忆随机策略集上的期望报酬最优化问题。我们制定了一个约束线性最优化问题，并制定了相应的几何框架。我们表明，任何POMDP有限的随机性，这使我们能够减少搜索空间的维数有一个最佳的无记忆的政策。实验表明，该方法能够更好，更快地收敛的政策梯度的评估系统。
2016-02-13 cs.AI math.OC
StructVRM: Aligning Multimodal Reasoning with Structured and Verifiable Reward Models
ByteDance Seed（字节跳动Seed）
StructVRM通过结构化可验证奖励模型提供子问题级细粒度反馈，解决多模态模型在多问题推理中部分正确性学习难题，并在多个基准上取得最先进性能。
2025-08-07 cs.AI
Improved Multiplayer Bandit Algorithm for Bernoulli Rewards
针对伯努利奖励下多人多臂赌博机信息不对称问题，提出基于KL散度的mKL-UCB等算法，获得更紧的遗憾界，改进因子至少为2。
2026-09-23 cs.AI stat.ML
SIBRE: Self Improvement Based REwards for Adaptive Feedback in Reinforcement Learning
TCS Research（塔塔咨询服务研究院）
我们提出了一种通用的奖励塑造方法，用于提高强化学习（RL）的收敛速度，称为基于自我改进的奖励，或SIBRE。该方法被设计用于与任何现有的RL算法结合使用，并包括奖励改进代理自己的过去的表现。我们证明了SIBRE在与原RL算法相同的条件下按期望收敛。当原始奖励是弱歧视或稀疏时，重塑的奖励有助于区分策略。在几个知名的基准测试环境中使用不同的强化学习算法进行的实验表明，SIBRE更快、更稳定地收敛到最优策略。我们还进行了敏感性分析相对于超参数，与基线RL算法相比。
2020-12-21 cs.AI cs.LG stat.ML
A Harmonic Mean Formulation of Average Reward Reinforcement Learning in SMDPs
Bar Ilan University（巴伊兰大学）
针对无限时域非回合制任务中的平均奖励强化学习，提出一种修正的调和均值算子，解决SMDP中奖励和持续时间非平稳时的奖励率计算问题，并证明其理论性质及有效性。
2026-05-06 cs.AI cs.LG
A Rollout-Based Algorithm and Reward Function for Resource Allocation in Business Processes
Eindhoven University of Technology Department of Industrial Engineering（埃因霍温理工大学工业工程与创新科学系）
针对现有深度强化学习方法不适用于业务流程动态环境、依赖人工设计奖励函数易导致次优策略的问题，提出基于rollout的DRL算法与直接分解最小化周期时间目标的奖励函数，在多场景与真实规模流程上性能优于或持平最佳启发式方法。
2025-09-02 cs.AI cs.LG
Convergence of a Human-in-the-Loop Policy-Gradient Algorithm With Eligibility Trace Under Reward, Policy, and Advantage Feedback
Brown University（布朗大学）
流畅的人-智能体通信对于人在回路强化学习的未来至关重要。一个智能体必须对来自其人类教练的反馈做出适当的反应，甚至在他们有重要的合作经验之前。因此，重要的是，学习代理很好地响应人类培训师可能提供的各种反馈方案。本文分析了CONVergent Actor-Critic by Humans（COACH）算法在三种不同反馈方式下的性能，即策略反馈、奖励反馈和优势反馈。对于这三种反馈类型，我们发现COACH可以表现得次优。我们提出了一个变种的教练，情节教练（电子教练），我们证明收敛的所有三种类型。我们将我们的COACH变体与其他两种并行学习算法进行比较：Q学习和TAMER。
2021-09-15 cs.AI cs.DS cs.HC
Learning to Utilize Shaping Rewards: A New Approach of Reward Shaping
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）；Netease Fuxi AI Lab, Netease, Inc.（网易公司网易伏羲人工智能实验室）
奖励塑造是一种将领域知识融入强化学习（RL）的有效技术。现有的方法，如基于潜力的奖励塑造通常充分利用给定的整形奖励函数。然而，由于人类认知偏差等原因，将人类知识转化为数值奖励值往往是不完美的，因此完全利用整形奖励函数可能无法提高RL算法的性能。在本文中，我们考虑的问题，自适应地利用一个给定的整形奖励函数。我们制定的利用整形奖励作为一个双层优化问题，其中较低的水平是使用整形奖励优化政策和上层是优化一个参数化的整形权重函数，真正的奖励最大化。我们正式推导出了期望真实回报相对于成形权函数参数的梯度，并据此提出了三种基于不同假设的学习算法。在稀疏奖励cartpole和MuJoCo环境下的实验表明，该算法能够充分利用有益的整形奖励，同时忽略或转化为有益的整形奖励.
2020-11-05 cs.AI cs.LG
Trust Region Reward Optimization and Proximal Inverse Reward Optimization Algorithm
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；University of Auckland（奥克兰大学）；Chongqing University（重庆大学）
本文提出信赖域奖励优化（TRRO）框架及其算法实例PIRO，通过次小化-最大化过程保证专家行为似然单调提升，解决了非对抗逆强化学习缺乏稳定性保证的问题，在多项基准上匹配或超越最先进基线。
2025-10-13 cs.AI cs.LG
Learning General Parameterized Policies for Infinite Horizon Average Reward Constrained MDPs via Primal-Dual Policy Gradient Algorithm
Purdue University（普渡大学）；Indian Institute of Technology Kanpur（坎普尔印度理工学院）
针对无限时域平均回报约束马尔可夫决策过程，首次开展通用参数化策略下的遗憾与约束违反分析，提出原对偶策略梯度算法，实现低遗憾全局最优策略及对应约束违反界保障。
2024-10-30 cs.AI cs.LG
Hierarchical Average Reward Policy Gradient Algorithms
Birla Institute of Technology and Science, Pilani（皮拉尼比特拉技术与科学学院）；IBM Research（IBM研究院）；Indian Institute of Science, Bangalore（班加罗尔印度科学学院）
期权批判学习是一种通用的强化学习（RL）框架，旨在通过利用时间抽象来解决长期信用分配问题。然而，在处理延长的时间尺度时，对未来奖励的折扣可能导致不正确的信用分配。在这项工作中，我们解决了这个问题，通过扩展的分层期权批评策略梯度定理的平均回报标准。我们提出的框架的目的是最大限度地提高长期奖励中所定义的代理的政策的马尔可夫链的稳定状态。此外，我们使用一个常微分方程为基础的方法，我们的收敛性分析，并证明内期权政策，终止函数，和价值函数的参数，收敛到其相应的最优值，概率为1。最后，我们说明了学习选项的竞争优势，在平均奖励设置，在一个网格世界的环境与稀疏的奖励。
2019-11-20 cs.AI cs.LG
Direct Preference-based Policy Optimization without Reward Modeling
Seoul National University（首尔大学）；NAVER；Line Corporation（LINE公司）
本文提出一种无需奖励建模、直接基于偏好学习策略的 PbRL 算法，通过对比学习设计策略评分指标，在离线控制任务上超越现有方法，并可微调大语言模型。
2023-10-27 cs.AI cs.LG
A Computationally Efficient Algorithm for Infinite-Horizon Average-Reward Linear MDPs
University of Michigan（密歇根大学）
针对线性MDP无限时域平均奖励强化学习问题，提出一种仅在访问状态集上计算值函数最小值的高效裁剪值迭代算法，在保持与现有方法相同遗憾界的同时，计算复杂度与状态空间大小无关。
2025-04-16 cs.AI cs.LG
Off-Policy Average Reward Actor-Critic with Deterministic Policy Search
Indian Institute of Science（印度科学学院）；Robert Bosch Centre for Cyber-Physical Systems, Indian Institute of Science（印度科学学院罗伯特·博世网络物理系统中心）
针对强化学习中平均回报离策略actor-critic研究不足的问题，本文推导了平均回报下的同/离策略确定性策略梯度定理，提出ARO-DDPG算法，完成收敛性与样本复杂度分析，且在MuJoCo环境中表现优于现有同策略方法。
2023-07-19 cs.AI cs.LG
Active Finite Reward Automaton Inference and Reinforcement Learning Using Queries and Counterexamples
Arizona State University（亚利桑那州立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
尽管深度强化学习（RL）在各种任务中的表现已经超过了人类水平，但它仍然存在一些根本性的挑战。首先，大多数强化学习方法需要从环境探索中获得大量数据才能实现令人满意的性能。其次，在强化学习中使用神经网络使得很难以人类可以理解的方式解释系统的内部结构。为了解决这两个挑战，我们提出了一个框架，使RL代理的原因在其探索过程中，并提取高层次的知识，有效地指导其未来的探索。具体来说，我们提出了一种新的RL算法，学习高级知识的形式，有限奖励自动机通过使用L* 学习算法。我们证明了在情节强化学习中，有限奖励自动机可以表示任何非马尔可夫有界奖励函数，并以任意精度逼近任何非马尔可夫有界奖励函数（具有无穷多个奖励值）。我们还提供了一个下界的情节长度，建议RL方法几乎肯定收敛到一个最优的政策的限制。我们在两个具有非马尔可夫奖励函数的RL环境中测试了这种方法，为每个环境选择了各种复杂性不断增加的任务。我们比较了我们的算法与最先进的RL算法的非马尔可夫奖励功能，如联合推理的奖励机和策略的RL（JIRP），学习奖励机（LRM），和近端策略优化（PPO2）。我们的结果表明，我们的算法收敛到最优策略比其他基线方法。
2021-07-03 cs.AI cs.LG
Learning and Planning in Average-Reward Markov Decision Processes
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；DeepMind（深度思维）
我们介绍了平均回报MDP的学习和规划算法，包括1）第一个通用的证明收敛的无参考状态的偏离策略无模型控制算法，2）第一个证明收敛的偏离策略无模型预测算法，3）第一个离策略学习算法，收敛到实际的价值函数，而不是价值函数加上一个偏移。我们所有的算法都是基于使用时间差误差，而不是传统的错误时，更新的平均奖励的估计。我们的证明技术是Abounadi，Bertsekas和Borkar（2001）的一个轻微的概括。在实验中的一个控制器的控制任务，我们展示了一些困难时，可能会出现依赖于参考状态的方法，并认为我们的新算法可以显着更容易使用。
2021-06-28 cs.AI cs.LG
Risk-Aware Algorithms for Combinatorial Semi-Bandits
Indian Institute of Science（印度科学理工学院）
本文研究了半强盗反馈下的随机组合多臂强盗问题。虽然已经做了大量的工作，优化线性以及一些一般的奖励函数的预期奖励的算法，我们研究的问题，其中的目标是风险意识的一个变体。更具体地说，我们考虑的问题，最大化的条件风险价值（CVaR），风险度量，只考虑最坏情况下的回报。我们提出了新的算法，最大限度地提高CVaR的奖励从超级武器的组合强盗高斯和有界的手臂奖励的两种情况下。我们进一步分析这些算法，并提供遗憾的界限。我们相信，我们的研究结果提供了第一个理论见解组合半强盗问题的风险意识的情况下。
2021-12-02 cs.AI cs.LG
Model-free Reinforcement Learning in Infinite-horizon Average-reward Markov Decision Processes
无模型强化学习被认为是记忆和计算效率高，更适合大规模问题。本文介绍了两种学习无限时域平均报酬马尔可夫决策过程（MDP）的无模型算法。第一个算法减少了问题的折扣奖励版本，并实现$\mathcal{O}(T^{2/3})$遗憾后，$T$步骤，弱通信的MDP的最小假设。据我们所知，这是第一个无模型算法一般MDPs在这种情况下。第二种算法利用了自适应算法的最新进展，对抗多武装匪徒和改进的遗憾$\mathcal{O}(\sqrt{T})$，虽然有一个更强的遍历假设。这一结果显著改善了Abbasi-Yadkori等人（2019 a）在无限时域平均奖励设置中遍历MDP的唯一现有无模型算法所实现的$\mathcal{O}(T^{3/4})$遗憾。
2020-02-25 cs.AI cs.LG stat.ML
Simplified Belief-Dependent Reward MCTS Planning with Guaranteed Tree Consistency
Technion - Israel Institute of Technology（以色列理工学院）
部分可观测马尔可夫决策过程（POMDP）是众所周知的难以解决。最先进的在线求解器利用蒙特卡罗树搜索（MCTS）的思想。这些求解器快速收敛到信念树的最有希望的分支，避免了次优部分。这些算法中的大多数被设计为利用直接访问状态奖励，并假设信念依赖的奖励只不过是对状态奖励的期望。因此，它们不适用于更普遍和更基本的信念依赖性奖励设置。这种奖励的一个例子是使用信念的一组加权粒子近似的微分熵。这样的信息论奖励引入了显著的计算负担。在本文中，我们嵌入的范式简化MCTS算法。特别是，我们提出了简化的信息理论粒子滤波树（SITH-PFT），一种新的变体的MCTS算法，考虑信息理论的奖励，但避免了需要完全计算它们。我们取代了昂贵的计算信息理论的奖励与自适应的上限和下限。这些界限易于计算，并且仅根据算法的要求而收紧。至关重要的是，我们保证了与MCTS完全相同的信念树和解决方案，MCTS明确计算了原始的信息理论奖励。我们的方法是一般性的;也就是说，可以容易地插入任何收敛到回报界限的算法，以实现实质上的加速而没有任何性能损失。
2021-05-29 cs.AI cs.RO
A Differentiated Reward Method for Reinforcement Learning based Multi-Vehicle Cooperative Decision-Making Algorithms
Tongji University（同济大学）
针对强化学习多车辆协同驾驶样本效率低的问题，提出基于稳态转移系统的差异化奖励方法，将状态转移梯度融入奖励设计，在MAPPO等算法中显著提升训练收敛速度及交通效率、安全性与动作合理性。
2025-08-09 cs.AI cs.MA cs.RO
Reinforcement Learning with a Corrupted Reward Channel
Australian National University（澳大利亚国立大学）；DeepMind
现实世界中没有一个奖励函数是完美的。感官错误和软件错误可能会导致RL代理观察到比他们应该的更高（或更低）的奖励。例如，一个强化学习代理可能更喜欢感觉错误给它最大奖励的状态，但真正的奖励实际上很小。我们正式这个问题作为一个广义马尔可夫决策问题，称为腐败奖励MDP。传统的RL方法在CRMDPs中表现不佳，即使在强简化假设下，以及试图补偿可能的腐败奖励时。围绕这个问题的两种方法进行了研究。首先，通过给予智能体更丰富的数据，例如在逆强化学习和半监督强化学习中，有时可以完全管理源于系统感觉错误的奖励腐败。其次，通过使用随机化来削弱代理的优化，可以在某些假设下部分管理奖励腐败。
2017-08-19 cs.AI cs.LG stat.ML
Scaling Laws for Reward Model Overoptimization in Direct Alignment Algorithms
Stanford University（斯坦福大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）；UT Austin（德克萨斯大学奥斯汀分校）
本研究针对直接对齐算法中的奖励过度优化问题，通过实证实验揭示其退化模式，并形式化定义了该问题，探讨了不同目标、训练方案和模型规模下的影响。
2024-11-05 cs.AI cs.CL cs.LG
Hierarchical Reinforcement Learning with Advantage-Based Auxiliary Rewards
Tsinghua University（清华大学）
分层强化学习（HRL）是解决具有稀疏和延迟奖励的长期问题的一种很有前途的方法。许多现有的HRL算法要么使用预先训练的不适应的低级技能，要么需要特定领域的信息来定义低级奖励。在本文中，我们的目标是在保持奖励设计的通用性的同时，使低级技能适应下游任务。我们提出了一个HRL框架，设置辅助奖励的基础上，低层次的技能培训的优势函数的高级政策。这种辅助奖励能够在不使用特定于任务的知识的情况下有效地同时学习高级策略和低级技能。此外，我们还从理论上证明了使用这种辅助奖励优化低级技能将增加联合策略的任务回报。实验结果表明，我们的算法显着优于其他国家的最先进的HRL方法在Mujoco域。我们还发现我们的算法训练的低级和高级策略都是可转移的。
2019-10-10 cs.AI cs.LG
Provably Efficient Exploration in Reward Machines with Low Regret
Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）；Department of Information and Communication Technologies, Universitat Pompeu Fabra（庞培法布拉大学信息与通信技术系）；University of Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文针对具有未知动态的概率奖励机和非马尔可夫奖励的强化学习问题，提出一种利用奖励机结构的基于模型算法，并给出遗憾上界、下界及相对忽略结构算法的增益证明。
2024-12-26 cs.AI cs.LG
Learning to Shape Rewards using a Game of Two Partners
奖励塑造（RS）是强化学习（RL）中克服奖励稀疏或无信息问题的一种有效方法。然而，RS通常依赖于手动设计的成形奖励函数，其构造耗时且容易出错。它还需要领域知识，这与自主学习的目标背道而驰。我们介绍了强化学习优化成形算法（ROSA），一个自动的奖励塑造框架，其中成形奖励函数是在两个代理之间的马尔可夫博弈中构造的。奖励整形代理（整形器）使用切换控制来确定哪些状态添加整形奖励以进行更有效的学习，而另一个代理（控制器）使用这些整形奖励来学习任务的最佳策略。我们证明了ROSA，采用现有的RL算法，学习构建一个成形奖励函数，这是有益的任务，从而确保高效收敛到高性能的政策。我们证明了ROSA的性质在三个教学实验，并显示其优越的性能对国家的最先进的RS算法在具有挑战性的稀疏奖励环境。
2023-02-06 cs.AI cs.GT cs.LG
Explanation through Reward Model Reconciliation using POMDP Tree Search
Department of Aerospace Engineering Sciences, University of Colorado Boulder（科罗拉多大学博尔德分校航空航天工程科学系）；Applied Physics Laboratory, Johns Hopkins University（约翰霍普金斯大学应用物理实验室）
本文通过POMDP树搜索协调算法与用户隐式奖励模型差异，以提升用户对AI系统的信任度。
2023-05-01 cs.AI cs.HC cs.LG
The Optimal Reward Baseline for Gradient-Based Reinforcement Learning
Australian National University（澳大利亚国立大学）
存在许多强化学习算法，它们通过爬期望回报的梯度来学习。它们的长期收敛性已被证明，即使在部分可观测的环境与非确定性的行动，而不需要fora系统模型。然而，梯度估计的方差已被发现是一个重要的实际问题。最近的方法对未来的回报进行了折扣，在梯度估计中引入了偏差-方差权衡。我们将奖励基线纳入学习系统，并表明它会影响方差，而不会引入进一步的偏差。特别是，当我们接近零偏差，高方差参数化时，最佳（或方差最小化）恒定奖励基线等于长期平均期望值。提出了一种改进的策略梯度算法，并通过大量的实验验证了其性能。
2013-01-10 cs.AI cs.LG stat.ML
Learning Agile Skills via Adversarial Imitation of Rough Partial Demonstrations
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
学习敏捷技能是机器人技术的主要挑战之一。为此，强化学习方法已经取得了令人印象深刻的结果。这些方法需要明确的任务信息的奖励函数或专家，可以在模拟中查询，以提供一个目标控制输出，这限制了它们的适用性。在这项工作中，我们提出了一种生成对抗方法，用于从部分和潜在的物理不兼容的演示中推断奖励函数，以获得成功的技能，其中参考或专家演示不容易获得。此外，我们表明，通过使用Wasserstein GAN制定和过渡的示范与粗糙和部分信息作为输入，我们能够提取的政策，是强大的，能够模仿演示的行为。最后，所获得的技能，如后空翻进行了测试，一个敏捷的四足机器人称为独奏8和目前的忠实复制的手持人类示范。
2022-11-21 cs.AI cs.LG cs.RO
