Average-Reward Reinforcement Learning with Trust Region Methods
Tsinghua University(清华大学);University College London(伦敦大学学院);Sun Yat-sen University(中山大学)
大多数强化学习算法都对折扣准则进行了优化,这有利于加快收敛速度和减小估计的方差。虽然贴现准则适用于某些任务,如财务相关的问题,许多工程问题对待未来的回报平等,更喜欢一个长期的平均标准。本文研究了长期平均准则下的强化学习问题。首先,我们发展了一个统一的信赖域理论与折扣和平均标准,并推导出一个新的性能界的信赖域内的扰动分析(PA)理论。其次,我们提出了一个实用的算法平均策略优化(APO),它改善了价值估计的一种新的技术,称为平均值约束。最后,在连续控制环境MuJoCo中进行了实验。在大多数任务中,APO的性能优于折扣PPO,这证明了我们的方法的有效性。我们的工作提供了一个统一的框架信任区域的方法,包括折扣和平均标准,这可能会补充框架的强化学习超出折扣的目标。
2021-11-01 cs.AI cs.LG
Examining average and discounted reward optimality criteria in reinforcement learning
School of Information Technology and Electrical Engineering(信息技术与电气工程学院);University of Queensland(昆士兰大学)
在强化学习(RL)中,目标是获得最优策略,其中最优性准则至关重要。两个主要的最优准则是平均和折扣奖励。虽然后者更受欢迎,但在没有内在折扣概念的环境中应用是有问题的。这促使我们重新审视a)动态规划中最优性准则的进展,b)人为折扣因子的合理性和复杂性,以及c)直接最大化平均奖励准则的好处,这是无折扣的。我们的贡献包括对平均奖励和折扣奖励之间关系的彻底研究,以及对RL中它们的利弊的讨论。我们强调,平均报酬强化学习方法具有将一系列无折扣最优性准则(Veinott,1969)应用于强化学习的成分和机制。
2022-09-01 cs.AI cs.LG cs.RO
General Discounting versus Average Reward
考虑一个智能体与环境的循环交互。在每一个交互周期中,智能体都会因其表现而获得奖励。我们将周期1到m的平均奖励U(平均值)与周期k到无穷大的未来折扣奖励V(折扣值)进行比较。我们考虑基本上是任意的(非几何)折扣序列和任意的奖励序列(非MDP环境)。我们表明,渐近U为m->无穷大和V为k->无穷大是相等的,提供两个限制存在。此外,如果有效视界随k线性增长或更快,则U极限的存在意味着V极限的存在。相反,如果有效视界随k线性增长或更慢,则V极限的存在意味着U极限的存在。
2006-05-09 cs.LG
Revisiting Value Iteration: Unified Analysis of Discounted and Average-Reward Cases
本文通过统一几何分析,证明在特定条件下价值迭代在折扣和平均奖励设置中均具有更快的几何收敛速度。
2026-03-11 cs.LG
Improved Sample Complexity Analysis of Natural Policy Gradient Algorithm with General Parameterization for Infinite Horizon Discounted Reward Markov Decision Processes
Purdue University(普渡大学)
针对无限时域折扣奖励马尔可夫决策过程,提出加速自然策略梯度(ANPG)算法,在一般参数化下实现$\mathcal{O}(ε^{-2})$样本复杂度和$\mathcal{O}(ε^{-1})$迭代复杂度,改进现有最优样本复杂度,且无需不可验证的IS权重方差假设。
2024-02-05 cs.AI cs.LG
Analyzing and Bridging the Gap between Maximizing Total Reward and Discounted Reward in Deep Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文针对深度强化学习中总回报与折扣回报目标不一致的问题,理论揭示循环状态下增大折扣因子的局限,并提出修改终止状态值与校准轨迹奖励两种对齐方法。
2025-03-18 cs.LG
Process Rewards for Outcome-Guided Reasoning Steps in LLM Reinforcement Learning
Amazon Science(亚马逊科学)
PROGRS框架通过过程奖励相对偏好优化,提升数学推理准确性,减少错误引导,优于仅基于结果的基线方法。
2026-10-14 cs.AI cs.LG
Hierarchical Reinforcement Learning: Approximating Optimal Discounted TSP Using Local Policies
Google(谷歌);The Technion(以色列理工学院);Tel Aviv University(特拉维夫大学)
在这项工作中,我们提供了理论上的保证,在确定性的MDP的奖励分解。奖励分解是分层强化学习的一个特例,它允许人们并行学习许多策略,并将它们组合成一个复合解决方案。我们的方法建立在将这个问题映射成一个奖励折扣旅行商问题,然后推导出它的近似解。特别地,我们专注于局部的近似解,即,仅观察关于当前状态的信息的解决方案。本地策略易于实现,并且不需要大量的计算资源,因为它们不执行规划。虽然局部确定性策略,如最近邻,在实践中被用于分层强化学习,我们提出了三个随机策略,保证比任何确定性策略更好的性能。
2018-03-13 cs.AI cs.LG stat.ML
Gradient Starvation in Binary-Reward GRPO: Why Group-Mean Centering Fails and Why the Simplest Fix Works
National Taiwan University(台湾大学)
本文研究了二元奖励下GRPO算法中组均中心化优势失效的问题,提出通过固定参考Sign优势改进方法,显著提升性能,实验显示其在GSM8K数据集上表现优于传统方法。
2026-05-08 cs.LG
Reinforcement Learning for Infinite-Horizon Average-Reward Linear MDPs via Approximation by Discounted-Reward MDPs
University of Michigan(密歇根大学);KAIST(韩国科学技术院)
本文针对无限期平均奖励线性MDP,提出通过折扣MDP近似结合乐观值迭代的算法,首次在无强动态假设下以多项式计算复杂度实现$\widetilde{O}(\sqrt{T})$遗憾界。
2025-03-11 cs.LG stat.ML
Discounted Pseudocosts in MILP
Polytechnique Montréal(蒙特利尔理工学院);CERC
受强化学习折扣总回报启发,研究者提出MILP中的折扣伪成本概念,将前瞻性视角引入伪成本估计,初步实验显示其可改进分支策略、加快难MILP问题求解。
2024-07-07 cs.AI cs.LG math.OC
Average-Reward Soft Actor-Critic
本文提出平均奖励软演员-评论家算法,填补熵正则化平均奖励深度RL空白,并在标准基准上优于现有方法。
2025-08-05 cs.AI cs.LG
Baselines and Score Centering in Policy Gradient Estimation
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Perplexity AI(Perplexity AI公司)
本研究针对强化学习中策略梯度估计的基线与得分中心化问题,提出协方差视角,明确两种中心化方式的差异及在不同重要性采样级别下的适用性。
2026-10-16 cs.LG
Policy Synthesis and Reinforcement Learning for Discounted LTL
University of Pennsylvania(宾夕法尼亚大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文针对LTL对转移概率扰动敏感导致无法PAC学习的问题,提出在未知转移概率的MDP中使用折扣LTL进行策略综合,并证明当折扣因子相同时可通过奖励机将其归约为折扣和奖励。
2023-05-29 cs.LG cs.LO
Discounted Reinforcement Learning Is Not an Optimization Problem
Huawei Technologies(华为技术有限公司)
折扣强化学习与连续任务中的函数逼近控制根本不相容。这不是一个优化问题,在其通常的提法,所以当使用函数逼近没有最优策略。我们证实了这些说法,然后继续解决一些关于贴现及其与平均奖励公式的联系的误解。我们鼓励研究人员采用严格的优化方法,例如最大化平均奖励,用于连续任务中的强化学习。
2019-11-27 cs.AI
Howard's Policy Iteration is Subexponential for Deterministic Markov Decision Problems with Rewards of Fixed Bit-size and Arbitrary Discount Factor
Department of Computer Science and Engineering, IIT Bombay(印度理工学院孟买分校计算机科学与工程学院)
本文针对确定性马尔可夫决策问题(DMDPs),证明了Howard策略迭代算法在奖励位数为固定值且折扣因子任意时具有次指数的运行时间上界,显著改进了此前的指数级上界。
2025-05-01 cs.AI
Partial Identifiability in Inverse Reinforcement Learning For Agents With Non-Exponential Discounting
University of Oxford(牛津大学)
本研究刻画了非指数折扣(特别是双曲折扣)智能体在逆强化学习中的部分可识别性,发现IRL通常无法推断足够信息以识别最优策略,从而不足以充分刻画此类智能体的偏好。
2024-12-15 cs.AI cs.LG
Reducing Reward Dependence in RL Through Adaptive Confidence Discounting
NCSU(北卡罗来纳州立大学);Department of Computer Science(计算机科学系)
提出一种自适应置信度折扣的强化学习算法,通过模型代理高置信度奖励、仅在低置信度时请求显式奖励,减少对人类或昂贵奖励的依赖,在保持性能的同时仅需20%的奖励。
2025-02-28 cs.LG
Risk-averse Total-reward MDPs with ERM and EVaR
University of New Hampshire Durham, NH, USA(新罕布什尔大学);HEC Paris(巴黎高等商学院)
本文研究了在ERM和EVaR风险度量下的风险规避总回报MDP问题,证明了平稳策略可优化该目标,提出了指数值迭代等计算最优策略的方法,并发现总回报准则在风险规避强化学习中优于折扣准则。
2024-12-18 cs.AI cs.LG
Reinforcement Learning with LTL and $ω$-Regular Objectives via Optimality-Preserving Translation to Average Rewards
NTU Singapore(新加坡南洋理工大学);Tel Aviv University(特拉维夫大学)
本文研究强化学习中LTL与$ω$-正则目标的关系,提出通过有限记忆奖励机器将其保优归约为极限平均奖励问题,并证明可通过近似求解折扣求和问题渐近学习最优策略,解决了相关开放问题。
2024-10-16 cs.AI cs.LG
Loop Estimator for Discounted Values in Markov Reward Processes
Toyota Technological Institute at Chicago(芝加哥丰田技术学院)
在强化学习的折扣设置中通常使用和研究的策略迭代算法的工作核心,策略评估步骤利用来自通过遵循马尔可夫决策过程中的马尔可夫策略而引起的马尔可夫奖励过程的样本来估计状态的值。我们提出了一个简单而有效的估计称为循环估计,利用马尔可夫奖励过程的再生结构,而不显式地估计一个完整的模型。我们的方法享有$O(1)$的空间复杂度时,估计一个单一的正经常性状态$s$的值不像TD与$O(S)$或基于模型的方法与$O\left(S^2\right)$。此外,再生结构使我们能够显示,而不依赖于生成模型的方法,估计有一个依赖于实例的收敛速度$\widetilde{O}\left(\sqrt{τ_s/T}\right)$的步骤$T$在一个单一的样本路径,其中$τ_s$是最大的预期命中时间状态$s$。在初步的数值实验中,环路估计器优于无模型方法,如TD(k),并且与基于模型的估计器竞争。
2021-03-03 cs.LG stat.ML
Synthesis from Satisficing and Temporal Goals
University of Pennsylvania(宾夕法尼亚大学);Rice University(莱斯大学);Tesla(特斯拉)
从高层次规范的反应性合成,结合在线性时序逻辑LTL表示的硬约束与折扣和(DS)奖励表示的软约束,在规划和强化学习的应用。现有的方法结合了LTL合成的技术与DS奖励的优化,但未能产生一个合理的算法。一种将LTL合成与满足DS奖励(达到阈值的奖励)相结合的替代方法对于整数折扣因子是合理和完整的,但在实践中,需要分数折扣因子。这项工作扩展了现有的满意的方法,提出了第一个健全的算法合成LTL和DS奖励分数折扣因子。我们的算法的实用性证明机器人规划域。
2022-05-20 cs.AI cs.LO cs.RO
Inverse Reinforcement Learning with Multiple Planning Horizons
Gladstone Institutes(格拉德斯通研究所);SEAS, Harvard University(哈佛大学工程与应用科学学院);Stanford University(斯坦福大学)
本文研究专家具有不同未知规划视野的逆强化学习问题,提出同时学习全局奖励函数和智能体特定折扣因子的算法,并刻画了可行解空间及验证了跨领域泛化能力。
2024-09-26 cs.LG
Average Reward Adjusted Discounted Reinforcement Learning: Near-Blackwell-Optimal Policies for Real-World Applications
University of Innsbruck(因斯布鲁克大学)
虽然近年来强化学习已经变得非常流行,但成功应用于不同类型运筹学问题的数量相当稀少。强化学习是基于研究充分的动态规划技术,因此也旨在为给定的马尔可夫决策过程找到最佳的静态策略,但相比之下,不需要任何模型知识。该策略仅在连续状态(或状态-动作对)上进行评估,这些状态在代理探索解决方案空间时被观察到。本文的贡献是多方面的。首先,我们为广泛应用的标准折扣强化学习框架提供了深刻的理论见解,这使得我们理解了为什么这些算法在永久提供非零奖励(如成本或利润)时是不合适的。其次,我们建立了一个新的近Blackwell最优的强化学习算法。与前一种方法相反,它单独评估每步的平均奖励,从而防止不同类型状态值的不谨慎组合。因此,洛朗级数展开的折扣状态值形成了基础,这一发展,也提供了两种方法之间的连接。最后,我们证明了我们的算法的可行性具有挑战性的问题集,其中包括一个研究良好的M/M/1接纳控制排队系统。与标准的折扣强化学习相比,我们的算法在所有测试问题上推断出最优策略。这些见解是,在运筹学领域的机器学习技术必须适应和先进的成功应用这些方法在我们的设置。
2020-04-02 cs.LG stat.ML
A Differential Perspective on Distributional Reinforcement Learning
本文从微分视角扩展分布强化学习至平均奖励设置,提出首个能有效学习长期每步奖励分布和微分回报分布的算法,并展示其在性能和信息捕捉方面的优势。
2026-01-13 cs.AI cs.LG
A unified algorithm framework for mean-variance optimization in discounted Markov decision processes
Sun Yat-sen University(中山大学);Tsinghua University(清华大学)
研究了无限期折扣马尔可夫决策过程中风险厌恶的均值方差优化问题。所涉及的方差度量涉及整个过程中的奖励变化,未来的偏差被贴现到其现值。这种贴现均值-方差优化产生了依赖于贴现均值的报酬函数,这种依赖性使得传统的动态规划方法不适用,因为它抑制了一个关键的属性--时间一致性。为了处理这个非正统的问题,我们引入了一个伪平均值,将不可处理的MDP转换为一个标准的标准式的重新定义的报酬函数,并推导出一个折扣的均值-方差性能差异公式。利用伪均值,我们提出了一个统一的算法框架,具有双层优化结构的折扣均值-方差优化。该框架统一了多种算法的方差相关的问题,包括但不限于,风险规避方差和均值方差优化贴现和平均MDP。此外,收敛性分析从文献中缺失,可以补充拟议的框架以及。以数值迭代为例,提出了一种折现均值-方差数值迭代算法,并借助Bellman局部最优性方程证明了其收敛于局部最优值.最后,我们进行了一个数值实验的投资组合管理,以验证所提出的算法。
2022-01-15 cs.AI math.OC
Variance-Constrained Actor-Critic Algorithms for Discounted and Average Reward MDPs
INRIA Lille - Nord Europe(法国国立信息学及其应用研究院里尔-北欧中心);Adobe Research(奥多比研究院);INRIA Lille(法国国立信息学及其应用研究院里尔中心)
在许多顺序决策问题中,我们可能希望通过最大化标准之外的最小化奖励的可变性来管理风险。方差相关风险度量是金融和运筹学中最常见的风险敏感标准之一。然而,优化许多这样的标准是已知的是一个困难的问题。在本文中,我们考虑贴现和平均报酬马尔可夫决策过程。对于每个公式,我们首先定义一个政策的可变性度量,这反过来又给了我们一组风险敏感的标准来优化。对于这些标准中的每一个,我们推导出计算其梯度的公式。然后,我们设计的演员,评论家的算法,在三个时间尺度上操作-TD的最快的时间尺度上的评论家,一个策略梯度(演员)的中间时间尺度上,和一个双上升拉格朗日乘数上最慢的时间尺度。在贴现的设置,我们指出的困难,估计的方差的回报率的梯度,并结合同时扰动的方法来减轻这一点。另一方面,平均值设置允许使用兼容的特征来估计方差的梯度的演员更新。我们建立我们的算法收敛到局部风险敏感的最优策略。最后,我们证明了我们的算法在交通信号控制应用程序的实用性。
2015-03-18 cs.LG math.OC stat.ML
Average-Reward Learning and Planning with Options
University of Alberta(阿尔伯塔大学);Amii(阿尔伯塔机器智能研究所);DeepMind
我们扩展了强化学习中的时间抽象的选项框架,从折扣马尔可夫决策过程(MDP)到平均奖励MDP。我们的贡献包括一般收敛的政策间的选择学习算法,选择内学习值和模型的算法,以及基于样本的规划变种我们的学习算法。我们的算法和收敛性证明扩展了最近开发的万,奈克和萨顿。我们还将期权中断行为的概念从贴现模型扩展到平均报酬模型。我们的四个房间域的持续版本的实验表明,所提出的算法的有效性。
2021-10-26 cs.LG
Tournament selection in zeroth-level classifier systems based on average reward reinforcement learning
Hubei Key Laboratory of Intelligent Vision Based Monitoring for Hydroelectric Engineering, China Three Gorges University(三峡大学水电工程智能视觉监测湖北省重点实验室);College of Computer and Information Technology, China Three Gorges University(三峡大学计算机与信息学院)
作为一种基于遗传学的机器学习技术,零级分类器系统(ZCS)是基于折扣奖励强化学习算法--桶旅算法(bucket-brigade algorithm)的,该算法优化了智能体获得的折扣总奖励,但并不适用于所有多步问题,尤其是大规模问题。有一些未打折的强化学习方法可用,例如R学习,它优化了每个时间步的平均奖励。本文采用R-学习作为ZCS的强化学习方法,以取代其折扣奖励强化学习方法,并采用锦标赛选择代替ZCS中的轮盘赌选择。修改的分类器系统,可以支持长的动作链,从而能够解决大型多步骤的问题。
2016-04-26 cs.AI cs.NE
Imitation Learning from Observation with Automatic Discount Scheduling
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Shanghai Qi Zhi Institute(上海期智研究院);UC Berkeley(加州大学伯克利分校);Washington University in St. Louis(圣路易斯华盛顿大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对观察模仿学习(ILfO)中进度依赖任务难以学习的问题,本文提出自动折扣调度(ADS)机制,自适应调整折扣因子以先学早期行为,在九个Meta-World任务上全面超越现有方法。
2024-02-07 cs.AI cs.LG cs.RO
Inverse Reinforcement Learning with the Average Reward Criterion
Georgia Institute of Technology(佐治亚理工学院)
本文针对平均奖励准则下的逆强化学习问题,提出平均奖励框架及随机策略镜像下降和逆策略镜像下降方法,并给出新的复杂度结果,通过MuJoCo等实验验证有效性。
2023-05-24 cs.AI cs.LG
Delayed Geometric Discounts: An Alternative Criterion for Reinforcement Learning
ANEO;Centre Borelli - ENS Paris-saclay(巴黎萨克雷高等师范学院博雷利中心);ISIR Lab(智能系统与机器人研究所);Sorbonne Université(索邦大学)
人工智能(AI)的目标是设计能够完成复杂任务的自主智能体。也就是说,强化学习(RL)提供了一个学习最佳行为的理论背景。在实践中,RL算法依赖于几何折扣来评估这种最优性。不幸的是,这并不包括未来回报价值不会呈指数级下降的决策过程。根据问题的不同,这种限制会导致样本效率低下(因为反馈呈指数衰减),并需要额外的课程/探索机制(以处理稀疏,欺骗性或对抗性的奖励)。在本文中,我们通过使用一族延迟目标函数来概括贴现问题公式来解决这些问题。我们研究基本的RL问题,以获得:1)最优稳态解和2)最优非稳态控制的近似。所设计的算法解决了表格环境中的困难探索问题,并提高了经典模拟机器人基准测试的样本效率。
2022-09-26 cs.AI cs.LG
Designing Rewards for Fast Learning
Brown University(布朗大学)
为了向强化学习(RL)代理传达所需的行为,设计者必须为环境选择一个奖励函数,可以说这是设计者在与RL代理交互时最重要的旋钮。尽管许多奖励函数诱导相同的最佳行为(Ng等人,1999年),在实践中,其中一些导致比其他更快的学习。在本文中,我们研究了奖励设计选择如何影响学习速度,并试图确定快速诱导目标行为的良好奖励设计的原则。这个奖励识别问题被框定为一个优化问题:首先,我们主张选择基于状态的奖励,最大化的行动差距,使最佳行动容易区分从次优的。其次,我们建议尽量减少地平线的措施,我们称之为“主观折扣”,奖励需要优化,以鼓励代理作出最佳决策,减少前瞻性。为了解决这个优化问题,我们提出了一个基于线性规划的算法,有效地找到一个奖励函数,最大限度地提高行动差距,最小化主观折扣。我们使用Q-Learning在表格环境中测试了该算法产生的奖励,并以经验证明它们可以更快地学习。虽然我们只关注Q-Learning,因为它可能是最简单和最好理解的RL算法,但R-max的初步结果(Brafman和Tennenholtz,2000)表明我们的结果更普遍。我们的实验支持奖励设计的三个原则:1)与现有结果一致,惩罚每一步比奖励目标更快地诱导学习。2)当沿着目标轨迹奖励子目标时,奖励应该随着目标的接近而逐渐增加。3)在每个状态下都不为零的密集奖励只有在仔细设计时才是好的。
2022-05-30 cs.AI cs.LG
Adaptive Multi-Horizon Reinforcement Learning
研究在复杂环境中强化学习的决策问题,提出自适应多时间尺度方法,能自适应选择和组合时间范围,无需手动调折扣因子,实验证明该方法可提高参数效率及增强适应性。
2026-07-30 cs.AI cs.LG
Temporal-Logic-Based Reward Shaping for Continuing Reinforcement Learning Tasks
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon(亚马逊);Sony AI(索尼AI)
在连续任务中,平均奖励强化学习可能是一个更合适的问题制定比更常见的折扣奖励制定。像往常一样,在这种情况下学习最优策略通常需要大量的训练经验。奖励塑造是将领域知识结合到强化学习中以加速收敛到最优策略的常用方法。然而,据我们所知,奖励塑造的理论性质迄今为止只建立在贴现设置。本文提出了平均报酬学习的第一个奖励塑造框架,并证明了在标准假设下,可以恢复原始报酬函数下的最优策略。为了避免手工构造成形函数的需要,我们引入了一种利用领域知识表示为时序逻辑公式的方法。该公式自动转换为成形函数,在整个学习过程中提供额外的奖励。我们评估三个连续的任务所提出的方法。在所有情况下,与相关基线相比,整形加快了平均奖励学习率,而不会降低学习策略的性能。
2023-01-16 cs.AI cs.LG stat.ML
Infinite-Horizon Reinforcement Learning with Multinomial Logistic Function Approximation
KAIST(韩国科学技术院)
研究转移函数为MNL模型的强化学习,提出适用于平均与折扣奖励的高效值迭代算法,并给出新的遗憾上下界。
2024-10-14 cs.LG math.OC
Control Synthesis from Linear Temporal Logic Specifications using Model-Free Reinforcement Learning
Duke University(杜克大学)
本文提出一种强化学习框架,用于在未知随机环境中基于线性时序逻辑规范合成控制策略,通过无模型强化学习最大化满足LTL公式概率,确保算法收敛至最优策略。
2020-03-05 cs.AI cs.LG cs.RO
Reinforcement Learning for Classical Planning: Viewing Heuristics as Dense Reward Generators
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
强化学习(RL)的最新进展使得人们对将RL应用于经典规划域或将经典规划方法应用于某些复杂RL域的兴趣越来越大。然而,在经典规划中发现的基于长期目标的问题导致RL的回报稀疏,使得直接应用效率低下。在本文中,我们提出利用领域独立的启发式函数通常用于经典规划文献中,以提高RL的样本效率。这些经典算法充当密集奖励生成器,以缓解稀疏奖励问题,并使我们的RL代理能够学习特定于域的价值函数作为这些算法的残差,使学习更容易。正确应用这种技术需要整合RL中使用的折扣度量和物流中使用的非折扣度量。我们实现的价值函数使用神经逻辑机,一个神经网络架构接地一阶逻辑输入设计。我们在几个经典的规划域上证明,与稀疏奖励RL相比,使用RL的经典算法可以获得良好的样本效率。我们进一步表明,我们学到的价值函数推广到新的问题实例在同一领域。
2022-03-07 cs.AI cs.LG
Reward Tweaking: Maximizing the Total Reward While Planning for Short Horizons
Technion Institute of Technology(以色列理工学院)
在强化学习中,折扣因子$γ$控制智能体的有效规划范围。传统上,该参数被认为是MDP的一部分;然而,由于深度强化学习算法在有效规划范围较长时往往变得不稳定,最近的研究将$γ$称为超参数-从而改变了底层MDP,并可能导致代理在原始任务上的次优行为。在这项工作中,我们介绍了\emph{reward tweaking}。奖励调整学习用于折扣设置的代理奖励函数$\tilde r$,其在原始有限时域总奖励任务上诱导最优行为。理论上,我们证明了存在一个替代奖励,导致在原始任务的最优性,并讨论了我们的方法的鲁棒性。此外,我们在高维连续控制任务中进行了实验,结果表明,奖励调整引导代理实现更好的长期回报,尽管它计划短期回报。
2020-06-23 cs.LG stat.ML
From Optimal Actions to World Models: Identifiability of Transition Kernels in Discounted MDPs
该研究探讨折扣马尔可夫决策过程中仅从最优动作可恢复的转移概率信息,明确了不同形式奖励对转移核可识别性的影响,证明了转移核的可识别条件及相关维度特性。
2026-08-10 cs.LG
Refined Policy Improvement Bounds for MDPs
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Cornell University(康奈尔大学)
基于贴现收益差的策略改进约束是信赖域策略优化算法的理论基础。当折扣因子接近1时,现有的界导致退化界,使得TRPO和相关算法的适用性受到质疑。我们完善的结果在\cite{Schulman2015, Achiam2017},并提出了一个新的界是“连续”的折扣因子。特别是,我们的界限也适用于具有长期平均奖励的MDP。
2021-07-16 cs.AI cs.LG math.OC
Reinforcement Learning with Quasi-Hyperbolic Discounting
Indian Institute of Science(印度科学学院);Indian Institute of Technology, Bombay(印度理工学院孟买分校)
针对传统强化学习贴现框架无法刻画人类即时满足偏好的问题,提出首个求解马尔可夫完美均衡的无模型拟双曲贴现强化学习算法,经理论证明和库存系统数值验证有效,推动强化学习实际应用。
2024-09-16 cs.AI cs.LG
Reinforcement Learning with Non-Exponential Discounting
Centre for Cognitive Science(认知科学中心);Technische Universität Darmstadt(达姆施塔特工业大学)
通常在强化学习(RL)中,使用指数函数对时间偏好进行建模,从而限制预期的长期奖励。相比之下,在经济学和心理学中,已经表明人类经常采用双曲线贴现方案,当假设特定任务终止时间分布时,该方案是最优的。在这项工作中,我们提出了一个理论,连续时间基于模型的强化学习推广到任意折扣函数。该公式涵盖了存在非指数随机终止时间的情况。我们推导出一个表征最优策略的Hamilton-Jacobi-Bellman(HJB)方程,并描述了如何使用配置方法来求解该方程,该方法使用深度学习进行函数逼近。此外,我们展示了如何逆RL问题可以接近,其中一个试图恢复属性的折扣函数给定的决策数据。我们验证了我们提出的方法对两个模拟问题的适用性。我们的方法打开了顺序决策任务中的人类折扣分析的方式。
2022-12-07 cs.LG cs.SY eess.SY
Efficient Computation of Blackwell Optimal Policies using Rational Functions
IIT Bombay(印度理工学院孟买分校)
针对现有Blackwell最优(BO)策略计算算法存在的计算成本高或难以实现的问题,提出利用1附近有理函数排序的方法,为确定性MDPs提供首个强多项式时间算法,为一般MDPs提供首个亚指数时间算法,并推广策略迭代算法扩展上界。
2025-08-25 cs.AI
MDP-GRPO: Stabilized Group Relative Policy Optimization for Multi-Constraint Instruction Following
Department of Electrical and Computer Engineering, College of Engineering, University of Tehran(德黑兰大学电气与计算机工程系,工程学院);Department of Statistics, Mathematics and Computer Science, Allameh Tabataba’i University(塔巴蒂大学统计、数学与计算机科学系)
针对标准GRPO在离散低分散奖励下的不稳定性,提出MDP-GRPO,通过多温度采样、双锚优势、前景理论整形和非对称KL正则化,在FollowBench等数据集上提升严格约束满足率最高5.0%。
2026-06-04 cs.AI cs.CL cs.LG
Faster Fixed-Point Methods for Multichain MDPs
本文研究了在平均奖励准则下求解一般多链马尔可夫决策过程的值迭代算法,提出改进的导航子问题解决方法,实现更快收敛速度和更精确的复杂度度量。
2026-04-21 cs.LG math.OC stat.ML
Beyond Exponentially Discounted Sum: Automatic Learning of Return Function
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
在强化学习中,作为加权累积的未来回报的回报和作为预期回报的价值用作指导策略学习的目标。在经典RL中,回报被定义为未来回报的指数折扣总和。一个关键的见解是,可能有许多可行的方法来定义返回函数的形式(以及值),从中可以导出相同的最佳策略,但这些不同的形式可能会导致学习此策略的速度截然不同。在本文中,我们研究了如何修改返回函数的形式,以增强对最优策略的学习。我们建议使用一个通用的数学形式的返回函数,并采用元学习学习的最佳返回函数在一个端到端的方式。我们在一个专门设计的迷宫环境和几个Atari游戏上测试了我们的方法,我们的实验结果清楚地表明了在强化学习中自动学习最优返回函数的优势。
2020-10-24 cs.LG stat.ML
Hyperbolic Discounting and Learning over Multiple Horizons
Google Brain(谷歌大脑);University of Montreal (Mila)(蒙特利尔大学(米拉));CIFAR Senior Fellow(加拿大高级研究院资深研究员)
强化学习(RL)通常将折扣因子定义为马尔可夫决策过程的一部分。贴现因子的价值未来的奖励指数计划,导致理论上的贝尔曼方程的收敛保证。然而,来自心理学、经济学和神经科学的证据表明,人类和动物都有双曲线时间偏好。在这项工作中,我们重新审视了RL中折扣的基本原理,并通过实现一个通过双曲线折扣起作用的RL代理来弥合这种脱节。我们证明了一种简单的方法近似双曲折扣函数,同时仍然使用RL中熟悉的时间差学习技术。此外,独立于双曲贴现,我们令人惊讶地发现,在多个时间范围内同时学习值函数是一种有效的辅助任务,通常比基于值的强大RL代理Rainbow有所改进。
2019-02-28 cs.LG stat.ML
Reward Shaping for Reinforcement Learning with Omega-Regular Objectives
Queen’s University Belfast(贝尔法斯特女王大学);Institute of Software, CAS(中国科学院软件研究所);University of Colorado Boulder(科罗拉多大学博尔德分校);University of Liverpool(利物浦大学)
最近,已经成功地利用良好的MDP自动机(Büchi自动机与非确定性的限制形式)的无模型强化学习,一类自动机,包括良好的游戏自动机和最广泛的一类限制确定性自动机。使用这些Büchi自动机的基础是,Büchi条件,对于良好的MDP自动机,可以转化为可达性。这种翻译的缺点是,平均而言,奖励很晚才获得,这需要在学习过程中长时间的插曲。我们设计了一种新的奖励塑造方法来克服这个问题。我们表明,由此产生的模型是等价于一个有偏见的折扣,简化和改善以前的工作在这个方向上的折扣收益目标。
2020-01-16 cs.LG cs.LO
On the Global Convergence of Policy Gradient in Average Reward Markov Decision Processes
Technion - Israel Institute of Technology(以色列理工学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA Research(英伟达研究院)
本文研究无限视野平均奖励表格型 MDP 中策略梯度的全局收敛,证明其以 O(1/T) 速率收敛并得到 O(log(T)) 遗憾,同时改进折扣奖励界并通过仿真验证。
2024-03-11 cs.LG cs.SY eess.SY
Multi-Armed Bandits for Correlated Markovian Environments with Smoothed Reward Feedback
University of Washington(华盛顿大学);Harvard University(哈佛大学)
我们研究了一个多臂强盗问题在一个动态的环境中,根据马尔可夫链的手臂奖励的相关方式演变。与许多相关问题的工作不同,在我们的公式中,学习算法不能访问马尔可夫链状态的先验信息或观察,只能观察到平滑的奖励反馈后的时间间隔,我们称之为历元。我们证明了现有的方法,如UCB和$\varepsilon$贪婪可以遭受线性遗憾在这样的环境中。利用马尔可夫链上的混合时间界限,我们开发了名为EpochUCB和EpochGreedy的算法,它们从上述方法中汲取灵感,但承认问题公式的次线性遗憾保证。我们提出的算法进行的时代,其中一个手臂反复播放的迭代次数,线性增长的手臂在过去播放的次数的函数。我们分析这些算法在两种类型的平滑的奖励反馈在每个时代结束时:奖励是一个时代内的折扣奖励的折扣平均值,和奖励是一个时代内的奖励的时间平均值。
2019-03-01 cs.LG
Recursive Reward Aggregation
针对强化学习中复杂目标下奖励函数设计困难的问题,提出基于递归奖励聚合的行为对齐方法,从代数视角推导贝尔曼方程,推广折扣和至多种聚合形式,适配多类算法与场景,实验验证其能有效优化多样目标。
2025-09-04 cs.LG math.CT
Discounted Thompson Sampling for Non-Stationary Bandit Problems
School of Software Engineering(软件学院)
针对非平稳多臂老虎机问题,提出引入折扣因子的高斯先验折扣汤普森采样(DS-TS)算法,证明了其在突变与平滑变化场景下均能达到近乎最优的遗憾界,且在具备先验知识时性能优于现有先进算法。
2023-05-22 cs.LG stat.ML
A First-Occupancy Representation for Reinforcement Learning
UCL(伦敦大学学院)
动物和人工智能体都受益于状态表示,这些状态表示支持跨任务的快速学习转移,并使它们能够有效地穿越环境以达到奖励状态。后继表示(SR),它测量预期的累积,折扣状态占用下一个固定的政策,使有效的转移到不同的奖励结构,否则恒定的马尔可夫环境,并已被假设为生物行为和神经活动的基础方面。然而,在现实世界中,奖励可能会移动或仅可用于消费一次,可能会改变位置,或者代理可能只是旨在尽可能快地达到目标状态,而不受人为强加的任务范围的约束。在这种情况下,行为上最相关的表示将携带关于智能体何时可能首次到达感兴趣状态的信息,而不是在潜在的无限时间跨度内应该多久访问一次。为了反映这种需求,我们引入了第一占用表示(FR),它测量了第一次访问状态时的预期时间折扣。我们表明,FR促进探索,选择有效的路径到所需的状态,允许代理,在某些条件下,计划可证明的最佳轨迹定义的一系列子目标,并诱导类似的行为,动物避免威胁刺激。
2021-11-06 cs.AI cs.LG