Inverse Reinforcement Learning with Multiple Planning Horizons
Gladstone Institutes(格拉德斯通研究所);SEAS, Harvard University(哈佛大学工程与应用科学学院);Stanford University(斯坦福大学)
本文研究专家具有不同未知规划视野的逆强化学习问题,提出同时学习全局奖励函数和智能体特定折扣因子的算法,并刻画了可行解空间及验证了跨领域泛化能力。
2024-09-26 cs.LG
Imitation Learning in Discounted Linear MDPs without exploration assumptions
EPFL(洛桑联邦理工学院);LIONS(信息与智能系统实验室)
提出无限时域线性MDP模仿学习算法ILARL,无需探索假设,将精度依赖度降至$\mathcal{O}(ε^{-4})$,并通过对抗性在线学习联系提升有限时域至$\mathcal{O}(ε^{-2})$,数值实验验证其优越性。
2024-08-23 cs.LG
Convergence of SARSA with linear function approximation: The random horizon case
Stockholm University(斯德哥尔摩大学)
本文研究 SARSA 结合线性函数逼近在随机视野 MDP 中的收敛性,证明在 ε-soft 且关于权重向量 Lipschitz 连续、常数足够小的行为策略下,算法几乎必然收敛。
2023-06-07 cs.LG
Reinforcement Learning for Infinite-Horizon Average-Reward Linear MDPs via Approximation by Discounted-Reward MDPs
University of Michigan(密歇根大学);KAIST(韩国科学技术院)
本文针对无限期平均奖励线性MDP,提出通过折扣MDP近似结合乐观值迭代的算法,首次在无强动态假设下以多项式计算复杂度实现$\widetilde{O}(\sqrt{T})$遗憾界。
2025-03-11 cs.LG stat.ML
Thompson Sampling for Infinite-Horizon Discounted Decision Processes
Booth School of Business, The University of Chicago(芝加哥大学布斯商学院);United Airlines(美国联合航空公司);UNSW Business School, UNSW(新南威尔士大学商学院)
本文提出了一种适用于更广泛场景的学习概念,通过将折扣无限时间MDP建模为具有Borel状态和动作空间的马尔可夫决策过程,并引入新的度量标准来分析适应性学习算法,证明了汤普森采样在特定条件下能实现完全学习。
2026-09-22 cs.LG math.OC stat.ML
Infinite-Horizon Reinforcement Learning with Multinomial Logistic Function Approximation
KAIST(韩国科学技术院)
研究转移函数为MNL模型的强化学习,提出适用于平均与折扣奖励的高效值迭代算法,并给出新的遗憾上下界。
2024-10-14 cs.LG math.OC
The Number of Trials Matters in Infinite-Horizon General-Utility Markov Decision Processes
本文首次分析无限时域通用效用马尔可夫决策过程中试验次数对策略评估的影响,证明其关键作用,并给出折扣与平均情形下的理论界限及实证验证。
2025-07-01 cs.LG
Improved Sample Complexity Analysis of Natural Policy Gradient Algorithm with General Parameterization for Infinite Horizon Discounted Reward Markov Decision Processes
Purdue University(普渡大学)
针对无限时域折扣奖励马尔可夫决策过程,提出加速自然策略梯度(ANPG)算法,在一般参数化下实现$\mathcal{O}(ε^{-2})$样本复杂度和$\mathcal{O}(ε^{-1})$迭代复杂度,改进现有最优样本复杂度,且无需不可验证的IS权重方差假设。
2024-02-05 cs.AI cs.LG
Selective-Advantage Entropy-Adaptive Horizon GRPO: Asymmetric Token-Level Discounting for Efficient Reinforcement Learning of Language Models
Indian Institute of Technology (BHU)(印度理工学院(博生胡大学));Department of Computer Science, University of Illinois Chicago(伊利诺伊大学芝加哥分校计算机科学系)
提出选择性优势熵自适应视野GRPO(SA-AH-GRPO),通过非对称令牌级折扣(仅对负优势轨迹应用熵基折扣)来稳定训练并提升数学推理性能。
2026-06-03 cs.AI cs.LG
Decoupling Time and Risk: Risk-Sensitive Reinforcement Learning with General Discounting
Dept. of Mathematics and Statistics(数学与统计学系);York University(约克大学);Dept. of Mathematics(数学系);Imperial College(帝国理工学院)
本文提出了一种支持灵活折扣和风险度量优化的新型分布式强化学习框架,通过技术分析和实验验证,展示了折扣在捕捉时空和风险偏好中的重要性。
2026-11-10 cs.LG
Reward Tweaking: Maximizing the Total Reward While Planning for Short Horizons
Technion Institute of Technology(以色列理工学院)
在强化学习中,折扣因子$γ$控制智能体的有效规划范围。传统上,该参数被认为是MDP的一部分;然而,由于深度强化学习算法在有效规划范围较长时往往变得不稳定,最近的研究将$γ$称为超参数-从而改变了底层MDP,并可能导致代理在原始任务上的次优行为。在这项工作中,我们介绍了\emph{reward tweaking}。奖励调整学习用于折扣设置的代理奖励函数$\tilde r$,其在原始有限时域总奖励任务上诱导最优行为。理论上,我们证明了存在一个替代奖励,导致在原始任务的最优性,并讨论了我们的方法的鲁棒性。此外,我们在高维连续控制任务中进行了实验,结果表明,奖励调整引导代理实现更好的长期回报,尽管它计划短期回报。
2020-06-23 cs.LG stat.ML
Optimistically Optimistic Exploration for Provably Efficient Infinite-Horizon Reinforcement and Imitation Learning
本文提出一种计算高效算法,在无限 horizon 折扣线性马尔可夫决策过程(MDPs)中实现最优 regret 保证,结合乐观探索技术与正则化近似动态规划方案,达到 O(√(d³(1-γ)^(-7/2)T)) 的 regret,适用于模仿学习。
2026-03-13 cs.LG
Time-Uniform Self-Normalized Concentration for Discounted Least Squares: Limits and Corrections
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
本文针对折扣最小二乘的时间一致自归一化集中性,指出现有加权扩展的证明错误,修正了有限与无限时间的边界,为相关强化学习等下游分析提供了理论基础。
2026-08-21 cs.LG stat.ML
Safe Reinforcement Learning using Finite-Horizon Gradient-based Estimation
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);The State Key Lab of Brain-Machine Intelligence, Zhejiang University(浙江大学脑机智能国家重点实验室);Center for AI Safety and Governance, Peking University(北京大学人工智能安全与治理中心)
本文提出基于梯度的估计方法(GBE)及约束梯度策略优化(CGPO),解决有限时域非折扣约束下安全强化学习的约束估计问题,确保策略更新的安全与可行。
2024-12-15 cs.AI cs.LG
Non-stationary and Varying-discounting Markov Decision Processes for Reinforcement Learning
Dept. of ISE, the Ohio State University(工业与系统工程系,俄亥俄州立大学)
本文提出非平稳和变折扣 MDP 框架,解决强化学习中非平稳性和变折扣问题,通过理论分析和实验证明其有效性。
2025-12-02 cs.LG math.OC stat.ML
Policy Gradient Primal-Dual Method for Safe Reinforcement Learning from Human Feedback
本文提出两种无需奖励模型拟合的Safe RLHF算法,将安全RLHF建模为无限 horizon 折扣约束马尔可夫决策过程,并保证了全局收敛性。
2026-04-21 cs.LG
Value-Biased Maximum Likelihood Estimation for Model-based Reinforcement Learning in Discounted Linear MDPs
National Yang Ming Chiao Tung University(国立阳明交通大学);Texas A&M University(德州农工大学)
针对线性MDPs中基于回归的方法计算效率低的问题,提出使用VBMLE方法,证明其具有$\widetilde{O}(d\sqrt{T})$遗憾且每步仅需一次优化,显著提升了计算效率并优于基准方法。
2023-10-17 cs.LG
CGAR: Critic Guided Action Redistribution in Reinforcement Leaning
Beihang University(北京航空航天大学);Baidu Research(百度研究院);Peking University(北京大学)
训练一个玩游戏的强化学习代理需要与环境进行多次交互。无知的随机探索可能会造成时间和资源的浪费。减少这种浪费是至关重要的。如本文所讨论的,在离线政策演员评论家算法的设置下,我们证明了评论家可以带来更多的预期折扣奖励比或至少等于演员。因此,由批评者预测的Q值是重新分配最初从由行动者预测的策略分布中采样的动作的更好的信号。本文介绍了新的评论家引导动作重分布(CGAR)算法,并在OpenAI MuJoCo任务上进行了测试。实验结果表明,该方法提高了样本效率,达到了最先进的性能。我们的代码可以在https://github.com/tairanhuang/CGAR上找到。
2022-06-23 cs.LG
Discount Factor as a Regularizer in Reinforcement Learning
Technion - Israel Institute of Technology(以色列理工学院);Microsoft Research(微软研究院)
强化学习(RL)任务涉及选择合适的规划范围,其通常由折扣因子建模。众所周知,应用具有较低折扣因子的RL算法可以充当正则化器,从而提高有限数据状态下的性能。然而这个正则化子的确切性质还没有被研究过。在这项工作中,我们填补了这一空白。对于几种时间差(TD)学习方法,我们显示了使用减少的折扣因子和在算法的损失中添加显式正则化项之间的显式等价性。出于等效性的动机,我们经验性地研究这种技术相比,标准的$L_2$正则化广泛的实验,在离散和连续域,使用表格和功能表示。我们的实验表明,正则化的有效性与可用数据的属性密切相关,例如大小,分布和混合率。
2020-07-04 cs.AI cs.LG stat.ML
AdaGamma: State-Dependent Discounting for Temporal Adaptation in Reinforcement Learning
School of Data Science, The Chinese University of Hong Kong, Shenzhen(数据科学学院,香港中文大学(深圳))
AdaGamma通过学习状态依赖折扣函数和回报一致性目标,改进了深度强化学习中的状态依赖折扣方法,在连续控制基准和京东物流平台实现显著提升。
2026-10-14 cs.AI cs.LG
Separating value functions across time-scales
MILA(蒙特利尔学习算法研究所);McGill University(麦吉尔大学);Facebook AI Research(Facebook人工智能研究院);Stanford University(斯坦福大学);Université de Montréal(蒙特利尔大学)
在许多有限时域情景强化学习(RL)设置中,期望针对未贴现回报设置进行优化,例如Atari,目标是在长期生存的同时收集最多的点。然而,用数学方法学习这个目标可能很困难(甚至是棘手的)。因此,时间折扣通常用于在较短的有效规划范围内进行优化。这有可能使优化目标偏离未贴现目标的风险。在这种偏差不可接受的设置中-系统必须以更高的折扣优化更长的时间范围-价值函数近似器的目标可能会增加方差,导致学习困难。我们提出了一种扩展的时间差(TD)学习,我们称之为TD($Δ$),它将一个值函数分解为一系列组件的基础上的差异价值函数具有较小的折扣因子。将较长范围的价值函数分离为这些组件在可伸缩性和性能方面具有有用的特性。我们讨论了这些属性,并在某些设置中显示了理论和经验上的改进,超过标准TD学习。
2019-05-24 cs.AI cs.LG stat.ML
The Geometry of Memoryless Stochastic Policy Optimization in Infinite-Horizon POMDPs
Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学研究所);UCLA(加州大学洛杉矶分校)
考虑了有限状态空间和有限动作空间的无限时域部分可观测马尔可夫决策过程(POMDP)在折扣或平均报酬准则下的最佳无记忆随机策略问题.我们表明,(折扣)的状态动作频率和预期的累积奖励是有理函数的政策,其中的程度是由部分可观的程度。然后,我们描述的最优化问题作为一个线性最优化问题在空间中的可行状态动作频率的多项式约束,我们明确的特点。这使我们能够解决组合和几何复杂性的最优化问题使用最近的工具,从多项式优化。特别是,我们估计的临界点的数量,并使用奖励最大化的多项式规划描述,以解决在网格世界中的导航问题。
2022-04-29 cs.LG math.AG math.OC
Optimal Sample Complexity of Stable Discounted Markov Decision Processes
Stanford University(斯坦福大学)
本文研究折扣马尔可夫决策过程表格强化学习的最优样本复杂度,利用方差缩减Q学习框架,证明在稳定性结构下Q函数估计和策略学习的前导复杂度为$\widetilde\Theta(H(1-\gamma)^{-2}\epsilon^{-2})$,并揭示估计与控制间的分离。
2026-09-22 cs.LG math.OC stat.ML
The Unintended Consequences of Discount Regularization: Improving Regularization in Certainty Equivalence Reinforcement Learning
Harvard University(哈佛大学);Imperial College London(帝国理工学院)
本文揭示折扣正则化等价于对转移矩阵施加特定先验,导致数据不均时性能下降,并提出按状态-动作对局部设置正则化参数的改进方法。
2023-06-20 cs.AI cs.LG stat.ML
Exponential Lower Bounds for Planning in MDPs With Linearly-Realizable Optimal Action-Value Functions
DeepMind;University College London(伦敦大学学院);University of Illinois(伊利诺伊大学);University of Alberta(阿尔伯塔大学)
我们认为,在固定的地平线和折扣马尔可夫决策过程(MDP)与线性函数逼近和生成模型的假设下,最佳的行动价值函数在于一个功能地图,可供规划器的跨度的局部规划问题。以前的工作留下了开放的问题,是否存在健全的规划,只需要多(H,d)查询,而不管MDP,其中H是地平线和d是维数的功能。我们回答这个问题是否定的:我们表明,任何健全的规划必须查询至少$\min(\exp(Ω(d)), Ω(2^H))$样本中的固定水平设置和$\exp(Ω(d))$样本中的折扣设置。我们还表明,对于任何$δ>0$,最小二乘值迭代算法与$O(H^5d^{H+1}/δ^2)$查询可以计算一个$δ$最优的政策,在固定的地平线设置。我们讨论的影响和剩余的开放问题。
2021-02-15 cs.AI cs.LG stat.ML
Q-learning with Uniformly Bounded Variance: Large Discounting is Not a Barrier to Fast Learning
Department of EE, Stanford University(斯坦福大学电气工程系);Department of ECE, University of Florida(佛罗里达大学电气与计算机工程系)
样本复杂度界限是强化学习文献中常见的性能度量。在贴现成本、无限范围设置中,所有已知的界限都有一个因子,该因子是$1/(1-γ)$中的多项式,其中$γ< 1$是贴现因子。对于一个大的折扣因子,这些界限似乎意味着,需要非常大量的样本,以实现$\varepsilon$最优的政策。目前的工作的目的是引入一类新的算法,具有样本的复杂性一致有界的所有$γ< 1$。有人可能会说,这是不可能的,因为最近的最小-最大下限。解释是,这个以前的下限是一个特定的问题,我们修改,而不损害的最终目标,获得一个$\varepsilon$最优的政策。具体来说,我们表明,Q-学习算法的渐近协方差与优化的步长序列是一个二次函数的$1/(1-γ)$,预期的,基本上是已知的结果。本文提出的新的相对Q-学习算法在$1/(1- ρ^* γ)$中具有二次的渐近协方差,其中$1 - ρ^* > 0$是最优转移矩阵的谱间隙上界。
2020-07-07 cs.LG cs.SY eess.SY
RASR: Risk-Averse Soft-Robust MDPs with EVaR and Entropic Risk
University of New Hampshire(新罕布什尔大学);Google Research(谷歌研究院);Facebook(脸书)
针对以往安全强化学习分别处理两类不确定性的局限,提出结合风险厌恶与软鲁棒的RASR框架,用时变风险水平的动态规划高效求解最优策略,实验验证其在多风险指标下有效缓解不确定性。
2022-09-14 cs.AI cs.LG
On the Use of Non-Stationary Policies for Stationary Infinite-Horizon Markov Decision Processes
Inria(法国国家信息与自动化研究所)
我们考虑无限时域平稳$γ$折扣马尔可夫决策过程,它是已知的,存在一个平稳的最优策略。使用在每次迭代时具有一些误差$ε$的值和策略迭代,众所周知,可以计算$\frac{2γ}{(1-γ)^2}ε$最优的固定策略。在认为这种保证是紧的,我们开发的变化值和政策迭代计算非平稳的政策,可以达到$\frac{2γ}{1-γ}ε$ -最优的,这构成了一个显着的改善通常情况下,当$γ$接近1。令人惊讶的是,这表明“计算近最优非平稳策略”的问题比“计算近最优平稳策略”的问题简单得多。
2012-11-29 cs.AI cs.LG
Predicting Periodicity with Temporal Difference Learning
University of Alberta(阿尔伯塔大学)
时间差分(TD)学习是强化学习中的一种重要方法,因为它结合了动态规划和蒙特卡罗方法的思想,允许在线和增量无模型学习。TD学习的一个关键思想是,它以价值函数的形式学习有关环境的预测知识,从中可以导出其行为以解决长期顺序决策问题。代理的兴趣范围,即TD学习代理预测未来的即时或长期程度,通过贴现率参数进行调整。在本文中,我们介绍了另一种观点的贴现率,从数字信号处理的洞察力,包括复值贴现。我们的研究结果表明,将贴现率设置为适当选择的复数,可以通过TD学习在线和增量估计感兴趣信号的离散傅里叶变换(DFT)。因此,我们扩展了知识的类型表示的价值函数,我们发现是特别有用的识别周期性的奖励序列的影响。
2018-09-20 cs.AI cs.LG eess.SP
Issues concerning realizability of Blackwell optimal policies in reinforcement learning
N-折扣最优性是作为政策和价值函数最优性的一种层次形式引入的,布莱克威尔最优性位于层次结构的顶层。我们形式化近视折扣因子,价值函数和政策的概念,在MDPs的Blackwell最优性,我们提供了一个新的概念,后悔,称为Blackwell后悔,措施的遗憾相比,Blackwell最优政策。我们的主要分析集中在长期的MDPs稀疏奖励。我们发现,选择折扣因子下,零布莱克威尔遗憾可以实现变得任意困难。此外,即使利用可以实现Blackwell无遗憾价值函数的这种折扣因子的预言知识,$ε$ -Blackwell最优价值函数甚至可能不是增益最优的。与这类问题的困难进行了讨论,和政策差距的概念被定义为一个给定的政策和任何其他政策,不同的状态之间的预期收益的差异,我们证明了某些属性与此差距。最后,我们提供了实验结果,进一步支持我们的理论结果。
2019-05-20 cs.AI cs.LG stat.ML
Behavior-Guided Actor-Critic: Improving Exploration via Learning Policy Behavior Representation for Deep Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Higher Institute for Applied Sciences and Technology(应用科学与技术高等学院)
在这项工作中,我们提出了行为指导的演员-评论家(BAC),一个非策略演员-评论家深度RL算法。BAC通过自动编码器精确估计每个状态-动作对的访问频率,同时考虑在确定策略产生的轨迹中起关键作用的状态动态,从而在数学上制定策略的行为。鼓励智能体不断地改变其行为,以减少访问的状态-动作对,同时通过最大化预期的奖励折扣总和来实现良好的性能,从而有效地探索环境并充分利用所有高奖励区域。我们方法的一个突出方面是,与最大熵深度强化学习算法相比,它适用于随机和确定性参与者。结果表明,BAC的性能比几个前沿的学习算法。
2021-04-09 cs.AI cs.LG
Performance Bounds for Policy-Based Average Reward Reinforcement Learning Algorithms
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文针对平均奖励强化学习算法,通过首次推导出平均奖励MDP的有限时间误差界限,解决了现有理论界限趋于无穷大的问题,并证明了当策略评估和改进误差趋于零时渐近误差趋于零。
2023-06-27 cs.LG cs.SY eess.SY
Intrinsic Language-Guided Exploration for Complex Long-Horizon Robotic Manipulation Tasks
School of Informatics, The University of Edinburgh(爱丁堡大学信息学院);University College London(伦敦大学学院)
针对稀疏奖励下复杂长周期机器人操作任务的强化学习探索难题,提出IGE-LLMs框架,用大语言模型作内在奖励引导探索,实验证明其性能更优、模块化强、参数鲁棒性好。
2024-03-07 cs.CL cs.LG cs.RO
Learning-Guided Rolling Horizon Optimization for Long-Horizon Flexible Job-Shop Scheduling
MIT(麻省理工学院)
针对长周期柔性作业车间调度等组合优化问题中滚动时域优化存在冗余计算的问题,提出首个学习引导的L-RHO框架,通过神经网络固定无需重优化的变量缩小子问题规模,在提速最高54%的同时提升解质量,且具备良好泛化性并附理论分析。
2025-02-18 cs.AI cs.LG math.OC