A Temporal-Difference Approach to Policy Gradient Estimation
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
策略梯度定理（Sutton等人，2000）规定了在目标策略下使用累积贴现状态分布来近似梯度。基于该定理的大多数算法在实践中打破了这一假设，引入了可能导致收敛到差解的分布偏移。在本文中，我们提出了一种新的方法，重建的策略梯度从开始状态，而不需要一个特定的采样策略。这种形式的策略梯度计算可以根据梯度临界点来简化，由于新的梯度Bellman方程，可以递归地估计梯度临界点。通过使用时间差更新的梯度评论家从一个关闭的政策数据流，我们开发的第一个估计，回避了分布偏移的问题，在一个无模型的方式。我们证明，在一定的可实现性条件下，我们的估计是无偏的，无论抽样策略。我们的经验表明，我们的技术实现了优越的偏差方差权衡和性能的存在下，关闭政策的样本。
2022-07-07 cs.AI cs.LG
Simultaneous Perturbation Algorithms for Batch Off-Policy Search
University of Liège（列日大学）；INRIA Lille - Nord Europe（法国里尔-北欧信息与自动化研究所）
我们提出了新的政策搜索算法的背景下，关闭政策，批处理模式强化学习（RL）与连续的状态和动作空间。给定批量收集的轨迹，我们使用类似于[Fonteneau等人，2010年]。使用这种蒙特卡洛策略评估器，我们执行政策搜索一类参数化的政策。我们提出了一阶策略梯度和二阶策略牛顿算法。我们所有的算法都结合了同时扰动估计的梯度以及Hessian的成本去向量，因为后者是未知的，只有偏估计。我们在一个简单的一维连续状态空间问题上证明了它们的实用性。
2014-03-31 cs.LG math.OC
Not only where, But when: Temporal Scheduling for RLVR
University of Science and Technology of China（中国科学技术大学）；Shanghai Innovation Institute（上海创新研究院）；Wuhan University（武汉大学）
针对强化学习可验证奖励（RLVR）中忽略策略行为异质性的问题，提出时间调度方法，通过动态调整信用分配标准来优化学习动态，实验表明该方法能提升训练稳定性和效率。
2026-05-25 cs.LG
On Convergence of Emphatic Temporal-Difference Learning
University of Alberta（阿尔伯塔大学）
我们考虑有限空间折扣马尔可夫决策过程中的策略评估的时间差分学习算法。这种算法最近由Sutton，Mahmood和White（2015）提出，作为线性函数近似的离线时间差学习发散问题的改进解决方案。本文给出了ETD（$λ$）和ELSTD（$λ$）两个并行算法的第一个收敛性证明.我们证明了，在一般的关闭政策条件下，在$L^1$的ELSTD（$λ$）迭代的收敛性，和几乎必然收敛的近似价值函数计算的两个算法使用一个无限长的轨迹。我们的分析涉及新的技术与应用程序超出了算法的引导，例如，第一个证明标准TD（$λ$）也收敛下的政策培训$λ$足够大。
2017-12-28 cs.LG
Explainable Reinforcement Learning via Temporal Policy Decomposition
Ericsson Research（爱立信研究院）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Boston University（波士顿大学）
本文提出时间策略分解TPD，通过固定时间范围时序差分的离策略学习将价值函数分解为各步EFO，为RL动作提供准确、对比性的时间解释并辅助奖励函数微调。
2025-01-07 cs.AI cs.LG
Reinforcement Learning with Policy Mixture Model for Temporal Point Processes Clustering
Shanghai Jiao Tong University（上海交通大学）；Georgia Institute of Technology（佐治亚理工学院）
时间点过程是一种描述时间上事件序列的表达工具。在本文中，我们采取了强化学习的观点，即假设所观察到的序列是从潜在的政策的混合物中产生的。其目的是在学习每个策略模型的同时，将具有不同时间模式的序列聚类到底层策略中。该模型的灵活性在于：（1）模型的所有组成部分都是网络，包括用于建模时间点过程强度函数的策略网络; ii）为了处理变长的事件序列，我们通过将观察到的序列分解成状态来求助于逆强化学习（RNN隐藏嵌入历史）和动作（到下一个事件的时间间隔）为了学习奖励函数，从而与在整个序列上使用诸如对数似然或Wasserstein距离的奖励的现有方法相比，实现更好的性能或增加的效率。我们采用期望最大化框架，E步估计每个序列的聚类标签，M步旨在学习相应的策略。大量的实验表明，我们的方法对国家的最先进的功效。
2019-06-28 cs.AI cs.LG stat.ML
Adaptive Temporal-Difference Learning for Policy Evaluation with Per-State Uncertainty Estimates
DeepMind（深度思维）；Google Research（谷歌研究院）；Universitat Pompeu Fabra（庞培法布拉大学）
我们考虑的核心学习问题的政策价值函数近似从一批轨迹数据，并专注于各种问题的时间差分（TD）学习和蒙特卡洛（MC）政策评估。已知这两种方法可实现互补的偏差-方差权衡特性，其中TD倾向于实现较低的方差但可能较高的偏差。在本文中，我们认为，较大的偏差TD可以是一个结果的放大局部近似误差。我们解决这个问题，提出了一种算法，自适应切换TD和MC在每个状态，从而减轻传播的错误。我们的方法是基于学习的置信区间，检测偏差的TD估计。我们在各种政策评估任务中证明，这种简单的自适应算法在事后看来与最佳方法具有竞争力，这表明学习的置信区间是一种强大的技术，用于调整政策评估，以数据驱动的方式使用TD或MC回报。
2019-06-19 cs.AI cs.LG stat.ML
Function-Space Temporal Self-Distillation for Policy Optimization
Indian Institute of Technology Kanpur（坎普尔印度理工学院）
本文针对强化学习策略优化中自蒸馏目标不稳定的问题，提出函数空间策略优化（FSPO）框架，在5小时训练预算下于推理与工具使用基准中实现最高平均准确率，较最强基线提升约4个百分点并降低峰值内存。
2026-10-15 cs.AI cs.CL cs.LG
Joint Learning of Policy with Unknown Temporal Constraints for Safe Reinforcement Learning
West Virginia University（西弗吉尼亚大学）；Rochester Institute of Technology（罗切斯特理工学院）
针对强化学习安全约束未知或未明确定义的问题，提出联合学习安全约束与最优策略的框架，结合逻辑约束RL与进化算法合成STL规范，有收敛性与误差界理论保证，网格世界实验验证有效。
2023-04-30 cs.LG cs.SY eess.SY
Investigating practical linear temporal difference learning
Indiana University（印第安纳大学）
非策略强化学习有许多应用，包括：从演示中学习示教学习，并行学习多目标搜索策略，以及表示预测知识。最近出现了大量新的策略评估算法，填补了强化学习中长期存在的算法空白：将鲁棒性与非策略采样、函数逼近、线性复杂度和时间差（TD）更新相结合。本文包含两个主要贡献。首先，我们推导出两个新的混合TD政策评估算法，填补了这一系列算法的空白。其次，我们进行了实证比较，得出这些新的线性TD方法应首选在不同的情况下，并提出具体的建议，实际使用。
2016-03-31 cs.AI cs.LG stat.ML
TGPO: Temporal Grounded Policy Optimization for Signal Temporal Logic Tasks
Massachusetts Institute of Technology（麻省理工学院）
针对STL任务非马尔可夫、奖励稀疏导致标准RL难求解的问题，提出分层的TGPO方法，将STL分解为带时间子目标与约束，结合评判器引导的时序搜索提升效率，在多类任务中成功率较最优基线平均提升31.6%。
2025-09-30 cs.AI cs.LG cs.LO
Exploiting Hybrid Policy in Reinforcement Learning for Interpretable Temporal Logic Manipulation
University of Science and Technology of China（中国科学技术大学）；Chongqing University（重庆大学）；Hunan University（湖南大学）
本文提出时序逻辑引导的混合策略框架HyTL，通过LTL编码任务规范并结合三层决策结构，提升长时程机器人操作的采样效率、性能与可解释性。
2024-12-29 cs.AI cs.LG cs.RO
Temporal Second Difference Traces
University of Michigan（密歇根大学）
Q学习是一种可靠但低效的非策略时间差方法，每次只支持一步奖励。使用近因启发法替换跟踪更有效，但可靠性较低。在这项工作中，我们介绍了无模型，非政策的时间差方法，更好地利用经验比沃特金斯的Q（λ）。我们引入了乐观Q（λ）和时间二阶差分迹（TSDT）。TSDT在确定性领域中特别强大。TSDT既不使用新近度也不使用频率分类，而是存储（s，a，r，s '，δ），以便在采取明显次优的动作之后可以执行非策略更新。在使用状态抽象时，如在MAXQ中，还有其他优点。我们证明了TSDT在确定性悬崖行走域中明显优于Q学习和Watkins的Q（λ）。噪声悬崖行走域中的结果对于TSDT来说不太有利，但证明了乐观Q（λ）的有效性，这是一种具有TSDT一些优点的替代迹线。
2011-04-24 cs.LG
An Adiabatic Theorem for Policy Tracking with TD-learning
University of Manchester（曼彻斯特大学）
我们评估了时间差异学习跟踪策略的奖励函数随时间变化的能力。我们的结果应用了一个新的绝热定理，边界的时间非齐次马尔可夫链的混合时间。当用于训练的策略随时间变化时，我们推导出表格时间差学习和$Q$学习的有限时间界限。为了实现这一点，我们开发的异步绝热更新下的随机逼近的界限。
2020-10-30 cs.AI cs.LG math.PR
Off-Policy Reinforcement Learning with Loss Function Weighted by Temporal Difference Error
KAIST（韩国科学技术院）；Institute for Basic Science（基础科学研究院）
通过离线深度强化学习（RL）训练智能体需要一个大的存储器，称为重放存储器，存储用于学习的过去经验。这些经验被均匀或非均匀地采样，以创建用于训练的批次。当计算损失函数时，非策略算法假设所有样本具有相同的重要性。在本文中，我们假设，培训可以通过分配不同的重要性，每个经验的基础上，他们的时间差（TD）的错误直接在培训目标。我们提出了一种新的方法，在学习阶段计算损失函数时，为每个经验引入一个加权因子。除了在与均匀采样一起使用时提高收敛速度之外，该方法还可以与用于非均匀采样的优先化方法相结合。将所提出的方法与优先级方法相结合，提高了采样效率，同时提高了基于TD的离线RL算法的性能。在OpenAI Gym套件的六个环境中进行的实验证明了所提出方法的有效性。实验结果表明，该方法在三种环境下收敛速度降低了33%~76%，在其他三种环境下返回率提高了11%，成功率提高了3%~10%.
2022-12-26 cs.AI cs.LG
Statistically Efficient Off-Policy Policy Gradients
Cornell University（康奈尔大学）；Harvard University（哈佛大学）
强化学习中的策略梯度方法通过在策略值的估计梯度的方向上采取步骤来更新策略参数。在本文中，我们考虑统计有效的估计政策梯度从政策外的数据，估计是特别不平凡的。我们推导出可行的均方误差在马尔可夫和非马尔可夫决策过程的渐近下界，并表明现有的估计无法实现它在一般设置。我们提出了一个元算法，实现了下界没有任何参数假设，并表现出独特的3路双鲁棒性。我们讨论了如何估计算法所依赖的干扰。最后，我们建立保证的速度，我们接近一个稳定的点，当我们采取步骤，我们的新估计的政策梯度的方向。
2020-02-20 cs.LG math.OC stat.ML
Neural Temporal-Difference and Q-Learning Provably Converge to Global Optima
Northwestern University（西北大学）；Princeton University（普林斯顿大学）
时间差学习（TD）与神经网络相结合，是深度强化学习最基本的构建模块之一。然而，由于价值函数逼近的非线性，这种耦合会导致优化问题的非凸性，甚至发散。因此，神经TD的全局收敛性仍然不清楚。在本文中，我们证明了第一次，神经TD收敛在一个次线性的速度到全局最优的均方投影贝尔曼误差的政策评估。特别是，我们展示了这种全局收敛是如何通过神经网络的过参数化来实现的，这也在神经TD的经验成功中起着至关重要的作用。除了政策评估，我们建立了神经（软）Q-学习，这是进一步连接到策略梯度算法的全局收敛。
2020-04-15 cs.AI cs.LG math.OC
TAAC: Temporally Abstract Actor-Critic for Continuous Control
Horizon Robotics（地平线机器人）
我们提出了时间抽象的演员-评论家（TAAC），一个简单但有效的离线策略强化学习算法，将闭环时间抽象到演员-评论家框架。TAAC添加了第二阶段的二元策略，用于在先前的操作和参与者输出的新操作之间进行选择。至关重要的是，它的“act-or-repeat”决定取决于实际采样的动作，而不是演员的预期行为。这种后作用切换方案让整体策略做出更明智的决策。TAAC有两个重要的特性：a）持久的探索，以及b）一个新的比较通过Q操作符，用于多步TD备份，专门针对动作重复场景。我们证明了TAAC的优势，在几个强大的基线在14个连续的控制任务。我们令人惊讶的发现表明，在实现最佳性能的同时，TAAC能够“挖掘”大量的重复动作，即使是在表面上的问题结构似乎排斥动作重复的连续任务上，也能使用经过训练的策略。这表明，除了鼓励持续探索，行动重复可以在良好的政策行为中找到自己的位置。代码可在https://github.com/hnyu/taac上获得。
2021-10-11 cs.AI cs.LG cs.RO
Reinforcement Learning of Control Policy for Linear Temporal Logic Specifications Using Limit-Deterministic Generalized Büchi Automata
Osaka University（大阪大学）
这封信提出了一种新的强化学习方法的控制策略的合成满足控制规范描述的线性时序逻辑公式。我们假设被控系统是由一个马尔可夫决策过程（MDP）。我们将规范转换为一个有限确定性的广义Büchi自动机（LDGBA）与几个接受集，接受所有满足公式的无限序列。LDGBA被扩充，以便它明确地记录对接受集的先前访问。我们取一个增强的LDGBA和MDP的乘积，在此基础上定义一个奖励函数。只要状态转换在接受集合中，并且在一定数量的步骤中没有被访问，代理就会获得奖励。因此，稀疏的奖励是放松和接受集之间的最佳循环学习。我们表明，所提出的方法可以学习最优的政策时，折扣因子是足够接近。
2020-03-26 cs.AI cs.LG cs.LO
Transductive Off-policy Proximal Policy Optimization
Peking University（北京大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Tsinghua University（清华大学）
本文提出转导式离策略PPO（ToPPO），通过理论下界与高效优化机制扩展PPO以利用离策略数据，并在六个任务上验证其优异性能。
2026-10-14 cs.LG
The Sufficiency of Off-Policyness and Soft Clipping: PPO is still Insufficient according to an Off-Policy Measure
Jilin University（吉林大学）；University of Alberta（阿尔伯塔大学）；Northwestern Polytechnical University（西北工业大学）；Ministry of Education, China（中国教育部）；Alberta Machine Intelligence Institute, University of Alberta（阿尔伯塔大学阿尔伯塔机器智能研究所）
流行的近端策略优化（PPO）算法在裁剪的策略空间中近似解。在这个领域之外是否存在更好的政策？通过使用一个新的代理目标，采用sigmoid函数（这提供了一种有趣的探索方式），我们发现答案是“是”，更好的策略实际上位于离裁剪空间很远的地方。我们表明，PPO是不够的“关闭policyness”，根据关闭政策的指标称为DEON。我们的算法在比PPO大得多的策略空间中进行探索，并且在训练期间比PPO更好地最大化保守策略迭代（CPI）目标。据我们所知，目前所有的PPO方法都有裁剪操作，并在裁剪的策略空间中进行优化。本文的方法是这类方法中的第一个，它推进了对CPI优化和策略梯度方法的理解。代码可在https://github.com/raincchio/P3O上获得。
2022-12-03 cs.LG
Fractional Policy Gradients: Reinforcement Learning with Long-Term Memory
Department of Computer Engineering, Zeal College of Engineering and Research（计算机工程系，Zeal工程与研究学院）
本文提出分数阶策略梯度（FPG）框架，利用Caputo分数阶导数建模状态转移间的幂律长程相关性，通过高效递归计算实现恒定时间与内存开销，在保持收敛的同时显著降低方差并提升样本效率。
2025-06-29 cs.LG stat.ML
TS-DP: Reinforcement Speculative Decoding For Temporal Adaptive Diffusion Policy Acceleration
Tsinghua University（清华大学）
TS-DP通过强化学习和时间适应性方法，提升扩散策略在具身任务中的推理效率和准确性。
2026-10-28 cs.AI cs.LG
Coordinate Ascent for Off-Policy RL with Global Convergence Guarantees
National Yang Ming Chiao Tung University（阳明交通大学）；Meta AI
我们从坐标上升的角度重新审视了RL中的非策略优化域。一种常用的方法是利用偏离策略的策略梯度来优化代理目标--目标策略的预期回报相对于行为策略的状态分布的总折扣。然而，这种方法已被证明遭受分布失配问题，因此需要通过状态分布校正或反事实方法来校正这种失配。在本文中，我们重新思考离策略学习通过协调上升策略优化（CAPO），脱离策略的演员-评论家算法，从行为策略的状态分布，而不使用策略梯度的策略改进。这种设计消除了在非策略策略梯度的策略改进步骤中对分布校正或重要性采样的需要。我们建立了全局收敛的一般坐标选择的CAPO，然后进一步量化的几个实例的CAPO流行的坐标选择规则，包括循环和随机变量的CAPO的收敛速度。然后，我们将CAPO扩展到神经政策，以实现更实际的实施。通过实验，我们证明了CAPO在实践中为RL提供了一种有竞争力的方法。
2022-12-10 cs.LG
Modular Deep Reinforcement Learning with Temporal Logic Specifications
University of Oxford（牛津大学）
我们提出了一个演员批评，无模型，和在线强化学习（RL）框架的连续状态连续动作马尔可夫决策过程（MDP）时，奖励是高度稀疏的，但包括一个高层次的时间结构。我们表示这个时间结构的有限状态机和构建一个在飞行中的同步产品与MDP和有限机。时间结构作为产品内的RL代理的指南，其中提出了模块化深度确定性策略梯度（DDPG）架构来生成低级控制策略。我们评估我们的框架在火星探测器实验中，我们提出的合成政策的成功率。
2019-11-22 cs.AI cs.LG cs.LO
Q-Prop: Sample-Efficient Policy Gradient with An Off-Policy Critic
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Brain（谷歌大脑）；DeepMind；UC Berkeley（加州大学伯克利分校）；Uber AI Labs（优步人工智能实验室）
无模型深度强化学习（RL）方法在各种模拟领域都取得了成功。然而，深度RL在现实世界中面临的一个主要障碍是它们的高样本复杂性。批量策略梯度方法提供稳定的学习，但代价是高方差，这通常需要大批量。TD风格的方法，如非策略行动者-批评者和Q学习，样本效率更高，但存在偏差，并且通常需要昂贵的超参数扫描来稳定。在这项工作中，我们的目标是开发的方法，结合稳定的策略梯度的效率的政策外RL。我们提出了Q-Prop，一个策略梯度方法，使用泰勒展开的关闭政策的批评作为控制变量。Q-Prop是样本高效和稳定的，并有效地结合了政策和政策外方法的优点。我们分析了Q-Prop和现有无模型算法之间的联系，并利用控制变量理论推导出两种具有保守和积极适应性的Q-Prop变体。我们表明，保守的Q-Prop在样本效率方面比具有广义优势估计（GAE）的信赖域策略优化（TRPO）有很大的提高，并在OpenAI Gym的MuJoCo连续控制环境中提高了深度确定性策略梯度（DDPG）的稳定性，DDPG是最先进的策略和策略外方法。
2017-02-27 cs.LG
Projected Off-Policy Q-Learning (POP-QL) for Stabilizing Offline Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
针对离线强化学习中的分布偏移问题，提出了一种新型 actor-critic 算法 POP-QL，通过同时重加权离策略样本和约束策略来防止发散并降低误差，在标准基准和次优数据收集任务中表现优异。
2023-11-25 cs.LG
A Non-Monolithic Policy Approach of Offline-to-Online Reinforcement Learning
Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所（AAII））；University of Technology Sydney（悉尼科技大学）；Visualisation Institute（可视化研究所）
针对现有离线到在线强化学习方法过度探索导致在线策略学习不足的问题，提出一种非整体式探索的新方法，在不修改离线策略的前提下协调其利用优势与在线策略的探索优势，性能优于PEX方法。
2024-10-31 cs.LG
Model-Based Offline Meta-Reinforcement Learning with Regularization
Arizona State University（亚利桑那州立大学）；The Ohio State University（俄亥俄州立大学）
现有的离线强化学习（RL）方法面临着一些主要的挑战，特别是学习策略和行为策略之间的分布变化。离线元强化学习正在成为解决这些挑战的一种有前途的方法，旨在从一系列任务中学习信息元策略。然而，正如我们的实证研究所示，离线元RL可以在具有良好数据集质量的任务上优于离线单任务RL方法，这表明必须在通过遵循元策略来“探索”分布外状态动作和通过接近行为策略来“利用”离线数据集之间进行微妙的平衡。受这种实证分析的启发，我们探索了基于模型的离线Meta-RL与正则化策略优化（MerPO），它学习了一个元模型，用于有效的任务结构推理和一个信息元策略，用于安全探索分布外的状态动作。特别是，我们设计了一个新的元正则化的基于模型的演员-评论（RAC）的方法内的任务政策优化，作为MerPO的关键组成部分，使用保守的政策评估和正则化的政策改进;和内在的权衡，其中实现了通过两个正则化之间的正确平衡，一个基于行为的政策和其他的元政策。我们从理论上表明，学习的政策提供了保证改善的行为政策和元政策，从而确保通过离线元RL的新任务的性能提高。实验证实了MerPO优于现有离线Meta-RL方法的性能。
2022-07-13 cs.LG
Off-Policy Actor-Critic
INRIA（法国国家信息与自动化研究所）；ENSTA-ParisTech（巴黎高科国立高等先进技术学校）；University of Alberta（阿尔伯塔大学）
本文提出了第一个用于非策略强化学习的行动者-批评者算法。我们的算法是在线和增量的，其每时间步的复杂度与学习的权重的数量呈线性关系。以前的行动者-评论家算法的工作仅限于对政策的设置，并没有利用最近的进展，关闭策略梯度时间差学习。诸如Greedy-GQ之类的非策略技术使得能够在遵循另一个（行为）策略并从其获取数据的同时学习目标策略。然而，对于许多问题，行动者-批评者方法比行动值方法（如Greedy-GQ）更实用，因为它们显式地表示策略;因此，策略可以是随机的，并利用大的行动空间。在本文中，我们说明了如何实际结合的通用性和学习潜力的离策略学习的灵活性，在行动选择的演员-评论家的方法。我们推导出一个增量的，线性的时间和空间复杂度算法，包括资格痕迹，证明收敛的假设下，类似于以前的政策算法，并根据经验表现出更好的或可比的性能，现有的算法标准的学习基准问题。
2013-06-20 cs.LG
Reducing Commitment to Tasks with Off-Policy Hierarchical Reinforcement Learning
University of Michigan（密歇根大学）
在分层强化学习（HRL）系统中使用非策略时间差（TD）方法的实验中，我们在可重复的条件下观察到了不必要的同策略学习。在这里，我们提出了几个TD的方法，防止无意的同策略学习发生的修改。这些修改在探索和学习之间造成了紧张。传统的TD方法需要致力于完成子任务，而无需探索，以便以高概率更新早期动作的Q值。一步期权内学习和时间二阶差分跟踪（TSDT）不受此限制。我们证明，我们的HRL系统是有效的，没有承诺完成子任务的悬崖行走域，相反，在文献中的广泛主张，它是学习效率的关键。此外，随着探索的进展，减少承诺，以提高在线性能和由此产生的政策在出租车领域，开辟了一个新的途径，研究时，它是更有益的继续与当前的子任务或重新计划。
2011-04-27 cs.LG
STDPG: A Spatio-Temporal Deterministic Policy Gradient Agent for Dynamic Routing in SDN
School of Information Science and Technology, Southwest Jiaotong University（西南交通大学信息科学与技术学院）；Chengdu University of Information Technology（成都信息工程大学）
软件定义网络（SDN）中的动态路由可以被视为集中式决策问题。大多数现有的深度强化学习（DRL）代理都可以解决这个问题，这要归功于深度神经网络（DNN）的引入。然而，通常采用全连接前馈神经网络（FFNN），其中忽略了交通流的空间相关性和时间变化。由于大量的训练参数，该缺点通常导致显著高的计算复杂性。为了克服这个问题，我们提出了一种新的无模型的框架，在SDN中的动态路由，这是被称为时空确定性策略梯度（STDPG）代理。演员和评论家网络都基于相同的DNN结构，其中设计了卷积神经网络（CNN）和具有时间注意力机制的长短期记忆网络（LSTM）的组合，CNN-LSTM-TAM。通过有效地利用空间和时间特征，CNNLSTM-TAM帮助STDPG代理更好地从经验转换中学习。此外，我们采用优先经验重放（PER）方法来加速模型训练的收敛。实验结果表明，STDPG能自动适应当前网络环境，实现鲁棒收敛。与现有的一些DRL代理相比，STDPG在平均端到端延迟方面实现了更好的路由解决方案。
2020-04-21 cs.LG cs.NI cs.SY
SEMDICE: Off-policy State Entropy Maximization via Stationary Distribution Correction Estimation
UC Berkeley（加州大学伯克利分校）；Yonsei University（延世大学）
SEMDICE通过平稳分布校正估计，从非策略数据集中学习状态熵最大化策略，实现更高效的无监督强化学习预训练。
2025-12-10 cs.LG
Provably Convergent Two-Timescale Off-Policy Actor-Critic with Function Approximation
University of Oxford（牛津大学）；Auburn University（奥本大学）；Huawei Technologies（华为技术有限公司）
我们提出了第一个可证明收敛的两个时间尺度的非策略行动者-评论家算法（COF-PAC）与函数逼近。COF-PAC的关键是引入了一种新的评论家，强调评论家，它是通过梯度强调学习（GEM）训练的，梯度时间差学习和强调时间差学习的关键思想的新组合。在重点批评和规范价值函数批评的帮助下，我们证明了COF-PAC的收敛性，其中批评者是线性的，演员可以是非线性的。
2020-11-23 cs.LG stat.ML
Agent-Temporal Credit Assignment for Optimal Policy Preservation in Sparse Multi-Agent Reinforcement Learning
Tata Consultancy Services（塔塔咨询服务公司）；Birla Institute of Technology and Science, Goa（果阿贝拉理工学院）；University of Edinburgh（爱丁堡大学）；University of Manchester（曼彻斯特大学）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
针对稀疏奖励下多智能体长周期任务的信用分配难题，提出TAR$^2$方法在时间与智能体维度重新分配奖励，理论证明其不改变最优策略，实验显示能稳定加速学习且性能优于传统方法。
2024-12-19 cs.AI cs.GT cs.LG
Off-OAB: Off-Policy Policy Gradient Method with Optimal Action-Dependent Baseline
School of Software, Shandong University（山东大学软件学院）；School of Artificial Intelligence, Peking University（北京大学人工智能学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
本文提出Off-OAB方法，通过引入理论上最小化方差且保持无偏的最优动作依赖基线，降低离策略策略梯度估计方差，并在多个基准任务上验证其优于现有方法。
2024-05-04 cs.AI cs.LG
Behavior Proximal Policy Optimization
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Beijing Jiaotong University（北京交通大学）；Westlake Institute for Advanced Study（西湖高等研究院）
离线强化学习（RL）是一个具有挑战性的设置，现有的非策略行为者-批评者方法由于高估了分布外的状态-动作对而表现不佳。因此，提出了各种额外的增强以保持学习的策略接近离线数据集（或行为策略）。在这项工作中，从离线单调策略改进的分析，我们得到了一个令人惊讶的发现，一些在线的策略算法自然能够解决离线RL。具体来说，这些策略算法的固有保守性正是离线RL方法克服高估所需要的。在此基础上，我们提出了行为近端策略优化（BPPO），它解决了离线RL没有任何额外的约束或正则化相比，PPO。在D4 RL基准测试上的大量实验表明，这种极其简洁的方法优于最先进的离线RL算法。我们的实现可以在https://github.com/Dragon-Zhuang/BPPO上获得。
2023-02-22 cs.LG
Off-Policy Actor-Critic with Emphatic Weightings
University of Alberta（阿尔伯塔大学）
本文提出带强调权重的演员-评论家算法ACE，通过统一离策略目标并推导策略梯度定理，解决了OffPAC和DPG等半梯度方法收敛到错误解的问题，并在多个环境中验证了其优越性。
2023-04-13 cs.LG
Distributed off-Policy Actor-Critic Reinforcement Learning with Policy Consensus
Department of Mechanical Engineering and Materials Science, Duke University（杜克大学机械工程与材料科学系）；Duke University（杜克大学）
在本文中，我们提出了一个分布式的off-policy演员评论方法来解决多智能体强化学习问题。具体来说，我们假设所有的代理保持本地估计的全局最优的政策参数和更新其本地价值函数估计独立。然后，我们引入了一个额外的共识步骤，让所有的代理渐近达成协议的全局最优策略函数。给出了算法的收敛性分析，并通过分布式资源分配实例验证了算法的有效性。相对于相关的分布式演员评论家的方法，在这里的代理不共享有关他们的本地任务的信息，而是他们协调估计的全球政策功能。
2019-03-21 cs.AI cs.LG math.OC
A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University（石溪大学）；Princeton University（普林斯顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Northwestern University（西北大学）
本文将离线强化学习扩展到多智能体的情况下，一组网络代理与他们的邻居根据随时间变化的图进行通信，协同评估和改进的目标策略，同时遵循一个独特的行为策略。为此，本文开发了一个多智能体版本的时间差分学习的离线政策评估，并证明了收敛性下的线性函数逼近。然后，本文利用这一结果，结合一个新的多智能体关政策策略梯度定理和最近的工作在多智能体的政策和单智能体关政策的行动者-评论家的方法，开发并给出一个新的多智能体关政策的行动者-评论家算法的收敛保证。
2019-11-18 cs.LG stat.ML
Schedule Based Temporal Difference Algorithms
Indian Institute of Science, Bangalore（印度科学院（班加罗尔））
从数据样本中学习给定策略的价值函数是强化学习中的一个重要问题。TD（$λ$）算法是解决该问题的一类流行算法。然而，分配给TD（$λ$）中的不同$n$ -步骤返回的权重（由参数$λ$控制）随着$n$的增加而呈指数下降。在本文中，我们提出了一个$λ$调度过程，推广的TD（$λ$）算法的情况下，参数$λ$可以随时间步长。这允许权重分配的灵活性，即，用户可以通过选择序列$\{λ_t\}_{t \geq 1}$来指定分配给不同$n$ -步骤返回的权重。在此基础上，提出了一种策略上的调度算法TD（$λ$），以及两种策略外的调度算法GTD（$λ$）和TDC（$λ$）。我们提供的证据几乎肯定收敛的一般马尔可夫噪声框架下的所有三个算法。
2021-11-23 cs.LG
Doubly Robust Off-Policy Actor-Critic Algorithms for Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）
我们研究了基于值的关政策演员-评论家算法的几个变体中的关政策评论家评价问题。非策略参与者-批评者算法需要非策略批评者评估步骤，以在每次策略梯度更新后估计新策略的值。尽管非策略策略梯度在控制任务上取得了巨大的成功，但现有的一般方法存在高方差和不稳定性，部分原因是策略改进依赖于估计的价值函数的梯度。在这项工作中，我们提出了一种新的方法，在行动者批评的政策外的政策评估，基于双鲁棒估计。我们扩展的双重强大的估计，从政策外的政策评估（OPE）的演员批评的算法，包括奖励估计性能模型。我们发现，双重鲁棒估计的评论家可以显着提高连续控制任务的性能。此外，在奖励函数是随机的，可能导致高方差的情况下，双鲁棒评论家估计可以提高性能下损坏，随机奖励信号，表明其有用的鲁棒和安全的强化学习。
2019-12-11 cs.LG stat.ML
Policy Evaluation and Temporal-Difference Learning in Continuous Time and Space: A Martingale Approach
Columbia University（哥伦比亚大学）；Data Science Institute, Columbia University（哥伦比亚大学数据科学研究所）
我们提出了一个统一的框架来研究政策评估（PE）和相关的时间差异（TD）方法的强化学习在连续的时间和空间。我们证明了PE等价于保持过程的鞅条件。从这个角度来看，我们发现，均方TD误差近似的二次变化的鞅，因此是不是一个合适的目标PE。我们提出了两种方法来使用鞅特征设计PE算法。第一种方法最小化一个“鞅损失函数“，其解被证明是真价值函数在均方意义下的最佳逼近。该方法解释了经典的梯度Monte-Carlo算法。第二种方法是基于一个系统的方程称为“鞅正交条件”的测试功能。以不同的方式求解这些方程可以恢复各种经典的TD算法，例如TD（$λ$）、LSTD和GTD。测试函数的不同选择决定了结果解在何种意义上接近真价值函数。此外，我们证明了任何收敛的时间离散算法收敛到其连续时间对应的网格尺寸为零，我们提供的收敛速度。我们通过数值实验和应用证明了理论结果和相应的算法。
2022-02-01 cs.LG q-fin.MF
On- and Off-Policy Monotonic Policy Improvement
Osaka University（大阪大学）
单调策略改进和离策略学习是强化学习算法的两个主要特性。在本文中，通过下界的两个政策的性能差异，我们证明了单调的政策改善是保证从上和下的政策混合样本。应用所提出的界的优化过程可以被视为一个离策略自然策略梯度方法。为了支持理论结果，我们提供了一个信赖域策略优化方法，使用经验重放作为我们的界限的朴素应用，并评估其性能在两个经典的基准问题。
2017-11-01 cs.AI cs.LG stat.ML
Off-policy Distributional Q($λ$): Distributional RL without Importance Sampling
Google DeepMind（谷歌DeepMind）
本文提出离策略分布Q(λ)算法，无需重要性采样即可进行离策略分布评估，并通过表格实验验证理论，结合C51在深度强化学习基准上表现优异。
2024-02-08 cs.LG
Open the Black Box: Step-based Policy Updates for Temporally-Correlated Episodic Reinforcement Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Tübingen（蒂宾根大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
本文提出 TCE 算法，在情景强化学习的参数空间策略更新中引入步信息，以兼顾平滑一致探索与基于步方法的数据效率。
2024-01-21 cs.LG cs.RO
TEACH: Temporal Variance-Driven Curriculum for Reinforcement Learning
IIT Kanpur（印度理工学院坎普尔分校）
TEACH提出基于时间方差的课程学习方法，通过动态优先选择高不确定性目标，提升多目标强化学习的样本效率和策略学习效率。
2025-12-28 cs.LG
P3O: Policy-on Policy-off Policy Optimization
Amazon Web Services（亚马逊云科技）
基于策略的强化学习（RL）算法具有高样本复杂度，而非策略算法难以调整。将两者结合起来，有望开发出在不同环境中通用的高效算法。然而，在实践中找到合适的超参数来管理这种权衡是具有挑战性的。本文提出了一个简单的算法P3 O，交错的政策更新与政策更新。P3 O使用行为策略和目标策略之间的有效样本大小来控制它们之间的距离，并且不引入任何额外的超参数。Atari-2600和MuJoCo基准套件上的大量实验表明，这种简单的技术在降低最先进算法的样本复杂度方面是有效的。本文中再现实验的代码在https://github.com/rasoolfa/P3O上。
2019-07-15 cs.LG stat.ML
Revisiting Group Relative Policy Optimization: Insights into On-Policy and Off-Policy Training
IBM Research（IBM研究院）；IBM Quantum（IBM量子实验室）；MIT-IBM Watson Lab（MIT-IBM沃森实验室）
本文将 GRPO 适配至 off-policy 设置，证明两种机制的目标均能提升奖励，并引入截断替代目标，实验表明 off-policy GRPO 显著优于或持平于 on-policy 版本。
2025-05-30 cs.LG stat.ML
Variance-Reduced Off-Policy Memory-Efficient Policy Search
Auburn University（奥本大学）；University of Iowa（爱荷华大学）；Facebook AI Research（Facebook 人工智能研究院）；Huawei Inc.（华为公司）
非策略策略优化是强化学习（RL）中一个具有挑战性的问题。针对该问题设计的算法通常在其估计量中具有高方差，这导致差的样本效率，并且具有收敛问题。最近已经提出了一些方差减小的策略上策略梯度算法，其使用来自随机优化的方法来减小REINFORCE算法中的梯度估计的方差。然而，这些算法并不是为非策略设置而设计的，并且是存储效率低的，因为它们需要不时地收集和存储大量的“参考”样本。为了实现方差减少的关闭政策稳定的政策优化，我们提出了一个算法家族，是内存效率，随机方差减少，并能够从关闭的政策样本学习。实证研究验证了所提出的方法的有效性。
2020-09-14 cs.LG stat.ML
Control Synthesis from Linear Temporal Logic Specifications using Model-Free Reinforcement Learning
Duke University（杜克大学）
本文提出一种强化学习框架，用于在未知随机环境中基于线性时序逻辑规范合成控制策略，通过无模型强化学习最大化满足LTL公式概率，确保算法收敛至最优策略。
2020-03-05 cs.AI cs.LG cs.RO
An Off-policy Policy Gradient Theorem Using Emphatic Weightings
University of Alberta（阿尔伯塔大学）
策略梯度方法被广泛用于强化学习中的控制，特别是用于连续动作设置。由于策略梯度定理的存在，提供了一个简化的形式的梯度，已经有大量的理论上合理的算法提出的策略设置。然而，在离策略学习中，行为策略不一定试图学习和遵循给定任务的最优策略，这样的定理的存在是难以捉摸的。在这项工作中，我们解决了这个开放的问题，提供了第一个政策外的策略梯度定理。推导的关键是使用$emphatic$ $weightings$。我们开发了一个新的演员评论家算法$\unicode{x2014}$称为演员评论与强调权重（ACE）$\unicode{x2014}$，近似的简化梯度提供的定理。我们证明了在一个简单的反例，以前的政策外的策略梯度方法$\unicode{x2014}$，特别是OffPAC和DPG $\unicode{x2014}$收敛到错误的解决方案，而ACE找到最佳的解决方案。
2019-06-20 cs.LG stat.ML
Statistical Inference for Policy Evaluation with Temporal Difference Learning
Reinforcement Learning Journal（强化学习期刊）
本文研究了时差学习中Polyak-Ruppert平均算法的统计性质，提出更高效的协方差矩阵估计方法，并推导了更精确的收敛保证，用于构建价值函数近似线性参数的置信区间。
2026-06-21 cs.LG stat.ML
Almost Sure Convergence of Differential Temporal Difference Learning for Average Reward Markov Decision Processes
University of Virginia（弗吉尼亚大学）
本文提出在无本地时钟的情况下，通过标准递减学习率证明差分时差学习在平均奖励马尔可夫决策过程中的几乎必然收敛，扩展了其理论基础并接近实际应用。
2026-02-18 cs.AI cs.LG
