Reinforcement learning for Admission Control in 5G Wireless Networks
Eindhoven University of Technology（埃因霍温理工大学）；Nokia Bell Labs（诺基亚贝尔实验室）
无线网络中接纳控制的关键挑战是在新请求的阻塞概率与正在进行的请求的丢弃概率之间取得最佳折衷。我们考虑两种方法来解决准入控制问题：i）通常采用的阈值策略和ii）我们提出的策略依赖于强化学习与神经网络。大量的仿真实验进行了分析这两种政策的性能。实验结果表明，强化学习策略在不同时变到达速率和多种用户设备类型的情况下，性能优于基于阈值的策略，证明了其在实际无线网络场景中的适用性。
2021-04-13 cs.LG cs.NI eess.SP
Non-Deterministic Policy Improvement Stabilizes Approximated Reinforcement Learning
Technische Universität Berlin（柏林工业大学）
本文研究了近似强化学习中与贪婪策略改进相关的一种不稳定性。我们的经验表明，非确定性的政策改进可以稳定的方法，如LSPI通过控制改进的随机性。此外，我们表明，一个合适的表示的价值函数也稳定的解决方案在一定程度上。所提出的方法很简单，也应该很容易转移到更复杂的算法，如深度强化学习。
2016-12-22 cs.AI cs.LG stat.ML
Scheduling and Power Control for Wireless Multicast Systems via Deep Reinforcement Learning
Indian Institute of Science（印度科学理工学院）；Purdue University（普渡大学）
无线系统中的多播是利用内容中心网络中的用户请求中的冗余的自然方式。功率控制和优化调度可以显著提高无线多播网络在衰落环境下的性能。然而，基于模型的方法，功率控制和调度研究较早的是不可扩展的大状态空间或不断变化的系统动态。在本文中，我们使用深度强化学习，其中我们通过深度神经网络使用Q函数的函数逼近来获得与小型网络的最优策略相匹配的功率控制策略。我们表明，功率控制策略可以通过这种方法学习合理的大系统。此外，我们使用多时间尺度随机优化，以保持平均功率约束。我们证明，稍微修改的学习算法允许跟踪随时间变化的系统统计。最后，我们扩展了多时间尺度的方法，同时学习最佳的路由策略以及功率控制。我们通过模拟展示了我们的算法的可扩展性，跟踪和跨层优化能力。所提出的多时间尺度方法可以用于一般的大型状态空间动力系统的多目标和约束，并可能是独立的利益。
2020-09-27 cs.LG cs.NI stat.ML
Equivalence of stochastic and deterministic policy gradients
Roboti LLC；University of Washington（华盛顿大学）
本文证明在含高斯噪声与二次成本的 MDP 中随机和确定性策略梯度、自然梯度及状态价值函数等价，并给出确定性等价 MDP 构造方法，指出可围绕状态价值函数统一策略梯度方法。
2025-06-10 cs.LG
Merging Deterministic Policy Gradient Estimations with Varied Bias-Variance Tradeoff for Effective Deep Reinforcement Learning
Victoria University of Wellington（惠灵顿维多利亚大学）
在具有连续动作空间的马尔可夫决策过程（MDP）上的深度强化学习（DRL）通常通过沿着估计的策略梯度（PG）的方向直接训练参数策略来实现。以前的研究表明，这些PG算法的性能在很大程度上取决于估计和使用PG所涉及的偏差方差权衡。平衡这种权衡的一种值得注意的方法是合并策略上和策略外梯度估计。然而，现有的PG合并方法可能是样本效率低，不适合训练直接确定性的政策。为了解决这些问题，本文引入精英PG，并加强其方差减少效果，采用精英主义和政策巩固技术，定期政策培训的基础上，从精英轨迹提取的政策行为知识。同时，我们提出了一个两步的方法来合并精英PG和传统的PG作为一个新的扩展，传统的插值合并方法。在理论和实验两个层面上，我们表明，两步合并和插值合并可以诱导不同的偏差方差权衡在政策培训。它们使我们能够有效地使用精英PG，并减轻他们对训练有素的政策的性能影响。我们的实验还表明，两步合并可以优于插值合并和几个国家的最先进的算法在六个基准控制任务。
2020-05-02 cs.LG stat.ML
Deterministic Policy Gradient for Reinforcement Learning with Continuous Time and State
本文提出连续时间强化学习的确定性策略梯度方法，通过理论推导和算法设计，实现稳定学习和快速收敛，优于传统随机策略方法。
2026-03-16 cs.AI cs.LG math.OC
The association problem in wireless networks: a Policy Gradient Reinforcement Learning approach
KTH, Royal Institute of Technology（瑞典皇家理工学院）
提出了一种基于策略梯度强化学习（PGRL）的自优化关联算法，该算法具有可扩展性、稳定性和鲁棒性。术语鲁棒性意味着学习阶段的性能下降应该被禁止或限制在预定义的阈值内。该算法是无模型的（与值迭代相反）和鲁棒的（与Q学习相反）。关联问题被建模为马尔可夫决策过程（MDP）。策略空间是参数化的。参数化家庭的政策，然后作为专家知识的PGRL。PGRL收敛于局部最优，在学习过程中，平均成本单调下降。该解决方案的属性使其成为实际实现的良好候选者。此外，鲁棒性属性允许在"始终在线"学习模式中使用PGRL算法。
2013-06-11 cs.IT cs.LG cs.NI
Softmax Deep Double Deterministic Policy Gradients
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Alibaba Group（阿里巴巴集团）
深度确定性策略梯度（DDPG）是一种广泛应用于连续控制的actor-critic强化学习算法，但存在高估问题，影响算法性能。尽管最先进的双延迟深度确定性策略梯度（TD 3）算法减轻了高估问题，但它可能导致大的低估偏差。在本文中，我们提出了使用玻尔兹曼softmax算子的价值函数估计连续控制。我们首先在理论上分析了连续作用空间中的softmax算子。然后，我们揭示了actor-critic算法中softmax算子的一个重要性质，即，它有助于平滑优化环境，从而为运营商带来新的优势。通过在单估计量和双估计量上构造softmax算子，设计了Softmax深度确定性策略梯度（SD 2）和Softmax深度双确定性策略梯度（SD 3）两种新算法，有效地改善了高估和低估偏差。我们对具有挑战性的连续控制任务进行了广泛的实验，结果表明SD 3优于最先进的方法。
2020-10-19 cs.LG
Model-Free Learning of Optimal Deterministic Resource Allocations in Wireless Systems via Action-Space Exploration
Yale University（耶鲁大学）
无线系统资源分配是指永久的和具有挑战性的非凸约束优化任务，这在涉及具有异构目标和不精确的或甚至未知的模型和/或信道统计的多个用户的现代通信和网络设置中特别及时。在本文中，我们提出了一个技术接地和可扩展的原始-对偶确定性政策梯度方法，有效地学习最优参数化资源分配策略。我们的方法不仅有效地利用了流行的通用策略表示（如深度神经网络）的梯度可用性，而且是真正的无模型，因为它依赖于通过动作空间中的低维扰动构建的相关随机网络服务的一致零阶梯度近似，从而完全绕过了对批评者的任何依赖。理论和数值模拟都证实了所提出的方法的有效性和适用性，以及其在实现接近最佳性能和可扩展性方面优于现有技术的优越性。
2021-09-26 cs.LG cs.SY eess.SY
Distributed Distributional Deterministic Policy Gradients
DeepMind（深度思维）
这项工作采用了非常成功的分布式观点强化学习，并将其适用于连续控制设置。我们将其结合在一个分布式框架内进行离策略学习，以开发我们所谓的分布式深度确定性策略梯度算法，D4PG。我们还将此技术与许多其他简单的改进相结合，例如使用$N$步骤返回和优先级经验重放。在实验中，我们检查这些单独的组件中的每一个的贡献，并显示它们如何相互作用，以及它们的组合的贡献。我们的研究结果表明，在各种各样的简单控制任务，困难的操作任务，和一组硬障碍为基础的运动任务的D4PG算法达到最先进的性能。
2018-04-23 cs.AI cs.LG stat.ML
Zeroth-order Deterministic Policy Gradient
University of Pennsylvania（宾夕法尼亚大学）
确定性策略梯度（DPG）从标准随机动作策略梯度（PG）中去除了一定程度的随机性，并在处理涉及马尔可夫决策过程的复杂动态问题方面取得了巨大的经验成功。然而，与此同时，DPG失去了在无模型环境中学习的能力（即，只有演员）的方式，经常需要使用的批评，以获得一致的估计相关联的政策奖励梯度。在这项工作中，我们引入零阶确定性策略梯度（ZDPG），它通过两点随机评估的$Q$函数，构造适当设计的低维动作空间扰动近似的政策奖励梯度。ZDPG利用随机水平展开的思想来获得$Q$函数的无偏估计，从而消除了对批评者的依赖，并恢复了真正的无模型策略学习，同时享有内置和可证明的算法稳定性。此外，我们提出了新的有限样本复杂性界限ZDPG，提高现有的结果高达两个数量级。我们的研究结果得到了几个数值实验的支持，这些实验展示了ZDPG在实际环境中的有效性，以及它比PG和基线PG的优势。
2020-07-11 cs.LG math.OC stat.ML
Improved Exploration through Latent Trajectory Optimization in Deep Deterministic Policy Gradient
Arizona State University（亚利桑那州立大学）；Google DeepMind（谷歌DeepMind）
深度确定性策略梯度（DDPG）等无模型强化学习算法通常需要额外的探索策略，特别是当参与者具有确定性时。这项工作评估了使用基于模型的轨迹优化方法用于探索深度确定性策略梯度时，训练的潜像嵌入。此外，DDPG的扩展派生使用价值函数作为评论家，利用学习的深度动力学模型来计算策略梯度。这种方法导致深度强化学习算法和潜在轨迹优化器之间的共生关系。轨迹优化器受益于RL算法学习的评论家，后者受益于规划器生成的增强探索。两个连续的控制任务，一个在模拟和一个在现实世界中的方法进行评估。特别是，Baxter机器人被训练来执行插入任务，同时只接收稀疏的奖励和图像作为来自环境的观察。
2019-11-15 cs.AI cs.LG cs.RO
Truly Deterministic Policy Optimization
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们提出了一个策略梯度方法，避免了探索性的噪声注入，并进行政策搜索的确定性景观。通过避免噪声注入，在具有确定性动态的系统中可以消除所有估计方差的来源（直到初始状态分布）。由于确定性的政策正规化是不可能使用传统的非度量的措施，如KL分歧，我们推导出一个基于Wasserstein的二次模型为我们的目的。我们状态条件下的系统模型，它是可能的，以建立一个单调的政策改善保证，提出了一个代理函数的策略梯度估计，并表明，它是可能的，以计算准确的优势估计，如果状态转移模型和政策是确定性的。最后，我们描述了两个新的机器人控制环境-一个在频域和其他非本地奖励具有较长的地平线（8000时间步）-我们的策略梯度方法（TDPO）显着优于现有的方法（PPO，TRPO，DDPG和TD 3）。我们的所有实验设置的实现可以在https://github.com/ehsansaleh/code_tdpo上获得
2022-05-30 cs.AI cs.LG cs.RO
Revisiting stochastic off-policy action-value gradients
University of Toronto（多伦多大学）
非策略随机行动者-批评者方法依赖于近似随机策略梯度，以获得最优策略。也可以通过近似动作值梯度来导出最优策略。当政策改进沿着最陡上升的方向发生时，使用行动价值梯度是可取的。这已经在自然梯度演员批评算法的上下文中进行了广泛的研究，最近在确定性政策梯度的上下文中。在本文中，我们简要地讨论了确定性的行动价值梯度的非政策随机对应，以及一个增量的方法来代替自然梯度的政策梯度。
2017-03-13 cs.LG stat.ML
Multi Pseudo Q-learning Based Deterministic Policy Gradient for Tracking Control of Autonomous Underwater Vehicles
Tsinghua University（清华大学）；University of Macau（澳门大学）
研究了一类动力学未知且输入受限的欠驱动自主水下机器人（AUV）的轨迹跟踪问题。与现有的策略梯度方法采用单一的actor-critics，但不能实现令人满意的跟踪控制精度和稳定的学习不同，我们提出的算法可以实现高水平的跟踪控制精度的AUV和稳定的学习，通过应用一个混合的actor-critics架构，其中多个actor-critics被训练学习一个确定性的政策和行动-价值函数，分别。具体地说，对于批评家，期望绝对贝尔曼误差为基础的更新规则被用来选择最差的批评家在每个时间步更新。随后，为了计算出具有更精确目标值的损失函数，针对连续动作空间，提出了伪Q学习方法，该方法使用子贪婪策略代替Q学习中的贪婪策略，并提出了多伪Q学习方法（MPQ），以减少对动作价值函数的高估，并使学习过程稳定.对于参与者，应用确定性策略梯度来更新权重，并将最终学习的策略定义为所有参与者的平均值，以避免大而坏的更新。此外，定性地给出了学习的稳定性分析。通过在两种不同参考轨迹的AUV上的应用，验证了基于MPQ的确定性策略梯度（MPQ-DPG）算法的有效性和通用性。仿真结果表明，MPQ-DPG具有较高的跟踪控制精度和稳定的学习能力。此外，研究结果还证实了增加演员和评论家的数量会进一步提高表演效果。
2019-09-07 cs.AI cs.LG stat.ML
Deep Deterministic Policy Gradient for End-to-End Communication Systems without Prior Channel Knowledge
Edinburgh Napier University（爱丁堡龙比亚大学）
本文针对端到端通信系统难以获取先验可微信道模型的问题，提出基于深度确定性策略梯度（DDPG）的框架，以接收机损失值作为奖励训练发射机，实现无需先验信道模型的联合训练并提升检测性能。
2023-08-07 cs.LG cs.NI
Off-Policy Average Reward Actor-Critic with Deterministic Policy Search
Indian Institute of Science（印度科学学院）；Robert Bosch Centre for Cyber-Physical Systems, Indian Institute of Science（印度科学学院罗伯特·博世网络物理系统中心）
针对强化学习中平均回报离策略actor-critic研究不足的问题，本文推导了平均回报下的同/离策略确定性策略梯度定理，提出ARO-DDPG算法，完成收敛性与样本复杂度分析，且在MuJoCo环境中表现优于现有同策略方法。
2023-07-19 cs.AI cs.LG
Quasi-Newton Iteration in Deterministic Policy Gradient
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
本文提出了一种无模型近似的Hessian的性能确定性的政策，用于强化学习的上下文中的准牛顿步骤的政策参数。我们表明，近似Hessian收敛到精确的Hessian在最优策略，并允许超线性收敛的学习，提供的政策参数化是丰富的。自然策略梯度方法可以被解释为所提出的方法的一个特殊情况。我们分析验证了一个简单的线性情况下，所提出的方法与自然的策略梯度在一个非线性的例子的收敛性进行了比较。
2022-03-25 cs.LG cs.SY eess.SY
Learning Deterministic Policies with Policy Gradients in Constrained Markov Decision Processes
Politecnico di Milano（米兰理工大学）
本文提出与探索方式无关的约束策略梯度算法 C-PG，证明其在梯度占优和随机扰动噪声模型下可全局收敛至最优确定性策略，并通过 C-PGAE 与 C-PGPE 实验验证有效性。
2025-06-06 cs.LG
Pareto Deterministic Policy Gradients and Its Application in 5G Massive MIMO Networks
Virginia Tech（弗吉尼亚理工学院暨州立大学）；Samsung Research America（三星美国研究院）
在本文中，我们考虑通过强化学习（RL）方法联合优化小区负载平衡和网络吞吐量，其中小区间切换（即，用户关联分配）和大规模MIMO天线倾斜被配置为要学习的RL策略。我们使用RL的基本原理是规避分析建模用户移动性和网络动态的挑战。为了实现这种联合优化，我们将向量奖励集成到RL值网络中，并通过单独的策略网络进行RL操作。我们将这种方法称为帕累托确定性策略梯度（PDPG）。它是一种行动者-批评者、无模型和确定性的策略算法，可以处理耦合目标，具有以下两个优点：1）它通过利用向量奖励的自由度而不是选择手工标量奖励来解决优化问题; 2）可以显着减少多个策略的交叉验证。因此，RL使能网络以自组织的方式表现：它通过测量历史了解底层用户移动性，以在没有环境假设的情况下主动操作切换和天线倾斜。我们的数值计算表明，引入RL方法优于基于标量奖励的方法。同时，为了自成一体，包括一个理想的静态优化的暴力搜索求解器作为基准。比较结果表明，RL方法执行以及这种理想的策略，虽然前者是有限的环境观测和较低的动作频率的约束，而后者有充分的访问用户的移动性。我们所介绍的方法的收敛性也测试在不同的用户移动性环境下，我们的测量数据从一个真实的场景。
2020-12-02 cs.LG cs.NI
Expected Policy Gradients
Department of Computer Science, University of Oxford（牛津大学计算机科学系）；University of Oxford（牛津大学）；Wolfson Building, Parks Road, Oxford OX1 3QD（牛津大学沃尔夫森大楼（Parks Road, Oxford OX1 3QD））
我们提出了预期策略梯度（EPG），它统一了强化学习的随机策略梯度（SPG）和确定性策略梯度（DPG）。受预期的Sarsa的启发，EPG在估计梯度时集成了整个动作，而不是仅依赖于采样轨迹中的动作。建立了一个新的一般策略梯度定理，其中随机策略梯度定理和确定性策略梯度定理是其特例。我们还证明，EPG降低了梯度估计的方差，而不需要确定性的政策，高斯的情况下，没有计算开销。最后，我们表明，在一定意义上，它是最优的探索与高斯政策，使协方差是成比例的指数的缩放Hessian的评论家的行动。我们提出的实证结果证实，这种新的探索形式在四个具有挑战性的MuJoCo领域中大大优于采用Ornstein-Uhlenbeck启发式的DPG。
2018-04-13 cs.LG stat.ML
Deterministic and Discriminative Imitation (D2-Imitation): Revisiting Adversarial Imitation for Sample Efficiency
University of Oxford（牛津大学）；Microsoft Research（微软研究院）
样本效率对于模仿学习方法在现实世界中的应用是至关重要的。许多研究通过将对抗性模仿扩展到非策略来提高样本效率，而不管这些非策略扩展可能改变原始目标或涉及复杂的优化。我们重新审视了对抗性模仿的基础，并提出了一种不需要对抗性训练或最小最大优化的非策略样本有效方法。我们的公式利用了两个关键的见解：（1）Bellman方程和静态状态-动作分布方程之间的相似性使我们能够推导出一种新的时间差（TD）学习方法;（2）使用确定性策略简化了TD学习。结合起来，这些见解产生了一个实用的算法，确定性和判别性模仿（D2-模仿），它的操作首先将样本划分到两个重放缓冲区，然后通过离线策略强化学习学习确定性策略。我们的实证结果表明，D2-模仿是有效的，在实现良好的样本效率，优于几个政策外扩展方法的对抗性模仿在许多控制任务。
2022-04-13 cs.LG
Whittle Index based Q-Learning for Wireless Edge Caching with Linear Function Approximation
Binghamton University, State University of New York（纽约州立大学宾汉姆顿分校）；Indian Institute of Science（印度科学学院）
我们认为在无线边缘的内容缓存的问题，通过不可靠的无线信道服务于一组终端用户，以尽量减少终端用户所经历的平均延迟，由于有限的无线边缘缓存容量。我们制定这个问题作为一个马尔可夫决策过程，或更具体地说，一个不安分的多武装土匪问题，这是证明很难解决。我们开始调查的折扣对应，并证明它承认一个最优的阈值型政策。然后，我们表明，这一结果也适用于平均延迟问题。使用这个结构的结果，我们建立我们的问题的可索引性，并采用惠特尔指数政策，以尽量减少平均延迟。由于系统参数，如内容请求速率和无线信道条件往往是未知的和时变的，我们进一步开发了一个无模型强化学习算法称为Q ^{+}-Whittle依赖于Whittle索引策略。然而，Q ^{+}-Whittle需要存储所有状态-动作对的Q函数值，其数量对于无线边缘缓存来说可能非常大。为此，我们用一个维数更小的参数化函数类来逼近Q-函数，并进一步设计了一个具有线性函数逼近的Q ^{+}-Whittle算法，称为Q ^{+}-Whittle-LFA。我们给出了Q ^{+}-Whittle-LFA的均方误差的有限时间界。使用真实迹线的仿真结果表明，Q ^{+}-Whittle-LFA产生优异的经验性能。
2023-02-23 cs.LG cs.NI
Off-Policy Correction for Deep Deterministic Policy Gradient Algorithms via Batch Prioritized Experience Replay
Bilkent University（比尔肯特大学）
体验重放机制允许代理多次使用体验。在以前的工作中，采样概率的过渡调整，根据其重要性。在每次迭代之后为重放缓冲器中的每个转换重新分配采样概率是非常低效的。因此，经验重放优先化算法在对应的转换被采样时重新计算转换的重要性以获得计算效率。然而，随着策略和代理的价值函数的更新，转换的重要性级别动态地改变。此外，经验重放存储转换是由代理的先前策略生成的，其可能显著偏离代理的最新策略。与代理的最新策略的更高偏离导致更多的偏离策略更新，这对代理是有害的。在本文中，我们开发了一种新的算法，批量优先经验重放通过KL分歧（KLPER），它优先考虑批量的过渡，而不是直接优先考虑每个过渡。此外，为了减少更新的关闭策略，我们的算法在一定数量的批次中选择一个批次，并迫使代理通过最有可能由代理的最新策略生成的批次进行学习。我们结合我们的算法与深度确定性策略梯度和双延迟深度确定性策略梯度，并评估它在各种连续控制任务。KLPER在样本效率、最终性能和训练期间的策略稳定性方面为深度确定性连续控制算法提供了有希望的改进。
2021-11-12 cs.AI cs.LG
Learning Optimal Deterministic Policies with Stochastic Policy Gradients
Politecnico di Milano（米兰理工大学）
本文针对实践中将学习的随机策略部署为确定性策略的做法，提出新框架并在弱梯度支配假设下证明其全局收敛性，同时定量比较了基于动作与基于参数的探索，为调整探索水平优化样本复杂度与策略性能权衡提供了理论依据。
2024-05-30 cs.LG
Soft Deterministic Policy Gradient with Gaussian Smoothing
School of Electrical Engineering, KAIST（韩国延世大学电气工程学院）
本文提出基于高斯平滑的贝尔曼方程的软确定性策略梯度方法，解决传统DPG在稀疏或离散奖励下的梯度不明确问题，通过新定义的动作价值函数提升算法稳定性与性能。
2026-05-07 cs.AI cs.LG
Exploiting the Sign of the Advantage Function to Learn Deterministic Policies in Continuous Domains
UM-SJTU Joint Institute（上海交通大学密西根学院）
在连续域中学习确定性策略的背景下，我们重新审视了一种方法，该方法首先在连续演员批评学习自动机（CACLA）中提出，后来在神经拟合演员批评（NFAC）中扩展。该方法基于与确定性策略梯度（DPG）不同的策略更新。以前的工作已经观察到其出色的性能经验，但缺乏理论依据。为了填补这一空白，我们提供了一个理论解释，以激励这一非正统的政策更新，将其与另一个更新，并明确后者的目标函数。我们还深入讨论了这些更新的属性，以更深入地了解整体方法。此外，我们扩展它，并提出了一个新的信任域算法，惩罚NFAC（PeNFAC）。最后，我们在几个经典的控制问题的实验证明，它超越了国家的最先进的算法来学习确定性的政策。
2019-06-25 cs.LG stat.ML
Memoryless Exact Solutions for Deterministic MDPs with Sparse Rewards
Iowa State University（爱荷华州立大学）
我们提出了一个算法，确定性连续马尔可夫决策过程的稀疏奖励，计算最优策略，完全不依赖于状态空间的大小。该算法的时间复杂度为$O( |R|^3 \times |A|^2 )$，存储复杂度为$O( |R| \times |A| )$，其中$|R|$为奖励源个数，$|A|$为动作个数.此外，我们描述了一个同伴算法，可以遵循从任何初始状态的最优策略，而不计算整个价值函数，而是按需计算的状态值，因为它们是需要的。该算法不依赖于状态空间的大小，无论是时间或内存的复杂性，并遵循最优策略的能力是线性的时间和空间的路径长度从初始状态遵循最优策略。我们证明了算法操作并排值迭代易处理的MDPs。
2018-05-17 cs.LG stat.ML
Policy Iteration Is Not Strongly Polynomial for Deterministic Markov Decision Processes: The Price of Algorithmic Anarchy
Shanghai Jiao Tong University（上海交通大学）；SIMIS（上海数学与交叉学科研究院）；Stanford University（斯坦福大学）
该研究证明霍华德策略迭代在确定性折扣MDP上具有指数迭代下界，排除其强多项式性，并与单纯形法形成指数分离，揭示算法无政府状态的价格。
2026-10-14 cs.DS cs.LG math.OC
Continuous Control for Automated Lane Change Behavior Based on Deep Deterministic Policy Gradient Algorithm
换道是一项具有挑战性的任务，需要微妙的行动，以确保安全和舒适。最近的一些研究试图用强化学习（RL）来解决换道控制问题，但是动作被限制在离散的动作空间中。为了克服这一局限性，我们制定的车道变换行为与连续的行动在无模型的动态驾驶环境的基础上深度确定性策略梯度（DDPG）。奖励函数是学习最优策略的关键，由控制值、位置偏差状态和机动时间定义，为RL代理提供信息信号。RL代理从头开始训练，而不诉诸任何环境和车辆动力学的先验知识，因为它们不容易获得。七个模型在不同的超参数设置进行了比较。可获得显示驾驶行为学习进度的视频。它表明RL车辆代理最初经常跑出道路边界，但最终在模拟的各种驾驶情况下，成功率为100%，平稳地改变到目标车道。
2019-06-05 cs.LG cs.RO stat.ML
Deterministic Pareto-Optimal Policy Synthesis for Multi-Objective Reinforcement Learning
提出一种基于切比雪夫标量化的偏好条件贝尔曼算子，用于计算多目标马尔可夫决策过程中的确定性帕累托最优策略，并证明其单调收敛到帕累托前沿的覆盖集。
2026-06-26 cs.AI cs.LG
Parameter-free Reduction of the Estimation Bias in Deep Reinforcement Learning for Deterministic Policy Gradients
在基于值的深度强化学习中，价值函数的近似会导致高估偏差，从而导致次优策略。我们发现，当代理人收到的强化信号有很高的方差，深演员批评的方法，克服高估偏见导致大量低估偏见。我们首先解决现有的方法，旨在克服这种低估错误的有害问题。然后，通过广泛的统计分析，我们引入了一种新的、无参数的深度Q学习变体，以减少确定性策略梯度中的这种低估偏差。通过从高度收缩的估计偏差区间中对两个近似批评者的线性组合的权重进行采样，我们的Q值更新规则不受代理在整个学习过程中收到的奖励方差的影响。我们测试了一组MuJoCo和Box2D连续控制任务的性能改进，并证明它大大优于现有的方法，并提高了国家的最先进的显着保证金。
2022-05-19 cs.AI cs.LG stat.ML
Deep deterministic policy gradient with symmetric data augmentation for lateral attitude tracking control of a fixed-wing aircraft
Delft University of Technology（代尔夫特理工大学）
本文利用系统对称性提出对称数据增强方法，提升DDPG的样本效率和状态-动作空间覆盖率，并通过双批评者结构提高样本利用率，验证了飞机模型对称性并加速了控制策略收敛。
2026-04-13 cs.AI cs.LG
Decentralized Deterministic Multi-Agent Reinforcement Learning
Ecole Polytechnique（巴黎综合理工学院）；AStar（新加坡科技研究局）；IBM Research（IBM研究院）
[Zhang，ICML 2018]为多智能体强化学习（MARL）提供了第一个分散的演员-评论家算法，该算法提供了收敛保证。在这项工作中，政策是随机的，并定义在有限的行动空间。我们扩展了这些结果，提供了一个可证明收敛的分散的演员-评论家算法学习确定性政策的连续动作空间。确定性策略在现实环境中很重要。为了解决确定性策略中缺乏探索的问题，我们考虑了关闭策略和打开策略设置。我们提供了一个本地的确定性策略梯度，分散的确定性演员批评算法和线性近似价值函数的收敛保证的表达。这项工作将有助于在高维动作空间中实现去中心化的MARL，并为MARL的更广泛使用铺平道路。
2021-02-19 cs.LG
Boundary-aware Reinforcement Learning for Hypercube State Spaces via Deterministic Policy Gradient
Xidian University（西安电子科技大学）；The Hong Kong Polytechnic University（香港理工大学）；University of Science and Technology of China（中国科学技术大学）
针对超立方体反射状态动力学的强化学习，提出连续时间确定性策略梯度框架，通过诺伊曼边界条件感知方法降低边界残差并提升学习稳定性，在水库控制实验中验证有效性。
2026-10-08 cs.LG math.OC
Mitigating Suboptimality of Deterministic Policy Gradients in Complex Q-functions
针对复杂Q函数中确定性策略梯度易陷入局部最优的问题，提出SAVO演员架构，通过多动作提议与截断不良局部最优来引导梯度上升，在多个任务上更优。
2025-10-10 cs.AI cs.LG cs.RO
Safe and Robust Experience Sharing for Deterministic Policy Gradient Algorithms
Bilkent University（比尔肯特大学）
在高维连续任务中的学习是具有挑战性的，主要是当经验重放记忆非常有限时。我们为未来的非策略深度强化学习应用程序中的连续动作域中的确定性策略引入了一种简单而有效的经验共享机制，其中经验重放缓冲区的分配内存是有限的。为了克服从其他代理的经验学习引起的外推误差，我们方便我们的算法与一种新的政策外校正技术，没有任何行动概率估计。我们测试了我们的方法在挑战OpenAI Gym连续控制任务中的有效性，并得出结论，它可以在多个代理之间实现安全的体验共享，并且在重放内存严格受限时表现出强大的性能。
2022-07-27 cs.AI cs.LG
Enhancing Deep Deterministic Policy Gradients on Continuous Control Tasks with Decoupled Prioritized Experience Replay
通过解耦优先经验回放提升连续控制任务中深度确定性策略梯度算法的性能
2025-12-04 cs.LG
On Multi-Agent Deep Deterministic Policy Gradients and their Explainability for SMARTS Environment
University of Southern California（南加州大学）
多智能体RL或MARL是自动驾驶文献中的复杂问题之一，阻碍了当今全自动驾驶汽车的发布。几个模拟器在开始之后一直在迭代，以减轻自动驾驶中多个代理的复杂场景的问题。一个这样的模拟器-SMARTS，讨论了合作的多智能体学习的重要性。针对这个问题，我们讨论了两种方法-MAPPO和MADDPG，这是基于政策和政策外RL方法。我们将我们的结果与最先进的结果进行比较，并讨论了潜在的改进领域，同时讨论了这些方法与SMARTS环境中的航点结合的可解释性。
2023-01-20 cs.AI cs.CV cs.LG
Optimizing Drivers' Discount Order Acceptance Strategies: A Policy-Improved Deep Deterministic Policy Gradient Framework
本文提出改进的深度确定性策略梯度框架，用于优化网约车平台司机对折扣订单的接受策略，提升匹配效率并降低训练成本。
2025-12-11 cs.LG
Edge Delayed Deep Deterministic Policy Gradient: efficient continuous control for edge scenarios
Human Inspired Technology Research Centre, University of Padova（帕多瓦大学人机智能技术研究中心）；Department of Information Engineering, University of Padova（帕多瓦大学信息工程学院）
针对边缘场景计算资源受限问题，提出edgeD3算法，通过增强DDPG在减少50%GPU时间和计算资源、降低50%内存的同时，实现性能显著提升并超越现有方法。
2025-10-13 cs.AI cs.LG
Learning Resource Scheduling with High Priority Users using Deep Deterministic Policy Gradients
University of Bremen（不来梅大学）
本文研究面向高优先级用户的通信资源调度问题，采用可输出连续值的 DDPG 学习调度策略，并经轻量级后处理在灵活总效用目标上取得高性能。
2023-04-19 cs.LG cs.SY eess.SY
Deterministic Policy Gradient for Learning Equilibrium in Time-Inconsistent Control Problems
Department of Industrial Engineering and Operations Research, University of California, Berkeley, USA（加州大学伯克利分校工业工程与运筹学系）；Department of Applied Mathematics, The Hong Kong Polytechnic University, Kowloon, Hong Kong（香港理工大学应用数学系）
提出一种连续时间无模型强化学习算法，通过确定性策略梯度和内定点迭代学习时间不一致控制问题的均衡策略，并在均值-方差投资组合和非指数贴现跟踪投资组合中验证有效性。
2026-06-11 cs.LG math.OC q-fin.CP
Reinforcement Learning of Control Policy for Linear Temporal Logic Specifications Using Limit-Deterministic Generalized Büchi Automata
Osaka University（大阪大学）
这封信提出了一种新的强化学习方法的控制策略的合成满足控制规范描述的线性时序逻辑公式。我们假设被控系统是由一个马尔可夫决策过程（MDP）。我们将规范转换为一个有限确定性的广义Büchi自动机（LDGBA）与几个接受集，接受所有满足公式的无限序列。LDGBA被扩充，以便它明确地记录对接受集的先前访问。我们取一个增强的LDGBA和MDP的乘积，在此基础上定义一个奖励函数。只要状态转换在接受集合中，并且在一定数量的步骤中没有被访问，代理就会获得奖励。因此，稀疏的奖励是放松和接受集之间的最佳循环学习。我们表明，所提出的方法可以学习最优的政策时，折扣因子是足够接近。
2020-03-26 cs.AI cs.LG cs.LO
Learning Neural Parsers with Deterministic Differentiable Imitation Learning
Carnegie Mellon University（卡内基梅隆大学）
我们探讨的问题，学习空间任务分解成几个部分，例如一个绘画机器人覆盖一个大的对象的问题。受经典决策树算法构造其输入空间的结构化分区的能力的启发，我们将对象分解为段的问题制定为解析方法。我们认为，将对象分解为段的解析树的推导非常类似于由ID 3构造的决策树，这可以在地面实况可用时完成。我们学习模仿专家解析神谕，这样我们的神经解析器就可以概括为在没有地面事实的情况下解析自然图像。我们引入了一种新的确定性策略梯度更新，DRAG（即，以AggreVaTeD的确定性actor-critic变体的形式，来训练我们的神经解析器。从另一个角度来看，我们的方法是一个适合模仿学习设置的确定性策略梯度的变体。通过使用DRAG训练我们的神经解析器所提供的确定性策略表示使其能够超越最先进的模仿和强化学习方法。
2018-09-19 cs.AI cs.CV cs.LG
Deterministic Policy Optimization by Combining Pathwise and Score Function Estimators for Discrete Action Spaces
Department of Computer Science, Stanford University（斯坦福大学计算机科学系）
策略优化方法在解决复杂的强化和模仿学习任务方面显示出巨大的潜力。虽然无模型方法广泛适用，但它们通常需要许多样本来优化复杂的策略。基于模型的方法大大提高了样本效率，但代价是泛化能力差，需要为每个任务精心手工制作系统动态模型。最近，混合方法已经成功地在改善样本复杂性的适用性之间进行权衡。然而，这些都局限于连续的动作空间。在这项工作中，我们提出了一种新的混合动力方法的基础上近似的动态下一个状态下的当前政策的期望。这种放松使我们能够得到一个新的混合策略梯度估计，结合得分函数和路径导数估计，这是适用于离散的行动空间。我们在样本复杂性方面取得了显着的进步，范围在$1.7$和$25\times$之间，在学习Cart Pole，Acrobot，Mountain Car和Hand Mass上的参数化策略时。我们的方法是适用于离散和连续的行动空间，当竞争路径方法仅限于后者。
2017-11-21 cs.AI cs.LG
Epidemic Control on a Large-Scale-Agent-Based Epidemiology Model using Deep Deterministic Policy Gradient
Thoughtworks Technologies
本研究利用深度确定性策略梯度（DDPG）在10万个体的大规模智能体流行病学模拟中实现多目标优化，确定封锁与疫苗接种的最优策略，以平衡经济与健康目标。
2023-04-10 cs.AI cs.LG cs.SY
Cryptocurrency Portfolio Management with Reinforcement Learning: Soft Actor--Critic and Deep Deterministic Policy Gradient Algorithms
Department of Mathematics, Tafresh University, Tafresh, Iran（数学系，塔夫什尔大学，塔夫什尔，伊朗）
本文提出基于SAC和DDPG算法的加密货币投资组合管理框架，通过强化学习优化投资组合权重，提升市场波动下的收益与风险控制能力。
2025-11-16 cs.LG q-fin.CP
Deep Deterministic Path Following
Chalmers University of Technology（查尔姆斯理工大学）
针对路径跟踪问题，提出了一种基于深度确定性策略梯度（DDPG）的车辆纵向和横向控制算法。DDPG代理使用PyTorch实现，并在Python中创建的自定义运动自行车环境上进行训练和评估。通过测量相对于参考路径的跨轨迹误差和速度误差来评估性能，结果显示智能体如何学习允许小的跨轨迹误差的策略，以及自适应加速度以最小化速度误差。
2021-04-13 cs.LG cs.RO
Dynamic Entropy Tuning in Reinforcement Learning Low-Level Quadcopter Control: Stochasticity vs Determinism
Mechatronics Engineering Department（机械工程系）；The German University in Cairo（开罗德国大学）
研究在四旋翼控制中，通过动态熵调节训练随机策略的强化学习算法，并与确定性策略算法对比，发现动态熵调节可防止灾难性遗忘并提高探索效率。
2026-06-01 cs.AI cs.LG cs.RO
Value Activation for Bias Alleviation: Generalized-activated Deep Double Deterministic Policy Gradients
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Department of Automation, Tsinghua University（清华大学自动化系）
在深度强化学习（Deep Reinforcement Learning，DRL）中，准确地估计价值函数对于智能体执行正确的动作而不是次优的动作至关重要。然而，现有的行动者-批评者方法或多或少地受到低估偏差或高估偏差的影响，这对它们的性能产生了负面影响。在本文中，我们揭示了一个简单而有效的原则：适当的值校正有利于偏差缓解，其中我们提出了广义激活加权算子，使用任何非减函数，即激活函数，作为更好的值估计的权重。特别地，我们将广义激活加权算子集成到值估计中，并引入了一种新的算法，广义激活深度双重确定性策略梯度（GD 3）。我们从理论上表明，GD 3是能够减轻潜在的估计偏差。我们有趣地发现，简单的激活函数导致令人满意的性能，没有额外的技巧，并可能有助于更快的收敛。在许多具有挑战性的连续控制任务上的实验结果表明，具有特定任务激活的GD 3优于常见的基线方法。我们还发现了一个事实，即微调的多项式激活函数在大多数任务上实现了优越的结果。
2021-12-21 cs.AI cs.LG
Recurrent Deterministic Policy Gradient Method for Bipedal Locomotion on Rough Terrain Challenge
University of Edinburgh（爱丁堡大学）
本文提出了一种深度学习框架，该框架能够基于我们对递归确定性策略梯度（RDPG）的新解释来解决部分可观察的运动任务。分别研究了环境部分可观性和子轨迹采样引起的采样误差测度偏差及其方差。我们基于RDPG的学习框架引入了三项主要改进：内插时间差的尾步引导、使用过去轨迹扫描初始化隐藏状态以及注入其他代理学到的外部经验。所提出的学习框架被实现来解决OpenAI的健身房模拟环境中的双足步行者挑战，其中只有部分状态信息可用。我们的模拟研究表明，由RDPG代理产生的自主行为是高度适应各种障碍，使代理能够有效地穿越崎岖的地形长距离，具有较高的成功率比领先的竞争者。
2019-12-15 cs.AI cs.LG cs.RO
3DPG: Distributed Deep Deterministic Policy Gradient Algorithms for Networked Multi-Agent Systems
Paderborn University（帕德博恩大学）；Karlstad University（卡尔斯塔德大学）；Hasso-Plattner-Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
我们提出了分布式深度确定性策略梯度（3DPG），一个多智能体的演员-评论家（MAAC）算法的马尔可夫游戏。与以前的MAAC算法不同，3DPG在训练和部署期间都是完全分布式的。3DPG代理基于最近可用的本地数据（状态、动作）和其他代理的本地策略来计算本地策略梯度。在训练期间，使用潜在的有损和延迟通信网络来交换该信息。因此，该网络引发了数据和政策的信息时代（AoI）。我们证明了3DPG的渐近收敛性，即使在潜在的无界信息时代（AoI）的存在。这为实际的在线和分布式多智能体学习迈出了重要的一步，因为3DPG并不假设信息是确定性的。我们分析3DPG在温和的实际假设下的政策和数据传输的存在。我们的分析表明，3DPG代理收敛到一个局部纳什均衡的马尔可夫博弈的效用函数表示为代理的期望值的局部近似行动-价值函数（Q-函数）。局部Q函数的期望是关于由代理累积的局部经验形成的全局状态-动作空间上的限制分布。我们的研究结果也揭示了一般MAAC算法所获得的政策。我们通过一个启发式的参数和数值实验表明，3DPG提高了收敛性比以前的MAAC算法，使用旧的行动，而不是旧的政策在训练过程中。此外，我们表明，3DPG是强大的AoI，它学习竞争政策，即使大AoI和低数据可用性。
2022-11-02 cs.AI cs.LG cs.MA
Structured Reinforcement Learning for Media Streaming at the Wireless Edge
University of California at San Diego（加利福尼亚大学圣迭戈分校）；Texas A&M University（德克萨斯农工大学）
本研究将无线边缘视频流的客户端优先级决策建模为CMDP，利用问题结构设计收敛到全局最优的结构化CRL算法，实现快速学习与低延迟部署，在资源受限场景下将QOE提升超30%。
2024-04-16 cs.AI cs.LG cs.SY
