Accelerating Distributed Deep Reinforcement Learning by In-Network Experience Sampling
Keio University（庆应义塾大学）
将多个计算节点互连的计算集群用于加速基于DQN（Deep Q-Network）的分布式强化学习。在分布式强化学习中，Actor节点通过与给定环境交互来获取经验，而Learner节点优化其DQN模型。由于Actor和Learner节点之间的数据传输会根据Actor节点的数量及其经验大小而增加，因此它们之间的通信开销是主要的性能瓶颈之一。本文通过基于DPDK的网络优化来加速它们的通信，并在Actor和Learner节点之间部署基于DPDK的低延迟体验回放存储服务器，该服务器通过40 GbE（40 Gbit Ethernet）网络互连。评估结果表明，作为一种网络优化技术，内核绕过DPDK减少了32.7%至58.9%的网络访问延迟到共享内存服务器。作为另一种网络优化技术，行动者和学习者节点之间的网络内经验重放存储器服务器将对经验重放存储器的访问延迟减少了11.7%至28.1%，并且将用于优先化经验采样的通信延迟减少了21.9%至29.1%。
2023-03-10 cs.DC cs.LG
AcceRL: Policy Acceleration Framework for Deep Reinforcement Learning
Sichuan Normal University（四川师范大学）
深度强化学习以其超强的决策能力在各个领域取得了巨大的成功。然而，策略学习过程需要大量的训练时间，导致能量消耗。受神经网络冗余性的启发，提出了一种基于神经网络压缩的轻量级并行训练框架AcceRL，在保证策略质量的同时加快了策略学习的速度。具体来说，AcceRL通过灵活组合各种神经网络压缩方法，加快了经验收集的速度。总体而言，AcceRL由五个组件组成，即Actor，Learner，Compressor，Corrector和Monitor。执行者使用压缩器来压缩学习者的策略网络以与环境交互。生成的经验由修正器采用V-trace、Retrace等Off-Policy方法进行转换，并将修正后的经验反馈给学习器进行策略学习。我们相信这是第一个包含多种神经网络压缩技术的通用强化学习框架。在健身房进行的大量实验表明，与传统方法相比，AcceRL将演员的时间成本降低了约2.0倍至4.13倍。此外，与传统方法相比，AcceRL将整个训练时间减少了约29.8%至40.3%，同时保持相同的策略质量。
2022-11-28 cs.AI cs.LG
Ask-AC: An Initiative Advisor-in-the-Loop Actor-Critic Framework
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；College of Software Technology, Zhejiang University（浙江大学软件学院）
本文提出Ask-AC框架，通过动作请求器和自适应状态选择器实现学习者主动的顾问交互，在静态与非静态环境中显著提升学习效率，性能媲美持续监控。
2024-05-24 cs.AI cs.LG
Parallel Actors and Learners: A Framework for Generating Scalable RL Implementations
University of Southern California（南加州大学）
强化学习（RL）在机器人、游戏和医疗保健等应用领域取得了巨大成功。然而，训练RL代理非常耗时。目前的实现表现出性能不佳，由于挑战，如不规则的内存访问和线程级同步开销的CPU。在这项工作中，我们提出了一个框架，用于在多核系统上生成可扩展的强化学习实现。重播缓冲区是RL算法的关键组件，它有助于存储从环境相互作用中获得的样本以及学习过程的数据采样。我们定义了一个新的数据结构的优先级重放缓冲区的基础上$K$ -ary和树，支持异步并行插入，采样，和优先级更新。为了解决不规则内存访问的挑战，我们提出了一种新的数据布局来存储和树的节点，减少了缓存未命中的数量。此外，我们提出了$\textit{lazy writing}$机制，以减少线程级的同步开销的重放缓冲区操作。我们的框架采用并行演员同时收集数据，通过环境的相互作用，并行学习者执行随机梯度下降使用收集的数据。我们的框架支持广泛的强化学习算法，包括DQN，DDPG等。我们通过使用OpenAI基准测试在CPU + GPU平台上进行实验，证明了我们的框架在加速RL算法方面的有效性。
2021-12-22 cs.LG cs.SY eess.SY
Recruitment-imitation Mechanism for Evolutionary Reinforcement Learning
Jilin University（吉林大学）
强化学习、进化算法和模仿学习是处理连续控制任务的三种主要方法。强化学习样本效率高，但对超参数设置敏感，需要有效探索;进化算法稳定，但样本效率低;模仿学习样本效率高，但需要专家数据指导。在本文中，我们提出了招募模仿机制（RIM）的进化强化学习，一个可扩展的框架，结合了上述三种方法的优点。该框架的核心是一个双行动者和单批评强化学习代理。该代理可以从进化算法的群体中招募高适应度的演员，这指示自己从经验重放缓冲区中学习。同时，进化种群中的低适应度行为体可以模仿强化学习Agent的行为模式，提高其自适应能力。该框架中的强化学习器和模仿学习器可以用任何非策略的行动者-批评者强化学习器或数据驱动的模仿学习器来代替。我们在Mujoco中对RIM进行了一系列连续控制任务的基准测试。实验结果表明，RIM优于以前的进化或强化学习方法。RIM组件的性能明显优于以前的进化强化学习算法的组件，使用软更新的招聘使强化学习代理学习速度比使用硬更新。
2019-12-13 cs.AI cs.LG cs.NE
Reinforcement Learning Architectures: SAC, TAC, and ESAC
Al-Balqa Applied University（巴尔卡应用大学）；Iowa State University（爱荷华州立大学）
趋势是实现智能代理能够分析可用的信息，并有效地利用它。这项工作提出了一些强化学习（RL）架构，其中之一是专为智能代理。所提出的架构被称为选择器-演员-评论家（SAC），调谐器-演员-评论家（TAC）和估计器-选择器-演员-评论家（ESAC）。这些架构是RL中一个众所周知的架构的改进模型，称为Actor-Critic（AC）。在AC中，参与者优化所使用的策略，而批评者估计价值函数并评估参与者优化的策略。SAC是一个架构，配备了演员，评论家和选择器。选择器基于来自批评者的最后估计来确定当前状态下最有希望的动作。TAC由一个调音师、一个模型学习者、一个演员和一个评论家组成。在从批评者接收到当前状态-动作对的近似值和从模型学习者接收到学习模型之后，调谐器使用Bellman方程来调谐当前状态-动作对的值。ESAC基于两种思想实现智能代理，即前瞻和直觉。前瞻出现在估计下一个状态下可用动作的值，而直觉出现在最大化选择最有希望的动作的概率。新添加的元素是底层模型学习器、估计器和选择器。模型学习器用于近似底层模型。估计器使用近似的价值函数、学习的基础模型和Bellman方程来估计下一状态下所有动作的值。选择器用于确定下一个状态下最有希望的操作，该操作将由参与者用于优化所使用的策略。最后，通过与其他体系结构的比较，验证了ESAC的优越性。
2020-04-05 cs.LG eess.SP stat.ML
Global Convergence for Average Reward Constrained MDPs with Primal-Dual Actor Critic Algorithm
Purdue University, USA（普渡大学，美国）；Indian Institute of Science, Bengaluru, India（印度班加罗尔印度理工学院）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文提出了一种对偶-actor-critic算法，实现了平均奖励约束MDP的全局收敛性和约束违反率的理论最优解。
2025-12-09 cs.AI cs.LG
Deep Intrinsically Motivated Continuous Actor-Critic for Efficient Robotic Visuomotor Skill Learning
University of Hamburg（汉堡大学）
在本文中，我们提出了一个新的内在动机的演员-评论家算法学习连续的运动技能直接从原始的视觉输入。我们的神经结构由一个评论家和一个演员网络组成。两个网络都接收深度卷积自动编码器的隐藏表示，该编码器经过训练以重建视觉输入，而最中心的隐藏表示也经过优化以估计状态值。单独地，预测世界模型的集合基于其学习进度生成内在奖励信号，该内在奖励信号与外在奖励相结合以指导行动者-批评者学习者的探索。我们的方法是更有效的数据和固有的更稳定的比现有的演员评论家的方法从像素数据的连续控制。我们评估我们的算法的任务，学习机器人达到和掌握技能的一个现实的物理模拟器和一个人形机器人。结果表明，我们的方法学习的控制策略可以实现更好的性能比比较国家的最先进的和基线算法在密集的奖励和具有挑战性的稀疏奖励设置。
2019-02-18 cs.AI cs.LG cs.RO
Ensemble Reinforcement Learning in Continuous Spaces -- A Hierarchical Multi-Step Approach for Policy Training
Victoria University of Wellington（惠灵顿维多利亚大学）；National Institute of Water and Atmospheric Research（国家水与大气研究所）
针对现有actor-critic深度强化学习算法探索不足、现有集成算法未联合优化基学习器的问题，提出基于多步积分的分层集成DRL算法，通过参数共享促进协作，理论验证有效且在多个基准任务上性能优于SOTA算法。
2023-05-02 cs.LG
ACCRUE: Continual Off-Policy Reinforcement Learning for Robot Foundation Models
NVIDIA（英伟达）；KAIST（韩国科学技术院）
ACCRUE是一种持续离线策略强化学习框架，可跨任务复用轻量级演员与评论家网络，在近零遗忘的前提下加速后续任务学习，将真实机器人训练时间降低31.0%至68.5%。
2026-10-14 cs.AI cs.LG cs.RO
QuaRL: Quantization for Fast and Environmentally Sustainable Reinforcement Learning
Harvard University（哈佛大学）；Amazon Advertising（亚马逊广告）；Georgia Institute of Technology（佐治亚理工学院）；DeepMind（深度思维）；Google Research, Brain（谷歌研究院大脑团队）
深度强化学习在实现任务级自主性方面继续显示出巨大的潜力，然而，其计算和能量需求仍然非常高。在本文中，我们通过将量化应用于强化学习来解决这个问题。为此，我们引入了一种新的强化学习（RL）训练范式，\textit{ActorQ}，以加快演员-学习者分布式RL训练。\textit{ActorQ}利用8位量化参与者来加速数据汇集，而不影响学习收敛。我们的量化分布式RL训练系统\textit{ActorQ}展示了端到端的加速\blue{between 1.5 $\times$ and 5.41$\times$}，以及在一系列任务（Deepmind Control Suite）和不同RL算法（D4 PG，DQN）上的全精度训练的更快收敛。此外，我们比较了\textit{ActorQ}与标准强化学习\blue{algorithms}在各种任务上的碳排放量（二氧化碳的千克数）。在各种设置中，我们表明\textit{ActorQ}通过实现\blue{carbon emission improvements between 1.9$\times$ and 3.76$\times$}来实现更环保的强化学习，而不是在全精度中训练RL代理。我们相信，这是未来许多关于实现计算节能和可持续强化学习的工作中的第一个。源代码可在此处提供给公众用途：\url{https://github.com/harvard-ed…
2022-11-14 cs.AI cs.LG cs.RO
MACRPO: Multi-Agent Cooperative Recurrent Policy Optimization
Aalto University（阿尔托大学）
这项工作考虑的问题，学习合作的政策，在多智能体设置部分可观察的和非平稳的环境中没有一个通信信道。我们专注于提高代理之间的信息共享，并提出了一种新的多代理Actor-Critic方法称为\textit{Multi-Agent Cooperative Recurrent Proximal Policy Optimization}（MACRPO）。我们提出了两种新的方法，在MACRPO的代理和时间的信息集成：首先，我们使用一个经常性的层评论家的网络架构，并提出了一个新的框架，使用元轨迹训练经常性的层。这允许网络学习代理之间的合作和动态交互，并处理部分可观察性。其次，我们提出了一个新的优势函数，它包含了其他代理人的奖励和价值函数。我们在三个具有连续和离散动作空间的具有挑战性的多智能体环境，Deepdrive-Zero，Multi-Walker和Particle环境中评估了我们的算法。我们比较的结果与几个消融和国家的最先进的多智能体算法，如QMIX和MADDPG和单代理的方法，如IMPALA和APEX代理之间的共享参数。结果表明，优于其他算法的性能。该代码可在https://github.com/kargarisaac/macrpo上获得。
2021-09-02 cs.AI cs.GT cs.LG
The World Model Remembers, the Actor Forgets: Dream Rehearsal for Continual Model-Based RL
Quantegra Research（Quantegra研究公司）
研究 DreamerV3 家族智能体在任务序列训练时的遗忘问题，通过组件级探测发现是通道问题，提出分级梦境排练方法，能产生无任务标签、参数恒定的持续学习者，在多任务链保留上表现优异。
2026-07-23 cs.AI cs.LG
Online Meta-Critic Learning for Off-Policy Actor-Critic Methods
The University of Edinburgh（爱丁堡大学）；National University of Defense Technology（国防科技大学）；Samsung AI Centre, Cambridge（三星人工智能中心（剑桥））
Off-Policy Actor-Critic（Off-PAC）方法已被证明在各种连续控制任务中是成功的。通常，批评家的动作-价值函数使用时间差来更新，并且批评家反过来为演员提供损失，演员训练它采取具有更高预期回报的动作。在本文中，我们介绍了一种新颖而灵活的元批评家，观察学习过程和元学习的演员，加速和提高演员批评家学习的额外损失。与普通评论家相比，元评论家网络被明确地训练以加速学习过程;与现有的元学习算法相比，元评论家可以快速在线学习单个任务，而不是缓慢地学习一系列任务。至关重要的是，我们的元批评框架是为基于政策的学习者设计的，目前提供了最先进的强化学习样本效率。我们证明，在线元批评学习导致的改进，在各种连续控制环境中，结合当代的非PAC方法DDPG，TD 3和国家的最先进的SAC。
2020-11-02 cs.LG stat.ML
Delightful Distributed Policy Gradient
Google DeepMind（谷歌DeepMind）
本文提出Delightful Policy Gradient方法，通过门控机制分离高惊奇失败与成功，提升样本效率。在MNIST和Transformer任务中表现优异，有效处理数据不一致和罕见发现。
2026-05-13 cs.AI cs.LG math.OC
Exploiting Cognitive Structure for Adaptive Learning
University of Science and Technology of China（中国科学技术大学）；University of Tennessee（田纳西大学）；Tianjin University（天津大学）；iFLYTEK CO., LTD.（科大讯飞股份有限公司）；State Key Laboratory of Cognitive Intelligence（认知智能全国重点实验室）
自适应学习，也称为自适应教学，依赖于学习路径推荐，其顺序地推荐个性化学习项目（例如，讲座、练习），以满足每个学习者的独特需求。虽然众所周知，对包括学习者的知识水平和知识结构（例如，学习项的知识结构（前提关系）对于学习路径推荐是重要的，现有的自适应学习方法通常分别关注学习者的知识水平或学习项的知识结构。为了充分利用多方面的认知结构的学习路径推荐，我们提出了一个认知结构增强的自适应学习框架，命名为CSEAL。通过将路径推荐看作是一个马尔可夫决策过程，并应用一个演员-评论家算法，CSEAL可以顺序地为不同的学习者识别正确的学习项目。具体来说，我们首先利用递归神经网络来跟踪学习者在每个学习步骤中的知识水平。然后，设计了知识结构上的导航算法，保证了学习路径的逻辑性，减小了决策过程中的搜索空间。最后，采用actor-critic算法来确定下一步要学习什么，并在学习过程中动态更新其参数。大量的真实数据实验证明了CSEAL的有效性和鲁棒性。
2019-05-23 cs.CY cs.LG stat.ML
Actor-Critic based Improper Reinforcement Learning
IISc（印度科学学院）；Boston University（波士顿大学）；Technion（以色列理工学院）；NVIDIA Research（英伟达研究院）
我们考虑一个不适当的强化学习设置，学习者被赋予$M$基地控制器的一个未知的马尔可夫决策过程，并希望将它们最佳地结合起来，产生一个潜在的新的控制器，可以优于每个基地。这在调节可能在失配或模拟环境中学习的控制器中可能是有用的，以获得针对给定目标环境的具有相对较少试验的良好控制器。为此，我们提出了两个算法：（1）一个策略梯度为基础的方法;（2）一个算法，可以切换之间的一个简单的演员-评论家（AC）为基础的计划和自然演员-评论家（NAC）计划取决于可用的信息。这两种算法都在一类给定控制器的不适当混合物上运行。对于第一种情况，我们得到收敛速度保证假设访问梯度预言。对于基于AC的方法，我们提供收敛速度保证一个固定点在基本AC的情况下，并在NAC的情况下，一个全球最佳。数值结果（i）标准的控制理论基准稳定的cartpole;（ii）一个受约束的调度任务表明，我们不适当的政策优化算法可以稳定的系统，即使在其处置的基本政策是不稳定的。
2022-07-19 cs.AI cs.LG cs.SY
Asynchronous Methods for Deep Reinforcement Learning
Google DeepMind（谷歌DeepMind）；Montreal Institute for Learning Algorithms (MILA)（蒙特利尔学习算法研究所（MILA））；University of Montreal（蒙特利尔大学）
我们提出了一个概念上简单而轻量级的深度强化学习框架，该框架使用异步梯度下降来优化深度神经网络控制器。我们提出了四个标准的强化学习算法的异步变种，并表明并行演员学习者有稳定的训练效果，让所有四种方法成功地训练神经网络控制器。性能最好的方法是Actor-Critic的异步变体，它超越了Atari领域的当前最先进技术，同时在单个多核CPU而不是GPU上训练一半的时间。此外，我们表明，异步演员评论家成功的各种连续电机控制问题，以及在一个新的任务导航随机3D迷宫使用视觉输入。
2016-06-16 cs.LG
AC-Teach: A Bayesian Actor-Critic Method for Policy Learning with an Ensemble of Suboptimal Teachers
Stanford University（斯坦福大学）；University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
深度强化学习（RL）代理使用的探索机制在确定其样本效率方面起着关键作用。因此，改进随机探索对于解决具有稀疏奖励的长时间任务至关重要。我们建议利用一个合奏的部分解决方案作为教师，指导代理人的探索与行动建议在整个培训。虽然以前已经研究过与教师一起学习的设置，但我们提出的方法- Actor-Critic with Teacher Ensembles（AC-Teach）-是第一个与次优教师的合奏一起工作的方法，这些教师可能只解决了问题的一部分或相互矛盾，形成了与广泛的教师合奏兼容的统一算法解决方案。AC-Teach利用教师和学生行为的预期结果的概率表示来指导探索，减少抖动，并适应学习者动态变化的质量。我们评估了一个变体的AC-教，指导学习贝叶斯DDPG代理的三个任务-路径跟踪，机器人拾取和放置，机器人立方体清扫使用钩子-并表明，它大大提高了采样效率在一组基线，无论是我们的目标场景不受约束的次优教师和更容易设置与最佳或单一的教师。更多结果和视频请访问https://sites.google.com/view/acteach/home。
2019-12-13 cs.AI cs.LG stat.ML
EVOL: Simulator-Guided Evolutionary Expert Synthesis for Deployment-Free Learning Path Recommendation
Sungkyunkwan University（成均馆大学）
EVOL利用知识追踪模拟器通过进化搜索合成专家示范，并训练免部署策略，在多个数据集上超越8种基线，解决学习路径推荐中的稀疏奖励问题。
2026-10-05 cs.AI
Distributed Prioritized Experience Replay
DeepMind
我们提出了一种分布式架构，用于大规模的深度强化学习，使代理能够有效地从比以前可能的数量级更多的数据中学习。该算法将行动与学习相结合：行动者通过根据共享的神经网络选择行动来与他们自己的环境实例进行交互，并在共享的经验重放存储器中积累由此产生的经验;学习者重放经验样本并更新神经网络。该架构依赖于优先级经验重放，只关注参与者生成的最重要的数据。我们的架构大大提高了街机学习环境的艺术水平，在挂钟训练时间的一小部分内实现了更好的最终性能。
2018-03-02 cs.LG
Non-Adversarial Inverse Reinforcement Learning via Successor Feature Matching
Mila – Québec AI Institute（魁北克AI研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Cornell University（康奈尔大学）
本文提出一种非对抗式逆强化学习方法，通过后继特征匹配直接优化策略，无需学习奖励函数，仅需单条专家演示即可在状态仅设置下实现高效学习。
2025-04-22 cs.AI cs.LG
Superstition in the Network: Deep Reinforcement Learning Plays Deceptive Games
New York University（纽约大学）；University of Strathclyde（思克莱德大学）；University of Hertfordshire（赫特福德大学）；Maastricht University（马斯特里赫特大学）
深度强化学习已经学会了玩很多游戏，但在其他游戏上失败了。为了更好地描述深度强化学习器失败的模式和原因，我们在四个欺骗性游戏上测试了广泛使用的异步演员-评论家（A2 C）算法，这些游戏是专门为向玩游戏的代理人提供挑战而设计的。这些游戏是在通用视频游戏AI框架中实现的，这使我们能够比较基于强化学习的代理与基于树搜索的规划代理的行为。我们发现，其中几个游戏可靠地欺骗了深度强化学习器，并且由此产生的行为突出了学习算法的缺点。代理失败的特定方式不同于基于规划的代理失败的方式，进一步阐明了这些算法的特征。我们提出了一个初始的欺骗类型学，这可以帮助我们更好地理解（深度）强化学习的陷阱和失败模式。
2019-08-12 cs.AI cs.LG stat.ML
Learning Suffers More Than the Policy Class Under Partial Observability: A Closed-Form Analysis
University College London（伦敦大学学院）
该研究通过闭式分析发现，部分可观测强化学习中学习偏差是性能差的主因，调整演员-评论家的前瞻步数可解决问题，提供了理论依据且经实验验证。
2026-08-10 cs.LG math.OC
Curiosity-Driven Recommendation Strategy for Adaptive Learning via Deep Reinforcement Learning
Hong Kong University of Science and Technology（香港科技大学）
自适应学习系统中推荐策略的设计重点是利用现有信息为学习者提供个性化的学习指导。好奇心作为人类行为的重要动机，本质上是人类探索知识、寻求信息的动力。从心理学的角度出发，我们的目标是引入好奇心的元素，引导学习者自发地学习。本文在强化学习框架下提出了一种好奇心驱动的推荐策略，实现了一种既高效又愉快的个性化学习模式。从一个精心设计的预测模型的内在回报，我们应用演员批评的方法，直接通过神经网络近似的政策。数值分析与一个大的连续的知识状态空间和具体的学习场景被用来进一步证明所提出的方法的力量。
2019-10-12 cs.CY cs.LG stat.ML
Emergence of Spatial Representation in an Actor-Critic Agent with Hippocampus-Inspired Sequence Generator
Faculty of Biology & Bernstein Center Freiburg & BrainLinks-BrainTools Center University of Freiburg（生物学系及弗赖堡伯尔尼中心、BrainLinks-BrainTools中心、弗赖堡大学）
该研究通过海马体启发的序列生成器和Actor-Critic学习者，揭示稀疏输入与序列生成动态的协同作用，为导航任务中的强化学习提供新的归纳偏置。
2026-02-28 cs.LG q-bio.NC
Knowledge Transfer from Teachers to Learners in Growing-Batch Reinforcement Learning
Harvard University（哈佛大学）；DeepMind（深度思维）
本文研究增长批次强化学习中教师知识（示范、专家动作、梯度）的迁移，以缓解演员-评论家方法的样本复杂度和覆盖要求，并在DeepMind控制套件上验证。
2023-05-09 cs.LG
SPO++: Stream-Aligned Policy Optimization for Asynchronous Agentic RL
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Duke University（杜克大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
SPO++通过标准化终端结果优势、按策略事件组织提示证据优化SPO，在ALFWorld和Math-TIR上提升异步智能体强化学习的在线学习效率，动作token测度归一化是其核心有效组件。
2026-08-26 cs.AI
Sharing Lifelong Reinforcement Learning Knowledge via Modulating Masks
Loughborough University（拉夫堡大学）；University of California, Riverside（加州大学河滨分校）；Vanderbilt University（范德堡大学）
本文提出利用调制掩码的参数隔离机制，在完全分布式异步多智能体系统中通过按需通信协议共享特定任务知识，实现稳健的分布式终身强化学习，并在连接中断时保持快速学习。
2023-05-18 cs.AI cs.DC cs.LG
Policy Networks with Two-Stage Training for Dialogue Systems
Maluuba Research（Maluuba研究院）
在本文中，我们建议使用深度策略网络，这些网络是用统计优化的对话系统的优势演员-评论家方法训练的。首先，我们表明，在汇总状态和动作空间上，深度强化学习（RL）优于高斯过程方法。摘要状态和动作空间可以带来良好的性能，但需要前期工作、RL知识和领域专业知识。为了消除定义这种摘要空间的需要，我们证明了深度RL也可以在原始状态和动作空间上进行有效训练。基于部分可观测马尔可夫决策过程的对话系统已知需要许多对话来进行训练，这使得它们对于实际部署没有吸引力。我们表明，基于演员-评论家架构的深度RL方法可以非常有效地利用少量数据。事实上，只有几百个对话通过手工策略收集，演员-评论家深度学习器在很大程度上是从监督和批量RL的组合中引导出来的。此外，与使用批量RL在数据上初始化的其他深度RL方法相比，收敛到最优策略的速度显着加快。所有实验都是在从对话状态跟踪挑战2（DSTC 2）数据集导出的餐馆域上进行的。
2016-09-12 cs.AI cs.CL
Event-Based Communication in Distributed Q-Learning
Delft University of Technology（代尔夫特理工大学）
我们提出了一种方法，以减少所需的分布式Q学习系统的事件触发控制（ETC）技术的启发信息的通信。我们考虑一个基线方案的分布式Q-学习问题的马尔可夫决策过程（MDP）。在基于事件的方法之后，N个代理探索MDP并仅在必要时将经验传达给中央学习者，该中央学习者执行演员Q功能的更新。我们设计了一个基于事件的分布式Q学习系统（EBd-Q），并推导出了相对于普通Q-学习算法的收敛保证。我们目前的实验结果表明，基于事件的通信结果在这样的分布式系统中的数据传输速率大幅降低。此外，我们还讨论了这些基于事件的方法对学习过程的影响（期望的和不期望的），以及它们如何应用于更复杂的多智能体系统。
2021-12-06 cs.AI cs.LG cs.MA
FedFormer: Contextual Federation with Attention in Reinforcement Learning
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
针对多智能体联邦强化学习的权重聚合问题，提出 FedFormer，用 Transformer Attention 按上下文加权聚合模型嵌入，在 Meta-World 上优于 FedAvg 和单智能体 SAC。
2023-03-02 cs.AI cs.LG cs.MA
Human AI interaction loop training: New approach for interactive reinforcement learning
AI Redefined, AI-R Inc.
强化学习（RL）在机器学习的各种决策任务中提供了有效的结果，其中代理从独立的奖励函数学习。然而，它提出了独特的挑战，大量的环境状态和动作空间，以及在确定奖励。这种复杂性来自于本文所考虑的环境的高维性和连续性，需要大量的学习试验来通过强化学习来学习环境。模仿学习（IL）为教师提供了一个很有前途的解决方案。在IL中，学习过程可以利用人工辅助和/或对代理和环境的控制。在这项研究中，一个人类教师和一个代理学习者被认为是。教师参加Agent训练，以应对环境，解决特定目标，并实现预定义的目标。然而，在这种模式下，现有的IL方法的缺点是期望在长期的问题广泛的演示信息。本文提出了一种新的方法结合IL与不同类型的RL方法，即状态动作奖励状态动作（SARSA）和异步优势演员评论家（A3 C）代理，以克服这两个独立的系统的问题。它解决了如何有效地利用教师的反馈，无论是直接的二进制或间接详细的代理学习者学习顺序决策政策。在各种OpenAI Gym环境中的研究结果表明，这种算法方法可以与不同的组合相结合，显着减少了人类的努力和繁琐的探索过程。
2020-03-09 cs.AI cs.LG stat.ML
Accelerating Inverse Reinforcement Learning with Expert Bootstrapping
Cornell University（康奈尔大学）
本研究提出两种利用专家演示加速逆强化学习的方法：将专家转换放入回放缓冲区及在Q值引导中使用专家动作，显著提升MuJoCo任务上的学习速度。
2024-02-04 cs.LG
DanZero: Mastering GuanDan Game with Reinforcement Learning
卡牌游戏AI一直是人工智能研究的热点。近年来，麻将、斗地主、德州扑克等复杂的纸牌游戏已经被解决，相应的AI程序也达到了人类专家的水平。在本文中，我们致力于开发一个更复杂的纸牌游戏，关丹，其规则类似于斗地主，但更复杂的人工智能程序。具体而言，其状态空间和动作空间大、单集时长长、关单人数不确定等特点给人工智能程序的开发带来了巨大的挑战。为了解决这些问题，我们提出了第一个AI程序DanZero的官丹使用强化学习技术。具体来说，我们利用分布式框架来训练我们的AI系统。在Actor过程中，我们精心设计了状态特征，Agent通过自我游戏生成样本。在学习过程中，采用深度蒙特卡罗方法对模型进行更新。在使用160个CPU和1个GPU训练了30天后，我们得到了DanZero机器人。我们将其与8个基于启发式规则的基线AI程序进行了比较，结果显示了DanZero的出色性能。我们还与人类玩家一起测试DanZero，并展示其人类水平的性能。
2022-10-31 cs.AI cs.LG
Efficient Distributed Framework for Collaborative Multi-Agent Reinforcement Learning
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Ping An Technology（平安科技）
不完全信息环境下的多智能体强化学习受到了研究者的广泛关注。但由于样本采集慢、样本探索差等问题，多智能体强化学习仍存在模型迭代不稳定、训练效率低等问题。此外，现有的分布式框架大多是针对单智能体强化学习提出的，不适合多智能体。在本文中，我们设计了一个分布式MARL框架的基础上，演员工作学习者的架构。在该框架中，可以同时部署多个异步环境交互模块，大大提高了样本采集速度和样本多样性。同时，为了充分利用计算资源，我们将模型迭代与环境交互解耦，从而加速策略迭代。最后，在具有不完全信息特征的MaCA军事仿真环境和SMAC三维实时战略博弈环境中验证了该框架的有效性。
2022-05-11 cs.AI cs.LG cs.MA
Safe Reinforcement Learning for Autonomous Vehicles through Parallel Constrained Policy Optimization
Tsinghua University（清华大学）；University of Michigan（密歇根大学）
强化学习（RL）由于其解决复杂分类和控制问题的潜力，在自动驾驶领域引起了越来越多的关注。然而，现有的强化学习算法很少应用于真实车辆，主要有两个问题：行为无法解释，并且它们无法保证新场景下的安全性。本文提出了一种安全的RL算法，称为并行约束策略优化（PCPO），两个自动驾驶任务。PCPO将目前常见的行动者-批评者结构扩展为一个三组件学习框架，其中三个神经网络分别用于逼近策略函数、价值函数和一个新添加的风险函数。同时，信任域约束的加入，允许大的更新步骤，而不打破单调改善条件。为了保证安全约束问题的可行性，采用同步并行学习器探索不同的状态空间，加快了学习和策略更新。对自动驾驶汽车的两种场景的模拟证实了我们可以在确保安全的同时实现快速学习。
2020-03-03 cs.AI cs.LG stat.ML
Massively Parallel Methods for Deep Reinforcement Learning
Google DeepMind（谷歌DeepMind）
我们提出了第一个用于深度强化学习的大规模分布式架构。该架构使用四个主要组件：生成新行为的并行演员;从存储的经验中训练的并行学习者;表示价值函数或行为策略的分布式神经网络;以及分布式经验存储。我们使用我们的架构来实现深度Q网络算法（DQN）。我们的分布式算法被应用到49个游戏从雅达利2600游戏的街机学习环境，使用相同的超参数。我们的性能在49款游戏中的41款中超过了非分布式DQN，并且在大多数游戏中减少了实现这些结果所需的墙时间。
2015-07-16 cs.AI cs.DC cs.LG
Distributed Deep Reinforcement Learning: An Overview
Sharif University of Technology（谢里夫理工大学）
深度强化学习（Deep Reinforcement Learning，DRL）是一个非常活跃的研究领域。然而，一些技术和科学问题需要解决，其中我们可以提到数据效率低下，探索-开发权衡和多任务学习。因此，引入了DRL的分布式修改;代理可以同时在许多机器上运行。在这篇文章中，我们提供了一个调查的分布式方法在DRL的作用。我们概述了该领域的状态，通过研究的关键研究工作，我们如何可以使用分布式方法在DRL有显着的影响。我们选择从分布式学习的角度来概述这些论文，而不是强化学习算法的创新方面。此外，我们评估这些方法在不同的任务，并比较他们的表现与对方和单个演员和学习者代理。
2020-11-22 cs.DC cs.LG
Modelling Bounded Rationality in Multi-Agent Interactions by Generalized Recursive Reasoning
University College London（伦敦大学学院）；Huawei Research & Development U.K.（华为英国研发中心）
虽然在现实世界的决策有限，大多数多智能体强化学习（MARL）模型假设完全理性的代理-属性很难满足由于个人的认知限制和/或决策问题的易处理性。在本文中，我们引入广义递归推理（GR 2）作为一种新的框架模型代理不同的\emph{hierarchical}水平的合理性，我们的框架使代理表现出不同程度的“思考”能力，从而使更高级别的代理最好地应对各种不太复杂的学习者。我们在理论和经验上都有贡献。在理论方面，我们通过概率图模型设计了GR 2的层次框架，并证明了一个完美的贝叶斯均衡的存在性。在GR 2中，我们提出了一个实用的actor-critic求解器，并通过李雅普诺夫分析证明了其收敛到两人博弈中的稳定点。在实证方面，我们验证了我们的研究结果的各种MARL基准。准确地说，我们首先说明了凯恩斯选美比赛的层次思维过程，然后展示了显着的改进相比，国家的最先进的对手建模基线的正常形式的游戏和合作导航基准。
2020-01-20 cs.AI cs.LG cs.MA
Digital Twin-Native AI-Driven Service Architecture for Industrial Networks
Edinburgh Napier University（爱丁堡龙比亚大学）；Istanbul Technical University（伊斯坦布尔理工大学）；BTS Group（BTS集团）
提出一种DT原生AI驱动服务架构，通过TCP数据流管道和强化学习模型解决IoT网络管理挑战，在车联网中节省约30%处理时间并优化模型性能。
2023-11-24 cs.AI cs.NI
Who Is the Strongest Enemy? Towards Optimal and Efficient Evasion Attacks in Deep RL
University of Maryland, College Park（马里兰大学帕克分校）；Sun Yat-sen University（中山大学）
评估强化学习（RL）代理在最强/最优对抗扰动下的最坏情况下的性能对于理解RL代理的鲁棒性至关重要。然而，找到最佳的对手是具有挑战性的，无论是在我们是否可以找到最佳的攻击和如何有效地找到它。现有的对抗性强化学习的工作要么使用基于策略的方法，可能无法找到最强的对手，或直接训练一个基于RL的对手，通过治疗代理作为环境的一部分，它可以找到最佳的对手，但可能会变得难以处理在一个大的状态空间。本文提出了一种新的攻击方法，通过设计一个名为“演员”的功能和一个名为“导演”的基于RL的学习器之间的合作，以找到最佳的攻击。参与者为给定的策略扰动方向制作状态扰动，而导演学习提出最佳策略扰动方向。我们提出的算法PA-AD在理论上是最优的，并且在具有大状态空间的环境中比之前基于RL的工作效率要高得多。实证结果表明，我们提出的PA-AD普遍优于国家的最先进的攻击方法在各种Atari和MuJoCo环境。通过将PA-AD应用于对抗训练，我们在强大对手的多个任务中实现了最先进的经验鲁棒性。代码库在https://github.com/umd-huang-lab/paad_adv_rl上发布。
2023-03-20 cs.CR cs.LG
Solving Continual Offline Reinforcement Learning with Decision Transformer
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；JD Explore Academy（京东探索研究院）；The University of Sydney（悉尼大学）
本文针对持续离线强化学习中稳定性与可塑性难以平衡的问题，提出基于决策Transformer的MH-DT和LoRA-DT方法，通过多头知识存储与低秩适应缓解遗忘，在多个基准上优于现有方法。
2024-04-07 cs.AI cs.LG
Deep Reinforcement Learning for Autonomous Cyber Defence: A Survey
BAE Systems Applied Intelligence Labs（BAE系统应用智能实验室）
本综述探讨了深度强化学习在自主网络防御（ACD）中的应用，概念化了理想的ACD-DRL智能体，并全面总结了ACD领域属性、基准环境、扩展DRL的最先进方法及对抗性环境下的智能体防护，提出了未来研究方向。
2024-09-27 cs.LG
Conduit: An Experience Data Plane for Distributed Reinforcement Learning
Aalto University（阿尔托大学）；Shenzhen University of Advanced Technology（深圳先进技术大学）；Zhejiang University（浙江大学）
Conduit提出经验数据平面（EDP），将经验管理作为显式系统优化问题，通过容量受限、带宽感知的放置和延迟感知调度，显著降低经验路径延迟，可扩展至1024个GPU并保持收敛。
2026-09-22 cs.AI cs.DC
Learning to Play Text-based Adventure Games with Maximum Entropy Reinforcement Learning
University of Kaiserslautern-Landau（凯泽斯劳滕-兰道大学）；Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所（MPI-SWS））
本文将soft-actor-critic算法适配至文本游戏环境，并结合基于势能的奖励塑形技术提供稠密奖励信号，以解决稀疏奖励问题，实验表明该方法在半数训练步数下即可超越Q-learning并获得更高分数。
2023-06-27 cs.LG
PANAMA: A Network-Aware MARL Framework for Multi-Agent Path Finding in Digital Twin Ecosystems
Huawei Canada Advanced Research Center（华为加拿大高级研究中心）
针对数字孪生生态系统中多智能体寻径问题，提出基于CTDE框架和异步架构的网络感知MARL算法PANAMA，显著提升了寻径的准确率、速度和可扩展性。
2025-08-09 cs.AI cs.DC cs.LG
CLOOPD: Closing the Learner Loop in On-Policy Distillation
Alibaba Group（阿里巴巴集团）
CLOOPD提出闭环框架，分离教师信号获取与学生实现，通过自适应α路径点和多遍策略，在减少令牌和GPU消耗的同时提升蒸馏性能。
2026-09-22 cs.LG
ERPPO: Entropy Regularization-based Proximal Policy Optimization
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出ERPPO算法，通过引入熵正则化项解决多维环境中多智能体强化学习的非平稳观测问题，提升目标定位的准确性和稳定性。
2026-05-13 cs.LG cs.RO
Train a Real-world Local Path Planner in One Hour via Partially Decoupled Reinforcement Learning and Vectorized Diversity
Shanghai Jiao Tong University（上海交通大学）；Hanyang University（汉阳大学）；Nanyang Technological University（南洋理工大学）
本文提出Color方案，通过ASL部分解耦框架提升DRL训练效率，并借助轻量Sparrow仿真器的向量化多样性增强泛化，实验验证其在仿真与真实局部路径规划中的优势。
2024-12-05 cs.AI cs.RO
Agent based modelling for continuously varying supply chains
Wuhan University of Technology（武汉理工大学）；University of Southampton（南安普顿大学）；The Alan Turing Institute（阿兰·图灵研究所）
本文研究连续变化供应链中的智能体控制，比较PPO与RPPO算法，发现RPPO凭借记忆能力在极端任务间更稳定，强调智能体协作可提升非平稳环境性能。
2023-12-24 cs.AI cs.LG cs.SY
When Does Trajectory-Level Supervision Permit Efficient Offline Reinforcement Learning?
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究离线强化学习中仅使用轨迹级结果（如累积回报或偏好）进行策略优化的统计理论，提出OPAC算法并证明其样本复杂度，同时揭示在非线性聚合目标下存在的统计障碍。
2026-06-18 cs.LG stat.ML
PACOL: Poisoning Attacks Against Continual Learners
University of Arizona（亚利桑那大学）；Rowan University（罗文大学）；EpiSys Science（EpiSys科学公司）
本文提出针对持续学习者的新型数据投毒攻击PACOL，通过生成不改变标签但引发灾难性遗忘的对抗样本，验证了常见持续学习方法在基准数据流上的脆弱性及防御机制的局限性。
2023-11-18 cs.LG
