D-SPEAR: Dual-Stream Prioritized Experience Adaptive Replay for Stable Reinforcement Learning in Robotic Manipulation
School of Computer Science University of Galway Galway, Ireland
本文提出D-SPEAR双流优先经验自适应回放框架,通过分离actor和critic采样并维护共享回放缓冲区,利用优先回放提升价值学习效率,低误差过渡稳定策略优化,在机器人操作任务中优于SAC、TD3等基线方法。
2026-04-01 cs.AI cs.LG cs.RO
Prioritized League Reinforcement Learning for Large-Scale Heterogeneous Multiagent Systems
IEEE Publication Technology Group(IEEE出版技术集团)
针对大规模异构多智能体合作中的非平稳性和智能体数量不平衡问题,提出PHLRL方法,通过建立异构策略联赛和优先级策略梯度优化策略,并在LSMO基准中超越QTRAN和QPLEX等先进方法。
2024-03-26 cs.AI
Directly Attention Loss Adjusted Prioritized Experience Replay
Northwestern Polytechnical University(西北工业大学)
提出DALAP强化学习训练框架,利用Parallel Self-Attention网络量化分布偏移以补偿误差,并设计Priority-Encouragement机制优化样本筛选,有效提高了收敛速度并降低了训练方差。
2023-11-24 cs.AI cs.LG
Prioritized Experience Replay
Google DeepMind(谷歌DeepMind)
经验回放让在线强化学习代理记住并重用过去的经验。在先前的工作中,经验转换是从重放存储器中均匀采样的。然而,这种方法只是以它们最初经历的相同频率重放转换,而不管它们的重要性。在本文中,我们开发了一个优先考虑经验的框架,以便更频繁地重播重要的转换,从而更有效地学习。我们在Deep Q-Networks(DQN)中使用优先级经验重放,这是一种强化学习算法,在许多Atari游戏中实现了人类水平的性能。具有优先体验重播的DQN实现了新的最先进技术,在49场比赛中的41场比赛中表现优于DQN。
2016-02-25 cs.LG
Is prioritized sweeping the better episodic control?
Laboratory of Computational Neuroscience(计算神经科学实验室);École polytechnique fédérale de Lausanne(洛桑联邦理工学院);Brain Mind Institute, School of Life Sciences, École polytechnique fédérale de Lausanne(洛桑联邦理工学院生命科学学院脑思维研究所)
情景控制已经被提出作为强化学习的第三种方法,除了无模型和基于模型的控制之外,通过类比人类记忆的三种类型。即情景记忆、程序记忆和语义记忆。但是,情景控制的理论性质还没有得到很好的研究。在这里,我表明,在确定性树马尔可夫决策过程中,情节控制相当于一种形式的优先扫描的样本效率以及内存和计算需求。对于一般的确定性和随机性环境,优先扫描执行更好,甚至当内存和计算需求被限制为等于情节控制。这些结果表明,优先扫描部分可观察的环境,其结合使用功能近似和搜索可能的实现优先扫描大脑的概括。
2018-08-09 cs.AI cs.LG
Spectral Prioritized Sweeping in Nonstationary Reinforcement Learning
Hanoi University of Science and Technology(河内科技大学)
针对非平稳奖励下优先扫描的短视问题,提出基于图拓扑增强的谱优先扫描(GTA-PS/SPS),利用拉普拉斯逆扩散残差并自适应退火,实验证明其提升重规划效率。
2026-10-27 cs.LG
Distributed Prioritized Experience Replay
DeepMind
我们提出了一种分布式架构,用于大规模的深度强化学习,使代理能够有效地从比以前可能的数量级更多的数据中学习。该算法将行动与学习相结合:行动者通过根据共享的神经网络选择行动来与他们自己的环境实例进行交互,并在共享的经验重放存储器中积累由此产生的经验;学习者重放经验样本并更新神经网络。该架构依赖于优先级经验重放,只关注参与者生成的最重要的数据。我们的架构大大提高了街机学习环境的艺术水平,在挂钟训练时间的一小部分内实现了更好的最终性能。
2018-03-02 cs.LG
Prioritized offline Goal-swapping Experience Replay
Tampere University(坦佩雷大学);Aalto University(阿尔托大学)
在目标条件离线强化学习中,智能体从先前收集的数据中学习,以达到任意目标。由于离线数据仅包含有限数量的轨迹,因此主要挑战是如何生成更多数据。目标交换通过切换轨迹目标来生成额外的数据,但在这样做的同时会产生大量无效的轨迹。为了解决这个问题,我们提出了优先目标交换经验重放(PGSER)。PGSER使用预训练的Q函数为允许达到目标的目标交换转换分配更高的优先级权重。在实验中,PGSER在广泛的基准任务中显着改善了基线,包括挑战以前不成功的灵巧手操作任务。
2023-03-05 cs.AI cs.LG
Depth-CUPRL: Depth-Imaged Contrastive Unsupervised Prioritized Representations in Reinforcement Learning for Mapless Navigation of Unmanned Aerial Vehicles
Universidade Federal do Rio Grande - FURG(里奥格兰德联邦大学(FURG));Universidade Federal de Santa Maria - UFSM(圣玛丽亚联邦大学(UFSM));Technological University of Uruguay(乌拉圭技术大学)
强化学习(RL)通过原始像素成像和连续控制任务在视频游戏中表现出令人印象深刻的性能。然而,RL在高维观测(如原始像素图像)方面表现不佳。人们普遍认为,基于物理状态的RL策略(如激光传感器测量)比像素学习更有效。本文提出了一种从深度图估计中提取信息的新方法,用于训练强化学习智能体实现无人机的无地图导航。我们提出了深度图像对比无监督优先表示强化学习(深度CUPRL),估计与优先重放记忆的图像的深度。我们使用RL和对比学习的组合来解决基于图像的RL问题。从与无人机(UAV)的结果的分析,可以得出结论,我们的深度CUPRL方法是有效的决策,并优于国家的最先进的基于像素的方法在无地图导航能力。
2022-07-01 cs.AI cs.RO
Progressive Generalization Augmentation with Deeply Coupled RND-PPO and Domain-Prioritized Noise Injection for Robust Crop Management Reinforcement Learning
Chongho Bridge Group Limited(中宏桥梁集团有限公司)
本文提出了一种渐进泛化增强方法,通过深度耦合RND-PPO和领域优先噪声注入,解决农业强化学习中早期学习效率与后期泛化能力的平衡、内在和外在奖励的简单加法结合以及统一噪声注入策略的问题,从而提高作物管理的鲁棒性。
2026-05-17 cs.AI cs.LG
Prioritized Guidance for Efficient Multi-Agent Reinforcement Learning Exploration
探索效率是多智能体强化学习(MARL)中的一个具有挑战性的问题,因为联盟MARL学习的策略依赖于多个智能体之间的协作方法。另一个重要的问题是,与监督学习中的信息标签相比,较少的信息奖励限制了MARL的学习速度。在这项工作中,我们利用一种新的通信方法来引导MARL加速探索,并提出了一种预测网络来预测当前状态-动作对的奖励,并使用预测网络学习的指导来修改奖励函数。采用改进的优先经验重放,以更好地利用不同的代理,更有效地利用时间差(TD)错误的学习不同的知识。实验结果表明,该算法优于现有的方法在合作的多智能体环境。我们注意到,该算法可以扩展到监督学习,以加快其训练。
2019-12-25 cs.LG cs.MA stat.ML
DQN Performance with Epsilon Greedy Policies and Prioritized Experience Replay
Brigham Young University
本文系统研究有限环境中 DQN 的 epsilon-greedy 探索调度与优先经验回放,通过多组仿真对比 uniform、no replay 和 prioritized 策略,揭示探索与记忆管理的权衡,并为资源受限场景提供强化学习实践建议。
2025-11-05 cs.AI cs.LG
Safety-Prioritized, Reinforcement Learning-Enabled Traffic Flow Optimization in a 3D City-Wide Simulation Environment
本文提出安全优先的强化学习框架与三维全市交通仿真环境,通过自定义奖励的PPO模型显著减少碰撞、优化交通流并降低碳排放。
2025-05-23 cs.AI cs.LG cs.RO
Prioritized Soft Q-Decomposition for Lexicographic Reinforcement Learning
Örebro University(厄勒布鲁大学);IT University of Copenhagen(哥本哈根信息技术大学)
本文提出优先化软 Q 分解(PSQD)算法,通过子任务变换与值分解增量求解连续空间词典序多目标强化学习问题,支持零样本重用和离线适配,并在机器人控制任务中验证了其有效性。
2024-05-02 cs.AI
Prioritized Sequence Experience Replay
Iowa State University(爱荷华州立大学)
经验重放广泛用于深度强化学习算法,并允许代理记住和学习过去的经验。为了更有效地学习,研究人员提出了优先经验重放(PER),它更频繁地采样重要的转换。在本文中,我们提出了优先顺序经验重放(PSER)的优先顺序的经验序列,试图更有效地学习,并获得更好的性能的框架。我们比较了PER和PSER采样技术在表格式Q学习环境中和在Atari 2600基准测试中的DQN中的性能。我们从理论上证明,PSER是保证收敛速度比PER和经验表明PSER大大提高PER。
2020-02-19 cs.AI cs.LG stat.ML
Uncertainty Prioritized Experience Replay
本文提出利用认知不确定性为回放缓冲区中的转移排序,以抑制噪声导致的错误优先级,并在玩具任务和 Atari 上验证其优于 QR-DQN 基准。
2025-06-10 cs.LG
Regret Minimization Experience Replay in Off-Policy Reinforcement Learning
National Key Laboratory of Novel Software Technology(计算机软件新技术国家重点实验室);Nanjing University(南京大学)
在强化学习中,经验重放存储过去的样本以供进一步重用。优先抽样是一种很有前途的技术,以更好地利用这些样本。以前的优先级标准包括TD错误,最近和纠正性反馈,这主要是启发式设计。在这项工作中,我们从遗憾最小化的目标,并获得一个最优的优先级策略贝尔曼更新,可以直接最大化的政策回报。该理论认为,在抽样过程中,后见之明TD误差越大、策略性越好、Q值越准确的数据应赋予越高的权重。因此,大多数以前的标准只是部分考虑这一战略。我们不仅提供了理论上的理由,以前的标准,但也提出了两种新的方法来计算优先权,即ReMERN和ReMERT。ReMERN学习错误网络,而ReMERT利用状态的时间顺序。这两种方法在具有挑战性的RL基准测试(包括MuJoCo,Atari和Meta-World)中优于以前的优先级采样算法。
2021-11-09 cs.AI cs.LG
Progression Cognition Reinforcement Learning with Prioritized Experience for Multi-Vehicle Pursuit
Beijing University of Posts and Telecommunications(北京邮电大学);King’s College London(伦敦国王学院);University of Essex(埃塞克斯大学);Beijing Big Data Center(北京大数据中心)
针对多车追捕中协作不足与动态目标分配问题,提出PEPCRL-MVP,通过优先经验和注意力驱动的渐进认知分组提升追捕效率与成功率。
2023-06-08 cs.AI
Prioritized Sweeping Neural DynaQ with Multiple Predecessors, and Hippocampal Replays
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institut des Systèmes Intelligents et de Robotique(智能系统与机器人研究所)
在睡眠和清醒休息期间,海马体会重放在先前经历中被激活的位置细胞序列。这些都被解释为一个记忆巩固过程,但最近的结果表明,在强化学习方面可能的解释。Dyna强化学习算法使用离线重放来改进学习。在有限的重放预算下,可以使用优先化的扫描方法来提高性能,该方法需要到前任的转换的模型。我们调查这些算法是否可以解释实验观察到的重放。我们提出了一个神经网络版本的优先扫描Q学习,为此我们开发了一个不断增长的多专家算法,能够应付多个前辈。由此产生的架构是能够提高学习的模拟代理面临的导航任务。我们预测,在动物中,学习世界模型应该发生在休息期间,并且相应的重放应该被打乱。
2018-08-13 cs.AI cs.NE
Enhancing Deep Deterministic Policy Gradients on Continuous Control Tasks with Decoupled Prioritized Experience Replay
通过解耦优先经验回放提升连续控制任务中深度确定性策略梯度算法的性能
2025-12-04 cs.LG
Quantum deep Q learning with distributed prioritized experience replay
Wells Fargo(富国银行)
针对量子强化学习采样复杂度高的问题,提出融合优先经验回放与异步训练的 QDQN-DPER 框架,并通过仿真证明其优于同架构基线。
2023-04-19 cs.AI cs.DC cs.LG
Prioritized Level Replay
Facebook AI Research(脸书人工智能研究院);University College London(伦敦大学学院)
具有程序生成内容的环境是测试深度强化学习中系统泛化的重要基准。在此设置中,每个级别都是通过算法创建的环境实例,其变化因素具有唯一配置。在预先指定的水平子集上训练允许测试对看不见的水平的泛化。从一个级别中可以学到什么取决于当前的策略,而之前的工作默认为独立于策略的训练级别的统一采样。我们引入了优先级重放(PLR),这是一个通用框架,用于选择性地对下一个训练级别进行采样,方法是在将来重新访问时优先考虑那些估计学习潜力较高的训练级别。我们显示TD错误有效地估计一个级别的未来学习潜力,当用来指导抽样过程中,诱导一个紧急的课程越来越困难的水平。通过调整训练水平的采样,PLR显着提高了样本效率和普适性的Procgen基准-匹配以前的最先进的测试回报-并很容易与其他方法相结合。与之前的领先方法相结合,PLR将测试返回相对于标准RL基线的最新改进提高到76%以上。
2021-06-12 cs.AI cs.LG
Investigating the Interplay of Prioritized Replay and Generalization
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所);CIFAR(加拿大高级研究所)
本文系统研究优先经验回放与神经网络泛化的相互作用,发现PER在表格设置中有价值传播优势,但与神经网络结合时通常不优于均匀回放,并提出若干改进方案。
2024-10-19 cs.AI cs.LG
Double Prioritized State Recycled Experience Replay
Korea Advanced Institute of Science and Technology(韩国科学技术院)
经验重放使在线强化学习代理能够存储和重用先前与环境交互的经验。在最初的方法中,经验是随机抽样并均匀重放的。先前的工作称为优先经验重放,其中经验被优先化,以便更频繁地重放似乎更重要的经验。本文提出了一种双优先级状态回收(DPSR)经验重放方法,在训练阶段和存储阶段对经验进行优先级排序,并利用状态回收替换记忆中的经验,以充分利用暂时优先级较低的经验。我们在Deep Q-Networks(DQN)中使用了这种方法,并取得了最先进的结果,优于原始方法,并优先考虑了许多Atari游戏的体验重播。
2020-09-21 cs.LG stat.ML
Actor Prioritized Experience Replay
Bilkent University(比尔肯特大学)
一种被广泛研究的深度强化学习(RL)技术,称为优先级经验回放(PER),允许代理从以与其时间差(TD)误差成比例的非均匀概率采样的转换中进行学习。虽然PER是离散动作域中深度RL方法整体性能的最关键组成部分之一,但许多实证研究表明,它在连续控制中的表现远远低于演员-评论家算法。我们从理论上表明,演员网络不能有效地训练具有较大TD误差的过渡。结果,在Q网络下计算的近似策略梯度偏离在最优Q函数下计算的实际梯度。出于这一动机,我们引入了一个新的经验重放采样框架的演员-评论家的方法,这也考虑了问题的稳定性和最近的研究结果背后的PER的经验表现不佳。所介绍的算法提出了一个新的分支PER的改进和调度演员和评论家网络的有效和高效的训练。一组广泛的实验验证了我们的理论主张,并表明,所介绍的方法显着优于竞争的方法,并获得国家的最先进的结果超过标准的政策演员-评论家算法。
2022-09-01 cs.AI cs.LG
Experience Sharing Between Cooperative Reinforcement Learning Agents
Numenta;Universidade do Vale do Rio dos Sinos(淡水河谷大学);University of Brasilia(巴西利亚大学)
合作智能体之间分享经验的想法自然源于我们对人类学习方式的理解。作为一个物种,我们的进化与彼此交流知识的能力紧密相连。因此,自主和独立的代理之间的经验共享(ES)可能成为关键,以加速学习的合作多智能体设置。我们研究了随机选择经验分享是否可以提高深度强化学习代理的性能,并提出了三种选择经验的新方法来加速学习过程。首先,我们引入了聚焦ES,它优先考虑状态空间中未探索的区域。其次,我们提出了优先ES,其中的时间差误差被用来作为衡量优先级。最后,我们设计了重点优先ES,它结合了以前的方法。在一个控制问题的经验验证的方法。虽然在两个Deep Q-网络代理之间共享随机选择的经验与单个代理基线相比没有任何改进,但我们表明所提出的ES方法可以成功地超越基线。特别是,Focused ES将学习速度提高了2倍,将完成任务所需的片段数量减少了51%。
2019-11-06 cs.AI cs.LG
Freshness-Aware Prioritized Experience Replay for LLM/VLM Reinforcement Learning
King Abdullah University of Science and Technology(卡布尔大学科学与技术大学);Chinese Academy of Sciences, Institute of Automation(中国科学院自动化研究所);AI Centre, Department of Computer Science, University College London(伦敦大学学院人工智能中心);Zhongguancun Institute of Artificial Intelligence(中关村人工智能研究所)
本文提出Freshness-Aware PER,通过引入指数衰减机制解决LLM/VLM强化学习中优先级过时问题,显著提升样本效率,在多个任务中取得优异表现。
2026-04-18 cs.CL cs.LG
Reliability-Adjusted Prioritized Experience Replay
Technical University Munich(慕尼黑技术大学);University St. Gallen(圣加尔LEN大学)
本文提出ReaPER,通过引入时间差误差可靠性度量,改进优先经验回放,实现更高效的强化学习
2025-12-15 cs.LG stat.ML
Integrating Novelty and Surprise for Experience Prioritization and Exploration in Image-Based Reinforcement Learning
University of Auckland(奥克兰大学)
该研究提出NSPER及扩展的NSPER+R,将新颖性与意外性结合,在DeepMind Control Suite任务上提升了基于图像的强化学习的训练效率与收敛速度。
2026-08-19 cs.AI cs.LG
RLVR without Ineffective Samples: Group Prioritized Off-Policy Optimization for LLM Reasoning
Department of Automation, Tsinghua University(清华大学自动化系)
针对强化学习中无效样本导致学习信号不足的问题,提出群体优先级离策略优化(POPO),通过优先级群体重放和解耦重要性采样,在不增加额外采样开销的情况下提升推理性能。
2026-05-31 cs.AI cs.LG
Efficient Reinforcement Learning in Resource Allocation Problems Through Permutation Invariant Multi-task Learning
AStar(新加坡科技研究局);IBM Research(IBM研究院)
现实世界中的强化学习的主要挑战之一是从有限的训练样本中成功学习。我们表明,在某些设置中,可用的数据可以显着增加,通过一种形式的多任务学习,利用任务中的不变性。我们提供了一个理论上的性能界的增益在样本效率在此设置下。这激发了一种新的多任务学习方法,它涉及到一个适当的神经网络架构和优先任务采样策略的设计。我们实证证明了所提出的方法在两个现实世界的顺序资源分配任务中的有效性,这种不变性发生:金融投资组合优化和Meta联邦学习。
2021-02-18 cs.AI cs.LG
Improving Experience Replay with Successor Representation
University of California San Diego(加州大学圣迭戈分校)
优先经验重放是一种强化学习技术,智能体通过重放有用的过去经验来加速学习。这种有用性被量化为重放经验的预期增益,这个量通常近似为预测误差(TD误差)。然而,神经科学的最新研究表明,在生物有机体中,重放的优先级不仅取决于收益,而且取决于“需要”--一个衡量每一次经历与当前情况的预期相关性的数量。重要的是,这个术语目前在诸如优先经验重放之类的算法中没有被考虑。在本文中,我们提出了一种新的方法,优先考虑重播的经验,同时考虑增益和需要。我们提出的算法在基准测试中表现出显着的性能提高,包括Dyna-Q迷宫和Atari游戏的选择。
2022-02-16 cs.AI cs.LG cs.RO
PTR-PPO: Proximal Policy Optimization with Prioritized Trajectory Replay
基于策略的深度强化学习算法的数据利用率较低,并且需要大量经验来改进策略。提出了一种基于优先轨迹重放的近端策略优化算法(PTR-PPO),该算法结合了on-policy和off-policy方法,通过优先重放旧策略生成的轨迹来提高采样效率。我们首先设计了三个轨迹优先级的基础上的轨迹的特点:前两个是最大和平均轨迹优先级的一步经验广义优势估计(GAE)值的基础上,最后一个奖励轨迹优先级的基础上归一化未贴现的累积奖励。然后,将优先轨迹重放引入到PPO算法中,提出了截断重要性权重的方法来克服多步经验下重要性权重过大带来的高方差问题,并设计了非策略条件下PPO的策略改进损失函数。我们评估PTR-PPO在一组Atari离散控制任务中的性能,实现了最先进的性能。此外,通过分析训练过程中优先级内存中各个位置的优先级变化热图,我们发现内存大小和卷展长度会对轨迹优先级的分布产生重大影响,从而影响算法的性能。
2021-12-08 cs.LG
Decoupled Prioritized Resampling for Offline RL
Tsinghua University(清华大学);Sea AI Lab
本文提出即插即用的离线优先经验回放OPER,通过高回报转移优先权重诱导改进行为策略,并以OPER-A和OPER-R两种策略显著提升五类离线RL基线性能。
2025-01-08 cs.AI cs.LG
Revisiting Prioritized Experience Replay: A Value Perspective
Peking University(北京大学)
经验重放使非策略强化学习(RL)代理能够利用过去的经验来最大化累积奖励。优先经验重放,加权经验的大小,他们的时间差误差($|\text{TD}|$)显着提高学习效率。但是,$|\text{TD}|$与经验的重要性之间的关系还没有得到很好的理解。我们从经济学的角度来解决这个问题,通过将$|\text{TD}|$与经验价值联系起来,经验价值被定义为通过访问经验而增加的累积奖励的价值。我们从理论上证明了经验的价值度量是上界的$|\text{TD}|$ Q学习。此外,我们成功地将我们的理论框架扩展到最大熵RL,通过推导软Q学习的这些值度量的上下界,这些值度量是$|\text{TD}|$和经验的“on-policyness”的产物。我们的框架连接了RL中的两个重要量:$|\text{TD}|$和经验值。我们的经验表明,在实践中的界限,并使用上限作为优先级的经验重放提高最大熵RL在雅达利游戏。
2021-02-05 cs.LG
Dyna-Style Planning with Linear Function Approximation and Prioritized Sweeping
University of Alberta(阿尔伯塔大学)
本文提出一种基于模型的Dyna风格规划方法,扩展至线性函数逼近,证明其收敛性,并引入线性Dyna的优先级扫描算法。
2012-06-13 cs.AI cs.LG cs.SY
Hybrid Beamforming for mmWave MU-MISO Systems Exploiting Multi-agent Deep Reinforcement Learning
Southeast University(东南大学);ZTE Corporation(中兴通讯股份有限公司)
在这封信中,我们研究了基于深度强化学习(DRL)的混合波束形成用于毫米波(mmWave)多用户(MU)多输入单输出(MISO)系统。提出了一种多智能体DRL方法来解决DRL中的探索效率问题。在所提出的方法中,优先重放缓冲区和更多的信息奖励,以加速收敛。仿真结果表明,与基准算法相比,该算法具有更高的频谱效率和更少的时间消耗,更适合于实际应用。
2021-02-01 cs.AI cs.LG eess.SP
Predictive PER: Balancing Priority and Diversity towards Stable Deep Reinforcement Learning
National Institute of Informatics(国立信息学研究所);University of Waterloo(滑铁卢大学)
优先经验重放(PER)对重要的转换进行采样,而不是均匀地采样,以提高深度强化学习代理的性能。我们认为,这种优先级必须与样本多样性相平衡,以使DQN稳定并防止遗忘。我们提出的对PER的改进,称为预测PER(PPER),采取三种对策(TDInit,TDClip,TDPred)来(i)消除优先级离群值和爆炸,以及(ii)改善样本多样性和分布,按优先级加权,两者都导致稳定DQN。其中最值得注意的是引入了第二个DNN,称为TDPred,以概括分发中的优先级。消融研究和充分的实验与雅达利游戏表明,每一个对策,以自己的方式和PPER有助于成功地提高稳定性,从而性能超过PER。
2020-11-26 cs.AI cs.LG
ViZDoom: DRQN with Prioritized Experience Replay, Double-Q Learning, & Snapshot Ensembling
ViZDoom是一个强大的第一人称射击游戏强化学习环境,其特点是大量的潜在状态信息。在本文中,双Q学习和优先级的经验重放方法进行了测试,在一定的ViZDoom战斗场景下,使用竞争深度递归Q网络(DRQN)架构。此外,被称为快照集成的集成技术采用特定的退火学习率,以观察在这两种方法下的集成功效的差异。一般来说,退火学习率对于深度神经网络模型的训练很重要,因为它们会改变现状,并对抗模型趋于局部最优的趋势。虽然这两种变体的性能都超过了游戏中内置的人工智能智能体,但说明了双Q学习的已知稳定效果,并通过在智能体开发的早期显示即时结果,再次验证了优先级经验重放的有用性,但在这种情况下,价值高估会加速。此外,还观察到一些独特的行为,以发展优先级经验重放(PER)和双Q(DDQ)的变种,和PER和DDQ的快照集成证明了一个有价值的方法,以提高性能的ViZDoom海洋。
2018-01-03 cs.AI
The Reactor: A fast and sample-efficient Actor-Critic agent for Reinforcement Learning
DeepMind(深度思维);Google Brain(谷歌大脑)
在这项工作中,我们提出了一种新的代理架构,称为反应器,它结合了多种算法和架构的贡献,以产生比优先决斗DQN更高的样本效率的代理(Wang等人,2016)和分类DQN(Bellemare等人,2017),同时提供比A3 C更好的运行时性能(Mnih等人,2016)。我们的第一个贡献是一个新的策略评估算法,称为分布式回溯,它带来了多步的政策更新的分布式强化学习设置。同样的方法可以用来转换几类多步策略评估算法设计的期望值评估到分布式的。接下来,我们介绍了\b{eta} -留一法策略梯度算法,该算法通过使用动作值作为基线来改进方差和偏差之间的权衡。我们的最后算法的贡献是一个新的优先重放算法的序列,它利用时间局部性的相邻观测更有效的重放优先级。使用雅达利2600基准,我们表明,这些创新都有助于样本效率和最终代理的性能。最后,我们展示了Reactor在2亿帧和不到一天的训练后达到了最先进的性能。
2018-06-19 cs.AI
Generalizing Consistency Policy to Visual RL with Prioritized Proximal Experience Regularization
University of Chinese Academy of Sciences(中国科学院大学)
针对视觉强化学习样本效率低、训练不稳定的问题,提出带优先级近端经验正则化的一致性策略CP3ER,结合样本熵正则化稳定训练,在21项任务上取得SOTA,是首个将扩散/一致性模型应用于视觉强化学习的方法。
2024-10-29 cs.AI cs.CV cs.LG
Learning-guided Prioritized Planning for Lifelong Multi-Agent Path Finding in Warehouse Automation
Massachusetts Institute of Technology(麻省理工学院)
本文提出RL-RH-PP框架,结合强化学习与搜索规划,提升仓库自动化中多智能体路径寻找的效率与适应性。
2026-03-25 cs.AI cs.RO
Attend2Pack: Bin Packing through Deep Reinforcement Learning with Attention
Dorabot Inc(多拉机器人公司);Australian National University(澳大利亚国立大学)
本文试图通过学习的角度来解决装箱问题(BPP)。基于自注意编码和深度强化学习算法,我们为这个感兴趣的任务提出了一个新的端到端学习模型。通过分解组合动作空间,以及利用一种新的训练技术表示为优先过采样,这是一个通用的计划,以加快同策略学习,我们实现了国家的最先进的性能在一系列的实验设置。此外,虽然所提出的方法attend2pack的目标离线BPP,我们剥离我们的方法到严格的在线BPP设置,它也能够实现最先进的性能。通过一组消融研究以及与一系列先前工作的比较,我们希望为这一研究领域提供有效的基线方法。
2021-08-02 cs.AI cs.LG
Rollout-Level Advantage-Prioritized Experience Replay for GRPO
Department of Electrical and Computer Engineering, Seoul National University(首尔国立大学电子与计算机工程系);Interdisciplinary Program in AI, Seoul National University(首尔国立大学人工智能跨学科项目);AIIS, ASRI, INMC, and ISRC, Seoul National University(首尔国立大学人工智能研究所、人工智能研究机构、智能网络与计算中心及人工智能科学研究中心)
针对GRPO样本效率低的问题,提出轨迹级经验回放缓冲器,通过年龄驱逐限制陈旧性、新鲜锚定组合保持在线策略、按优势幅度优先采样,在多个数学基准上显著提升性能。
2026-09-09 cs.AI cs.LG
Efficient Adaptation of Reinforcement Learning Agents to Sudden Environmental Change
Georgia Institute of Technology(佐治亚理工学院)
针对深度强化学习在部署环境突变时难以高效适应且易遗忘先验知识的问题,本论文提出在线适应需具备优先探索采样和结构化知识选择性保留两项能力。
2025-05-15 cs.AI cs.LG
Multi-Agent Path Finding with Prioritized Communication Learning
East China Normal University(华东师范大学);Geekplus Technology Co., Ltd.(极智嘉科技股份有限公司);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
多智能体寻路(MAPF)已被广泛用于解决大规模的现实世界的问题,例如,自动化仓库基于学习的,完全分散的框架已被引入,以减轻实时问题,同时追求最佳的规划政策。然而,现有的方法可能会产生显着更多的顶点冲突(或碰撞),这导致低成功率或更多的完工时间。在本文中,我们提出了一个优先通信学习方法(PICO),它将\textit{implicit}规划优先级到通信拓扑结构内的分散多智能体强化学习框架。隐式优先级学习模块与经典的耦合规划器相结合,形成动态的通信拓扑,并建立有效的冲突避免机制。PICO在大规模MAPF任务中的成功率和碰撞率明显优于最先进的基于学习的规划器。
2022-02-10 cs.GT cs.LG cs.MA
Shared Learning : Enhancing Reinforcement in $Q$-Ensembles
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
深度强化学习已经能够在各种领域取得惊人的成功,从视频游戏到持续控制,通过尝试最大化累积奖励。然而,这些成功中的大多数依赖于需要大量数据进行训练的算法,以便获得与人类水平性能相当的结果。如果我们要将这些系统部署在现实世界的任务上,这是不可行的,因此在探索数据高效算法方面有了更大的推动力。为此,我们提出了共享学习框架,旨在使$Q$集成算法的数据效率。为了实现这一目标,我们研究了迁移学习的一些原则,这些原则旨在研究强化学习中跨任务信息交换的好处,并以一种新的方式将迁移适应于学习我们的价值函数估计。在本文中,我们考虑的特殊情况下的价值函数之间的转移估计的$Q$集成架构的BootstrappedDQN。我们进一步实证证明了我们提出的框架可以帮助加快学习过程中的$Q$ -合奏与最小的计算开销的一套雅达利2600游戏。
2017-09-14 cs.AI cs.LG
Accelerating Reinforcement Learning through Implicit Imitation
University of British Columbia(不列颠哥伦比亚大学);University of Toronto(多伦多大学)
模仿可以被看作是在多智能体环境中增强学习的一种手段。它通过智能地利用合作教师或其他更有经验的代理所展示的行为中隐含的知识来增强代理学习有用行为的能力。我们提出并研究了一种形式化的内隐模仿模型,该模型在某些情况下可以显著加速强化学习。粗略地说,通过观察导师,一个自主学习的智能体可以提取关于它自己在状态空间中未访问部分的能力和相对价值的信息。我们研究了这个模型的两个具体实例,其中一个学习代理和导师具有相同的能力,一个旨在处理代理和导师不同的行动集。我们说明了隐式模仿的好处,通过将其与优先扫描相结合,并通过观察单个和多个导师来展示改进的性能和收敛性。虽然我们对可观测性和可能的相互作用做了一些严格的假设,但我们简要地评论了放松这些限制的模型的扩展。
2011-06-03 cs.AI cs.LG
Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs
使用深度神经网络作为函数逼近器已经导致强化学习算法和应用取得了惊人的进展。然而,我们对决策边界几何形状和神经策略的损失景观的了解仍然非常有限。在本文中,我们提出了一个框架,以调查的决策边界和损失景观相似性的国家和跨MDPs。我们在Arcade Learning Environment的各种游戏中进行了实验,发现神经策略的高灵敏度方向在MDP之间是相关的。我们认为,这些高灵敏度的方向支持的假设,即非鲁棒的功能共享跨训练环境的强化学习代理。我们相信,我们的研究结果揭示了深度强化学习训练中使用的环境的基本特性,并代表了构建强大可靠的深度强化学习代理的切实步骤。
2021-12-16 cs.AI cs.LG stat.ML
Ensembling Prioritized Hybrid Policies for Multi-agent Pathfinding
KAIST(韩国科学技术院);OMELET
针对高障碍、多智能体结构化环境下的MAPF性能瓶颈,提出集成优先级混合策略EPH,结合选择性通信、Q学习训练与三种推理策略,性能达到当前神经方法先进水平并开源代码。
2024-07-10 cs.AI cs.LG cs.MA
Learning Shared Representations in Multi-task Reinforcement Learning
University College London(伦敦大学学院)
我们研究了多任务强化学习(MT-RL)中的一个范例,其中代理被放置在一个环境中,需要学习在这个空间内执行一系列任务。由于环境没有改变,任务之间可能存在很多共同点,学习单独解决它们似乎是非常浪费的。在本文中,我们明确地建模和学习这种共享结构,因为它出现在状态-动作值空间。我们将展示如何通过修改流行的值迭代和策略迭代过程来共同学习最优值函数,以适应这种共享表示假设,并利用多任务监督学习的力量。最后,我们证明了所提出的模型和训练程序,能够推断出良好的价值函数,即使在低样本制度。除了数据效率之外,我们还将在分析中表明,跨任务联合学习状态空间的抽象会导致更强大,可转移的表示,具有更好的泛化潜力。这种共享的表示假设并利用多任务监督学习的能力。最后,我们证明了所提出的模型和训练程序,能够推断出良好的价值函数,即使在低样本制度。除了数据效率之外,我们还将在分析中表明,跨任务联合学习状态空间的抽象会导致更强大,可转移的表示,具有更好的泛化潜力。
2016-03-07 cs.AI cs.LG
Prioritized Rollouts for Efficient World Model-based Vision-Language-Action Policy Optimization
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术全国重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);Cirquar Technologies;Mila – Quebec AI Institute(Mila – 魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
本文提出U-GROW,一种基于策略不确定性的轻量级采样层,通过优先回放信息丰富的状态,提升基于世界模型的VLA策略优化效率,并在模拟和真实操作任务中验证其有效性。
2026-09-22 cs.LG
Pretraining a Shared Q-Network for Data-Efficient Offline Reinforcement Learning
Hyundai Motor Company(现代汽车公司);KAIST(韩国科学技术院)
针对离线强化学习数据收集成本高的问题,提出共享Q网络的即插即用预训练方法,通过下一状态预测初始化特征,显著提升多种算法在低数据场景下的性能。
2025-10-21 cs.AI cs.LG
Experience Replay with Random Reshuffling
Preferred Networks, Inc.(Preferred Networks公司)
本文提出将随机重洗方法扩展到强化学习的经验回放,通过理论分析和实验验证其在深度强化学习中的有效性。
2025-12-04 cs.AI cs.LG