Accelerating Policy Gradient by Estimating Value Function from Prior Computation in Deep Reinforcement Learning
Purdue University（普渡大学）
本文研究了在强化学习中使用先验计算来估计价值函数以提高基于策略的策略梯度方法的样本效率。我们的方法是从先前的计算中估计价值函数，例如从DQN中学习的Q网络或为不同但相关的环境训练的价值函数。特别是，我们学习一个新的价值函数的目标任务，同时结合它与价值估计从先前的计算。最后，将结果价值函数用作策略梯度方法中的基线。基线的这种使用具有减少梯度计算中的方差并因此提高样本效率的理论特性。实验表明，成功地使用先验值估计在各种设置和提高样本效率在几个任务。
2023-02-02 cs.AI cs.LG
Deep Reinforcement Learning for Time Optimal Velocity Control using Prior Knowledge
Ariel University（阿里尔大学）
自主导航最近在强化学习领域引起了极大的兴趣。然而，很少有人注意到时间最优速度控制问题，即控制车辆，使其以最大速度行驶，而不会变得动态不稳定（翻滚或滑动）。时间最优速度控制可以使用基于最优控制和车辆动力学的现有方法数值求解。在本文中，我们使用深度强化学习来生成时间最优速度控制。此外，我们使用数值解来进一步提高强化学习器的性能。结果表明，强化学习器优于数值导出的解决方案，并且混合方法（将学习与数值解相结合）加快了训练过程。
2019-07-25 cs.LG cs.RO
CEIP: Combining Explicit and Implicit Priors for Reinforcement Learning with Demonstrations
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
虽然强化学习在密集奖励环境中得到了广泛的应用，但用稀疏奖励训练自主智能体仍然具有挑战性。为了解决这个困难，以前的工作已经显示出有希望的结果时，不仅使用特定于任务的演示，但任务不可知的，虽然有些相关的演示。在大多数情况下，可用的演示被提炼成一个隐含的先验，通常通过一个单一的深网表示。可以查询的数据库形式的显式先验也显示出令人鼓舞的结果。为了更好地从现有的演示中受益，我们开发了一种方法来结合显式和隐式先验（CEIP）。CEIP利用多个隐式先验以并行的标准化流的形式形成单个复杂先验。此外，CEIP使用了一个有效的显式检索和前推机制，以条件的隐式先验知识。在三个具有挑战性的环境中，我们发现所提出的CEIP方法，以改善先进的技术。
2022-10-21 cs.AI cs.LG
Preference-Conditioned Multi-Objective Reinforcement Learning for Runtime-Tunable Transit Signal Priority
研究公交信号优先中平衡多目标的问题，提出偏好条件TSP控制器，能在运行时通过偏好参数调整权衡公交与整体交通延误，无需重训练。通过扩展场景生成实现，实验表明该控制器优于基线，保持约束可行性，且能揭示不同偏好下的非公交外部性情况。
2026-07-22 cs.AI cs.LG cs.SY
Efficient reinforcement learning control for continuum robots based on Inexplicit Prior Knowledge
Shanghai Jiao Tong University（上海交通大学）；Ruijin Hospital affiliated to Shanghai Jiao Tong University School of Medicine（上海交通大学医学院附属瑞金医院）；Shanghai Ruijin Rehabilitation Hospital（上海瑞金康复医院）
相对于强化学习中普遍研究的刚性机器人，一些复杂机器人如柔性机器人或连续体机器人的物理特性更加复杂。此外，最近的强化学习方法是数据效率低下的，并且不能在没有仿真的情况下直接部署到机器人。针对这类问题，本文提出了一种基于非显式先验知识的高效强化学习方法。我们首先证实了模拟的方法，并直接在现实世界中使用。通过使用我们的方法，我们可以实现主动视觉跟踪和距离保持的肌腱驱动机器人，这将是微创手术的关键。代码可在https://github.com/Skylark0924/TendonTrack上获得。
2020-10-02 cs.AI cs.RO
Residual Reward Models: Leveraging Prior Knowledge for Efficient Preference-based Reinforcement Learning in Robotics
University of Toronto（多伦多大学）；Tsinghua University（清华大学）
本文提出残差奖励模型（RRM），将环境真实奖励拆分为先验奖励与学习奖励之和，可提升机器人领域基于偏好的强化学习的样本效率，在仿真与物理机器人实验中均优于基准方法。
2026-08-28 cs.AI cs.LG cs.RO
Transferring Knowledge for Reinforcement Learning in Contact-Rich Manipulation
Örebro University（厄勒布鲁大学）
在制造业中，装配任务由于不同环境的动态变化而对学习算法提出了挑战。强化学习（RL）是自动学习这些任务的有前途的框架，然而，即使部署条件仅略有不同，也仍然不容易将学习的策略或技能（即解决任务的能力）应用于类似的环境。在本文中，我们解决了利用多个技能先验知识在一系列类似任务中转移知识的挑战。我们建议学习先验分布在完成每个任务所需的特定技能，并组成家庭的技能先验指导学习的政策，为一个新的任务，通过比较目标任务和以前的相似性。我们的方法从每个先前任务的演示轨迹中学习一个潜在的动作空间，表示技能嵌入。我们已经在一组钉孔插入任务上评估了我们的方法，并证明了对训练过程中从未遇到过的新任务的更好的泛化。
2022-09-19 cs.AI cs.LG cs.RO
Advanced Skills through Multiple Adversarial Motion Priors in Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）
近年来，强化学习（RL）在高关节机器人系统的运动控制中表现出了优异的性能。这样的方法通常涉及繁琐的奖励函数调谐以实现期望的运动风格。诸如对抗运动先验的模仿学习方法旨在通过鼓励预定义的运动风格来减少这个问题。在这项工作中，我们提出了一种方法来增强基于对抗运动先验的RL的概念，以允许多种离散可切换的风格。我们表明，多种风格和技能可以同时学习，没有显着的性能差异，即使在结合运动数据的技能。我们的方法在几个真实世界的实验中验证了轮腿四足机器人显示技能从现有的RL控制器和轨迹优化，如躲避和行走，和新的技能，如四足和人形配置之间的切换。对于后一项技能，机器人需要站起来，在两个轮子上导航，然后坐下。而不是调整坐下来的运动，我们验证了站起来的运动的反向播放，帮助机器人发现可行的坐下的行为，并避免繁琐的奖励功能调整。
2022-03-23 cs.AI cs.LG cs.RO
Dynamical Priors as a Training Objective in Reinforcement Learning
Coimbatore Medical College Coimbatore, TN India（科伊巴托尔医学院，印度泰米尔纳德邦）
本文提出DP-RL框架，通过引入外部状态动态的辅助损失，控制强化学习策略的时间演化，促进时间结构化行为。
2026-04-23 cs.AI cs.LG
ASPiRe:Adaptive Skill Priors for Reinforcement Learning
Columbia University（哥伦比亚大学）；J.P. Morgan AI Research（摩根大通人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
我们引入了ASPiRe（Adaptive Skill Prior for RL），这是一种利用先前经验来加速强化学习的新方法。与现有的从大型和多样化的数据集中学习单个技能先验的方法不同，我们的框架学习不同区分技能先验的库（即，行为先验），并学习如何将它们组合起来解决新任务。该公式允许算法获取一组更可重用的下游任务的专业技能先验;然而，它也带来了如何有效地组合这些非结构化的技能先验集合以形成新任务的新先验的额外挑战。具体来说，它不仅要求智能体确定要使用哪些技能先验，而且还要求智能体确定如何将它们组合（顺序或同时）以形成新的先验。为了实现这一目标，ASPiRe包括自适应权重模块（AWM），该模块学习推断不同技能先验之间的自适应权重分配，并使用它们通过加权Kullback-Leibler分歧来指导下游任务的策略学习。我们的实验表明，ASPiRe可以显着加快学习新的下游任务在存在多个先验，并显示出竞争基线的改善。
2022-09-30 cs.AI cs.LG
Sample-Efficient Reinforcement Learning through Transfer and Architectural Priors
Cornell Tech（康奈尔科技）
最近在深度强化学习方面的工作已经允许算法仅仅从游戏提供的奖励来学习诸如Atari 2600游戏之类的复杂任务，但是这些算法目前需要数百万个训练步骤才能学习，使得它们比人类慢大约五个数量级。其中一个原因是，人类构建了适用于问题集合的强大共享表示，使其更容易吸收新的变体。本文首先介绍了自动生成的游戏集的想法，以帮助迁移学习研究，然后通过展示模型可以从相关的建筑先验的结合中大大受益，从而展示了共享表示的实用性。这种技术在玩具问题集上提供了显着的50倍正迁移。
2018-01-07 cs.AI cs.LG
PALCAS: A Priority-Aware Intelligent Lane Change Advisory System for Autonomous Vehicles using Federated Reinforcement Learning
School of Computing, Wichita State University（维斯科大学计算学院）；Department of Computer Science, University of Memphis（孟菲斯大学计算机科学系）
本文提出基于多智能体联邦强化学习的优先级感知智能变道建议系统PALCAS，用于自动驾驶车辆，通过引入新的优先级感知安全变道奖励函数，提升变道决策的合理性和交通效率。
2026-04-29 cs.AI cs.RO
Correlation Priors for Reinforcement Learning
Technische Universität Darmstadt（达姆施塔特工业大学）
许多决策问题自然地表现出从底层环境的特征继承的明显结构。例如，在马尔可夫决策过程模型中，两个不同的状态可以具有内在相关的语义或编码类似的物理状态配置。这通常意味着状态之间的局部相关过渡动态。为了在这样的环境中完成某项任务，操作Agent通常需要执行一系列时间和空间相关的动作。虽然存在各种方法来捕捉这些连续的状态动作域的相关性，离散环境的原则性解决方案是失踪。在这项工作中，我们提出了一个贝叶斯学习框架的基础上Pólya-Gamma增强，使类似的推理在这种情况下。我们展示了一些常见的决策相关的问题，如模仿学习，子目标提取，系统辨识和贝叶斯强化学习的框架。通过显式地对这些问题的潜在相关性结构进行建模，所提出的方法与相关性不可知模型相比，即使在大小小一个数量级的数据集上进行训练，也会产生更好的预测性能。
2019-10-28 cs.AI cs.LG cs.SY
Randomized Prior Functions for Deep Reinforcement Learning
DeepMind（深度思维）
处理不确定性对于有效的强化学习至关重要。关于从固定数据集进行深度学习的不确定性估计的文献越来越多，但许多最流行的方法都不适合顺序决策问题。其他方法，如自助抽样，没有机制的不确定性，不是来自观察到的数据。我们强调为什么这可能是一个关键的缺点，并提出了一个简单的补救措施，通过增加一个随机的不可训练的“先验”网络的每个合奏成员。我们证明了这种方法是有效的线性表示，提供简单的说明其功效与非线性表示，并表明这种方法的规模大规模的问题远远优于以前的尝试。
2018-11-15 cs.AI cs.LG stat.ML
Towards Task-Prioritized Policy Composition
Örebro University（厄勒布鲁大学）；McMaster University（麦克马斯特大学）
以优先化的、有序的方式组合学习的策略是期望的，因为它允许模块化设计并通过知识转移促进数据重用。在控制理论中，优先组合是通过零空间控制来实现的，其中低优先级控制动作被投影到高优先级控制动作的零空间中。这种方法目前不适用于强化学习。本文提出了一种新的基于任务优先的强化学习组合框架，其中包含了一个新的概念：强化学习策略的无差异空间。我们的框架有可能促进知识转移和模块化设计，同时大大提高数据效率和数据重用的强化学习代理。此外，我们的方法可以确保高优先级的约束满足，这使得它有希望在机器人等安全关键领域的学习。与零空间控制不同，我们的方法允许学习全局最优策略的复合任务的在线学习在初始复合政策建设后的高级别政策的冷漠空间。
2022-09-20 cs.AI cs.LG
Prioritizing Samples in Reinforcement Learning with Reducible Loss
Mila, Quebec AI Institute（魁北克人工智能研究所）；ÉTS Montréal（蒙特利尔高等工程技术学院）；Universidade Federal de Pernambuco（伯南布哥联邦大学）
本文针对经验回放中样本等权采样的问题，提出依据样本训练损失随时间持续下降的“可学习性”进行优先级排序，降低噪声或随机性导致的难学样本权重，实验表明其比随机采样和基于时序差分损失的优先经验回放更稳健。
2023-11-01 cs.AI cs.LG
SFP: State-free Priors for Exploration in Off-Policy Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）
有效探索是深度强化学习中的一个关键挑战。行为先验等几种方法能够利用离线数据，以便有效地加速复杂任务的强化学习。然而，如果手头的任务过度偏离演示的任务，这种方法的有效性是有限的。在我们的工作中，我们建议从更多样化的任务共享的离线数据中学习特征，例如动作和方向性之间的相关性。因此，我们引入了无状态先验，它直接对演示轨迹中的时间一致性进行建模，并且能够在复杂任务中驱动探索，即使在对简单任务收集的数据进行训练时也是如此。此外，我们引入了一种新的集成方案，在政策外的强化学习动态采样的政策和行动的概率混合行动先验的行动先验。我们将我们的方法与强基线进行了比较，并提供了经验证据，证明它可以在稀疏奖励设置下加速长时间连续控制任务中的强化学习。
2022-08-31 cs.LG
Behavior Priors for Efficient Reinforcement Learning
DeepMind；OpenAI
随着我们部署强化学习代理来解决越来越具有挑战性的问题，允许我们注入有关世界结构和有效解决方案策略的先验知识的方法变得越来越重要。在这项工作中，我们考虑如何将信息和架构约束与概率建模文献中的思想相结合，以学习行为先验，这些行为先验捕获了一组相关任务或上下文中共享的常见运动和交互模式。例如，人类的日常行为包括独特的运动和操纵模式，这些模式在许多不同的情况和目标中重复出现。我们讨论了如何使用概率轨迹模型来捕获这些行为模式，以及如何将这些行为模式有效地集成到强化学习方案中，例如\以促进多任务和迁移学习。然后，我们将这些想法扩展到潜变量模型，并考虑制定学习分层先验，捕获可重用模块中的行为的不同方面。我们讨论了这样的潜变量配方连接到分层强化学习（HRL）和互信息和好奇心为基础的目标的相关工作，从而提供了一个替代的角度对现有的想法。我们证明了我们的框架的有效性，将其应用到一系列的模拟连续控制域。
2020-10-27 cs.AI cs.LG
Safety-Prioritized, Reinforcement Learning-Enabled Traffic Flow Optimization in a 3D City-Wide Simulation Environment
本文提出安全优先的强化学习框架与三维全市交通仿真环境，通过自定义奖励的PPO模型显著减少碰撞、优化交通流并降低碳排放。
2025-05-23 cs.AI cs.LG cs.RO
Bayesian Controller Fusion: Leveraging Control Priors in Deep Reinforcement Learning for Robotics
Queensland University of Technology（昆士兰科技大学）
本文提出 Bayesian Controller Fusion (BCF) 混合控制策略，通过融合传统手工控制器和无模型深度强化学习的不确定性感知分布式输出进行控制仲裁，实现了安全、高效的探索，并在真实机器人导航和到达任务中显著超越单一方法性能。
2023-04-03 cs.AI cs.RO cs.SY
Robust In-Hand Manipulation via Priors in Reinforcement Learning and Mechanical Design
Center for Robotics and Biosystems, Northwestern University（西北大学机器人与生物系统中心）
研究无外部传感的手中操作难题，引入全局抓握质量先验和局部接触几何先验两种互补物理先验，用于多指机器人手操作物体的手中滚动操作学习，显著提升了旋转效率、抓握稳定性和抗干扰能力，增强任务稳健性与模拟到现实的转移。
2026-07-15 cs.LG cs.RO
Efficient Reinforcement Learning for Autonomous Driving with Parameterized Skills and Priors
University of Toronto（多伦多大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；SenseTime Research（商汤科技研究院）；McGill University（麦吉尔大学）
针对自动驾驶在交互式密集交通中学习效率低的问题，提出ASAP-RL算法，通过参数化运动技能和双重初始化利用专家先验，在稀疏奖励下实现更高学习效率和更好驾驶性能。
2023-05-08 cs.AI cs.LG cs.RO
In-Context Reinforcement Learning through Bayesian Fusion of Context and Value Prior
University of Cambridge（剑桥大学）；Mila - Quebec AI Institute（魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）
SPICE通过贝叶斯融合上下文和价值先验，实现高效适应未见过的环境，减少遗憾并保持鲁棒性。
2026-01-06 cs.AI cs.LG
D-SPEAR: Dual-Stream Prioritized Experience Adaptive Replay for Stable Reinforcement Learning in Robotic Manipulation
School of Computer Science University of Galway Galway, Ireland
本文提出D-SPEAR双流优先经验自适应回放框架，通过分离actor和critic采样并维护共享回放缓冲区，利用优先回放提升价值学习效率，低误差过渡稳定策略优化，在机器人操作任务中优于SAC、TD3等基线方法。
2026-04-01 cs.AI cs.LG cs.RO
A priori Estimates for Deep Residual Network in Continuous-time Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对现有深度强化学习性能分析不适用于连续时间控制问题、无法直接估计Bellman最优损失泛化误差且需有界性假设的问题，提出基于损失函数两次变换与最大算子分解的方法，得到无维数灾难的先验泛化误差。
2024-03-07 cs.AI cs.LG
Don't Start From Scratch: Leveraging Prior Data to Automate Robotic Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；UT Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
强化学习（RL）算法有望实现机器人系统的自主技能获取。然而，在实践中，现实世界的机器人RL通常需要耗时的数据汇集和频繁的人为干预来重置环境。此外，使用RL学习的机器人策略在部署时超出了它们学习的精心控制的设置时通常会失败。在这项工作中，我们研究了如何通过有效利用从以前看到的任务中收集的各种离线数据集来应对这些挑战。当面临新任务时，我们的系统会调整以前学习的技能，以快速学习执行新任务并将环境返回到初始状态，从而有效地执行自己的环境重置。我们的实证结果表明，将先验数据纳入机器人强化学习，使自主学习，大大提高了学习的样本效率，并使更好的推广。项目网址：https://sites.google.com/view/ariel-berkeley/
2022-07-17 cs.LG cs.RO
Parrot: Data-Driven Behavioral Priors for Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
强化学习为灵活的决策和控制提供了一个通用框架，但需要为智能体需要学习的每个新任务收集大量的数据汇集。在其他机器学习领域，如自然语言处理或计算机视觉，对先前收集的大型数据集进行预训练以引导新任务的学习已经成为一种强大的范例，以减少学习新任务时的数据需求。在本文中，我们提出了以下问题：我们如何为RL代理启用类似有用的预训练？我们提出了一种用于预训练行为先验的方法，该方法可以从广泛的先前看到的任务中捕获在成功试验中观察到的复杂输入-输出关系，并且我们展示了这种学习的先验如何用于快速学习新任务，而不会阻碍RL代理尝试新行为的能力。我们证明了我们的方法在挑战机器人操作领域的有效性，涉及图像观测和稀疏奖励函数，我们的方法在很大程度上优于以前的作品。
2020-11-19 cs.LG cs.RO
Task-Agnostic Dynamics Priors for Deep Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；OpenAI；Princeton University（普林斯顿大学）
虽然基于模型的深度强化学习（RL）在样本效率和泛化方面前景广阔，但学习准确的动力学模型通常具有挑战性，并且需要与环境进行大量交互。各种各样的领域具有共享共同基础的动力学，如经典力学定律，这些定律很少被现有算法利用。事实上，人类不断地获取和使用这种动力学先验，以轻松地适应在新环境中的操作。在这项工作中，我们提出了一种方法来学习任务不可知的动态先验的视频，并将其纳入RL代理。我们的方法涉及在任务不可知的物理视频上预训练帧预测器，以初始化动态模型（并对其进行微调），用于看不见的目标环境。我们的帧预测架构SpatialNet专门用于捕获局部物理现象和相互作用。我们的方法允许更快的策略学习和收敛到更好的策略，在几个不同的环境中优于竞争对手的方法。我们还证明，将此之前允许更有效的环境之间的转移。
2019-07-11 cs.AI cs.LG stat.ML
Model-based Multi-Agent Reinforcement Learning with Cooperative Prioritized Sweeping
Vrije Universiteit Brussel（布鲁塞尔自由大学）
提出了一种新的基于模型的强化学习算法--协同优先级扫描算法，用于多智能体马尔可夫决策过程的有效学习。该算法允许利用因子分解近似的价值函数的大型问题的样本有效的学习。我们的方法只需要以动态决策网络的形式了解问题的结构。使用这些信息，我们的方法可以学习环境模型，并执行时间差异更新，从而同时影响多个联合状态和动作。此外，还执行批量更新，这有效地将知识反向传播到整个因子化Q函数。我们的方法优于最先进的算法稀疏合作Q-学习算法，无论是在著名的SysAdmin基准测试和随机环境。
2020-01-15 cs.AI cs.LG cs.MA
Multiplicative Controller Fusion: Leveraging Algorithmic Priors for Sample-efficient Reinforcement Learning and Safe Sim-To-Real Transfer
Australian Centre for Robotic Vision at Queensland University of Technology (QUT)（昆士兰科技大学澳大利亚机器人视觉中心）
对于机器人中的许多问题，基于学习的方法通常优于手工编码的算法解决方案。然而，在真实的机器人硬件上学习长时间任务可能是棘手的，并且将学习的策略从模拟转移到现实仍然具有极大的挑战性。我们提出了一种新颖的无模型强化学习方法，可以在训练和部署期间利用现有的次优解决方案作为算法先验。在训练过程中，我们的门控融合方法使先验知识能够指导探索的初始阶段，提高样本效率，并能够从稀疏的长视野奖励信号中学习。重要的是，由于先验的影响是逐渐退火的，因此该策略可以学习改进次优先验的性能。在部署过程中，策略的不确定性提供了一个可靠的策略，通过在不确定的状态下返回到先前的控制器，将模拟训练的策略转移到现实世界中。我们展示了我们的乘法控制器融合方法在机器人导航任务上的有效性，并展示了从模拟到现实世界的安全转移，而无需任何微调。该项目的代码可在https://sites.google.com/view/mcf-nav/home上公开获取
2020-07-27 cs.AI cs.RO
Reinforcement Learning with Prior Policy Guidance for Motion Planning of Dual-Arm Free-Floating Space Robot
Beijing Institute of Control Engineering（北京控制工程研究所）；City University of Hong Kong（香港城市大学）；Qian Xuesen Laboratory of Space Technology（钱学森空间技术实验室）；Tsinghua University（清华大学）
强化学习方法作为一种很有前途的技术，在自由漂浮空间机器人的运动规划中取得了很好的效果。然而，由于规划维数的增加和系统动力学耦合的加剧，双臂漂浮基空间机器人的运动规划仍然是一个公开的挑战。特别是，目前的研究不能处理的任务，捕获一个非合作的对象，由于缺乏姿态约束的末端执行器。为了解决这个问题，我们提出了一种新的算法，高效LPT，以方便基于RL的方法，以有效地提高规划精度。我们的核心贡献是构造了一个具有先验知识指导的混合策略，并引入了无穷范数来构造一个更合理的奖励函数。此外，我们的方法成功地捕捉到一个旋转的物体具有不同的旋转速度。
2022-09-03 cs.AI cs.RO
Regret Minimization Experience Replay in Off-Policy Reinforcement Learning
National Key Laboratory of Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
在强化学习中，经验重放存储过去的样本以供进一步重用。优先抽样是一种很有前途的技术，以更好地利用这些样本。以前的优先级标准包括TD错误，最近和纠正性反馈，这主要是启发式设计。在这项工作中，我们从遗憾最小化的目标，并获得一个最优的优先级策略贝尔曼更新，可以直接最大化的政策回报。该理论认为，在抽样过程中，后见之明TD误差越大、策略性越好、Q值越准确的数据应赋予越高的权重。因此，大多数以前的标准只是部分考虑这一战略。我们不仅提供了理论上的理由，以前的标准，但也提出了两种新的方法来计算优先权，即ReMERN和ReMERT。ReMERN学习错误网络，而ReMERT利用状态的时间顺序。这两种方法在具有挑战性的RL基准测试（包括MuJoCo，Atari和Meta-World）中优于以前的优先级采样算法。
2021-11-09 cs.AI cs.LG
Depth-CUPRL: Depth-Imaged Contrastive Unsupervised Prioritized Representations in Reinforcement Learning for Mapless Navigation of Unmanned Aerial Vehicles
Universidade Federal do Rio Grande - FURG（里奥格兰德联邦大学（FURG））；Universidade Federal de Santa Maria - UFSM（圣玛丽亚联邦大学（UFSM））；Technological University of Uruguay（乌拉圭技术大学）
强化学习（RL）通过原始像素成像和连续控制任务在视频游戏中表现出令人印象深刻的性能。然而，RL在高维观测（如原始像素图像）方面表现不佳。人们普遍认为，基于物理状态的RL策略（如激光传感器测量）比像素学习更有效。本文提出了一种从深度图估计中提取信息的新方法，用于训练强化学习智能体实现无人机的无地图导航。我们提出了深度图像对比无监督优先表示强化学习（深度CUPRL），估计与优先重放记忆的图像的深度。我们使用RL和对比学习的组合来解决基于图像的RL问题。从与无人机（UAV）的结果的分析，可以得出结论，我们的深度CUPRL方法是有效的决策，并优于国家的最先进的基于像素的方法在无地图导航能力。
2022-07-01 cs.AI cs.RO
Synergistic Action and Style Priors for Learning Legged Locomotion
Technical University of Munich（慕尼黑工业大学）；TUM School of Computation, Information and Technology（慕尼黑工业大学计算、信息与技术学院）；Munich Institute of Robotics and Machine Intelligence（慕尼黑机器人与机器智能研究所）
本文提出一种基于专家演示的潜在动作先验作为归纳偏置，有效提升了深度强化学习在机器人关节扭矩控制中的探索效率与迁移任务表现。
2026-10-21 cs.AI cs.RO
Priors, Hierarchy, and Information Asymmetry for Skill Transfer in Reinforcement Learning
University of Oxford（牛津大学）
针对强化学习技能迁移中信息不对称选择依赖直觉的问题，提出层级KL正则化方法APES，依据表达能力—可迁移性定理自动学习不对称性，并在机器人等复杂迁移任务中显著优于既有方法。
2023-04-25 cs.AI cs.LG cs.RO
FedGuide: Diffusion Prior Alignment and Value Baseline Guidance for Heterogeneous Federated Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
针对异构联邦强化学习中的分布不匹配问题，提出FedGuide框架，利用扩散先验作为行为模型，通过OT-MoE聚合保留异构模式，并采用DICE价值基线引导策略改进，实验证明其在回报和鲁棒性上优于现有方法。
2026-10-08 cs.LG cs.RO
Injecting Prior Knowledge for Transfer Learning into Reinforcement Learning Algorithms using Logic Tensor Networks
Université Libre de Bruxelles（布鲁塞尔自由大学）；Sony Computer Science Laboratories Inc.（索尼计算机科学实验室公司）
人类解决复杂任务的能力得益于其环境的对象和事件语义的先验知识。本文研究了在强化学习代理中使用相似的先验知识进行迁移学习。特别是，本文提出使用基于深度神经网络的一阶逻辑语言来表示现实世界中关于对象及其语义的事实。事实被提供作为先验的背景知识，以学习如何在世界上行动的政策。先验知识与传统的输入一起被注入到单智能体体系结构中。作为概念验证，本文在简单的实验中测试了该系统，显示了符号抽象和灵活的事实推导的重要性。本文表明，该系统可以学习，以利用符号层和图像层在一个单一的决策选择模块。
2019-06-15 cs.LG stat.ML
Reinforcement Learning with Success Induced Task Prioritization
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；AIRI；Federal Research Center “Computer Science and Control” of the Russian Academy of Sciences（俄罗斯科学院联邦研究中心“计算机科学与控制”）
许多具有挑战性的强化学习（RL）问题需要设计一个可以应用于训练有效策略的任务分布。这种任务分配可以由课程规定。课程是为了提高学习的效果和加速学习，我们介绍了成功诱导的任务优先级（SITP），自动课程学习的框架，其中的任务序列是根据每个任务的成功率创建的。在此设置中，每个任务都是通过算法创建的具有唯一配置的环境实例。该算法选择的任务，提供最快的学习代理的顺序。选择任何任务进行下一阶段学习的概率是通过评估其在先前阶段中的表现得分来确定的。实验在部分可观测网格环境下的多代理（POGEMA）和Procgen基准进行。我们证明，SITP匹配或超越其他课程设计方法的结果。我们的方法可以通过对任何标准RL框架进行少量修改来实现，并以最小的计算开销提供有用的优先级。
2022-12-30 cs.AI cs.LG
Non-stationary Reinforcement Learning without Prior Knowledge: An Optimal Black-box Approach
University of Southern California（南加州大学）
我们提出了一个黑盒减少，把一个特定的强化学习算法与最佳遗憾（近）静态环境中的另一个算法与最佳动态遗憾在非静态环境中，重要的是没有任何先验知识的非平稳程度。通过将不同的算法插入到我们的黑盒子中，我们提供了一个例子列表，表明我们的方法不仅可以恢复通过非常专业的算法实现的（上下文）多武装匪徒的最新结果，而且还可以以各种方式显着提高（广义）线性匪徒，情节MDP和无限地平线MDP的最新技术水平。具体地说，在大多数情况下，我们的算法实现了最佳的动态遗憾$\widetilde{\mathcal{O}}(\min\{\sqrt{LT}, Δ^{1/3}T^{2/3}\})$，其中$T$是轮数和$L$和$Δ$分别是世界的变化的数量和量，而以前的作品只获得次优的边界和/或需要的知识$L$和$Δ$。
2021-09-05 cs.AI cs.LG stat.ML
Graph Convolutional Memory using Topological Priors
University of Cambridge（剑桥大学）；Toshiba Europe Limited（东芝欧洲有限公司）
当将强化学习应用于现实世界的问题时，解决部分可观察的马尔可夫决策过程（POMDPs）是至关重要的，其中代理人对世界的看法是不完整的。我们提出了图卷积记忆（GCM），第一个使用强化学习解决POMDPs的混合记忆模型。GCM使用人类定义的或数据驱动的拓扑先验来形成图邻域，使用动态规划将它们组合成更大的网络拓扑。我们使用图卷积查询图，将相关记忆合并为上下文相关的信念。在没有人类先验知识的情况下使用时，GCM的表现与最先进的方法相似。当与人类先验一起使用时，GCM在控制，记忆和导航任务上优于这些方法，同时使用更少的参数。
2021-10-08 cs.AI cs.LG cs.RO
Reinforcement Learning for Decision-Level Interception Prioritization in Drone Swarm Defense
Artificial Twin（人工双）
针对无人机蜂群防御中的拦截优先级决策问题，本文提出在离散动作空间中使用强化学习智能体协调多效应器，并通过高保真仿真验证其相比规则基线的更低损害与更高防御效率。
2025-09-20 cs.LG
Higher-Order Morphology Priors for Quadruped Reinforcement Learning Under Actuator Degradation
Edison Academy Magnet School（爱迪生学院磁石学校）；South Brunswick High School（南布朗斯维克高中）；Princeton University（普林斯顿大学）
该研究针对执行器退化下的四足强化学习问题，提出将Unitree Go1建模为含肢体和身体层级秩-2单元的胞复形并采用Hodge消息传递的节点-边-面Hodge策略，实验显示其在未见过的退化场景中表现最优，验证了高阶形态作为有效归纳偏置的价值。
2026-10-09 cs.LG cs.RO
Minimax-Bayes Reinforcement Learning
University of Oslo（奥斯陆大学）；University of Neuchatel（纳沙泰尔大学）；Zenseact；Chalmers University of Technology（查尔姆斯理工大学）
虽然贝叶斯决策理论框架为不确定性下的决策问题提供了一个优雅的解决方案，但一个问题是如何适当地选择先验分布。一个想法是采用最坏情况先验。然而，这并不像在简单的统计估计问题中那样容易在顺序决策中指定。本文研究（有时是近似的）最小最大贝叶斯解决方案的各种强化学习问题，以深入了解相应的先验和政策的属性。我们发现，虽然最坏情况下的先验依赖于设置，相应的极大极小策略比那些假设一个标准的（即统一的）先验更强大。
2023-02-21 cs.LG stat.ML
Modeling Penetration Testing with Reinforcement Learning Using Capture-the-Flag Challenges: Trade-offs between Model-free Learning and A Priori Knowledge
University of Oslo（奥斯陆大学）
渗透测试是一项保安工作，目的是透过模拟对系统的攻击，以评估系统的保安情况。到目前为止，渗透测试主要由受过训练的攻击者进行，成功与否主要取决于可用的专业知识。自动化这一实践构成了一个重要的问题，因为人类专家可能尝试对系统进行的操作范围以及她依赖于做出决策的知识范围很难捕获。在本文中，我们把注意力集中在简化的渗透测试问题的形式表示捕获的标志黑客的挑战，我们分析了如何无模型强化学习算法可能有助于解决这些问题。在建模中，这些捕获的旗帜比赛作为强化学习问题，我们强调，一个具体的挑战，特征渗透测试是发现问题的结构的问题。然后，我们将展示如何通过依赖于可能提供给代理的不同形式的先验知识来缓解这一挑战。通过这种方式，我们展示了使用强化学习解决渗透测试的可行性如何依赖于无模型算法和基于模型的算法之间的谨慎权衡。通过使用注入先验知识的技术，我们证明了可以更好地指导代理并限制其探索问题的空间，从而更有效地实现解决方案。
2021-05-22 cs.AI cs.CR cs.LG
Prioritized Trajectory Replay: A Replay Memory for Data-driven Reinforcement Learning
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）
针对离线强化学习中状态转移采样技术效果不稳定的问题，提出轨迹回放与优先轨迹回放机制，通过轨迹层面采样及优先级排序提升学习效率，在D4RL上验证了其对现有离线RL算法的性能提升作用。
2025-03-21 cs.AI cs.LG
Physics Informed Reinforcement Learning with Gibbs Priors for Topology Control in Power Grids
University of Luxembourg（卢森堡大学）
本文提出一种结合半马尔可夫控制与Gibbs先验的物理引导强化学习框架，用于电力网络拓扑控制。通过图神经网络预测拓扑动作后的过载风险，构建物理引导的Gibbs先验，从而减少探索难度和在线模拟成本，同时保持策略的灵活性。
2026-04-02 cs.LG cs.SY eess.SY
Distributional Reward Decomposition for Reinforcement Learning
Tsinghua University（清华大学）；Microsoft Research（微软研究院）；UC San Diego（加州大学圣地亚哥分校）
许多强化学习（RL）任务具有特定的属性，可以利用这些属性来修改现有的RL算法以适应这些任务并进一步提高性能，并且此类属性的一般类别是多奖励通道。在这些环境中，完整的奖励可以分解为从不同渠道获得的子奖励。现有的工作奖励分解要么需要事先了解的环境分解的全部奖励，或分解奖励没有先验知识，但性能下降。在本文中，我们提出了分布式奖励分解强化学习（DRDRL），一种新的奖励分解算法，捕捉多个奖励通道结构下的分布式设置。从经验上讲，我们的方法捕获了多通道结构，并发现了有意义的奖励分解，而不需要任何先验知识。因此，我们的代理实现了更好的性能比现有的方法在多个奖励通道的环境。
2019-11-06 cs.AI cs.LG
Bayesian Transfer Reinforcement Learning with Prior Knowledge Rules
Athens University of Economics and Business（雅典经济与商业大学）
我们提出了一个概率框架，直接插入先验知识的强化学习（RL）算法定义的行为政策作为贝叶斯后验分布。这样的后验将任务特定信息与先验知识相结合，从而允许实现跨任务的迁移学习。所得到的方法是灵活的，它可以很容易地结合到任何标准的政策和政策上的算法，如那些基于时间差异和策略梯度。我们通过将先验知识表达为一般确定性规则来开发这种贝叶斯传输RL框架的具体实例，这些规则可以在各种各样的任务（例如导航任务）中使用。此外，我们详细阐述了最近的概率和熵正则化RL开发一种新的时间学习算法，并展示了如何将其与贝叶斯传输RL。最后，我们展示了我们的方法解决迷宫，并表明可以获得显着的速度提升。
2018-09-30 cs.LG stat.ML
Behavior Prior Representation learning for Offline Reinforcement Learning
Beijing Institute of Technology（北京理工大学）；MILA（蒙特利尔学习算法研究所）；Microsoft Research Montreal（微软研究院蒙特利尔）
离线强化学习（RL）在具有丰富和嘈杂输入的环境中挣扎，其中代理只能访问固定的数据集，而没有环境交互。过去的作品提出了共同的解决方案的基础上，预先培训的国家代表，其次是政策培训。在这项工作中，我们介绍了一种简单而有效的方法来学习状态表示。我们的方法，行为先验表示（BPR），学习状态表示与一个易于集成的目标的基础上行为克隆的数据集：我们首先学习状态表示通过模仿动作从数据集，然后训练一个政策上的固定表示，使用任何现成的离线RL算法。从理论上讲，我们证明了BPR进行性能保证时，集成到算法，无论是政策改进保证（保守算法）或产生下界的政策值（悲观算法）。从经验上讲，我们表明，BPR与现有的最先进的离线RL算法相结合，导致在几个离线控制基准显着改善。代码可在\url{https://github.com/bit1029public/offline_bpr}上获得。
2023-02-28 cs.AI cs.LG
Toward negotiable reinforcement learning: shifting priorities in Pareto optimal sequential decision-making
Machine Intelligence Research Institute（机器智能研究所）；UC Berkeley, Center for Human Compatible AI（加州大学伯克利分校人类兼容人工智能中心）
现有的多目标强化学习（MORL）算法不考虑具有不同信念的玩家产生的目标。具体地说，考虑两个具有不同信念和效用函数的参与者，他们可以合作建造一台代表他们采取行动的机器。需要一个表示来表示机器的策略将在多大程度上优先考虑每个玩家的利益。假设球员已经达到了他们的情况的共同知识，本文推导出一个递归，任何帕累托最优策略必须满足。从递归中可以得到两个定性的观察结果：机器必须（1）使用每个参与者自己的信念来评估一个行动对该参与者的效用函数有多好，以及（2）随着时间的推移，它分配给每个参与者的预期效用的相对优先级，与参与者的信念预测机器输入的程度成正比。观察结果（2）代表了与朴素的线性效用聚合（如海萨尼的效用定理和现有的MORL算法）的实质性分歧，这里表明，代表不同信念的参与者进行帕累托最优顺序决策是不够的。
2017-05-13 cs.AI cs.GT cs.LG
Integrating Novelty and Surprise for Experience Prioritization and Exploration in Image-Based Reinforcement Learning
University of Auckland（奥克兰大学）
该研究提出NSPER及扩展的NSPER+R，将新颖性与意外性结合，在DeepMind Control Suite任务上提升了基于图像的强化学习的训练效率与收敛速度。
2026-08-19 cs.AI cs.LG
Interactive Reinforcement Learning with Dynamic Reuse of Prior Knowledge from Human/Agent's Demonstration
Washington State University（华盛顿州立大学）
强化学习近年来取得了许多成功。然而，这些成功通常需要非常大量的数据之前，代理实现可接受的性能。本文介绍了一种新的方式，打击这种要求，利用现有的（人或代理）的知识。特别是，本文使用代理和人类的演示，允许未经训练的代理快速实现高性能。我们经验比较，并突出的弱点，HAT和CHAT，知识从源代理/人类转移到目标代理的方法。本文介绍了一种有效的迁移方法，DRoP，结合离线知识（学习前记录的演示）与在线基于信心的性能分析。DRoP动态地涉及演示者的知识，将其集成到强化学习代理的在线学习循环中，以实现高效和鲁棒的学习。
2018-05-11 cs.AI
Reinforcement Learning with Physics-Informed Symbolic Program Priors for Zero-Shot Wireless Indoor Navigation
本文提出物理信息程序引导的强化学习框架PiPRL，通过领域特定语言表达物理先验并分层集成神经符号系统，解决了室内导航中部分观测与物理约束问题，显著提升策略性能并将训练时间减少26%以上。
2025-06-27 cs.LG cs.RO
Shared-unique Features and Task-aware Prioritized Sampling on Multi-task Reinforcement Learning
National Taiwan University（台湾大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；MobileDrive
针对多任务强化学习中的性能不平衡问题，提出STARS方法，通过共享-独特特征提取器与任务感知优先采样策略，在Meta-World基准上有效提升整体性能并缓解任务间性能差异。
2024-06-02 cs.AI cs.LG
