Behavior-Guided Actor-Critic: Improving Exploration via Learning Policy Behavior Representation for Deep Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Higher Institute for Applied Sciences and Technology(应用科学与技术高等学院)
在这项工作中,我们提出了行为指导的演员-评论家(BAC),一个非策略演员-评论家深度RL算法。BAC通过自动编码器精确估计每个状态-动作对的访问频率,同时考虑在确定策略产生的轨迹中起关键作用的状态动态,从而在数学上制定策略的行为。鼓励智能体不断地改变其行为,以减少访问的状态-动作对,同时通过最大化预期的奖励折扣总和来实现良好的性能,从而有效地探索环境并充分利用所有高奖励区域。我们方法的一个突出方面是,与最大熵深度强化学习算法相比,它适用于随机和确定性参与者。结果表明,BAC的性能比几个前沿的学习算法。
2021-04-09 cs.AI cs.LG
Heuristic-Guided Reinforcement Learning
Microsoft Research(微软研究院)
我们提供了一个加速强化学习(RL)算法的框架,由领域知识或离线数据构造的算法。Tabula Rasa RL算法需要与顺序决策任务的范围相匹配的环境交互或计算。使用我们的框架,我们展示了如何启发式引导RL诱导一个更短的地平线子问题,可证明解决了原来的任务。我们的框架可以被看作是一个基于视界的正则化,用于在有限的相互作用预算下控制RL中的偏差和方差。在理论方面,我们描述了一个很好的启发式和RL加速的影响的性质。特别是,我们引入了一个可改进的启发式,启发式,允许RL代理推断超出其先验知识的新概念。在经验方面,我们实例化我们的框架,以加速几个国家的最先进的算法在模拟机器人控制任务和程序生成的游戏。我们的框架补充了关于热启动RL的丰富文献,包括专家演示或探索性数据集,并介绍了将先验知识注入RL的原则性方法。
2021-11-22 cs.AI cs.LG
Guided Flow Policy: Learning from High-Value Actions in Offline Reinforcement Learning
Inria and DI-ENS, PSL Research University(Inria和DI-ENS,PSL研究大学);Sorbonne Université, CNRS, ISIR, France(索邦大学,CNRS,ISIR,法国)
引导流策略通过结合多步流匹配与提炼的演员,有效区分高价值动作,从而在多个基准测试中实现卓越性能。
2026-03-05 cs.AI cs.LG
Analytic Energy-Guided Policy Optimization for Offline Reinforcement Learning
Jilin University(吉林大学)
针对离线强化学习中扩散模型中间能量难以估计的问题,提出解析能量引导策略优化(AEPO),通过闭式解与神经网络逼近对数期望,在D4RL基准上超越多种基线方法。
2025-05-03 cs.AI cs.LG
Counterexample-Guided Repair of Reinforcement Learning Systems Using Safety Critics
University of Konstanz(康斯坦茨大学)
针对深度强化学习智能体违反安全约束的问题,提出一种利用安全评论器的反例引导修复算法,通过梯度约束优化联合修复智能体与评论器,消除不安全行为。
2024-05-24 cs.LG cs.LO
EpiFlow: Bridging Safety and Performance in Offline Reinforcement Learning via Epigraph-Guided Flow Matching
EpiFlow通过epigraph引导的流匹配方法,在安全关键任务中实现了高效且安全的离线强化学习。
2026-11-09 cs.AI cs.LG
NurseSchedRL: Attention-Guided Reinforcement Learning for Nurse-Patient Assignment
Yeshiva University(耶鲁大学)
本文提出 NurseSchedRL 强化学习框架,通过注意力表示、约束动作掩码和 PPO 优化护士-患者分配,在仿真中提升排班效率、技能匹配度并降低疲劳。
2025-09-10 cs.AI cs.LG
A Reinforcement Learning Approach to Domain-Knowledge Inclusion Using Grammar Guided Symbolic Regression
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学与应用数学实验室);Réseau de Transport d’Electricité (Rte) R&D(法国电力传输网络研发部)
近年来,符号回归一直受到广泛关注,为潜在的大数据关系提供可解释的符号表示。符号回归方法最初被圈到遗传算法,现在包括各种基于深度学习的替代方法。然而,这些方法仍然不能很好地推广到现实世界的数据,主要是因为它们几乎不包括领域知识,也不考虑变量之间的物理关系,如已知的方程和单位。针对这些问题,我们提出了一种基于强化的语法引导的符号回归(RBG 2-SR)方法,该方法使用上下文无关文法作为强化动作空间,利用领域知识约束表示空间。我们详细介绍了一个部分可观测马尔可夫决策过程(POMDP)建模的问题和基准我们的方法对国家的最先进的方法。我们还分析了POMDP状态定义,并提出了一个物理方程搜索用例,我们比较我们的方法,基于语法和非基于语法的符号回归方法。实验结果表明,我们的方法是有竞争力的对其他国家的最先进的方法的基准,并提供了最好的错误复杂性权衡,突出了在现实世界中使用基于语法的方法的兴趣。
2022-02-09 cs.AI cs.LG
Outcome-Guided Counterfactuals for Reinforcement Learning Agents from a Jointly Trained Generative Latent Space
SRI International(斯坦福国际研究院)
我们提出了一种新的生成方法,用于根据表征代理行为的结果变量为强化学习(RL)代理生成看不见的和似是而非的反事实示例。我们的方法使用一个变分自编码器训练的潜在空间,共同编码的观察和结果变量有关的代理的行为的信息。反事实生成使用遍历在这个潜在的空间,通过梯度驱动的更新,以及潜在的插值对情况下,从一个池的例子。其中包括提高生成示例的可能性的更新,这提高了生成的反事实的可验证性。从三个强化学习环境中的实验,我们表明,这些方法产生的反事实是更合理的,接近他们的查询相比,纯粹的结果驱动或基于案例的基线。最后,我们表明,一个潜在的联合训练,以重建输入的观察和行为结果变量产生更高质量的反事实比潜在的训练只重建观察输入。
2022-07-15 cs.AI cs.LG
Reinforcement Learning-Guided Semi-Supervised Learning
本文提出RLGSSL方法,将半监督学习建模为单臂老虎机问题,通过强化学习损失和奖励函数自适应利用有标签与无标签数据,并结合教师-学生框架,在多个基准数据集上取得优于现有SSL方法的性能。
2024-05-02 cs.AI cs.LG
Demonstration-Guided Reinforcement Learning with Learned Skills
University of Southern California(南加州大学)
演示引导的强化学习(RL)是一种利用奖励反馈和一组目标任务演示来学习复杂行为的有前途的方法。先前的演示引导强化学习方法将每个新任务视为独立的学习问题,并试图一步一步地遵循所提供的演示,类似于人类试图通过跟随演示者的精确肌肉运动来模仿完全看不见的行为。当然,这种学习会很慢,但通常新行为并不是完全看不见的:它们与我们以前学到的行为共享子任务。在这项工作中,我们的目标是利用这种共享的子任务结构,以提高效率的演示引导RL。我们首先从在许多任务中收集的先前经验的大型离线数据集中学习一组可重用的技能。然后,我们提出了基于技能的学习与演示(SkiLD),演示引导RL的算法,有效地利用提供的演示,通过以下演示的技能,而不是原始的动作,从而大大提高性能比以前的演示引导RL方法。我们验证了我们的方法的有效性长地平线迷宫导航和复杂的机器人操作任务。
2021-07-21 cs.AI cs.LG cs.RO
Opinion-Guided Reinforcement Learning
McMaster University(麦克马斯特大学)
本文提出一种端到端建模与管理顾问观点的强化学习方法,并通过合成及人类顾问实验验证不确定观点可提升奖励、探索效率与策略质量。
2024-08-03 cs.AI cs.LG
Lyapunov-Guided Self-Alignment: Test-Time Adaptation for Offline Safe Reinforcement Learning
Seoul National University(首尔国立大学)
本文提出SAS框架,通过自对齐机制在不重新训练的情况下实现离线安全强化学习的测试时适应,利用Lyapunov条件筛选可行轨迹并生成上下文提示,提升安全性与性能。
2026-04-29 cs.AI cs.LG
TGPO: Tree-Guided Preference Optimization for Robust Web Agent Reinforcement Learning
East China Normal University(东华大学);Alibaba Group(阿里巴巴集团);University of Electronic Science and Technology of China(电子科技大学);Wuhan University(武汉大学);Sun Yat-sen University(中山大学)
本文提出树引导偏好优化(TGPO)框架,通过树结构轨迹表示、过程奖励模型和动态加权机制,解决 Web Agent 强化学习中的信用分配错位、标注成本高和奖励稀疏问题,并在两个数据集上取得更高成功率和更少冗余步骤。
2025-09-19 cs.AI cs.LG
Deep Reinforcement Learning Guided Improvement Heuristic for Job Shop Scheduling
Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学);Institute of Marine Science and Technology, Shandong University(山东大学海洋科学与技术研究院);Eindhoven University of Technology(埃因霍温理工大学)
本文提出一种DRL引导的改进启发式方法求解JSSP,通过基于图神经网络的完整解表示方案和并行评估机制,大幅超越现有DRL方法。
2024-02-14 cs.AI cs.LG
Automata Guided Reinforcement Learning With Demonstrations
Boston University(波士顿大学)
由于难以根据奖励函数指定任务以及学习信号的较大差异,具有复杂时间结构和长视野的任务对强化学习代理构成了挑战。我们建议通过结合时序逻辑(TL)和强化学习来解决这些问题。我们的方法自动生成内在的奖励,符合整体任务目标的TL任务规范。从我们的框架产生的政策有一个可解释的和层次结构。我们验证了所提出的方法实验上的一组机器人操作任务。
2018-09-25 cs.AI
ROI-Constrained Bidding via Curriculum-Guided Bayesian Reinforcement Learning
ShanghaiTech University(上海科技大学);Alibaba Group(阿里巴巴集团)
实时竞价是现代在线广告系统中的一种重要机制。广告主在考虑各种财务要求,特别是投资回报率(ROI)约束的情况下,采用竞价策略来优化其广告效果。在顺序竞价过程中,投资回报率的变化是非单调的,往往会导致约束满足和目标优化之间的拉锯效应。虽然一些现有的方法在静态或轻度变化的广告市场中显示出有希望的结果,但它们无法推广到具有ROI约束的高度动态的广告市场,因为它们无法自适应地平衡非平稳性和部分可观察性中的约束和目标。在这项工作中,我们专注于投资回报率约束招标在非平稳市场。基于部分可观测约束马尔可夫决策过程,我们的方法利用了一个指标增强的奖励函数,没有额外的权衡参数,并开发了一个课程引导贝叶斯强化学习(CBRL)框架,自适应地控制非平稳广告市场的约束目标权衡。在一个大规模工业数据集上进行的大量实验表明,CBRL在分布内和分布外数据机制中都具有良好的泛化能力,并且具有优越的学习效率和稳定性。
2022-07-16 cs.AI cs.LG
Swap-guided Preference Learning for Personalized Reinforcement Learning from Human Feedback
Yonsei University(延世大学);Korea Institute of Science and Technology(韩国科学技术院)
本文提出Swap-guided Preference Learning (SPL)来解决变分偏好学习中后验崩溃的问题,通过引入交换引导基础正则化、偏好逆自回归流和自适应潜在条件化来提升个性化强化学习效果。
2026-03-13 cs.AI cs.LG
Constraint-Guided Reinforcement Learning: Augmenting the Agent-Environment-Interaction
Simula Research Laboratory(Simula研究所)
强化学习(RL)智能体在解决具有有限反馈的大观察和动作空间的任务方面取得了巨大的成功。尽管如此,训练代理是数据密集型的,并且不能保证学习到的行为是安全的,并且不违反环境规则,这对于现实世界场景中的实际部署具有限制。本文讨论了通过将深度强化学习与基于约束的增强模型集成来引导强化学习代理实现安全行为的可靠代理工程。在约束集内,RL代理可以自由地适应和探索,从而不会妨碍其解决给定问题的有效性。然而,一旦RL代理离开由约束定义的空间,外部模型可以提供指导,使其仍然可靠地工作。我们讨论了RL过程中的约束指导的集成点,并进行实验的两个案例研究:一个严格约束的纸牌游戏和网格世界环境与额外的组合子目标。我们的研究结果表明,约束指导既提供了可靠性的提高和更安全的行为,以及加速培训。
2021-04-24 cs.AI cs.LG
LLM-Guided Reinforcement Learning: Addressing Training Bottlenecks through Policy Modulation
Lehigh University(理海大学)
本文提出一种大语言模型引导的策略调制框架,通过LLM识别关键状态、提供动作建议并分配隐式奖励,无需额外训练或人工干预,在标准RL基准上超越最先进基线,有效解决训练瓶颈。
2025-05-27 cs.AI cs.LG
Automata-Guided Hierarchical Reinforcement Learning for Skill Composition
Boston University(波士顿大学);Department of Mechanical Engineering(机械工程系)
通过(深度)强化学习学习的技能通常在各个领域的泛化能力很差,当面临新任务时,重新训练是必要的。我们提出了一个框架,结合技术在\textit{formal methods}与\textit{reinforcement learning}(RL)。我们提供的方法允许使用逻辑表达式方便地指定任务,学习具有明确定义的内在奖励的分层策略(元控制器和低级控制器),并从现有的技能中构建新技能,几乎没有额外的探索。我们在一个简单的网格世界模拟以及AI2Thor中更复杂的厨房环境中评估了所提出的方法
2018-05-21 cs.AI
State-Novelty Guided Action Persistence in Deep Reinforcement Learning
UM-SJTU Joint Institute(上海交大密西根联合学院);Shanghai Jiao Tong University(上海交通大学);Duke Kunshan University(昆山杜克大学)
本文提出状态新颖性引导的动作持久性方法,依据状态空间探索状态动态调整动作重复概率,无需额外价值函数或策略,并可增强多种探索策略,显著提升 DRL 在 DMControl 上的样本效率。
2024-09-09 cs.AI cs.LG
Beating Atari with Natural Language Guided Reinforcement Learning
Stanford University(斯坦福大学)
我们介绍了第一个深度强化学习代理,它可以在自然语言指令的帮助下学习击败Atari游戏。该代理使用环境观测和自然语言之间的多模态嵌入,通过一系列英语指令来自我监控进度,除了增加游戏分数之外,还为完成指令授予自己奖励。我们的代理在通常被认为是最困难的Atari 2600环境:Montezuma's Revenge上的表现明显优于Deep Q-Networks(DQN),异步优势演员评论家(A3 C)代理以及发布到OpenAI Gym的最佳代理。
2017-04-18 cs.AI
FlowQ: Energy-Guided Flow Policies for Offline Reinforcement Learning
Machine Learning Research Lab, Volkswagen Group(大众集团机器学习研究实验室);Technical University of Munich(慕尼黑技术大学);Foundation Robotics Labs, Munich(慕尼黑基础机器人实验室);Eötvös Loránd University(劳尔·艾尔多迪大学)
针对离线强化学习场景,提出基于能量引导流匹配的FlowQ算法,通过近似高斯路径学习条件速度场,在取得有竞争力性能的同时实现训练时间与流采样步数无关。
2025-05-20 cs.AI cs.LG cs.RO
PNS: Population-Guided Novelty Search for Reinforcement Learning in Hard Exploration Environments
Johns Hopkins University(约翰斯·霍普金斯大学);Shanghai Jiao Tong University(上海交通大学)
强化学习(RL)已经取得了显著的成就,但仍然存在探索策略不足、奖励信号稀疏、奖励函数具有欺骗性等问题。为了缓解这些问题,人口引导新奇搜索(PNS)的并行学习方法,本文提出。在PNS中,种群被划分为多个子种群,每个子种群有一个主智能体和多个探索智能体。主代理评估通过探索代理学习的策略,并与所有子种群共享最优策略。探索代理学习他们的政策与最优政策的指导,同时,上传他们的政策,以首席代理。为了平衡探索和利用,每个首席代理都采用了新奇搜索(NS),以鼓励具有高新奇性的政策,同时最大限度地提高每集的性能。我们将PNS应用于双延迟深度确定性(TD 3)策略梯度算法。PNS的有效性,以促进探索和提高连续控制域的性能证明在实验部分。值得注意的是,PNS-TD 3在具有稀疏或延迟奖励信号的环境中实现了远远超过SOTA方法的奖励。我们还证明了PNS使机器人代理能够直接从像素学习控制策略,以便在模拟和现实环境中进行稀疏奖励操作。
2021-10-10 cs.AI cs.LG
Uncertainty-Aware Multi-Objective Reinforcement Learning-Guided Diffusion Models for 3D De Novo Molecular Design
Department of Computer Science, Western University(计算机科学系,西部大学);Department of Biochemistry, Western University(生物化学系,西部大学)
本文提出一种基于强化学习的扩散模型,用于多目标优化3D分子设计,提升生成分子的质量和属性优化性能。
2026-01-14 cs.AI cs.LG
Fisher-Guided Selective Forgetting: Mitigating The Primacy Bias in Deep Reinforcement Learning
Bernulli Institute, University of Groningen(格罗宁根大学伯努利研究所)
本文通过Fisher信息矩阵(FIM)的视角研究深度强化学习中的首因偏差(PB),提出Fisher引导的选择性遗忘(FGSF)方法,利用参数空间几何结构选择性修改网络权重,防止早期经验主导学习,在复杂任务中显著优于基线。
2025-02-02 cs.AI cs.LG
Normality-Guided Distributional Reinforcement Learning for Continuous Control
Department of Computer Science and Engineering(计算机科学与工程系);The Ohio State University(俄亥俄州立大学)
本文提出一种利用价值分布近似正态特性的分布强化学习方法,通过方差网络解析计算正态目标分位条,并基于价值分布结构特征改进策略更新,在PPO和TRPO上以更少权重和更快训练取得多数连续控制任务的显著提升。
2025-07-07 cs.AI cs.LG
Reinforcement Learning under Partial Observability Guided by Learned Environment Models
Silicon Austria Labs(奥地利硅实验室);Graz University of Technology(格拉茨技术大学)
在实际应用中,我们很少能假设系统环境的完全可观测性,尽管这些知识对于确定反应控制系统与其环境的精确相互作用是重要的。因此,我们提出了一种在部分可观察环境中进行强化学习(RL)的方法。虽然假设环境的行为就像一个部分可观察的马尔可夫决策过程与已知的离散行动,我们假设没有关于其结构或转移概率的知识。我们的方法将Q学习与IoAlergia相结合,IoAlergia是一种学习马尔可夫决策过程(MDP)的方法。通过学习MDP模型的环境,从情节的RL代理,我们使RL在部分可观察的领域没有明确的,额外的内存来跟踪以前的相互作用,处理来自部分可观察性的模糊性。相反,我们通过在学习的环境模型上模拟新的经验来跟踪探索的状态,以抽象环境状态的形式为RL提供额外的观察。在我们的评估中,我们报告了我们的方法的有效性及其与六种最先进的具有递归神经网络和固定记忆的深度RL技术相比的良好性能。
2022-06-23 cs.AI cs.LG
Option Discovery Using LLM-guided Semantic Hierarchical Reinforcement Learning
University of Maryland(马里兰大学)
本文提出LDSC框架,利用LLM引导的子目标选择和选项重用,通过三阶段分层强化学习提升复杂机器人任务的样本效率、泛化能力和多任务适应性,平均奖励比基线高55.9%。
2025-03-24 cs.AI cs.LG
Data Augmentation through Expert-guided Symmetry Detection to Improve Performance in Offline Reinforcement Learning
ISAE-SUPAERO, University of Toulouse(图卢兹大学高等航空航天学院);ANITI, University of Toulouse(图卢兹大学人工智能与自然智能跨学科研究所)
本文提出将专家引导的对称性检测与数据增强方法扩展至非确定性MDP,通过基于统计距离的检测阈值扩充数据,减少分布偏移,从而提升离线强化学习策略在真实环境中的性能。
2023-04-12 cs.AI cs.LG
Reinforcement Learning Guided by Provable Normative Compliance
TU Wien(维也纳工业大学);Faculty of Informatics(信息学院)
强化学习(RL)已经显示出作为自主智能体中工程安全,道德或法律行为的工具的前景。它的使用通常依赖于对构成不安全或不道德选择的状态-动作对分配惩罚。尽管这项任务是这一方法的关键一步,但是,关于选择惩罚和决定在何处适用惩罚的一般化过程的讨论有限。在本文中,我们采用了一种利用现有框架的方法-规范监督者(Neufeld等人,2021年,在培训期间。这个规范监督器用于动态地将状态和适用的规范系统转换为可废止的道义逻辑理论,将这些理论馈送给定理证明器,并使用得出的结论来决定是否对代理人进行惩罚。我们使用多目标RL(MORL)来平衡避免违规行为的道德目标和非道德目标;我们将证明我们的方法适用于多种MORL技术,并表明无论我们分配的惩罚大小,它都是有效的。
2022-04-19 cs.AI cs.LG
Lyapunov Function-guided Reinforcement Learning for Flight Control
Faculty of Aerospace Engineering, Delft University of Technology(航空航天工程学院,代尔夫特理工大学)
本文提出一种基于 Lyapunov 函数增量指标的强化学习方法,用于评估和增强级联在线学习飞行控制系统的收敛性能,并通过仿真验证了其有效性。
2025-10-26 cs.AI
Vanishing Bias Heuristic-guided Reinforcement Learning Algorithm
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文在 lunar lander 环境中实现多种经典与神经网络强化学习方法,并提出 Heuristic RL 算法,利用启发式引导早期训练并缓解人类偏差,实验结果显示该方法具有良好前景。
2023-06-17 cs.AI cs.LG cs.RO
Landmark-Guided Subgoal Generation in Hierarchical Reinforcement Learning
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
目标条件分层强化学习(HRL)在解决复杂的长时间强化学习任务方面取得了可喜的成果。然而,在目标约束的HRL中,高层策略的动作空间往往很大,从而导致探索性差,导致训练效率低下。在本文中,我们提出了地标引导的历史强化学习(HIGL),这是一种新的框架,用于训练具有地标引导的减少的动作空间的高级策略,即,有希望的国家去探索。高级别指标的关键组成部分有两个方面:(a)对可供探索的地标进行抽样;(b)鼓励高级别政策为选定的地标制定一个次级目标。对于(a),我们考虑两个标准:整个访问状态空间的覆盖(即,状态的分散性)和状态的新颖性(即,状态的预测误差)。对于(b),我们选择一个地标作为节点是地标的图中最短路径中的第一个地标。我们的实验表明,我们的框架在各种控制任务中的表现优于现有技术,这要归功于地标引导的高效探索。
2021-12-05 cs.LG
Parent-Guided Semantic Reward Model (PGSRM): Embedding-Based Reward Functions for Reinforcement Learning of Transformer Language Models
VECTOR Labs(VECTOR实验室)
PGSRM通过嵌入相似度生成语义奖励,为变换器语言模型强化学习提供无需人工标注的替代方案。
2025-12-07 cs.LG
Risk Sensitive Model-Based Reinforcement Learning using Uncertainty Guided Planning
University of Bristol(布里斯托大学)
识别不确定性并采取缓解措施对于安全可靠的强化学习代理至关重要,特别是在高风险环境中部署时。在本文中,风险敏感性,促进了基于模型的强化学习算法,利用自举集成的动力学模型,以估计环境认知不确定性的能力。我们提出了不确定性指导的交叉熵方法规划,该方法惩罚在模型推出期间导致高方差状态预测的动作序列,将代理引导到具有低不确定性的状态空间的已知区域。实验显示的能力,为代理,以确定不确定的区域的状态空间规划过程中,并采取行动,保持代理在高置信度的地区,而不需要明确的约束。其结果是在获得回报方面的业绩下降,显示出风险和回报之间的权衡。
2021-11-09 cs.LG
Decision Theory-Guided Deep Reinforcement Learning for Fast Learning
Virginia Tech(弗吉尼亚理工大学);North Carolina State University(北卡罗来纳州立大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室)
本文提出决策理论引导的深度强化学习(DT-guided DRL),通过整合决策理论解决DRL冷启动问题,在倒立摆和迷宫任务中显著提升初始奖励(最高增184%)及收敛后性能(最高多53%)。
2024-02-08 cs.AI cs.GT cs.LG
LLM-Guided Communication for Cooperative Multi-Agent Reinforcement Learning
KAIST(韩国科学技术院)
提出LMAC框架,利用大语言模型的推理能力设计通信协议,使所有智能体尽可能准确一致地重建底层状态,从而提升多智能体强化学习中的状态重建和性能。
2026-06-01 cs.AI cs.LG cs.MA
Collective Robot Reinforcement Learning with Distributed Asynchronous Guided Policy Search
University of Southern California(南加州大学);Google Brain(谷歌大脑)
原则上,强化学习和策略搜索方法可以使机器人学习高度复杂和通用的技能,使它们能够在现实世界的复杂性和多样性中发挥作用。然而,训练一个能够在广泛的现实世界条件下很好地推广的策略需要比单个机器人收集的经验更大的数量和多样性。幸运的是,多个机器人可以相互分享经验,从而共同学习策略。在这项工作中,我们探索分布式和异步策略学习作为一种手段,以实现泛化和提高训练时间的挑战性,现实世界的操作任务。我们提出了一个分布式和异步版本的引导策略搜索,并使用它来展示集体策略学习基于视觉的开门任务,使用四个机器人。我们表明,它实现了更好的泛化,利用率和训练时间比单一的机器人替代品。
2016-10-03 cs.AI cs.LG cs.RO
Physics-model-guided Worst-case Sampling for Safe Reinforcement Learning
Technical University of Munich(慕尼黑工业大学);Wayne State University(韦恩州立大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出物理模型引导的最坏情况采样策略,并将其集成至Phy-DRL框架,以解决DRL训练中忽略安全关键极端场景的问题,显著提升了采样效率与策略鲁棒性。
2024-12-17 cs.AI cs.LG cs.RO
SpecRLBench: A Benchmark for Generalization in Specification-Guided Reinforcement Learning
Boston University(波士顿大学)
本文提出SpecRLBench基准测试,用于评估基于线性时序逻辑的规范引导强化学习方法的泛化能力,涵盖导航和操作领域多个难度层级,包含静态和动态环境、多样机器人动力学和观测模态,通过实验揭示现有方法的优缺点及复杂性挑战。
2026-04-27 cs.LG
Population-Guided Parallel Policy Search for Reinforcement Learning
Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
本文提出了一种新的种群引导并行学习方案,以提高离线强化学习(RL)的性能。在该方案中,多个相同的学习器使用各自的值函数和策略,共享一个经验重放缓冲区,在最佳策略信息的指导下协作搜索最佳策略.其关键在于通过构造策略更新的增广损失函数来扩大多个学习者的整体搜索范围,从而以软的方式融合最佳策略的信息。通过以往最佳策略的指导和扩大的搜索范围,可以更快更好地进行策略搜索。从理论上证明了该方案对期望累积收益率的单调改善。将该方案应用于双延迟深度确定性(TD 3)策略梯度算法,构建了工作算法。数值结果表明,该算法的性能优于目前大多数最先进的强化学习算法,在稀疏奖励环境下的增益是显着的。
2020-01-09 cs.AI cs.LG stat.ML
Relevance-Guided Modeling of Object Dynamics for Reinforcement Learning
University of Washington(华盛顿大学)
当前的深度强化学习(RL)方法包含关于环境的最小先验知识,限制了计算和样本效率。\textit{Objects}提供了对世界的简洁和因果描述,并且许多最近的工作已经提出了无监督对象表示学习,其使用静态对象属性(如视觉一致性)的先验和损失。然而,物体的动力学和相互作用也是物体性的关键线索。在本文中,我们提出了一个框架,推理对象的动态和行为,以快速确定最小的和特定于任务的对象表示。为了证明对对象行为和动态进行推理的必要性,我们引入了一套RGBD MuJoCo对象收集和避免任务,这些任务虽然直观且视觉上简单,但却混淆了最先进的无监督对象表示学习算法。我们还强调了这个框架在几个Atari游戏上的潜力,使用我们的对象表示和标准RL和规划算法,比现有的深度RL算法学习得更快。
2021-06-03 cs.AI cs.LG stat.ML
Value-Guided Repulsion for Offline Reinforcement Learning
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院)
针对离线强化学习中标准漂移策略无法通过期望值区分动作的问题,提出值引导排斥Q学习(VRQL),通过整合动作值估计实现更优性能,在OGBench和D4RL AntMaze任务上表现出竞争力。
2026-10-14 cs.AI
Look where you look! Saliency-guided Q-networks for generalization in visual Reinforcement Learning
IRT Saint-Exupéry(圣埃克苏佩里工业技术研究院);ISAE-SUPAERO(法国高等航空航天学院);IMT, INSA Toulouse(图卢兹国立应用科学学院数学与信息学研究所);ANITI(图卢兹人工智能与自然智能研究所);IMT, Université Paul Sabatier(保罗·萨巴蒂埃大学数学与信息学研究所);Université de Toulouse(图卢兹大学)
深度强化学习策略尽管在模拟视觉控制任务中具有出色的效率,但在输入训练图像中对干扰进行概括的能力令人失望。图像统计数据或分散注意力的背景元素的变化是防止这种控制策略的通用性和现实世界适用性的陷阱。我们阐述的直觉,一个好的视觉政策应该能够识别哪些像素是重要的,它的决定,并保持这种识别跨图像的重要信息源。这意味着具有小泛化差距的策略的训练应该集中在这些重要的像素上,而忽略其他像素。这导致了显着性引导Q网络(SGQN)的引入,这是一种用于视觉强化学习的通用方法,与任何价值函数学习方法兼容。SGQN极大地提高了Soft Actor-Critic代理的泛化能力,并在Deepmind Control Generalization基准测试中优于现有的最先进方法,在训练效率、泛化差距和策略可解释性方面提供了新的参考。
2023-02-08 cs.AI cs.CV cs.LG
Demonstration-Guided Continual Reinforcement Learning in Dynamic Environments
School of Computer Science, University of Galway(Galway大学计算机科学学院)
本研究提出演示引导持续强化学习(DGCRL),通过外部演示库指导智能体探索与适应,提升动态环境中的学习效率和知识迁移能力。
2025-12-21 cs.LG
Sampling Efficient Deep Reinforcement Learning through Preference-Guided Stochastic Exploration
Nanyang Technological University(南洋理工大学)
由深度Q网络(DQN)算法解决的大量实际工作表明,随机策略尽管简单,但却是最常用的探索方法。然而,大多数现有的随机探索方法要么探索新的行动,无论Q值或不可避免地引入偏差到学习过程中耦合的采样与Q值。在本文中,我们提出了一种新的偏好引导的$ε$贪婪探索算法,可以有效地学习动作分布符合景观的Q值DQN,而不引入额外的偏见。具体来说,我们设计了一个双架构,由两个分支组成,其中一个是DQN的副本,即Q分支。另一个分支,我们称之为偏好分支,学习DQN隐式遵循的动作偏好。我们从理论上证明了政策改进定理适用于偏好引导的$ε$ -贪婪政策,并通过实验表明,推断出的动作偏好分布与相应的Q值的景观一致。因此,偏好引导的$ε$贪婪探索激励DQN代理采取不同的动作,即,具有较大Q值的动作可以被更频繁地采样,而具有较小Q值的动作仍然有机会被探索,从而鼓励探索。我们评估所提出的方法与四个著名的DQN变种在九个不同的环境。大量的结果证实了我们所提出的方法在性能和收敛速度方面的优越性。索引术语-偏好引导的探索,随机策略,数据效率,深度强化学习,深度Q学习。
2022-06-20 cs.AI cs.LG cs.RO
Demonstration-Guided Reinforcement Learning with Efficient Exploration for Task Automation of Surgical Robot
The Chinese University of Hong Kong(香港中文大学)
手术机器人的任务自动化具有提高手术效率的潜力。最近的基于强化学习(RL)的方法为手术自动化提供了可扩展的解决方案,但是如果没有给出先验知识,则通常需要广泛的数据汇集来解决任务。这个问题被称为探索挑战,可以通过向RL代理提供专家演示来缓解。然而,如何有效地利用示范数据,提高勘探效率仍然是一个开放的挑战。在这项工作中,我们引入演示引导探索(DEX),一个有效的强化学习算法,旨在克服探索问题的专家演示手术自动化。为了有效地利用演示,我们的方法估计具有更高值的专家行为,以促进富有成效的交互,并采用非参数回归,以实现在演示数据中未观察到的状态下的指导。广泛的实验$10$手术操作任务从SurRoL,一个全面的手术模拟平台,证明显着提高探索效率和任务成功率的方法。此外,我们还将学习到的策略部署到达芬奇研究工具包(dVRK)平台上,以显示在真实机器人上的有效性。代码可在https://github.com/med-air/DEX上获得。
2023-02-20 cs.AI cs.LG cs.RO
CGAR: Critic Guided Action Redistribution in Reinforcement Leaning
Beihang University(北京航空航天大学);Baidu Research(百度研究院);Peking University(北京大学)
训练一个玩游戏的强化学习代理需要与环境进行多次交互。无知的随机探索可能会造成时间和资源的浪费。减少这种浪费是至关重要的。如本文所讨论的,在离线政策演员评论家算法的设置下,我们证明了评论家可以带来更多的预期折扣奖励比或至少等于演员。因此,由批评者预测的Q值是重新分配最初从由行动者预测的策略分布中采样的动作的更好的信号。本文介绍了新的评论家引导动作重分布(CGAR)算法,并在OpenAI MuJoCo任务上进行了测试。实验结果表明,该方法提高了样本效率,达到了最先进的性能。我们的代码可以在https://github.com/tairanhuang/CGAR上找到。
2022-06-23 cs.LG
Safety-Guided Deep Reinforcement Learning via Online Gaussian Process Estimation
Boston University(波士顿大学)
强化学习(RL)的一个重要方面与智能体如何探索环境有关。传统的勘探策略通常注重效率而忽视安全。然而,对于实际应用,在勘探期间确保制剂的安全至关重要,因为采取不安全的行动或达到不安全的状态可能对制剂造成不可逆转的损害。安全探索的主要挑战在于,对于大的连续状态或动作空间和未知环境,难以表征不安全状态和动作。在本文中,我们提出了一种新的方法,在深度强化学习中引入安全性估计来指导探索和策略搜索。通过使用成本函数来捕获基于故障的安全性,我们的关键思想是制定作为候选李雅普诺夫函数的安全成本的状态-动作价值函数,并扩展控制理论的结果,以近似其导数使用在线高斯过程(GP)估计。我们展示了如何使用这些统计模型来指导代理在未知的环境中获得高性能的控制策略与可证明的稳定性证书。
2019-04-22 cs.AI cs.LG cs.RO
Knowledge-guided Deep Reinforcement Learning for Interactive Recommendation
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学)
交互式推荐旨在从项目和用户之间的动态交互中学习,以实现响应性和准确性。强化学习在应对动态环境方面具有先天优势,因此在交互式推荐研究中引起了越来越多的关注。受知识感知推荐的启发,本文提出了知识引导的深度强化学习(KGRL),利用强化学习和知识图谱的优势进行交互式推荐。该模型是在演员-评论家网络框架上实现的。它维护一个本地知识网络来指导决策,并采用注意力机制来捕获项目之间的长期语义。我们在模拟的在线环境中使用六个公开的真实世界数据集进行了全面的实验,并证明了我们的模型优于几种最先进的方法。
2020-04-17 cs.IR cs.LG stat.ML
Reinforcement Learning using Guided Observability
TU Darmstadt(达姆施塔特工业大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Aalto University(阿尔托大学)
由于最近的突破,强化学习(RL)在具有挑战性的顺序决策问题中表现出令人印象深刻的性能。然而,一个悬而未决的问题是如何使强化学习处理部分可观测性,这是在许多现实世界中的问题。与当代RL方法相反,主要集中在改进的记忆表示或关于部分可观测性类型的强假设上,我们提出了一种简单但有效的方法,可以与各种RL方法一起应用。我们的主要观点是,在训练过程中从完全可观测性平滑过渡到部分可观测性会产生高性能的策略。该方法被称为部分可观察引导强化学习(PO-GRL),允许在策略优化期间利用全部状态信息,而不会损害最终策略的最优性。在离散部分可观测马尔可夫决策过程(POMDP)基准问题和连续部分可观测MuJoCo和OpenAI gym任务中的综合评估表明,PO-GRL提高了性能。最后,我们证明了PO-GRL在一个真正的巴雷特WAM机器人的部分可观测性下的球在杯子中的任务。
2021-04-22 cs.LG
Program Synthesis Guided Reinforcement Learning for Partially Observed Environments
MIT(麻省理工学院);Microsoft Research(微软研究院);University of Pennsylvania(宾夕法尼亚大学);Autodesk Research(欧特克研究院)
强化学习的一个关键挑战是解决长期规划问题。最近的工作利用程序来指导这些设置中的强化学习。然而,这些方法给用户带来了很大的手动负担,因为它们必须为每个新任务提供指导程序。部分观察的环境使编程任务进一步复杂化,因为程序必须实现正确且理想地最优地处理环境的隐藏区域的每一种可能配置的策略。我们提出了一种新的方法,模型预测程序合成(MPPS),使用程序合成自动生成的指导程序。它训练一个生成模型来预测世界上未观察到的部分,然后基于该模型的样本以对其不确定性具有鲁棒性的方式合成一个程序。在我们的实验中,我们表明,我们的方法显着优于非程序引导的方法在一组具有挑战性的基准,包括二维Minecraft启发的环境中,代理必须完成一系列复杂的子任务,以实现其目标,并实现了类似的性能,使用手工制作的程序来指导代理。我们的研究结果表明,我们的方法可以获得程序引导的强化学习的好处,而不需要用户提供一个新的指导计划,每一个新的任务。
2021-11-01 cs.AI