Demonstration-Guided Continual Reinforcement Learning in Dynamic Environments
School of Computer Science, University of Galway(Galway大学计算机科学学院)
本研究提出演示引导持续强化学习(DGCRL),通过外部演示库指导智能体探索与适应,提升动态环境中的学习效率和知识迁移能力。
2025-12-21 cs.LG
CGAR: Critic Guided Action Redistribution in Reinforcement Leaning
Beihang University(北京航空航天大学);Baidu Research(百度研究院);Peking University(北京大学)
训练一个玩游戏的强化学习代理需要与环境进行多次交互。无知的随机探索可能会造成时间和资源的浪费。减少这种浪费是至关重要的。如本文所讨论的,在离线政策演员评论家算法的设置下,我们证明了评论家可以带来更多的预期折扣奖励比或至少等于演员。因此,由批评者预测的Q值是重新分配最初从由行动者预测的策略分布中采样的动作的更好的信号。本文介绍了新的评论家引导动作重分布(CGAR)算法,并在OpenAI MuJoCo任务上进行了测试。实验结果表明,该方法提高了样本效率,达到了最先进的性能。我们的代码可以在https://github.com/tairanhuang/CGAR上找到。
2022-06-23 cs.LG
Knowledge-guided Deep Reinforcement Learning for Interactive Recommendation
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学)
交互式推荐旨在从项目和用户之间的动态交互中学习,以实现响应性和准确性。强化学习在应对动态环境方面具有先天优势,因此在交互式推荐研究中引起了越来越多的关注。受知识感知推荐的启发,本文提出了知识引导的深度强化学习(KGRL),利用强化学习和知识图谱的优势进行交互式推荐。该模型是在演员-评论家网络框架上实现的。它维护一个本地知识网络来指导决策,并采用注意力机制来捕获项目之间的长期语义。我们在模拟的在线环境中使用六个公开的真实世界数据集进行了全面的实验,并证明了我们的模型优于几种最先进的方法。
2020-04-17 cs.IR cs.LG stat.ML
CAREL: Instruction-guided reinforcement learning with cross-modal auxiliary objectives
Sharif University of Technology(谢里夫理工大学)
本文提出CAREL框架,通过跨模态辅助损失和指令跟踪方法,提升语言引导目标达成强化学习的样本效率与泛化能力。
2025-09-07 cs.AI cs.LG
Reinforcement Learning using Guided Observability
TU Darmstadt(达姆施塔特工业大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Aalto University(阿尔托大学)
由于最近的突破,强化学习(RL)在具有挑战性的顺序决策问题中表现出令人印象深刻的性能。然而,一个悬而未决的问题是如何使强化学习处理部分可观测性,这是在许多现实世界中的问题。与当代RL方法相反,主要集中在改进的记忆表示或关于部分可观测性类型的强假设上,我们提出了一种简单但有效的方法,可以与各种RL方法一起应用。我们的主要观点是,在训练过程中从完全可观测性平滑过渡到部分可观测性会产生高性能的策略。该方法被称为部分可观察引导强化学习(PO-GRL),允许在策略优化期间利用全部状态信息,而不会损害最终策略的最优性。在离散部分可观测马尔可夫决策过程(POMDP)基准问题和连续部分可观测MuJoCo和OpenAI gym任务中的综合评估表明,PO-GRL提高了性能。最后,我们证明了PO-GRL在一个真正的巴雷特WAM机器人的部分可观测性下的球在杯子中的任务。
2021-04-22 cs.LG
A Comparative Evaluation of Teacher-Guided Reinforcement Learning Techniques for Autonomous Cyber Operations
Royal Military College of Canada Electrical(加拿大皇家军事学院电气工程系);Royal Military College of Canada Department of Mathematics(加拿大皇家军事学院数学系)
针对自主网络作战(ACO)中智能体从零学习导致收敛慢、早期性能差的问题,本研究在CybORG环境中实现四种教师引导强化学习技术并比较,发现教师集成可显著提升训练效率,为ACO提供优化方向。
2025-08-20 cs.AI cs.LG
SORREL: Suboptimal-Demonstration-Guided Reinforcement Learning for Learning to Branch
Carnegie Mellon University(卡内基梅隆大学)
本文提出SORREL,一种基于价值估计选择性利用次优演示的强化学习方法,用于学习分支策略,在多种MILP上显著提升分支质量和训练效率。
2025-02-25 cs.LG
Optimal Transport-Guided Safety in Temporal Difference Reinforcement Learning
Department of Mechanical Engineering, Rochester Institute of Technology(机械工程系,罗切斯特理工学院)
针对强化学习常忽略安全性的问题,提出一种基于最优传输理论量化行动不确定性的时序差分算法,将不确定性评分融入决策目标,理论证明可降低不安全状态访问概率,实验验证其在保障安全的同时维持性能。
2025-06-14 cs.LG
TGRL: An Algorithm for Teacher Guided Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Technion - Israel Institute of Technology(以色列理工学院)
TGRL通过比较有无教师监督的反事实表现,动态自动平衡教师引导与奖励学习,在无需超参数调优的情况下在多个领域优于强基线。
2024-02-20 cs.LG
Temporal Logic Guided Safe Reinforcement Learning Using Control Barrier Functions
使用强化学习来学习控制策略是一个挑战,当任务是复杂的,具有潜在的长期视野。确保充分但安全的勘探对于控制物理系统也至关重要。在本文中,我们使用时序逻辑,以促进规范和学习的复杂任务。我们结合时序逻辑与控制李雅普诺夫函数,以提高勘探。我们整合了控制屏障功能,以保护探索和部署过程。我们开发了一个灵活的和可学习的系统,允许用户指定任务的目标和限制,在不同的形式和不同的水平。该框架还能够利用已知的系统动态和处理未知的环境动态集成无模型学习与基于模型的规划。
2019-03-23 cs.LG stat.ML
Novelty-Guided Data Reuse for Efficient and Diversified Multi-Agent Reinforcement Learning
针对多智能体强化学习样本利用不足与策略缺乏多样性的问题,提出基于观测新颖性动态调整策略更新的样本重用方法MANGER,利用RND网络衡量状态新颖性以分配额外更新机会,显著提升了样本效率与复杂协作任务表现。
2024-12-20 cs.LG
Demonstration-Guided Reinforcement Learning with Learned Skills
University of Southern California(南加州大学)
演示引导的强化学习(RL)是一种利用奖励反馈和一组目标任务演示来学习复杂行为的有前途的方法。先前的演示引导强化学习方法将每个新任务视为独立的学习问题,并试图一步一步地遵循所提供的演示,类似于人类试图通过跟随演示者的精确肌肉运动来模仿完全看不见的行为。当然,这种学习会很慢,但通常新行为并不是完全看不见的:它们与我们以前学到的行为共享子任务。在这项工作中,我们的目标是利用这种共享的子任务结构,以提高效率的演示引导RL。我们首先从在许多任务中收集的先前经验的大型离线数据集中学习一组可重用的技能。然后,我们提出了基于技能的学习与演示(SkiLD),演示引导RL的算法,有效地利用提供的演示,通过以下演示的技能,而不是原始的动作,从而大大提高性能比以前的演示引导RL方法。我们验证了我们的方法的有效性长地平线迷宫导航和复杂的机器人操作任务。
2021-07-21 cs.AI cs.LG cs.RO
PC-MLP: Model-based Reinforcement Learning with Policy Cover Guided Exploration
Carnegie Mellon University(卡内基梅隆大学);Cornell University(康奈尔大学)
基于模型的强化学习(RL)是一种流行的学习范式,由于其潜在的样本效率相比,无模型RL。然而,现有的基于经验模型的强化学习方法缺乏探索能力。本文研究了核化非线性调节器(KNR)和线性马尔可夫决策过程(MDP)的一种基于模型的算法。对于这两种模型,我们的算法保证多项式样本的复杂性,只使用访问规划预言。在实验中,我们首先证明了我们的算法的灵活性和有效性的一组探索具有挑战性的控制任务,现有的基于经验模型的RL方法完全失败。然后,我们表明,我们的方法保留了出色的性能,即使在常见的密集奖励控制基准,不需要大量的探索。最后,我们证明了我们的方法也可以有效地进行无奖励探索。我们的代码可以在https://github.com/yudasong/PCMLP上找到。
2021-07-15 cs.LG
Prior-Guided Diffusion Planning for Offline Reinforcement Learning
Korea University(韩国大学);Gauss Labs Inc.(Gauss实验室)
针对离线强化学习中扩散规划器引导采样存在的次优、分布漂移和推理成本高问题,提出先验引导框架,用可学习分布替换高斯先验,直接生成高价值轨迹,在长视界基准上超越现有方法。
2025-10-24 cs.LG
PAGAR: Taming Reward Misalignment in Inverse Reinforcement Learning-Based Imitation Learning with Protagonist Antagonist Guided Adversarial Reward
Boston University(波士顿大学)
本文提出PAGAR半监督奖励设计范式,通过混合奖励函数训练策略,解决IRL中奖励错位导致的任务失败,并在复杂任务中优于标准IL基线。
2024-02-07 cs.LG
Hierarchical Reinforcement Learning with Uncertainty-Guided Diffusional Subgoals
Aalto University(阿尔托大学)
针对分层强化学习中低层策略变化导致高层难以生成有效子目标的问题,提出利用高斯过程先验正则化的条件扩散模型生成复杂子目标并进行不确定性量化,显著提升了样本效率和性能。
2025-05-27 cs.LG
Ultrasound-Guided Robotic Navigation with Deep Reinforcement Learning
Technische Universität München(慕尼黑工业大学);Sharif University of Technology(谢里夫理工大学)
在本文中,我们介绍了第一个强化学习(RL)的机器人导航方法,利用超声(US)图像作为输入。我们的方法结合了最先进的RL技术,特别是具有内存缓冲区的深度Q网络(DQN)和用于决定何时终止任务的二进制分类器。我们的方法是在内部收集的34名志愿者的数据集上进行训练和评估的,与纯RL和监督学习(SL)技术相比,它的表现要好得多,这突出了RL导航对US引导程序的适用性。在测试我们提出的模型时,我们在5个不同的看不见的模拟环境中从165个不同的起始位置正确导航到骶骨的概率为82.91%。
2020-04-07 cs.LG cs.RO stat.ML
Guided Exploration in Reinforcement Learning via Monte Carlo Critic Optimization
Independent Researcher Oxford, UK United Kingdom;Independent Researcher
针对深度确定性离策略算法中随机噪声探索需手动调参且缺乏训练中校准的问题,提出基于蒙特卡洛评论家集成的引导探索方法,动态校正探索动作,并用于同时修改策略与评论家,在DMControl多个任务上取得优于现代强化学习算法的性能。
2024-05-06 cs.AI cs.LG
Breaking the Grid: Distance-Guided Reinforcement Learning in Large Discrete Action Spaces
Technical University of Munich(慕尼黑技术大学);University of Twente(埃因霍温大学)
本文提出距离引导强化学习(DGRL),通过采样动态邻域和基于距离的更新,在高达10^20个动作的问题中实现高效的强化学习,证明了其在结构任务中的局部价值提升,并在混合连续-离散动作空间中实现泛化。
2026-11-10 cs.AI cs.LG
Fuz-RL: A Fuzzy-Guided Robust Framework for Safe Reinforcement Learning under Uncertainty
本文提出Fuz-RL框架,通过模糊测度指导的稳健方法,解决安全强化学习中的不确定性问题,提升安全性和控制性能。
2026-03-16 cs.LG
Language Model Guided Reinforcement Learning in Quantitative Trading
University of Malta(马耳他大学)
本文提出一种混合框架,利用大型语言模型生成高层交易策略来引导强化学习代理,通过专家评审和夏普比率、最大回撤评估,实证表明LLM引导能同时改善收益和风险指标。
2025-10-25 cs.CL cs.LG q-fin.TR
ViSaRL: Visual Reinforcement Learning Guided by Human Saliency
University of Southern California(南加利福尼亚大学)
针对像素输入强化学习样本效率低的问题,提出ViSaRL方法,利用人类视觉显著性引导CNN和Transformer编码器学习视觉表示,在仿真和真实机器人任务中显著提升成功率、样本效率和泛化能力。
2024-10-20 cs.LG cs.RO
FlowQ: Energy-Guided Flow Policies for Offline Reinforcement Learning
Machine Learning Research Lab, Volkswagen Group(大众集团机器学习研究实验室);Technical University of Munich(慕尼黑技术大学);Foundation Robotics Labs, Munich(慕尼黑基础机器人实验室);Eötvös Loránd University(劳尔·艾尔多迪大学)
针对离线强化学习场景,提出基于能量引导流匹配的FlowQ算法,通过近似高斯路径学习条件速度场,在取得有竞争力性能的同时实现训练时间与流采样步数无关。
2025-05-20 cs.AI cs.LG cs.RO
Behavior-Guided Actor-Critic: Improving Exploration via Learning Policy Behavior Representation for Deep Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);Higher Institute for Applied Sciences and Technology(应用科学与技术高等学院)
在这项工作中,我们提出了行为指导的演员-评论家(BAC),一个非策略演员-评论家深度RL算法。BAC通过自动编码器精确估计每个状态-动作对的访问频率,同时考虑在确定策略产生的轨迹中起关键作用的状态动态,从而在数学上制定策略的行为。鼓励智能体不断地改变其行为,以减少访问的状态-动作对,同时通过最大化预期的奖励折扣总和来实现良好的性能,从而有效地探索环境并充分利用所有高奖励区域。我们方法的一个突出方面是,与最大熵深度强化学习算法相比,它适用于随机和确定性参与者。结果表明,BAC的性能比几个前沿的学习算法。
2021-04-09 cs.AI cs.LG
Reward-Machine-Guided, Self-Paced Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出奖励机引导的自定进度强化学习算法,通过将任务结构先验同时融入策略值函数更新和课程生成,显著提升了长期规划任务中的学习可靠性、课程效率与稳定性。
2023-05-25 cs.LG
Heuristic-Guided Reinforcement Learning
Microsoft Research(微软研究院)
我们提供了一个加速强化学习(RL)算法的框架,由领域知识或离线数据构造的算法。Tabula Rasa RL算法需要与顺序决策任务的范围相匹配的环境交互或计算。使用我们的框架,我们展示了如何启发式引导RL诱导一个更短的地平线子问题,可证明解决了原来的任务。我们的框架可以被看作是一个基于视界的正则化,用于在有限的相互作用预算下控制RL中的偏差和方差。在理论方面,我们描述了一个很好的启发式和RL加速的影响的性质。特别是,我们引入了一个可改进的启发式,启发式,允许RL代理推断超出其先验知识的新概念。在经验方面,我们实例化我们的框架,以加速几个国家的最先进的算法在模拟机器人控制任务和程序生成的游戏。我们的框架补充了关于热启动RL的丰富文献,包括专家演示或探索性数据集,并介绍了将先验知识注入RL的原则性方法。
2021-11-22 cs.AI cs.LG
Data Boost: Text Data Augmentation Through Reinforcement Learning Guided Conditional Generation
Moody College of Communication, University of Texas at Austin(得克萨斯大学奥斯汀分校穆迪传播学院);Dartmouth College(达特茅斯学院)
数据增强在许多NLU任务中被证明是有效的,特别是对于那些数据稀缺的人。在本文中,我们提出了一个强大且易于部署的文本增强框架Data Boost,它通过强化学习引导的条件生成来增强数据。我们在五种不同的分类器架构下对三种不同的文本分类任务进行了评估。实验结果表明,Data Boost算法能够有效提高分类器的性能,尤其是在低资源数据的情况下。例如,当只提供10%的数据用于训练时,Data Boost将三个任务的F1平均提高了8.7%。我们还将Data Boost与六种先前的文本增强方法进行了比较。通过人工评估(N=178),我们确认Data Boost增强在可读性和类一致性方面具有与原始数据相当的质量。
2020-12-05 cs.CL cs.LG
Guided Flow Policy: Learning from High-Value Actions in Offline Reinforcement Learning
Inria and DI-ENS, PSL Research University(Inria和DI-ENS,PSL研究大学);Sorbonne Université, CNRS, ISIR, France(索邦大学,CNRS,ISIR,法国)
引导流策略通过结合多步流匹配与提炼的演员,有效区分高价值动作,从而在多个基准测试中实现卓越性能。
2026-03-05 cs.AI cs.LG
Uncertainty-Guided Checkpoint Selection for Reinforcement Finetuning of Large Language Models
Applied Artificial Intelligence Initiative(应用人工智能计划);Deakin University(德肯大学)
针对大语言模型强化微调中检查点选择的稳定性与成本问题,提出不确定性引导的检查点选择方法UGCS,通过样本级不确定性识别困难案例并排序检查点,在多数据集和模型上优于传统策略,能持续识别泛化能力更强的检查点。
2025-11-13 cs.LG
Offline Robot Reinforcement Learning with Uncertainty-Guided Human Expert Sampling
Offworld Inc.(Offworld公司)
批量(离线)强化学习的最新进展已经显示出从可用的离线数据中学习的有希望的结果,并证明离线强化学习是在无模型设置中学习控制策略的重要工具包。应用于由次优的非基于学习的算法收集的数据集的离线强化学习算法可以产生优于用于收集数据的行为代理的策略。这种情况在机器人技术中很常见,现有的自动化正在收集操作数据。虽然离线学习技术可以从次优行为代理生成的数据中学习,但仍然有机会通过战略性地将人类演示数据引入训练过程来改善现有离线强化学习算法的样本复杂度。为此,我们提出了一种新的方法,使用不确定性估计来触发人类演示数据的注入,并引导策略训练向最佳行为,同时降低整体样本的复杂性。我们的实验表明,这种方法是更有效的样本相比,一个天真的专家数据与数据收集从一个次优代理。我们用我们的方法增强了现有的离线强化学习算法保守Q学习,并对从MuJoCo和OffWorld Gym学习环境收集的数据进行了实验。
2022-12-16 cs.LG cs.RO
Physics-Guided Actor-Critic Reinforcement Learning for Swimming in Turbulence
University of Arizona(亚利桑那大学)
本文提出物理引导的演员-评论家强化学习策略,用解析物理函数替代神经网络评论家,在湍流中维持粒子靠近被动对应物,数值实验证明其优于标准强化学习方法。
2024-11-10 cs.LG cs.SY eess.SY
Analytic Energy-Guided Policy Optimization for Offline Reinforcement Learning
Jilin University(吉林大学)
针对离线强化学习中扩散模型中间能量难以估计的问题,提出解析能量引导策略优化(AEPO),通过闭式解与神经网络逼近对数期望,在D4RL基准上超越多种基线方法。
2025-05-03 cs.AI cs.LG
Demonstration-Guided Deep Reinforcement Learning of Control Policies for Dexterous Human-Robot Interaction
ETH Zurich(苏黎世联邦理工学院)
在本文中,我们提出了一种通过深度强化学习训练人机交互控制策略的方法,例如握手或拍手。该策略控制一个人形的影子灵巧手,连接到一个机器人arm.We提出了一个参数化的多目标奖励函数,允许学习的各种互动,而不改变奖励结构。奖励函数的参数直接从人与人交互的运动捕捉数据估计,以产生被观察者感知为自然和人性化的策略。我们评估我们的方法上三个显着不同的手的相互作用:握手,拍手和手指触摸。我们提供了详细的分析建议的奖励功能和由此产生的政策,并进行了大规模的用户研究,表明我们的政策产生自然的外观运动。
2020-01-13 cs.LG cs.RO
Demonstration-Guided Observation Attacks on Black-Box Safe Reinforcement Learning Controllers for Robotic Systems
University of Notre Dame(诺丁汉大学);Washington State University Tri-Cities(华盛顿州立大学三城分校)
本文提出了一种对抗攻击框架,用于揭示安全强化学习策略的漏洞,通过学习约束模型和替代策略,无需内部梯度或真实安全约束,验证了其在有限访问下的有效性。
2026-10-05 cs.LG
CovRL: Fuzzing JavaScript Engines with Coverage-Guided Reinforcement Learning for LLM-based Mutation
Yonsei University(延世大学);Suresofttech Inc.(Suresofttech公司)
本文提出CovRL技术,通过TF-IDF构建加权覆盖率图并结合强化学习将覆盖率反馈直接集成到LLM变异器中,显著提升了JavaScript引擎模糊测试的代码覆盖率与漏洞发现能力。
2024-02-19 cs.CL cs.CR cs.LG
Vanishing Bias Heuristic-guided Reinforcement Learning Algorithm
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文在 lunar lander 环境中实现多种经典与神经网络强化学习方法,并提出 Heuristic RL 算法,利用启发式引导早期训练并缓解人类偏差,实验结果显示该方法具有良好前景。
2023-06-17 cs.AI cs.LG cs.RO
PIGDreamer: Privileged Information Guided World Models for Safe Partially Observable Reinforcement Learning
School of Computer Science, University of Beihang, Beijing, China(北京航空航天大学计算机学院);School of Computer Science, Chinese University of Hong Kong, Hongkong, China(香港中文大学计算机学院);JD Explore Academy, Beijing, China(京东探索研究院);North Automatic Control Institute, Taiyuan, China(太原北自动控制研究所)
本文提出PIGDreamer,通过特权表示对齐和非对称actor-critic结构利用特权信息,在部分可观测安全强化学习中显著提升智能体的安全性、性能与效率。
2025-09-23 cs.LG
EpiFlow: Bridging Safety and Performance in Offline Reinforcement Learning via Epigraph-Guided Flow Matching
EpiFlow通过epigraph引导的流匹配方法,在安全关键任务中实现了高效且安全的离线强化学习。
2026-11-09 cs.AI cs.LG
Learning from Ambiguous Demonstrations with Self-Explanation Guided Reinforcement Learning
Arizona State University(亚利桑那州立大学)
针对模糊示范阻碍强化学习的问题,提出SERLfD框架,利用智能体自我解释识别高层关系特征以指导学习,提升训练稳定性与性能。
2024-02-07 cs.LG
Sustainable Smart Farm Networks: Enhancing Resilience and Efficiency with Decision Theory-Guided Deep Reinforcement Learning
Virginia Tech(弗吉尼亚理工学院)
本文提出一种可持续智能农场网络,利用决策理论引导的深度强化学习优化动物监测质量与能源效率,实验表明其性能优于迁移学习增强模型,训练时间减少47.5%。
2025-05-06 cs.LG cs.MA
Interpret Policies in Deep Reinforcement Learning using SILVER with RL-Guided Labeling: A Model-level Approach to High-dimensional and Multi-action Environments
研究针对深度强化学习缺乏可解释性问题展开,提出带强化学习引导标记的SILVER,通过提取特征、进行归因、生成数据集及训练代理模型来解释策略,在雅达利环境评估并经人体研究验证,提升透明度与人类理解,推进可解释强化学习发展。
2026-11-18 cs.LG
VLGOR: Visual-Language Knowledge Guided Offline Reinforcement Learning for Generalizable Agents
National Key Laboratory for Novel Software Technology, Nanjing University, China \& School of Artificial Intelligence, Nanjing University, China;Computational Intelligence Center (CIC), School of Computer;Artificial Intelligence, Shandong Jianzhu University, Jinan, 250101, China
本文提出VLGOR框架,结合视觉和语言知识生成虚拟轨迹,提升智能体在未见任务中的泛化能力,实验显示其性能比基线方法高24%以上。
2026-03-24 cs.LG
Transformer-Guided Deep Reinforcement Learning for Optimal Takeoff Trajectory Design of an eVTOL Drone
Department of Mechanical and Aerospace Engineering(机械与航空航天工程系);AIAA Student Member(AIAA学生会员);AIAA member(AIAA会员)
针对eVTOL无人机最优起飞轨迹设计中传统方法受维度限制、普通DRL训练难的问题,提出Transformer引导的DRL方法,大幅提升训练效率与能耗优化准确率。
2025-11-18 cs.LG
NurseSchedRL: Attention-Guided Reinforcement Learning for Nurse-Patient Assignment
Yeshiva University(耶鲁大学)
本文提出 NurseSchedRL 强化学习框架,通过注意力表示、约束动作掩码和 PPO 优化护士-患者分配,在仿真中提升排班效率、技能匹配度并降低疲劳。
2025-09-10 cs.AI cs.LG
A Reinforcement Learning Approach to Domain-Knowledge Inclusion Using Grammar Guided Symbolic Regression
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学与应用数学实验室);Réseau de Transport d’Electricité (Rte) R&D(法国电力传输网络研发部)
近年来,符号回归一直受到广泛关注,为潜在的大数据关系提供可解释的符号表示。符号回归方法最初被圈到遗传算法,现在包括各种基于深度学习的替代方法。然而,这些方法仍然不能很好地推广到现实世界的数据,主要是因为它们几乎不包括领域知识,也不考虑变量之间的物理关系,如已知的方程和单位。针对这些问题,我们提出了一种基于强化的语法引导的符号回归(RBG 2-SR)方法,该方法使用上下文无关文法作为强化动作空间,利用领域知识约束表示空间。我们详细介绍了一个部分可观测马尔可夫决策过程(POMDP)建模的问题和基准我们的方法对国家的最先进的方法。我们还分析了POMDP状态定义,并提出了一个物理方程搜索用例,我们比较我们的方法,基于语法和非基于语法的符号回归方法。实验结果表明,我们的方法是有竞争力的对其他国家的最先进的方法的基准,并提供了最好的错误复杂性权衡,突出了在现实世界中使用基于语法的方法的兴趣。
2022-02-09 cs.AI cs.LG
Decision Theory-Guided Deep Reinforcement Learning for Fast Learning
Virginia Tech(弗吉尼亚理工大学);North Carolina State University(北卡罗来纳州立大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室)
本文提出决策理论引导的深度强化学习(DT-guided DRL),通过整合决策理论解决DRL冷启动问题,在倒立摆和迷宫任务中显著提升初始奖励(最高增184%)及收敛后性能(最高多53%)。
2024-02-08 cs.AI cs.GT cs.LG
LLM-Guided Communication for Cooperative Multi-Agent Reinforcement Learning
KAIST(韩国科学技术院)
提出LMAC框架,利用大语言模型的推理能力设计通信协议,使所有智能体尽可能准确一致地重建底层状态,从而提升多智能体强化学习中的状态重建和性能。
2026-06-01 cs.AI cs.LG cs.MA
Contrastive Energy Prediction for Exact Energy-Guided Diffusion Sampling in Offline Reinforcement Learning
Tsinghua University(清华大学);Renmin University of China(中国人民大学);Pazhou Lab(琶洲实验室)
本文针对扩散模型能量引导采样中中间引导难以估计的问题,提出对比能量预测(CEP)方法以学习精确引导,并在离线强化学习和图像合成中验证了其优于现有方法的性能与可扩展性。
2023-05-30 cs.LG
Individual Control Barrier Functions-Guided Diffusion Model for Safe Offline Multi-Agent Reinforcement Learning
Department of Electrical Engineering and Automation, Aalto University(阿尔托大学电气工程与自动化系);School of Computing and Data Science, Xiamen University Malaysia(厦门大学马来西亚分校计算与数据科学学院);Department of Computer Science, University of Toronto(多伦多大学计算机科学系)
提出一种将神经个体控制障碍函数嵌入扩散模型的离线多智能体强化学习算法,通过逆动力学恢复控制策略,在保证奖励的同时显著提升轨迹生成的安全性。
2026-06-12 cs.LG cs.RO cs.SY
Collective Robot Reinforcement Learning with Distributed Asynchronous Guided Policy Search
University of Southern California(南加州大学);Google Brain(谷歌大脑)
原则上,强化学习和策略搜索方法可以使机器人学习高度复杂和通用的技能,使它们能够在现实世界的复杂性和多样性中发挥作用。然而,训练一个能够在广泛的现实世界条件下很好地推广的策略需要比单个机器人收集的经验更大的数量和多样性。幸运的是,多个机器人可以相互分享经验,从而共同学习策略。在这项工作中,我们探索分布式和异步策略学习作为一种手段,以实现泛化和提高训练时间的挑战性,现实世界的操作任务。我们提出了一个分布式和异步版本的引导策略搜索,并使用它来展示集体策略学习基于视觉的开门任务,使用四个机器人。我们表明,它实现了更好的泛化,利用率和训练时间比单一的机器人替代品。
2016-10-03 cs.AI cs.LG cs.RO
Outcome-Guided Counterfactuals for Reinforcement Learning Agents from a Jointly Trained Generative Latent Space
SRI International(斯坦福国际研究院)
我们提出了一种新的生成方法,用于根据表征代理行为的结果变量为强化学习(RL)代理生成看不见的和似是而非的反事实示例。我们的方法使用一个变分自编码器训练的潜在空间,共同编码的观察和结果变量有关的代理的行为的信息。反事实生成使用遍历在这个潜在的空间,通过梯度驱动的更新,以及潜在的插值对情况下,从一个池的例子。其中包括提高生成示例的可能性的更新,这提高了生成的反事实的可验证性。从三个强化学习环境中的实验,我们表明,这些方法产生的反事实是更合理的,接近他们的查询相比,纯粹的结果驱动或基于案例的基线。最后,我们表明,一个潜在的联合训练,以重建输入的观察和行为结果变量产生更高质量的反事实比潜在的训练只重建观察输入。
2022-07-15 cs.AI cs.LG
Reinforcement Learning for Molecular Design Guided by Quantum Mechanics
University of Cambridge(剑桥大学)
使用深度强化学习(RL)自动化分子设计有望加速新化合物的发现。现有的方法与分子图一起工作,因此忽略了原子在空间中的位置,这将它们限制在1)生成单个有机分子和2)启发式奖励函数。为了解决这个问题,我们提出了一种新的RL配方在笛卡尔坐标的分子设计,从而扩展了类的分子,可以建立。我们的奖励函数直接基于基本的物理性质,例如能量,我们通过快速量子化学方法近似。为了实现从头分子设计的进展,我们引入了MolGym,这是一个RL环境,包括几个具有挑战性的分子设计任务以及基线。在我们的实验中,我们表明,我们的代理可以有效地学习解决这些任务从头开始,在一个平移和旋转不变的状态动作空间。
2020-06-29 cs.LG stat.ML
Feasibility-Guided Fair Adaptive Offline Reinforcement Learning for Medicaid Care Management
Waymark;San Francisco General Hospital, University of California San Francisco(旧金山通用医院,加州大学旧金山分校);University of Pennsylvania(宾夕法尼亚大学)
提出FG-FARL离线强化学习方法,通过校准各群体安全阈值减少危害并均衡公平性,在Medicaid数据上实现了与基线相当的价值并提升了公平性。
2025-09-11 cs.AI cs.LG cs.LO
Reset-Free Guided Policy Search: Efficient Deep Reinforcement Learning with Stochastic Initial States
University of Washington(华盛顿大学);University of California, Berkeley(加州大学伯克利分校)
机器人技能的自主学习可以让通用机器人学习广泛的行为,而不需要大量的人工工程。然而,机器人技能学习方法通常做出若干权衡之一来实现实际的现实世界学习,诸如需要手动设计的策略或价值函数表示、从人类提供的演示初始化、训练环境的仪器化或极长的训练时间。在本文中,我们提出了一种新的强化学习算法学习操作技能,可以训练通用的神经网络政策与最小的人类工程,同时仍然允许快速,有效的学习随机环境。我们的方法建立在引导策略搜索(GPS)算法的基础上,该算法将强化学习问题转化为来自计算教师的监督学习(无需人工演示)。与之前的GPS方法相比,它需要一组一致的初始状态,系统必须在每次发作后重置,我们的方法可以处理随机初始状态,使其能够用于确定性重置是不可能的环境中。我们比较我们的方法,现有的政策搜索技术在模拟,表明它可以训练高维神经网络的政策,具有相同的样本效率作为以前的GPS方法,并提出了真实世界的结果PR2机器人机械手。
2016-10-06 cs.LG cs.RO