Transferable Reinforcement Learning via Probabilistic Latent Embeddings and Dynamic Policy Adaptation for Sim-to-Real Deployment
Lyles School of Civil and Construction Engineering, Purdue University, West Lafayette, USA(普渡大学土木与建设工程学院);Elmore Family School of Electrical and Computer Engineering, Purdue University, West Lafayette, USA(普渡大学埃尔莫尔家庭电气与计算机工程学院)
提出一种基于概率潜在嵌入和动态策略自适应的强化学习框架,通过元学习推断环境潜在表示并动态调整风险水平,实现安全高效的Sim2Real策略迁移。
2026-05-26 cs.AI cs.LG
SPOTTER: Extending Symbolic Planning Operators through Targeted Reinforcement Learning
Smart Information Flow Technologies(智能信息流技术公司);Tufts University(塔夫茨大学)
符号规划模型允许决策代理以任意方式对动作进行排序,以实现动态域中的各种目标。然而,它们通常是手工制作的,往往需要精确的配方,对人为错误不稳定。强化学习(RL)方法不需要这样的模型,而是通过探索环境和收集奖励来学习领域动态。然而,强化学习方法往往需要数百万次的经验,并且经常学习不容易转移到其他任务的策略。在本文中,我们解决的一个方面的开放问题,整合这些方法:决策代理如何解决差异,在他们的象征性的规划模型,同时试图实现目标?我们提出了一个名为SPOTTER的集成框架,使用RL来增强和支持(“现货”)的规划代理,发现新的运营商所需的代理完成的目标,最初是无法到达的代理。SPOTTER的性能优于纯RL方法,同时还发现了可转移的符号知识,并且不需要监督,成功的计划跟踪或关于缺失的规划算子的任何先验知识。
2020-12-24 cs.AI
Learning Multi-Task Transferable Rewards via Variational Inverse Reinforcement Learning
Seoul National University(首尔国立大学)
在高度复杂的环境中,许多机器人任务是由许多时间相关的子任务组成的。重要的是通过仔细考虑时间抽象来发现情境意图和适当的行动,以有效地解决问题。为了理解与不断变化的任务动态分离的意图,我们将基于授权的正则化技术扩展到基于生成对抗网络框架的多任务情况。在动态未知的多任务环境下,我们专注于从未标记的专家样本中学习奖励和策略。在本研究中,我们将情境授权定义为互信息的最大值,它代表了以特定状态和子任务为条件的行为如何影响未来。该方法通过推导情境互信息的变分下界来优化情境互信息,并通过在目标函数中加入诱导项来同时学习可转移的多任务奖励函数和策略.通过这样做,多任务奖励函数有助于学习针对环境变化的稳健政策。我们验证了我们的方法在多任务学习和多任务迁移学习上的优势。我们证明了我们提出的方法具有鲁棒性的随机性和不断变化的任务动态。最后,我们证明了我们的方法具有显着更好的性能和数据效率比现有的模仿学习方法在各种基准。
2022-06-19 cs.AI cs.LG cs.RO
Safer Reinforcement Learning through Transferable Instinct Networks
IT University of Copenhagen(哥本哈根信息技术大学)
随机探索是强化学习(RL)发现性能良好的策略的主要机制之一。然而,在安全关键环境中在线学习时,它可能会导致不良或灾难性的结果。事实上,安全学习是现实世界代理在部署过程中学习的主要障碍之一。确保代理遵守硬限制的一种方法是显式配置它们可以操作的边界。虽然这在某些情况下可能有效,但我们并不总是有明确的先验信息,即哪些状态和行为可能导致危险的危险状态。在这里,我们提出了一种方法,其中附加策略可以覆盖主策略并提供更安全的替代操作。在我们的本能调节强化学习(IR^2L)方法中,一个“本能”网络被训练来识别不期望的情况,同时保护学习策略不进入这些情况。本能网络是在一个容易出错的任务上进行预训练的,然后转移到安全学习新任务的环境中。我们在OpenAI Safety gym域中演示了IR^2L,在训练过程中,它收到的安全违规数量明显低于基线RL方法,同时达到类似的任务性能。
2021-07-14 cs.AI cs.LG cs.NE
A Modular and Transferable Reinforcement Learning Framework for the Fleet Rebalancing Problem
National Renewable Energy Laboratory(国家可再生能源实验室)
随需应变(MoD)系统在实现灵活高效的城市交通方面显示出巨大的潜力。然而,与国防部车辆调度和车队再平衡相关的作战决策带来了重大的技术挑战。出于这个原因,运营商倾向于采用已被证明在特定设置中工作良好的简化算法。为了帮助弥合新方法和现有方法之间的差距,我们提出了一个基于无模型强化学习(RL)的车队再平衡模块化框架,该框架可以利用现有的调度方法来最大限度地降低系统成本。特别是,通过将调度视为环境动态的一部分,集中式代理可以学习间歇地指导调度员重新定位空闲车辆并减轻车队不平衡。我们制定RL状态和动作空间的分布在网格分区的操作区域,使框架的可扩展性和避免与多智能体RL的复杂性。数值实验,使用真实世界的行程和网络数据,表明这种方法有几个明显的优势,基线方法,包括:改善系统成本;高度的适应性,选择的调度方法;和执行规模不变的迁移学习的能力,具有相似的车辆和请求分布的问题实例之间。
2021-05-27 cs.AI cs.LG cs.MA
Efficient and Transferable Agentic Knowledge Graph RAG via Reinforcement Learning
MIT CSAIL(麻省理工学院CSAIL);University of Virginia(弗吉尼亚大学);IBM Research(IBM研究院)
提出KG-R1框架,通过强化学习将单个智能体与知识图谱交互,统一检索、推理和生成过程,在KGQA基准上以更少生成token提升准确率,并展现跨图谱的零样本迁移能力。
2026-05-22 cs.AI cs.CL
AnyMorph: Learning Transferable Polices By Inferring Agent Morphology
Carnegie Mellon University(卡内基梅隆大学);Intel AI(英特尔人工智能);Mila(米拉研究所)
强化学习的原型方法涉及针对每种新形态从头开始为特定代理量身定制的训练策略。最近的工作旨在消除重新训练的政策,调查是否形态不可知的政策,训练不同的代理具有类似的任务目标,可以转移到新的代理看不见的形态,而无需重新训练。这是一个具有挑战性的问题,需要以前的方法使用手工设计的新代理的形态描述。我们提出了一种数据驱动的方法,而不是手工设计这种描述,该方法直接从强化学习目标学习形态学的表示。我们的是第一个强化学习算法,可以训练的政策,推广到新的代理形态,而不需要提前描述代理的形态。我们评估我们的方法对代理不可知控制的标准基准,并改善了目前的最先进的zero-shot推广到新的代理。重要的是,我们的方法达到了良好的性能,没有明确的形态描述。
2022-06-17 cs.AI cs.LG cs.RO
Algorithms for Batch Hierarchical Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
分层强化学习(HRL)利用时间抽象来解决大型马尔可夫决策过程(MDP),并提供可转移的子任务策略。在本文中,我们介绍了一种非策略HRL算法:分层Q值迭代(HQI)。我们表明,它是可以有效地学习递归最优策略的任何有效的层次分解的原始MDP,给定一个固定的数据集收集从一个平面的随机行为的政策。我们首先正式证明了该算法的收敛性表MDP。然后我们在Taxi域上的实验表明,HQI比平坦Q值迭代收敛得更快,并且易于进行状态抽象。此外,我们证明了我们的算法能够从相同的固定数据集学习不同层次结构的最佳策略,这使得模型比较无需重新收集数据。
2016-03-29 cs.AI
Learning Action-Transferable Policy with Action Embedding
NetEase Fuxi AI Lab(网易伏羲人工智能实验室);Zhejiang University(浙江大学);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
迁移学习(TL)是提高强化学习样本效率的有效方法。然而,如何有效地转移知识的任务与不同的状态-动作空间的研究在早期阶段。以往的研究大多只通过学习一个共同的特征空间来解决不同状态空间之间的不一致性,而没有考虑到相关任务的不同动作空间中的相似动作具有相似的语义。在本文中,我们提出了一种利用这一思想学习动作嵌入的方法,以及一个学习状态嵌入和动作嵌入的框架,以在具有不同状态和动作空间的任务之间传输策略。实验结果表明,该方法不仅可以学习信息丰富的动作嵌入,而且可以加速策略学习。
2021-05-10 cs.AI cs.LG
ConTraIRL: Factorized Contrastive Abstractions for Transferable IRL
School of Computing University of Georgia(乔治亚大学计算学院);School of Computing Sciences & Computer Engineering The University of Southern Mississippi(密西西比大学计算科学与计算机工程学院)
提出ConTraIRL框架,通过双编码器对比学习解耦环境动态与任务目标的潜在表示,实现组合奖励迁移,在连续控制基准上显著提升少样本迁移的样本效率和奖励恢复。
2026-09-29 cs.AI cs.LG cs.RO
Learning Shared Representations in Multi-task Reinforcement Learning
University College London(伦敦大学学院)
我们研究了多任务强化学习(MT-RL)中的一个范例,其中代理被放置在一个环境中,需要学习在这个空间内执行一系列任务。由于环境没有改变,任务之间可能存在很多共同点,学习单独解决它们似乎是非常浪费的。在本文中,我们明确地建模和学习这种共享结构,因为它出现在状态-动作值空间。我们将展示如何通过修改流行的值迭代和策略迭代过程来共同学习最优值函数,以适应这种共享表示假设,并利用多任务监督学习的力量。最后,我们证明了所提出的模型和训练程序,能够推断出良好的价值函数,即使在低样本制度。除了数据效率之外,我们还将在分析中表明,跨任务联合学习状态空间的抽象会导致更强大,可转移的表示,具有更好的泛化潜力。这种共享的表示假设并利用多任务监督学习的能力。最后,我们证明了所提出的模型和训练程序,能够推断出良好的价值函数,即使在低样本制度。除了数据效率之外,我们还将在分析中表明,跨任务联合学习状态空间的抽象会导致更强大,可转移的表示,具有更好的泛化潜力。
2016-03-07 cs.AI cs.LG
Non-Deterministic Policy Improvement Stabilizes Approximated Reinforcement Learning
Technische Universität Berlin(柏林工业大学)
本文研究了近似强化学习中与贪婪策略改进相关的一种不稳定性。我们的经验表明,非确定性的政策改进可以稳定的方法,如LSPI通过控制改进的随机性。此外,我们表明,一个合适的表示的价值函数也稳定的解决方案在一定程度上。所提出的方法很简单,也应该很容易转移到更复杂的算法,如深度强化学习。
2016-12-22 cs.AI cs.LG stat.ML
Planning with Abstract Learned Models While Learning Transferable Subtasks
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Simmons University(西蒙斯大学)
我们介绍了一种基于模型的分层强化学习算法,以获得自包含的过渡和奖励模型适用于概率规划在多个抽象层次。我们称这个框架为抽象学习模型规划(PALM)。通过使用一种新的形式化结构,即提升抽象马尔可夫决策过程(L-AMDP)来象征性地表示子任务,PALM学习独立和模块化的模型。通过我们的实验,我们展示了PALM如何整合规划和执行,促进快速有效地学习抽象的层次模型。我们还展示了学习模型转移到新的相关任务的潜力。
2020-06-12 cs.AI cs.LG cs.RO
Towards the Transferability of Rewards Recovered via Regularized Inverse Reinforcement Learning
EPFL(洛桑联邦理工学院)
本文研究逆强化学习所得奖励的可迁移性问题,提出用主角度度量转移律差异,并给出多专家和单专家场景下的可迁移性充分条件及PAC学习算法。
2025-02-03 cs.AI cs.LG stat.ML
Meta-Learning and Meta-Reinforcement Learning -- Tracing the Path towards DeepMind's Adaptive Agent
本文针对标准机器学习难以快速适配新任务的问题,通过形式化元学习与元强化学习框架,梳理相关里程碑算法,为理解DeepMind自适应智能体等通用方法整合核心概念。
2026-04-01 cs.AI cs.LG
ADAPT: Physics-Aware Diffusion-based World Models for Adaptive Predictive Transferable HVAC Control
本文针对现有HVAC控制方法泛化性差的问题,提出物理感知扩散世界模型ADAPT,在IID控制下可降HVAC能耗7.3%、不适度30.2%,OOD场景下迁移鲁棒性显著优于现有方法。
2026-08-21 cs.AI
ChiPFormer: Transferable Chip Placement via Offline Decision Transformer
The University of Hong Kong(香港大学);Shanghai AI Laboratory(上海人工智能实验室);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Zhejiang University(浙江大学);Tianjin University(天津大学)
提出基于离线强化学习的ChiPFormer框架,通过Decision Transformer从固定数据学习可迁移芯片布局策略,显著提升布局质量并将运行时间缩短10倍。
2023-08-01 cs.AI cs.LG
Transferable Dialogue Systems and User Simulators
University of Cambridge(剑桥大学);Alibaba Group(阿里巴巴集团)
训练对话系统的困难之一是缺乏训练数据。我们探讨了通过对话系统和用户模拟器之间的交互来创建对话数据的可能性。我们的目标是开发一个建模框架,可以通过两个代理之间的自我发挥,将新的对话场景。在这个框架中,我们首先在源域对话的集合上对两个代理进行预训练,这使得代理能够通过自然语言相互交谈。通过对少量目标域数据的进一步微调,代理继续进行交互,目的是使用具有结构化奖励函数的强化学习来改善其行为。在MultiWOZ数据集上的实验中,研究了两个实际的迁移学习问题:1)领域自适应和2)单域到多域迁移。我们证明了所提出的框架是非常有效的引导性能的两个代理迁移学习。我们还表明,我们的方法导致对话系统性能的改善,在完整的数据集。
2021-07-25 cs.AI cs.CL
ReinforceBug: A Framework to Generate Adversarial Textual Examples
University of Adelaide(阿德莱德大学);CSIROs Data61(澳大利亚联邦科学与工业研究组织数据61)
通过扰动原始训练样本生成的对抗样本(AE)在提高基于深度学习(DL)的模型的鲁棒性方面是有用的。大多数先前的作品,产生AE,要么是不合理的,由于词汇错误或语义或功能偏离原来的例子。在本文中,我们提出了ReinforceBug,一个强化学习框架,它学习一个在看不见的数据集上可转移的策略,并生成效用保持和可转移(在其他模型上)的AE。我们的研究结果表明,我们的方法是平均10%以上的成功相比,最先进的攻击文本字体。此外,目标模型在错误预测中的平均置信度为73.64%,生成的AE与原始对应物保持功能等效性和语义相似性(83.38%),并且可以在其他模型上转移,平均成功率为46%。
2021-03-11 cs.AI cs.LG
Deep reinforcement learning to detect brain lesions on MRI: a proof-of-concept application of reinforcement learning to medical images
Memorial Sloan Kettering Cancer Center(纪念斯隆凯特琳癌症中心);Indian Institute of Technology Madras(马德拉斯印度理工学院)
目的:放射学中的人工智能主要受到以下因素的阻碍:1)需要大型注释数据集。2)非通用性限制了新扫描仪/机构的部署。(3)可解释性和可解释性不足。我们相信,强化学习可以解决所有这三个缺点,具有强大而直观的算法,可在小数据集上训练。据我们所知,强化学习尚未直接应用于放射图像的计算机视觉任务。在这项原理证明工作中,我们训练了一个深度强化学习网络来预测脑肿瘤的位置。材料和方法:使用BraTS脑肿瘤成像数据库,我们在70个对比后T1加权2D图像切片上训练深度Q网络。我们这样做是与图像探索相一致的,奖励和惩罚旨在定位病变。为了与监督式深度学习进行比较,我们在相同的70张图像上训练了一个关键点检测卷积神经网络。我们将这两种方法应用于一个单独的30个图像测试集。结果:强化学习的预测在训练过程中不断提高,而监督式深度学习的预测则迅速出现分歧。强化学习预测测试集病变位置的准确率为85%,而监督深度网络的准确率约为7%。结论:强化学习预测病变的准确性很高,这对于如此小的训练集来说是前所未有的。我们相信,强化学习可以推动放射学AI超越监督式深度学习的固有局限性,进行更多临床医生驱动的研究,最终走向真正的临床应用。
2020-08-06 cs.AI
CtrlFormer: Learning Transferable State Representation for Visual Control via Transformer
the University of Hong Kong(香港大学);Tsinghua University(清华大学)
Transformer在学习视觉和语言表达方面取得了巨大的成功,这在各种下游任务中是普遍的。在视觉控制中,学习能够在不同控制任务之间转移的可转移状态表示对于减少训练样本量是很重要的。然而,将Transformer移植到样本高效的视觉控制仍然是一个具有挑战性且未解决的问题。为此,我们提出了一种新的控制Transformer(CtrlFormer),具有许多吸引人的好处,现有技术没有。首先,CtrlFormer联合学习不同控制任务之间视觉令牌和策略令牌之间的自我注意力机制,其中多任务表示可以在没有灾难性遗忘的情况下学习和转移。其次,我们精心设计了一个对比强化学习范式来训练CtrlFormer,使其能够实现高样本效率,这在控制问题中是很重要的。例如,在DMControl基准测试中,与最近的高级方法不同,这些方法在使用10万个样本进行迁移学习后,在“Cartpole”任务中产生零分,而CtrlFormer可以在保持先前任务性能的同时,仅使用10万个样本就获得最先进的分数。代码和模型发布在我们的项目主页上。
2022-06-17 cs.AI cs.CV cs.LG
Delay-Aware Model-Based Reinforcement Learning for Continuous Control
Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学)
在许多现实系统中,动作延迟降低了强化学习的性能。本文给出了时延感知马尔可夫决策过程的形式化定义,并证明了它可以通过马尔可夫奖励过程转化为具有增广状态的标准MDP。我们开发了一个延迟感知的基于模型的强化学习框架,该框架可以将多步延迟合并到学习的系统模型中,而无需学习。在Gym和MuJoCo平台上的实验表明,与非策略无模型强化学习方法相比,该算法具有更高的训练效率和在不同时延系统间的可移植性.代码可在https://github.com/baimingc/dambrl上获得。
2020-05-11 cs.AI cs.LG stat.ML
LLM-assisted Semantic Option Discovery for Facilitating Adaptive Deep Reinforcement Learning
本文提出基于大语言模型的闭环框架,通过语义驱动技能重用和实时约束监控,提升深度强化学习在数据效率、约束合规性和跨任务迁移能力方面的性能。
2026-03-07 cs.AI
In-Context Reinforcement Learning via Communicative World Models
Department of Computer and Information Sciences, Fordham University(福特汉姆大学计算机与信息科学系);Department of Systems Engineering, City University of Hong Kong(香港城市大学系统工程系);IBM Research(IBM研究院)
提出CORAL框架,通过将潜在表示学习与控制分离,利用信息代理预训练世界模型并生成通信消息,使控制代理实现零样本适应和样本效率提升。
2026-06-07 cs.AI cs.LG
Transferable Force-Torque Dynamics Model for Peg-in-hole Task
Shanghai Jiao Tong University(上海交通大学);Flexiv Robotics Research(非夕机器人研究院)
提出了一种基于学习的力-力矩动力学方法,实现了基于模型的多接触轴孔任务控制。由于低维6维力信号的模糊性和过多的训练数据的需求,学习力-扭矩动力学是具有挑战性的。为了解决这些问题,我们提出了一种多姿态力-扭矩状态表示,基于此,通过以样本高效的离线方式生成的数据来学习动力学模型。此外,通过用各种形状、尺度和弹性的钉孔训练动力学模型,模型可以在少量试验后快速转换为新的钉孔。大量的实验表明,我们的动力学模型可以适应看不见的钉孔,与从头开始学习相比,所需的样本减少了70%。随着学习的动态,模型预测控制和基于模型的强化学习政策实现超过80%的插入成功率。我们的视频可以在https://youtu.be/ZAqldpVZgm4上找到。
2019-11-30 cs.AI cs.LG cs.RO
Autonomous Option Invention for Continual Hierarchical Reinforcement Learning and Planning
Arizona State University(亚利桑那州立大学)
本文提出在持续强化学习中自主发明并利用具有符号表示的高级选项的方法,通过结合状态抽象与前瞻规划,实现了选项的可组合、可重用与互独立,显著提升了跨任务的样本效率与知识迁移能力。
2024-12-20 cs.AI
Sparks of Tabular Reasoning via Text2SQL Reinforcement Learning
Novo Nordisk(诺华北欧制药)
本文将 Text-to-SQL 任务重构为教导 LLM 表格推理的途径,提出两阶段框架,利用 SQL 监督合成 CoT 轨迹并结合 GRPO 强化学习提升模型在 BIRD 等基准上的泛化能力与准确率。
2025-05-02 cs.AI cs.CL
Driving Tasks Transfer in Deep Reinforcement Learning for Decision-making of Autonomous Vehicles
Chongqing University(重庆大学);University of Waterloo(滑铁卢大学)
知识转移是实现自动驾驶汽车实时决策的一个很有前途的概念。本文构建了一个迁移深度强化学习框架,用于跨路段环境下驾驶任务的迁移。自动驾驶汽车在无信号交叉口的行驶任务分为左转、右转和直行。自主车辆(AEV)的目标是高效、安全地通过交叉口。这一目标促使研究车辆提高速度,避免碰撞其他车辆。从一个驾驶任务中学习到的决策策略在另一个驾驶任务中进行传递和评估。仿真结果表明,与相似任务相关的决策策略是可传递的。结果表明,所提出的控制框架可以减少时间消耗,实现在线实施.
2020-10-10 cs.AI cs.LG
Universal Successor Representations for Transfer Reinforcement Learning
University of Alberta(阿尔伯塔大学);MILA(米拉魁北克人工智能研究所)
迁移强化学习的目标是从一组以前的任务推广到看不见的新任务。在这项工作中,我们专注于转移的情况下,任务之间的动态是相同的,但他们的目标不同。虽然一般的价值函数(Sutton等人,2011年)已被证明对知识转移有用,但学习通用价值函数在实践中可能具有挑战性。为了解决这个问题,我们提出(1)使用通用后继表示(USR)来表示可转移的知识,以及(2)可以通过与环境交互来训练的USR近似器(USRA)。我们的实验表明,USR可以有效地应用于新的任务,和代理初始化训练的USRA可以达到目标,大大快于随机初始化。
2018-04-11 cs.AI cs.LG stat.ML
Transferable Curricula through Difficulty Conditioned Generators
Singapore Management University(新加坡管理大学)
本文提出参数化环境响应模型(PERM),通过直接建模环境难度与智能体能力,在最近发展区内生成匹配课程,实现RL智能体的高效训练及学生间的可迁移性。
2023-06-22 cs.AI cs.LG
SkillRise: Agentic Reinforcement Learning for Cross-Task Skill Evolution
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Shanghai Jiao Tong University(上海交通大学);Meituan(美团)
SkillRise是跨任务学习技能的统一强化学习框架,解耦信用分配机制实现任务求解与技能整理,在多基准上Pass@1性能优于基线,还降低了运行开销。
2026-07-30 cs.AI cs.LG
Bridging Dynamics Gaps via Diffusion Schrödinger Bridge for Cross-Domain Reinforcement Learning
BDGxRL通过扩散薛定谔桥对齐源域与目标域动态,利用离线演示实现跨领域强化学习策略学习,优于现有基线并具备强适应性。
2026-02-27 cs.AI cs.LG
Stochastic Inverse Reinforcement Learning
Nanyang Technological University(南洋理工大学)
逆强化学习(IRL)问题的目标是从专家演示中恢复奖励函数。然而,IRL问题像任何不适定的反问题一样,具有先天的缺陷,即策略可能对许多奖励函数是最优的,并且专家论证可能对许多策略是最优的。在这项工作中,我们将IRL问题推广到一个适定的期望优化问题随机逆强化学习(SIRL),以恢复奖励函数的概率分布。我们采用蒙特卡罗期望最大化(MCEM)方法估计的概率分布的参数作为第一个解决方案的SIRL问题。该解决方案是简洁的,强大的,可转移的学习任务,并可以生成替代解决方案的IRL问题。通过我们的公式,可以从全局的角度观察IRL问题的内在属性,并且我们的方法在对象世界上实现了相当大的性能。
2022-09-23 cs.AI cs.LG stat.ML
FORM: Learning Expressive and Transferable First-Order Logic Reward Machines
Imperial College London(伦敦帝国学院)
提出一阶逻辑奖励机(FORM),以紧凑可迁移的方式处理非马尔可夫奖励,并通过多智能体协作学习提升学习速度与任务迁移能力。
2025-02-28 cs.AI cs.FL cs.LO
Deep Reinforcement Learning for Dexterous Manipulation with Concept Networks
Bonsai
深度强化学习可以为大量问题产生很好的结果,但模型通常会为每个待解决的新问题重新训练。在训练新模型时,以前的学习和知识很难融入,随着问题变得越来越复杂,需要越来越长的训练时间。这对于奖励稀疏的问题尤其成问题。我们通过引入概念网络强化学习(CNRL)来解决这些问题,该框架允许我们使用多层次结构来分解问题。概念网络中的概念是可重用的,并且足够灵活以封装特征提取器、技能或其他概念网络。通过这种分层学习方法,深度强化学习可以通过问题分解以模块化方式解决复杂任务。我们通过训练模型抓住一个矩形棱柱并使用Kinova JACO手臂上的夹持器将其精确地堆叠在立方体顶部来展示CNRL的实力,在MuJoCo中模拟。我们的实验表明,我们使用的层次结构的结果减少了45倍的环境相互作用相比,国家的最先进的这项任务。
2017-09-20 cs.AI cs.RO
Pretraining in Deep Reinforcement Learning: A Survey
Shanghai Jiao Tong University(上海交通大学);Tencent(腾讯)
在过去的几年里,将强化学习(RL)与深度学习结合起来的进展非常迅速。从游戏到机器人技术的各种突破激发了人们对设计复杂RL算法和系统的兴趣。然而,RL中的主流工作流程是学习tabula rasa,这可能会导致计算效率低下。这排除了RL算法的持续部署,并可能排除没有大规模计算资源的研究人员。在机器学习的许多其他领域,预训练范式已被证明可以有效地获取可转移的知识,这些知识可用于各种下游任务。最近,我们看到了对深度RL预训练的兴趣激增,并取得了可喜的成果。然而,许多研究都是基于不同的实验设置。由于强化学习的性质,这一领域的预训练面临着独特的挑战,因此需要新的设计原则。在这项调查中,我们试图系统地回顾深度强化学习的预训练方面的现有工作,提供这些方法的分类,讨论每个子领域,并关注开放问题和未来方向。
2022-11-08 cs.AI cs.LG
Hierarchical Reinforcement Learning with Advantage-Based Auxiliary Rewards
Tsinghua University(清华大学)
分层强化学习(HRL)是解决具有稀疏和延迟奖励的长期问题的一种很有前途的方法。许多现有的HRL算法要么使用预先训练的不适应的低级技能,要么需要特定领域的信息来定义低级奖励。在本文中,我们的目标是在保持奖励设计的通用性的同时,使低级技能适应下游任务。我们提出了一个HRL框架,设置辅助奖励的基础上,低层次的技能培训的优势函数的高级政策。这种辅助奖励能够在不使用特定于任务的知识的情况下有效地同时学习高级策略和低级技能。此外,我们还从理论上证明了使用这种辅助奖励优化低级技能将增加联合策略的任务回报。实验结果表明,我们的算法显着优于其他国家的最先进的HRL方法在Mujoco域。我们还发现我们的算法训练的低级和高级策略都是可转移的。
2019-10-10 cs.AI cs.LG
Deep Inverse Reinforcement Learning for Structural Evolution of Small Molecules
化学库到药物发现管道的大小和质量对于开发新药或重新利用现有药物至关重要。现有的技术,如组合有机合成和高通量筛选通常使过程异常艰难和复杂,因为合成可行的药物的搜索空间是非常巨大的。虽然强化学习在文献中主要用于生成新化合物,但在某些复杂领域,设计简洁地表示学习目标的奖励函数的要求可能令人生畏。基于生成对抗网络的方法在训练后大多会丢弃训练集,并且可能很难训练。在这项研究中,我们提出了一个框架,用于训练一个复合发电机和学习一个可转移的奖励函数的基础上熵最大化逆强化学习范式。我们从实验中表明,逆强化学习路线提供了一个合理的替代方案,用于在奖励函数工程可能不太吸引人或不可能的领域中生成化合物,而表现出所需目标的数据很容易获得。
2020-10-01 cs.AI cs.LG q-bio.BM
Generalized Reinforcement Learning: Experience Particles, Action Operator, Reinforcement Field, Memory Association, and Decision Concepts
University of Texas, Arlington(德克萨斯大学阿灵顿分校)
学习能够适应时变和潜在演化系统动态的控制策略一直是主流强化学习(RL)的一大挑战。主要是,不断变化的系统属性将不断影响RL代理如何通过其动作与状态空间交互,这有效地(重新)将概念漂移引入到底层的策略学习过程中。我们假设,通过用额外的“自由度“来表征和表示动作,可以实现控制策略的更高适应性,从而以更大的灵活性来适应动作的“行为”结果的变化,包括这些动作如何实时的执行以及动作集本身的变化。本文提出了一个贝叶斯风格的广义强化学习框架,首先建立参数动作模型的概念,以更好地应对不确定性和流体动作行为,然后引入强化场的概念,作为一个物理启发的结构,通过“极化经验粒子”在强化学习代理的工作记忆中维护。这些粒子有效地编码代理的动态学习经验,随着时间的推移,以自组织的方式演变。使用强化场作为基底,我们将通过将过去的记忆视为隐式图结构,进一步概括策略搜索以纳入高级决策概念,其中记忆实例或粒子,与定义和量化的关联性/相似性程度相互关联,使得“关联记忆”原则可以一致地应用于建立和增强学习代理的进化世界模型。
2022-08-29 cs.AI cs.LG
Selecting Decision-Relevant Concepts in Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);New York University(纽约大学)
本文提出决策相关选择算法,通过状态抽象视角自动选择决策相关的概念,提升强化学习策略的可解释性和性能。
2026-04-06 cs.AI cs.LG
OPIRL: Sample Efficient Off-Policy Inverse Reinforcement Learning via Distribution Matching
Tokyo Institute of Technology(东京工业大学);Mitsubishi Electric Corporation(三菱电机株式会社)
逆强化学习(IRL)在奖励工程可能很乏味的情况下很有吸引力。然而,先前的IRL算法使用策略上的转换,这需要从当前策略进行密集采样以获得稳定和最佳性能。这限制了现实世界中的IRL应用程序,其中环境交互可能变得非常昂贵。为了解决这个问题,我们提出了Off-Policy Inverse强化学习(OPIRL),它(1)采用off-policy数据分布而不是on-policy,并能够显着减少与环境的交互次数,(2)学习一个固定的奖励函数,该函数在动态变化时具有高度的泛化能力,(3)利用模式覆盖行为实现更快的收敛。我们证明了我们的方法是相当多的样本效率和推广到新的环境通过实验。我们的方法在政策性能基线上实现了更好或可比的结果,并且交互明显减少。此外,我们的经验表明,恢复的奖励函数一般化到不同的任务,现有技术容易失败。
2022-05-22 cs.AI cs.LG cs.RO
GRAIL: Autonomous Concept Grounding for Neuro-Symbolic Reinforcement Learning
Technical University of Darmstadt(达姆施塔特技术大学);Google Intrinsic(谷歌内在);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Centre for Cognitive Science, TU Darmstadt(达姆施塔特技术大学认知科学中心)
GRAIL通过环境交互自主 grounding 关系概念,利用大语言模型提供弱监督,提升在稀疏奖励和概念对齐问题中的性能,实验显示其在Atari游戏中表现优异。
2026-04-18 cs.AI cs.LG
Model Primitive Hierarchical Lifelong Reinforcement Learning
Columbia University(哥伦比亚大学);Stanford University(斯坦福大学)
学习可解释和可转移的子策略并从单个复杂任务执行任务分解是困难的。一些传统的分层强化学习技术以自上而下的方式执行这种分解,而元学习技术需要手头的任务分布来学习这种分解。本文提出了一个框架,使用不同的次优世界模型分解成简单的模块化子策略的复杂任务的解决方案。该框架以自自底向上的的方式执行单个源任务的自动分解,同时学习所需的模块化子策略以及控制器来协调它们。我们在高维连续动作控制任务上进行了一系列实验,以证明这种方法在复杂的单任务学习和终身学习中的有效性。最后,我们进行消融研究,以了解框架中不同元素的重要性和鲁棒性以及这种方法的局限性。
2019-03-04 cs.AI cs.LG cs.NE
Conceptual Belief-Informed Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校);Columbia University(哥伦比亚大学);Johns Hopkins University(约翰霍普金斯大学)
本文提出概念信念引导的强化学习(HI-RL),通过提取环境高层概念并构建自适应概率信念作为经验先验,集成到DQN、PPO、SAC和TD3中,在离散与连续控制任务上一致提升样本效率和性能。
2025-11-08 cs.AI cs.LG
On The Presence of Double-Descent in Deep Reinforcement Learning
Rug(鲁日大学)
本文在深度强化学习中系统验证了双重下降现象,发现过参数化会通过降低策略熵引导策略进入更平坦的损失极小值,从而提升泛化性与鲁棒性。
2025-11-10 cs.AI cs.LG stat.ML
ConceptSeg-R1: Segment Any Concept via Meta-Reinforcement Learning
Dalian University of Technology(大连理工大学);X3000 Inspection Co., Ltd(X3000检测有限公司);Nanyang Technological University(南洋理工大学);Yale University(耶鲁大学);Northwestern Polytechnical University(西北工业大学);Hunan University(湖南大学)
本文提出ConceptSeg-R1框架,通过元强化学习机制学习可迁移的任务规则,结合轻量级概念翻译模块实现概念分割,并在多个领域基准上验证了其在概念层次上的强性能。
2026-05-19 cs.AI cs.CV
LICORICE: Label-Efficient Concept-Based Interpretable Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
针对可解释强化学习中概念标注成本高的问题,提出LICORICE算法,通过交错训练、主动选样本标注和数据去相关,大幅减少标注量且不损失性能,提升了可解释RL的实用性。
2025-03-20 cs.AI cs.LG
Decentralized Cooperative Lane Changing at Freeway Weaving Areas Using Multi-Agent Deep Reinforcement Learning
National Renewable Energy Laboratory(国家可再生能源实验室)
在高速公路瓶颈路段(如合流区和交织区)拥堵期间,频繁的车道变换进一步降低了道路通行能力。深度强化学习(RL)和互联自动驾驶汽车技术的出现,为通过合作换道来提高高速公路瓶颈的机动性和能源效率提供了一种可能的解决方案。深度RL是一组机器学习方法,使代理能够通过从环境中学习来提高其性能。在这项研究中,一个分散的合作换道控制器开发使用近端策略优化通过采用多智能体深度RL范式。在分散控制策略中,策略学习和动作奖励在本地进行评估,每个代理(车辆)可以访问全局状态信息。多智能体深度RL需要更低的计算资源,并且比单智能体深度RL更具可扩展性,使其成为时间敏感型应用(如合作换道)的强大工具。这项研究的结果表明,由多智能体深度RL实现的合作变道在交通吞吐量、车辆速度、每辆车的停靠次数、车辆燃油效率和排放方面都优于人类驾驶员。经过训练的强化学习策略是可转移的,可以推广到不拥挤、中度拥挤和极度拥挤的交通状况。
2021-10-05 cs.AI cs.MA
The Dynamic of Belief in the Transferable Belief Model and Specialization-Generalization Matrices
Technical University of Braunschweig(不伦瑞克工业大学);Universite Libre de Bruxelles(布鲁塞尔自由大学)
可转移信念模型的基本更新过程与专门化概念有关,可以用专门化矩阵来描述。对一个命题真理性的信念程度是一个被证明的支持程度。最小承诺原则意味着,一个人永远不应该给一个命题的真理比证明更多的支持。我们表明,Dempster的规则的条件基本上对应于最少承诺的专业化,和Dempster的规则的组合结果基本上从交换性的要求。描述了与特化概念对偶的广义化概念。
2013-03-13 cs.AI
Reinforcement Learning in an Adaptable Chess Environment for Detecting Human-understandable Concepts
Norwegian University of Science and Technology(挪威科技大学)
使用机器学习开发的自我训练的自主智能体在各种控制设置中显示出巨大的前景,也许在涉及自动驾驶汽车的应用中最为显着。与深度神经网络形式的自学代理相关的主要挑战是它们的黑盒性质:人类不可能解释深度神经网络。因此,人类无法直接解释基于深度神经网络的代理的动作,或者预见它们在不同场景中的鲁棒性。在这项工作中,我们展示了一种方法,用于探索自我学习代理在培训过程中内化的概念。为了演示,我们使用一个国际象棋代理在一个快速,轻便的环境中专门开发,适合研究小组,而无需访问巨大的计算资源或机器学习模型。
2022-11-10 cs.AI cs.LG
A Conceptual Framework for Externally-influenced Agents: An Assisted Reinforcement Learning Review
Federation University(联邦大学);Deakin University(迪肯大学);Universidad Central de Chile(智利中央大学);University of Alberta(阿尔伯塔大学);Action Research Associates(行动研究协会)
强化学习代理的长期目标是能够在复杂的现实世界场景中执行任务。使用外部信息是将代理扩展到更复杂问题的一种方式。然而,在使用外部信息的不同方法之间普遍缺乏协作或互操作性。在这项工作中,在审查外部影响的方法,我们提出了一个概念框架和分类辅助强化学习,旨在通过分类和比较在学习过程中使用外部信息的各种方法,促进合作。建议的分类详细的外部信息源和学习者代理之间的关系,突出的信息分解,结构,保留的过程,以及它如何可以用来影响代理学习。除了回顾最先进的方法外,我们还确定了当前使用外部信息来提高智能体性能及其决策过程的强化学习流。这些包括启发式强化学习、交互式强化学习、从演示示教学习、迁移学习和从多个源学习等。这些强化学习流的共同目标是搭建学习者代理。最后,我们讨论了在辅助强化学习系统领域的未来工作的进一步可能性。
2021-09-20 cs.AI cs.LG cs.MA
Learning Perception to Action Rules through Reinforcement Learning for Theory-of-Mind Reasoning
Saarland University(萨尔兰大学);Deutsches Forschungszentrum für Künstliche Intelligenz(德国人工智能研究中心);Télécom Paris(巴黎电信学院);Max Planck Institute for Informatics(马克斯·普朗克 informatics 研究所)
本研究提出通过强化学习生成感知-行动规则,结合GRPO训练大语言模型,可提升心理理论推理能力,且规则具备跨模型知识迁移价值。
2026-10-15 cs.AI cs.CL
Compositional Concept-Based Neuron-Level Interpretability for Deep Reinforcement Learning
School of Computer Science, Beijing University of Posts and Telecommunications(北京邮电大学计算机学院)
提出一种自动将神经元激活与逻辑公式对齐的概念解释框架,通过值敏感离散化将连续状态转化为可解释原子概念,为深度强化学习模型提供细粒度神经元级解释。
2026-07-01 cs.AI cs.LG
Concept Learning through Deep Reinforcement Learning with Memory-Augmented Neural Networks
Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Center for Excellence in Brain Science and Intelligence Technology, CAS(中国科学院脑科学与智能技术卓越创新中心)
深度神经网络在许多领域都表现出了出色的性能,可以记住大量数据的熟悉模式。然而,标准的监督式深度学习范式在面临从稀缺数据中有效学习新概念的需求时仍然是有限的。在本文中,我们提出了一个记忆增强的神经网络,这是由人类的概念学习过程的动机。训练过程模仿人类的概念形成过程,学习如何区分不同类别的样本和聚合同类样本。为了更好地利用源于人类行为的优势,我们提出了一个顺序的过程,在这个过程中,网络应该决定如何在每一步记住每个样本。在这个连续的过程中,一个稳定的和交互式的记忆是一个重要的模块。我们验证了我们的模型在一些典型的一次性学习任务,也是一个探索性的离群值检测问题。在所有的实验中,我们的模型在达到或超过这些强基线方面都具有很强的竞争力。
2018-11-15 cs.AI cs.LG