Leveraging Factored Action Spaces for Efficient Offline Reinforcement Learning in Healthcare
University of Michigan(密歇根大学);Michigan Medicine(密歇根医学中心);Harvard University(哈佛大学)
针对医疗等离线RL场景组合动作空间数据有限、罕见子动作组合推断难的问题,提出因子化动作空间诱导的线性Q函数分解法,兼具理论保证与样本效率,可提升策略性能与未探索区域推断准确性。
2023-05-02 cs.AI cs.LG
Automated curricula through setter-solver interactions
DeepMind(深度思维);Stanford University(斯坦福大学)
强化学习算法使用策略和奖励之间的相关性来提高代理性能。但在动态或奖励稀疏的环境中,这些相关性往往太小,或者奖励事件太少,使学习变得可行。相反,人类的教育依赖于课程--将任务分解为更简单、静态的挑战和密集的奖励--以建立复杂的行为。虽然课程对人工代理也很有用,但手工制作它们很耗时。这促使研究人员探索自动课程生成。在这里,我们将探讨在丰富的动态环境中自动生成课程。使用设置-求解范例,我们考虑目标的有效性,目标的可行性和目标覆盖率,以构建有用的课程的重要性。我们展示了我们的方法在丰富但回报稀少的2D和3D环境中的成功,在这些环境中,代理的任务是实现从一组可能的目标中选择的单个目标,这些目标在不同的情节之间变化,并确定未来工作的挑战。最后,我们证明了一种新的技术,引导代理朝着一个理想的目标分布的价值。总而言之,这些结果代表了一个实质性的一步,应用自动任务课程学习复杂的,否则无法学习的目标,并据我们所知,是第一个展示自动课程生成的目标条件代理的环境中,可能的目标不同的情节。
2020-01-22 cs.AI cs.LG stat.ML
Scalable trust-region method for deep reinforcement learning using Kronecker-factored approximation
University of Toronto(多伦多大学);New York University(纽约大学);Vector Institute(向量研究所)
在这项工作中,我们建议使用最近提出的Kronecker因子近似曲率将信赖域优化应用于深度强化学习。我们扩展了自然策略梯度的框架,并建议使用Kronecker因子近似曲率(K-FAC)与信任区域优化演员和评论家,因此我们称我们的方法演员批评使用Kronecker因子信任区域(ACKTR)。据我们所知,这是第一个可扩展的信任区域自然梯度方法的演员批评的方法。它也是一种直接从原始像素输入学习连续控制中的非平凡任务以及离散控制策略的方法。我们在Atari游戏中的离散域以及MuJoCo环境中的连续域中测试了我们的方法。与以前的最先进的政策行动者-批评者方法相比,我们能够实现更高的回报和平均样本效率的2至3倍的改进。代码可在https://github.com/openai/baselines上获得
2017-08-18 cs.LG
FACMAC: Factored Multi-Agent Centralised Policy Gradients
University of Oxford(牛津大学);Facebook AI Research(Facebook AI研究院);Delft University of Technology(代尔夫特理工大学)
我们提出了因子化多智能体集中式策略梯度(FACMAC),一种新的方法,在离散和连续的动作空间的合作多智能体强化学习。像MADDPG,一个流行的多代理演员批评的方法,我们的方法使用深确定性策略梯度学习政策。然而,FACMAC学习一个集中的,但分解的评论家,它结合每个代理效用到联合行动价值函数通过一个非线性单调函数,如在QMIX,一个流行的多代理Q-学习算法。然而,与QMIX不同的是,对critics的分解没有固有的约束。因此,我们还采用了非单调因子分解和经验表明,其代表性的能力增加,使它能够解决一些任务,不能用单片,或单调因子的批评。此外,FACMAC使用一个集中的策略梯度估计,优化整个联合行动空间,而不是优化每个代理的行动空间分别在MADDPG。这允许更协调的政策变化,并充分利用集中批评的好处。我们评估FACMAC的多智能体粒子环境的变体,一种新的多智能体MuJoCo基准,和一组具有挑战性的星际争霸II微观管理任务。实证结果表明,FACMAC的优越性能超过MADDPG和其他基线上的所有三个领域。
2021-05-07 cs.AI cs.LG stat.ML
Action-Factored Multi-Agent Reinforcement Learning for Scalable Quantum Device Tuning
University of Oxford(牛津大学)
针对量子器件调谐中参数串扰致学习不稳定问题,提出用在线学习动作空间分解表示的方法,框架QADAPT借此高效学习共享策略,实现零样本泛化及收敛步骤数恒定,为大规模量子处理器快速校准提供可扩展途径。
2026-07-13 cond-mat.mes-hall cs.LG
Grounding Aleatoric Uncertainty for Unsupervised Environment Design
UCL(伦敦大学学院);Meta AI;UC Berkeley(加州大学伯克利分校);University of Oxford(牛津大学);MILA(蒙特利尔学习算法研究所);Inflection AI(Inflection人工智能);Cohere;FLAIR(未来人工智能研究中心)
强化学习(RL)中的自适应课程已被证明可以有效地产生对训练和测试环境之间的差异具有鲁棒性的策略。最近,无监督环境设计(UED)框架将RL课程推广到生成整个环境的序列,从而产生了具有鲁棒的极大极小遗憾属性的新方法。问题是,在部分可观察或随机设置中,最优策略可能取决于预期部署设置中环境的任意参数的地面实况分布,而课程学习必然会改变训练分布。我们将这种现象形式化为随机诱导的协变量偏移(CICS),并描述了它在任意参数下的发生如何导致次优策略。直接从地面实况分布中对这些参数进行采样避免了这个问题,但是阻碍了课程学习。我们提出了SAMPLR,一个极小极大遗憾UED方法,优化地面实况效用函数,即使当底层的训练数据是有偏见的,由于CICS。我们证明,并验证具有挑战性的领域,我们的方法保持最优的地面真理分布下,同时促进整个范围的环境设置的鲁棒性。
2022-10-24 cs.AI cs.LG stat.ML
Policy Iteration for Factored MDPs
Stanford University(斯坦福大学)
许多大型MDP可以使用动态贝叶斯网络来表示。虽然值函数的结构不保留过程的结构,但最近的工作表明,因子分解的MDP中的价值函数通常可以使用分解的价值函数很好地近似:<I>限制</I>基函数的线性组合,每个基函数仅涉及变量的一个小子集。可以使用近似动态规划来计算特定策略的近似价值函数,但是这种方法(以及其他方法)只能产生相对于距离度量的近似值,该距离度量由当前策略的静态分布加权。这种加权预测不适合政策改进。我们提出了一种新的方法来确定值,使用一个简单的封闭形式的计算直接计算的最小二乘分解近似的价值函数<I>的任何权重</I>。然后,我们使用此值确定算法作为策略迭代过程中的子例程。我们表明,在合理的限制下,由一个因子化的价值函数诱导的政策是compensable表示,并可以有效地在一个政策迭代过程中进行操作。我们还提出了一种方法,用于计算分解的价值函数使用变量消除算法的函数优化的误差界。我们所有的算法的复杂性取决于系统动力学和近似价值函数的因式分解。
2013-01-16 cs.AI
A Closed-Loop Evaluation of Capability Loss and Recovery in Compressed Driving Policies
Universitas Muhammadiyah Yogyakarta(日惹穆罕马迪亚大学);Nara Institute of Science and Technology (NAIST)(奈良科学技术研究所);King Fahd University of Petroleum and Minerals (KFUPM)(法赫德国王石油与矿业大学)
本研究提出分阶段闭环评估方法,在 Gym-Duckietown 中训练 PPO 策略后分阶段压缩驾驶策略,发现结构化剪枝致能力首次损失,蒸馏受数据限制,整数量化影响部分课程,未剪枝则保留全部课程,为自动驾驶安全部署提供实证分析。
2026-09-02 cs.AI cs.CV
Policy Error Bounds for Model-Based Reinforcement Learning with Factored Linear Models
University of Alberta(阿尔伯塔大学)
在本文中,我们研究了一个基于模型的方法来计算近似最优的马尔可夫决策过程的政策。特别是,我们得出新的界限上的损失,使用的政策来自一个因子化的线性模型,一类模型,概括了许多以前的模型,那些来与强大的计算保证。在文献中的第一次,我们推导出基于模型的技术,模型的不准确性是衡量加权范数的性能界限。此外,我们的界限显示出降低的敏感性折扣因子,不像其他方法得到的类似的界限,他们是不敏感的测量不匹配。类似于以前的作品,我们的证明也是基于收缩参数,但主要的区别是,我们使用精心构造的规范建设的Banach格,和收缩属性仅假设为运营商作用于“压缩”空间,从而削弱了以前的假设,而加强以前的结果。
2016-09-20 cs.LG stat.ML
EduQate: Generating Adaptive Curricula through RMABs in Education Settings
School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
针对现有教育自适应方法忽略内容关联性的问题,提出基于网络建模内容依赖的EdNetRMABs框架与感知依赖的Q学习方法EduQate,证明了最优性并在合成及真实学生数据上验证了效果。
2024-06-20 cs.AI
CurricuLLM: Automatic Task Curricula Design for Learning Complex Robot Skills using Large Language Models
University of California Berkeley(加州大学伯克利分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Apple(苹果公司)
针对强化学习中课程设计需领域知识和人工干预的问题,提出CurricuLLM,利用大型语言模型的规划与编程能力自动设计任务课程,在多机器人环境中实现复杂技能高效学习并通过仿真与实体验证。
2025-04-14 cs.LG cs.RO cs.SY
STACHE: Local Black-Box Explanations for Reinforcement Learning Policies
STACHE提出一种用于生成强化学习策略局部黑盒解释的框架,通过鲁棒区域和最小反事实分析,揭示策略行为的演变过程。
2025-12-10 cs.AI cs.LG
Curriculum Generation under Structured Parametric Environments for Robust Navigation Policies
Cornell University(康奈尔大学)
本文针对结构化参数环境提出重参数化课程生成框架,结合分布偏移正则化,在OpenAI Gym的两类连续控制环境中,显著优于多种基线方法,提升了导航策略的鲁棒性。
2026-08-11 cs.LG cs.RO
Lifted Forward Planning in Relational Factored Markov Decision Processes with Concurrent Actions
University of Hamburg(汉堡大学);University of Münster(穆尔斯特大学)
本文提出Foreplan,一种高效的关联前向规划器,通过一阶表示方法解决大规模对象下的策略计算问题,并提供近似版本以保证误差可控。
2026-02-23 cs.AI
Learning Curriculum Policies for Reinforcement Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
强化学习中的课程学习是一种训练方法,其旨在通过首先对一系列简单任务进行训练并将所获得的知识转移到目标任务来加速对困难目标任务的学习。自动选择一系列这样的任务(即课程)是一个开放的问题,一直是最近在这一领域的工作的主题。在本文中,我们建立在最近的课程设计方法,制定课程排序问题作为一个马尔可夫决策过程。我们扩展了这个模型来处理多个迁移学习算法,并首次表明,这个MDP的课程政策可以从经验中学习。我们探索各种表示,使这成为可能,并评估我们的方法,学习课程政策的多个代理在两个不同的领域。结果表明,我们的方法产生的课程,可以训练代理执行目标任务的速度或速度比现有的方法。
2018-12-01 cs.AI cs.LG stat.ML
DCUR: Data Curriculum for Teaching via Samples with Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
深度强化学习(RL)已经取得了巨大的经验成功,但存在脆性和样本效率低下的问题。一个潜在的补救措施是使用以前培训的政策作为监督的来源。在这项工作中,我们将这些政策称为教师,并研究如何通过关注数据使用将他们的专业知识转移到新的学生政策中。我们提出了一个框架,强化学习的数据库(DCUR),它首先使用在线深度RL培训教师,并存储记录的环境交互历史。然后,学生通过运行离线RL或使用教师数据结合少量自我生成的数据来学习。DCUR的中心思想涉及定义一类数据课程,作为训练时间的函数,限制学生从完整教师数据的固定子集中采样。我们使用最先进的深度RL算法测试教师和学生在各种数据课程中的表现。结果表明,数据课程的选择会显著影响学生的学习,并且在早期训练阶段限制数据,同时随着时间的推移逐渐增加数据可用性是有益的。我们确定学生何时可以离线学习并匹配教师的表现,而无需依赖于专门的离线RL算法。此外,我们表明,收集一小部分在线数据提供了与数据课程的互补优势。补充材料可在https://tinyurl.com/teach-dcur上查阅。
2021-09-15 cs.LG cs.RO
Model Reduction Techniques for Computing Approximately Optimal Solutions for Markov Decision Processes
Brown University(布朗大学)
我们提出了一种方法来解决隐式(因子化)马尔可夫决策过程(MDP)非常大的状态空间。我们引入了一个属性的状态空间分区,我们称之为ε-均匀性。直观地说,ε-同构分区将在所有策略或策略的某个子集下行为大致相同的状态分组在一起。借用最近的工作模型最小化的计算机辅助软件验证,我们提出了一个算法,采取一个因子表示的MDP和0<= 1 <=1,并计算一个因子ε-齐次分区的状态空间。该分区定义了一系列相关的MDP-具有等于分区的块的状态空间的那些MDP,以及“近似”像源块中的任何(原始MDP)状态的那些的转移概率。为了正式研究这样的家庭的MDP,我们引入了一个新的概念“有界参数MDP”(BMDP),这是一个家庭(传统)MDP定义的转移概率和奖励的上限和下限。我们描述的算法,操作BMDP找到的政策是近似最优的原始MDP。结合,我们的方法减少一个大的隐式MDP可能更小的BMDP使用ε-均匀分区,我们的方法选择行动BMDP构成了一个新的方法来分析大隐式MDP。在其优点中,这种新方法提供了对现有算法的深入了解,以解决隐式MDP,提供了有用的连接,工作在自动机理论和模型最小化,并建议的方法,其中涉及不同的时间间隔,交易的时间和空间(特别是在相应的状态空间的大小方面)的解决方案的质量。
2013-02-06 cs.AI
Reinforcement Learning for Heterogeneous Teams with PALO Bounds
University of Georgia(佐治亚大学)
我们引入强化学习的异构团队中,一个代理人的奖励被添加到本地成本,刺激独特的每个代理,和全球的奖励,这些共享的域中的所有代理。激励域包括协调不同的机器人平台,这会导致相同的行动不同的成本,但共享一个总体目标。我们提出了两个模板学习在这种情况下与因子奖励:一个概括的帕金斯的蒙特卡洛探索开始POMDPs规范MPOMDPs,一个单一的政策映射联合观察所有代理的联合行动(MCES-MP);和另一个与每个代理单独映射联合观察到自己的行动(MCES-FMP)。我们使用可能近似局部最优(PALO)边界来分析样本的复杂性,将这些模板实例化到PALO学习中。我们促进样本效率,包括政策空间修剪技术,并评估的方法在三个领域的异构代理证明,MCES-FMP产生更好的政策,在更少的样本相比,MCES-MP和以前的基准。
2018-05-23 cs.AI cs.LG stat.ML
Transfer of Deep Reactive Policies for MDP Planning
Indian Institute of Technology, Delhi(德里印度理工学院)
独立于领域的概率规划者输入一个MDP描述在一个因子化的表示语言,如PPDDL或RPDDL,并利用更快的规划表示的细节。传统的算法独立地对每个问题实例进行操作,并且不存在将经验从域的其他实例的策略转移到新实例的好方法。最近,研究人员已经开始探索使用深度反应策略,通过深度强化学习(RL)训练,用于MDP规划领域。深度反应式策略的一个优点是它们更适合迁移学习。在本文中,我们提出了第一个域独立的传输算法MDP规划域表示的Rounds表示。我们的架构利用域的符号状态配置和转换函数(可通过Rounds获得)来学习域的所有问题实例的状态和状态-动作对的共享嵌入空间。然后,我们在嵌入空间中学习RL代理,使近zero-shot传输成为可能,即,而不需要对新实例进行大量的培训,也根本不需要使用域模拟器。三个不同的基准域上的实验强调了我们的传输算法的价值。与从头开始规划和最先进的RL传输算法相比,我们的传输解决方案具有显著优越的学习曲线。
2018-10-26 cs.AI
ROS2Learn: a reinforcement learning framework for ROS 2
Acutronic Robotics(Acutronic机器人技术公司)
我们提出了一个新的框架,深度强化学习(DRL)模块化机器人训练机器人直接从关节状态,使用传统的机器人工具。我们使用一个国家的最先进的实现的近端策略优化,信任域策略优化和Actor-Critic Kronecker因子的信任域算法学习政策,在四个不同的模块化关节机械臂(MARA)环境。我们使用与机器人中使用的典型工具(如Gazebo和Robot操作系统2(ROS 2))通信的框架来支持此过程。我们评估了几种算法在模块化机器人与仿真的实证研究。
2019-03-18 cs.AI cs.LG cs.RO
Safe Multi-Agent Reinforcement Learning via Shielding
University of Virginia(弗吉尼亚大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Northeastern University(东北大学);Clausthal University of Technology(克劳斯塔尔工业大学)
多智能体强化学习(MARL)已经越来越多地用于广泛的安全关键应用中,这些应用需要有保证的安全性(例如,在学习过程中没有访问过不安全的状态)。不幸的是,当前的MARL方法没有安全保证。因此,我们提出了两种屏蔽方法的安全MARL。在集中屏蔽中,我们合成一个单一的屏蔽来监视所有代理的联合行动,并在必要时纠正任何不安全的行动。在因子屏蔽中,我们基于对所有Agent观测到的联合状态空间的因子分解来合成多个屏蔽,屏蔽集同时监控Agent,每个屏蔽只负责每一步中的一个子集.实验结果表明,这两种方法都能保证Agent在学习过程中的安全性,而不影响学习策略的质量;此外,因子化屏蔽在代理的数量上比集中式屏蔽更可缩放。
2021-02-02 cs.FL cs.LG
Patient-Centered Treatment Planning for Chronic Multimorbidity: A Hierarchical Reinforcement Learning Framework for Preference Modeling
University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校);University of Tennessee Health Science Center College of Medicine(田纳西大学健康科学中心医学院);University of Tennessee Medical Center(田纳西大学医学中心);University of Arkansas(阿肯色大学)
提出FAHOC分层强化学习框架,通过因子化动作与偏好约束建模患者偏好,在5万共病患者数据上实现QALY改善0.669且不违反偏好。
2026-10-01 cs.LG
Factored Diffusion Policies:Compositionally Generalized Robot Control with a Single Score Network
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种因子扩散策略,通过单一共享的扩散网络实现通用机器人控制,该网络在推理时能将分数分解为各因子的加法形式,从而在训练任务预算上从因子基数的乘积减少到求和,通过轨迹管证书将分数界转化为闭环状态轨迹管,实验验证了其泛化界和证书的有效性。
2026-09-29 cs.LG
Vejde: A Framework for Inductive Deep Reinforcement Learning Based on Factor Graph Color Refinement
Division of Network and Systems Engineering(网络与系统工程系);KTH Royal Institute of Technology(皇家理工学院)
Vejde通过结合数据抽象、图神经网络和强化学习,实现对复杂状态决策问题的归纳式策略生成,展示了其在多个任务域中的泛化能力。
2026-01-19 cs.AI cs.LG
MAESTRO: Open-Ended Environment Design for Multi-Agent Reinforcement Learning
Meta AI;University College London(伦敦大学学院);UC Berkeley(加州大学伯克利分校);University of Oxford(牛津大学)
自动生成越来越具有挑战性的任务的课程的开放式学习方法是一种有希望的途径,可以实现一般能力的强化学习代理。现有的方法适应课程独立于环境参数(在单代理设置)或合作伙伴的政策(在多代理设置)。然而,共同参与者的优势和劣势可能会因环境特征而有所不同。因此,它是至关重要的,以考虑环境和合作伙伴之间的依赖关系时,在多智能体领域塑造的课程。在这项工作中,我们使用这种洞察力,并将无监督环境设计(UED)扩展到多智能体环境。然后,我们介绍了多智能体环境设计策略开放式学习(MAESTRO),第一个多智能体UED方法为两个玩家零和设置。MAESTRO有效地产生对抗,联合课程的环境和合作伙伴,并达到最小最大遗憾保证在纳什均衡。我们的实验表明,MAESTRO优于一些强大的基线竞争性两人游戏,跨越离散和连续控制设置。
2023-03-06 cs.LG cs.MA
Imitation Learning of Factored Multi-agent Reactive Models
我们将深度生成建模的最新进展应用于生物制剂的模仿学习任务。具体来说,我们将变分递归神经网络模型的变体应用于多代理设置,在该设置中,我们根据个体不协调代理的感知输入和隐藏的信念状态来学习个体不协调代理的策略。我们直接从观测数据中学习这些代理的随机策略,而不构建奖励函数。与策略联合学习的推理网络允许在给定其当前感知输入序列和其执行的先前动作的情况下对代理的信念状态进行有效推理,这使我们能够将观察到的行为序列外推到未来,同时保持对未来轨迹的不确定性估计。我们在2D环境中相互作用的苍蝇数据集上测试了我们的方法,在那里我们展示了比现有方法更好的预测性能,这些方法使用递归神经网络学习确定性策略。我们进一步表明,我们获得的未来轨迹的不确定性估计是很好的校准,这使得他们有用的各种下游处理任务。
2020-06-30 cs.AI cs.LG cs.MA
MoCoDA: Model-based Counterfactual Data Augmentation
University of Toronto(多伦多大学);Vector Institute(向量研究所);NVIDIA(英伟达)
动态过程中的状态数量是对象数量的指数,这使得强化学习(RL)在复杂的多对象领域中变得困难。为了让智能体扩展到现实世界,它们需要对看不见的对象组合做出反应和推理。我们认为,在过渡动态识别和使用本地因式分解的能力是一个关键因素,在解锁的多对象推理的力量。为此,我们证明了(1)环境转换中的已知局部结构足以使训练动态模型的样本复杂度呈指数级降低,以及(2)局部因子动态模型可证明地将分布外推广到看不见的状态和动作。了解局部结构也使我们能够预测这个动力学模型将推广到哪些看不见的状态和动作。我们建议利用这些意见在一个新的基于模型的反事实数据增强(MoCoDA)框架。MoCoDA将学习的局部因子动力学模型应用于状态和动作的增强分布,以生成RL的反事实转换。MoCoDA与以前的工作相比,可以使用更广泛的本地结构,并允许直接控制增强的训练分布。我们表明,MoCoDA使RL代理能够学习推广到看不见的状态和动作的策略。我们使用MoCoDA来训练离线RL代理来解决标准离线RL算法失败的分布式机器人操作任务。
2022-10-20 cs.AI cs.LG cs.RO
Unsupervised Learning of Efficient Exploration: Pre-training Adaptive Policies via Self-Imposed Goals
University College London (UCL)(伦敦大学学院(UCL))
提出ULEE方法,结合上下文学习器与对抗性目标生成策略,在无监督元学习框架中优化多回合探索与适应,提升零样本和少样本性能。
2026-06-15 cs.AI cs.LG cs.RO
Transfer Dynamics in Emergent Evolutionary Curricula
New Jersey Institute of Technology(新泽西理工学院);New York University(纽约大学);Cross Labs, Cross Compass Ltd.(Cross Compass有限公司Cross实验室)
PINSKY是一个通过神经进化在游戏领域进行开放式学习的系统。它建立在Paired Open-Ended Trailblazer(POET)系统的基础上,该系统最初探索了双足步行者的学习和环境生成,并将其应用于通用视频游戏AI(GVGAI)系统中的游戏。以前的工作表明,通过共同进化的水平和神经网络政策,可以找到水平,成功的政策不能通过单独的优化创建。在人工生命领域研究作为一个潜在的开放式替代梯度为基础的健身,最小标准(MC)为基础的选择有助于促进进化种群的多样性。本文讨论的主要问题是开放式学习实际上是如何工作的,特别关注从一个进化分支(“物种”)到另一个进化分支的政策转移的作用。我们通过创建系统发育树,分析政策的演变轨迹,并根据物种类型在时间上分解转移来分析系统的动态。此外,我们分析了最小准则对生成水平多样性和物种间转移的影响。最具洞察力的发现是,物种间的转移虽然罕见,但对系统的成功至关重要。
2022-03-03 cs.AI cs.LG cs.NE
Property-driven Causal Abstractions for Markov Decision Processes
Ruhr-University Bochum(波鸿鲁尔大学);Eindhoven University of Technology(埃因霍温理工大学);Oxford University(牛津大学);Radboud University(拉德堡德大学)
本研究针对马尔可夫决策过程(MDPs)提出属性驱动因果抽象技术,通过保留模型特性缩减规模,经理论与实验验证,该技术可生成小型抽象模型以计算近最优策略,且能推广至大规模MDP模型。
2026-08-10 cs.AI cs.LO
Issues with Measuring Task Complexity via Random Policies in Robotic Tasks
University of Sheffield(谢菲尔德大学)
本文指出基于随机权重猜测的指标在测量机器人任务复杂性时存在矛盾,需发展更可靠的度量方法。
2026-02-21 cs.LG
Faynt: Scaling and Optimizing Policies for Competitive Melee
Frisson Labs
Faynt提出10M和75M参数的Transformer策略,通过强化学习、蒸馏和课程训练,在《任天堂明星大乱斗DX》中实现对26个角色的统一控制,以98.4%胜率击败专精对手,并开源权重与基准。
2026-10-02 cs.LG
Guiding Data Collection via Factored Scaling Curves
Princeton University(普林斯顿大学);Physical Intelligence(物理智能)
本文提出因子化缩放曲线(FSC),量化数据沿单一或成对环境因素扩展时的策略性能变化,从而在预算内指导最具影响力组合的数据收集;实验显示其在新环境真实任务中最高提升26%成功率。
2025-05-12 cs.AI cs.LG cs.RO
Beyond Fixed Tasks: Unsupervised Environment Design for Task-Level Pairs
ATLAS通过自动生成任务与环境的联合课程,提升复杂任务在强化学习中的训练效果。
2025-12-29 cs.AI cs.LG
Anytime Planning for Decentralized POMDPs using Expectation Maximization
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
分散POMDPs提供了一个表达框架,多代理顺序决策。虽然有限时域DECPOMDPs已经取得了显著的成功,进展仍然缓慢的无限时域的情况下,主要是由于固有的复杂性,优化随机控制器代表代理政策。我们提出了一个很有前途的新一类算法的无限地平线的情况下,重铸的优化问题的推理混合DBNs。这种方法的一个有吸引力的特点是直接采用现有的推理技术在DBN解决DEC-POMDP和支持更丰富的表示,如因子或连续的状态和动作。我们还推导出期望最大化(EM)算法来优化联合政策表示为DBN。在基准域上的实验表明,EM与最先进的求解器相比毫不逊色。
2012-03-15 cs.AI
LearningFlow: Automated Policy Learning Workflow for Urban Driving with Large Language Models
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
本文提出 LearningFlow,通过多个 LLM 智能体协作自动生成训练课程与奖励函数,减少人工设计并提升样本效率,在 CARLA 中验证了其性能、泛化与算法适应性。
2025-01-09 cs.AI cs.LG cs.RO
Accelerating Robot Learning of Contact-Rich Manipulations: A Curriculum Learning Study
Osaka University(大阪大学);National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所(AIST))
强化学习(RL)范式已经成为机器人任务自动化的重要工具。尽管RL取得了进步,但由于需要昂贵的大量机器人与环境交互,因此它仍然没有在工业中广泛采用。课程学习是为了加快学习而提出的。然而,大多数研究工作仅在模拟环境中进行评估,从视频游戏到机器人玩具任务。本文提出了一种基于课程学习和领域随机化相结合的方法来加速机器人对接触丰富操作任务的学习。我们使用位置控制机器人处理复杂的工业装配任务,例如插入任务。我们比较了DR的不同课程设计和采样方法。基于这项研究,我们提出了一种方法,该方法显着优于以前的工作,仅使用DR(不使用CL),训练时间(样本)不到五分之一。结果还表明,即使只在模拟玩具任务中训练,我们的方法也可以学习可以转移到现实世界机器人的策略。学习的政策实现了高达86%的成功率在现实世界中复杂的工业插入任务(公差为$\pm 0.01~mm$)没有看到在培训期间。
2022-04-28 cs.AI cs.LG cs.RO
Self-Supervised Curriculum Generation for Autonomous Reinforcement Learning without Task-Specific Knowledge
Seoul National University(首尔大学)
提出一种无需任务特定知识的自主强化学习算法,通过自监督训练的成功判别器生成自适应课程,使智能体能高效解决稀疏奖励任务并显著减少手动重置次数。
2024-02-18 cs.LG cs.RO
Multi-level meta-reinforcement learning with skill-based curriculum
本文提出基于技能的多级元强化学习框架,通过多级分解和策略分解实现技能转移,提升复杂MDP的求解效率与泛化能力。
2026-03-09 cs.AI cs.LG stat.ML
Guardian: Decoupling Exploration from Safety in Reinforcement Learning
Sun Yat-sen University(中山大学)
提出RLPD-GX框架,通过守护者机制解耦探索与安全,结合动态课程稳定训练,在Atari-100k上超越现有混合方法45%,兼顾性能与安全性。
2025-10-26 cs.AI cs.LG
Functional Graphs for Predicting and Explaining Goal Failure in Sparse Goal-Conditioned RL
Institute of Management Technology(管理技术学院)
本文通过功能图分析稀疏目标条件强化学习中的策略失败,定义了局部目标支持指标,提出了一种紧凑的后验分类法来表征残余失败模式,展示了局部策略结构对目标失败的诊断作用。
2026-05-10 cs.LG
Centralised rehearsal of decentralised cooperation: Multi-agent reinforcement learning for the scalable coordination of residential energy flexibility
Department of Engineering Science, University of Oxford(牛津大学工程科学系);Department of Computer Science, University of Liverpool(利物浦大学计算机科学系)
本文提出采用集中式但因子化 critic 的深度多智能体 actor-critic 方法,在执行前排练住宅能源协调,实现可扩展、隐私保护且训练成本显著降低的分布式控制。
2023-06-05 cs.LG cs.MA cs.SY
Inference and dynamic decision-making for deteriorating systems with probabilistic dependencies through Bayesian networks and deep reinforcement learning
University of Liege(列日大学);Delft University of Technology(代尔夫特理工大学);The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出一种基于贝叶斯网络与深度去中心化多智能体强化学习(DDMAC)的系统级推断与动态决策框架,用于退化工程系统的最优检测与维护规划,并在数值实验中验证其优于现有启发式方法。
2022-09-02 cs.AI cs.LG cs.SY
Diverse and Adaptive Behavior Curriculum for Autonomous Driving: A Student-Teacher Framework with Multi-Agent RL
FZI Research Center for Information Technology(弗赖堡研究所信息科技研究中心);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出了一种学生-教师框架,通过自适应课程学习生成多样化交通行为,提升自动驾驶的鲁棒性和泛化能力。
2026-03-06 cs.LG cs.RO
Building Minimal and Reusable Causal State Abstractions for Reinforcement Learning
本文提出因果双模拟建模(CBM),通过学习任务动态与奖励中的因果关系,构建最小且可复用的任务特定状态抽象,从而在操作环境和Deepmind Control Suite中实现接近预言机的样本效率并优于基线。
2024-01-23 cs.AI cs.LG cs.RO
Self-Paced Context Evaluation for Contextual Reinforcement Learning
Information Processing Institute (tnt), Leibniz University Hannover(莱布尼茨汉诺威大学信息处理研究所);Department of Computer Science, University of Freiburg(弗赖堡大学计算机科学系);Bosch Center for Artificial Intelligence(博世人工智能中心)
强化学习(RL)在解决给定环境中的单个问题方面取得了很大进展;但推广到问题的不可见变化的学习策略仍然具有挑战性。为了提高样本效率的问题域的这种情况下学习,我们提出了自步调上下文评估(SPaCE)。基于自定进度的学习,\spc在线自动生成\task课程,计算开销很小。为此,SPaCE在训练期间利用状态值中包含的信息来加速和提高训练性能以及对来自同一问题域的新实例的泛化能力。然而,SPaCE是独立的问题域在手,可以应用于任何RL代理与状态-价值函数近似。我们展示了SPaCE在两个环境中加速不同基于值的RL代理学习的能力,与循环或SPDRL等朴素方法相比,表现出更好的泛化能力和高达10倍的学习速度,作为最接近的最先进方法。
2021-06-09 cs.LG
Factored Contextual Policy Search with Bayesian Optimization
National University of Singapore(新加坡国立大学)
稀缺的数据是将机器人学习扩展到真正复杂任务的主要挑战,因为我们需要在不同的“上下文”上推广本地学习的策略。上下文策略搜索(CPS)的贝叶斯优化方法提供了在上下文空间上推广的数据有效的策略学习。我们建议通过将通常考虑的上下文分解为两个组件来提高数据效率:目标类型上下文,其对应于所学习行为的期望结果,例如投掷球的目标位置;以及环境类型上下文,其对应于环境的某些状态,例如初始球位置或风速。我们的主要观察是,经验可以直接概括的目标类型的上下文。在此基础上,我们介绍了被动和主动学习设置与贝叶斯优化因子上下文策略搜索。初步结果表明,更快的政策推广模拟玩具问题。完整的论文扩展可在arXiv:1904.11761获得
2019-05-28 cs.AI cs.LG cs.RO
Predictive Safety Curricula for Robust Legged Locomotion
ANYbotics AG(ANYbotics公司)
针对腿式机器人运动策略中罕见但严重的失败,提出预测性安全课程(PSC),利用学得的未来安全成本预测来分配训练经验,在崎岖地形和生产系统中显著提高可靠性并减少碰撞。
2026-09-30 cs.AI cs.LG cs.RO
Granger Causal Interaction Skill Chains
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California Berkeley(加州大学伯克利分校);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出COInS算法,通过在因子化领域识别状态因子间的交互并训练技能链依次控制各因子,以少量任务无关技能实现高效控制,在机器人推动任务和Breakout变体上相比标准RL基线取得2-3倍样本效率与性能提升。
2024-10-20 cs.AI cs.RO
Cross-Episodic Curriculum for Transformer Agents
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Stanford University(斯坦福大学);NVIDIA Research(英伟达研究院)
提出跨情节课程(CEC)算法,通过将跨情节经验置于Transformer上下文中构建课程,提升智能体在强化学习和模仿学习中的效率与泛化能力。
2023-10-12 cs.AI cs.LG cs.RO
Learning Interactive World Model for Object-Centric Reinforcement Learning
University of California San Diego(加州大学圣地亚哥分校);Mohamed bin Zayed University of Artificial Intelligence(马尔代夫穆罕默德·本·扎耶德人工智能大学);University of Amsterdam(阿姆斯特丹大学)
提出FIOC-WM框架,通过学习对象及其交互的解耦模块化表示,将任务分解为交互原语并训练分层策略,显著提升了对象中心强化学习的样本效率、泛化能力与鲁棒控制。
2025-11-04 cs.LG
Factored Contextual Policy Search with Bayesian Optimization
Bosch Center for AI(博世人工智能中心);Idiap Research Institute(Idiap研究院);National University of Singapore(新加坡国立大学);University of Cambridge(剑桥大学)
稀缺的数据是将机器人学习扩展到真正复杂任务的主要挑战,因为我们需要在不同的任务上下文上推广本地学习的策略。上下文策略搜索通过在参数上下文空间上显式地调节策略来提供数据有效的学习和泛化。在本文中,我们进一步结构化的上下文策略表示。我们建议将上下文分为两个部分:描述任务目标的目标上下文,例如投掷球的目标位置;以及表征环境的环境上下文,例如球的初始位置或质量。我们的主要观察是,经验可以直接概括的目标上下文。我们表明,这可以很容易地利用上下文策略搜索算法。特别是,我们应用因式分解的贝叶斯优化方法,在基于采样和主动学习设置的上下文策略搜索。我们的仿真结果表明,更快的学习和更好的泛化在各种机器人领域。请参阅我们的补充视频:https://youtu.be/MNTbBAOufDY。
2019-04-26 cs.AI cs.LG stat.ML
Is RLHF More Difficult than Standard RL?
Princeton University(普林斯顿大学)
该研究从理论上证明RLHF并不比标准RL更难,通过将偏好类RL问题归约为鲁棒RL、多智能体RL等现有奖励类RL问题,可在极小额外成本下求解,还给出了K元比较场景的理论保证。
2023-11-03 cs.AI cs.LG stat.ML
On-Robot Bayesian Reinforcement Learning for POMDPs
Khoury College of Computer Sciences, Northeastern University(东北大学Khoury计算机科学学院)
针对机器人学习数据采集成本高的问题,提出面向物理系统的BRL因子化框架及基于蒙特卡洛树搜索与粒子滤波的在线解法,在人机交互任务中仅需少量真实回合即达近最优性能。
2023-07-22 cs.AI cs.LG cs.RO