Learning Control Policies for Imitating Human Gaits
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
本报告中提出的工作介绍了一个旨在学习模仿人类步态的框架。人类以最有效的方式展示行走,跑步和跳跃等运动,这是该项目的动力来源。骨骼和肌肉骨骼的人体模型被认为是在矢状面的运动,并从两者的结果进行了详尽的比较。虽然骨骼模型是由电机驱动,肌肉骨骼模型通过肌肉肌腱驱动。无模型强化学习算法用于优化逆动力学控制动作,以满足模仿参考运动的目标以及最小化电机消耗的功率和肌肉消耗的代谢能量方面的努力的次要目标。一方面,电机驱动模型的控制动作是通过比例-微分控制器将目标关节角度转换为关节力矩。另一方面,肌肉-肌腱驱动模型的控制动作是肌肉激励隐式地转换为肌肉激活,然后转换为施加在关节上的力矩的肌肉力。发现肌肉肌腱驱动模型优于电机驱动,因为它们由于肌肉激活动力学而固有地平滑,并且不需要任何外部正则化器。最后,讨论了在该框架中获得重要决策变量最优配置的策略。所有的结果和分析都是以说明性的、定性的和定量的方式提出的。支持视频链接在附录中提供。
2021-05-15 cs.AI cs.RO
BASIL: Best-Action Symbolic Interpretable Learning for Evolving Compact RL Policies
Sharif University of Technology(谢里夫技术大学);Amirkabir University of Technology(阿美尔卡比尔技术大学)
针对深度强化学习策略不透明的问题,提出BASIL方法,通过结合质量多样性优化的在线演化搜索生成可解释的符号规则策略,在三个基准任务上性能与深度基线相当且策略更紧凑。
2025-06-11 cs.AI
Training Transition Policies via Distribution Matching for Complex Tasks
The Ohio State University(俄亥俄州立大学)
人类将新的复杂任务分解为更简单的任务,以利用先前学到的技能。类似地,分层强化学习试图利用简单任务的低层策略来解决复杂任务。然而,由于每个较低级别的策略引起不同的状态分布,因此从一个较低级别的策略转换到另一个较低级别的策略可能会由于意外的起始状态而失败。我们引入了过渡政策,通过产生与下一个政策所期望的相匹配的状态和动作的分布来平滑地连接较低级别的政策。训练过渡策略具有挑战性,因为自然奖励信号-下一个策略是否可以成功执行其子任务-是稀疏的。通过对抗性逆强化学习训练转换策略来匹配预期状态和动作的分布,我们避免了依赖基于任务的奖励。为了进一步提高性能,我们使用带有二进制动作空间的深度Q学习来确定何时从过渡策略切换到下一个预先训练的策略,并使用下一个子任务的成功或失败作为奖励。虽然奖励仍然稀疏,但由于简单的二元动作空间,问题不那么严重。我们展示了我们的方法,连续双足运动和手臂操作任务,需要不同的技能。我们表明,它平滑地连接较低级别的政策,实现更高的成功率比以前的方法,搜索成功的轨迹的基础上的奖励函数,但不匹配的状态分布。
2022-03-11 cs.AI cs.LG
TD3 with Reverse KL Regularizer for Offline Reinforcement Learning from Mixed Datasets
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Macquarie University(麦考瑞大学)
我们考虑一个离线强化学习(RL)设置,其中代理需要从通过推出多个行为策略收集的数据集中学习。这种设置存在两个挑战:1)由于不同行为策略引起的动作覆盖的变化,优化RL信号和行为克隆(BC)信号之间的最佳权衡在不同状态上变化。以前的方法无法通过仅控制全局权衡来处理这一点。2)对于给定的状态,不同行为策略生成的动作分布可能有多种模式。许多以前的方法中的BC正则化器是均值寻求的,导致在模式中间选择分布外(OOD)动作的策略。在本文中,我们通过使用自适应加权的反向Kullback-Leibler(KL)发散作为基于TD 3算法的BC正则化器来解决这两个挑战。我们的方法不仅用每个状态的权重来权衡RL和BC信号(即,在具有窄动作覆盖的状态上进行强BC正则化,反之亦然),而且由于反向KL的模式搜索特性,还避免了选择OOD动作。从经验上讲,我们的算法可以优于现有的离线RL算法在MuJoCo运动任务与标准的D4 RL数据集,以及混合数据集,结合标准数据集。
2022-12-05 cs.AI cs.LG stat.ML
Diverse Policy Optimization for Structured Action Space
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Institute of AI and Robotics for Society(深圳人工智能与机器人研究院)
增强策略的多样性有利于强化学习的鲁棒性、探索性和迁移性。在本文中,我们的目标是寻求不同的政策,在一个未充分探索的设置,即RL任务与结构化的动作空间的可组合性和局部依赖性的两个属性。复杂的动作结构,不均匀的奖励景观,以及由于结构化动作的特性而引起的微妙的超参数调整,阻止了现有方法的良好扩展。我们提出了一种简单有效的强化学习方法,多样性策略优化(DPO),模型的策略在结构化的行动空间作为基于能量的模型(EBM)通过以下概率强化学习框架。最近提出的一种新颖的和强大的生成模型,GFlowNet,介绍了高效的,多样化的基于循证医学的政策采样器。DPO遵循联合优化框架:外层使用GFlowNet采样的不同策略来更新基于EBM的策略,这支持内层的GFlowNet训练。在ATSC和Battle基准测试上的实验表明,DPO可以在具有挑战性的场景中有效地发现令人惊讶的多样化策略,并大大优于现有的最先进的方法。
2023-02-23 cs.AI cs.LG
Best-Effort Policies for Robust Markov Decision Processes
Department of Computer Science, University of Oxford(牛津大学计算机科学系)
针对鲁棒马尔可夫决策过程中多个最坏情形等价的最优鲁棒策略选择问题,提出最优鲁棒尽力策略准则,证明其存在性并给出低开销计算算法,通过数值实验验证了方法可行性。
2025-11-19 cs.AI cs.LO
Adaptive Risk-Tendency: Nano Drone Navigation in Cluttered Environments with Distributional Reinforcement Learning
Delft University of Technology(代尔夫特理工大学)
实现评估风险和做出风险意识决策的能力对于将强化学习应用于无人机等安全关键型机器人至关重要。在本文中,我们研究了一个具体的情况下,纳米四轴飞行器机器人学习导航先验未知的混乱的环境下部分可观测性。我们提出了一个分布式的强化学习框架,以产生自适应的风险倾向的政策。具体而言,我们建议使用学习收益率分布的下尾条件方差作为内在不确定性估计,并使用指数加权平均预测(EWAF),以适应风险趋势,根据估计的不确定性。在模拟和真实世界的实证结果中,我们表明:(1)最有效的风险倾向在不同的状态下是不同的,(2)与风险中性政策或风险厌恶政策基线相比,具有自适应风险倾向的代理人取得了更好的绩效。
2022-09-23 cs.AI cs.RO
Learning Curriculum Policies for Reinforcement Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
强化学习中的课程学习是一种训练方法,其旨在通过首先对一系列简单任务进行训练并将所获得的知识转移到目标任务来加速对困难目标任务的学习。自动选择一系列这样的任务(即课程)是一个开放的问题,一直是最近在这一领域的工作的主题。在本文中,我们建立在最近的课程设计方法,制定课程排序问题作为一个马尔可夫决策过程。我们扩展了这个模型来处理多个迁移学习算法,并首次表明,这个MDP的课程政策可以从经验中学习。我们探索各种表示,使这成为可能,并评估我们的方法,学习课程政策的多个代理在两个不同的领域。结果表明,我们的方法产生的课程,可以训练代理执行目标任务的速度或速度比现有的方法。
2018-12-01 cs.AI cs.LG stat.ML
Programmatically Interpretable Reinforcement Learning
Rice University(莱斯大学);Google Brain(谷歌大脑);Deepmind(深度思维)
我们提出了一个强化学习框架,称为程序可解释的强化学习(PIRL),旨在生成可解释和可验证的代理政策。与流行的深度强化学习(DRL)范式不同,它通过神经网络来表示策略,PIRL使用高级的、特定于领域的程序设计语言来表示策略。这种程序化策略的好处是比神经网络更容易解释,并且可以通过符号方法进行验证。我们提出了一种新的方法,称为神经导向程序搜索(NDPS),解决具有挑战性的非光滑优化问题,找到一个最大的奖励计划的政策。NDPS的工作原理是首先使用DRL学习神经策略网络,然后在编程策略上执行本地搜索,以最大限度地减少与这个神经“oracle”的距离。我们评估NDPS的任务,学习驾驶模拟汽车在TORCS赛车环境。我们证明,NDPS是能够发现人类可读的政策,通过一些显着的性能酒吧。我们还表明,PIRL政策可以有更平滑的轨迹,可以更容易地转移到训练过程中没有遇到的环境,比DRL发现相应的政策。
2019-04-10 cs.AI cs.LG cs.PL
Hierarchical Orchestra of Policies
University of Bath(巴斯大学)
本文提出策略的分层编排(HOP)方法,通过观测相似性动态构建策略层级,无需任务标签即可缓解持续强化学习中的灾难性遗忘,并在多任务环境中优于基线且媲美需标签的迁移方法。
2024-11-05 cs.AI cs.LG
What makes useful auxiliary tasks in reinforcement learning: investigating the effect of the target policy
University of Alberta(阿尔伯塔大学);Noah’s Ark Lab, Huawei Technologies Canada(华为加拿大诺亚方舟实验室)
辅助任务在强化学习的表示学习中被认为是有用的。虽然许多辅助任务已被经验证明是有效的,以加快学习的主要任务,它还不清楚是什么使有用的辅助任务。一些最有希望的结果是在像素控制,奖励预测和下一个状态预测辅助任务上;然而,经验结果是混合的,在某些情况下显示出实质性的改善,在其他情况下显示出边际改善。仔细研究辅助任务如何帮助学习主要任务是必要的。在本文中,我们采取了一个步骤,研究目标政策的辅助任务制定为一般价值函数的有用性的影响。一般价值函数由三个核心要素组成:1)策略2)累积量3)连续函数。我们关注辅助任务的目标策略的作用是出于这样一个事实,即目标策略确定代理想要进行预测的行为以及代理被训练的状态-动作分布,这进一步影响了主任务学习。我们的研究提供了一些问题的见解,如:与其他政策相比,贪婪的政策是否会带来更大的改善收益?是否最好将辅助任务策略设置为与主任务策略相同?目标策略的选择是否对所获得的性能增益有实质性影响,或者设置策略的简单策略(例如使用均匀随机策略)是否也有效?我们的实证结果表明:1)辅助任务与贪婪的政策往往是有用的。2)大多数策略,包括均匀随机策略,倾向于在基线上改进。3)令人惊讶的是,与其他策略相比,主任务策略往往没有那么有用。
2022-04-01 cs.AI cs.LG
RecoveryChaining: Learning Local Recovery Policies for Robust Manipulation
The Robotics Institute, CMU(卡内基梅隆大学机器人研究所);MERL(三菱电机研究实验室)
本文提出RecoveryChaining方法,利用分层强化学习和混合动作空间学习局部恢复策略,使机器人在基于模型的控制失败时能自主恢复并切换回标称控制器,在稀疏奖励操控任务中显著提升鲁棒性并实现仿真到现实迁移。
2025-03-07 cs.AI cs.RO
Safe Flow Q-Learning: Offline Safe Reinforcement Learning with Reachability-Based Flow Policies
本文提出Safe Flow Q-Learning,结合达性启发的安全价值函数和高效的一步流策略,通过自一致性Bellman递归学习安全价值,行为克隆训练流策略并转化为奖励最大化安全动作选择器,减少部署时的拒绝采样,提升实时安全应用性能。
2026-07-10 cs.AI cs.LG
Distributional Method for Risk Averse Reinforcement Learning
University of Toronto(多伦多大学)
我们介绍了一个分布式的方法学习风险厌恶马尔可夫决策过程中的最优策略有限的状态动作空间,潜在成本和平稳动态。我们假设连续观察的状态,行动和成本,并使用动态风险措施构建嵌套Kusuoka型条件风险映射的政策的性能进行评估。对于这样的性能标准,随机策略可能优于确定性策略,因此,候选策略位于d维单纯形中,其中d是动作空间的基数。现有的风险规避强化学习方法很少涉及随机策略,对当前设置的幼稚扩展遭受维数灾难。通过利用嵌入在相应的动态规划原理中的某些结构,我们提出了一种分布式学习方法来寻求最优策略。价值函数的条件分布被转换成特定类型的函数,该函数的选择考虑到风险规避优化的容易性。我们使用深度神经网络来近似所述函数,说明所提出的方法避免了在探索阶段的维数灾难,并探索该方法的性能与随机选取的广泛的模型参数。
2023-02-27 cs.AI cs.LG
SymLight: Exploring Interpretable and Deployable Symbolic Policies for Traffic Signal Control
Centre for Data Science and Artificial Intelligence(数据科学与人工智能中心);School of Engineering and Computer Science(工程与计算机科学学院)
SymLight提出基于蒙特卡洛树搜索的符号化优先级函数搜索框架,通过简洁表示和概率结构展开策略,在保持优异性能的同时生成可解释且可部署的交通信号控制策略。
2025-11-08 cs.AI cs.LG
Learning Policy Representations for Steerable Behavior Synthesis
Department of Electrical and Systems Engineering, University of Pennsylvania, Philadelphia, USA(宾夕法尼亚大学电气与系统工程系);Department of Signal Theory and Communications, King Juan Carlos University, Madrid, Spain(胡安 Carlos大学信号理论与通信系)
本文提出了一种基于潜在空间的策略表示学习方法,通过对比学习和变分生成技术,实现对多奖励场景下策略的高效调节与价值函数约束满足。
2026-01-29 cs.AI cs.LG
A Genetic Fuzzy System for Interpretable and Parsimonious Reinforcement Learning Policies
The University of Queensland(昆士兰大学);Queensland University of Technology(昆士兰科技大学)
针对传统学习分类器系统规则库庞大难解释的问题,提出基于多目标与协同协同进化的 Pittsburgh 遗传模糊系统 Fuzzy MoCoCo,在 Mountain Car 环境中演化出可解释、高性能且简约的强化学习策略。
2023-05-17 cs.AI cs.LG cs.NE
Using Reinforcement Learning to Optimize Responses in Care Processes: A Case Study on Aggression Incidents
Utrecht University(乌得勒支大学)
针对护理流程动态复杂、攻击事件应对策略有限的问题,采用Q-learning和SARSA强化学习算法训练马尔可夫决策过程,得出的最优策略与现有常用操作相似且能提供更多情境化应对选项。
2023-10-02 cs.AI cs.LG
Explore and Control with Adversarial Surprise
UC Berkeley(加州大学伯克利分校);Google Research, Brain Team(谷歌研究院大脑团队)
无监督强化学习(RL)研究如何利用环境统计来学习有用的行为,而无需奖励工程的成本。然而,无监督强化学习的一个核心挑战是提取有意义地影响世界并涵盖一系列可能结果的行为,而不会被环境中固有的不可预测、不可控制和随机因素分散注意力。为此,我们提出了一种无监督的RL方法,该方法是为高维随机环境设计的,基于两种策略(我们称之为探索和控制)之间的对抗性游戏,控制单个主体并竞争代理体验的观察熵。探索代理寻找最大程度地使控制代理惊讶的状态,控制代理反过来旨在最小化惊讶,从而操纵环境返回到熟悉和可预测的状态。这两种策略之间的竞争促使他们在学习掌握环境的同时,寻找越来越令人惊讶的部分。我们正式表明,由此产生的算法最大限度地覆盖块MDP的随机观测的底层状态,提供理论支持,我们的假设,这一过程避免了不可控的和随机的干扰。我们的实验进一步证明,对抗性惊喜导致复杂和有意义的技能的出现,并且在探索和zero-shot转移到下游任务方面优于最先进的无监督强化学习方法。
2021-12-28 cs.AI cs.LG
Hardware Conditioned Policies for Multi-Robot Transfer Learning
The Robotics Institute(机器人研究所);Carnegie Mellon University(卡内基梅隆大学)
深度强化学习可用于学习灵巧的机器人策略,但将其转移到具有截然不同硬件属性的新机器人上具有挑战性。由于现代最先进的算法的高样本复杂性,为每个机器人硬件从头开始学习新策略也是非常昂贵的。我们提出了一种新的方法,称为\textit{Hardware Conditioned Policies},我们训练一个通用的政策条件下的机器人硬件的矢量表示。我们认为机器人在模拟不同的动力学,运动学结构,运动长度和自由度。首先,我们直接使用的运动学结构作为硬件编码,并显示出巨大的zero-shot转移到全新的机器人在训练过程中没有看到。对于zero-shot成功率较低的机器人,我们还证明了微调策略网络比从头开始训练模型更有效。在任务中,知道代理动力学是成功的重要因素,我们学习机器人硬件的嵌入,并表明以硬件编码为条件的政策往往会推广和转移。代码和视频可以在项目网页上找到:https://sites.google.com/view/robot-transfer-hcp。
2019-01-13 cs.AI cs.LG cs.RO
AVLEN: Audio-Visual-Language Embodied Navigation in 3D Environments
University of California, Riverside(加州大学河滨分校);Mitsubishi Electric Research Labs(三菱电机研究实验室)
近年来,嵌入式视觉导航在两个不同的方向上取得了进展:(i)装备人工智能智能体以遵循自然语言指令,以及(ii)使可导航的世界多模态,例如,视听导航然而,现实世界不仅是多模态的,而且往往是复杂的,因此,尽管有这些进步,代理人仍然需要了解他们的行动中的不确定性,并寻求指导导航。为此,我们提出了AVLEN~ --一个交互式的视听语言具身导航代理。与视听导航任务类似,我们的具体代理的目标是通过导航3D视觉世界来本地化音频事件;然而,代理也可以寻求人类(Oracle)的帮助,其中以自由形式的自然语言提供帮助。为了实现这些能力,AVLEN使用多模态分层强化学习主干,该主干学习:(a)选择用于导航的音频线索或查询oracle的高级策略,以及(b)基于其视听和语言输入选择导航动作的低级策略。通过对导航任务的成功进行奖励来训练策略,同时最大限度地减少对oracle的查询次数。为了实证评估AVLEN,我们提出了语义视听导航任务的SoundSpaces框架上的实验。我们的研究结果表明,装备代理请求帮助导致性能的明显改善,特别是在具有挑战性的情况下,例如,当在训练期间或在干扰物声音存在的情况下听不到声音时。
2022-10-14 cs.AI cs.CL cs.CV
Augmented World Models Facilitate Zero-Shot Dynamics Generalization From a Single Offline Environment
University of Oxford(牛津大学)
来自大规模离线数据集的强化学习为我们提供了在没有潜在的不安全或不切实际的探索的情况下学习策略的能力。过去几年,在应对纠正数据汇集和学习政策之间不同行为的挑战方面取得了重大进展。然而,很少有人注意到潜在的动态变化时,将政策转移到在线设置,其中性能可以降低高达90%的现有方法。在本文中,我们解决这个问题与增强世界模型(AugWM)。我们通过简单的转换来增强学习的动力学模型,这些转换旨在捕获机器人物理特性的潜在变化,从而产生更强大的策略。我们不仅在这个新的设置中训练我们的策略,而且还为它提供作为上下文的采样增强,使它能够适应环境的变化。在测试时,我们通过近似对应于新环境的增强来以自我监督的方式学习上下文。我们严格评估我们的方法超过100个不同的动态设置,并表明,这种简单的方法可以显着提高最近的最先进的基线的zero-shot概括,往往实现成功的政策,基线失败。
2021-08-03 cs.AI cs.LG
How Private Is Your RL Policy? An Inverse RL Based Analysis Framework
IIIT Hyderabad(海得拉巴国际信息技术研究所)
强化学习(RL)使智能体能够从头开始学习如何执行各种任务。在自动驾驶、推荐系统等领域,如果学习到的最佳强化学习策略记住了私人奖励的任何部分,可能会导致隐私泄露。我们研究了一组现有的差异化私有RL策略,这些策略来自于各种RL算法,如值迭代,深度Q网络和Vanilla近端策略优化。我们提出了一个新的隐私感知逆RL(PRIL)分析框架,执行奖励重建作为一个对抗攻击的私人政策,代理可能会部署。为此,我们引入了奖励重建攻击,其中我们试图使用逆RL算法从隐私保护策略中重建原始奖励。如果代理使用严格的私有策略,对手在重建原始奖励函数方面一定做得很差。使用这个框架,我们经验性地测试了不同复杂度的FrozenLake域的多个实例上的私有算法所提供的隐私保证的有效性。基于所进行的分析,我们推断出当前提供的隐私标准与保护RL中奖励功能所需的隐私标准之间存在差距。我们这样做,通过量化的程度,每个私人政策保护的奖励功能,通过测量原始和重建的奖励之间的距离。
2021-12-10 cs.AI cs.LG
Learning to Factor Policies and Action-Value Functions: Factored Action Space Representations for Deep Reinforcement learning
Indian Institute of Technology, Madras(印度马德拉斯理工学院)
深度强化学习(DRL)方法在越来越多的高维视觉决策领域中表现良好。在所有这样的视觉决策问题中,那些具有离散动作空间的视觉决策问题往往在所述动作空间中具有潜在的组成结构。这样的动作空间通常包含诸如向左、向上以及对角向上和向左(这是前两个动作的组合)的动作。在这些领域中的控制策略的表示传统上被建模,而不利用动作空间中的这种固有的组成结构。我们提出了一种新的学习范式,因子化动作空间表示(FAR),其中我们将使用深度强化学习算法学习的控制策略分解为独立的分量,类似于将向量分解为一些正交基向量。控制策略表示的这种架构修改允许代理同时了解多个操作,而只执行其中一个。我们证明了FAR在Atari 2600中的两个DRL算法上有相当大的改进:FARA 3C在14个任务中的9个任务中优于A3 C(异步优势演员评论),FARAQL在13个任务中的9个任务中优于AQL(异步n步Q学习)。
2017-05-20 cs.AI cs.LG
QKSA: Quantum Knowledge Seeking Agent -- resource-optimized reinforcement learning using quantum process tomography
Delft University of Technology(代尔夫特理工大学);Guru Gobind Singh Indraprastha University(古鲁·戈宾德·辛格因德拉普拉萨大学)
在这项研究中,我们扩展了通用的强化学习(URL)代理模型的人工智能的量子环境。从量子信息理论出发,将经典的探索性随机知识搜索Agent KL-KSA的效用函数推广到密度矩阵上的距离测度。量子过程层析成像(QPT)算法形成了环境动力学建模程序的易处理子集。最佳QPT策略是基于可变的成本函数,基于算法的复杂性以及计算资源的复杂性来选择。而不是图灵机,我们估计的成本指标的高级语言,以允许现实的实验。整个代理设计封装在一个自我复制的奎因变异的成本函数的基础上的预测值的最佳策略选择方案。因此,多个代理与帕累托最优QPT政策的发展使用遗传规划,模仿物理理论的发展,每个不同的资源权衡。这个正式的框架被称为量子知识搜索代理(QKSA)。尽管量子强化学习很重要,但与量子机器学习的当前趋势相比,几乎没有量子强化学习模型存在。QKSA是第一个类似于经典URL模型的框架。类似于AIXI-tl是Solomonoff普适归纳的资源受限的主动版本,QKSA是最近提出的基于算法信息的量子力学重建的资源受限的参与式观察者框架。QKSA可用于量子信息理论的模拟和研究。具体来说,我们证明了它可以用来加速量子变分算法,其中包括断层重建作为其积分子程序。
2021-12-07 cs.AI cs.ET physics.comp-ph
Learning Branching Policies for MILPs with Proximal Policy Optimization
针对混合整数线性规划(MILP)分支定界法泛化性不足的问题,提出树门近端策略优化(TGPPO)框架,基于强化学习训练分支策略,在分布外实例中减少节点探索数量并改进PDI,提升求解泛化能力。
2025-11-17 cs.AI cs.LG math.OC
IV-Posterior: Inverse Value Estimation for Interpretable Policy Certificates
Heriot-Watt University(赫瑞-瓦特大学);University of Edinburgh(爱丁堡大学)
无模型强化学习(RL)是一种强大的工具,可以学习广泛的机器人技能和策略。然而,缺乏政策的可解释性可能会抑制其在下游应用中的成功部署,特别是当环境条件的差异可能导致不可预测的行为或泛化失败时。因此,机器学习越来越强调在模型中包含更强的归纳偏差,以提高泛化能力。本文提出了一种替代策略,可解释策略证书的逆值估计(IV-后验),旨在识别预训练策略已经持有的归纳偏差或理想化操作条件,然后使用这些信息来指导它们的部署。IV-后验使用MaskedAutoregressive Flows来拟合一组条件或环境参数的分布,其中策略可能是有效的。然后,此分发可以用作下游应用程序中的策略证书。我们说明了在两个环境中使用IV后验,并表明,当政策选择包含这些政策持有的归纳偏见的知识时,可以获得可观的性能增益。
2020-11-30 cs.AI cs.LG cs.RO
Model-Based Offline Planning
Google Research(谷歌研究院)
离线学习是使强化学习(RL)在真实系统中可用的关键部分。离线RL着眼于这样的场景,即有来自系统操作的数据,但在学习策略时没有对系统的直接存取。最近从离线数据中训练RL策略的工作已经显示了直接从数据中学习的无模型策略,或者在学习的数据模型之上进行规划的结果。无模型策略往往更有性能,但更不透明,更难从外部指挥,也更不容易集成到更大的系统中。我们提出了一个离线学习器,生成一个模型,可用于控制系统直接通过规划。这使我们能够直接从数据中轻松控制策略,而无需与系统交互。我们展示了我们的算法,基于模型的离线规划(MBOP)的一系列机器人启发的任务的性能,并展示了它的能力,利用规划尊重环境约束。我们能够找到接近最优的政策,某些模拟系统,从短短的50秒的实时系统交互,并创建zero-shot目标条件下的政策在一系列的环境。一个附带的视频可以在这里找到:https://youtu.be/nxGGHdZOFts
2021-03-17 cs.AI cs.LG cs.RO
Optimizing Team Behavior via Extremum-seeking Control in Multi-agent Reinforcement Learning
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
该研究针对合作多智能体强化学习中行为多样性调优成本高的问题,提出双时间尺度框架ADiCo,结合极值寻优控制器在线调整多样性,在多任务上性能优于或匹配基准方法。
2026-10-14 cs.AI cs.MA cs.RO
Uncertainty-Driven Self-Play for Robust Multi-Agent Driving Policies
Mercedes-Benz AG(梅赛德斯-奔驰公司);University of Freiburg(弗赖堡大学)
针对多智能体驾驶策略泛化性差的问题,提出不确定性驱动自博弈方法,利用认知不确定性生成困难场景,在多个数据集上实现更优零样本迁移性能,且行为多样性显著提升。
2026-10-15 cs.AI cs.MA cs.RO
Replication of Multi-agent Reinforcement Learning for the "Hide and Seek" Problem
National University of Sciences and Technology(国立科技大学)
本研究针对强化学习策略难复现及复杂环境相关研究有限的问题,复现多智能体躲猫猫强化学习并新增飞行机制,提升了智能体机动性,缩短了躲藏者习得追逐策略的训练步数。
2023-10-09 cs.AI cs.LG cs.MA
Robust optimal policies for team Markov games
Peking University(北京大学);University of Groningen(格罗宁根大学)
在随机动态环境中,团队马尔可夫博弈已经成为研究完全合作多智能体系统序列决策问题的通用范式。然而,导出的策略的最优性通常是敏感的模型参数,这通常是未知的,并需要估计噪声数据在实践中。为了减轻最优策略对这些不确定参数的敏感性,本文提出了一种鲁棒的团队马尔可夫博弈模型,其中代理利用鲁棒优化方法来更新策略。该模型将团队马尔可夫博弈扩展到不完全信息的情形,同时提供了一种鲁棒团队最优性的替代解概念。为了寻求这样的解决方案,我们开发了一个强大的迭代学习算法的团队政策,并证明其收敛性。与鲁棒动态规划相比,该算法不仅具有更快的收敛速度,而且允许使用近似计算来减轻维数灾难。此外,通过将序列社会困境的对策模型推广到不确定场景,给出了一些数值模拟来证明算法的有效性。
2022-05-02 cs.AI cs.GT cs.MA
PAC-Bayes Control: Learning Policies that Provably Generalize to Novel Environments
Department of Mechanical and Aerospace Engineering(1,2 机械与航空航天工程系);Department of Computer Science Princeton University(3 计算机科学系 纽约大学普林斯顿分校)
本文提出了一种基于PAC-Bayes框架的机器人策略学习方法,通过在新环境中泛化能力的理论分析,为机器人系统提供强泛化保证。
2020-08-25 cs.AI cs.LG cs.RO