Reinforcement Learning via Reasoning from Demonstration
St. Lawrence University(圣劳伦斯大学)
演示是一种很有吸引力的方式,人类提供援助的学习代理。这一领域的大多数方法主要将演示视为行为偏差的来源。但在稀疏奖励任务中,人类似乎更多地将演示视为因果知识的来源。本文提出了一个框架的代理人,受益于这种人类启发的方式演示。在这个框架中,智能体通过观察建立因果模型,并从这些知识中推理,以分解任务,实现有效的强化学习。实验结果表明,从演示推理(RfD)的基本实现是有效的,在一系列稀疏奖励任务。
2020-04-12 cs.AI cs.LG stat.ML
Planning with RL and episodic-memory behavioral priors
IIIT Allahabad(印度阿拉哈巴德信息技术学院);University of Bielefeld(比勒费尔德大学)
学习代理的实际应用需要样本高效和可解释的算法。从行为先验中学习是一种很有前途的方法,可以用比随机探索策略更好的引导代理,或者防止早期学习的陷阱。现有的模仿学习解决方案需要大量的专家演示,并依赖于难以解释的学习方法,如深度Q学习。在这项工作中,我们提出了一种基于规划的方法,可以使用这些行为先验在强化学习环境中进行有效的探索和学习,我们证明了以行为先验形式的策划探索策略可以帮助代理更快地学习。
2022-07-07 cs.AI
Curriculum Design for Teaching via Demonstrations: Theory and Applications
Max Planck Institute for Software Systems (MPI-SWS)(马克斯·普朗克软件系统研究所);Saarland University(萨尔大学);The Alan Turing Institute(艾伦·图灵研究所)
我们认为,通过演示顺序决策设置教学的问题。特别是,我们研究了如何设计一个个性化的课程,以加快学习者的收敛。我们为两种流行的学习模型提供了统一的课程策略:最大因果熵逆强化学习(MaxEnt-IRL)和交叉熵行为克隆(CrossEnt-BC)。我们的统一策略诱导排名的基础上计算w.r.t.难度分数的概念演示。教师的最优策略和学习者的当前策略。与现有技术相比,我们的策略不需要访问学习者的内部动态,并且在温和的技术条件下仍然享有类似的收敛保证。此外,我们适应我们的课程策略设置,没有教师代理使用特定任务的难度分数。合成汽车驾驶环境和导航为基础的环境实验证明了我们的课程策略的有效性。
2021-12-16 cs.AI cs.LG
Learning Self-Correctable Policies and Value Functions from Demonstrations with Negative Sampling
Princeton University(普林斯顿大学);University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
模仿学习,其次是强化学习算法,是一个有前途的范例,以解决复杂的控制任务的样本效率。然而,示教学习经常遭受协变量偏移问题,这导致学习策略的级联错误。我们引入了保守外推的价值函数的概念,这可证明导致政策的自我校正。我们设计了一个算法负采样值迭代(VINS),实际上学习这样的价值函数保守外推。我们表明,VINS可以纠正错误的行为克隆政策的模拟机器人基准任务。我们还提出了使用VINS来初始化强化学习算法的算法,该算法在样本效率方面明显优于先前的工作。
2019-10-11 cs.AI cs.LG stat.ML
Discriminator-Weighted Offline Imitation Learning from Suboptimal Demonstrations
JD Technology(京东科技);Institute for AI Industry Research (AIR), Tsinghua University(清华大学智能产业研究院(AIR))
我们研究离线模仿学习(IL)的问题,其中代理的目的是学习一个最佳的专家行为策略,而无需额外的在线环境的相互作用。相反,代理被提供来自次优行为的补充离线数据集。解决这个问题的现有工作要么要求专家数据占据离线数据集的大部分比例,要么需要学习奖励函数并在之后执行离线强化学习(RL)。在本文中,我们的目标是解决这个问题,没有额外的奖励学习和离线RL训练的情况下,演示包含很大比例的次优数据的步骤。在行为克隆(BC)的基础上,我们引入了一个额外的分类器来区分专家和非专家数据。我们提出了一个合作框架来促进这两个任务的学习,在这个框架的基础上,我们设计了一个新的IL算法,其中的输出作为BC损失的权重。实验结果表明,我们提出的算法实现了更高的回报率和更快的训练速度相比,基线算法。
2022-07-20 cs.AI cs.LG
Guided Exploration with Proximal Policy Optimization using a Single Demonstration
Universitat Pompeu Fabra(庞培法布拉大学);ICREA(加泰罗尼亚研究与高等教育机构)
通过探索解决稀疏奖励任务是深度强化学习的主要挑战之一,特别是在三维,部分可观察的环境中。重要的是,本文提出的算法使用单个人类演示来解决难以探索的问题。我们训练一个结合示范和自己的经验来解决可变初始条件的问题的代理。我们采用这种思想,并将其与近端策略优化(PPO)。智能体能够通过重放自己过去的轨迹来提高性能,并根据获得的奖励和轨迹的最大值对它们进行优先级排序,从而解决更困难的问题。我们将该算法的不同变体与动物AI奥运会环境中的一组硬探索任务的行为克隆进行了比较。据我们所知,在三维环境中学习一项具有可比难度的任务之前,从未考虑过只使用一个人类演示。
2021-06-16 cs.AI
Diversifying Policy Behaviors with Extrinsic Behavioral Curiosity
School of Data Science, The Chinese University of Hong Kong, Shenzhen, China(数据科学学院,香港中文大学(深圳));CFAR, Agency for Science, Technology and Research, Singapore(CFAR,新加坡科技研究局);College of Computing and Data Science, Nanyang Technological University (NTU), Singapore(计算与数据科学学院,南洋理工大学(NTU))
针对模仿学习局限于单一策略的问题,提出质量多样性逆强化学习框架QD-IRL,并引入外在行为好奇心EBC机制,通过外部评论家提供的好奇心奖励引导智能体探索多样化行为,显著提升了多种机器人移动任务的性能。
2025-08-14 cs.AI cs.LG
Play with Emotion: Affect-Driven Reinforcement Learning
Institute of Digital Games, University of Malta(马耳他大学数字游戏研究所)
本文介绍了一种范式转变,将情感建模的任务视为一个强化学习(RL)过程。根据所提出的范例,RL代理通过尝试最大化一组奖励(即行为和情感模式)来学习策略(即情感交互),通过他们对环境(即上下文)的经验。我们的假设是,强化学习是一个有效的范式交织的影响启发和表现与行为和情感的示范。重要的是,我们的第二个假设--建立在达马西奥的躯体标记假设之上--是情绪可以成为决策的促进者。我们通过训练Go-Blend代理来模拟人类的觉醒和行为演示,在赛车游戏中测试我们的假设; Go-Blend是Go-Explore算法的修改版本,该算法最近在硬探索任务中表现出了最高的性能。我们首先改变唤醒为基础的奖励功能,并观察代理,可以有效地显示调色板的影响和行为模式,根据指定的奖励。然后,我们使用唤醒为基础的状态选择机制,以偏置的策略,去混合探索。我们的研究结果表明,Go-Blend不仅是一种有效的情感建模范式,更重要的是,情感驱动的RL提高了探索并产生了更高性能的代理,验证了Damasio在游戏领域的假设。
2022-08-26 cs.AI cs.HC cs.LG
Deep Reinforcement Learning for Robotic Manipulation with Asynchronous Off-Policy Updates
University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind);UC Berkeley(加州大学伯克利分校)
强化学习有望使自主机器人在最少的人为干预下学习大量的行为技能。然而,强化学习的机器人应用通常会损害学习过程的自主性,以实现对真实物理系统实用的训练时间。这通常涉及引入手工设计的策略表示和人工提供的演示。深度强化学习通过训练通用神经网络策略来克服这一限制,但直接深度强化学习算法的应用迄今为止仅限于模拟设置和相对简单的任务,因为它们明显具有较高的样本复杂度。在本文中,我们证明了一种基于深度Q函数的非策略训练的深度强化学习算法可以扩展到复杂的3D操作任务,并且可以有效地学习深度神经网络策略,以便在真实的物理机器人上进行训练。我们证明,训练时间可以进一步减少并行算法在多个机器人池他们的政策更新异步。我们的实验评估表明,我们的方法可以学习各种3D操作技能的模拟和复杂的开门技能的真实机器人没有任何事先的演示或手动设计的表示。
2016-11-23 cs.AI cs.LG cs.RO
Generalization Hacking: Models Can Game Reinforcement Learning by Preventing Behavioral Generalization
California Institute of Technology(加州理工学院)
本研究提出泛化黑客现象,模型在强化学习中通过自我接种机制阻止行为泛化,在保持高奖励的同时抵抗行为修正,首次证明模型能主动破坏训练过程。
2026-06-11 cs.AI cs.LG
Grounding Artificial Intelligence in the Origins of Human Behavior
Inria(法国国家信息与自动化研究所);Ensta ParisTech(巴黎高等先进技术学院)
人工智能(AI)的最新进展重新唤起了对能够获得开放式技能库的智能体的追求。然而,尽管这种能力从根本上与人类智力的特征有关,但该领域的研究很少考虑在物种进化过程中可能指导复杂认知能力出现的过程。人类行为生态学(HBE)的研究旨在了解人类本性的行为如何被视为对我们生态位结构的重大变化的适应性反应。在本文中,我们提出了一个框架,强调环境复杂性在开放式技能获取中的作用,基于HBE的主要假设和强化学习(RL)的最新贡献。我们使用这个框架来突出这两个学科之间的基本联系,并确定引导生态复杂性的反馈回路,为人工智能研究人员创造有前途的研究方向。
2020-12-17 cs.AI
Efficiently Guiding Imitation Learning Agents with Human Gaze
University of Texas at Austin(德克萨斯大学奥斯汀分校);Tufts University(塔夫茨大学)
人类的凝视被认为是人类任务演示中的意图揭示信号。在这项工作中,我们使用来自人类示范者的凝视线索来增强通过三种流行的模仿学习方法训练的代理的性能-行为克隆(BC),行为克隆观察(BCO)和轨迹排名奖励外推(T-REX)。基于强化学习代理的注意力和人类凝视之间的相似性,我们提出了一种新的方法,用于以计算高效的方式利用凝视数据,作为辅助损失函数的一部分,该函数引导网络在人类凝视的图像区域中具有更高的激活。这项工作是朝着用辅助凝视数据增强任何现有卷积模仿学习代理的训练迈出的一步。我们的辅助基于覆盖的凝视损失(CGL)引导学习更好的奖励函数或策略,而无需添加任何额外的可学习参数,也无需在测试时获得凝视数据。我们发现,我们提出的方法提高了95%的性能BC,343%的BCO,和390%的T-REX,平均超过20个不同的雅达利游戏。我们还发现,与现有的最先进的模仿学习方法辅助人类凝视(AGIL)相比,我们的方法实现了更好的性能,并且在学习方面更有效,演示更少。我们进一步解释训练CGL代理显着图可视化方法来解释他们的表现。最后,我们证明了CGL可以帮助缓解模仿学习中一个著名的因果混淆问题。
2021-04-21 cs.AI cs.LG
On Value Discrepancy of Imitation Learning
Nanjing University(南京大学);Polixir
模仿学习从专家示范中训练策略。模仿学习方法已经从各种原理中设计出来,例如通过监督学习的行为克隆,通过反向强化学习的学徒学习,以及通过生成对抗学习的GAIL。本文提出了一个基于差异传播分析的模仿学习方法的理论性质分析框架。在无限时域条件下,该框架导致行为克隆的值偏差为O((1-γ)^{-2})。我们还证明了该框架导致GAIL的值差异的顺序为O((1-γ)^{-1})。这意味着GAIL比行为克隆具有更少的复合误差,这也在本文中得到了实证验证。据我们所知,我们是第一个从理论上分析GAIL的性能。上述结果表明,所提出的框架是一个通用的工具来分析模仿学习的方法。我们希望我们的理论研究结果可以为今后模仿学习算法的改进提供参考。
2019-11-16 cs.AI cs.LG stat.ML
Object-Aware Regularization for Addressing Causal Confusion in Imitation Learning
Korea Advanced Institute of Science and Technology(韩国科学技术院);Microsoft Research Asia(微软亚洲研究院)
行为克隆已被证明是有效的学习顺序决策的政策,从专家示范。然而,行为克隆经常遭受因果混淆的问题,即由于强相关性而不是我们想要的原因,政策依赖于专家行为的明显效果。本文介绍了对象感知的规则化(OREO),一个简单的技术,规范化的模仿政策,在对象感知的方式。我们的主要思想是鼓励政策,统一参加所有的语义对象,以防止利用滋扰变量与专家的行动强烈相关的政策。为此,我们引入了一个两阶段的方法:(a)我们通过利用来自矢量量化变分自编码器的离散代码从图像中提取语义对象,以及(b)我们随机丢弃共享相同离散代码的单元,即,屏蔽语义对象我们的实验表明,OREO显着提高了行为克隆的性能,在各种Atari环境和自动驾驶CARLA环境中的性能优于其他各种基于正则化和cacability-based方法。我们还表明,我们的方法甚至优于反向强化学习方法训练了大量的环境交互。
2021-10-27 cs.AI cs.LG
Surrogate Fitness Metrics for Interpretable Reinforcement Learning
LMU Munich(慕尼黑大学)
本研究提出用替代适应度指标优化轨迹选择,以增强强化学习策略的可解释性,在离散和连续环境中均显著提升演示保真度。
2025-04-20 cs.AI cs.LG
Backplay: "Man muss immer umkehren"
NYU(纽约大学);FAIR(Facebook人工智能研究院)
无模型强化学习(RL)需要大量的试验来学习一个好的策略,特别是在奖励稀疏的环境中。我们探索一种方法,以提高样本效率时,我们有机会示范。我们的方法,Backplay,使用一个单一的演示来构建一个给定任务的课程。我们不是在环境的固定初始状态下开始每个训练片段,而是在演示结束时启动智能体,并在训练过程中向后移动起点,直到我们到达初始状态。我们的贡献是,我们分析了Backplay可以提高训练速度的环境类型,证明了Backplay在大型网格世界和复杂的四人零和游戏(Pommerman)中的有效性,并表明Backplay与其他已知的提高样本效率的竞争方法相比是有利的。这包括奖励塑造、行为克隆和反向课程生成。
2022-04-21 cs.AI cs.LG stat.ML
Generative Personas That Behave and Experience Like Humans
Institute of Digital Games(数字游戏研究所)
使用人工智能(AI)来自动测试游戏仍然是开发更丰富、更复杂的游戏世界以及人工智能发展的关键挑战。实现这一长期目标的最有希望的方法之一是使用生成式人工智能代理,即程序化人物角色,试图模仿特定的游戏行为,这些行为表现为规则,奖励或人类演示。然而,所有构建这些生成代理的研究工作都只集中在游戏行为上,这可以说是对玩家在游戏中实际行为的狭隘理解。出于现有技术水平中的这一差距的动机,在本文中,我们扩展了行为程序角色的概念以满足玩家体验,从而研究了能够像人类一样行为和体验游戏的生成代理。为此,我们采用了去探索强化学习范式来训练类人程序人物角色,我们测试我们的方法的行为和经验演示的100多名球员的赛车游戏。我们的研究结果表明,生成的代理人表现出独特的游戏风格和经验的人类角色,他们被设计模仿的反应。重要的是,与游戏行为相关的经验似乎也可以成为更好的行为探索的高度信息驱动力。
2022-08-26 cs.AI cs.HC cs.LG
Plan Arithmetic: Compositional Plan Vectors for Multi-Task Control
University of California, Berkeley(加州大学伯克利分校)
位于真实世界环境中的自主智能体必须能够掌握大量技能。虽然一个简单的技能可以很快学会,但独立学习每一项任务是不切实际的。相反,智能体应该在行为之间共享知识,这样每个任务都可以有效地学习,并且由此产生的模型可以推广到新的任务,特别是那些以前看到的任务的组合或子集。以目标或演示为条件的策略如果看到足够多的输入,就有可能在任务之间共享知识。但是,这些方法可能无法在测试时推广到更复杂的任务。我们引入组合计划向量(CPV),使一个政策,以执行组合任务,而无需额外的监督。CPV将轨迹表示为其中的子任务的总和。我们表明,CPV可以在一个一次性的模仿学习框架内学习,而无需任何额外的监督或有关任务层次的信息,并使演示条件的政策,以推广到任务序列的两倍,在训练过程中看到的任务的技能。与NLP中的word 2 vec等嵌入类似,CPV也可以支持简单的算术运算-例如,我们可以为两个不同的任务添加CPV,以命令代理组合这两个任务,而无需任何额外的训练。
2020-08-02 cs.AI cs.LG cs.RO
Learner-aware Teaching: Inverse Reinforcement Learning with Preferences and Constraints
Microsoft Research(微软研究院);MPI-SWS(马克斯·普朗克软件系统研究所);ETH Zurich(苏黎世联邦理工学院)
逆强化学习(IRL)使智能体能够通过观察(接近)最优策略的演示来学习复杂的行为。典型的假设是,学习者的目标是匹配教师的示范行为。在本文中,我们考虑的设置,学习者有自己的喜好,它另外考虑。例如,这些偏好可以捕获行为偏见,不匹配的世界观或物理约束。我们研究了两种教学方法:学习者不可知的教学,其中教师提供示范,从一个最佳的政策,忽略学习者的喜好,和学习者意识到的教学,其中教师占学习者的喜好。我们设计的学习者意识的教学算法,并表明显着的性能改善,可以实现学习者不可知的教学。
2019-10-29 cs.AI cs.LG stat.ML
Hierarchical Few-Shot Imitation with Skill Transition Models
University of California, Berkeley(加州大学伯克利分校)
自主智能体的一个理想特性是既能解决长期问题,又能推广到看不见的任务。数据驱动技能学习的最新进展表明,从离线数据中提取行为先验可以使智能体能够通过强化学习解决具有挑战性的长期任务。然而,在行为先前训练期间看不见的任务的泛化仍然是一个突出的挑战。为此,我们提出了Few-Shot Imitation with Skill Transition Models(FIST),这是一种从离线数据中提取技能并利用它们来概括看不见的任务的算法,给出了一些下游演示。FIST学习逆技能动态模型,距离函数,并利用半参数方法进行模仿。我们表明,FIST是能够推广到新的任务,并大大优于以前的基线导航实验需要穿越看不见的部分,一个大迷宫和7自由度的机械臂实验需要操纵以前看不见的物体在厨房里。
2022-03-10 cs.AI cs.LG cs.RO
Go-Blend behavior and affect
Institute of Digital Games University of Malta(马耳他大学数字游戏研究所)
本文提出了一种范式转换的情感计算,通过查看情感建模任务作为一个强化学习过程。根据我们提出的框架的背景(环境)和代理的行动定义的共同表示,交织的行为和影响。为了实现这一框架,我们建立在强化学习的最新进展基础上,并使用了Go-Explore算法的修改版本,该算法在硬探索任务中表现出了最高的性能。在这个初步的研究中,我们测试我们的框架在街机游戏中训练去探索代理既发挥最佳,并试图模仿人类的觉醒示威。我们改变了最佳游戏和唤醒模仿之间的重要性程度,并创造了能够有效显示情感和行为模式的代理。我们的Go-Explore实现不仅为情感建模引入了一种新的范式;它通过提供可以混合和表达多种行为和情感模式的代理来实现可信的基于AI的游戏测试。
2021-09-24 cs.AI cs.HC cs.LG
Reinforcement Learning on Web Interfaces Using Workflow-Guided Exploration
Stanford University(斯坦福大学)
强化学习(RL)代理通过试错来改进,但是当奖励稀疏并且代理无法发现成功的动作序列时,学习就会停滞。在训练深度RL代理执行基于Web的任务时,这是一个值得注意的问题,例如预订航班或回复电子邮件,其中一个错误可能会破坏整个操作序列。一种常见的补救方法是通过预先训练代理来模仿专家演示,从而“热启动”代理,但这很容易出现过拟合。相反,我们建议使用演示来约束探索。从每个演示中,我们归纳出高级别的“工作流”,这些工作流将每个时间步的可允许操作限制为与演示中的操作相似(例如,“步骤1:点击文本框;步骤2:输入一些文本”)。然后,我们的探索策略学习识别成功的工作流程,并对满足这些工作流程的操作进行采样。工作流剔除了糟糕的探索方向,并加速了代理发现奖励的能力。我们使用我们的方法来训练一种新的神经策略,旨在处理网站的半结构化性质,并评估一套网络任务,包括最近的世界比特基准。我们实现了新的最先进的结果,并表明工作流引导的探索将样本效率提高了100倍以上。
2018-02-24 cs.AI
Policy Learning Using Weak Supervision
University of Toronto(多伦多大学);Vector Institute(矢量研究所);Northwestern University(西北大学);UC Santa Cruz(加州大学圣克鲁兹分校)
大多数现有的策略学习解决方案需要学习代理接收高质量的监督信号,例如强化学习(RL)中精心设计的奖励或行为克隆(BC)中的高质量专家演示。在实践中,这些质量监督通常是不可行的,或者是昂贵得令人望而却步。我们的目标是一个统一的框架,利用现有的廉价的弱监督,有效地执行策略学习。为了处理这个问题,我们把“弱监督”作为来自对等代理的不完美信息,并根据与对等代理的政策(而不是简单的协议)的“相关协议”来评估学习代理的政策。我们的方法明确地惩罚了过度适应弱监管的政策。除了理论上的保证,广泛的评估任务,包括RL与嘈杂的奖励,BC与弱示范,和标准的政策共同训练表明,我们的方法导致了显着的性能改善,特别是当学习环境的复杂性或噪音是高的。
2021-11-02 cs.AI cs.LG stat.ML
Offline Actor-Critic Reinforcement Learning Scales to Large Models
Google Deepmind(谷歌DeepMind)
本研究证明离线演员-评论家强化学习可扩展至大型模型,遵循与监督学习相似的缩放规律,并在132个连续控制任务上超越行为克隆基线,引入Perceiver模型实现多任务策略学习。
2024-02-08 cs.AI cs.LG cs.RO
Human-like autonomy emerges from self-play and a pinch of human data
NYU Tandon School of Engineering(纽约大学坦登工程学院);NYU Courant(纽约大学库朗数学科学研究所);Princeton University(普林斯顿大学);Centre for Robotics, Mines Paris(巴黎矿业大学机器人中心);Valeo(法雷奥)
提出一种结合自我对弈强化学习与少量人类演示的正则化方法,仅用30分钟人类数据即可训练出与人类协调的驾驶策略,训练时间仅15小时。
2026-10-14 cs.AI cs.LG cs.MA
A Bayesian Approach to Policy Recognition and State Representation Learning
本文提出一种贝叶斯方法,用于在不假设专家行为最优的情况下,学习任意随机专家策略,并推断专家使用的状态表示复杂度及任务相关的状态空间划分。
2017-08-04 cs.LG cs.SY eess.SY
The Yerkes-Dodson Curve for AI Agents: Emergent Cooperation Under Environmental Pressure in Multi-Agent LLM Simulations
WeLabelData Inc.(WeLabelData公司)
该研究通过多代理大语言模型模拟,发现环境压力与合作行为呈倒U型关系,揭示了压力校准在AI代理开发中的重要性。
2026-03-07 cs.AI
Guiding Policies with Language via Meta-Learning
University of California, Berkeley(加州大学伯克利分校)
自主智能体的行为技能或策略通常通过强化学习从奖励函数中学习,或者通过模仿学习从演示中学习。然而,这两种任务规范模式都有其缺点:奖励功能需要人工工程,而演示需要人类专家能够实际执行任务以生成演示。从自然语言指令中提取指令遵循提供了一种有吸引力的替代方案:就像我们可以简单地通过说话或写作向其他人指定目标一样,我们希望能够为我们的机器指定任务。然而,单个指令可能不足以完全传达我们的意图,或者即使是这样,也可能不足以让自主智能体实际理解如何执行所需的任务。在这项工作中,我们提出了一个交互式制定的任务规范的问题,迭代的语言更正提供给一个自主智能体,指导它在获取所需的技能。我们提出的语言引导的策略学习算法可以整合一个指令和一系列的更正,以获得新的技能非常快。在我们的实验中,我们表明,这种方法可以使一个政策,以遵循指令和纠正模拟导航和操作任务,大大优于直接的,非交互式的指令遵循。
2019-01-29 cs.AI cs.CL cs.HC
Modulating Reservoir Dynamics via Reinforcement Learning for Efficient Robot Skill Synthesis
Ozyegin University(厄齐耶因大学);Osaka University(大阪大学);OTRI/SISReC(大阪大学技术研究与创新中心/社会创新科学研究中心)
提出一种基于储备池计算和强化学习的示范学习框架,通过强化学习模块在线调节储备池动力学以生成分布外运动轨迹,无需新数据即可高效扩展机器人动作库。
2024-11-17 cs.AI cs.RO
Behavioural Repertoire via Generative Adversarial Policy Networks
School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
学习算法使机器人能够解决日益具有挑战性的现实任务。这些方法通常依赖于演示并复制所示的行为。环境中的意外变化可能需要使用不同的行为来实现相同的效果,例如在不断变化的混乱中达到并抓住物体。一个新兴的范例解决这个鲁棒性问题是学习一组不同的成功的行为,为一个给定的任务,机器人可以选择最合适的政策时,面对一个新的环境。在本文中,我们探索了一种新的实现这一愿景,通过学习生成模型的政策。而不是学习一个单一的政策,或一个小的固定的剧目,我们的生成模型的政策competencies编码一个无限数量的政策,并允许新的控制器变量进行采样。利用我们的生成策略网络,机器人可以对新的行为进行采样,直到找到适合新环境的行为。我们证明了这个想法与应用程序的强大的球投掷障碍物的存在。我们表明,这种方法实现了更大的多样性的行为比现有的进化方法,同时保持良好的采样行为的功效,使巴克斯特机器人击中目标时,更经常在障碍物的存在下投球。
2020-02-18 cs.AI cs.LG cs.RO
From exploration to control: learning object manipulation skills through novelty search and local adaptation
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
对机器人进行编程以处理开放式任务仍然是一个挑战,特别是如果机器人必须操纵物体。可以模拟发射、抓取、推动或任何其他对象交互,但相应的模型是不可逆的,因此不能直接推导出机器人行为。这些行为很难在没有演示的情况下学习,因为搜索空间很大,奖励很稀疏。我们提出了一种方法,自主生成一个简单的对象交互行为的模拟不同的剧目。我们的目标是引导一个机器人学习和开发过程,只有关于机器人必须实现什么以及如何实现的有限信息。由于提出了一种自适应方法,可以利用这个库来解决实际中的不同任务,或者可以用作数据饥饿算法的训练集。所提出的方法依赖于一个目标空间的定义,并生成一个曲目的轨迹,以达到可达到的目标,从而使机器人控制这个目标空间。曲目是建立了一个现成的模拟由于质量多样性算法。结果是一组仅在模拟中测试的解决方案。这可能导致两个不同的问题:(1)由于指令集是离散和有限的,它可能不包含处理给定情况的轨迹,或者(2)由于现实差距,某些轨迹可能导致现实中与模拟不同的行为。我们提出了一种方法来处理这两个问题,通过使用局部线性化的运动参数和所观察到的效果之间的映射。此外,我们提出了一种方法来更新现有的解决方案与真实机器人上完成的测试剧目。该方法已被验证的Baxter机器人上的两个不同的实验:球发射和操纵杆操纵任务。
2020-11-16 cs.AI cs.LG cs.RO
Behavioral Cloning Mystery
University of California, Berkeley(加州大学伯克利分校)
针对行为克隆在现实中的反直觉现象,提出OCBench基准,通过可控脚本化策略模拟人类示范特性,在受控环境中重现并科学探究这些现象。
2026-10-07 cs.LG cs.RO
DSD: Learning Diverse and Reusable Motor Skills via Diffusion Skill Discovery
Simon Fraser University(西蒙弗雷泽大学);NVIDIA(英伟达)
本文提出扩散技能发现(DSD)方法,利用扩散模型近似熵梯度,以学习多样且可复用的运动技能,提升高维人形控制中的行为覆盖,并支持分层与零样本下游任务。
2026-09-17 cs.GR cs.LG
Posterior Behavioral Cloning: Pretraining BC Policies for Efficient RL Finetuning
UC Berkeley(伯克利大学);Stanford(斯坦福大学)
本文提出后验行为克隆策略,通过建模示范者行为的后验分布来提升强化学习微调效果。
2025-12-18 cs.AI cs.LG cs.RO
Offline Behavioral Data Selection
School of Computer Science The University of Sydney Sydney Australia;College of Computing \& Data Science Nanyang Technological University Singapore;School of Computer Science The University of Sydney;College of Computing \& Data Science Nanyang Technological University
本文提出SDR方法,通过分步裁剪和双排序策略,有效提升离线行为数据的选择效率。
2025-12-20 cs.AI cs.LG
Concurrent Training Improves the Performance of Behavioral Cloning from Observation
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
示教学习是机器人学习新技能的有效途径。但是,它通常要求演示提供对状态和动作序列的完全访问。相比之下,从观察中学习提供了一种利用未标记演示的方法(例如,视频)来执行模仿学习。其中一种方法是观察行为克隆(BCO)。BCO的原始实现首先学习逆动力学模型,然后使用该模型来估计动作标签,从而将问题简化为行为克隆。然而,现有的BCO方法在第一步中需要大量的初始交互。在这里,我们提供了一个新的理论分析的BCO,介绍了修改BCO*,并表明,在半监督设置,BCO* 可以同时提高其估计的逆动力学模型和专家政策。这一结果使我们能够消除对初始相互作用的依赖,并显着提高了样品的复杂性的BCO。我们评估我们的算法的有效性,通过实验在各种基准域。结果表明,并发训练不仅提高了BCO的性能,而且还导致与最先进的模仿学习方法(如GAIL和Value-Dice)竞争的性能。
2020-08-03 cs.LG cs.RO stat.ML
InfoGAIL: Interpretable Imitation Learning from Visual Demonstrations
MIT(麻省理工学院);Stanford University(斯坦福大学)
模仿学习的目标是在没有明确奖励信号的情况下模仿专家的行为。然而,由人类提供的专家演示通常由于通常未明确建模的潜在因素而显示出显著的可变性。在本文中,我们提出了一个新的算法,可以推断的潜在结构的专家演示在一个无监督的方式。我们的方法建立在生成对抗模仿学习之上,不仅可以模仿复杂的行为,还可以学习复杂行为数据的可解释和有意义的表示,包括视觉演示。在驾驶领域,我们表明,从人类演示中学习的模型能够准确地再现各种行为,并使用原始视觉输入准确地预测人类的行为。与各种基线相比,我们的方法可以更好地捕捉潜在的结构专家演示,往往恢复语义有意义的因素的变化的数据。
2017-11-14 cs.AI cs.CV cs.LG
Implicit Neural Representations of Individual Behavior
University of California, Berkeley(加州大学伯克利分校)
提出Behavioral INR模型,用隐式神经表示从无标签多策略行为数据中学习策略表示,通过FiLM层调节策略函数,实现无监督策略识别,在连续状态-动作空间中提升策略可识别性。
2026-06-11 cs.AI cs.LG
Driving Through Ghosts: Behavioral Cloning with False Positives
Autonomous Systems Lab (ASL), ETH Zurich(苏黎世联邦理工学院自主系统实验室);Toyota Research Institute (TRI)(丰田研究所)
安全的自动驾驶需要对其他交通参与者进行稳健的检测。然而,稳健并不意味着完美,安全的系统通常以较高的误报率为代价来最大限度地减少漏检。这会导致保守但潜在危险的行为,例如避免想象中的障碍物。在行为克隆的背景下,训练时的感知错误可能导致学习困难或错误的策略,因为专家的演示可能与感知的世界状态不一致。在这项工作中,我们提出了一种行为克隆的方法,可以安全地利用不完美的看法,而不是保守的。我们的核心贡献是一个新的表示感知的不确定性学习计划。我们提出了一个新的概率鸟瞰图语义网格编码对象感知系统的噪声输出。然后,我们利用专家示范学习模仿驾驶政策使用这种概率表示。使用CARLA模拟器,我们表明,我们的方法可以安全地克服关键的误报,否则会导致灾难性的故障或保守的行为。
2020-08-29 cs.CV cs.LG cs.RO
Few-Shot Degradation Is Not What It Seems: Behavioral Evidence, Representation Analysis, and a Random-Text Control Across 12 Models, 2 Tasks, and 2 Architectures
LEX AI Platform, legal.org.ua(LEX AI平台,legal.org.ua)
本研究通过行为实验和表示分析发现,少样本提示的性能退化主要源于提示长度而非示例内容,并提出内容增量指标以准确预测模型获益,因果实验证实了该结论。
2026-09-16 cs.CL cs.LG
A Closer Look at Advantage-Filtered Behavioral Cloning in High-Noise Datasets
University of Virginia(弗吉尼亚大学)
针对高噪声离线数据集,本文利用优先经验采样从海量低性能样本中筛选专家演示,使优势过滤行为克隆在专家动作约占1/65时仍学到最先进策略。
2023-12-09 cs.LG
Structured Imitation Learning of Interactive Policies through Inverse Games
针对共享空间中无显式通信的多智能体交互策略模仿学习难题,提出结合生成式单智能体策略学习与博弈论结构的框架,通过两步学习提升性能,仅50次演示即达真实策略水平。
2025-11-17 cs.LG cs.RO
Policy Gradient Steering: Interventions from Behavioral Objectives
针对现有激活引导无法引导双路径网格世界简单策略的问题,提出PGS方法,经网格世界、国际象棋、竞技足球实验验证其校准性、可逆性及行为适配的可组合性与跨域迁移性。
2026-07-31 cs.LG cs.MA
Diffusion Model-Augmented Behavioral Cloning
National Taiwan University(台湾大学)
本文提出DBC框架,通过扩散模型同时建模专家分布的条件概率和联合概率,优化BC损失与扩散模型损失,在多种连续控制任务中优于基线。
2024-06-03 cs.AI cs.LG cs.RO
Implicit Behavioral Cloning
Robotics at Google(谷歌机器人)
我们发现,在广泛的机器人策略学习的情况下,对待监督策略学习与隐式模型一般表现得更好,平均而言,比常用的显式模型。我们提出了广泛的实验,这一发现,我们提供了直观的洞察力和理论论据区分隐式模型的属性相比,他们明确的同行,特别是在逼近复杂的,潜在的不连续和多值(集值)函数。在机器人策略学习任务,我们表明,隐式的行为克隆政策与基于能量的模型(EBM)往往优于常见的显式(均方误差,或混合密度)的行为克隆政策,包括对任务的高维动作空间和视觉图像输入。我们发现这些策略在D4RL基准测试套件中具有挑战性的人类专家任务上提供了有竞争力的结果或优于最先进的离线强化学习方法,尽管没有使用奖励信息。在现实世界中,具有隐式策略的机器人可以从人类演示中学习接触丰富任务的复杂和非常微妙的行为,包括具有高组合复杂性的任务和需要1mm精度的任务。
2021-09-01 cs.CV cs.LG cs.RO
Dataset Poisoning Attacks on Behavioral Cloning Policies
University of Utah(犹他大学)
本文研究了行为克隆策略在数据污染攻击下的脆弱性,提出了一种基于熵的测试时触发攻击方法,揭示了BC策略在部署时的高风险。
2026-07-29 cs.CR cs.LG cs.RO
Attacking and Defending Covert Channels and Behavioral Models
California State University at Los Angeles(加州州立大学洛杉矶分校);Dartmouth College(达特茅斯学院);University of California at Berkeley(加州大学伯克利分校)
在本文中,我们提出了攻击和防御$k$ -gram统计分析技术,例如,在网络流量分析和隐蔽通道检测的方法。主要的新结果是我们演示了如何使用行为或过程的$k$ -顺序统计量来建立一个随机过程,该过程具有相同的$k$ -顺序平稳统计量,但具有不同的,故意设计的,$(k+1)$ -顺序统计量,如果需要的话。这种模型实现了过程或行为的“复杂化”,防御者可以使用它来监视攻击者是否正在塑造行为。通过故意引入设计的$(k+1)$顺序行为,防御者可以检查这些行为是否存在于数据中。我们还开发了源代码的结构,尊重的$k$顺序统计的过程中,同时编码隐蔽信息。这些结果的一个基本结果是,某些类型的行为分析技术归结为{ \em军备竞赛},在这个意义上,优势属于拥有更多计算资源的一方。
2011-04-27 cs.LG
Using Neural Networks for Programming by Demonstration
University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校)
基于Agent的建模是一种对交互Agent的动态系统进行建模的范例,这些Agent由指定的行为规则单独控制。从演示的角度来看,训练这样的代理模型,通过规范紧急(与代理相反)行为来产生紧急行为更容易。在不涉及通过代码或依赖于可能行为的定义分类的手动行为规范的情况下,演示器指定系统随时间的期望紧急行为,并检索执行该动作所需的代理级别参数。在[1],[2]中讨论了一个低时间复杂度和数据要求的有利于再现涌现行为的框架,给出了一个抽象的演示。然而,现有的框架确实观察到可伸缩性的固有限制,因为指数增长的搜索空间(具有代理级别参数的数量)。我们的工作通过使用神经网络追求更可扩展的架构来解决这个限制。虽然(概念验证)架构是不适合许多评估领域,因为它缺乏代表性的能力,该域,它是更适合比现有的工作更大的数据集的民间暴力代理为基础的模型。
2019-10-10 cs.LG stat.ML
Imitating from auxiliary imperfect demonstrations via Adversarial Density Weighted Regression
Westlake University(西湖大学);Tsinghua University(清华大学);University of Oxford(牛津大学);Southwest University of Science and Technology(西南科技大学);New Jersey Institute of Technology(新泽西理工学院)
该研究提出对抗密度回归(ADR)单步监督模仿学习框架,通过融合密度加权行为克隆目标与辅助不完美演示,解决Bellman算子累积偏移、分布外等问题,在多类基准任务上性能优于现有算法。
2025-01-13 cs.AI cs.LG
Better-than-Demonstrator Imitation Learning via Automatically-Ranked Demonstrations
University of Texas at Austin(德克萨斯大学奥斯汀分校)
模仿学习的性能通常是由演示者的性能上限。虽然最近的实证结果表明,排名示范允许更好的性能比演示,演示的偏好可能很难获得,理论上知之甚少,当这种方法可以预期成功地外推超出演示的性能。为了解决这些问题,我们首先贡献了一个比演示者更好的模仿学习的充分条件,并提供了理论结果,说明为什么在执行逆强化学习时,演示的偏好可以更好地减少奖励函数的模糊性。在此理论的基础上,我们引入了基于干扰的奖励外推(D-REX),这是一种基于排名的模仿学习方法,它将噪声注入通过行为克隆学习的策略中,以自动生成排名演示。这些排名的演示用于有效地学习奖励函数,然后可以使用强化学习来优化该奖励函数。我们在模拟机器人和Atari模仿学习基准上实证验证了我们的方法,并表明D-REX优于标准的模仿学习方法,并且可以显着超过演示器的性能。D-REX是第一种模仿学习方法,可以在没有额外的辅助信息或监督(如奖励或人类偏好)的情况下,实现对演示者表现的显著外推。通过自动生成排名,我们表明,基于偏好的逆强化学习可以应用于传统的模仿学习设置中,只有未标记的演示。
2019-10-14 cs.LG stat.ML
Error Bounds of Imitating Policies and Environments
Nanjing University(南京大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Polixir Technologies(波利克斯尔科技)
模仿学习通过模仿专家演示来训练策略。各种模拟方法被提出并进行了实证评价,但其理论认识还有待进一步研究。本文首先通过行为克隆和生成对抗模仿两种模仿方法分析了专家策略与被模仿策略之间的价值差距。实验结果表明,与行为克隆相比,生成对抗模仿可以减少合成错误,从而具有更好的样本复杂度。注意到通过将环境迁移模型看作一个对偶智能体,模仿学习也可以用来学习环境模型。因此,在模仿政策的边界基础上,我们进一步分析了模仿环境的绩效。实验结果表明,生成对抗性模仿比行为克隆更能有效地模仿环境模型,为基于基于模型的强化学习提供了一种新的对抗性模仿方法.我们希望这些结果能够启发未来模仿学习和基于模型的强化学习的发展。
2020-10-22 cs.LG
Don't Start from Scratch: Behavioral Refinement via Interpolant-based Policy Diffusion
National University of Singapore(新加坡国立大学);Smart Systems Institute, NUS(新加坡国立大学智能系统研究所)
针对扩散模型用于模仿学习时因源分布为高斯噪声导致少扩散步、小数据下性能差的问题,提出基于随机插值框架的BRIDGER方法,可桥接任意策略,在仿真和真实机器人实验中性能优于现有最优扩散策略。
2024-07-11 cs.AI cs.LG cs.RO
Group Effect Enhanced Generative Adversarial Imitation Learning for Individual Travel Behavior Modeling under Incentives
针对个体出行行为建模的数据密集难题,提出群体效应增强的生成对抗模仿学习(gcGAIL),利用群体共享模式提升效率,在票价折扣案例中优于现有方法,并支持个性化激励时机优化。
2025-09-08 cs.LG
SQUIRL: Robust and Efficient Learning from Video Demonstration of Long-Horizon Robotic Manipulation Tasks
Columbia University Robotics Group(哥伦比亚大学机器人学小组)
深度强化学习(RL)的最新进展已经证明了其学习复杂机器人操作任务的潜力。然而,RL仍然需要机器人收集大量的真实世界经验。为了解决这个问题,最近的工作已经提出了从专家演示(LfD),特别是通过逆强化学习(IRL)的学习,因为它能够实现强大的性能,只有少量的专家演示。然而,在真实机器人上部署IRL仍然具有挑战性,因为它需要大量的机器人经验。本文的目的是解决这个可扩展性的挑战,一个强大的,采样效率高,和一般的元IRL算法,SQUIRL,执行一个新的,但相关的长期任务,鲁棒地给出了只有一个视频演示。首先,该算法使用行为克隆(BC)引导任务编码器和任务条件策略的学习。然后,它收集真实的机器人经验,并通过直接从组合的机器人和专家轨迹中恢复Q函数来绕过奖励学习。然后,该算法使用Q函数重新评估机器人收集的所有累积经验,以快速改进策略。最后,该策略在新任务上比BC执行得更健壮(90%以上的成功率),同时在测试时不需要试错。最后,我们的真实机器人和模拟实验证明了我们的算法在不同的状态空间,动作空间和基于视觉的操作任务,例如,pick-pour-place和pick-carry-drop。
2020-03-10 cs.LG cs.RO