Pretrain Soft Q-Learning with Imperfect Demonstrations
Tsinghua University(清华大学);University of Science & Technology Beijing(北京科技大学)
由于现有的强化学习算法需要大量的计算能力用于在线仿真,因此带演示的预训练强化学习方法是强化学习研究中的一个重要概念。预训练强化学习在利用专家演示的同时保持探索潜力,特别是对于基于值的方法,仍然是一个重大挑战。在本文中,我们提出了一种软Q学习的预训练方法。我们的工作受到演员评论家算法的预训练方法的启发,因为软Q学习是一种基于值的算法,相当于策略梯度。该方法基于$γ$ -熵正则化折扣有偏策略评估,这也是软Q学习的更新目标。我们的方法是评估从Atari 2600的各种任务。实验表明,我们的方法可以有效地从不完美的演示中学习,并且优于其他从专家演示中学习的最先进的方法。
2019-05-09 cs.AI cs.LG stat.ML
Planning with RL and episodic-memory behavioral priors
IIIT Allahabad(印度阿拉哈巴德信息技术学院);University of Bielefeld(比勒费尔德大学)
学习代理的实际应用需要样本高效和可解释的算法。从行为先验中学习是一种很有前途的方法,可以用比随机探索策略更好的引导代理,或者防止早期学习的陷阱。现有的模仿学习解决方案需要大量的专家演示,并依赖于难以解释的学习方法,如深度Q学习。在这项工作中,我们提出了一种基于规划的方法,可以使用这些行为先验在强化学习环境中进行有效的探索和学习,我们证明了以行为先验形式的策划探索策略可以帮助代理更快地学习。
2022-07-07 cs.AI
Curriculum Design for Teaching via Demonstrations: Theory and Applications
Max Planck Institute for Software Systems (MPI-SWS)(马克斯·普朗克软件系统研究所);Saarland University(萨尔大学);The Alan Turing Institute(艾伦·图灵研究所)
我们认为,通过演示顺序决策设置教学的问题。特别是,我们研究了如何设计一个个性化的课程,以加快学习者的收敛。我们为两种流行的学习模型提供了统一的课程策略:最大因果熵逆强化学习(MaxEnt-IRL)和交叉熵行为克隆(CrossEnt-BC)。我们的统一策略诱导排名的基础上计算w.r.t.难度分数的概念演示。教师的最优策略和学习者的当前策略。与现有技术相比,我们的策略不需要访问学习者的内部动态,并且在温和的技术条件下仍然享有类似的收敛保证。此外,我们适应我们的课程策略设置,没有教师代理使用特定任务的难度分数。合成汽车驾驶环境和导航为基础的环境实验证明了我们的课程策略的有效性。
2021-12-16 cs.AI cs.LG
Learning Self-Correctable Policies and Value Functions from Demonstrations with Negative Sampling
Princeton University(普林斯顿大学);University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
模仿学习,其次是强化学习算法,是一个有前途的范例,以解决复杂的控制任务的样本效率。然而,示教学习经常遭受协变量偏移问题,这导致学习策略的级联错误。我们引入了保守外推的价值函数的概念,这可证明导致政策的自我校正。我们设计了一个算法负采样值迭代(VINS),实际上学习这样的价值函数保守外推。我们表明,VINS可以纠正错误的行为克隆政策的模拟机器人基准任务。我们还提出了使用VINS来初始化强化学习算法的算法,该算法在样本效率方面明显优于先前的工作。
2019-10-11 cs.AI cs.LG stat.ML
Reinforcement Learning from Imperfect Demonstrations under Soft Expert Guidance
Tsinghua University(清华大学)
在本文中,我们研究的强化学习从演示(RLfD),提高了探索效率的强化学习(RL),通过提供专家演示。大多数现有的RLfD方法要求演示是完美和充分的,这在实践中是不现实的。为了进行不完美的演示,我们首先以正式的方式定义了RLfD的不完美专家设置,然后指出以前的方法分别在最优性和收敛性方面存在两个问题。在我们已经得出的理论研究结果,我们解决这两个问题,把专家的指导作为一个软约束,规范的代理人的政策探索,这最终导致一个约束优化问题。我们进一步证明,这样的问题是能够有效地解决通过执行其对偶形式的局部线性搜索。相当多的经验评估的一个全面收集的基准表明,我们的方法实现了一致的改善,比其他RLfD同行。
2019-11-23 cs.AI cs.LG cs.RO
Learning Dexterous Manipulation for a Soft Robotic Hand from Human Demonstration
University of California at Berkeley(加州大学伯克利分校);Technische Universität Berlin(柏林工业大学)
灵巧的多指手可以完成精细的操作行为,这是不可行的简单的机器人抓手。然而,复杂的多指手往往是昂贵和脆弱的。低成本的软手为更传统的设备提供了一种有吸引力的替代方案,但在传感和致动方面存在相当大的挑战,使得它们难以应用于更复杂的操作任务。在本文中,我们描述了一种方法,从示范,可用于训练软机器人手执行灵巧的操作任务的学习。我们的方法使用以对象为中心的演示,其中人类用自己的手演示所需的操作对象的运动,机器人自主学习模仿这些演示使用强化学习。我们提出了一种新的算法,使我们能够混合和选择一个子集的最可行的示范学习模仿的硬件,我们使用的指导政策搜索框架的扩展,使用多个示范学习概括的神经网络政策。我们在RBO Hand 2上展示了我们的方法,学习了转动阀门,操纵算盘和抓握的运动技能。
2017-03-20 cs.LG cs.RO
Guided Exploration with Proximal Policy Optimization using a Single Demonstration
Universitat Pompeu Fabra(庞培法布拉大学);ICREA(加泰罗尼亚研究与高等教育机构)
通过探索解决稀疏奖励任务是深度强化学习的主要挑战之一,特别是在三维,部分可观察的环境中。重要的是,本文提出的算法使用单个人类演示来解决难以探索的问题。我们训练一个结合示范和自己的经验来解决可变初始条件的问题的代理。我们采用这种思想,并将其与近端策略优化(PPO)。智能体能够通过重放自己过去的轨迹来提高性能,并根据获得的奖励和轨迹的最大值对它们进行优先级排序,从而解决更困难的问题。我们将该算法的不同变体与动物AI奥运会环境中的一组硬探索任务的行为克隆进行了比较。据我们所知,在三维环境中学习一项具有可比难度的任务之前,从未考虑过只使用一个人类演示。
2021-06-16 cs.AI
Play with Emotion: Affect-Driven Reinforcement Learning
Institute of Digital Games, University of Malta(马耳他大学数字游戏研究所)
本文介绍了一种范式转变,将情感建模的任务视为一个强化学习(RL)过程。根据所提出的范例,RL代理通过尝试最大化一组奖励(即行为和情感模式)来学习策略(即情感交互),通过他们对环境(即上下文)的经验。我们的假设是,强化学习是一个有效的范式交织的影响启发和表现与行为和情感的示范。重要的是,我们的第二个假设--建立在达马西奥的躯体标记假设之上--是情绪可以成为决策的促进者。我们通过训练Go-Blend代理来模拟人类的觉醒和行为演示,在赛车游戏中测试我们的假设; Go-Blend是Go-Explore算法的修改版本,该算法最近在硬探索任务中表现出了最高的性能。我们首先改变唤醒为基础的奖励功能,并观察代理,可以有效地显示调色板的影响和行为模式,根据指定的奖励。然后,我们使用唤醒为基础的状态选择机制,以偏置的策略,去混合探索。我们的研究结果表明,Go-Blend不仅是一种有效的情感建模范式,更重要的是,情感驱动的RL提高了探索并产生了更高性能的代理,验证了Damasio在游戏领域的假设。
2022-08-26 cs.AI cs.HC cs.LG
Discriminator-Weighted Offline Imitation Learning from Suboptimal Demonstrations
JD Technology(京东科技);Institute for AI Industry Research (AIR), Tsinghua University(清华大学智能产业研究院(AIR))
我们研究离线模仿学习(IL)的问题,其中代理的目的是学习一个最佳的专家行为策略,而无需额外的在线环境的相互作用。相反,代理被提供来自次优行为的补充离线数据集。解决这个问题的现有工作要么要求专家数据占据离线数据集的大部分比例,要么需要学习奖励函数并在之后执行离线强化学习(RL)。在本文中,我们的目标是解决这个问题,没有额外的奖励学习和离线RL训练的情况下,演示包含很大比例的次优数据的步骤。在行为克隆(BC)的基础上,我们引入了一个额外的分类器来区分专家和非专家数据。我们提出了一个合作框架来促进这两个任务的学习,在这个框架的基础上,我们设计了一个新的IL算法,其中的输出作为BC损失的权重。实验结果表明,我们提出的算法实现了更高的回报率和更快的训练速度相比,基线算法。
2022-07-20 cs.AI cs.LG
How To Not Drive: Learning Driving Constraints from Demonstration
Huawei Technologies(华为技术有限公司)
我们提出了一个新的计划,学习运动规划约束,从人类驾驶轨迹。行为和运动规划是自动驾驶系统的关键组成部分。行为规划负责遵守交通规则并与其他道路参与者互动所需的高层次决策。运动规划器的作用是为自动驾驶车辆生成可行、安全的轨迹。轨迹通过优化方案生成,以基于与平滑度、可移动性和舒适度相关的度量来优化成本函数,并且受到从计划行为、安全考虑和可行性导出的一组约束。通常的做法是手动设计成本函数和约束。最近的工作研究了从人类驾驶演示中学习成本函数。虽然有效,但这些方法在自动驾驶中的实际应用仍然值得怀疑。相比之下,本文的重点是学习驾驶约束,这可以作为现有自动驾驶解决方案的附加模块。为了学习约束,规划问题被制定为一个受约束的马尔可夫决策过程,其元素被假定为已知的,除了约束。然后通过学习专家轨迹的分布并估计属于所学习的分布的最优轨迹的概率来学习约束。该方案使用NGSIM数据集进行评估,产生小于1\%的碰撞率和道路机动时,学习的约束条件是在基于优化的运动规划器中使用。
2021-10-01 cs.LG cs.RO
Residual Reinforcement Learning from Demonstrations
Google Research(谷歌研究院);Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);École Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
残余强化学习(RL)已经被提出作为一种通过自适应来自传统反馈控制器的控制动作以最大化奖励信号来解决具有挑战性的机器人任务的方式。我们扩展的残差制定学习视觉输入和稀疏奖励使用演示。从图像、本体感受输入和稀疏的任务完成奖励中学习,放松了对访问完整状态特征(如物体和目标位置)的要求。此外,用从演示中学习的策略替换基本控制器消除了对手工设计的控制器的依赖性,有利于演示的数据集,其可以由非专家提供。我们对6自由度UR5手臂和28自由度灵巧手的模拟操作任务的实验评估表明,来自演示的剩余RL能够比行为克隆或RL微调更灵活地推广到看不见的环境条件,并且能够从头开始解决RL无法实现的高维稀疏奖励任务。
2021-06-15 cs.LG
Show me what you want: Inverse reinforcement learning to automatically design robot swarms by demonstration
Université libre de Bruxelles(布鲁塞尔自由大学)
自动设计是生成机器人群控制软件的一种很有前途的方法。到目前为止,自动设计依赖于任务特定的目标函数来指定所需的集体行为。在本文中,我们探讨的可能性,指定所需的集体行为,通过示范。我们开发Demo-Cho,一种自动设计方法,将逆强化学习与机器人群控制软件的自动模块化设计相结合。我们表明,只有在演示的基础上,而不需要提供一个明确的目标函数,Demo-Cho成功地生成了控制软件来执行四个任务。我们目前在模拟和物理机器人获得的结果。
2023-01-17 cs.LG cs.RO
Policy Gradient Steering: Interventions from Behavioral Objectives
针对现有激活引导无法引导双路径网格世界简单策略的问题,提出PGS方法,经网格世界、国际象棋、竞技足球实验验证其校准性、可逆性及行为适配的可组合性与跨域迁移性。
2026-07-31 cs.LG cs.MA
Learning from demonstrations with SACR2: Soft Actor-Critic with Reward Relabeling
MINES ParisTech(巴黎矿业学院);PSL University(巴黎文理研究大学);Valeo(法雷奥)
近年来,深度强化学习(DRL)已经成功地进入了机器人、自动驾驶或视频游戏等复杂的决策应用领域。策略外算法往往比策略内算法更具采样效率,并且可以额外受益于存储在重放缓冲区中的任何策略外数据。专家演示是这类数据的一个流行来源:智能体在早期就暴露于成功的状态和动作,这可以加速学习过程并提高性能。在过去,已经提出了多种想法来充分利用缓冲区中的演示,例如仅对演示进行预训练或最小化额外的成本函数。我们进行了一项研究,孤立地评估其中的几个想法,看看它们中哪些影响最大。我们还提出了一种新的方法,稀疏奖励任务的基础上,奖励奖金的演示和成功的插曲。首先,我们对来自演示的转换给予奖励奖金,以鼓励代理匹配演示的行为。然后,在收集到一个成功的片段后,我们在将其添加到重放缓冲区之前,用相同的奖金重新标记其转换,鼓励智能体也匹配其先前的成功。我们实验的基本算法是流行的Soft Actor-Critic(SAC),这是一种用于连续动作空间的最先进的非策略算法。我们的实验集中在操作机器人,特别是在模拟机器人手臂的3D达到任务。我们表明,我们的方法SACR 2的基础上奖励重新标记,提高了这项任务的性能,即使在没有演示。
2021-12-03 cs.LG cs.RO
Diversifying Policy Behaviors with Extrinsic Behavioral Curiosity
School of Data Science, The Chinese University of Hong Kong, Shenzhen, China(数据科学学院,香港中文大学(深圳));CFAR, Agency for Science, Technology and Research, Singapore(CFAR,新加坡科技研究局);College of Computing and Data Science, Nanyang Technological University (NTU), Singapore(计算与数据科学学院,南洋理工大学(NTU))
针对模仿学习局限于单一策略的问题,提出质量多样性逆强化学习框架QD-IRL,并引入外在行为好奇心EBC机制,通过外部评论家提供的好奇心奖励引导智能体探索多样化行为,显著提升了多种机器人移动任务的性能。
2025-08-14 cs.AI cs.LG
Implicit Behavioral Cloning
Robotics at Google(谷歌机器人)
我们发现,在广泛的机器人策略学习的情况下,对待监督策略学习与隐式模型一般表现得更好,平均而言,比常用的显式模型。我们提出了广泛的实验,这一发现,我们提供了直观的洞察力和理论论据区分隐式模型的属性相比,他们明确的同行,特别是在逼近复杂的,潜在的不连续和多值(集值)函数。在机器人策略学习任务,我们表明,隐式的行为克隆政策与基于能量的模型(EBM)往往优于常见的显式(均方误差,或混合密度)的行为克隆政策,包括对任务的高维动作空间和视觉图像输入。我们发现这些策略在D4RL基准测试套件中具有挑战性的人类专家任务上提供了有竞争力的结果或优于最先进的离线强化学习方法,尽管没有使用奖励信息。在现实世界中,具有隐式策略的机器人可以从人类演示中学习接触丰富任务的复杂和非常微妙的行为,包括具有高组合复杂性的任务和需要1mm精度的任务。
2021-09-01 cs.CV cs.LG cs.RO
Reinforcement Learning Agent for a 2D Shooter Game
Faculty for Mathematics(数学系);Department of Electrical Engineering and Information Technology(电气工程与信息科技系);IIIT at ETIT(ETIT的IIIT)
本文针对2D射击游戏中强化学习训练不稳定和样本效率低的问题,提出先行为克隆后强化学习的混合方法,并采用多头注意力网络,最终实现超过70%的稳定胜率。
2025-09-18 cs.AI cs.LG
On Value Discrepancy of Imitation Learning
Nanjing University(南京大学);Polixir
模仿学习从专家示范中训练策略。模仿学习方法已经从各种原理中设计出来,例如通过监督学习的行为克隆,通过反向强化学习的学徒学习,以及通过生成对抗学习的GAIL。本文提出了一个基于差异传播分析的模仿学习方法的理论性质分析框架。在无限时域条件下,该框架导致行为克隆的值偏差为O((1-γ)^{-2})。我们还证明了该框架导致GAIL的值差异的顺序为O((1-γ)^{-1})。这意味着GAIL比行为克隆具有更少的复合误差,这也在本文中得到了实证验证。据我们所知,我们是第一个从理论上分析GAIL的性能。上述结果表明,所提出的框架是一个通用的工具来分析模仿学习的方法。我们希望我们的理论研究结果可以为今后模仿学习算法的改进提供参考。
2019-11-16 cs.AI cs.LG stat.ML
Autonomous Soft Tissue Retraction Using Demonstration-Guided Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院)
本研究创建ROS兼容的物理仿真环境,利用PyBullet模拟达芬奇机器人软组织交互,并通过演示引导的强化学习算法实现自主软组织牵引,验证了软体操控学习的可行性。
2023-09-02 cs.LG cs.RO
CORE: Code-based Inverse Self-Training Framework with Graph Expansion for Virtual Agents
Zhejiang University(浙江大学);Wuhan University(武汉大学)
CORE提出一种基于代码的逆向自训练框架,通过语义代码抽象和策略图扩展,提升虚拟代理的行为多样性和泛化能力。
2026-01-05 cs.CV cs.LG
Discriminator Soft Actor Critic without Extrinsic Rewards
Kanazawa University(金泽大学)
在未知状态下,很难从少量的专家数据和采样数据中进行很好的模拟。行为克隆等监督学习方法不需要采样数据,但通常会遭受分布偏移。基于强化学习的方法,如逆强化学习和生成对抗模仿学习(GAIL),只能从少量的专家数据中学习。但是,他们往往需要与环境互动。软Q模仿学习解决了这些问题,并表明它可以有效地学习行为克隆和软Q学习与恒定的奖励。为了使该算法对分布偏移具有更好的鲁棒性,我们提出了鉴别器软演员批评(DSAC)。它使用基于对抗逆强化学习的奖励函数,而不是恒定的奖励。我们在PyBullet环境中评估了它,只有四个专家轨迹。
2020-01-31 cs.LG stat.ML
Generalization Hacking: Models Can Game Reinforcement Learning by Preventing Behavioral Generalization
California Institute of Technology(加州理工学院)
本研究提出泛化黑客现象,模型在强化学习中通过自我接种机制阻止行为泛化,在保持高奖励的同时抵抗行为修正,首次证明模型能主动破坏训练过程。
2026-06-11 cs.AI cs.LG
Learning Soft Constraints From Constrained Expert Demonstrations
University of Waterloo(滑铁卢大学);Vector Institute(矢量研究院);Huawei Technologies Canada(华为加拿大技术公司);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对逆强化学习中专家行为受约束但约束未知的问题,提出一种迭代优化的方法,可从专家演示中恢复累积软约束,并在多类场景中验证了有效性。
2023-04-27 cs.LG
Extrinsicaly Rewarded Soft Q Imitation Learning with Discriminator
Kanazawa University(金泽大学)
针对少量数据下模仿学习的分布偏移与交互成本问题,提出结合对抗逆强化学习奖励的DSQIL算法,在SQIL基础上提升鲁棒性与效率,并在MuJoCo环境完成评估。
2024-01-30 cs.AI cs.LG
Better-than-Demonstrator Imitation Learning via Automatically-Ranked Demonstrations
University of Texas at Austin(德克萨斯大学奥斯汀分校)
模仿学习的性能通常是由演示者的性能上限。虽然最近的实证结果表明,排名示范允许更好的性能比演示,演示的偏好可能很难获得,理论上知之甚少,当这种方法可以预期成功地外推超出演示的性能。为了解决这些问题,我们首先贡献了一个比演示者更好的模仿学习的充分条件,并提供了理论结果,说明为什么在执行逆强化学习时,演示的偏好可以更好地减少奖励函数的模糊性。在此理论的基础上,我们引入了基于干扰的奖励外推(D-REX),这是一种基于排名的模仿学习方法,它将噪声注入通过行为克隆学习的策略中,以自动生成排名演示。这些排名的演示用于有效地学习奖励函数,然后可以使用强化学习来优化该奖励函数。我们在模拟机器人和Atari模仿学习基准上实证验证了我们的方法,并表明D-REX优于标准的模仿学习方法,并且可以显着超过演示器的性能。D-REX是第一种模仿学习方法,可以在没有额外的辅助信息或监督(如奖励或人类偏好)的情况下,实现对演示者表现的显著外推。通过自动生成排名,我们表明,基于偏好的逆强化学习可以应用于传统的模仿学习设置中,只有未标记的演示。
2019-10-14 cs.LG stat.ML
Backplay: "Man muss immer umkehren"
NYU(纽约大学);FAIR(Facebook人工智能研究院)
无模型强化学习(RL)需要大量的试验来学习一个好的策略,特别是在奖励稀疏的环境中。我们探索一种方法,以提高样本效率时,我们有机会示范。我们的方法,Backplay,使用一个单一的演示来构建一个给定任务的课程。我们不是在环境的固定初始状态下开始每个训练片段,而是在演示结束时启动智能体,并在训练过程中向后移动起点,直到我们到达初始状态。我们的贡献是,我们分析了Backplay可以提高训练速度的环境类型,证明了Backplay在大型网格世界和复杂的四人零和游戏(Pommerman)中的有效性,并表明Backplay与其他已知的提高样本效率的竞争方法相比是有利的。这包括奖励塑造、行为克隆和反向课程生成。
2022-04-21 cs.AI cs.LG stat.ML
Generative Personas That Behave and Experience Like Humans
Institute of Digital Games(数字游戏研究所)
使用人工智能(AI)来自动测试游戏仍然是开发更丰富、更复杂的游戏世界以及人工智能发展的关键挑战。实现这一长期目标的最有希望的方法之一是使用生成式人工智能代理,即程序化人物角色,试图模仿特定的游戏行为,这些行为表现为规则,奖励或人类演示。然而,所有构建这些生成代理的研究工作都只集中在游戏行为上,这可以说是对玩家在游戏中实际行为的狭隘理解。出于现有技术水平中的这一差距的动机,在本文中,我们扩展了行为程序角色的概念以满足玩家体验,从而研究了能够像人类一样行为和体验游戏的生成代理。为此,我们采用了去探索强化学习范式来训练类人程序人物角色,我们测试我们的方法的行为和经验演示的100多名球员的赛车游戏。我们的研究结果表明,生成的代理人表现出独特的游戏风格和经验的人类角色,他们被设计模仿的反应。重要的是,与游戏行为相关的经验似乎也可以成为更好的行为探索的高度信息驱动力。
2022-08-26 cs.AI cs.HC cs.LG
Learner-aware Teaching: Inverse Reinforcement Learning with Preferences and Constraints
Microsoft Research(微软研究院);MPI-SWS(马克斯·普朗克软件系统研究所);ETH Zurich(苏黎世联邦理工学院)
逆强化学习(IRL)使智能体能够通过观察(接近)最优策略的演示来学习复杂的行为。典型的假设是,学习者的目标是匹配教师的示范行为。在本文中,我们考虑的设置,学习者有自己的喜好,它另外考虑。例如,这些偏好可以捕获行为偏见,不匹配的世界观或物理约束。我们研究了两种教学方法:学习者不可知的教学,其中教师提供示范,从一个最佳的政策,忽略学习者的喜好,和学习者意识到的教学,其中教师占学习者的喜好。我们设计的学习者意识的教学算法,并表明显着的性能改善,可以实现学习者不可知的教学。
2019-10-29 cs.AI cs.LG stat.ML
Error Bounds of Imitating Policies and Environments
Nanjing University(南京大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Polixir Technologies(波利克斯尔科技)
模仿学习通过模仿专家演示来训练策略。各种模拟方法被提出并进行了实证评价,但其理论认识还有待进一步研究。本文首先通过行为克隆和生成对抗模仿两种模仿方法分析了专家策略与被模仿策略之间的价值差距。实验结果表明,与行为克隆相比,生成对抗模仿可以减少合成错误,从而具有更好的样本复杂度。注意到通过将环境迁移模型看作一个对偶智能体,模仿学习也可以用来学习环境模型。因此,在模仿政策的边界基础上,我们进一步分析了模仿环境的绩效。实验结果表明,生成对抗性模仿比行为克隆更能有效地模仿环境模型,为基于基于模型的强化学习提供了一种新的对抗性模仿方法.我们希望这些结果能够启发未来模仿学习和基于模型的强化学习的发展。
2020-10-22 cs.LG
Beyond Binary Verifiable Rewards: Behavioral Self-Rewarding for SWE Agents
Pennsylvania State University(宾夕法尼亚州立大学);AG2AI;Microsoft Research(微软研究院)
针对二元可验证奖励无法区分调试质量的问题,提出行为自奖励(BSR)方法,复用策略比较轨迹调试行为,在SWE-bench数据集上提升了Qwen3模型的软件工程智能体性能。
2026-10-12 cs.AI cs.SE
When Should We Prefer Offline Reinforcement Learning Over Behavioral Cloning?
UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
离线强化学习(RL)算法可以利用先前收集的经验获得有效的策略,而无需任何在线交互。人们普遍认为,离线RL即使从高度次优的数据中也能够提取出良好的策略,在这种情况下,模仿学习找到的次优解决方案并没有比生成数据集的演示器更好。然而,从业者的另一个常见用例是从类似于演示的数据中学习。在这种情况下,可以选择应用离线RL,但也可以使用行为克隆(BC)算法,该算法通过监督学习模拟数据集的子集。因此,很自然地会问:即使BC是一种自然的选择,离线RL方法何时可以在同等数量的专家数据下优于BC?为了回答这个问题,我们描述了允许离线RL方法比BC方法执行得更好的环境的特性,即使只提供专家数据。此外,我们表明,在足够多的噪声次优数据上训练的策略可以获得比具有专家数据的BC算法更好的性能,特别是在长期问题上。我们验证了我们的理论结果,通过广泛的实验诊断和高维域,包括机器人操作,迷宫导航,雅达利游戏,各种数据分布。我们观察到,在特定但常见的条件下,如稀疏奖励或嘈杂的数据源,现代离线RL方法可以显着优于BC。
2022-04-12 cs.LG
Learning from Suboptimal Data in Continuous Control via Auto-Regressive Soft Q-Network
Tsinghua University(清华大学)
本文提出基于价值的强化学习算法ARSQ,通过由粗到细的自回归方式建模Q值,有效利用次优演示与在线数据进行连续控制,在D4RL和RLBench上显著超越基线。
2025-05-29 cs.LG cs.RO
SQUIRL: Robust and Efficient Learning from Video Demonstration of Long-Horizon Robotic Manipulation Tasks
Columbia University Robotics Group(哥伦比亚大学机器人学小组)
深度强化学习(RL)的最新进展已经证明了其学习复杂机器人操作任务的潜力。然而,RL仍然需要机器人收集大量的真实世界经验。为了解决这个问题,最近的工作已经提出了从专家演示(LfD),特别是通过逆强化学习(IRL)的学习,因为它能够实现强大的性能,只有少量的专家演示。然而,在真实机器人上部署IRL仍然具有挑战性,因为它需要大量的机器人经验。本文的目的是解决这个可扩展性的挑战,一个强大的,采样效率高,和一般的元IRL算法,SQUIRL,执行一个新的,但相关的长期任务,鲁棒地给出了只有一个视频演示。首先,该算法使用行为克隆(BC)引导任务编码器和任务条件策略的学习。然后,它收集真实的机器人经验,并通过直接从组合的机器人和专家轨迹中恢复Q函数来绕过奖励学习。然后,该算法使用Q函数重新评估机器人收集的所有累积经验,以快速改进策略。最后,该策略在新任务上比BC执行得更健壮(90%以上的成功率),同时在测试时不需要试错。最后,我们的真实机器人和模拟实验证明了我们的算法在不同的状态空间,动作空间和基于视觉的操作任务,例如,pick-pour-place和pick-carry-drop。
2020-03-10 cs.LG cs.RO
Agent Behavioral Contracts: Formal Specification and Runtime Enforcement for Reliable Autonomous AI Agents
Accenture(埃森哲)
本文提出智能体行为契约框架,通过形式化规范和运行时执行,提升自主AI智能体的可靠性与行为可控性。
2026-02-25 cs.AI cs.MA cs.SE
Behavioral Cloning Mystery
University of California, Berkeley(加州大学伯克利分校)
针对行为克隆在现实中的反直觉现象,提出OCBench基准,通过可控脚本化策略模拟人类示范特性,在受控环境中重现并科学探究这些现象。
2026-10-07 cs.LG cs.RO
Concurrent Training Improves the Performance of Behavioral Cloning from Observation
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
示教学习是机器人学习新技能的有效途径。但是,它通常要求演示提供对状态和动作序列的完全访问。相比之下,从观察中学习提供了一种利用未标记演示的方法(例如,视频)来执行模仿学习。其中一种方法是观察行为克隆(BCO)。BCO的原始实现首先学习逆动力学模型,然后使用该模型来估计动作标签,从而将问题简化为行为克隆。然而,现有的BCO方法在第一步中需要大量的初始交互。在这里,我们提供了一个新的理论分析的BCO,介绍了修改BCO*,并表明,在半监督设置,BCO* 可以同时提高其估计的逆动力学模型和专家政策。这一结果使我们能够消除对初始相互作用的依赖,并显着提高了样品的复杂性的BCO。我们评估我们的算法的有效性,通过实验在各种基准域。结果表明,并发训练不仅提高了BCO的性能,而且还导致与最先进的模仿学习方法(如GAIL和Value-Dice)竞争的性能。
2020-08-03 cs.LG cs.RO stat.ML
InfoGAIL: Interpretable Imitation Learning from Visual Demonstrations
MIT(麻省理工学院);Stanford University(斯坦福大学)
模仿学习的目标是在没有明确奖励信号的情况下模仿专家的行为。然而,由人类提供的专家演示通常由于通常未明确建模的潜在因素而显示出显著的可变性。在本文中,我们提出了一个新的算法,可以推断的潜在结构的专家演示在一个无监督的方式。我们的方法建立在生成对抗模仿学习之上,不仅可以模仿复杂的行为,还可以学习复杂行为数据的可解释和有意义的表示,包括视觉演示。在驾驶领域,我们表明,从人类演示中学习的模型能够准确地再现各种行为,并使用原始视觉输入准确地预测人类的行为。与各种基线相比,我们的方法可以更好地捕捉潜在的结构专家演示,往往恢复语义有意义的因素的变化的数据。
2017-11-14 cs.AI cs.CV cs.LG
Few-Shot Degradation Is Not What It Seems: Behavioral Evidence, Representation Analysis, and a Random-Text Control Across 12 Models, 2 Tasks, and 2 Architectures
LEX AI Platform, legal.org.ua(LEX AI平台,legal.org.ua)
本研究通过行为实验和表示分析发现,少样本提示的性能退化主要源于提示长度而非示例内容,并提出内容增量指标以准确预测模型获益,因果实验证实了该结论。
2026-09-16 cs.CL cs.LG
SoFT: Soft Targets for Generalizable LLM Fine-Tuning
针对多教师多领域微调中分布内学习与分布外泛化的权衡问题,提出软目标微调(SoFT),通过设置最小目标概率和自适应正则化平衡两者,在混合推理与智能体任务上取得最佳整体性能。
2026-10-14 cs.AI cs.LG
Structured Imitation Learning of Interactive Policies through Inverse Games
针对共享空间中无显式通信的多智能体交互策略模仿学习难题,提出结合生成式单智能体策略学习与博弈论结构的框架,通过两步学习提升性能,仅50次演示即达真实策略水平。
2025-11-17 cs.LG cs.RO
Dataset Poisoning Attacks on Behavioral Cloning Policies
University of Utah(犹他大学)
本文研究了行为克隆策略在数据污染攻击下的脆弱性,提出了一种基于熵的测试时触发攻击方法,揭示了BC策略在部署时的高风险。
2026-07-29 cs.CR cs.LG cs.RO
Using Causal Analysis to Learn Specifications from Task Demonstrations
University of Edinburgh(爱丁堡大学)
用户行为的学习模型是一个重要的问题,广泛适用于许多需要人机交互的应用领域。在这项工作中,我们表明,它是可以学习的生成模型不同的用户行为类型,从人类的演示中提取,通过执行聚类的首选任务的解决方案内的潜在空间。我们使用这个模型来区分用户类型,并找到具有重叠解决方案的案例。此外,我们可以通过学习的可微模型反向传播来改变最初猜测的解决方案,以满足构成特定用户类型的偏好。以这种方式构建生成模型的一个优点是,它允许我们提取符号之间的因果关系,这些符号可能构成用户对任务的规范的一部分,正如演示中所表现的那样。我们表明,所提出的方法是能够正确区分三种用户类型,谁在他们的运动中的谨慎程度不同,而执行的任务与动觉驱动的机器人在桌面环境中移动物体。我们的方法在99% [97.8 - 99.8]的情况下在指定时间内成功识别出正确的类型,这优于IRL基线。我们还表明,我们提出的方法正确地改变了一个默认的轨迹,以满足特定的用户规范,即使是看不见的对象。所得到的轨迹示出的是直接实施的PR 2人形机器人完成相同的任务。
2019-03-04 cs.AI cs.LG
GenPlan: Generative Sequence Models as Adaptive Planners
University of Waterloo(滑铁卢大学)
GenPlan 利用离散流模型和迭代去噪生成目标与动作序列,实现多任务自适应规划,在自适应规划任务上比现有最优方法性能提升超过 10%。
2024-12-25 cs.AI cs.LG
Using Neural Networks for Programming by Demonstration
University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校)
基于Agent的建模是一种对交互Agent的动态系统进行建模的范例,这些Agent由指定的行为规则单独控制。从演示的角度来看,训练这样的代理模型,通过规范紧急(与代理相反)行为来产生紧急行为更容易。在不涉及通过代码或依赖于可能行为的定义分类的手动行为规范的情况下,演示器指定系统随时间的期望紧急行为,并检索执行该动作所需的代理级别参数。在[1],[2]中讨论了一个低时间复杂度和数据要求的有利于再现涌现行为的框架,给出了一个抽象的演示。然而,现有的框架确实观察到可伸缩性的固有限制,因为指数增长的搜索空间(具有代理级别参数的数量)。我们的工作通过使用神经网络追求更可扩展的架构来解决这个限制。虽然(概念验证)架构是不适合许多评估领域,因为它缺乏代表性的能力,该域,它是更适合比现有的工作更大的数据集的民间暴力代理为基础的模型。
2019-10-10 cs.LG stat.ML
Classroom Simulacra: Building Contextual Student Generative Agents in Online Education for Learning Behavioral Simulation
University of California, San Diego(加利福尼亚大学圣迭戈分校);University of Pennsylvania(宾夕法尼亚大学)
本文针对在线教育中学生模拟忽略课程材料调节效应的问题,提出可迁移迭代反思(TIR)模块增强大语言模型,并基于60名学生6周的真实学习行为数据验证其优于经典深度学习模型,为在线教育数字孪生奠定基础。
2025-02-04 cs.AI cs.HC cs.LG
Behavioral Exploration: Learning to Explore via In-Context Adaptation
Department of Electrical Engineering \& Computer Science, University of California, Berkeley
提出行为探索方法,通过训练长上下文生成模型在专家行为空间内实现上下文适应,使智能体能够快速在线探索与适应,并在模拟和真实机器人任务中验证了其有效性。
2025-07-11 cs.LG cs.RO cs.SY
IBAD: Interpretable Behavioral Anomaly Detection on Human Mobility Data
University of Southern California(南加州大学)
提出IBAD框架,利用LDA学习可解释的日常移动模板,通过层次自监督模型检测个体行为异常,在真实和合成数据集上验证了模板的可迁移性和鲁棒性。
2026-06-16 cs.LG