Swarm Behavior Cloning
Institute of Computer Science, LMU Munich(慕尼黑大学计算机科学研究所)
针对序贯决策中行为克隆集成模型在数据稀缺状态下动作差异大导致聚合结果次优的问题,提出兼顾策略对齐与计算多样性的方法,在8个环境中验证了其可减小动作差异、提升平均回合回报。
2024-12-10 cs.AI
Thought Cloning: Learning to Think while Acting by Imitating Human Thinking
University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所)
本文提出Thought Cloning模仿学习框架,不仅克隆人类行为还克隆其思维过程,实验表明它比行为克隆学习更快、泛化更强,并能提升AI安全性、可解释性和可调试性。
2024-01-18 cs.AI cs.LG
A Framework for Few-Shot Policy Transfer through Observation Mapping and Behavior Cloning
Tufts University(塔夫茨大学);Georgia Tech Research Institute(佐治亚理工学院研究所)
提出一种基于观测映射和行为克隆的少样本策略迁移框架,利用GAN和循环一致性损失实现跨域策略迁移,在有限交互及语义差异下仍有效。
2023-10-13 cs.AI cs.LG cs.RO
Proximal Action Replacement for Behavior Cloning Actor-Critic in Offline Reinforcement Learning
School of Automation, Central South University(中南大学自动化学院);Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
本文提出近端动作替换方法,解决离线强化学习中行为克隆导致的性能瓶颈问题,通过替换亚优动作提升Actor-Critic算法性能。
2026-05-14 cs.AI cs.LG
SelfBC: Self Behavior Cloning for Offline Reinforcement Learning
Harbin Institute of Technology(哈尔滨工业大学);Shanghai AI Laboratory(上海人工智能实验室);University of Rochester(罗切斯特大学)
针对离线强化学习静态策略约束导致策略过度保守的问题,本文提出 SelfBC 动态自约束机制,并从理论与 D4RL MuJoCo 实验验证其性能。
2024-08-04 cs.AI cs.LG
Sample-Efficient Policy Learning based on Completely Behavior Cloning
Department of Computer Science and Technology, Harbin Institute of Technology, China(计算机科学与技术系,哈尔滨工业大学,中国);Department of Management Science and Engineering, Anhui University of Technology, China(管理科学与工程系,安徽理工大学,中国)
本文提出了一种基于完全行为克隆的策略初始化算法PLCBC,通过将模型预测控制转换为分段仿射函数并用神经网络表达,实现无训练的完全克隆,从而提高策略学习的效率和收敛性。
2018-11-09 cs.AI cs.LG cs.SY
Behavioral Cloning via Search in Video PreTraining Latent Space
University of Eastern Finland(东芬兰大学);University of Bielefeld(比勒费尔德大学);Indian Institute of Technology BHU(印度理工学院(BHU))
本文提出在视频预训练潜在空间中对 BASALT MineRL 专家演示进行邻近搜索的行为克隆方法,使智能体在 Minecraft 中展现类人行为。
2023-04-17 cs.AI cs.CV cs.LG
Pragmatic Policy Development via Interpretable Behavior Cloning
Chalmers University of Technology and University of Gothenburg(查尔姆斯理工大学和哥德堡大学);Thermo Fisher Scientific(热电科技)
针对离线强化学习策略难解释、离策略评估易失稳的问题,提出用可解释树模型克隆高频临床行为并控制策略重叠,在类风湿关节炎和脓毒症案例中取得优于当前实践的效果。
2025-07-22 cs.AI cs.LG
When Life Gives You BC, Make Q-functions: Extracting Q-values from Behavior Cloning for On-Robot Reinforcement Learning
Rai-Inst
提出Q2RL算法,通过从行为克隆策略中提取Q函数并利用Q门控切换策略,实现高效的离线到在线强化学习,在机器人操作任务中达到100%成功率和3.75倍提升。
2026-06-17 cs.AI cs.RO
Cortex: Compact Behavior Cloning for Quake with Frozen Visual Features
研究在不添加强化学习等情况下,简单行为克隆策略在《雷神之锤》游戏中的进展。核心方法是基于冻结视觉特征的Cortex策略,在Pixels2Play语料库子集训练。主要贡献是评估了该策略表现,通过消融实验揭示影响因素,还发布了相关内容。
2026-08-05 cs.AI cs.CV cs.LG
Efficient Exploration via First-Person Behavior Cloning Assisted Rapidly-Exploring Random Trees
Georgia Institute of Technology(佐治亚理工学院)
现代计算机游戏具有极大的状态和动作空间。为了检测这些游戏模型中的错误,人类测试人员反复玩游戏以探索游戏并发现游戏中的错误。这样的游戏是详尽和耗时的。此外,由于机器人模拟器依赖于模型规范和调试的类似方法,因此在模型中发现错误的问题对机器人社区来说是感兴趣的,以确保机器人行为和交互在模拟器中是一致的。以前的方法使用了强化学习arXiv:2103.13798和基于搜索的方法(Chang,2019,(Chang,2021)arXiv:1811.06962),包括快速探索随机树(RRT)来探索游戏的状态-动作空间以找到错误。然而,这种基于搜索和探索的方法在没有预定义的启发式的情况下探索状态-动作空间时是无效的。在这项工作中,我们试图结合人类测试人员的专业知识,在解决游戏,和RRT的穷举搜索游戏的状态空间有效地与高覆盖率。本文介绍了克隆辅助RRT(CA-RRT),通过搜索测试一个游戏。我们将我们的方法与两个现有的基线进行比较:1)如arXiv:1812.03125所述的加权RRT; 2)如Chang et.我们发现CA-RRT适用于更多的游戏地图,并探索更多的游戏状态,在更少的树扩展/迭代时,与现有的基线相比。在每个测试中,CA-RRT在与加权RRT相同的迭代次数中平均达到更多的状态。在我们的测试环境中,CA-RRT达到与加权RRT相同数量的状态,平均迭代次数减少了5000多次,几乎减少了50…
2022-04-20 cs.AI cs.LG cs.RO
Is Behavior Cloning All You Need? Understanding Horizon in Imitation Learning
Microsoft Research(微软研究院);MIT(麻省理工学院)
该研究从学习理论角度重新审视离线与在线模仿学习的差距,分析带对数损失的行为克隆,发现满足特定条件时离线IL可实现时间跨度无关的样本复杂度,且离线与在线IL的差距小于此前认知,实验验证了结果的实际相关性。
2024-11-30 cs.AI cs.LG math.ST
SABR: A Stable Adaptive Bitrate Framework Using Behavior Cloning Pretraining and Reinforcement Learning Fine-Tuning
Ningbo Artificial Intelligence Institute, Shanghai Jiao Tong University, Ningbo, China(宁波人工智能研究院,上海交通大学,宁波,中国);School of Automation and Intelligent Sensing, Shanghai Jiao Tong University, Shanghai, China(自动化与智能感知学院,上海交通大学,上海,中国);School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore(电子与电气工程学院,南洋理工大学,新加坡)
针对基于学习的ABR方法在分布外网络条件下泛化差的问题,提出结合行为克隆预训练与强化学习微调的SABR框架,并引入ABRBench基准,实验证明其在广泛分布上学习更稳定且泛化性更优。
2025-08-30 cs.AI cs.LG cs.MM
On Value Discrepancy of Imitation Learning
Nanjing University(南京大学);Polixir
模仿学习从专家示范中训练策略。模仿学习方法已经从各种原理中设计出来,例如通过监督学习的行为克隆,通过反向强化学习的学徒学习,以及通过生成对抗学习的GAIL。本文提出了一个基于差异传播分析的模仿学习方法的理论性质分析框架。在无限时域条件下,该框架导致行为克隆的值偏差为O((1-γ)^{-2})。我们还证明了该框架导致GAIL的值差异的顺序为O((1-γ)^{-1})。这意味着GAIL比行为克隆具有更少的复合误差,这也在本文中得到了实证验证。据我们所知,我们是第一个从理论上分析GAIL的性能。上述结果表明,所提出的框架是一个通用的工具来分析模仿学习的方法。我们希望我们的理论研究结果可以为今后模仿学习算法的改进提供参考。
2019-11-16 cs.AI cs.LG stat.ML
Human-AI Coordination via Human-Regularized Search and Learning
Meta AI;Oxford University(牛津大学)
我们考虑的问题,使人工智能智能体,以及与人类合作的部分可观察的完全合作的环境中,给定的人类行为的数据集。受piKL的启发,piKL是一种人类数据正则化的搜索方法,它改进了行为克隆策略,而不会远离它,我们开发了一个三步算法,在Hanabi基准测试中与真实人类协调时实现了强大的性能。我们首先使用正则化搜索算法和行为克隆来生成更好的人类模型,以捕获不同的技能水平。然后,我们将策略正则化思想融入强化学习中,对人体模型进行训练类人最佳反应。最后,我们在测试时将正则化搜索应用于最佳响应策略之上,以处理与人类一起玩时的分布外挑战。我们评估我们的方法在两个大规模的实验与人类。首先,我们证明了我们的方法在与一组不同的人类玩家在特设团队中玩时优于专家。第二,我们表明,我们的方法击败了香草最佳对策的行为克隆基线,专家反复发挥与两个代理。
2022-10-11 cs.AI cs.LG cs.MA
Inverse Reinforcement Learning from Non-Stationary Learning Agents
Duke University(杜克大学);US Air Force(美国空军);AFRL Division(空军研究实验室分部)
本文针对学习智能体在非平稳学习过程中的奖励函数估计问题,提出基于 bundle behavior cloning 的逆向强化学习方法,利用少量轨迹克隆策略并训练神经网络估计奖励,理论分析和实验验证了其优于标准行为克隆。
2024-10-18 cs.AI cs.LG
Object-Aware Regularization for Addressing Causal Confusion in Imitation Learning
Korea Advanced Institute of Science and Technology(韩国科学技术院);Microsoft Research Asia(微软亚洲研究院)
行为克隆已被证明是有效的学习顺序决策的政策,从专家示范。然而,行为克隆经常遭受因果混淆的问题,即由于强相关性而不是我们想要的原因,政策依赖于专家行为的明显效果。本文介绍了对象感知的规则化(OREO),一个简单的技术,规范化的模仿政策,在对象感知的方式。我们的主要思想是鼓励政策,统一参加所有的语义对象,以防止利用滋扰变量与专家的行动强烈相关的政策。为此,我们引入了一个两阶段的方法:(a)我们通过利用来自矢量量化变分自编码器的离散代码从图像中提取语义对象,以及(b)我们随机丢弃共享相同离散代码的单元,即,屏蔽语义对象我们的实验表明,OREO显着提高了行为克隆的性能,在各种Atari环境和自动驾驶CARLA环境中的性能优于其他各种基于正则化和cacability-based方法。我们还表明,我们的方法甚至优于反向强化学习方法训练了大量的环境交互。
2021-10-27 cs.AI cs.LG
Cloning a Conversational Voice AI Agent from Call\,Recording Datasets for Telesales
Amity AI Research and Application Center(阿米蒂AI研究与应用中心)
本研究提出从通话录音克隆对话式语音AI智能体的通用方法,整合ASR、LLM对话管理器与TTS构建流式流水线,经电话销售场景测试,其常规表现接近人类但说服与异议处理能力不足,并给出优化方向与设计经验。
2025-09-05 cs.AI cs.LG
Whispering to a Blackbox: Bootstrapping Frozen OCR with Visual Prompts
Duke University(杜克大学)
通过视觉提示框架Whisperer,利用行为克隆方法提升冻结OCR模型的性能,减少字符错误率8%。
2026-03-05 cs.AI cs.LG
Should We Ever Prefer Decision Transformer for Offline Reinforcement Learning?
本文通过在稀疏奖励环境下的实验表明,基于MLP的Filtered Behavior Cloning (FBC) 比Decision Transformer (DT) 性能更优且计算更高效,从而质疑DT在离线强化学习中是否具有任何实际偏好价值。
2025-07-14 cs.AI cs.LG
Blockchain-assisted Demonstration Cloning for Multi-Agent Deep Reinforcement Learning
Concordia University(康考迪亚大学);Khalifa University(哈利法大学)
本文提出区块链辅助的多专家演示克隆框架,利用专家演示和区块链模型共享指导多智能体强化学习,提升学习速度与抗恶意模型韧性。
2025-01-19 cs.AI cs.LG
Behavior Cloning is Not All You Need: The Optimality of On-Policy Distillation for Noisy Expert Feedback
Columbia University(哥伦比亚大学)
针对噪声专家反馈场景,理论证明离线模仿学习样本复杂度指数增长,而在线策略蒸馏可实现多项式依赖,解释了为何在线方法优于离线方法。
2026-07-01 cs.AI cs.LG stat.ML
Learning Clinical-Trial Strategy: Offline Policy Training for Decision Agents
本研究将肿瘤学临床开发建模为离线决策问题,构建时间数据集,对比4种离线目标与4种LLM智能体,发现奖励加权行为克隆表现最优,证明结构化离线学习可用于规划临床实验。
2026-08-05 cs.AI cs.LG
Scaling Behavior Cloning Improves Causal Reasoning: An Open Model for Real-Time Video Game Playing
本研究提出了一种开放的训练方法,通过扩大模型和数据规模提升因果推理能力,展示了在实时视频游戏中的高性能表现。
2026-01-28 cs.AI
Exploring the Limitations of Behavior Cloning for Autonomous Driving
Computer Vision Center (CVC)(计算机视觉中心(CVC));Toyota Research Institute (TRI)(丰田研究院(TRI))
驾驶需要对各种复杂的环境条件和代理行为做出反应。对每一种可能的场景进行明确的建模是不现实的。相比之下,模仿学习理论上可以利用大量人类驾驶汽车的数据。特别是行为克隆已经成功地用于端到端学习简单的可视化策略,但是扩展到驾驶行为的全谱仍然是一个未解决的问题。在本文中,我们提出了一个新的基准实验研究的可扩展性和局限性的行为克隆。我们发现,行为克隆导致国家的最先进的结果,包括在看不见的环境中,执行复杂的横向和纵向机动,而这些反应被明确编程。然而,我们确认了众所周知的局限性(由于数据集偏差和过拟合),新的泛化问题(由于动态对象和缺乏因果模型),以及训练不稳定性,需要进一步研究,然后才能将行为克隆应用于现实世界的驾驶。所研究的行为克隆方法的代码可以在https://github.com/felipecode/coiltraine上找到。
2019-04-18 cs.AI cs.CV
Rate optimal learning of equilibria from data
该论文填补了多智能体模仿学习的理论空白,提出了首个近最优样本复杂度的交互式算法MAIL-WARM,将样本复杂度从ε的-8次方改进到-2次方,并证明行为克隆在非交互设置下速率最优。
2025-10-10 cs.AI cs.LG
Offline Actor-Critic Reinforcement Learning Scales to Large Models
Google Deepmind(谷歌DeepMind)
本研究证明离线演员-评论家强化学习可扩展至大型模型,遵循与监督学习相似的缩放规律,并在132个连续控制任务上超越行为克隆基线,引入Perceiver模型实现多任务策略学习。
2024-02-08 cs.AI cs.LG cs.RO
Behavior Cloning in OpenAI using Case Based Reasoning
Carleton University(卡尔顿大学)
从观察中学习(LfO),也称为行为克隆,是一种通过记录专家(人类或人工)的行为并使用记录的数据生成所需行为来构建软件代理的方法。jLOAF是一个使用基于案例的推理来实现LfO的平台。在本文中,我们将jLOAF与流行的OpenAI Gym环境相连接。我们的实验结果表明,我们的方法可以用来提供一个基线比较在这一领域,以及确定的优势和劣势时,处理环境的复杂性。
2020-02-23 cs.AI cs.LG
Behavioral Cloning via Search in Embedded Demonstration Dataset
University of Eastern Finland(东芬兰大学);Bielefeld University(比勒费尔德大学)
针对行为克隆的学习与策略适配问题,提出在隐空间索引演示数据集、通过搜索相似经验复制行为的方法,在Minecraft场景下性能与训练模型相当,支持零样本任务适配。
2023-06-15 cs.AI
Guided Flow Policy: Learning from High-Value Actions in Offline Reinforcement Learning
Inria and DI-ENS, PSL Research University(Inria和DI-ENS,PSL研究大学);Sorbonne Université, CNRS, ISIR, France(索邦大学,CNRS,ISIR,法国)
引导流策略通过结合多步流匹配与提炼的演员,有效区分高价值动作,从而在多个基准测试中实现卓越性能。
2026-03-05 cs.AI cs.LG
No Metrics Are Perfect: Adversarial Reward Learning for Visual Storytelling
University of California, Santa Barbara(加州大学圣巴巴拉分校)
虽然视觉字幕已经取得了令人印象深刻的成果,从照片流生成抽象故事的任务仍然是一个很少开发的问题。与字幕不同,故事具有更强的语言表现力,包含了许多想象中的概念,而这些概念在图像中是不可能出现的。这就给行为克隆算法提出了挑战。此外,由于评估故事质量的自动度量的限制,具有手工制作的奖励的强化学习方法在获得整体性能提升方面也面临困难。因此,我们提出了一个对抗性奖励学习(AREL)框架,从人类演示中学习隐式奖励函数,然后使用学习到的奖励函数优化策略搜索。虽然自动评估表明,在克隆专家行为方面,与最先进的(SOTA)方法相比,性能略有提高,但人工评估表明,我们的方法在生成更多类似于SOTA系统的故事方面取得了显着改进。
2018-07-09 cs.AI cs.CL cs.CV
Reinforcement learning meets bioprocess control through behaviour cloning: Real-world deployment in an industrial photobioreactor
Centro Mixto CIESOL, ceia3, Department of Informatics, Universidad de Almería(混合中心CIESOL,ceia3,信息学院,阿尔梅里亚大学);Sargent Centre for Process Systems Engineering(过程系统工程塞甘中心)
本研究提出结合行为克隆的强化学习控制方法,用于开放式光生物反应器的pH调节,通过离线训练与在线微调,显著降低误差和控制成本,并经实验验证其稳健性。
2025-09-08 cs.AI cs.LG cs.SY
Augmented Behavioral Cloning from Observation
Pontifícia Universidade Católica do Rio Grande do Sul(南里奥格兰德天主教大学)
观察模仿是一种计算技术,它通过只观察来自专家演示的状态序列来教导代理如何模仿专家的行为。最近的方法学习环境的逆动力学和模仿政策,通过交错的时代,同时改变演示数据。然而,这种方法往往陷入远离专家的次优解决方案,限制了其模仿效果。我们用一种新的方法来解决这个问题,该方法通过探索:(I)一种自我注意力机制,可以更好地捕获状态的全局特征;(ii)一种采样策略,可以调节用于学习的观察结果。我们的经验表明,我们的方法优于国家的最先进的方法在四个不同的环境中的一个很大的利润。
2020-04-28 cs.AI
ABC: Adversarial Behavioral Cloning for Offline Mode-Seeking Imitation Learning
UT Austin(德克萨斯大学奥斯汀分校);Army Research Laboratory(陆军研究实验室);Sony AI(索尼人工智能)
给定专家代理与感兴趣的环境交互的数据集,提取有效代理策略的可行方法是估计由该数据指示的最大似然策略。这种方法通常被称为行为克隆(BC)。在这项工作中,我们描述了BC的一个关键缺点,由于最大似然目标函数,即BC是平均寻求相对于状态条件专家动作分布时,学习者的政策是用高斯表示。为了解决这个问题,我们引入了BC的修改版本,对抗行为克隆(ABC),它通过结合GAN(生成对抗网络)训练的元素来表现出模式搜索行为。我们在玩具领域和基于DeepMind Control套件Hopper的领域上评估了ABC,并表明它在本质上是模式搜索,优于标准BC。
2022-11-08 cs.AI cs.LG
Learning visual servo policies via planner cloning
Khoury College of Computer Sciences, Northeastern University(东北大学库里计算机学院);Boston University(波士顿大学)
新环境下视觉伺服的学习控制策略是一个重要问题。然而,标准的无模型策略学习方法是缓慢的。本文探讨了规划克隆:使用行为克隆来学习策略,模仿仿真中的全状态运动规划器的行为。提出了一种新的行为克隆算法-惩罚Q克隆(PQC)。我们表明,它优于几个基线和消融的一些具有挑战性的问题,涉及视觉伺服在新的环境中,同时避免障碍物。最后,我们证明,这些政策可以有效地转移到一个真正的机器人平台上,实现了约87%的成功率在模拟和真实的机器人。
2020-05-24 cs.AI cs.LG cs.RO
One ACT Play: Single Demonstration Behavior Cloning with Action Chunking Transformers
Carnegie Mellon University(卡内基梅隆大学)
本文提出仅用一次人类演示即可完成机器人行为克隆的方法,通过线性变换扩充演示轨迹,并改进动作分块Transformer的时间集成策略,在三个积木操作任务上取得显著性能提升。
2023-09-18 cs.AI cs.LG cs.RO
Optimally Teaching a Linear Behavior Cloning Agent
UW-Madison(威斯康星大学麦迪逊分校);MPI-SWS(马克斯·普朗克软件系统研究所)
研究线性行为克隆学习器的最优教学问题,提出TIE算法实现实例最优教学维度,证明寻找最优教学集为NP困难,并给出近似比为$\log(|A|-1)$的近似算法。
2023-11-26 cs.AI cs.LG
Never-Ending Behavior-Cloning Agent for Robotic Manipulation
State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences(机器人国家重点实验室,沈阳自动化研究所,中国科学院);University of Chinese Academy of Sciences(中国科学院大学);School of Automation Science and Engineering, South China University of Technology(自动化科学与工程学院,华南理工大学);Mohamed bin Zayed University of Artificial Intelligence(马斯达尔大学人工智能学院)
本文提出NBAgent,通过持续学习技能共享和特定属性,解决具身机器人中3D场景表示和人类水平任务学习的挑战。
2025-12-26 cs.AI cs.RO
Behavior Transformers: Cloning $k$ modes with one stone
New York University(纽约大学)
虽然行为学习近年来取得了令人印象深刻的进展,但由于无法利用大型人类生成的数据集,它落后于计算机视觉和自然语言处理。人类的行为有很大的差异,多种模式,人类的示范通常没有奖励标签。这些属性限制了离线RL和行为克隆中当前方法从大型预收集数据集学习的适用性。在这项工作中,我们提出了行为Transformer(BeT),一种新的技术来模拟未标记的演示数据与多个模式。BeT改进了标准Transformer架构,其动作离散化与受目标检测中的偏移预测启发的多任务动作校正相结合。这使我们能够利用现代Transformers的多模态建模能力来预测多模态连续动作。我们在各种机器人操作和自动驾驶行为数据集上对BeT进行了实验评估。我们表明,BeT显着改善了解决演示任务的现有最先进的工作,同时捕获了预先收集的数据集中存在的主要模式。最后,通过广泛的消融研究,我们分析了BeT中每个关键组成部分的重要性。BeT生成的行为视频可在https://notmahi.github.io/bet上获得
2022-10-11 cs.AI cs.CV cs.LG
Posterior Behavioral Cloning: Pretraining BC Policies for Efficient RL Finetuning
UC Berkeley(伯克利大学);Stanford(斯坦福大学)
本文提出后验行为克隆策略,通过建模示范者行为的后验分布来提升强化学习微调效果。
2025-12-18 cs.AI cs.LG cs.RO
Diffusion Model-Augmented Behavioral Cloning
National Taiwan University(台湾大学)
本文提出DBC框架,通过扩散模型同时建模专家分布的条件概率和联合概率,优化BC损失与扩散模型损失,在多种连续控制任务中优于基线。
2024-06-03 cs.AI cs.LG cs.RO
Behavior Cloning Under PD Control: A Finite-Horizon Theory of Gain-Dependent Error Amplification
PIT IN Corp.(PIT IN公司)
本文研究了行为克隆中控制器增益对有限时间任务失败的影响,通过分析误差传播机制,推导出代理矩阵X_∞(K)的表达式,并提出基于结构假设的界限,揭示了增益依赖误差衰减的非渐近有限时间扩展。
2026-06-23 cs.AI cs.RO math.OC
When Does Predictive Inverse Dynamics Outperform Behavior Cloning?
University of Cambridge(剑桥大学);Universitygrow
本文通过理论分析解释了预测性逆动力学模型(PIDM)为何在行为克隆(BC)失败时表现更优,归因于偏差-方差权衡,并实验验证了PIDM在样本效率上的显著优势。
2026-07-03 cs.AI cs.LG
GBC: Generalized Behavior-Cloning Framework for Whole-Body Humanoid Imitation
SJTU MVASL Lab, Department of Automation, Shanghai Jiao Tong University(上海交通大学自动化系)
本文提出GBC框架,通过自适应数据管道、DAgger-MMPPO算法与Isaac Lab开源平台,实现从人类运动数据到机器人动作的端到端泛化模仿,解决了不同机器人形态间数据处理与学习算法不通用的问题。
2025-08-13 cs.AI cs.LG cs.RO
Data augmentation for efficient learning from parametric experts
DeepMind(深度思维)
我们提出了一种简单而强大的数据增强技术,使数据有效的学习参数专家强化和模仿学习。我们专注于我们所谓的策略克隆设置,其中我们使用专家或专家策略的在线或离线查询来通知学生策略的行为。这种设置在许多问题中自然出现,例如作为行为克隆的变体,或作为其他算法(如DAGGER,策略蒸馏或KL正则化RL)的组件。我们的方法,增强的政策克隆(APC),使用合成状态,以诱导反馈敏感性在采样轨迹周围的区域,从而大大减少了成功克隆的专家所需的环境相互作用。对于高自由度的控制问题,我们实现了从专家到学生策略的高数据效率的行为转移。我们证明了我们的方法的好处,在几个现有的和广泛使用的算法,包括政策克隆作为一个组成部分的背景下。此外,我们强调了我们的方法在两个实际相关的设置中的好处:(a)专家压缩,即转移到具有较少参数的学生;(b)从特权专家转移,即专家具有与学生不同的观察空间,通常包括访问特权信息。
2022-05-23 cs.AI cs.LG
Chain of Thought Imitation with Procedure Cloning
Google Brain(谷歌大脑);UC Berkeley(加州大学伯克利分校)
模仿学习旨在从专家行为的记录演示中提取高性能策略。通常将模仿学习视为一个监督学习问题,在这个问题中,人们将一个函数逼近器拟合到记录的演示所展示的输入-输出映射(输入观察到输出动作)。虽然将模仿学习作为一个有监督的输入-输出学习问题的框架允许在各种各样的设置中的适用性,但在专家演示提供对专家行为更丰富的洞察力的情况下,这也是对问题的过于简单化的看法。例如,路径导航、机器人操作和策略游戏等应用程序通过规划、搜索或其他多步算法获得专家演示,不仅揭示了要模仿的输出动作,还揭示了如何确定该动作的过程。虽然这些中间计算可能使用在推理期间代理不可用的工具(例如,环境模拟器),但它们作为一种解释专家的状态到动作的映射的方式是信息丰富的。为了适当地利用专家程序信息,而不依赖于特权工具的专家可能已经用来执行的程序,我们提出了程序克隆,它适用于监督序列预测模仿一系列的专家计算。这样,过程克隆不仅学习做什么(即,输出动作),但是如何以及为什么要这样做(即,程序)。通过对导航,模拟机器人操作和游戏环境的实证分析,我们表明,模仿专家的行为的中间计算,使程序克隆学习政策表现出显着的泛化看不见的环境配置,包括那些配置,直接运行专家的程序是不可行的。
2022-05-22 cs.AI cs.LG
Continuous Vision-Language-Action Co-Learning with Semantic-Physical Alignment for Behavioral Cloning
本文提出CCoL框架,通过连续共学视觉、语言和动作,解决行为克隆中的语义-物理不一致问题,提升动作执行的准确性和鲁棒性。
2025-12-23 cs.AI cs.CV cs.RO
Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
Arizona State University(亚利桑那州立大学)
针对非马尔可夫环境下行为克隆的长时程依赖问题,提出Keyframe Mnemonics自监督关键帧发现方法,在合成域和机器人操纵基准上均实现了显著性能提升与长时程泛化能力。
2026-11-10 cs.AI cs.RO
Learning the Generalizable Manipulation Skills on Soft-body Tasks via Guided Self-attention Behavior Cloning Policy
Guangxi University(广西大学);University of Science and Technology of China(中国科学技术大学)
针对具身智能中软体操作技能泛化难的问题,提出含引导自注意力模块、两阶段微调的GP2E行为克隆策略,在ManiSkill2挑战赛软体赛道夺冠,提升了模型泛化能力。
2024-10-08 cs.AI cs.RO
Closed-Loop Evaluation of Bird's-Eye-View Maps from Cross-View Transformers as Inputs to Behavior-Cloning Policies
Federal University of Santa Catarina (UFSC)(圣卡塔琳娜联邦大学)
本研究在CARLA中评估跨视角变换器预测鸟瞰图作为行为克隆策略输入,提出六通道表示和KDE加权,发现全局IoU不能预测驾驶性能,路线通道是导航关键瓶颈。
2026-09-09 cs.AI cs.CV cs.RO
AgentLeak: Cloning Stronger LLM Agent Capabilities onto Weaker Agents Beyond Skill Stealing
Xi’an Jiaotong University(西安交通大学);INRIA(法国国家信息与自动化研究所);University of Warwick(华威大学);Zhejiang Key Laboratory of Artificial Intelligence of Things (AIoT) Network and Data Security(浙江省人工智能物联网(AIoT)网络与数据安全重点实验室)
AgentLeak通过分析受害者与攻击者执行差异,识别能力关键行为并注入攻击者技能,在黑盒场景下将任务通过率提升超40%,恢复80%以上能力差距,揭示LLM智能体执行行为泄露程序性知识的机密性风险。
2026-09-09 cs.AI cs.CR
Self-Supervised Behavior Cloned Transformers are Path Crawlers for Text Games
University of Arizona(亚利桑那大学)
针对文本游戏中行为克隆依赖监督数据的问题,提出自监督探索奖励轨迹并用小模型筛选通用数据的 Transformer 方法,在三个基准上达到监督系统约 90% 的性能。
2023-12-07 cs.AI cs.CL
How Generalizable Is My Behavior Cloning Policy? A Statistical Approach to Trustworthy Performance Evaluation
Toyota Research Institute(丰田研究所);Stanford University(斯坦福大学)
针对行为克隆策略在少量真实展开和分布偏移下难以可信评估的问题,本文提出基于随机序与置信界的统计框架,用最少 rollouts 给出任意环境性能分布的紧下界,并在仿真和硬件操作任务中验证。
2024-07-18 cs.AI cs.LG cs.RO
Exploring multimodal implicit behavior learning for vehicle navigation in simulated cities
Systems Engineering Department, Federal University of Santa Catarina, Florianopolis, Brazil Faculty of Science;Engineering, Information Technology Åbo Akademi University, Finland
针对标准行为克隆无法学习多模态驾驶决策的问题,本文提出数据增强的隐式行为克隆(DA-IBC),通过扰动专家动作构造反例并改进无导数推理初始化,在CARLA城市驾驶任务中有效学习多模态动作分布并优于标准IBC。
2025-09-18 cs.AI cs.LG cs.RO