Autonomous Interpretation of Demonstrations for Modification of Dynamical Movement Primitives
LCCC Linnaeus Center(LCCC林纳尤斯中心);ELLIIT Excellence Center(ELLIIT卓越中心)
本文提出了一种框架,使机器人操作员能够直观地调整动力学运动原语(DMPs)。通过使用引导通过编程,操作员可以演示纠正轨迹,从而生成一个结合故障轨迹前部分和纠正轨迹后部分的修改DMP。
2019-05-27 cs.RO cs.SY eess.SY
EgoRecovery: Acquiring Failure Recovery Ability Through Human Recovery Demonstration
Institute of Trustworthy Embodied AI (TEAI), Fudan University(复旦大学可信具身人工智能研究所);Shanghai Key Laboratory of Multimodal Embodied AI(上海多模态具身人工智能重点实验室)
研究如何让具身机器人从故障中恢复,提出EgoRecovery协同训练框架,利用以自我为中心的人类数据捕捉故障恢复过程,将人类恢复演示与机器人数据共享空间对齐,实验证明该方法在现实世界恢复任务中比多种基线方法成功率更高。
2026-07-24 cs.CV cs.RO
Is Online Interaction Necessary for Recovery? A Minimalist Approach to Robust Planning via Perturbation
针对行为克隆在闭环执行中易受协变量偏移影响的问题,提出扰动增强恢复监督(PARS),仅用现有演示通过扰动状态并锚定轨迹后半段来提供恢复监督,无需额外交互或专家,在51个RLBench任务上验证了鲁棒性提升。
2026-09-29 cs.RO
Res-HIL: Human-Guided Residual Reinforcement Learning for Sample-Efficient Dexterous Manipulation
Siemens AG, Research and Predevelopment(西门子股份公司,研究与预开发部);Technical University of Munich(慕尼黑工业大学)
Res-HIL提出人在回路残差强化学习框架,在冻结的模仿策略上学习纠正动作,结合直接监督与奖励塑形,仅用20个示范和十分钟训练即在五个灵巧操作任务上超越现有方法。
2026-09-25 cs.RO
Learning Autonomous Mobility Using Real Demonstration Data
University of Edinburgh(爱丁堡大学);School of Informatics(信息学院);Institute for Perception, Action, and Behaviour(感知、行动与行为研究所)
提出了一种有效的基于学习的框架,从人的遥操作演示中学习反馈控制策略,实现了履带式机器人的越障、楼梯穿越、打滑控制和包裹投递。由于现实世界中的不确定性,如障碍物和滑移,闭环反馈控制在提高鲁棒性和弹性方面发挥着重要作用,但控制律难以手动编程以实现自主行为。我们制定了一个基于长短期记忆(LSTM)神经网络的架构,它可以有效地从人类演示中学习反应式控制策略。使用来自一些真实演示的数据集,我们的算法可以直接学习成功的策略,包括障碍物谈判,爬楼梯和交付,跌倒恢复和滑动的纠正控制。我们提出了复杂机器人动作的分解,以减少学习的长期依赖关系的难度。此外,我们提出了一种方法来有效地处理非最佳演示和学习新技能,因为收集足够的演示可能是耗时的,有时在一个真正的机器人系统上是非常困难的。
2021-08-10 cs.RO
From Action Labels to Sets: Rethinking Action Supervision for Imitation Learning from Corrective Feedback
Delft University of Technology, The Netherlands(代尔夫特理工大学,荷兰);KTH, Sweden(瑞典皇家理工学院);University of Stuttgart, Germany(斯图加特大学)
本文提出CLIC方法,通过将点状监督替换为集合值动作目标,提升在不准确反馈下的模仿学习效果,实验表明其在不同场景下具有更高的鲁棒性。
2026-04-30 cs.RO
Recursive Self-Improvement of Visuomotor Policies through Local Recovery Supervision
Beihang University(北京航空航天大学)
提出通过局部恢复监督递归自我改进视觉运动策略的框架,利用离线审计和教师生成纠正演示,在LIBERO-Goal和robomimic Can上分别提升成功率至88/100和112/130。
2026-10-06 cs.RO
Active Robot Curriculum Learning from Online Human Demonstrations
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
提出一种基于课程学习的主动 LfD 方法,通过优化在线人类演示的查询序列引导难度递增,显著提升了机器人的学习性能与样本效率,并改善了人类教学表现、适应性和可迁移性。
2025-03-04 cs.RO
Human-Robot Copilot for Data-Efficient Imitation Learning
UC San Diego(加州大学圣地亚哥分校)
本文提出人机协同框架,通过调整缩放因子实现灵活远程操作,同时兼容多种工业和研究机械臂,实验显示在相同演示轨迹数下性能更优,数据收集更高效。
2026-04-04 cs.RO
Correct Me if I am Wrong: Interactive Learning for Robotic Manipulation
University of Freiburg(弗赖堡大学)
从视觉观察中学习解决复杂的操作任务是现实世界机器人学习的主要挑战。尽管深度强化学习算法最近在这方面取得了令人印象深刻的结果,但它们仍然需要大量耗时的试错迭代。在这项工作中,我们认为有前途的替代范式的交互式学习中,一个人类教师提供反馈的政策在执行过程中,而不是模仿学习,使用预先收集的数据集完美的演示。我们提出的CEILing(纠正和评价的互动学习)框架结合了纠正和评价的反馈,从教师训练的随机政策,在异步的方式,并采用了一个专门的机制来权衡人类的更正与机器人自己的经验。我们在广泛的模拟和真实世界的实验中展示了我们的框架所获得的结果,以证明CEILing可以在不到一个小时的真实世界训练中直接从原始图像有效地解决复杂的机器人操作任务。
2022-01-19 cs.RO
Comparing Human-Centric and Robot-Centric Sampling for Robot Deep Learning from Demonstrations
University of California, Berkeley(加州大学伯克利分校)
受机器人控制深度学习最新进展的启发,本文考虑了两种学习算法如何获取演示。“以人为中心”(HC)采样是标准的监督学习算法,其中人类监督者通过远程操作机器人来提供由状态控制对组成的轨迹来演示任务。“以机器人为中心”(RC)采样是Dagger等算法中越来越流行的替代方案,其中人类主管观察机器人执行学习的策略,并为访问的每个状态提供纠正控制标签。RC采样对于人类监督员来说可能具有挑战性,并且容易出现错误标记。RC采样也可能导致策略性能的错误,因为它重复访问状态空间中难以学习的区域。虽然对于标准学习模型(例如线性SVM),使用RC采样学习的策略可能优于HC采样,但使用HC采样学习的策略可能与具有很小模型误差的高表达性学习模型(例如深度学习和超参数决策树)相当。我们比较HC和RC使用网格世界和物理机器人分离任务,其中在后者的输入是一个二进制图像的一组连接的对象在一个平面的工作表面和政策产生的运动的抓手,以分离一个对象从其余的。我们在模拟中观察到,对于线性SVM,使用RC学习的策略优于使用HC学习的策略,但对于深度模型,这种优势消失了。我们还发现,与RC,由人类提供的纠正控制标签可以是高度不一致的。我们证明了存在一类例子,在极限,HC是保证收敛到一个最优的政策,而RC可能无法收敛。
2017-03-29 cs.LG cs.RO
Bridging Frontier Reasoning and Robot Execution: From Autonomous Demonstration Generation to Dense Language Supervision
University of California, San Diego(加州大学圣迭戈分校);NVIDIA(英伟达)
本研究提出自主演示生成与密集语言监督两种互补方法,连接前沿推理与低延迟机器人执行,在长时域任务中提升指令遵循性能,并验证其协同有效性。
2026-10-05 cs.RO
Incremental Learning of Probabilistic Movement Primitives (ProMPs) for Human-Robot Cooperation
Western Norway University of Applied Sciences(西挪威应用科学大学);University of Plymouth(普利茅斯大学)
为了成功部署物理人机合作(pHRC),人类需要能够快速教会机器人新的运动技能。概率运动基元(ProMPs)是一种很有前途的方法来编码机器人的运动技能,从人类的示范pHRC设置。然而,大多数从人类演示中学习ProMP的算法都以批处理模式运行,这在pHRC中并不理想。在本文中,我们提出了一个新的学习算法,学习ProMP增量pHRC设置。我们的算法在新的演示到达时按顺序加入新的演示,允许人类观察机器人的学习进度,并逐渐塑造机器人的运动技能。一个内置的遗忘因子允许由人类的学习曲线或任务约束的变化引起的校正演示。我们比较我们的算法的性能,现有的批处理ProMP算法的参考数据产生的拾取和放置任务在我们的实验室。此外,我们在一个概念研究的证明中展示了一只弗兰卡·帕卡熊猫的遗忘因子是如何让我们在任务中采用变化的。本文提出的增量式学习算法有可能导致一个更直观的学习过程,并建立一个成功的人与机器人之间的合作速度比训练在批处理模式。
2021-05-28 cs.RO
Robot Policy Transfer with Online Demonstrations: An Active Reinforcement Learning Approach
Vrije Universiteit (VU) Amsterdam(阿姆斯特丹自由大学)
本文提出主动LfD算法Policy Transfer with Online Demonstrations,在有限演示预算下优化在线专家演示查询的时机与内容,显著提升机器人跨环境、任务和实体的策略迁移性能。
2025-03-17 cs.AI cs.LG cs.RO
ReGIL: Retrieval-Guided Imitation Learning from a Single Demonstration
Aalto University(阿尔托大学)
提出ReGIL框架,将单一示范作为外部记忆,通过检索引导探索、生成正则化缓冲和构建奖励,在LIBERO和Meta-World基准及真实机器人任务中显著提升成功率和训练效率。
2026-06-08 cs.RO
Curating Demonstrations using Online Experience
Stanford University(斯坦福大学)
本文提出 Demo-SCORE 方法,通过训练分类器区分策略执行成功与否,让机器人基于在线经验自动筛选异构演示数据,从而提升模仿学习策略性能,实验显示绝对成功率提升 15-35%。
2025-07-22 cs.AI cs.LG cs.RO
Learning Forceful Manipulation Skills from Multi-modal Human Demonstrations
University of Stuttgart(斯图加特大学);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心);Bosch Corporate Research(博世企业研究)
示教学习(LfD)提供了一种直观、快速的机器人操作器编程方法。任务参数化表示允许轻松适应新场景和在线观察。然而,这种方法仅限于姿势演示,因此仅限于具有空间和时间特征的技能。在这项工作中,我们扩展了LfD框架,以解决有力的操作技能,这是非常重要的工业过程,如装配。对于这些技能,包括机器人末端执行器姿势,力和扭矩读数以及操作场景在内的多模态演示是必不可少的。我们的目标是根据不同场景中所展示的姿势和力量分布可靠地再现这些技能。该方法结合了我们以前的工作任务参数化优化和吸引子为基础的阻抗控制。所学习的技能模型包括(i)统一姿势和力特征的吸引子模型,以及(ii)针对技能的不同阶段优化刚度的刚度模型。此外,提出了一种在线执行算法,以适应技能执行的机器人姿态,测量力,和变化的场景的实时观察。我们在电动自行车电机装配过程的几个步骤中对7自由度机器人手臂进行了严格的验证,这些步骤需要不同类型的有力交互,例如插入,滑动和扭转。
2021-09-09 cs.RO
Rainbow-DemoRL: Combining Improvements in Demonstration-Augmented Reinforcement Learning
University of California San Diego(加州大学圣地亚哥分校);National Sun Yat-sen University(国立中山大学)
本文通过分类和实证研究,探讨了演示增强强化学习中不同策略的优劣及组合效果,发现直接复用离线数据和行为克隆初始化在提升在线样本效率方面表现更优。
2026-03-28 cs.LG cs.RO
Guided Online Distillation: Promoting Safe Reinforcement Learning by Offline Demonstration
University of California, Berkeley(加州大学伯克利分校);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
提出GOLD框架,通过离线决策变换器策略引导在线安全强化学习蒸馏出轻量级策略,缓解保守性并提升安全关键场景决策性能。
2023-10-12 cs.LG cs.RO
ForceRFT: Refining VLA Actions through Force-Guided Residual Reinforcement Learning
Eastern Institute of Technology(东方理工大学);Jiangnan University(江南大学);Shanghai Jiao Tong University(上海交通大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));National University of Singapore(新加坡国立大学)
ForceRFT提出力引导残差强化学习框架,利用腕部反馈和人类监督优化VLA策略,在插头插入等任务中提升自主成功率。
2026-09-22 cs.RO
SADP: Subgoal-Aware Diffusion Policy for Long-Horizon Manipulation Learned from Foundation Model Generated Demonstrations
Department of Systems Innovation, Graduate School of Engineering Science, Osaka University(系统创新系,工学研究科,大阪大学)
本文提出SADP,一种基于基础模型生成示范的子目标感知扩散策略,用于可解释机器人,通过自主生成子目标标注的示范数据,训练扩散策略,使机器人能够通过子目标结构和执行进度向用户解释决策过程,从而在长周期操作中实现更高的任务成功率和故障诊断能力。
2026-10-20 cs.RO
Online World Modeling Enables Real-World Inverse Reinforcement Learning from Observation
University of Washington(华盛顿大学)
提出MPAIL2方法,通过在线世界建模实现从观察中逆强化学习,首次在真实世界从零学习视觉操作任务,40分钟内达到82%成功率。
2026-10-20 cs.RO
Offline-to-online Reinforcement Learning for Image-based Grasping with Scarce Demonstrations
University of Alberta(阿尔伯塔大学);Ocado Technology(奥凯多科技公司)
本文提出一种基于神经正切核正则化的离线到在线强化学习算法,在少量演示下实现真实图像机器人抓取,两小时内成功率超90%,优于行为克隆等现有方法。
2025-01-22 cs.AI cs.LG cs.RO
Robots That Know What to Ask: Recovering Misaligned Rewards through Targeted Explanations
提出一种框架,通过检测演示中未充分指定的特征,并主动请求有针对性的纠正演示,从而从有缺陷的演示中恢复奖励函数,减少歧义。
2026-05-21 cs.AI cs.HC cs.LG
AdaTempo: Learning Shared Relative Tempo from Demonstrations for Faster Robot Manipulation
Fudan University(复旦大学);Tsinghua University(清华大学)
AdaTempo通过自监督学习示范中的共享相对节奏,加速视觉运动策略,实现高达3.57倍速度提升并改善成功-速度权衡。
2026-10-05 cs.RO
What Does It Take For A Generalist Robot Policy To Adapt Using Minimal Data?
Carnegie Mellon University(卡内基梅隆大学)
本文提出MiDAS算法,结合离线行为克隆与在线强化学习,实现机器人策略仅用1次演示即可完成任务适配,性能优于基线且能泛化,为机器人自主学习提供可行方案。
2026-10-23 cs.LG cs.RO
What Can Robots Teach Us About The COVID-19 Pandemic? Interactive Demonstrations of Epidemiological Models Using a Swarm of Brushbots
University of Waterloo(滑铁卢大学);Amazon Robotics(亚马逊机器人公司)
本文描述了2021年开展的一系列教育活动的方法和成果,这些活动利用机器人群教育高中和大学生流行病学模型以及它们如何为社会和政府政策提供信息。该活动特别关注COVID-19疫情,包括4个在线和3个现场研讨会,学生有机会与20个定制的刷机器人进行互动,这些机器人是小型振动驱动机器人,针对便携性和鲁棒性进行了优化。通过对活动后调查收集的数据进行分析,本文展示了活动如何积极影响学生对指导现实世界决策的科学方法的看法,以及他们对机器人技术的兴趣。
2022-06-15 cs.RO
Learning Loco-Manipulation From SMPC Demonstrations With Sparse Offline-to-Online RL
RAI Institute(RAI研究所);Technical University of Munich(慕尼黑工业大学);ETH Zurich(苏黎世联邦理工学院)
本研究利用仿真中SMPC生成的离线数据,结合稀疏奖励训练离策略RL智能体,整合动态稳定性控制器,实现机器人移动操作技能的仿真到真实迁移,性能超越原最优控制方法。
2026-10-27 cs.AI cs.RO
Drift-Based Policy Optimization: Native One-Step Policy Learning for Online Robot Control
University of Science and Technology of China(中国科学技术大学);iFLYTEK
本文提出一种原生一步生成策略框架,通过将迭代细化移至训练阶段,提升在线机器人控制的效率与稳定性,实验显示其在推理速度和性能上优于多步扩散策略。
2026-09-01 cs.RO
Online Hierarchical Policy Learning using Physics Priors for Robot Navigation in Unknown Environments
Department of Computer Science, Purdue University(计算机科学系,普渡大学)
针对未知室内环境机器人导航难题,提出融合物理先验的分层规划框架,结合全局稀疏图与求解Eikonal PDE的低层神经场规划器,克服谱偏等问题,提升了导航适应性与精度。
2025-10-01 cs.RO
EgoGuide: Egocentric Guidance for Efficient Robot-Free Demonstration Collection and Learning
Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院);Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院)
提出EgoGuide数据收集接口,通过同步腕部和头部/自我中心观察并在线视觉-几何质量引导,结合门控自我中心残差策略,减少所需数据量并提高数据效率。
2026-06-15 cs.RO
Interactive and Incremental Learning of Spatial Object Relations from Human Demonstrations
本文提出一种在交互中从少量人类示范增量学习空间关系几何模型的方法,利用圆柱概率分布和增量最大似然估计实现样本高效更新,使机器人能根据口头指令操纵物体满足空间关系。
2023-05-16 cs.RO
RM-RL: Role-Model Reinforcement Learning for Precise Robot Manipulation
MARS Lab, Nanyang Technological University(马斯实验室,南洋理工大学)
RM-RL通过角色模型策略实现精确机器人操控,无需人类示范,提升在线和离线训练效率,实验显示在现实任务中精度显著提升。
2026-02-12 cs.RO
RoboFFT: Finetuning generative robot policy via online reinforcement learning with forward process
RoboFFT提出一种前向过程强化学习框架,通过加噪和加权分数/流匹配损失微调生成式机器人策略,在模拟和真实任务中提升性能、稳定性和训练效率。
2026-09-29 cs.RO
LLM Trainer: Automated Robotic Data Generation via Demonstration Augmentation using LLMs
Carnegie Mellon University(卡内基梅隆大学)
提出LLM Trainer,一种利用大语言模型的世界知识将少量人类演示自动扩展为大规模机器人数据集的管道,通过离线标注和在线关键姿势重定向生成新轨迹,并采用汤普森采样优化标注。
2026-05-31 cs.RO
OnEvoMemory: Evolving Memory through Online Robot Rollouts for Pretrained Robot Policies
Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学)
针对现有机器人记忆机制依赖外部模型的问题,提出OnEvoMemory价值引导记忆模块,结合离线初始化与在线试跑优化记忆选择,提升了基础VLA策略在长时程机器人操作中的性能。
2026-08-11 cs.RO
Guarded Policy Optimization with Imperfect Online Demonstrations
Nanyang Technological University(南洋理工大学);University of California, Los Angeles(加州大学洛杉矶分校);The University of Edinburgh(爱丁堡大学);Northwestern University(西北大学)
针对TSF中难以获得最优教师的问题,提出TS2C离策略强化学习算法,利用轨迹价值估计纳入任意不完美教师干预,实现低成本、安全高效探索,并使学生超越教师。
2023-04-24 cs.AI cs.LG cs.RO
Learning from Suboptimal Data in Continuous Control via Auto-Regressive Soft Q-Network
Tsinghua University(清华大学)
本文提出基于价值的强化学习算法ARSQ,通过由粗到细的自回归方式建模Q值,有效利用次优演示与在线数据进行连续控制,在D4RL和RLBench上显著超越基线。
2025-05-29 cs.LG cs.RO
Efficient Robotic Manipulation Through Offline-to-Online Reinforcement Learning and Goal-Aware State Information
具有高数据效率的端到端学习机器人操作是机器人技术的关键挑战之一。利用人类演示数据和无监督表示学习的最新方法已被证明是提高RL学习效率的一个有前途的方向。示范数据的使用还允许使用具有模仿学习的离线数据或最近出现的离线强化学习算法来“预热”RL策略。然而,现有的工作往往把离线策略学习和在线探索作为两个独立的过程,这往往是伴随着严重的性能下降,在离线到在线的过渡。此外,许多机器人操作任务涉及复杂的子任务结构,这是非常具有挑战性的稀疏奖励RL解决。在这项工作中,我们提出了一个统一的离线到在线RL框架,解决了过渡性能下降的问题。此外,我们引入目标感知的状态信息的RL代理,这可以大大降低任务的复杂性和加速策略学习。结合先进的无监督表示学习模块,我们的框架实现了很大的训练效率和性能相比,国家的最先进的方法在多个机器人操作任务。
2021-10-21 cs.AI cs.RO
Safe Reinforcement Learning with Minimal Supervision
University of Bristol(布里斯托尔大学)
针对安全强化学习依赖示范数据的问题,提出基于无监督RL的离线数据收集流程和乐观遗忘方法,以在极少监督下实现安全在线探索。
2025-01-08 cs.LG cs.RO cs.SY
AWAC: Accelerating Online Reinforcement Learning with Offline Datasets
UC Berkeley(加州大学伯克利分校)
强化学习(RL)为从经验中学习控制策略提供了一种有吸引力的形式。然而,RL的经典主动公式需要对每个行为进行漫长的主动探索过程,这使得它很难应用于现实世界的设置,如机器人控制。如果我们能够让强化学习算法有效地使用先前收集的数据来帮助在线学习过程,这样的应用程序就可以变得更加实用:先前的数据将提供一个起点,减轻探索和样本复杂性带来的挑战,而在线训练使智能体能够完善所需的技能。这样的先验数据可以构成专家演示或说明潜在有用的转变的次优先验数据。虽然许多现有方法已经使用最优演示来引导RL,或者已经使用次优数据来纯离线训练,但是仍然非常难以用离线数据训练策略并且实际上继续用在线RL进一步改进它。在本文中,我们分析了为什么这个问题是如此具有挑战性,并提出了一种算法,结合样本有效的动态规划与最大似然策略更新,提供了一个简单而有效的框架,能够利用大量的离线数据,然后快速执行RL策略的在线微调。我们表明,我们的方法,优势加权演员评论家(AWAC),使技能的快速学习与先前的演示数据和在线经验相结合。我们在模拟和真实世界的机器人领域展示了这些好处,包括用真正的多指手进行灵巧操作,用机器人手臂打开抽屉,以及旋转阀门。我们的研究结果表明,结合先验数据可以减少学习一系列机器人技能所需的时间,以实际的时间尺度。
2021-04-24 cs.LG cs.RO stat.ML
BORA: Bridging Offline Reinforcement Learning and Online Residual Adaptation for Real-World Dexterous VLA Models
Shanghai Jiao Tong University(上海交通大学);CASIA(中国科学院自动化研究所);Shanghai AI Laboratory(上海人工智能实验室);USTC(中国科学技术大学)
提出BORA框架,通过离线构建动作条件价值引导的评论家,并结合在线冻结VLA基础、引入人类在环的分块残差适应机制,解决灵巧操作中高维探索导致的时间不一致、样本低效和硬件风险问题,在五个真实灵巧任务上平均成功率提升33%。
2026-10-02 cs.AI cs.RO
VOMMI: Collecting and Leveraging Portable Demonstrations for Mobile Manipulation
ZJU(浙江大学);Shanghai AI Lab(上海人工智能实验室);DeepRobotics(深圳优必选科技股份有限公司);Yale(耶鲁大学);THU(清华大学);ZGCA(中国美术学院);HKUST(GZ)(香港科技大学(广州));ZUST(浙江科技大学)
提出VOMMI框架,通过离线轨迹重建与在线视觉-运动条件化,利用便携式RGB演示进行移动操作策略后训练,降低速度误差并提升成功率。
2026-11-09 cs.AI cs.RO
Policy Decorator: Model-Agnostic Online Refinement for Large Policy Model
UC San Diego(加利福尼亚大学圣迭戈分校)
本文提出Policy Decorator,一种模型无关的残差策略方法,通过在线交互优化大型模仿学习模型,在ManiSkill和Adroit基准上显著提升了策略性能并保持了平滑运动。
2024-12-18 cs.AI cs.LG cs.RO
GRAPPA: Generalizing and Adapting Robot Policies via Online Agentic Guidance
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);Robot Learning Lab, Bosch Center for Artificial Intelligence(博世人工智能中心机器人学习实验室)
GRAPPA提出一种由多角色对话智能体组成的在线自我引导框架,通过将基础策略接地到环境物体并利用视觉运动线索调整动作分布,在无需额外人类演示的情况下显著提升机器人操作策略在仿真和真实环境中的成功率。
2025-04-08 cs.AI cs.RO
RoboCLIP: One Demonstration is Enough to Learn Robot Policies
University of Southern California(南加利福尼亚大学);Google Research(谷歌研究院);University of California, Berkeley(加利福尼亚大学伯克利分校);Stanford University(斯坦福大学)
RoboCLIP利用预训练视频-语言模型,通过单个视频或文本演示生成奖励,无需微调,使强化学习智能体在机器人操作任务上零样本性能提升2-3倍。
2023-10-11 cs.AI cs.RO
F4R: Failure-Driven Recognition, Reconstruction, Refinement, and Redeployment for Continual Robot Self-Improvement
Nanyang Technological University(南洋理工大学);Xi’an Jiaotong University(西安交通大学);Dexmal
F4R提出失败驱动的真实-仿真-真实闭环框架,通过自动识别、重建失败场景并强化学习精炼策略,实现机器人持续自我改进,在OOD条件下超越基线18.75个百分点。
2026-09-30 cs.AI cs.RO
Learning Gentle Grasping from Human-Free Force Control Demonstration
本文提出利用已知接触特性自动生成理想力控制示教,并结合融合物理力学模块的Dual-CNN架构学习抓取力预测,实现机器人对地面物体的轻柔稳定抓取。
2024-12-07 cs.LG cs.RO
Learning Massively Multitask World Models for Continuous Control
University of California San Diego(加州大学圣地亚哥分校)
Newt通过大规模预训练和在线交互,实现智能体在数百个任务上的多任务学习,提升连续控制的效率和适应性。
2025-12-02 cs.CV cs.LG cs.RO
Robot Policy Learning from Demonstration Using Advantage Weighting and Early Termination
University of Lincoln(林肯大学)
在现实世界中学习机器人任务仍然具有很高的挑战性和有效的实际解决方案仍然有待发现,在这一领域使用的传统方法是模仿学习和强化学习,但它们都有局限性时,应用于真实的机器人。将强化学习与预先收集的演示相结合是一种很有前途的方法,可以帮助学习控制策略来解决机器人任务。在本文中,我们提出了一种算法,使用新的技术来利用离线专家数据,使用离线和在线训练,以获得更快的收敛速度和更好的性能。所提出的算法(AWET)权重的批评家损失与一个新的代理优势权重,以改善专家数据。此外,AWET利用自动提前终止技术来停止和丢弃与专家轨迹不相似的策略推出,以防止偏离专家数据。在一项消融研究中,AWET在四项标准机器人任务上与最先进的基线相比表现出了改进和有前途的性能。
2022-07-31 cs.LG cs.RO
A Framework for Learning from Demonstration with Minimal Human Effort
University of Oxford(牛津大学)
该研究针对共享自主机器人学习中人类时间成本高的问题,提出基于上下文多臂老虎机的控制器选择框架,通过预测各控制器成功率来选择策略,结合在线学习提升自主性能,有效降低了模拟与真实任务的人力投入。
2023-06-15 cs.LG cs.RO
Rewind-IL: Online Failure Detection and State Respawning for Imitation Learning
College of Connected Computing, Vanderbilt University(范德比尔特大学连接计算学院);School of Computer Science, University of Waterloo(滑铁卢大学计算机科学学院);School of Computer Science, The University of Sydney(悉尼大学计算机科学学院);Australian Centre for Robotics, The University of Sydney(悉尼大学机器人研究中心)
Rewind-IL通过零样本故障检测和状态重置机制,提升模仿学习在长时域任务中的可靠性,解决执行漂移问题。
2026-10-02 cs.AI cs.CV cs.RO
Hyper-Decision Transformer for Efficient Online Policy Adaptation
Carnegie Mellon University(卡内基梅隆大学);University of Montreal(蒙特利尔大学);Mila(米拉人工智能研究所);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);UMass Amherst(马萨诸塞大学阿默斯特分校)
本文提出超决策Transformer(HDT),通过超网络根据少量演示初始化适应模块,仅微调0.5%参数即可高效适应新任务,并在无专家动作设置下显著超越现有基线。
2023-04-17 cs.AI cs.CV cs.LG
Online Parameter Estimation for Human Driver Behavior Prediction
Stanford University(斯坦福大学)
驾驶员模型对于自动驾驶汽车的规划以及在仿真中验证其安全性非常重要。高度参数化的黑盒驱动程序模型非常有表现力,可以捕捉细微的行为。然而,它们通常缺乏可解释性,有时会表现出不真实的,甚至是愚蠢的行为。基于规则的模型是可解释的,并且可以被设计为保证“安全”的行为,但是由于它们的参数数量较少,因此表达性较差。在这篇文章中,我们表明,在线参数估计应用于智能驾驶员模型捕捉细微差别的个人驾驶行为,同时提供无碰撞轨迹。我们使用粒子滤波解决了在线参数估计问题,并在两个真实世界的驾驶数据集上对基于规则的驾驶员模型和黑盒驾驶员模型进行了基准测试。我们评估了我们的驾驶员模型与地面真实数据演示的接近程度,并评估了由此产生的紧急驾驶行为的安全性。
2020-05-06 cs.AI cs.RO