Self-supervised 6-DoF Robot Grasping by Demonstration via Augmented Reality Teleoperation System
Rochester Institute of Technology(罗切斯特理工学院);Figure AI(Figure AI公司)
针对6自由度抓取依赖强监督位姿标注的问题,提出基于AR遥操作的自监督框架,从人类示范中对比学习抓取策略,无需标注即可在真实环境中快速学会抓取未知物体。
2024-04-03 cs.CV cs.RO
Learning Personalized Human-Aware Robot Navigation Using Virtual Reality Demonstrations from a User Study
University of Bonn(波恩大学);Fraunhofer FKIE(弗劳恩霍夫通信、信息处理与人机工程研究所)
对于最舒适的,人类感知的机器人导航,需要考虑用户的主观偏好。本文提出了一种新的强化学习框架,训练一个个性化的导航控制器,以及一个直观的虚拟现实演示界面。进行的用户研究提供的证据表明,我们的个性化方法显着优于经典方法,具有更舒适的人机体验。我们实现这些结果只使用一些演示轨迹从非专家用户,谁主要欣赏直观的演示设置。正如我们在实验中所示,学习的控制器可以很好地推广到演示数据中未涵盖的状态,同时仍然反映了导航过程中的用户偏好。最后,我们转移到一个真正的机器人导航控制器的性能没有损失。
2022-10-04 cs.AI cs.RO
DROID: Minimizing the Reality Gap using Single-Shot Human Demonstration
Hamlyn Centre for Robotic Surgery(哈姆林 robotic 外科中心);Imperial College London(伦敦帝国学院);School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);Tencent Robotics X(腾讯Robotics X实验室)
强化学习(RL)在过去的几年里取得了巨大的成功。然而,大多数场景都集中在模拟环境中。将在模拟环境中学习的政策转移到现实世界的主要挑战之一是两种环境的动态之间的差异。在以前的工作中,域随机化(DR)已被用来解决机器人运动和操纵任务的现实差距。在本文中,我们提出了域随机化优化识别(DROID),一种新的框架,利用单次人体演示识别模拟器的动态参数分布,并将其应用于训练开门任务的政策。我们的研究结果表明,所提出的框架可以识别模拟和现实世界之间的动态差异,从而提高政策转移,通过优化模拟器的随机化范围。我们进一步说明,基于这些相同的识别参数,我们的方法可以将学习到的策略推广到不同但相关的任务。
2021-02-23 cs.RO
BEAVR: Bimanual, multi-Embodiment, Accessible, Virtual Reality Teleoperation System for Robots
Department of Aeronautics and Astronautics, Massachusetts Institute of Technology(航空与航天系,麻省理工学院)
提出BEAVR,一个开源的双手多形态VR遥操作系统,通过零拷贝流式架构和异步“思考-行动”控制循环,实现低延迟、多机器人实时控制与数据记录,并兼容多种视觉运动策略。
2025-08-13 cs.RO cs.SY eess.SY
Augmented Reality Demonstrations for Scalable Robot Imitation Learning
The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出一种基于增强现实的辅助框架,使非专家用户能用HoloLens 2为机器人模仿学习提供演示,实现可扩展的演示收集,并在到达、推、拾取与放置三项任务上验证了真实机器人重播演示的成功执行。
2024-03-20 cs.GR cs.LG cs.RO
Generation of Real-time Robotic Emotional Expressions Learning from Human Demonstration in Mixed Reality
Honda Research Institute Europe(本田欧洲研究院)
本研究提出一种基于混合现实的人类示范生成实时机器人情感表达的框架,通过流匹配生成过程实现逼真且多样的情感表达。
2026-01-17 cs.HC cs.RO
ARCap: Collecting High-quality Human Demonstrations for Robot Learning with Augmented Reality Feedback
Stanford University(斯坦福大学)
提出ARCap便携式数据收集系统,通过增强现实视觉反馈和触觉警告指导新手收集符合机器人运动学且无碰撞的高质量演示数据,使机器人能完成杂乱环境及长周期跨本体操作任务。
2024-10-11 cs.AI cs.RO
RAMPA: Robotic Augmented Reality for Machine Programming by DemonstrAtion
Bogazici University(博加齐大学);Adobe Research(奥多比研究院)
本文提出RAMPA,一种集成ML和XR的端到端机器人系统,通过AR头显实现现场数据录制与技能微调,解决PbD的安全、编程障碍及演示收集低效问题,实验显示其在教学效率与用户体验上优于传统方法。
2025-02-18 cs.HC cs.LG cs.RO
Puppeteer Your Robot: Augmented Reality Leader-Follower Teleoperation
KTH Royal Institute of Technology(皇家理工学院)
本文提出一种基于增强现实控制虚拟机器人的主从遥操作方案,兼顾直观性与低成本,并通过10人先导实验验证其有效性。
2024-07-16 cs.RO
Semi-Autonomous Planning and Visualization in Virtual Reality
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
用于机器人的虚拟现实(VR)接口提供机器人在其环境中的三维(3D)视图,这允许人们更好地规划在紧凑或杂乱空间中的复杂机器人运动。在我们之前的工作中,我们创建了一个VR界面,以允许人形机器人的远程操作。如本文所述,我们现在关注的是一个人在回路规划器,操作员可以通过功能航点在VR中发送更高级别的操作和导航目标,在3D虚拟空间中可视化机器人规划器的结果,然后拒绝,更改或确认发送给机器人的计划。此外,我们已经调整了我们的接口,除了人形机器人的移动操作机器人也工作。有关视频演示,请参阅https://youtu.be/wEHZug_fxrA上的随附视频。
2021-04-23 cs.RO
Towards Tangible Immersion for Cobot Programming-by-Demonstration: Visual, Tactile and Haptic Interfaces for Mixed-Reality Cobot Automation in Semiconductor Manufacturing
Intel Labs, Intelligent System Research, Human-Robot Collaboration(英特尔实验室、智能系统研究、人机协作)
本文提出一种独立于物理实体形态的反应式操作动作建模与执行范式,通过抽象操作原语和状态机实现知识跨平台转移,并在双平台物体运输任务中验证了其鲁棒性与物理实体形态独立性。
2025-05-30 cs.HC cs.RO
Holo-Dex: Teaching Dexterity with Immersive Mixed Reality
New York University(纽约大学);Meta AI
教学机器人的一个基本挑战是为人类教师提供有效的界面,以向机器人展示有用的技能。这一挑战在灵巧的操作中加剧,其中教导高维、接触丰富的行为通常需要深奥的遥操作工具。在这项工作中,我们提出了Holo-Dex,这是一个灵巧操作的框架,可以通过商品VR耳机将教师置于沉浸式混合现实中。耳机上的高保真手姿态估计器用于远程操作机器人,并收集各种通用灵巧任务的演示。鉴于这些示范,我们使用强大的特征学习结合非参数模仿训练灵巧的技能。我们对六种常见的灵巧任务进行了实验,包括手旋转,旋转和开瓶,表明Holo-Dex可以在几个小时内收集高质量的演示数据和训练技能。最后,我们发现我们训练的技能可以在训练中看不到的对象上表现出泛化。Holo-Dex的视频可在https://holo-dex.github.io上获得。
2022-10-12 cs.AI cs.CV cs.HC
EVE: Enabling Anyone to Train Robots using Augmented Reality
University of Washington(华盛顿大学);NVIDIA(英伟达公司);Allen Institute for AI(艾伦人工智能研究所)
本文提出 iOS 应用 EVE,让普通用户无需实体机器人即可通过增强现实指定和检查路径点、采集轨迹演示;用户研究表明其成功率优于现有界面,综合体验接近动觉教学。
2024-08-03 cs.HC cs.RO
Setup-Invariant Augmented Reality for Teaching by Demonstration with Surgical Robots
University of British Columbia(不列颠哥伦比亚大学)
本文提出开源系统dV-STEAR,在无需专家与新手机器人设置关节位置一致的条件下回放任务对齐的专家演示,通过用户研究证明其能显著提升新手手术任务表现,为AR集成到机器人辅助手术奠定基础。
2025-04-09 cs.CV cs.HC cs.RO
Learning Visualization Policies of Augmented Reality for Human-Robot Collaboration
The State University of New York at Binghamton(纽约州立大学宾汉姆顿分校)
在人机协作领域,增强现实(AR)技术使人们能够可视化机器人的状态。目前基于AR的可视化策略是手动设计的,这需要大量的人力和领域知识。当可视化的信息太少时,人类用户发现AR界面没有用;当可视化的信息太多时,他们发现难以处理可视化的信息。在本文中,我们开发了一个名为VARIL的框架,使AR代理能够从演示中学习可视化策略(可视化什么,何时以及如何)。我们创建了一个基于Unity的平台,用于模拟仓库环境,人类和机器人队友在交付任务上进行协作。我们已经收集了一个数据集,其中包括可视化机器人当前和计划行为的演示。与真实人类参与者的实验结果表明,与文献中的竞争基线相比,我们学习的可视化策略显着提高了人类-机器人团队的效率,同时降低了人类用户的分心程度。VARIL已经在一个内置的实验室模拟仓库中进行了演示。
2022-11-13 cs.HC cs.LG cs.RO
Deep Imitation Learning for Complex Manipulation Tasks from Virtual Reality Teleoperation
University of California, Berkeley(加州大学伯克利分校);Embodied Intelligence;OpenAI;International Computer Science Institute (ICSI)(国际计算机科学研究所(ICSI))
模仿学习是机器人技能获取的一种有效方法。然而,获得适合于学习从原始像素映射到动作的策略的演示可能具有挑战性。在本文中,我们描述了消费级虚拟现实耳机和手跟踪硬件可以用来自然地遥控机器人执行复杂的任务。我们还描述了模仿学习如何学习深度神经网络策略(从像素到动作的映射),这些策略可以获得所展示的技能。我们的实验展示了我们的方法学习视觉技能的有效性。
2018-03-06 cs.LG cs.RO
GhostObjects: Instructing Robots by Manipulating Spatially Aligned Virtual Twins in Augmented Reality
Princeton University(普林斯顿大学)
本文提出GhostObjects方法,利用增强现实中与世界对齐的虚拟孪生体进行直接操控来指导机器人,支持多对象套索选择和默认位置回弹,从而超越简单抓放任务。
2025-08-14 cs.HC cs.RO
Contextual Reinforcement Learning of Visuo-tactile Multi-fingered Grasping Policies
NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院);University of Utah(犹他大学)
使用仿真来训练机器人操作策略,可以安全地生成几乎无限数量的训练数据。迄今为止,使用模拟的主要挑战之一是弥合现实差距,以便在模拟中训练的政策可以在现实世界中部署。我们探讨现实的差距,学习的背景下,多指机器人抓取的政策。我们提出了一个抓取物体的触觉(GOAT)机器人手的方法,学习克服现实差距的问题。在我们的方法中,我们使用人手运动演示初始化和减少搜索空间的学习。我们将我们的策略与感兴趣的对象的边界长方体尺寸相结合,这使得该策略能够比直接使用图像或点云更灵活地表示。利用手中的指尖触摸传感器允许该策略克服由粗糙限界框引入的几何信息的减少以及姿态估计不确定性。我们展示了我们的学习策略在没有任何微调的情况下成功地在真实机器人上运行,从而弥合了现实差距。
2019-11-24 cs.RO
Assistive Tele-op: Leveraging Transformers to Collect Robotic Task Demonstrations
NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院)
在机器人和人类操作员之间共享自主权可以促进机器人任务演示的数据汇集,以不断改进学习模型。然而,人类和机器人之间沟通未来意图和原因的方式是不同的。我们提出了辅助远程操作,虚拟现实(VR)系统,用于收集机器人任务演示,显示自主轨迹预测,以传达机器人的意图。当机器人移动时,用户可以在需要时在自主控制和手动控制之间切换。这使得用户能够以高成功率和比手动遥控操作系统更容易的方式收集任务演示。我们的系统是由Transformers供电的,它可以提供一个潜在的状态和行动的窗口到未来-几乎没有增加计算时间。一个关键的见解是,如果用户认为模型预测的动作不合适,则可以在Transformer序列中的任何位置注入人类意图。在每一个时间步,用户可以(1)什么都不做,并允许自主操作继续,同时观察机器人的未来计划序列,或者(2)接管并立即规定一组不同的动作,以将模型推回到轨道上。我们在https://sites.google.com/view/assistive-teleop上提供视频和其他补充材料。
2021-12-09 cs.RO
Learning 6DoF Grasping Using Reward-Consistent Demonstration
Institute of Industrial Science, The University of Tokyo(东京大学工业科学研究所);LINE Corporation(LINE公司);Faculty of Engineering, Kyoto University of Advanced Science(京都先进科学大学工学部)
随着机器人自由度的增加,机器人运动的实现变得更加复杂和困难。在这项研究中,我们专注于学习6DOF抓取运动,并考虑将抓取运动分为多个任务。我们建议结合模仿和强化学习,以促进更有效地学习所需的运动。为了收集演示数据作为模仿学习的教师数据,我们创建了一个虚拟现实(VR)界面,允许人类直观地操作机器人。此外,通过将动作划分为更简单的任务,我们简化了强化学习的奖励函数的设计,并在我们的实验中显示,学习抓握动作所需的步骤减少了。
2021-03-23 cs.LG cs.RO
Augmented Reality for RObots (ARRO): Pointing Visuomotor Policies Towards Visual Robustness
Department of Computer Science and Artificial Intelligence, University of Technology Nuremberg(计算机科学与人工智能系,图恩堡技术大学)
ARRO通过实时视觉屏蔽和虚拟引导提升机器人操作的视觉鲁棒性,减少对额外数据的依赖,适用于多种桌面任务和真实环境。
2026-01-06 cs.RO
LLM-Driven Augmented Reality Puppeteer: Controller-Free Voice-Commanded Robot Teleoperation
KTH Royal Institute of Technology(瑞典皇家理工学院)
针对机器人遥操作的控制器依赖问题,本研究提出LLM驱动的无控制器语音指令AR木偶操纵系统,通过操控虚拟对应物实现实体机器人遥操作,经初步演示验证其功能,可提升易用性并降低安全风险。
2025-02-13 cs.HC cs.RO
Learning robot motor skills with mixed reality
Brown University(布朗大学);MERL(三菱电机研究实验室)
混合现实(MR)最近显示出巨大的成功,作为一个直观的界面,使最终用户能够教机器人。相关工作已经使用MR接口将机器人意图和信念传达给共处的人类,以及开发用于获取多模态人类输入和学习复杂运动行为的算法。即使取得了这些成功,使最终用户能够教机器人复杂的运动任务仍然是一个挑战,因为最终用户的沟通是高度依赖于任务和世界知识是高度多样化的。我们提出了一个学习框架,最终用户教机器人a)运动演示,b)任务约束,c)规划表示,和d)对象信息,所有这些都集成到一个单一的运动技能学习框架的基础上动态运动原语(DMP)。我们假设,传达这个世界的知识将是直观的MR接口,并结合不同形式的世界知识的样本高效的运动技能学习框架将使机器人能够有效地解决复杂的任务。
2022-03-21 cs.LG cs.RO
Integrating Artificial Intelligence and Augmented Reality in Robotic Surgery: An Initial dVRK Study Using a Surgical Education Scenario
The Chinese University of Hong Kong(香港中文大学);The Johns Hopkins University(约翰斯·霍普金斯大学)
机器人辅助手术由于其临床优势而变得越来越受欢迎。与此同时,机器人手术中的人工智能和增强现实技术也得到了迅速发展和广泛关注。然而,目前的方法还没有讨论机器人手术中AI和AR的相干集成。在本文中,我们开发了一个新的系统,无缝融合人工智能模块和增强现实可视化自动生成手术指导机器人手术教育。具体来说,我们首先利用强化学习从专家示范学习,然后生成3D引导轨迹,提供手术过程的先验上下文信息。与文本提示等其他信息一起,3D轨迹然后覆盖在dVRK的立体视图中,用户可以在其中感知3D引导并学习程序。该系统通过初步的实验进行评估手术教学任务挂钩转移,这证明了其可行性和潜力,作为下一代的机器人辅助手术教学解决方案。
2022-03-03 cs.AI cs.RO
Learning Dexterous In-Hand Manipulation with Multifingered Hands via Visuomotor Diffusion
KTH Royal Institute of Technology(KTH皇家理工学院);INCAR Robotics AB(INCAR机器人公司)
提出基于视觉运动扩散策略的多指手灵巧操作框架,利用AR遥操作收集专家演示,并结合HDBSCAN与GLOSH算法过滤低质量数据,在真实世界任务中验证了有效性。
2025-03-04 cs.RO
Deformation of the panoramic sphere into an ellipsoid to induce self-motion in telepresence users
Faculty of Information Technology and Electrical Engineering, University of Oulu(信息科技与电气工程学院,奥卢大学)
本文提出将全景球面变形为椭球体以利用光流在远程呈现系统延迟期间诱导用户自我运动错觉,实验表明该方法在500毫秒延迟下对控制性能和准确性无显著提升,且可能增加VR晕动症,尚需进一步调整。
2025-08-18 cs.HC cs.RO
ConCent: Contact-Centric Real-to-Sim-to-Real Learning from One Demonstration
Microsoft Research Asia - Tokyo(微软亚洲研究院-东京);The University of Tokyo(东京大学)
提出接触中心真实-仿真-真实强化学习框架,利用真实演示中的接触事件序列作为学习目标,优化仿真中物体的接触几何,实现更稳定的策略迁移。
2026-06-29 cs.RO
Learning from demonstrations: An intuitive VR environment for imitation learning of construction robots
The University of British Columbia(不列颠哥伦比亚大学)
本文提出一个用于建筑机器人模仿学习的双模块框架,通过直观VR平台收集专家演示,并结合BC、GAIL与PPO进行策略训练,显著加速了训练过程并提升了策略性能。
2023-05-23 cs.RO
Motion Planning through Demonstration to Deal with Complex Motions in Assembly Process
Graduate School of Engineering Science, Osaka University(大阪大学基础工学研究科);National Inst. of AIST(日本产业技术综合研究所)
在实际装配过程中,由于人工装配过程中的某些关键位姿过于熟练,机器人无法自动实现,因此现有的运动规划方法难以实现复杂的、熟练的装配动作。为了解决这一问题,本文提出了一种利用演示中的熟练动作进行运动规划的方法,该方法可用于完成包含复杂熟练动作的机器人装配过程。为了在没有多余的第三方设备的情况下方便地演示,我们将增强现实(AR)标记附加到被操纵的对象上,以跟踪和捕获人体装配过程中对象的姿态,这些姿态被规划器用作执行运动规划的关键姿态。每个关键位姿的导数作为判断关键位姿使用优先级的依据,以加速运动规划。通过数值算例和机器人实验验证了该方法的有效性。
2019-10-04 cs.CV cs.RO
How Can Everyday Users Efficiently Teach Robots by Demonstrations?
Monash University(莫纳什大学);Carnegie Mellon University(卡内基梅隆大学);University of British Columbia(不列颠哥伦比亚大学);University of Victoria(维多利亚大学)
本文提出利用任务相关信息熵作为不确定性度量,通过AR系统指导新手用户提供高信息熵示范,显著提升了机器人学习效率及在新任务上的泛化能力。
2023-10-19 cs.LG cs.RO
Knowledge-Driven Robot Program Synthesis from Human VR Demonstrations
ArtiMinds Robotics(阿蒂曼兹机器人公司);Institute for Artificial Intelligence, University of Bremen(不来梅大学人工智能研究所)
本文提出一种从人类VR演示自动生成可执行机器人控制程序的系统,结合常识知识、游戏引擎物理特性及认知架构,实现力敏抓取与放置任务。
2023-07-03 cs.AI cs.RO
GELLO: A General, Low-Cost, and Intuitive Teleoperation Framework for Robot Manipulators
University of California, Berkeley(加州大学伯克利分校)
本文提出GELLO,一种通用、低成本且直观的遥操作框架,通过构建与目标手臂同构的控制器设备,降低高质量示范数据收集门槛,并在用户研究中证明其优于其他低成本遥操作设备,支持复杂双臂与接触丰富任务。
2024-07-18 cs.RO
Bypassing the Simulation-to-reality Gap: Online Reinforcement Learning using a Supervisor
Stellenbosch University(斯泰伦博斯大学);Technical University of Munich(慕尼黑工业大学);University of Pennsylvania(宾夕法尼亚大学)
针对DRL机器人控制中的仿真到现实鸿沟,本文提出基于模型的安全监督器在线训练方法,在真实小型车辆上实现无仿真预训练的安全自主驾驶,并提升样本效率与驾驶性能。
2023-07-13 cs.RO
Practical Imitation Learning in the Real World via Task Consistency Loss
X, The Moonshot Factory(X,登月工厂);UC Berkeley(加州大学伯克利分校);Google(谷歌)
最近在机器人视觉端到端学习方面的工作表明,模仿学习有望在各种任务中发挥作用。这种方法是昂贵的,因为它们需要大量的真实世界的训练演示,因为识别在真实世界中部署的最佳模型需要耗时的真实世界评估。这些挑战可以通过模拟来缓解:通过模拟演示补充真实世界的数据,并使用模拟评估来确定高性能的策略。然而,这引入了众所周知的“现实差距”问题,其中模拟器的不准确性使模拟中的性能与现实的性能去相关。在本文中,我们建立在基于GAN的领域自适应的先前工作之上,并引入了任务一致性损失(TCL)的概念,这是一种自我监督的损失,鼓励在特征和动作预测层面上进行sim和real对齐。我们证明了我们的方法的有效性,通过教一个移动机械手自主接近门,把手柄打开门,并进入房间。该策略从RGB和深度图像执行控制,并推广到训练数据中未遇到的门。我们在16个可见和不可见的场景中实现了72%的成功,仅使用约16.2小时的SIM和真实的遥控演示。据我们所知,这是第一个从纯粹的端到端学习方法来解决闩锁门打开的工作,其中导航和操作任务由单个神经网络联合建模。
2022-03-08 cs.LG cs.RO
Accelerating Interactive Human-like Manipulation Learning with GPU-based Simulation and High-quality Demonstrations
University of Bonn(波恩大学)
由于机器人的状态空间、动作空间和接触空间都是高维的,拟人机器人手的灵巧操作一直是机器人学中的一个难题。然而,需要熟练的闭环操纵,使人形机器人在非结构化的现实世界的环境中操作。强化学习(RL)传统上对优化此类复杂控制问题施加了巨大的交互数据需求。我们引入了一个新的框架,该框架利用了基于GPU的模拟的最新进展以及模仿学习在引导策略搜索方面的优势,使RL训练在这些领域变得可行。为此,我们提出了一个沉浸式的虚拟现实遥操作界面设计的交互式人性化的操作接触丰富的任务和一套操作环境的启发任务的日常生活。最后,我们展示了大规模并行RL和模仿学习的互补优势,产生了强大而自然的行为。经过训练的策略、我们的源代码和收集的演示数据集的视频可以在https://maltemosbach.github.io/interactive_ human_like_manipulation/上找到。
2022-12-05 cs.AI cs.LG cs.RO
Leveraging Human-In-The-Loop Demonstrations in Reinforcement Learning for Digital Twin-Driven Robot Flexibility
School of Electronics, Electrical Engineering and Computer Science, Queen’s University Belfast(贝尔法斯特女王大学电子、电气工程与计算机科学学院)
该研究提出结合数字孪生、强化学习与人演示的人在回路在线训练框架,在Ufactory Xarm5机器人实验中,其双Actor框架在非最优演示下的成功率显著优于带模仿损失的对比方法。
2026-10-09 cs.RO cs.SY eess.SY
On the Guaranteed Almost Equivalence between Imitation Learning from Observation and Demonstration
The University of Sydney(悉尼大学);Beihang University(北京航空航天大学);The Chinese University of Hong Kong(香港中文大学);Tencent Robotics X(腾讯机器人X实验室)
从观察的模仿学习(LfO)比从示范的模仿学习(LfD)更可取,因为在从专家数据重构专家策略时不需要专家动作。然而,以往的研究表明,LfO的性能是劣于LfD的巨大差距,这使得它具有挑战性,在实践中使用LfO。通过对比,本文证明了LfO几乎等价于LfD在确定性的机器人环境中,更一般地,即使在机器人环境中有界随机性。在确定性的机器人环境中,从控制理论的角度来看,我们表明,LfO和LfD之间的逆动力学不一致接近零,这意味着LfO几乎相当于LfD。为了进一步放松确定性约束,更好地适应实际环境,我们考虑了机器人环境中的有界随机性,并证明了LfD和LfO的优化目标在更广义的设置中几乎保持相同。多个机器人任务进行了大量的实验,以经验证明,LfO实现可比的性能LfD。实际上,现实中最常见的机器人系统是具有有界随机性的机器人环境(即,本文所考虑的环境)。因此,我们的研究结果大大扩展了LfO的潜力,并表明我们可以安全地应用LfO,而不会牺牲LfD在实践中的性能。
2020-10-16 cs.LG cs.RO
Learning Variable Compliance Control From a Few Demonstrations for Bimanual Robot with Haptic Feedback Teleoperation System
OMRON SINIC X Corporation(欧姆龙SINIC X公司);The University of Tokyo(东京大学)
针对刚性机器人在富接触任务中难以适应环境的问题,提出结合VR触觉反馈遥操作界面与基于Transformer动作分块的Comp-ACT方法,从少量示范中学习变柔顺控制,有效提升了机器人灵巧操作的适应性与安全性。
2024-09-26 cs.AI cs.LG cs.RO
Quantifying Hypothesis Space Misspecification in Learning from Human-Robot Demonstrations and Physical Corrections
University of California, Berkeley(加州大学伯克利分校)
人类输入使自主系统能够提高其能力,并实现复杂的行为,否则自动生成具有挑战性。最近的工作集中在机器人如何使用这种输入-如演示或纠正-来学习预期的目标。这些技术假设人类期望的目标已经存在于机器人的假设空间内。实际上,这种假设往往是不准确的:总是会有这样的情况,即人可能关心机器人不知道的任务方面。没有这些知识,机器人就无法推断出正确的目标。因此,当机器人的假设空间被错误指定时,即使是跟踪目标不确定性的方法也会失败,因为它们会推理哪个假设可能是正确的,而不是任何假设是否正确。在本文中,我们认为,机器人应该明确地推理,它可以解释人类输入给定的假设空间,并使用情境的信心,告知它应该如何将人类输入。我们展示了我们的方法在7度的自由度机器人操作器学习两种重要类型的人的输入:演示的操作任务,和物理校正在机器人的任务执行。
2020-02-28 cs.AI cs.HC cs.LG
V2X-ReaLO: An Open Online Framework and Dataset for Cooperative Perception in Reality
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出部署于真实车辆与智能基础设施的开放在线协同感知框架 V2X-ReaLO 及配套基准数据集,统一早期、晚期和中间融合,验证真实场景下在线中间融合的可行性与性能。
2025-03-13 cs.CV cs.RO
Sim-to-Real Robot Learning from Pixels with Progressive Nets
DeepMind(深度思维(DeepMind));London, UK(英国伦敦)
应用端到端学习来解决机器人上复杂的、交互式的、像素驱动的控制任务是一个尚未解决的问题。深度强化学习算法太慢,无法在真实机器人上实现性能,但它们的潜力已在模拟环境中得到证明。我们建议使用渐进式网络来弥合现实差距,并将学习到的策略从模拟转移到现实世界。渐进式网络方法是一个通用框架,可以重用从低级视觉功能到高级策略的所有内容,以便转移到新任务,从而实现构建复杂技能的组合但简单的方法。我们提出了一个早期的演示这种方法与一些实验领域的机器人操作,专注于弥合现实的差距。与其他提出的方法不同,我们的真实世界的实验表明,成功的任务学习从原始的视觉输入上完全驱动的机器人机械手。此外,任务学习不是依赖于基于模型的轨迹优化,而是仅使用深度强化学习和稀疏奖励来完成。
2018-05-22 cs.LG cs.RO
Physics-Driven Data Generation for Contact-Rich Manipulation via Trajectory Optimization
Computer Science and Artificial Intelligence Laboratory (CSAIL), Massachusetts Institute of Technology(计算机科学与人工智能实验室(CSAIL),麻省理工学院);Robotics and AI Institute(机器人与人工智能研究院)
本研究提出了一种结合物理仿真和轨迹优化的方法,通过生成多样化高质量数据集,提升接触密集操作任务的机器人性能。
2026-01-07 cs.AI cs.LG cs.RO