Towards Accessible Robot Control: Comparing Kinesthetic Teaching, SpaceMouse Teleoperation, and a Mixed Reality Interface
Stanford University(斯坦福大学)
本研究比较了三种机器人控制方法,发现空间鼠标和混合现实接口表现相近,但任务复杂度增加时成功率下降,凸显了为非专家用户设计更高效可控的遥控系统的重要性。
2026-01-17 cs.RO
Enabling Scalable Kinesthetic Teaching via Observer-based Hand-guiding with Active Support
Technology & Innovation Center, KUKA(库卡技术与创新中心);Institute of Robotics and Process Control, Technische Universität Braunschweig(布伦瑞克工业大学机器人与过程控制研究所)
针对运动觉示教中操作者疲劳与可扩展性不足的问题,提出无需额外硬件的RHOAS手部引导方案,通过力估计主动支持操作者,在用户研究中验证其可降低体力消耗并提升可操作性与用户偏好。
2026-08-12 cs.RO
KineDex: Learning Tactile-Informed Visuomotor Policies via Kinesthetic Teaching for Dexterous Manipulation
Tongji University(同济大学);Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);University of Hong Kong(香港大学);Shanghai Qi Zhi Institute(上海启智研究院);Shanghai AI Lab(上海人工智能实验室)
KineDex通过手把手动觉示教直接传递运动并采集真实触觉反馈,结合图像修复和力控制训练视觉运动策略,在接触密集型灵巧操作任务中显著提升成功率和数据收集效率。
2025-05-04 cs.RO
How to Train Your Robots? The Impact of Demonstration Modality on Imitation Learning
Stanford University(斯坦福大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文比较动觉示教、VR控制器遥操作和空间鼠标遥操作三种示教模态对模仿学习性能与用户体验的影响,发现动觉示教最直观且数据质量最高,但体力负担大,进而提出少量动觉示教与遥操作数据混合的采集方案以兼顾学习性能与采集效率。
2025-03-10 cs.LG cs.RO
Instructing Robots by Sketching: Learning from Demonstration via Probabilistic Diagrammatic Teaching
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本文提出图表演示范式及RPTL框架,通过用户在2D图像上勾画轨迹,利用光线追踪和概率建模生成3D运动轨迹,使机器人无需动觉示教或遥操作即可学习新技能,并在仿真与真实机器人上验证了有效性。
2024-03-31 cs.LG cs.RO
Teaching is a Process: The TOSS Framework for Modeling Human Teaching Decisions in Human-Interactive Robot Learning
LIACS, Leiden University(莱顿大学LIACS学院);VU Amsterdam(阿姆斯特丹自由大学)
本研究通过34名参与者的实验揭示人类教学决策的构成,提出TOSS框架,为理解教学决策、模拟神谕及设计机器人学习算法提供数据集与理论基础。
2026-08-24 cs.HC cs.RO
Solving Robot Assembly Tasks by Combining Interactive Teaching and Self-Exploration
Delft University of Technology(代尔夫特理工大学)
许多高精度(拆卸)装配任务仍然由人类执行,而这是自动化的理想机会。本文提供了一个框架,使一个非专家的人类操作员教机械臂做复杂的精度任务。该框架使用一个可变的笛卡尔阻抗控制器来执行从动觉人类演示中学习到的轨迹。可以提供反馈,以交互方式重塑或加速原始演示。板定位通过任务板位置的视觉估计来完成,并通过触觉反馈来细化。我们的框架在Robothon基准拆解挑战上进行了测试,机器人必须执行复杂的精度任务,例如钥匙插入。结果显示,每个操作子任务的成功率都很高,包括盒子处于新姿势的情况。还进行了消融研究,以评估框架的组件。
2022-09-23 cs.RO
Dance2Hesitate: A Multi-Modal Dataset of Dancer-Taught Hesitancy for Understandable Robot Motion
University of Colorado Boulder(科罗拉多大学波德分校);Pacific Lutheran University(太平洋 Lutheran 大学)
Dance2Hesitate数据集通过多模态舞者教学生成,用于研究可理解的机器人犹豫运动,涵盖不同情境和身体状态下的运动轨迹。
2026-03-10 cs.HC cs.RO
DexTac: Learning Contact-aware Visuotactile Policies via Hand-by-hand Teaching
DexTac通过手把手教学学习接触感知的视觉触觉策略,提升复杂交互中的灵活操作能力。
2026-01-29 cs.RO
Learning Human-like Hand Reaching for Human-Robot Handshaking
Technical University of Darmstadt(达姆施塔特工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
人类进行的第一个也是最重要的非语言互动之一是握手。它对第一印象有影响,因为触摸可以传达复杂的情绪。这使得握手成为社交机器人的一项重要技能。在本文中,我们提出了一个新的框架,学习达到行为的人与机器人握手行为的人形机器人只使用第三人称的人与人的互动数据。这对于无法通过动觉教学进行演示的不可反向驱动机器人特别有用。我们的方法可以很容易地执行不同的人形机器人。这消除了重新训练的需要,这在与人类交互伙伴一起训练时尤其繁琐。我们通过将学到的行为应用于两个不同的人形机器人,它们具有相似的自由度,但形状和控制限制不同。
2021-03-25 cs.HC cs.RO
Understanding Teacher Gaze Patterns for Robot Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
已知人类注视是操纵任务期间潜在人类意图和目标的强有力指示器。这项工作研究了人类教师向机器人演示任务的凝视模式,并提出了这些模式可用于增强机器人学习的方法。使用动觉教学和视频演示,我们确定新的意图揭示凝视行为在教学过程中。这些被证明是翔实的各种问题,从参考框架推理分割的多步任务。基于我们的研究结果,我们提出了两个概念验证算法,表明凝视数据可以提高多步任务的子任务分类高达6%,奖励推理和策略学习为单步任务高达67%。我们的研究结果提供了一个自然的人类凝视模型的基础,在机器人学习从示范设置和利用人类的目光,以提高机器人学习目前的开放性问题。
2021-11-29 cs.RO
Grasp Like Humans: Learning Generalizable Multi-Fingered Grasping from Human Proprioceptive Sensorimotor Integration
College of Intelligence Science and Technology, National University of Defense Technology(智能科学与技术学院,国防科技大学)
本文提出一种基于手套的触觉-运动学感知-预测框架,通过模仿学习将人类抓取技能迁移至机器人手,利用图结构和时空图网络实现泛化抓取。
2025-09-10 cs.AI cs.RO
Gaussian path model library for intuitive robot motion programming by demonstration
VTT Technical Research Centre of Finland Ltd(芬兰技术研究有限公司)
本文提出一种从教学数据生成高斯路径模型的系统,构建多形状模型库用于人类示教分类,实现直观的机器人运动编程,并提出基于几何分析修改现有模型的方法。
2025-09-15 cs.RO
Combining Learning from Demonstration with Learning by Exploration to Facilitate Contact-Rich Tasks
Universität Hamburg(汉堡大学);Agile Robots AG(思灵机器人公司);Technische Universität München(慕尼黑工业大学)
协作机器人有望能够与人类一起工作,在某些情况下直接取代现有的人类工人,从而有效地应对快速的装配线变化。目前用于编程接触丰富的任务的方法,特别是在严重受限的空间中,往往是相当低效的。因此,迫切需要更快、更直观的机器人示教方法。这项工作的重点是结合基于视觉伺服的示教学习(LfD)和基于力的学习探索(LbE),使快速和直观的编程接触丰富的任务与最小的用户所需的努力。开发了两种学习方法并将其集成到一个框架中,一种依赖于人到机器人的运动映射(视觉伺服方法),另一种依赖于基于力的强化学习。该框架实现了基于视觉伺服的非接触示教方法,并根据检测到的接触状态优化了被示教机器人的目标位置。该框架与两种最常用的基线技术,基于吊坠的教学和手指导教学进行了比较。该框架的效率和可靠性已被验证,通过比较实验涉及教学和执行接触丰富的任务。本文提出的框架在教学时间、执行成功率、损坏风险和易用性方面表现最好。
2021-10-26 cs.RO
ARCOR2: Framework for Collaborative End-User Management of Industrial Robotic Workplaces using Augmented Reality
Brno University of Technology(布尔诺理工大学)
本研究提出ARCOR2增强现实框架,支持终端用户跨供应商协作管理工业机器人工作场所,结合力觉示教与图形工具实现高精度编程,经印刷电路板测试场景验证及专家评估,展现出高应用潜力。
2023-06-14 cs.HC cs.RO
See and Switch: Vision-Based Branching for Interactive Robot-Skill Programming
See & Switch通过视觉输入实现机器人技能编程的条件分支,通过决策状态实现任务分支选择,提升机器人在现实环境中的适应能力。
2026-06-29 cs.CV cs.RO
FOMI: A Force-Feedback Manipulation Interface for Teaching Contact-Rich Manipulation
The Hong Kong University of Science and Technology(香港科技大学);The University of Hong Kong(香港大学);Robbyant;Southern University of Science and Technology(南方科技大学)
该研究提出名为FOMI的剪刀式力反馈操作界面,构建配套演示采集系统,在四项接触丰富型任务中,其无机器人采集和遥操作效率较最佳基线分别提升约29%、18%,采集的演示可让策略高成功率完成相关任务。
2026-10-15 cs.RO
Wrapping Haptic Displays Around Robot Arms to Communicate Learning
Purdue University(普渡大学);Virginia Tech(弗吉尼亚理工大学)
人类可以利用物理交互来教机器人手臂。当人类通过动觉引导机器人进行演示时,机器人学会了所需的任务。虽然之前的工作集中在机器人如何学习,但对于人类教师来说,了解他们的机器人正在学习什么同样重要。视觉显示可以传达这些信息;然而,我们假设视觉反馈本身错过了人类和机器人之间的物理联系。在本文中,我们介绍了一类新的软触觉显示,包裹在机器人手臂,添加信号,而不影响互动。我们首先设计了一个气动驱动阵列,保持灵活的安装。然后,我们开发这个包装的触觉显示的单维和多维版本,并探讨在心理生理测试和机器人学习的渲染信号的人类感知。我们最终发现,人们准确地区分单维反馈的韦伯分数为11.4%,识别多维反馈的准确率为94.5%。在对机器人手臂进行物理教学时,人类利用单维和多维反馈提供比视觉反馈更好的演示:我们的包裹式触觉显示减少了教学时间,同时提高了演示质量。这种改进取决于包裹的触觉显示的位置和分布。你可以在这里看到我们的设备和实验的视频:https://youtu.be/yPcMGeqsjdM
2022-12-20 cs.RO
Training Humans to Train Robots Dynamic Motor Skills
Department of Engineering, King’s College London(伦敦国王学院工程系)
示教学习(LfD)通常被认为是允许新手用户向机器人教授运动技能的自然和直观的方式。然而,重要的是要承认,LfD的有效性在很大程度上取决于教学质量,这可能无法保证新手。除了为特定的教学任务提供临时建议外,如何最有效地指导演示者进行信息演示,这仍然是一个悬而未决的问题。为此,本文调查了使用机器教学,以获得一个指数,用于确定演示的质量,并评估其使用的指导和培训新手成为更好的教师。一个简单的学习机器人的实验表明,通过所提出的方法,教师的指导和培训,可以导致高达66.5%的错误减少在学习技能。
2021-05-13 cs.AI cs.HC cs.RO
A Unified Multi-Layer Framework for Skill Acquisition from Imperfect Human Demonstrations
Western University(西安大略大学)
本文提出了一种多层控制框架,通过实时学习轨迹和变量阻抗提升效率,结合奇异点优化和基础合规性方法,实现安全、直观的机器人协作任务系统。
2026-04-09 cs.RO
DFL-TORO: A One-Shot Demonstration Framework for Learning Time-Optimal Robotic Manufacturing Tasks
University of Luxembourg(卢森堡大学);Interdisciplinary Centre for Security, Reliability, and Trust (SnT)(安全、可靠性与跨学科信任中心(SnT));Faculty of Science, Technology, and Medicine(科学、技术与医学学院)
本文提出 DFL-TORO 单次动觉演示框架,结合基于优化的时间最优、加加速度受限平滑算法,在 FR3 与 ABB YuMi 上验证了其提升制造机器人 LfD 效率和效果的能力。
2024-08-09 cs.RO
Sensorless Hand Guidance using Microsoft Hololens
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
手指导机器人已被证明是一个有用的工具,无论是规划轨迹和动觉教学。然而,手的指导通常是降级到机器人拥有关节扭矩传感器(JTS)。在这里,我们建议通过使用增强现实(AR)设备,即微软的Hololens,将手部指导扩展到缺乏这些传感器的机器人。增强现实设备已经被设想为有助于简化机器人编程和增加在机器人附近工作的人的情境感知的有益补充。我们参考机器人通过使用配准算法来匹配机器人模型的空间网格。然后,使用内置的手部跟踪功能来计算手部相对于机器人的位置。通过将手部运动分解为正交旋转,我们实现了完全无传感器的手部引导,而无需构建机器人本身的动态模型。我们在常用的工业机械手KUKA KR-5上进行了第一次测试。
2019-01-15 cs.RO
Learning Whole-Body Human-Robot Haptic Interaction in Social Contexts
Arizona State University(亚利桑那州立大学);Honda Research Institute, USA(美国本田研究院)
本文提出了一种从演示中学习(LfD)的框架,用于教授涉及全身触觉交互的人与机器人的社交交互,即在整个机器人身体上直接进行人与机器人的接触。现有的LfD框架的性能受到这种相互作用,由于演示数据的高维性和时空稀疏性。我们表明,通过利用这种稀疏性,我们可以减少数据维数,而不会产生显着的准确性惩罚,并介绍了三种策略。通过将这些技术与用于学习多模态人机交互的LfD框架相结合,我们可以在全身触觉交互期间对触觉和动觉信息之间的时空关系进行建模。使用配备61个力传感器的远程操作双手机器人,我们实验证明,一个模型训练121个样本拥抱从4个参与者,以及推广到看不见的输入和人类合作伙伴。
2020-05-26 cs.AI cs.LG cs.RO
EVE: Enabling Anyone to Train Robots using Augmented Reality
University of Washington(华盛顿大学);NVIDIA(英伟达公司);Allen Institute for AI(艾伦人工智能研究所)
本文提出 iOS 应用 EVE,让普通用户无需实体机器人即可通过增强现实指定和检查路径点、采集轨迹演示;用户研究表明其成功率优于现有界面,综合体验接近动觉教学。
2024-08-03 cs.HC cs.RO
iRoPro: An interactive Robot Programming Framework
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
从制造环境到个人家庭,终端用户任务的多样性使得用于通用应用的预编程机器人极具挑战性。事实上,从头开始教机器人新的动作,可以重复使用以前看不见的任务仍然是一个艰巨的挑战,通常留给机器人专家。在这项工作中,我们提出了iRoPro,一个交互式的机器人编程框架,允许终端用户很少或没有技术背景,教机器人新的可重用的行动。我们结合示范编程和自动规划技术,让用户构建机器人的知识库,通过教新的动作动觉示范。这些动作被概括并与任务规划器一起重用,以解决用户定义的以前看不见的问题。我们将iRoPro作为Baxter研究机器人上的端到端系统实施,通过演示同时教授低级和高级操作,用户可以通过图形用户界面进行自定义,以适应其特定用例。为了评估我们的方法的可行性,我们首先进行了预设计实验,以更好地了解用户的采用所涉及的概念和建议的机器人编程过程。我们比较结果与设计后的实验,在那里我们进行了用户研究,以验证我们的方法与真正的最终用户的可用性。总体而言,我们表明,具有不同编程水平和教育背景的用户可以轻松学习和使用iRoPro及其机器人编程过程。
2021-12-08 cs.AI cs.RO
Interactive Open-Ended Object, Affordance and Grasp Learning for Robotic Manipulation
IEETA - University of Aveiro(阿威罗大学电子与电信研究所);University of Groningen(格罗宁根大学)
服务机器人被期望在以人为中心的环境中自主和高效地工作。对于这种类型的机器人,由于需要准确和实时的响应,物体感知和操纵是具有挑战性的任务。本文提出了一种交互式的开放式学习方法,同时认识到多个对象和他们的把握启示。这是服务机器人领域的一个重要贡献,因为无论用于批量学习的训练数据有多广泛,机器人在以人为中心的环境中操作时可能总是会遇到未知物体。本文介绍了系统的体系结构和学习和识别能力。抓取学习关联抓取配置(即,末端执行器位置和方向)来掌握示能表示类别。分别通过口头和动觉教学来教授抓握示能类别和抓握配置。贝叶斯方法被用于学习和识别的对象类别和基于实例的方法被用于学习和识别的启示类别。已经进行了一组广泛的实验,以评估所提出的方法在具有挑战性的数据集和现实世界的情况下的识别精度,可扩展性和把握成功率的性能。
2019-04-04 cs.RO
Tactile-Proprioceptive Sensor Fusion for Contact Wrench Estimation in Whole-Body Physical Human-Robot Interaction
Department of Robotics and Mechatronics Engineering, DGIST (Daegu Gyeongbuk Institute of Science and Technology)(机器人与机电工程系,DGIST(大邱庆尚科学技术研究所));Kinetic Intelligent Machine Lab (KIMLAB), University of Illinois Urbana-Champaign(动能智能机器实验室(KIMLAB),伊利诺伊大学厄巴纳-香槟分校)
提出触觉-本体感觉融合框架,利用气动皮肤垫的触觉线索作为接触指示器,结合基于电机电流的本体感觉,通过时间卷积网络消除摩擦滞后,实现多轴接触力重建,提高物理人机交互的灵敏度和响应性。
2026-05-27 cs.LG cs.RO
Using Explainable AI and Hierarchical Planning for Outreach with Robots
提出开源平台JEDAI.Ed,利用可解释AI与分层规划,通过可视化界面帮助非专家学习机器人编程,有效提升参与度并缩短任务解决时间。
2025-06-25 cs.RO
Scaling Single Human Demonstrations for Imitation Learning using Generative Foundational Models
Computer Science, University of Freiburg(弗赖堡大学计算机科学系);Zuse School ELIZA(泽乌斯学校ELIZA)
通过生成基础模型扩展单人示范用于模仿学习,实现从单人示范到机器人任务的高效训练与泛化
2026-02-13 cs.RO
Versatile Demonstration Interface: Toward More Flexible Robot Demonstration Collection
Massachusetts Institute of Technology(麻省理工学院);Computer Science and Artificial Intelligence Lab (CSAIL)(计算机科学与人工智能实验室)
本文提出协作机器人附件 VDI,通过视觉、力觉与状态跟踪支持三类示教采集,并在制造专家参与的工业用户研究中验证其灵活性与实用价值。
2025-03-13 cs.RO
Joint Flow Trajectory Optimization For Feasible Robot Motion Generation from Video Demonstrations
College of Connected Computing, Vanderbilt University(连接计算学院,范德比尔特大学);Robotics Institute, Carnegie Mellon University(机器人研究所,卡内基梅隆大学);School of Computer Science, The University of Sydney(计算机科学学院,悉尼大学)
提出联合流轨迹优化(JFTO)框架,通过以物体为中心的引导和SE(3)流匹配,在视频演示下实现可行的抓取姿态生成与物体轨迹模仿,兼顾抓取相似性、轨迹似然和碰撞惩罚。
2025-09-25 cs.AI cs.CV cs.RO
Optimizing Force Signals from Human Demonstrations of In-Contact Motions
Chair for Applied Computer Science III (Robotics and Embedded Systems), University of Bayreuth(应用计算机科学系III(机器人与嵌入式系统),拜罗伊特大学)
本文针对人类演示接触运动时力信号含噪不精确的问题,比较多种滤波方法并提出峰值检测法处理首次接触偏差,使力信号更贴合人类意图,将单个运动质量误差最多降低20%,提升了机器人编程可用性与人机交互。
2025-08-14 cs.RO
Vocal Sandbox: Continual Learning and Adaptation for Situated Human-Robot Collaboration
Stanford University(斯坦福大学)
提出Vocal Sandbox框架,通过多模态教学和轻量级学习算法实现情境化人机协作的持续学习,在礼品袋组装和定格动画任务中显著提升性能并减少监督。
2024-11-04 cs.AI cs.CL cs.HC
This Far, No Further: Introducing Virtual Borders to Mobile Robots Using a Laser Pointer
Bielefeld University of Appl. Sciences(比勒费尔德应用科学大学);Otto-von-Guericke University Magdeburg(马格德堡奥托-冯-格里克大学)
我们解决的问题控制的3自由度移动机器人的工作空间。在人-机器人共享空间中,机器人应该根据用户的需求以人类可接受的方式进行导航。为此,我们采用虚拟边界,即非物理边界,允许用户的机器人的工作空间的限制。为此,我们提出了一种基于激光笔的交互方法来直观地定义虚拟边界。这种交互方法使用先前开发的框架,基于机器人的指导,以改变机器人的导航行为。此外,我们扩展了这个框架,以增加灵活性,考虑不同类型的虚拟边界,即多边形和曲线分离的区域。我们评估了我们的方法与15个非专家用户的正确性,准确性和教学时间。实验结果表明,一个高精度和线性教学时间相对于边界长度,同时正确地将边界到机器人的导航地图。最后,我们的用户研究表明,非专家用户可以采用我们的交互方法。
2019-03-04 cs.RO
ARMimic: Learning Robotic Manipulation from Passive Human Demonstrations in Augmented Reality
Technical University of Munich(技术大学慕尼黑);University of Tokyo(东京大学);Toyota Motor Corporation(丰田汽车公司)
本文提出 ARMimic 框架,仅用消费级 XR 头显和固定相机采集被动人类演示,并通过统一模仿学习流程训练可跨本体泛化的操作策略,显著降低演示时间并提升成功率。
2025-09-26 cs.RO
A Passivity-Based Variable Impedance Controller for Incremental Learning of Periodic Interactive Tasks
Università di Trento(特伦托大学);Istituto Italiano di Tecnologia(意大利技术研究院)
针对人工示教中的安全交互问题,提出一种基于无源性的可变阻抗控制器,通过能量与功率约束及能量流监测区分扰动和物理引导,并在真实机械臂擦拭任务中验证有效性。
2024-08-20 cs.RO
CLASP: Language-Driven Robot Skill Selection and Composition using Task-Parameterized Learning
German Aerospace Center (DLR), Institute of Robotics and Mechatronics (RMC)(德国航空航天中心(DLR),机器人与机电一体化研究所(RMC));Technical University of Munich (TUM)(慕尼黑工业大学(TUM))
提出CLASP架构,结合任务参数化核化运动基元(TP-KMP)与预训练视觉语言模型(VLM),通过自然语言命令实现技能选择、组合和主动学习,无需微调,在7自由度机械臂上达到73.3%-100%成功率。
2026-06-06 cs.AI cs.CL cs.HC
When a Robot is More Capable than a Human: Learning from Constrained Demonstrators
Thomas Lord Department of Computer Science, University of Southern California(汤姆·劳德计算机科学系,南加州大学);Meta AI;Department of Computer Science & Engineering, University of California San Diego(计算机科学与工程系,加州大学圣地亚哥分校)
本文探讨机器人能否超越受限专家的演示学习,通过探索更高效轨迹和自定义奖励信号,提升学习效率和任务完成速度。
2026-05-09 cs.AI cs.LG cs.RO
Adaptive Motion Planning via Contact-Based Intent Inference for Human-Robot Collaboration
Department of Mechanical Engineering, Texas A&M University(机械工程系,德克萨斯A&M大学);Department of Civil and Environmental Engineering, Texas A&M University(土木与环境工程系,德克萨斯A&M大学)
针对人机协作中机器人需适应人类意图的问题,提出接触信息自适应运动规划框架,通过力估计和接触检测推断意图并在线修正运动,实验验证了其有效性。
2025-10-09 cs.RO
A Review of Communicating Robot Learning during Human-Robot Interaction
Virginia Tech(弗吉尼亚理工大学);Purdue University(普渡大学)
本文综述了人机交互中机器人如何将自身学习过程反馈给人类的方法与成果,强调学习与通信协同设计可提升教学效果、信任和共同适应,并通过案例研究验证了集成方法。
2023-12-01 cs.RO
Context-aware robot control using gesture episodes
Czech Technical University in Prague(布拉格捷克理工大学);Czech Institute of Informatics, Robotics, and Cybernetics(捷克信息学、机器人与控制论研究所)
本文提出一种基于手势片段、情境上下文和常识推断用户意图的上下文感知机器人控制方法,在模拟桌面操作环境中验证了其处理用户个人偏好的能力。
2023-01-24 cs.RO
High-level programming and control for industrial robotics: using a hand-held accelerometer-based input device for gesture and posture recognition
University of Coimbra(科英布拉大学);University of Porto(波尔图大学)
目的-大多数工业机器人仍然使用典型的示教过程进行编程,通过使用机器人示教器。这是一项繁琐且耗时的任务,需要一些技术专长,因此需要新的机器人编程方法。本文的目的是提出一个机器人系统,允许用户指示和编程的机器人与高层次的抽象从机器人语言。设计/方法/方法-该论文详细介绍了一种机器人系统,该系统允许用户,特别是非专家程序员,以直观的方式指导和编程机器人,只是向它展示它应该做什么。这是使用两个最自然的人机界面(手势和语音),力控制系统和几个代码生成技术。将特别注意手势的识别,其中从Wii遥控器中嵌入的运动传感器(三轴加速度计)提取的数据用于捕获人手的行为。使用统计方法和人工神经网络识别手势(动态手位置)以及手动姿势(静态手位置)。实用意义-本文的主要贡献是,它提供了一个实用的方法来编程机器人通过手势和语音,提高工作效率,节省时间。独创性/价值-本文提出了一种替代典型的机器人教学过程中,扩展的概念,人机交互和同事的情况。由于大多数公司没有工程资源对其机器人制造系统进行更改或添加新功能,因此该系统对中小型企业来说是一个主要优势。
2013-09-09 cs.RO
Enabling Robots to Infer how End-Users Teach and Learn through Human-Robot Interaction
Rice University(莱斯大学)
在人机交互(HRI)中,我们希望机器人理解我们,我们希望直观地理解机器人。为了与机器人进行交流和理解,我们可以利用交互,人类和机器人可以观察彼此的行为。然而,人类和机器人应该如何解释这些动作并不总是很清楚:一个给定的交互可能意味着几个不同的事情。在当今的最先进技术中,机器人为人类分配一个单一的交互策略,并根据这个固定的策略向人类学习或教导人类。相反,我们在这里认识到,不同的用户以不同的方式进行交互,因此一种尺寸并不适合所有人。因此,我们认为,机器人应该保持一个分布在可能的人类互动策略,然后推断每个终端用户如何在任务过程中进行交互。当机器人不确定人类的交互策略时,我们正式定义了学习和教学,并使用贝叶斯推理推导出这两个问题的解决方案。在示例和基准模拟中,我们表明我们的个性化方法优于保持固定交互策略的标准方法。
2019-02-02 cs.RO
Multi-Modal Human-Machine Communication for Instructing Robot Grasping Tasks
实现智能机器人的一个主要挑战是为它们提供认知能力,以便普通用户可以轻松直观地对其进行编程。这种编程的一种方式是通过交互式演示来教授工作任务。为了使用户有效和方便,机器必须能够建立一个共同的注意力焦点,并能够使用和整合口头指令,视觉感知和非语言线索,如手势命令。我们报告的进展,建立一个混合体系结构,结合统计方法,神经网络,有限状态机到一个集成的系统,指导掌握任务的人机交互。该系统将用于视觉注意力和手势指令的GRAVIS-robot与用于语音识别和语言解释的智能界面以及模态融合模块相结合,以允许针对灵巧的机器人操作进行多模式面向任务的人机通信对象。
2005-05-24 cs.AI cs.CV cs.HC
Task-Parameterized Imitation Learning with Time-Sensitive Constraints
KUKA Deutschland GmbH(库卡德国有限公司);Technical University Braunschweig(布伦瑞克工业大学);Instituto Superior Técnico(里斯本高等理工学院)
本文提出在黎曼流形上学习 GMM 的约束化 EM 算法,并扩展至 TP-GMM,使机械臂能在指定时间精确满足末端执行器位姿约束。
2023-12-06 cs.RO
MimicFunc: Imitating Tool Manipulation from a Single Human Video via Functional Correspondence
Southern University of Science and Technology(南方科技大学);National University of Singapore(新加坡国立大学)
MimicFunc提出基于功能坐标系和关键点抽象的功能对应框架,使机器人能从单个人类RGB-D视频一次性泛化工具操作技能到新工具,并用于训练视觉运动策略,减少遥操作数据收集需求。
2025-08-19 cs.AI cs.CV cs.RO