Learning Bipedal Robot Locomotion from Human Movement
Sony Interactive Entertainment(索尼互动娱乐)
从人类的例子教拟人化机器人提供了机会,传授其运动的人性化品质。在这项工作中,我们提出了一个强化学习为基础的方法,教一个现实世界中的双足机器人直接从人体运动捕捉数据进行运动。我们的方法从模拟环境中的训练无缝过渡到在物理机器人上执行,而不需要任何真实世界的训练迭代或离线步骤。为了克服机器人和动作捕捉演员之间的关节配置的差距,我们的方法将运动重定位到训练过程中。域随机化技术用于补偿模拟系统和物理系统之间的差异。我们展示了我们的方法在内部开发的人形机器人的运动范围从一个动态的步行周期复杂的平衡和挥舞。我们的控制器保留了动作捕捉数据所赋予的风格,并表现出优雅的故障模式,从而使机器人安全运行。这项工作仅用于研究目的。
2021-05-26 cs.AI cs.LG cs.RO
Analysis of Rigid Extended Object Co-Manipulation by Human Dyads: Lateral Movement Characterization
在人与机器人的协同操作中,为了实现人与机器人之间舒适、协调的运动,需要基于人的行为来设计机器人控制器。在本文中,我们描述了一个实验之间的人,人的二人组和我们记录的力和运动数据的领导者,从二人组移动的平移和旋转。然后分析力/运动数据,以确定仅在横向平移期间发现的模式。对于扩展对象,横向平移和原地旋转是模糊的,但本文确定了一种方法来表征横向平移触发器,以供将来在人机交互中使用。本研究有四个主要结果。首先,相互作用力是明显的,是共同操纵的必要条件。第二,最小加加速度轨迹被发现在横向方向上仅用于横向运动。第三,横向运动的开始是由领导者独特的力量触发的。最后,有不同的指标,可以归因于确定哪些对移动最有效的横向方向。
2017-02-02 cs.RO
Biologically inspired model simulating visual pathways and cerebellum function in human - Achieving visuomotor coordination and high precision movement with learning ability
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心);China Agricultural University(中国农业大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
近年来,信息科学与神经科学的交叉研究成为热点。本文基于近年来的生物学研究成果,提出了一种新的模型来模拟人类中枢和外周神经系统的视觉信息处理、运动规划和控制。该模型的主要步骤如下:1)模拟“where”通路:采用选择性搜索方法模拟人类背侧视觉通路定位候选物体的功能; 2)模拟“what”通路:采用卷积深度信念网络模拟人类腹侧视觉通路的层次结构和功能,用于物体识别; 3)模拟人体的运动规划过程:模拟人体习惯性的运动规划过程,根据以往经验的控制信号组合生成运动指令;校准的控制信号,其模仿人类小脑对运动的调节,从过去经验中的运动误差的校准中生成和更新,并发送到运动模型以实现高精度。该框架模拟了人类识别、视觉协调和精确运动控制的结构和功能。通过对目标定位、识别和运动控制的实验表明,该模型不仅能够完成视觉协调任务,而且具有学习能力,能够实现高精度的运动。同时,实验结果也证明了所引入的机制的有效性.此外,所提出的模型可以推广和应用到其他系统,如机械和电气系统的机器人,以实现快速响应,高精度的运动与学习能力。
2016-03-08 cs.RO
Uncovering the Secrets of Human-Like Movement: A Fresh Perspective on Motion Planning
Tencent Robotics X(腾讯Robotics X实验室);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of South Australia(南澳大学)
本文从生物力学视角提出融合柔顺控制动力学与响应时间矩阵的最优控制框架,将机械臂运动转化为时间参数化最优控制问题,以平衡精度与柔顺性,并在机械臂和人形机器人上验证了其有效性。
2024-10-21 cs.RO
Human-robot collaborative object transfer using human motion prediction based on Cartesian pose Dynamic Movement Primitives
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);Chalmers University of Technology(查尔姆斯理工大学)
在这项工作中,问题的人-机器人协作对象转移到未知的目标位姿。使用DMP(动态运动基元)对末端执行器姿态轨迹到已知目标姿态的期望模式进行编码。在物体向新的未知目标的转移过程中,提出了一种基于DMP的参考模型和EKF(Extended卡尔曼滤波器)方法,用于估计目标的位姿和人的预期运动持续时间。提供了整体方案的稳定性分析。实验使用Kuka LWR 4+机器人配备ATI传感器在其末端执行器验证其功效方面所需的人力,并比较它与导纳控制方案。
2021-10-27 cs.RO
Examining the legibility of humanoid robot arm movements in a pointing task
Faculty of Mathematics, Physics;Informatics, Comenius University Bratislava, Slovakia DIBRIS, University of Genoa, Genoa, Italy CONTACT, Italian Institute of Technology, Genoa, Italy Digital Health Dept., Nvision Systems \& Technologies, S.L., Barcelona, Spain Faculty of Education, University of Ljubljana, Slovenia
本研究通过NICO仿人机器人指向实验,验证了多模态优势与视觉主导假说,揭示人类可依据截断运动及身体线索预测机器人意图。
2025-08-07 cs.RO
Imitating careful experts to avoid catastrophic events
University of Bristol(布里斯托大学)
RL越来越多地用于控制与人类密切互动的机器人系统。这种交互提出了安全RL的问题:如何确保RL控制的机器人系统永远不会伤害人类。这个问题在丰富、现实的环境中尤其具有挑战性,在这些环境中,甚至不可能清楚地写下包含这些结果的奖励函数。在这种情况下,也许唯一可行的方法是基于IRL,它从人类演示中推断奖励。然而,由于许多不同的奖励可能导致相同的最优策略,因此IRL是严重欠定的;我们表明,这使得很难区分灾难性的结果(例如伤害人类)和仅仅是不理想的结果。我们的关键见解是,当灾难性结果可能发生时,人类确实会表现出不同的行为:他们变得更加谨慎。我们将谨慎信号纳入IRL,并发现它们确实允许IRL从灾难性结果中消除不希望的歧义,这对于确保未来现实世界中人机交互的安全至关重要。
2023-02-02 cs.LG cs.RO
Human movement augmentation and how to make it a reality
用人造肢体来增强身体,同时控制自然肢体,这在科幻小说中早已出现,但最近的技术和神经科学进步已经开始使这一愿景成为可能。通过允许个人完成其他不可能的动作,这种运动增强可能会彻底改变医疗和工业应用,并深刻改变人类与环境互动的方式。在这里,我们通过增强什么以及如何实现来构建一个运动增强分类。在这个框架中,我们分析了扩展自由度数量的增强,讨论了有效增强的关键特征,如生理控制信号,感觉反馈和学习,并提出了该领域的愿景。
2021-06-15 cs.RO
Co-active Learning to Adapt Humanoid Movement for Manipulation
University of Maryland(马里兰大学)
本文提出协同学习框架,通过人机交互适应机器人末端执行器的运动以应对不同约束环境,实验验证了方法的有效性。
2016-09-12 cs.LG cs.RO cs.SY
Human Movement Forecasting with Loose Clothing
本研究受衣物附着式传感器活动识别精度更优的发现启发,对比衣物与体表附着式传感器的人体运动预测性能,实验证实织物附着式传感器预测准确率最高提升40%,达95%准确率所需历史轨迹时长最多减少80%。
2024-04-12 cs.RO
Imitate and Repurpose: Learning Reusable Robot Movement Skills From Human and Animal Behaviors
DeepMind(深度思维)
我们研究了利用人类和动物运动的先验知识来学习真正的足式机器人的可重复使用的运动技能。我们的方法建立在以前的工作模仿人类或狗的运动捕捉(MoCap)数据,学习运动技能模块。一旦学会,这个技能模块可以重复用于复杂的下游任务。重要的是,由于MoCap数据的先验性,我们的方法不需要广泛的奖励工程来在重用时产生合理和自然的行为。这使得创建适合在真实机器人上部署的规则化、面向任务的控制器变得容易。我们演示了我们的技能模块可以用于模仿,和训练可控的步行和运球政策的ANYmal四足动物和OP3人形。然后,这些策略通过zero-shot仿真到现实的传输部署在硬件上。相关视频可在https://bit.ly/robot-npmp上获得。
2022-03-31 cs.AI cs.LG cs.RO
A Joint Motion Model for Human-Like Robot-Human Handover
Bielefeld University of Applied Sciences(比勒费尔德应用科学大学);Bielefeld University(比勒费尔德大学)
未来,机器人将出现在日常生活中。这些辅助机器人的开发是一个挑战。辅助机器人的一项基本任务是拿起物体并将其交给人类。通过与用户互动,可预测性、安全性和可靠性等软因素成为发展的重要因素。以前的工作表明,当机器人的行为和移动像人类时,与机器人的合作更容易被接受。在本文中,我们提出了一个运动模型的基础上的运动轮廓的各个关节。这些运动轮廓是基于人-人切换中的关节运动的观察和测量。我们实现了这个关节运动模型(JMM)上的人形和非人形工业机器人显示主体的运动。特别注意的是动作的可识别性和人类相似性。结果表明,与传统模型相比,人们能够识别类似人类的运动,并将JMM的运动感知为更像人类。此外,事实证明,线性关节空间轨迹和JMM之间的差异在工业机器人中比在人形机器人中更明显。
2018-08-28 cs.RO
A General Optimal Control Model of Human Movement Patterns I: Walking Gait
Oregon Health & Science University(俄勒冈健康与科学大学)
人体的生物力学赋予受试者高度的自由度,使他们能够执行运动。然而,受试者的运动模式表现出规律性。解释这种规律性的一种方法是假设受试者选择的运动轨迹在某种意义上是最优的。我们采用的原则,人体运动是最佳的,并开发了一个通用的模型,使用变分方法的最优控制理论的形式来计算人体的运动轨迹的轨迹的人体运动模式。我们发现,在这种方法中,从模型中产生的运动的常数,并在最优控制模型中发挥作用,这是类似的作用,机械能在经典物理学中发挥作用。我们说明了这种方法是如何在实践中使用它来开发一个模型的步行步态,使所有的推导和计算的细节。我们最后表明,这种最优控制模型的步行步态恢复在一个适当的限制,现有的步行步态模型已被证明提供良好的估计,许多观察到的特征的步行步态。
2018-12-09 cs.RO q-bio.QM
Synthesis and Execution of Communicative Robotic Movements with Generative Adversarial Networks
University of Genoa(热那亚大学);Italian Institute of Technology(意大利技术研究院)
对象操作是我们每天都在进行的自然活动。人类如何处理物体不仅可以传达行为的故意性,或者我们操作的环境的关键方面,而且还可以传达所涉及的物体的属性,而不需要任何明确的语言描述。由于人类智能包括阅读上下文的能力,因此允许机器人执行直观地传达此类信息的操作将大大促进协作。在这项工作中,我们专注于如何在两个不同的机器人平台上传输相同的运动学调制,人类在操纵精致的物体时采用,旨在赋予机器人在运动中表现出谨慎的能力。我们选择调节机器人末端执行器所采用的速度分布,这是受到人类在运输具有不同特征的物体时所做的事情的启发。我们利用一种新的生成对抗网络架构,用人类运动学的例子进行训练,来概括它们,并生成新的和有意义的速度曲线,无论是与小心或不小心的态度。这种方法将允许下一代机器人根据感知的上下文选择最合适的运动风格,并自主生成它们的运动动作执行。
2022-03-31 cs.AI cs.RO
Motion Capture Benchmark of Real Industrial Tasks and Traditional Crafts for Human Movement Analysis
Université PSL(巴黎文理研究大学);Mines Paris(巴黎矿业学院)
本文提出七个基于惯性运动捕捉的真实工业与传统手工艺数据集,并采用混合随机-生物力学模型进行运动分析与灵巧性量化,为人体运动研究提供基准。
2023-04-03 cs.AI cs.CV cs.LG
Uniform vs. Lognormal Kinematics in Robots: Perceptual Preferences for Robotic Movements
本文研究人类对机器人运动的感知偏好,基于对数正态原理开发类人运动程序,并在ABB IRB 120和UR3机器人上对比梯形与钟形速度曲线,发现受试者偏好类人运动。
2024-05-29 cs.CV cs.RO
Expressing and Inferring Action Carefulness in Human-to-Robot Handovers
Italian Institute of Technology(意大利技术研究院);University of Genoa(热那亚大学);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Institute for Systems and Robotics (ISR Lisboa)(系统与机器人研究所(里斯本))
本研究提出一种生态学方法,通过分析人类操作物体时的运动学调制来推断物体特征,并设计“表达性”控制器调制机器人运动以传达属性,实验证明该方法能在线推断交接谨慎性并提升任务效率。
2023-09-30 cs.RO
Human-robot collaborative transport personalization via Dynamic Movement Primitives and velocity scaling
Department of Innovative Technologies, University of Applied Science and Arts of Southern Switzerland (SUPSI)(创新技术系,瑞士南方应用科学与艺术大学)
本文提出基于动态运动基元(DMPs)和实时速度缩放的个性化轨迹生成方法,通过工业级人机协作搬运实验验证其在适应性、用户偏好和生理指标上均优于BiTRRT规划器。
2025-06-17 cs.RO
Exploiting Spherical Projections To Generate Human-Like Wrist Pointing Movements
University of Edinburgh(爱丁堡大学)
人类运动产生背后的机制在许多领域(例如机器人和神经科学)都有很大的兴趣,以改善治疗和技术。最优反馈控制(OFC)和被动运动范式(PMP)是目前能够有效地产生类人运动的两种主要理论,但是它们需要求解非线性逆问题来找到解。使用PMP的主要益处是产生与在人类中观察到的刻板行为一致的路径无关运动的可能性,而等效的OFC制剂是路径依赖的。我们的研究结果表明,如何观察到的手腕指向任务的路径独立的行为可以解释由球面投影的平面任务。与分形阻抗控制器的投影相结合,消除了非线性逆问题,这降低了计算成本相比,以前的方法。该运动利用了最近提出的PMP架构,该架构用分形阻抗控制器生成的非线性各向异性刚度阻抗曲线代替了非线性逆优化,降低了计算成本,并且不需要依赖于任务的优化。
2021-07-28 cs.RO
Minimum Jerk Trajectory Generation for Straight and Curved Movements: Mathematical Analysis
South Valley University(南河谷大学)
在本章中,最小加加速度轨迹(MJT)生成的数学分析。在这项研究中,最小加加速度轨迹的位置和速度作为时间的函数,在两种情况下:第一种是无约束的点到点的运动的人手,而第二种情况是弯曲的点到点的运动的人手。最后结合实例进行了仿真研究,并利用MATLAB进行了仿真。结果证明,最小加加速度轨迹是最平滑的人手可能的运动。
2021-02-15 cs.RO
Human sensory-musculoskeletal modeling and control of whole-body movements
Tsinghua University(清华大学)
本文提出整合多模态感觉输入的人体感觉-肌肉骨骼模型SMS-Human,并采用分阶段分层深度强化学习框架,成功仿真双足行走、视觉引导操作和骑行交互等任务,揭示了难以直接测量的肌肉骨骼动力学。
2025-05-29 cs.AI cs.RO q-bio.NC
Dynamic Interaction Probabilistic Movement Primitives
人机协作正在兴起。机器人需要通过正确预测人类的意图来不断提高它们协助人类的效率和流畅性。要做到这一点,预测模型需要提高其准确性和响应能力。这项工作建立在具有相位估计的交互运动原语之上,并重新制定了框架,以使用动态人体运动观察,不断更新预期运动。原始框架只考虑一个固定持续时间的静态人体观察,用于执行只有一个预期的运动。动态观测,内置的相位估计,产生一系列更新的机器人运动分布。在现有的和最新的最有可能的机器人运动分布之间进行协同激活。这导致了高度准确和具有增强的响应性的平滑的预期机器人运动。
2019-01-30 cs.RO
Model-Free and Learning-Free Proprioceptive Humanoid Movement Control
National University of Singapore(新加坡国立大学);Johns Hopkins University(约翰斯·霍普金斯大学)
提出了一种新的无模型拟人机器人准静态运动控制方法。传统的基于模型的方法通常需要精确的机器人模型参数。此外,现有的基于学习的框架通常在仿真环境中训练策略,从而间接地依赖于模型。相比之下,我们提出了一个本体感受的框架,只基于感官输出。它不需要机器人运动学模型或惯性参数的先验知识。我们的方法包括三个步骤:1.在单个周期内规划不同的压力中心(CoP)和脚部位置目标对。2.通过来回轻微移动机器人的腿关节来搜索当前配置,同时记录其CoP和脚位置的传感器测量值。3.使用优化算法更新机器人运动,直到实现所有目标。我们证明了我们的方法在NAO人形机器人平台上。实验结果表明,该方法能够成功地产生稳定的机器人运动。
2023-02-28 cs.RO
Joint Prediction of Human Motions and Actions in Human-Robot Collaboration
University of Genoa(热那亚大学)
本文提出MA-HERP框架,通过层次递归概率模型联合估计和预测人类动作与连续运动,结合Allen区间关系、统一概率因子分解及贝叶斯过滤启发的递归推理,实现鲁棒的动作推断和在线协作。
2026-04-03 cs.RO
A Constructed Response: Designing and Choreographing Robot Arm Movements in Collaborative Dance Improvisation
Studio for Narrative Spaces, City University of Hong Kong(叙事空间工作室,香港城市大学);D Design, Cranbrook Academy of Art(4D设计,克兰布鲁克艺术学院);Information Science, Cornell Tech(信息科学,康奈尔科技)
研究舞者在即兴创作中与机械臂的互动,发现一对一场景下动作更流畅且连接感更强,三对一场景则将机器人视为背景并增加空间感知,为非拟人化智能体艺术协作提供设计见解。
2025-05-29 cs.HC cs.RO
Incremental Learning of Probabilistic Movement Primitives (ProMPs) for Human-Robot Cooperation
Western Norway University of Applied Sciences(西挪威应用科学大学);University of Plymouth(普利茅斯大学)
为了成功部署物理人机合作(pHRC),人类需要能够快速教会机器人新的运动技能。概率运动基元(ProMPs)是一种很有前途的方法来编码机器人的运动技能,从人类的示范pHRC设置。然而,大多数从人类演示中学习ProMP的算法都以批处理模式运行,这在pHRC中并不理想。在本文中,我们提出了一个新的学习算法,学习ProMP增量pHRC设置。我们的算法在新的演示到达时按顺序加入新的演示,允许人类观察机器人的学习进度,并逐渐塑造机器人的运动技能。一个内置的遗忘因子允许由人类的学习曲线或任务约束的变化引起的校正演示。我们比较我们的算法的性能,现有的批处理ProMP算法的参考数据产生的拾取和放置任务在我们的实验室。此外,我们在一个概念研究的证明中展示了一只弗兰卡·帕卡熊猫的遗忘因子是如何让我们在任务中采用变化的。本文提出的增量式学习算法有可能导致一个更直观的学习过程,并建立一个成功的人与机器人之间的合作速度比训练在批处理模式。
2021-05-28 cs.RO
Analysis and Transfer of Human Movement Manipulability in Industry-like Activities
Idiap Research Institute(Idiap 研究所);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心)
人类在执行不同类型的工业任务时表现出出色的学习、规划和适应能力。鉴于对任务要求的一些了解,人类能够计划他们的肢体运动,以预期特定技能的执行。例如,当操作者需要在表面上钻孔时,她的四肢的姿势变化以保证与钻孔任务规范兼容的稳定配置,例如施加正交于表面的力。因此,我们有兴趣在工业活动中分析人体手臂的运动模式。要做到这一点,我们建立我们的分析,所谓的可操作性椭球体,它捕获的姿势依赖的能力,执行运动,并沿不同的任务方向施加力。通过对人体运动可操作性的深入分析,我们发现椭球形状是任务相关的,往往比经典的可操作性指标提供更多的信息。此外,我们展示了如何可操作性模式可以转移到机器人通过学习的概率模型,并采用可操作性跟踪控制器,根据预定义的控制层次的任务规划和执行的行为。
2020-08-05 cs.RO
Reinforcement Learning in Topology-based Representation for Human Body Movement with Whole Arm Manipulation
Hong Kong University of Science and Technology(香港科技大学);Yale University(耶鲁大学);KTH Royal Institute of Technology(KTH皇家理工学院)
移动人体或大而笨重的物体可能需要整个手臂操作(WAM)的力量。这种类型的操作将负载放置在机器人的手臂上,并依赖于相互作用的全局属性来成功-而不是局部接触,如抓取或非弹性推动。在本文中,我们将学习如何生成运动,使WAM在某些救援或病人护理场景中保持和运输人类。我们将该任务建模为强化学习问题,以便提供可以直接响应外部干扰和人体运动的行为。为此,我们代表了全球性的机器人与人类的互动与拓扑为基础的坐标,从手臂和躯干的位置计算。这些坐标还允许将学习到的策略转移到其他身体形状和大小。为了训练和评估,我们模拟了一个动态的海上救援场景,并在定量实验中表明,该政策可以解决看不见的情况下,不同形状的人,漂浮的人,或感知噪声。我们的定性实验表明,随后的运输后,持有的实现,我们证明了政策可以直接转移到现实世界的设置。
2018-09-12 cs.AI cs.LG cs.RO
Prediction of Human Full-Body Movements with Motion Optimization and Recurrent Neural Networks
University of Stuttgart(斯图加特大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
人类运动预测是困难的,因为人类自然地表现出复杂的行为,这些行为可以从一个环境到下一个环境发生巨大变化。为了缓解这一问题,我们提出了一个预测框架,该框架将与内部身体动力学相关的短期预测和与环境和任务约束相关的长期预测相结合。在这项工作中,我们研究了编码短期动态的递归神经网络,而我们考虑到环境的限制,如避障,使用基于梯度的轨迹优化。在真实运动数据上的实验表明,我们的框架相对于最先进的运动预测方法改进了预测,因为它考虑了事先看不见的环境结构。此外,我们演示了一个例子,这个框架可以用来规划机器人的轨迹,优化协调与人类的合作伙伴。
2020-03-18 cs.CV cs.RO
Comparison of Motion Encoding Frameworks on Human Manipulation Actions
University of Göttingen(哥廷根大学);University Medical Center Göttingen(哥廷根大学医学中心)
本文基于含7,652例人体操作的新数据集,系统比较DMP、tbGMR、SEDS、ProMP和OCP五种运动编码框架的编码效率、重建精度与起止点泛化能力。
2024-03-18 cs.RO
Object Handover Prediction using Gaussian Processes clustered with Trajectory Classification
Technische Universität München(慕尼黑工业大学)
一个机器人系统,近似用户的意图和适当的互补运动是成功的人机交互的关键。虽然现有的可穿戴传感器可以实时监测人体运动,但由于其高度非线性运动通过自由度的冗余来优化,因此人体运动的预测是一个重大挑战。在这里,我们展示了高斯过程(GP)的鲁棒性聚类与随机分类技术的轨迹预测使用对象切换的情况。通过使用双四元数参数化人-人对象切换过程中的真实6D手部运动,实时分类切换配置的变化,然后使用GP预测剩余的手部轨迹。实验结果表明,该方法能够以轨迹的平均值$43.4\%$对切换配置进行分类,并且能够在人体运动的正常变化范围内预测最终的手部配置。总之,我们证明了GPS与随机分类技术相结合,是一个强大的工具,主动估计人与机器人交互的人体运动。
2017-07-10 cs.RO
Co-Movement and Trust Development in Human-Robot Teams
School of Engineering Mathematics and Technology, University of Bristol, UK(布里斯托尔大学工程数学与技术学院);Bristol Digital Futures Institute, University of Bristol, UK(布里斯托尔数字未来研究所);School of Computer Science, University of Birmingham, UK(伯明翰大学计算机科学学院)
本研究分析了一名人类和两名机器人团队中的信任动态,发现人机运动时间序列的同步性与自我报告的信任变化相关,表明协调动态的定量指标可用于预测信任并提供信任修复的早期预警。
2024-09-30 cs.HC cs.RO
Exploring Temporal Context and Human Movement Dynamics for Online Action Detection in Videos
National Technical University of Athens(雅典国家技术大学)
如今,人类与机器人之间的交互不断扩大,要求越来越多的人体运动识别应用程序能够实时的操作。然而,大多数关于时间动作检测和识别的工作都是以离线方式执行这些任务的,即时间分割的视频被分类为一个整体。在本文中,基于最近提出的时间递归网络的框架,我们探讨如何时间上下文和人体运动动态可以有效地用于在线动作检测。我们的方法使用各种最先进的架构,并适当地结合提取的特征,以提高动作检测。我们评估我们的方法上的一个具有挑战性的,但广泛使用的数据集的时间动作定位,THUMOS'14。我们的实验表明,与基线方法相比,我们的算法有了显著的改进,在THUMOS'14上获得了最先进的结果。
2021-06-26 cs.CV cs.HC cs.RO
If You Are Careful, So Am I! How Robot Communicative Motions Can Influence Human Approach in a Joint Task
Italian Institute of Technology(意大利技术研究院);University of Genoa(热那亚大学);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院)
作为人类,我们有一种非凡的能力,通过观察另一个人如何携带物品来阅读物品的特征。事实上,我们如何执行我们的行动自然嵌入信息的项目功能。协作机器人可以通过调整其末端执行器用于运输物体的策略来实现相同的能力。从这个意义上说,通过提供一个隐含但有效的沟通渠道,可以促进自发的互动。这项工作调查,如果人类正确地认识到隐含的信息共享的机器人机械手通过其运动在二元协作任务。利用生成方法,我们设计了机器人动作来传达运输对象的虚拟属性,特别是通知合作伙伴是否需要谨慎处理所携带的物品。我们发现,仔细是正确的解释时,通过机器人的动作观察。在实验中,我们使用了相同的空塑料杯;然而,参与者根据机器人表现出的态度而不同地接近它们:人类改变了他们伸手去拿物体的方式,当机器人做同样的事情时,他们会更加小心。这种新出现的运动传染形式完全是自发的,即使任务不需要它,它也会发生。
2022-10-24 cs.RO
Influencing Incidental Human-Robot Encounters: Expressive movement improves pedestrians' impressions of a quadruped service robot
University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对偶然人机相遇影响因素研究不足的问题,通过222名被试的真实环境实验,证实受犬类启发的四足服务机器人肢体语言可积极提升行人感知,为服务机器人交互设计提供新方向。
2023-11-08 cs.HC cs.RO
A Generalized Robotic Handwriting Learning System based on Dynamic Movement Primitives (DMPs)
Georgia Institute of Technology(佐治亚理工学院)
示教学习(Learning from demonstration,LfD)是一种功能强大的学习方法,它能够使机器人在一个或多个人类演示的情况下推断出如何执行所需任务。通过从最终用户演示中学习,而不是要求领域专家手动编程每项技能,机器人可以更容易地应用于更广泛的现实世界应用。书写机器人作为LfD的应用之一,由于人类手写轨迹的复杂性,已经成为一个具有挑战性的研究课题。在本文中,我们介绍了一个广义的手写学习系统的物理机器人学习从人类的笔迹的例子,以绘制字母数字字符。我们的机器人系统能够模仿人类演示者的书写方式重写字母,并以类似的书写风格创建新的字母。对于这个系统,我们开发了一个增强的动态运动基元(dynamic movement primitive,简称MOM)算法,MOM *,它增强了我们的机器人系统的鲁棒性和泛化能力。
2020-12-07 cs.RO
Investigating the Effect of Deictic Movements of a Multi-robot
Purdue University(普渡大学)
多机器人系统由多个机器人组成的团队组成,其提供了以高效率、灵活性和鲁棒性执行复杂任务的优点。虽然随着机器人变得更容易获得和更容易使用,对人与机器人交互的研究正在进行中,但人类与多个机器人之间的交互研究代表了一个相对较新的研究领域。特别是,如何将多机器人用于日常用户还没有得到广泛的探讨。此外,在人类多机器人交互中,多机器人的特性对人类感知和认知的影响还有待进一步研究。在本文中,我们特别关注多机器人的运动所产生的物理启示的好处,并通过进行延迟自由回忆任务,研究多机器人的指示动作对信息检索的影响。
2020-06-06 cs.HC cs.RO
Fast User Adaptation for Human Motion Prediction in Physical Human-Robot Interaction
School of Integrated Technology, Yonsei University(延世大学融合技术学院)
为了提高人机交互的效率,需要对人体运动进行准确的预测。不同用户之间的行为差异是限制人体运动预测的关键因素。虽然最近的基于神经网络的建模方法已经提高了它们的预测精度,但是大多数没有考虑对不同用户的有效适应,从而对所有用户采用相同的模型参数。为了应对这一未充分解决的挑战,我们引入了一个元学习框架,以促进模型快速适应看不见的用户。在这项研究中,我们提出了一个模型结构和一个Meta学习算法专门使快速用户适应预测人类运动的合作情况下与机器人。所提出的预测模型包括共享和自适应参数,每个参数针对用户的一般和个人运动。仅使用来自单个用户的少量数据,调整自适应参数以通过两步过程实现特定于用户的预测:通过单独的网络进行初始化和通过几个梯度步骤进行自适应。关于有20个用户与机器人设备合作的运动数据集,所提出的方法在预测看不见的用户的运动方面优于现有的元学习和非元学习基线。
2021-10-11 cs.RO
Generating Shared Latent Variables for Robots to Imitate Human Movements and Understand their Physical Limitations
IMT Atlantique(大西洋高等电信学院)
辅助机器人技术,特别是机器人教练可能对康复医疗非常有帮助。在这种情况下,我们提出了一种基于高斯过程潜变量模型(GP-LVM)的方法来转移物理治疗师,机器人教练和病人之间的知识。我们的模型能够将视觉人体特征映射到机器人数据,以便于机器人学习和模仿。此外,我们建议扩展该模型,以适应机器人的理解,病人的身体限制在评估康复锻炼。实验结果表明,机器人模仿和模型适应根据病人的局限性有希望的结果。
2021-11-03 cs.AI cs.CV cs.HC
Inference of Upcoming Human Grasp Using EMG During Reach-to-Grasp Movement
Northeastern University(东北大学)
本文提出一种基于无监督分割与标记动作转换的动态 EMG 手势分类框架,利用大规模动态抓取动作数据编码抓取意图转换,在无需运动学有监督标注的情况下实现实时抓取意图推断,并评估了不同运动阶段训练策略的性能。
2022-09-26 cs.AI cs.RO
Towards human-like kinematics in industrial robotic arms: a case study on a UR3 robot
Bialystok University of Technology(比亚韦斯托克工业大学);University of Las Palmas de G.C.(大加那利岛拉斯帕尔马斯大学);IDeTIC Institute(IDeTIC研究所)
本文以UR3机器人为例,利用快速人类运动的运动学理论及Sigma-Lognormal模型生成钟形速度曲线,使机械臂运动更具类人性,实验证实了该方法的可行性。
2024-09-25 cs.RO cs.SY eess.SY
MoEmo Vision Transformer: Integrating Cross-Attention and Movement Vectors in 3D Pose Estimation for HRI Emotion Detection
Santa Clara University(圣克拉拉大学)
针对人机交互情感检测的数据集信息不足、模型难捕捉数据交互的问题,研究提出融合运动向量与环境情境交叉注意力的MoEmo ViT模型及配套数据集,性能优于现有最优水平。
2023-10-15 cs.CV cs.RO
Vision-Based Dexterous Motion Planning by Dynamic Movement Primitives with Human Hand Demonstration
Dalhousie University(达尔豪斯大学)
针对现有机械臂演示学习未考虑手部姿态的问题,本文提出基于单深度相机与MediaPipe的人手动作捕捉框架,结合动态运动基元让7自由度机械臂学习含姿态的灵巧抓取放置任务,可适配不同起止点。
2024-08-19 cs.RO
Movement Coordination in Human-Robot Teams: A Dynamical Systems Approach
University of Notre Dame(圣母大学)
为了成为有效的队友,机器人需要能够理解高层次的人类行为,以识别、预测和适应人类的运动。我们设计了一种新的方法,使机器人能够实时感知人类群体运动,预测未来的行动,并相应地合成自己的运动。我们在联合行动的背景下探索这一点,人类和机器人同步移动。在本文中,我们提出了一种预测方法,考虑到高层次的群体行为。我们验证的方法在一个人-机器人交互的情况下,自主移动机器人观察一队人类舞者,然后成功地和偶然地协调其运动“加入舞蹈”。我们比较了我们的预期方法移动机器人的结果与另一种不依赖于高层次群体行为的方法,发现我们的方法在更紧密地同步机器人的运动到团队方面表现得更好,并且还表现出更多的偶然性和流畅的运动。这些发现表明,机器人在理解高级别群体行为时比不理解时表现得更好。这项工作将有助于机器人社区的其他人在未来构建更流畅和适应性更强的机器人。
2016-05-04 cs.AI cs.RO
In Sync: Exploring Synchronization to Increase Trust Between Humans and Non-humanoid Robots
University of Warsaw(华沙大学);LMU Munich(慕尼黑大学)
本研究基于人类同步增强信任的理论,提出动力学方法并构建可跟随人类动作、调整同步模式的非人形机器人原型,经51人对照实验证实同步动作可显著提升人机信任问卷评分。
2023-04-06 cs.HC cs.RO
Evaluating the precision of the HTC VIVE Ultimate Tracker with robotic and human movements under varied environmental conditions
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);INSERM(法国国家健康与医学研究院);Institute for Intelligent Systems and Robotics (ISIR)(智能系统与机器人研究所)
本研究首次系统评估了 HTC VIVE Ultimate Tracker 在光照、速度、环境变化等多种条件下的追踪精度,结合机械臂与 OptiTrack 参考系统验证其平均精度为 4.98 mm ± 4 mm,并证明其足以支持 VR 与 MOCAP 环境之外的人体运动捕捉应用。
2024-09-04 cs.HC cs.RO
Reinforcement Learning Control of a Biomechanical Model of the Upper Extremity
University of Bayreuth(拜罗伊特大学)
在可以产生的无限数量的可能运动中,人类通常被假设为选择那些优化标准的运动,例如最小化运动时间,受到某些运动约束,如信号依赖性和恒定的电机噪声。虽然到目前为止,这些假设只进行了评估,简化点质量或平面模型,我们解决的问题,他们是否可以预测达到运动在一个完整的骨骼模型的人类上肢。我们使用在强化学习中实现的运动牙牙学语方法来学习控制策略,使用右手食指尖朝向随机放置的不同大小的3D目标的有针对性的运动。我们使用最先进的生物力学模型,其中包括七个驱动自由度。为了处理维数灾难,我们使用简化的二阶肌肉模型,作用于每个自由度而不是单个肌肉。结果证实,信号依赖性和恒定的电机噪声的假设,连同运动时间最小化的目标,是足够的一个国家的最先进的人体上肢骨骼模型,以重现复杂的人体运动现象,特别是费茨定律和2/3幂定律。这一结果支持了这样一种观点,即复杂的人体生物力学系统的控制可以通过一组简单的假设来确定,并且可以很容易地学习。
2022-04-20 cs.HC cs.LG cs.RO
Choreographic and Somatic Approaches for the Development of Expressive Robotic Systems
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Laban/Bartenieff Institute of Movement Studies(拉班/巴滕尼夫运动研究学院);University of Virginia(弗吉尼亚大学);Integrated Movement Studies(综合运动研究机构);Coventry University(考文垂大学);Harvard University(哈佛大学)
随着机器人系统从工厂的工作单元转移到面向人类的环境中,编排问题成为其设计,放置和应用的核心。在人类观察者或对应物存在的情况下,系统将在上下文、运动风格和形状因子内被人类自动地解释为他们的环境的有生命的元素。这个人类对应的解释是至关重要的系统的集成的成功:旋钮上的系统需要有意义的人类对应;人工代理应该有一种方式通知人类对应的系统状态的变化,可能通过运动配置文件;和人类对应的运动可能有重要的上下文线索任务完成。因此,专业的编舞家,舞蹈实践者和动作分析师对机器人技术的研究至关重要。他们拥有符合人类观众感知的运动设计方法,可以识别人机交互目标的简化运动特征,并详细了解人类运动的能力。本文提供了一个研究实验室所采用的方法,对技术和艺术项目的具体影响,以及可能指导未来此类工作的原则。背景部分报告了编舞,躯体的观点,即兴,拉班/巴特尼耶夫运动系统和机器人。从这方面的方法,包括体现练习,写作提示,社区建设活动已经开发,以促进跨学科的研究。这项工作的结果是作为一个像高层次的运动规划,运动的快速原型软件开发,艺术输出和用户研究,帮助了解人们如何解释运动等领域的项目的概述。最后,提出了可供其他群体采用的指导原则。
2017-12-21 cs.HC cs.RO
Locomotion Variability and User Experience in Smart Wheelchair Human-Robot Interaction
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);Université de Sherbrooke(谢布鲁克大学)
该研究在智能轮椅共享控制场景中,提出保留自然运动结构的支持自主辅助策略,发现其在任务表现相当的情况下,能提升用户感知自主感与有用性,凸显设计辅助机器人需尊重人类运动结构的重要性。
2026-08-13 cs.HC cs.RO cs.SY
Stochastic Optimal Control for Modeling Reaching Movements in the Presence of Obstacles: Theory and Simulation
Ben-Gurion University of the Negev(本-古里安大学)
在许多人在回路机器人应用中,例如机器人辅助手术和远程遥控操作,预测人类操作员的预期运动对于成功实现共享控制、引导虚拟夹具和预测控制可能是有用的。开发人体运动的计算模型是这种运动预测框架的关键基础。有了这个动机,我们提出了一个计算框架,在障碍物的存在下,达到运动建模。我们提出了一个随机最优控制框架,该框架由概率碰撞避免约束和成本函数,权衡之间的努力和最终状态方差的存在下,信号相关的噪声。首先,我们提出了一系列的重新制定原来的非线性和非凸最优控制转化为一个参数二次规划问题。我们表明,可以调整参数来模拟各种防撞策略,从而捕捉到与人体运动相关的典型变化。然后,我们提出了一个模拟研究,演示了复杂的相互作用之间的避免策略,控制成本,和避免碰撞的概率。所提出的框架可以使各种需要在杂乱空间中进行远程操作的应用受益,包括机器人辅助手术。此外,它也可以被看作是一种新的优化器,产生光滑和概率安全的轨迹依赖于信号的噪声。
2018-03-26 cs.RO
The Influence of Demographic Variation on the Perception of Industrial Robot Movements
University of St. Gallen(圣加仑大学);Institute of Computer Science(计算机科学研究所)
本文通过文献综述和930人网络实验,考察人口统计因素对工业机械臂运动行为评价的影响,发现多数运动偏好在不同人群中稳健,仅性别和年龄对快慢速度偏好有轻微影响。
2024-09-08 cs.HC cs.RO
From Visual Search to Movement Control: A Priority Field for Artificial Agents
University of Michigan Transportation Research Institute(密歇根大学交通研究所);University of Michigan(密歇根大学)
本文提出将优先级场扩展到人工代理的运动控制,通过视觉搜索模型和到达-回避任务验证,优先级场代理训练更高效、在复杂场景中表现更优,并产生类似人类的历史驱动效应。
2026-09-28 cs.RO
A Method for Self-Service Rehabilitation Training of Human Lower Limbs
Southeast University(东南大学);Harbin Engineering University(哈尔滨工程大学)
近年来,康复机器人技术的研究已成为康复医学工程和机器人领域的热点。为辅助单侧下肢损伤患者的主动康复,我们提出了一种新的自助式康复训练方法,通过对侧健侧上肢控制受伤下肢。首先,通过步态测量实验获得健康人正常行走状态下的上肢和下肢运动数据。其次,分别提取单个运动周期内上肢和下肢运动的特征向量。第三,利用最小二乘法辨识上肢运动与下肢运动之间的线性映射关系。最后,在MATLAB/Simulink平台上实现了自助式康复训练的仿真实验。结果表明,辨识出的线性映射模型具有较好的精度和适应性。本发明对于帮助单侧肢体损伤患者进行自我康复训练是有效的。
2022-05-19 cs.RO physics.med-ph
Human-Robot Skill Transfer with Enhanced Compliance via Dynamic Movement Primitives
University of Victoria(维多利亚大学);Eindhoven University of Technology(埃因霍温理工大学)
本文提出一种从人类示教中自动提取动态特征以调节DMP参数的系统方法,可同时用于示教学习和强化学习,在保持高类人性和稳定性的同时显著提升机器人柔顺性与轨迹探索效率。
2023-04-12 cs.AI cs.RO