Quadruped Capturability and Push Recovery via a Switched-Systems Characterization of Dynamic Balance
Southern University of Science and Technology(南方科技大学);University of Notre Dame(圣母大学)
本文研究四足机器人运动的捕获性和推力恢复。尽管关于足式机器人的可捕获性分析和推动恢复控制的文献丰富,但现有的工具主要是为两足动物或类人动物开发的。独特的四足特征,如点接触和多摆动腿,防止直接应用这些方法。为了解决这个差距,我们提出了一个切换系统模型的四足动力学,并实例化的抽象可行性概念四足运动与基于时间的步态。捕获的特点是通过一个新的规范的动态平衡状态,解决了四足运动和平衡的时变性质。一个线性倒立摆(LIP)模型被采用来证明理论和显示如何新开发的四足捕获能力可以用于运动规划四足推动恢复。我们制定和解决一个明确的模型预测控制(EMPC)问题,其最优解充分表征四足动物的捕获能力与LIP。基于此分析,设计了一种基于优化的规划方案,用于在推恢复期间确定脚步和质心参考。为了验证整个框架的有效性,我们进行了大量的仿真和硬件实验。仿真结果表明,考虑动态平衡的四足机器人的捕获能力的必要性,和显着改善的干扰抑制与所提出的策略。对迷你猎豹四足动物的复制品进行的实验验证表明,与最先进的技术相比,其性能提高了100%。
2022-02-17 cs.RO
Reactive Stepping for Humanoid Robots using Reinforcement Learning: Application to Standing Push Recovery on the Exoskeleton Atalante
Wandercraft;Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Université Paris-Dauphine, PSL(巴黎多芬大学,巴黎文理研究大学)
最先进的强化学习现在能够在模拟中学习双足机器人的多功能运动,平衡和推动恢复能力。然而,现实的差距大多被忽视,模拟结果很难转移到真正的硬件。要么是由于物理学过于简化和忽略了硬件限制而在实践中不成功,要么是规则性得不到保证,可能会发生意外的危险运动。本文提出了一种强化学习框架,能够学习强大的站立推恢复的双足机器人,顺利地转移到现实中,只提供瞬时本体感受的意见。通过结合初始终止条件和策略平滑条件,我们实现了稳定的学习,仿真到现实迁移和安全使用的策略没有记忆,也没有显式的历史。然后,奖励工程被用来提供如何保持平衡的见解。我们展示了它的性能在现实中的下肢医疗外骨骼Atalante。
2022-07-31 cs.RO
RoboCup 2019 AdultSize Winner NimbRo: Deep Learning Perception, In-Walk Kick, Push Recovery, and Team Play Capabilities
Univ. of Bonn(波恩大学)
个人和团队的能力每年都受到规则变化和RoboCup Humanoid League足球队不断提高的表现的挑战。对于AdultSize类的RoboCup 2019,球员数量(2对2场比赛)和场地尺寸都有所增加,这需要团队协调以及强大的视觉感知和定位模块。在本文中,我们介绍了NimbRo团队赢得足球锦标赛,drop-in游戏,技术挑战和2019年悉尼RoboCup Humanoid League最佳人形机器人奖的最新进展。这些发展包括一个深度学习视觉系统,步行踢,基于步骤的推恢复,和团队合作战略。
2019-12-17 cs.RO
Push Recovery of a Humanoid Robot Based on Model Predictive Control and Capture Point
University of Tehran(德黑兰大学);K. N. Toosi University of Technology(K. N. 图什理工大学)
三个生物启发的策略,已被用于平衡恢复的机器人的脚踝,臀部和步进策略。然而,有几种情况下,步进机器人是不可能的,例如。G.当可用的接触表面有限时。在这种情况下,通过调整上半身的角动量(髋部策略)或零力矩点(ZMP)(脚踝策略)来恢复平衡是必不可少的。在本文中,一个单一的模型预测控制(MPC)计划,用于控制捕获点(CP)到一个期望的位置,通过调制ZMP和质心力矩枢轴(CMP)。所提出的控制器的目标是控制CP,当CP在支撑多边形外时采用CMP,和/或当CP在支撑多边形内时采用ZMP。所提出的算法实现的SURENA III人形机器人的抽象模型。所得到的结果表明,所提出的方法的有效性,在存在严重的推动,即使当支持多边形收缩到一个点或一条线。
2016-12-23 cs.RO
Push recovery with stepping strategy based on time-projection control
EPFL(洛桑联邦理工学院)
在本文中,我们提出了一个简单的控制框架与动态步进性能的在线推送恢复。由于我们的机器人腿相对较重,我们需要考虑摆动动力学,因此使用一个称为3LP的线性模型,该模型由三个关节组成,以模拟摆动和躯干动力学。基于3LP方程,我们制定离散LQR控制器,并使用一个特定的时间投影方法来调整下一个足迹的位置在线连续的运动过程中。这种基于骨盆和摆动脚跟踪误差的调整自然会考虑摆动动力学。建议的调整被添加到笛卡尔3LP步态,并通过逆运动学转换为关节空间轨迹。固定和自适应的脚抬起策略也确保了在扰动的步行条件下有足够的离地间隙。所提出的结构是鲁棒的,但使用非常简单的状态估计和基本的位置跟踪。我们依靠物理串联弹性致动器来吸收冲击,同时引入简单的法律来补偿其跟踪偏差。大量的实验证明了不同的控制块的功能,并证明了时间投影在极端推恢复场景的有效性。我们还显示自产和紧急行走步态时,机器人受到持续的拖曳力。这些步态的特点是动态步行鲁棒性,由于相对柔软的弹簧在脚踝和避免任何零力矩点(ZMP)控制,在我们提出的架构。
2018-01-07 cs.RO
Robust Push Recovery on Bipedal Robots: Leveraging Multi-Domain Hybrid Systems with Reduced-Order Model Predictive Control
Department of Mechanical and Civil Engineering, California Institute of Technology(机械与土木工程系,加州理工学院)
本文提出一种将双足运动的混合系统模型与降阶模型预测控制相统一的框架,用于实现双足机器人运动中的鲁棒推力恢复,在仿真中验证了其在动态环境下的稳定性和实时可行性。
2025-04-25 cs.RO
Torque-Controlled Stepping-Strategy Push Recovery: Design and Implementation on the iCub Humanoid Robot
Istituto Italiano di Tecnologia(意大利理工学院)
机器人社区面临的挑战之一是部署能够在现实世界中与人类一起可靠操作的机器人。对足式机器人的一个关键要求是能够正确地平衡它们的脚,拒绝外部干扰。iCub是一种最先进的人形机器人,最近才开始用脚保持平衡。虽然目前的平衡控制器已被证明在各种情况下是成功的,但它仍然无法通过采取步骤对强推力做出适当反应。本文就是朝这个方向发展的。它提出并实现了基于捕获点概念的控制策略[1]。而不是依赖于位置控制,像大多数捕获点相关的方法,所提出的策略产生的参考动量为基础的扭矩控制器已经实施的iCub,从而扩展其能力,以应对外部干扰,同时保留扭矩控制的优势时,与环境相互作用。在凉亭模拟器和iCub人形机器人上的实验验证了所提出的策略。
2017-05-30 cs.RO
Comparison Study of Well-Known Inverted Pendulum Models for Balance Recovery in Humanoid Robot
IEETA(电子与信息工程研究院);University of Aveiro(阿威罗大学)
双足机器人由于其复杂的运动学和高维的状态空间动力学而基本上是不稳定的,因此稳定行走的控制和生成是一个复杂的课题,并且仍然是机器人界的活跃课题之一。如今,有许多类人机器人执行稳定的行走,但很少有在推动下表现出有效的推动恢复。在本文中,我们首先回顾了更常用的抽象动力学模型的人形机器人,这是基于倒立摆,并显示这些模型可以用来提供行走的人形机器人,以及如何分层控制结构可以淡化人形行走的复杂性。其次,审查模型一起比较,不仅在分析的方式,但也通过执行几个数值模拟中的推恢复的情况下,使用\mbox{MATLAB}。这些理论和模拟研究定量比较这些模型恢复平衡。结果表明,增强版的线性倒立摆加飞轮是最有能力的动力学模型,以恢复稳定的机器人,即使在非常具有挑战性的情况下。
2019-06-05 cs.RO
Adapting Gait Frequency for Posture-regulating Humanoid Push-recovery via Hierarchical Model Predictive Control
Department of Aerospace and Mechanical Engineering, University of Southern California(航空航天与机械工程系,南加州大学)
本文提出一种基于分层MPC的仿人机器人推力恢复方法,通过适应步态频率和姿态感知规划器,在未知干扰下快速恢复并调节身体姿态,仿真显示最大可恢复冲量平均提升131%,硬件实验中恢复步态时机提前125毫秒。
2025-05-28 cs.RO cs.SY eess.SY
On the Emergence of Whole-body Strategies from Humanoid Robot Push-recovery Learning
Istituto Italiano di Tecnologia(意大利理工学院);University of Manchester(曼彻斯特大学);Massachusetts Institute of Technology(麻省理工学院);Sapienza Università di Roma(罗马第一大学);Università degli Studi di Genova(热那亚大学)
平衡和推动恢复是使人形机器人能够解决复杂运动任务的基本能力。在这种情况下,经典的控制系统往往是基于简化的物理模型和硬编码的策略。虽然在特定情况下是成功的,但这种方法需要在专门设计的控制器之间对参数和切换逻辑进行苛刻的调整,以处理更一般的扰动。我们应用无模型深度强化学习在模拟环境中训练一个通用和强大的人形推恢复策略。我们的方法针对高维全身人形控制,并验证了iCub人形。奖励组件结合专家知识的人形控制,使快速学习几个强大的行为相同的政策,跨越整个身体。我们验证了我们的方法与广泛的定量分析模拟,包括样本外的任务,表现出政策的鲁棒性和泛化,对现实世界的机器人部署的关键要求。
2021-04-29 cs.LG cs.RO stat.ML
Enhancing Model-Based Step Adaptation for Push Recovery through Reinforcement Learning of Step Timing and Region
Automation and Control Institute, TU Wien(维也纳工业大学自动化与控制研究所);Autonomous Systems Lab, TU Wien(维也纳工业大学自主系统实验室);Institute of Robotics and Mechatronics (DLR), German Aerospace Center(德国航空航天中心机器人与机电一体化研究所(DLR))
本文提出利用强化学习动态调整双足机器人的落脚点区域和步态时机,以扩大可恢复扰动范围,并通过QP规划轨迹和全身控制实现鲁棒推挤恢复。
2024-11-01 cs.RO cs.SY eess.SY
ExoRecovery: Push Recovery with a Lower-Limb Exoskeleton based on Stepping Strategy
Ecole Polytechnique Federale de Lausanne (EPFL)(洛桑联邦理工学院)
本文提出ExoRecovery框架,通过在线优化步态时长与位置并结合外推质心动力学,实现下肢外骨骼在外部推力下的全向协作式迈步恢复,并经人体实验验证其有效性。
2023-10-31 cs.RO cs.SY eess.SY
Footstep Adjustment for Biped Push Recovery on Slippery Surfaces
Isfahan University of Technology(伊斯法罕理工大学);University of Isfahan(伊斯法罕大学)
尽管对两足动物的运动稳定性进行了广泛的研究,但它们仍然缺乏在光滑表面上的干扰应对能力。在本文中,一种新的控制器,用于稳定的双足运动在其矢状面的表面摩擦限制方面的发展。通过考虑稳定趋势中表面的物理限制,实现了更高级的可靠性水平,提供了更高的功能,例如在低摩擦表面上的推动恢复,并防止稳定器过度反应。基于离散事件的策略包括在每个足迹开始时修改步长和时间段,以重新建立稳定性必要条件,同时考虑表面摩擦限制作为防止滑动的约束。调整脚步以防止在面对外部干扰时打滑被认为是一种保持稳定的新策略,与人类的反应非常相似。所开发的方法包括粗糙的封闭形式的解决方案,利用初等数学运算获得的控制输入,允许达到收敛和计算成本之间的平衡,这是非常适合实时操作,即使与适度的计算硬件。几个数值模拟,包括推恢复和低摩擦表面上不同的门之间的切换,进行证明所提出的控制器的有效性。与人类步态经验相关,结果还揭示了一些有利于稳定性的物理方面,以及在步态之间切换以降低在面对不同条件时摔倒的风险的事实。
2021-11-09 cs.RO cs.SY eess.SY
Predictive model of the human muscle fatigue: application to repetitive push-pull tasks with light external load
IRCCyN(南特通信与计算机科学研究所);University of Poitiers(普瓦捷大学);CNRS(法国国家科学研究中心);École Centrale de Nantes(南特中央理工学院)
工业工作中的重复性任务可能会导致操作员的健康问题,例如肌肉骨骼疾病,部分原因是对肌肉疲劳的控制不足。本文提出了一个预测模型的疲劳重复推/拉操作。在文献中普遍接受的假设首先明确设置在这个框架。然后,早期的静态疲劳模型被召回,并扩展到准静态的情况。具体地,可以在关节处产生的最大扭矩不被认为是恒定的,而是随着时间的推移而根据操作者的姿势变化而变化。疲劳模型的实施与此新的考虑,并在模拟推/拉操作进行评估。本文的参考文献如下:Sakka,S.,Chablat,D.,马河,巴西-地和Bennis,F.(2015)“人类肌肉疲劳的预测模型:应用于具有轻外部负载的重复推拉任务”,国际。
2015-03-22 cs.RO
Learning to Improve Capture Steps for Disturbance Rejection in Humanoid Soccer
Univ. of Bonn(波恩大学)
在过去的几年里,足球人形机器人有了很大的进步。基本技能,如双足行走,视觉感知和碰撞避免已经足够成熟,可以进行动态和令人兴奋的游戏。当两个机器人争夺球时,他们经常互相推,平衡恢复变得至关重要。在本文中,我们报告的见解,我们获得了系统的推动实验上进行的双足模型和概述的在线学习方法,我们用来提高其推恢复能力。此外,我们描述了如何解决由统一的目标颜色引入的定位模糊性,并报告了2013年RoboCup比赛的结果。
2018-09-28 cs.RO
A Hierarchical Framework to Generate Robust Biped Locomotion Based on Divergent Component of Motion
IEETA(电子与信息工程研究院);University of Aveiro(阿威罗大学)
保持稳定性是人形机器人走出实验室进入现实环境的基本能力。由于人形机器人具有与人类相似的运动学,因此人类期望这些机器人即使在具有挑战性的情况下也能够鲁棒地稳定,例如当施加严重的推动时。本文提出了一种鲁棒的步行框架,它不仅考虑了传统的推送恢复方法(例如,踝关节、髋关节和步伐策略),而且还使用运动发散分量(DCM)的概念来调整下一步的时间和位置。所提出的框架的控制核心是由一个线性二次高斯(LQG)控制器和两个比例控制器。在这个框架中,LQG控制器试图跟踪参考轨迹,比例控制器被设计为调整下一步的时间和位置,使机器人从严重的推动中恢复。所提出的框架的鲁棒性和性能进行了验证,通过执行一组模拟,包括步行和推恢复使用MATLAB。仿真结果验证了所提出的框架是能够提供一个强大的行走,即使在非常具有挑战性的情况下。
2019-11-18 cs.RO
Power to the springs: Passive elements are sufficient to drive push-off in human walking
Technical University Munich(慕尼黑工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
在人类行走过程中,踝关节的两个肌肉-腱-单位(MTU)在踝关节的蹬离中起着重要作用:腓肠肌(GAS)和比目鱼肌(SOL)。GAS和SOL在站立期间加载跟腱以存储弹性能量,然后在APO期间快速释放能量。我们使用神经肌肉模拟(NMS)和双足机器人调查的作用,GAS和SOL的载脂蛋白O。我们优化模拟以获得稳健的步态,然后依次用线性弹簧替换(1)GAS、(2)SOL和(3)GAS和SOL的MTU。为了验证仿真,我们实现NMS-3的双足机器人。所有试验的模拟和机器人行走稳定,显示出冲动的APO。我们的研究结果表明,弹性MTU属性形状的脉冲APO。对于假肢或机器人设计,也就是说,如果在设计中包含更多的机械智能,则不需要复杂的踝关节致动来获得脉冲APO。
2022-04-29 cs.RO
StableMimic: Smooth Human-Like Recovery for Humanoid Motion Tracking - Learning Beyond the Tracking Distribution for Structured Post-Fall Behavior
Southern University of Science and Technology (SUSTech)(南方科技大学)
该研究提出StableMimic,一种在标称跟踪分布外训练的人形机器人统一跟踪器,通过专用专家与本体感知门控融合动作,在LAFAN1数据集及真实Unitree G1机器人上实现跌倒后100%恢复,跟踪与恢复性能均优于对比方法,提升了交互安全性。
2026-08-04 cs.RO
A Human-in-the-Loop Confidence-Aware Failure Recovery Framework for Modular Robot Policies
Cornell University(康奈尔大学);Princeton University(普林斯顿大学)
本文提出一个模块化机器人策略的人机协作故障恢复框架,通过整合模块级不确定性估计与人类干预成本模型,优化故障恢复效率与用户负荷。
2026-03-13 cs.RO
RecoverFormer: End-to-End Contact-Aware Recovery for Humanoid Robots
Stanford University(斯坦福大学)
本文提出RecoverFormer,一种端到端的人形机器人恢复策略,通过学习切换恢复行为(如补偿步态、手-环境接触、质心重塑)实现鲁棒恢复,验证了其在多种扰动条件下的泛化能力。
2026-04-24 cs.RO
Trip Recovery in Lower-Limb Prostheses using Reachable Sets of Predicted Human Motion
University of Michigan(密歇根大学)
下肢丧失的人,其中大多数使用被动假肢,每年都有很高的跌倒发生率。动力下肢假肢有可能通过主动帮助用户从跌倒中恢复来降低跌倒率,但人类反应的不可预测性使得很难设计出确保成功恢复的控制器。本文提出了一种称为TRIP-RTD(Trip Recovery in Prostheses via Reachability-based Trajectory Design)的方法,用于膝关节假体在绊倒期间和绊倒后的在线轨迹规划,该方法可以适应一组可能的人类行为预测。使用这个预测的人类行为,所提出的方法计算一个参数化的可达的一组轨迹的人体假体系统。为了确保运行时的安全性,TRIP-RTD为假肢选择了一条轨迹,该轨迹保证人体假肢系统在触地时的所有可能状态都到达系统标称行为的吸引域。在模拟的绊倒实验中,名义上基于相位的控制器无法帮助系统恢复,TRIP-RTD在101 ms以下产生轨迹,导致所有可行的解决方案成功恢复。
2020-10-21 cs.RO
Toward Study on the Effects of Robot's Humorous Apology on Human's Trust Recovery
Incheon National University(仁川国立大学);Purdue University(普渡大学)
本研究通过2×2因子设计的在线实验,探究机器人幽默道歉对用户信任恢复的影响及错误严重程度的调节作用,假设低严重错误后幽默道歉的信任恢复效果优于通用道歉,高严重错误后则减弱或反转。
2026-10-14 cs.RO
A new muscle fatigue and recovery model and its ergonomics application in human simulation
IRCCyN(南特中央理工学院计算机与通信科学研究所);Tsinghua University(清华大学);EADS Innovation Works(EADS创新工作室)
虽然自动化技术已被应用于制造业以提高生产力和效率,但仍有许多人工处理工作,特别是装配和维护工作。在这些工作中,由于超负荷和累积的身体疲劳,肌肉骨骼疾病是主要的健康问题之一。结合传统的姿势分析技术,数字人体建模和仿真(DHM)技术已经开发和商业化,以评估潜在的物理暴露。然而,这些人机工程学分析工具主要是基于姿势分析技术,目前还没有一个方便快捷的人体疲劳评价指标。本文提出了一个新的肌肉疲劳和恢复模型,并将其扩展到评估人工搬运作业中的关节疲劳水平。并对数字人体仿真技术的一个特殊应用案例进行了描述和分析。
2009-01-07 cs.RO
A new muscle fatigue and recovery model and its ergonomics application in human simulation
Institut de Recherche en communication et Cybernétique de Nantes(南特通信与控制研究所);Tsinghua University(清华大学);EADS Innovation Works(EADS创新工作室)
虽然自动化技术已被应用于制造业以提高生产力和效率,但仍有许多人工处理工作,特别是装配和维护工作。在这些工作中,由于超负荷和累积的身体疲劳,肌肉骨骼疾病是主要的健康问题之一。结合传统的姿势分析技术,数字人体建模和仿真(DHM)技术已经开发和商业化,以评估潜在的物理暴露。然而,这些人机工程学分析工具主要是基于姿势分析技术,目前还没有一个方便快捷的人体疲劳评价指标。本文提出了一个新的肌肉疲劳和恢复模型,并将其扩展到评估人工搬运作业中的关节疲劳水平。并对数字人体仿真技术的一个特殊应用案例进行了描述和分析。
2010-10-28 cs.RO
Human-in-the-Loop Failure Recovery with Adaptive Task Allocation
Robotics Engineering Department, Worcester Polytechnic Institute (WPI)(沃斯特理工学院机器人工程系)
本文提出ARFA方法,通过自适应任务分配减少机器人空闲时间,提高系统性能并优化操作员工作负荷。
2026-02-03 cs.RO
EgoRecovery: Acquiring Failure Recovery Ability Through Human Recovery Demonstration
Institute of Trustworthy Embodied AI (TEAI), Fudan University(复旦大学可信具身人工智能研究所);Shanghai Key Laboratory of Multimodal Embodied AI(上海多模态具身人工智能重点实验室)
研究如何让具身机器人从故障中恢复,提出EgoRecovery协同训练框架,利用以自我为中心的人类数据捕捉故障恢复过程,将人类恢复演示与机器人数据共享空间对齐,实验证明该方法在现实世界恢复任务中比多种基线方法成功率更高。
2026-07-24 cs.CV cs.RO
Motion Priority Optimization Framework towards Automated and Teleoperated Robot Cooperation in Industrial Recovery Scenarios
Industrial Cyber-Physical Systems Research Center at National Institute of Advanced Industrial Science and Technology (AIST)(日本国家先进工业科学技术研究院工业闭环系统研究中心)
本研究提出运动优先级优化框架,通过协作式远程恢复和动态优先级分配,在可配置风险限制内实现制造与恢复机器人避碰,减少生产损失。
2024-01-24 cs.RO
KungfuAthleteBot: learning high-dynamic humanoid motion from video with unified robust recovery
Beijing Institute of Technology(北京理工大学);QIYUAN Lab(启元实验室)
提出KungfuAthleteBot框架,通过物理校正、伪低动能采样和统一训练策略,从视频学习高动态人形运动,实现约0.7秒的快速跌倒恢复。
2026-10-07 cs.RO
Embedding Classical Balance Control Principles in Reinforcement Learning for Humanoid Recovery
Florida Institute for Human and Machine Cognition(佛罗里达人类与机器认知研究所);University of West Florida(韦斯特佛瑞斯特大学)
本文提出一种将经典平衡指标嵌入强化学习的人形机器人恢复策略,通过直接塑造奖励提升恢复效率,并在多种环境中验证了其有效性。
2026-03-09 cs.RO
Recova: Agent-Guided Failure Recovery for Autonomous Robotic Manipulation
University of California, San Diego(加州大学圣迭戈分校);University of Texas at Austin(德克萨斯大学奥斯汀分校);NVIDIA(英伟达)
Recova通过数字孪生中智能体引导的故障恢复,结合DAgger训练,将操作失败转化为可重用技能,在LIBERO-Pro和MolmoSpaces上分别达到78.8%和64.9%的成功率,并大幅减少人工干预。
2026-10-02 cs.RO
Elly: A Real-Time Failure Recovery and Data Collection System for Robotic Manipulation
Stanford Robotics Lab(斯坦福机器人实验室)
即使是最强大的自主行为也可能失败。本研究的目标是在自主任务执行期间从故障中恢复和收集数据,以便将来可以预防这些故障。我们提出了用于实时的【形】故障恢复和数据汇集的触觉干预。Elly是一个允许自动机器人行为和人类干预之间无缝转换的系统,同时从人类的恢复策略中收集感官信息。该系统和我们的设计选择进行了实验验证的单臂任务-安装灯泡在插座-和双手任务-拧瓶盖上的瓶子-使用两个7自由度的机械手配备4指夹具。在这些示例中,Elly在总共40次运行期间实现了超过80%的任务完成。
2022-08-25 cs.RO
Robust Recovery Motion Control for Quadrupedal Robots via Learned Terrain Imagination
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
针对四足机器人在杂乱环境中易摔倒且现有恢复控制器适应性差的问题,提出基于学习地形想象的鲁棒越野恢复策略,经仿真和真实测试验证其优越性。
2023-06-22 cs.RO
Multi-Agent Transportation of Free-Flyers in Microgravity Via Pushing Interaction Under Human-in-the-Loop Control
KTH Royal Institute of Technology(瑞典皇家理工学院);Seoul National University(首尔大学)
提出一种安全关键控制框架,利用CLF和CBF约束的混合整数推力分配,使追踪机器人通过单向推挤在微重力下协同运输被动目标,实现参考跟踪和避障,并经Gazebo仿真验证。
2026-10-12 cs.RO cs.SY eess.SY
Toward Humanoid Brain-Body Co-design: Joint Optimization of Control and Morphology for Fall Recovery
School of Data Science, The Chinese University of Hong Kong, Shenzhen(数据科学学院,香港中文大学(深圳))
本文提出人形机器人脑-体协同设计框架RoboCraft,通过控制策略与形态的联合迭代优化提升跌倒恢复能力,实验显示其在多个公开人形机器人上平均性能提升44.55%,并验证了形态优化的关键贡献。
2025-11-05 cs.AI cs.RO
Fish2Mesh Transformer: 3D Human Mesh Recovery from Egocentric Vision
Santa Clara University(圣克拉拉大学)
本文提出Fish2Mesh,一种基于鱼眼感知Transformer的第一人称三维人体网格恢复模型,通过第一人称位置嵌入、多任务SMPL回归和弱监督训练,在自遮挡和畸变条件下优于现有方法。
2025-03-08 cs.CV cs.RO
Toward Human-in-the-Loop Robot Failure Recovery: Bridging Communication Gaps in Human-Robot Collaboration
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技校区);Brown University(布朗大学)
本文提出LD-HRI基准,通过游戏和数据集评估说话者请求,发现LLM请求虽提高新手成功率,但专家-新手差距仍显著,为弥合人机协作沟通差距提供基础。
2026-09-22 cs.HC cs.RO
Explainable AI for System Failures: Generating Explanations that Improve Human Assistance in Fault Recovery
Georgia Institute of Technology(佐治亚理工学院);Institute for Robotics and Intelligent Machines(机器人与智能机器研究所)
随着智能系统功能的不断增强,人工智能(AI)和机器人在日常生活中的整合正在增加。然而,当在如此复杂的人类环境中进行交互时,智能系统(如机器人)的故障可能是不可避免的,需要用户的恢复帮助。在这项工作中,我们开发了自动化的,自然语言的解释失败期间遇到的人工智能智能体的计划执行。这些解释的重点是帮助非专家用户了解不同的故障点,以更好地提供恢复帮助。具体来说,我们引入了一个基于上下文的信息类型的解释,既可以帮助非专家用户了解系统故障的根本原因,并选择适当的故障恢复。此外,我们扩展了现有的序列到序列的方法来自动生成我们的基于上下文的解释。通过这样做,我们能够开发一个模型,可以概括基于上下文的解释在不同的故障类型和故障场景。
2020-11-19 cs.AI cs.RO
Designing for Error Recovery in Human-Robot Interaction
Cardiff University(卡迪夫大学);The University of Manchester(曼彻斯特大学)
本文探讨了如何设计能自我检测和恢复错误的机器人系统,以提升人机交互的成功率,以核反应堆手套箱为例说明挑战与初步设计。
2026-04-14 cs.HC cs.RO
A generic ontology and recovery protocols for Human-Robot Collaboration (HRC) systems
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所);Siedlce University of Natural Sciences and Humanities(谢德尔采自然科学与人文大学)
人类被认为是人机协作(HRC)系统的组成部分,不仅是对象(例如在医疗保健中),而且是制造业中的操作员和服务提供商。复杂和复杂的任务将由设备(机器人)和人类协同执行。我们介绍了一个通用的本体HRC系统。对人的描述是本体的一部分。关键和危险(对人类)的情况下,以及相应的保障措施的基础上定义的本体。该本体是Skarzynski等人(2018)arXiv:1709.03300中介绍的本体的扩展。SO-MRS(参见arXiv:1709.03300)是一种自动任务完成的软件平台,其架构已扩展到HRC系统。正在进行的实验,在一个模拟的HRC系统中进行,是为了验证本体和架构。
2020-03-20 cs.MA cs.RO
Workhorse: Learning Robust Whole-Body Humanoid Loco-Manipulation from Human Data
University of California, Berkeley(加州大学伯克利分校)
Workhorse从人类演示学习全身移动操作,通过视觉规划器预测五连杆目标并强化学习跟踪,在真实和模拟人形机器人上实现鲁棒的箱子分类等任务。
2026-10-12 cs.LG cs.RO
PoseFusion2: Simultaneous Background Reconstruction and Human Shape Recovery in Real-time
Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院);the Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));School of Science and Engineering, the Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)理工学院);University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所)
包含非结构化移动对象的动态环境对同时定位与地图构建(SLAM)性能提出了难题。刚性物体的运动通常可以通过利用它们的纹理和几何特征来跟踪。然而,在场景中移动的人通常是最重要的交互目标之一-由于非刚性形状,他们很难鲁棒地跟踪和重建。在这项工作中,我们提出了一个快速的,基于学习的人体目标检测器分离的动态人体目标,并实现了实时的【形】密集背景重建框架。我们进一步估计和重建人体姿势和形状。最终输出的环境地图不仅提供了密集的静态背景,而且还包含了动态的人体网格及其轨迹。我们的动态SLAM系统在GPU上的运行速度约为每秒26帧(fps),同时还可以以高达10 fps的速度执行精确的人体姿势估计。
2021-08-02 cs.CV cs.RO
GLAMR: Global Occlusion-Aware Human Mesh Recovery with Dynamic Cameras
NVIDIA(英伟达);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种方法,从动态摄像机记录的单目视频三维全球人体网格恢复。我们的方法对严重和长期的遮挡是鲁棒的,即使人体超出摄像机的视野,也能跟踪人体。为了实现这一点,我们首先提出了一个深度生成运动填充器,它基于可见运动自回归地填充被遮挡人类的身体运动。此外,与以前的工作相比,我们的方法在一致的全局坐标中重建人体网格,即使使用动态相机。由于人体运动和摄像机姿态的联合重建是欠约束的,我们提出了一个全局轨迹预测器,生成全球人体轨迹的基础上,局部身体运动。使用预测的轨迹作为锚点,我们提出了一个全局优化框架,细化预测的轨迹,优化相机姿态,以匹配视频证据,如2D关键点。在具有挑战性的室内和野外动态摄像机数据集上的实验表明,该方法在运动填充和全局网格恢复方面明显优于现有方法。
2022-03-30 cs.AI cs.CV cs.GR
Hierarchical Kinematic Human Mesh Recovery
United Imaging Intelligence(联影智能);George Mason University(乔治梅森大学)
我们考虑的问题,估计一个参数模型的三维人体网格从一个单一的图像。虽然最近在这一领域取得了很大的进展,直接回归模型参数,这些方法只隐含地利用人体运动学结构,导致次优使用的模型先验。在这项工作中,我们提出了一种新的技术,明确告知已知的层次结构,包括模型的联合相互依赖性的回归人类参数模型,解决了这一差距。这导致回归器架构的强先验设计和相关联的分层优化,其灵活地结合用于3D人体网格恢复的当前标准框架使用。我们通过在标准基准数据集上进行广泛的实验来展示这些方面,展示我们提出的新设计如何优于几种现有和流行的方法,建立新的最先进的结果。通过考虑关节的相互依赖性,我们的方法配备了推断关节,即使在数据损坏,我们证明了在不同程度的遮挡下进行实验。
2020-07-14 cs.CV cs.LG cs.RO
Towards Robust RGB-D Human Mesh Recovery
United Imaging Intelligence(联影智能);Stevens Institute of Technology(史蒂文斯理工学院);George Mason University(乔治梅森大学)
我们考虑的问题,人类的姿态估计。虽然最近的许多工作都集中在RGB域,这些技术是固有的约束不足,因为可以有许多3D配置,解释相同的2D投影。为此,我们提出了一种新的方法,使用RGB-D数据来估计参数人体网格模型。我们的主要创新包括:(a)设计了一个新的动态数据融合模块,该模块有助于使用仅RGB和RGB-D数据集的组合进行学习;(b)一个新的约束生成器模块,当显式SMPL注释不可用时,该模块提供SMPL监督信号;以及(c)设计了一个新的深度排名学习目标,所有这些都可以使用RGB-D数据进行原则性模型训练。我们对各种RGB-D数据集进行了广泛的实验,以证明其有效性。
2019-11-18 cs.CV cs.LG cs.RO
Learning Local Recurrent Models for Human Mesh Recovery
United Imaging Intelligence(联影智能);University of California Riverside(加州大学河滨分校)
我们考虑的问题,估计帧级完整的人体网格给定的视频的人与自然运动动态。虽然在这一领域取得了很大进展,在单一的基于图像的网格估计,最近一直在努力从视频推断网格动态考虑到其在缓解问题,如深度模糊和闭塞的作用。然而,现有工作的一个关键限制是假设所有观察到的运动动力学可以使用一个动态/循环模型建模。虽然这可能在相对简单的动态情况下工作得很好,但对野外视频的推断提出了许多挑战。特别地,通常情况是人的不同身体部分在视频中经历不同的动态,例如,腿可以以动态地不同于手的方式移动(例如,一个人跳舞)。为了解决这些问题,我们提出了一种新的视频网格恢复方法,将人体网格分为几个局部部分以下的标准骨架模型。然后,我们用单独的循环模型对每个局部部分的动力学进行建模,每个模型都根据人体的已知运动学结构进行适当的调节。这导致了一个结构化的本地循环学习架构,可以通过可用的注释以端到端的方式进行训练。我们在标准视频网格恢复基准数据集(如Human3.6M,MPI-INF-3DHP和3DPW)上进行了各种实验,证明了我们的局部动态建模设计以及基于标准评估指标建立最先进结果的有效性。
2021-07-27 cs.CV cs.LG cs.RO
Everybody Is Unique: Towards Unbiased Human Mesh Recovery
United Imaging Intelligence(联影智能)
我们考虑肥胖人体补片恢复的问题,即,将参数化的人体网格拟合到肥胖者的图像。尽管肥胖者网格拟合是许多应用的重要问题(例如,医疗保健),网格恢复的许多最新进展已经限于非肥胖人的图像。在这项工作中,我们确定在目前的文献中提出和讨论现有算法的局限性这一关键的差距。接下来,我们提出了一个简单的基线来解决这个问题,它是可扩展的,可以很容易地与现有的算法结合使用,以提高其性能。最后,我们提出了一个广义的人体网格优化算法,大大提高了现有方法的性能,肥胖的人的图像以及社区标准的基准数据集。该技术的一个关键创新是它不依赖于昂贵的网格参数的监督。相反,从广泛且廉价的2D关键点注释开始,我们的方法自动生成网格参数,这些参数又可用于重新训练和微调任何现有的网格估计算法。通过这种方式,我们展示了我们的方法作为一个下降,以提高各种各样的当代网格估计方法的性能。我们在多个数据集上进行了广泛的实验,包括标准和肥胖的人的图像,并证明了我们提出的技术的有效性。
2021-07-13 cs.CV cs.GR cs.LG