Understanding and Modeling Perceived Cognitive and Physical Strain Dynamics for Planning-Oriented Human-Robot Collaboration in Prefabricated Construction
Department of Civil, Environmental, and Geospatial Engineering, Michigan Technological University(土木、环境与地理空间工程系,密歇根技术大学)
本研究通过受控重复工作-休息实验,建立基于经验数据的线性混合效应模型描述认知应变积累和非线性恢复,为预制建筑中人机协作的规划提供依据。
2026-06-16 cs.RO
A Modular Framework for Flexible Planning in Human-Robot Collaboration
Italian Institute of Technology(意大利技术研究院)
本文提出一个模块化人机协作框架,利用层次任务网络规划和多感官感知流水线,通过原语建模双智能体协作任务,并在Baxter机器人组装家具实验中验证其可扩展性。
2024-06-07 cs.HC cs.RO
From Perception to Symbolic Task Planning: Vision-Language Guided Human-Robot Collaborative Structured Assembly
Department of Civil, Environmental, and Construction Engineering, Texas Tech University(土木、环境与建设工程系,德克萨斯理工大学)
本文提出基于视觉语言模型的人机协作结构装配框架,通过感知到符号态和人感知规划模块提升动态环境下的态估计和任务规划鲁棒性。
2026-10-14 cs.RO
Perception-Intention-Action Cycle in Human-Robot Collaborative Tasks
Institut de Robòtica i Informàtica Industrial (CSIC-UPC)(工业机器人与信息研究所(西班牙国家研究委员会-加泰罗尼亚理工大学))
在这项工作中,我们认为,在人机协作(HRC)任务,HRC任务中的感知-动作循环不能完全解释人类和机器人的协作行为,它必须扩展到感知-意图-动作循环,其中意图是一个关键的话题。在某些情况下,代理意图可以被其他代理感知或推断,但在其他情况下,它必须被明确地告知其他代理以成功实现HRC任务的目标。知觉-意图-行动循环包括三个基本的功能过程:知觉-意图、情境意识和行动。感知和意图是情境意识的输入,情境意识评估当前的情境并将其投射到未来的情境中。代理接收此信息,计划并同意要执行的操作,并在执行HRC任务时修改其操作角色。在这项工作中,我们验证了联合物体运输任务中的感知-意图-行动循环,通过使用现实生活和社会力量的力模型对感知-意图-行动循环进行建模。感知的世界被投射到一个力的世界和人类的意图(感知或通知)也被建模为一个力,在HRC任务的行为。最后,我们表明,行动的角色(主从,合作,中立或对手)是固有的任何HRC任务,他们出现在不同的步骤中的一个合作序列的行动执行任务期间。
2022-06-01 cs.AI cs.HC cs.RO
Spatio-Temporal Avoidance of Predicted Occupancy in Human-Robot Collaboration
University of Florida(佛罗里达大学)
本文提出STAP方法,利用时空人类占用地图和基于RRT*的采样规划算法,在人机协作中生成能预判人类运动、满足ISO/TS 15066安全约束且持续时间最短的机器人路径,实验证明其路径更短、人机分离距离更大。
2023-07-08 cs.RO
Integrating Field of View in Human-Aware Collaborative Planning
Thomas Lord Department of Computer Science, University of Southern California(汤姆·劳德计算机科学系,南加州大学)
本研究针对人机协作中现有研究忽略人类有限视野的问题,将视野整合进人类感知概率规划框架,提出分层在线规划器应对大状态空间,经用户研究和虚拟现实厨房验证,可减少人类中断与冗余动作。
2025-05-20 cs.HC cs.RO
"Grip-that-there": An Investigation of Explicit and Implicit Task Allocation Techniques for Human-Robot Collaboration
University of Toronto(多伦多大学)
在ad-hoc人机协作(HRC)中,人类和机器人在执行任务之前不预先规划机器人的动作;相反,任务分配实时发生。然而,以前的研究主要集中在预先计划的任务分配-没有一个全面的探索或评估的技术,任务分配是实时调整。受HCI领域性和语义学研究的启发,我们提出了一个新的任务分配技术的设计空间,包括显式技术,用户保持代理,和隐式技术,自动化的效率可以被利用。该技术的实施和评估使用桌面HRC模拟VR。一项16名参与者的研究,提出了一个协作块堆叠任务的变化,表明隐式技术,使有效的任务完成和任务并行化,并应增加明确的机制,为用户提供细粒度的控制。
2021-02-03 cs.HC cs.RO
Intuitive Programming, Adaptive Task Planning, and Dynamic Role Allocation in Human-Robot Collaboration
本综述聚焦人机协作(HRC)中人类被动参与、机器人难适配的问题,识别并连接直观信息交换与技能转移的关键组件,考察交互全流程,为更自适应、易访问的HRC指明趋势与方向。
2025-11-11 cs.AI cs.LG cs.RO
Robust Task Planning for Assembly Lines with Human-Robot Collaboration
Carnegie Mellon University(卡内基梅隆大学)
高效和鲁棒的人机协作(HRC)系统的任务规划仍然具有挑战性。人类感知的任务规划器需要将工作分配给机器人和人类工人,以便他们可以协同工作,以实现更好的时间效率。然而,任务的复杂性和人类合作者的随机性给这种任务规划带来了挑战。为了降低规划问题的复杂性,我们利用层次任务模型,它明确地捕捉任务的顺序和并行关系。我们用sigma-lognormal函数来模拟人体运动,以考虑人为引起的不确定性。在运行时,应用人类行为模型自适应计划,它提供了一个措施,人为引起的不确定性建模。我们提出了一种基于抽样的方法来估计人类的工作完成时间的不确定性。接下来,我们提出了一个强大的任务规划器,制定规划问题作为一个强大的优化问题,考虑任务结构和不确定性。我们进行模拟的机器人手臂与人类工人在电子装配设置。结果表明,我们提出的规划器可以减少任务完成时间时,人为引起的不确定性发生相比,基线规划器。
2022-04-17 cs.RO
An Ergonomic Role Allocation Framework for Dynamic Human-Robot Collaborative Tasks
Istituto Italiano di Tecnologia(意大利技术研究院);University of Genoa(热那亚大学);Politecnico di Milano(米兰理工大学)
通过将人机工程学原理纳入任务分配过程,人机协作(HRC)框架可以有利于预防与工作相关的肌肉骨骼疾病(WMSDs)。在这种情况下,现有的离线方法不考虑人类的行动和状态的变化,因此,规划和动态分配的角色在人类机器人团队仍然是一个未解决的challenge.This研究的目的是创建一个符合人体工程学的角色分配框架,优化的HRC,考虑到任务的特点和人类状态的测量。该框架由两个主要模块组成:第一个模块提供了HRC任务模型,利用与或图(AOG)来解决分配问题;第二个模块通过风险指标描述了任务执行过程中的人机工程学风险评估,并更新AOG相关变量以影响未来的任务分配。建议的框架可以与任何随时间变化的人体工程学风险指标,评估人类的认知和身体负担。在这项工作中,我们测试了我们的框架在装配场景中,引入了一个名为运动磨损的风险指数。任务分配结果和主观评价,通过问卷调查进行测量,表明高风险的行动被正确识别,而不是分配给人类,减少了协作任务中的疲劳和挫折感。
2023-01-19 cs.HC cs.MA cs.RO
Early Detection of Human Handover Intentions in Human-Robot Collaboration: Comparing EEG, Gaze, and Hand Motion
KTH Royal Institute of Technology(皇家理工学院);Ericsson Research(爱立信研究院)
本文针对人机协作中区分交接意图与其他动作的研究空白,通过多模态分析比较脑电图、gaze和手部运动信号,首次在同一实验环境中系统开发并测试跨模态意图检测器,发现gaze信号在交接意图检测中最早且最准确。
2025-02-17 cs.HC cs.RO
Enhancing the LLM-Based Robot Manipulation Through Human-Robot Collaboration
Nagoya University(名古屋大学);The University of Tokyo(东京大学);National Center for Geriatrics and Gerontology(国立长寿医疗研究中心)
本文提出结合GPT-4高层指令分解、YOLO视觉感知及遥操作与DMP的人机协作方法,使基于LLM的机器人能够通过人类指导高效完成复杂操作任务。
2024-07-01 cs.AI cs.HC cs.RO
Integrating Uncertainty-Aware Human Motion Prediction into Graph-Based Manipulator Motion Planning
University at Buffalo(布法罗大学);Texas A&M University(德克萨斯农工大学)
针对人机协作场景下机械臂安全高效运动规划问题,提出融合不确定性感知人体运动预测与图神经网络的规划框架,通过量化预测不确定性、构建工作空间元素关联图实现前瞻性规划,实验验证了其在提升协作流畅性和安全性上的效果。
2024-05-16 cs.RO
REI-Bench: Can Embodied Agents Understand Vague Human Instructions in Task Planning?
MARS Lab, School of Mechanical and Aerospace Engineering(MARS实验室,机械与航空航天工程学院)
本文研究模糊参照表达对LLM任务规划的影响,提出REI-Bench基准,发现模糊性会显著降低机器人规划性能,提出任务导向上下文认知方法提升表现。
2026-05-09 cs.AI cs.CL cs.RO
Learning Human-arm Reaching Motion Using IMU in Human-Robot Collaboration
Tel-Aviv University(特拉维夫大学)
本研究提出基于双IMU可穿戴设备的手臂位置估计与目标预测神经网络模型,无需视觉感知即可实现人机协作中的实时伸手动作预测,适配多场景与新用户,准确率与成功率表现优异。
2023-08-26 cs.RO eess.SP
How to be Helpful? Supportive Behaviors and Personalization for Human-Robot Collaboration
Yale University(耶鲁大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
近年来,人机协作(HRC)领域取得了相当大的进展。部分归功于控制和感知算法的进步,机器人已经开始在越来越非结构化的环境中工作,在那里它们与人类并肩作战,完成共同的任务。然而,在开发真正有效地支持人类、积极主动地协作以及能够自主处理部分任务的系统方面,进展甚微。在这项工作中,我们提出了一个协作系统,能够协助人类工作人员,尽管有限的操作能力,不完整的任务模型,和部分可观察的环境。我们的框架利用了来自人类和机器人之间共享的高级别层次模型的信息,该模型能够实现对等体之间的透明同步以及对彼此计划的相互理解。更确切地说,我们首先从高级任务表示中推导出一个部分可观察的马尔可夫模型,然后使用在线蒙特卡罗求解器来计算短期机器人可执行计划。由此产生的政策是能够互动重新规划的飞行,动态错误恢复,并识别隐藏的用户偏好。我们证明,该系统是能够强大地提供支持的人在一个现实的家具建设任务。
2022-02-14 cs.RO
Anticipate & Collab: Data-driven Task Anticipation and Knowledge-driven Planning for Human-robot Collaboration
Robotics Research Center, IIIT Hyderabad(IIIT海得拉巴机器人研究中心);TCS Research, Tata Consultancy Services(塔塔咨询服务公司TCS研究院);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本文提出 DaTAPlan 框架,结合 LLM 任务预测与经典知识驱动规划,使人与机器人能共同完成预测任务并自适应意外变化。
2024-04-04 cs.AI cs.RO
Trust as Extended Control: Active Inference and User Feedback During Human-Robot Collaboration
Massachusetts Institute of Technology(麻省理工学院);Bar Ilan University(巴伊兰大学);University of Sussex(苏塞克斯大学);University College London(伦敦大学学院)
为了与机器人进行无缝交互,用户必须推断出机器人行为的原因,并对这种推断充满信心。因此,信任是人机协作(HRC)的必要条件。尽管它的关键作用,它在很大程度上是未知的如何产生,发展,并支持人类与非人类人工制品的互动。在这里,我们回顾了有关信任,人机交互,人机协作和人机交互的文献。早期的信任模型认为,信任需要在仁慈和能力之间进行权衡,而人与人之间的互动研究则强调共享行为和相互知识在逐步建立信任中的作用。然后,我们引入了一个模型的信任代理的最好的解释可靠的感官交流与扩展电机厂或合作伙伴。这个模型是基于认知神经科学的主动推理,并建议,在HRC的上下文中,信任可以铸造在虚拟控制人工代理。在这种情况下,交互式反馈成为委托人感知-行动循环的必要组成部分。由此产生的模型具有重要的意义,理解人机交互和协作,因为它允许传统的人类信任的决定因素来定义的主动推理,信息交换和授权。此外,这个模型表明,无聊和惊讶可以作为标记的不足和过度依赖的系统。最后,我们研究了共享行为在信任起源中的作用,特别是在二元协作的背景下,这对人机协作系统的可接受性和设计产生了重要影响。
2021-04-22 cs.AI cs.CY cs.HC
Augmented Reality and Human-Robot Collaboration Framework for Percutaneous Nephrolithotomy: System Design, Implementation, and Performance Metrics
Politecnico di Milano(米兰理工大学)
针对经皮肾镜取石术人工穿刺精度低、可重复性差的问题,研究提出结合OST-HMD增强现实可视化与人机协作的框架,通过多步配准和笛卡尔阻抗控制器实现引导,实验验证其精度更高、用户工作负荷更低,具备临床应用潜力。
2024-06-23 cs.RO
Integrating Ergonomics and Manipulability for Upper Limb Postural Optimization in Bimanual Human-Robot Collaboration
Department of Mechanical and Automation Engineering, T-Stone Robotics Institute, The Chinese University of Hong Kong(机械与自动化工程系、T-Stone机器人研究所、香港中文大学);Bristol Robotics Laboratory, UWE Bristol(布里斯托尔机器人实验室、UWE布里斯托尔);HKCLR, Hong Kong(香港物流机器人中心、香港)
本文提出一种整合人体工程学与力可操纵性的上肢姿态优化方法,并结合双臂模型预测阻抗控制器引导人类调整姿态,在双臂人机协同搬运任务中显著改善肌肉状态。
2025-11-06 cs.RO
Repairing Human Trust by Promptly Correcting Robot Mistakes with An Attention Transfer Model
Kent State University(肯特州立大学)
在人机协作(HRC)中,人类对机器人的信任是人类对机器人以期望的性能执行任务的期望。更高级别的信任增加了人类操作员分配任务、共享计划的意愿,并减少了机器人执行过程中的中断,从而促进了人类与机器人在身体和精神上的整合。然而,由于现实世界的干扰,机器人不可避免地会犯错误,降低人类的信任并进一步影响协作。信任是脆弱的,当机器人表现出无法执行任务时,容易引发信任丧失,使得信任维护具有挑战性。为了维护人类的信任,在这项研究中,信任修复框架的基础上开发的人对机器人的注意力转移(H2 R-AT)模型和用户的信任研究。这一框架的基本原理是,及时纠正错误可以恢复人们的信任。通过H2 R-AT,机器人可以定位人类的语言问题,并迅速纠正错误,以避免早期任务失败,并最终提高人类的信任。用户信任研究测量行为修正前后的信任状态,量化信任损失。针对错误动作、错误区域、错误姿势和错误空间关系4种典型错误设计了机器人实验,验证了H2 R-AT在机器人行为矫正中的准确性;进行了$252$参与者的用户信任研究,评估了矫正前后信任水平的变化。通过纠错准确率和信任度的提高来评价人工信任修复的有效性。
2021-06-29 cs.RO
Towards Cognitive Collaborative Robots: Semantic-Level Integration and Explainable Control for Human-Centric Cooperation
Soongsil University(崇实大学)
本文综述了认知型协作机器人实现人本协作所需的语义感知、认知规划、可解释学习控制、安全运动设计和多模态意图识别五大支柱,并提出统一的认知协同架构以克服感知-行动脱节、实时可解释性不足和信任缺失等挑战。
2025-05-02 cs.RO cs.SY eess.SY
Advancing Improvisation in Human-Robot Construction Collaboration: Taxonomy and Research Roadmap
University of Michigan(密歇根大学)
本文提出六级分类法,分析人机协同建造中即兴能力的发展现状与未来研究方向,指出技术、概念和方法学三方面障碍,建议通过增强现实、大语言模型和云系统提升人机协作水平。
2026-01-23 cs.RO
POMDP Model Learning for Human Robot Collaboration
University of Notre Dame(圣母大学)
近年来,人类机器人协作(HRC)迅速成为控制,机器人和心理学交叉的热门研究领域。虽然大多数现有的工作集中在低层次的人类意识的运动规划或HRC界面设计,我们特别感兴趣的是一个正式的设计HRC高层次的复杂任务,在那里是至关重要的,以获得一个准确的,同时易于处理的人体模型。而不是假设的人的模型是给定的,我们问它是否是合理的,从观察到的感知数据,如手势,眼球运动,头部运动的人在关注学习的人的模型。作为我们的第一步,我们在这项工作中采用了部分可观察马尔可夫决策过程(POMDP)模型,越来越多的证据表明,从心理学研究人类行为的马尔可夫属性。此外,POMDP提供了一个通用的建模框架,顺序决策的状态是隐藏的,行动有随机的结果。与大多数POMDP模型学习文献不同的是,我们没有假设POMDP模型中的状态、转移结构或状态数的界是已知的。相反,我们使用贝叶斯非参数学习方法从数据中决定潜在的人类状态。然后,我们采用的启发可能近似正确(PAC)学习的方法,以获得不仅是一个估计的转移概率,但也与估计的置信区间。然后,应用从估计模型导出的控制策略的性能被保证为足够接近真实模型。最后,利用驾驶辅助试验台采集的数据对模型进行训练,验证了该学习方法的有效性。
2018-03-30 cs.HC cs.RO
Bayesian-Optimized One-Step Diffusion Model with Knowledge Distillation for Real-Time 3D Human Motion Prediction
Texas A&M University(德克萨斯农工大学)
针对扩散模型预测人体运动速度慢的问题,提出结合知识蒸馏与贝叶斯优化训练一步MLP扩散模型,实现实时预测且性能不降。
2024-09-19 cs.CV cs.RO
Human-Robot Collaborative Minimum Time Search through Sub-priors in Ant Colony Optimization
Institut de Robòtica i Informàtica Industrial (CSIC-UPC)(机器人学与信息研究所(西班牙国家研究委员会-加泰罗尼亚理工大学联合机构))
本文提出SP-MTS-ACO算法,结合CNN先验概率与智能体子先验偏好,解决人机协作最小时间搜索问题,并在真实实验中验证了其在保持效率的同时提升用户搜索感知。
2024-10-01 cs.AI cs.RO
An NMPC-ECBF Framework for Dynamic Motion Planning and Execution in vision-based Human-Robot Collaboration
Nantong University(南通大学)
针对智能制造中人机协作的安全实时运动规划需求,提出融合NMPC预测规划与ECBF安全滤波的框架,经V-REP场景验证可将任务执行时间降低19.8%。
2024-10-31 cs.RO cs.SY eess.IV
Trust-Aware Motion Planning for Human-Robot Collaboration under Distribution Temporal Logic Specifications
University of Oxford(牛津大学);University of Virginia(弗吉尼亚大学)
针对人机协作中含人类信任的复杂时序逻辑任务规划难题,提出基于scLDTL的规范方法与改进点基值迭代的最优策略求解算法,经人体实验验证有效。
2023-10-02 cs.RO cs.SY eess.SY
A Task-Efficient Reinforcement Learning Task-Motion Planner for Safe Human-Robot Cooperation
Department of Mechanical Engineering, Vrije Universiteit Brussel(布鲁塞尔自由大学机械工程系);imec;Flanders Make(弗拉芒制造);Artificial Intelligence (AI) Lab, Vrije Universiteit Brussel(布鲁塞尔自由大学人工智能实验室)
本文提出一种混合强化学习规划框架,结合交互式运动规划器与RL任务规划器,在保证安全的同时提升人机协作效率,减少重规划次数。
2025-10-14 cs.RO
Benchmarking Shortcutting Techniques for Multi-Robot-Arm Motion Planning
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
针对多机械臂运动规划,系统比较现有捷径优化方法,提出组合策略以平衡性能与运行时间。
2025-08-07 cs.RO
Warm-Starting Optimization-Based Motion Planning for Robotic Manipulators via Point Cloud-Conditioned Flow Matching
J. Mike Walker ’66 Department of Mechanical Engineering, Texas A&M University(J. Mike Walker ’66 机械工程系,德克萨斯A&M大学);Zachry Department of Civil and Environmental Engineering, Texas A&M University(Zachry 市政与环境工程系,德克萨斯A&M大学)
针对基于优化的机器人运动规划初始化敏感易陷局部极小的问题,提出单视点云条件Flow Matching模型生成近优初始解,提升规划成功率与效率且泛化性强。
2025-10-03 cs.RO
Optimized Human-Robot Co-Dispatch Planning for Petro-Site Surveillance under Varying Criticalities
King Fahd University of Petroleum and Minerals (KFUPM)(国王法赫德石油矿物大学)
本文提出人机协同调度设施选址问题,考虑基础设施关键性分层、人机监督比例约束和最小利用率要求,通过三种技术成熟度场景评估指挥中心选址,结果显示从保守到未来自主操作的过渡可显著降低成本并保持关键基础设施覆盖。
2026-04-15 cs.AI cs.RO math.OC
Cognition to Control - Multi-Agent Learning for Human-Humanoid Collaborative Transport
Department of Electrical Engineering, the University of Texas at Arlington(电气工程系,德克萨斯大学阿灵顿分校);Department of Mechanical Engineering, Carnegie Mellon University(机械工程系,卡内基梅隆大学)
本研究提出认知到控制框架,通过多智能体强化学习实现人-仿人协作运输中的持续推理与稳定控制。
2026-09-22 cs.AI cs.RO
DreamToNav: Generalizable Navigation for Robots via Generative Video Planning
Intelligent Space Robotics Laboratory, Skolkovo Institute of Science and Technology(智能空间机器人实验室,斯克尔科夫科学与技术研究所)
DreamToNav通过生成式视频规划实现通用机器人导航,利用自然语言提示生成精确运动路径,实现目标导向的自主导航。
2026-03-06 cs.RO
Hierarchical LLM-Based Multi-Agent Framework with Prompt Optimization for Multi-Robot Task Planning
Data Science Laboratories, NEC Corporation(日本电气株式会社数据科学实验室)
本文提出一种分层多智能体框架,结合提示优化提升多机器人任务规划的准确性和效率。
2026-02-26 cs.AI cs.MA cs.RO