Mixed Reality as Communication Medium for Human-Robot Collaboration
University of Genoa(热那亚大学)
参与协作活动的人类自然能够通过多模态通信将其意图传达给队友,该通信由显式和隐式线索组成。类似地,可以通过使机器人能够经由多个通信信道将其意图传达给人类队友来实现更自然形式的人类-机器人协作。在本文中,我们假设,如果协作机器人能够以直观的方式预测它们与人类队友的动作,那么就可以进行更好的沟通。为了支持这样的说法,我们提出了一个机器人系统的架构,通过该架构,机器人可以利用现代盔装显示器提供动力的混合现实接口,将计划的运动传达给人类队友。具体来说,机器人的全息图,这是叠加到真正的机器人在人类队友的角度来看,显示了机器人的未来运动,让人类提前了解他们,并可能以适当的方式对他们作出反应。我们进行了初步的用户研究,以评估在一个复杂的协作任务的有效性,建议预期的可视化。实验结果表明,一个改进的和更自然的合作,可以通过采用这种预期的通信模式。
2022-06-30 cs.RO
CoHRT: A Collaboration System for Human-Robot Teamwork
School of Engineering and Applied Science, University of Virginia(弗吉尼亚大学工程与应用科学学院)
本文提出CoHRT系统,通过服务器-客户端架构、视觉跟踪和动作协调界面,支持多人机团队无缝协作与多模态数据记录,以研究协作策略对团队绩效的影响并开发机器人自适应策略。
2024-10-11 cs.HC cs.RO
Designs for Enabling Collaboration in Human-Machine Teaming via Interactive and Explainable Systems
MIT Lincoln Laboratory(麻省理工学院林肯实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Georgia Institute of Technology(佐治亚理工学院)
针对基于学习的HMT方法脆弱且缺乏协同的问题,提出支持迭代混合主动团队开发的方法,允许用户交互式重编程可解释AI队友,发现白盒交互修改能促进团队发展,黑盒更易训练,揭示了可解释性与训练易用性的权衡。
2024-11-17 cs.HC cs.RO
Shared Object Manipulation with a Team of Collaborative Quadrupeds
Department of Mechanical and Automation Engineering at The Chinese University of Hong Kong(香港中文大学机械与自动化工程系);Technology and Innovation Center (TIC), KUKA Deutschland GmbH(KUKA德国技术与创新中心)
针对多机械臂系统工作空间受限的问题,将经典混合运动-力控制器扩展到腿式机械臂团队,实现力封闭抓取下刚性物体的高效稳定协同操作与运输,经仿真与实物实验验证有效。
2025-10-01 cs.MA cs.RO cs.SY
Continuous Execution of High-Level Collaborative Tasks for Heterogeneous Robot Teams
Sibley School of Mechanical and Aerospace Engineering, Cornell University(康奈尔大学西布利机械与航空航天工程学院)
提出一种异构多机器人系统控制综合框架,利用LTL^ψ逻辑编码任务,自动生成团队分配与离散行为,实现连续执行并确保协作任务满足,已在物理系统验证。
2024-06-26 cs.RO
Flexible collaborative transportation by a team of rotorcraft
Southern University of Denmark(丹麦南方大学);Delft University of Technology(代尔夫特理工大学)
我们提出了一个组合的方法,由一个团队的旋翼机的悬浮有效载荷的协同运输。最近的距离为基础的编队运动控制算法的基础上分配距离之间的分歧机器人产生的加速度信号被跟踪的车辆。特别是,所提出的方法不需要全球的位置,也不跟踪规定的轨迹的运动的团队成员。加速度信号由增量非线性动态逆控制器精确跟踪,该控制器为旋翼机设计,用于测量和抵抗来自有效载荷的张力。我们的方法允许我们分析系统中涉及的加速度和力,以便我们可以明确地计算最坏情况下的条件,以保证标称性能,只要有效载荷在编队的2D质心中静止开始,并且它没有受到显著的干扰。例如,我们可以计算团队相对于其所需形状的最大安全变形。我们演示了我们的方法与一个团队的四个旋翼机进行悬浮物体的两倍,比个人的最大有效载荷。最后但并非最不重要的是,我们提出的算法可用于开源自动驾驶仪Paparazzi社区。
2019-02-01 cs.RO
Collaborative Planning for UAV-UGV Teams under Operational Constraints via Masked Error-bounded Neuro-Symbolic Diffusion
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);U.S. Army DEVCOM Army Research Laboratory(美国陆军DEVCOM陆军研究实验室)
本文提出MEND模型,将协作规划建模为条件掩码生成过程,通过神经符号范式与误差有界推理调度提升无人机-无人车团队在操作约束下的协作规划性能,经多场景实验验证其有效性。
2026-10-14 cs.RO
Efficient Feature Mapping Using a Collaborative Team of AUVs
Virginia Tech(弗吉尼亚理工大学);US Naval Research Laboratory(美国海军研究实验室);Bartin University(巴尔滕大学)
本文提出一种基于严格不确定性评估的新型水平集估计目标函数,结合路径规划与去中心化方法,并通过AUV团队实地实验验证了在声学通信受限和计算资源有限条件下仍能保持理论性能保证。
2024-12-27 cs.RO
Collaborative Planning for Catching and Transporting Objects in Unstructured Environments
State Key Laboratory of Industrial Control Technology, Zhejiang University(浙江大学工业控制技术国家重点实验室);Huzhou Institute of Zhejiang University(浙江大学湖州研究院)
本文提出一种非结构化环境中非完整机器人团队协作捕捉与运输的轨迹规划方法,通过连续可微建模实现自适应捕捉,并保证网的安全,实验验证其高效与高质量。
2023-11-13 cs.RO
Optimal Robot Path Planning In a Collaborative Human-Robot Team with Intermittent Human Availability
University of Waterloo(滑铁卢大学)
本文研究人类间歇可用的人机协作场景下机器人最优路径规划问题,提出基于预算和关键出发时间的新方法,在保证最优解的同时扩展了问题规模,并在城市路网上验证了其优于基线算法的性能。
2023-07-10 cs.RO
Collaborative Task and Path Planning for Heterogeneous Robotic Teams using Multi-Agent PPO
Robotic Systems Lab (RSL), ETH Zürich(苏黎世联邦理工学院机器人系统实验室(RSL))
本文提出基于多智能体PPO的协同规划策略,用于解决复杂的目标分配与调度问题,通过对比穷举搜索得到的单目标最优解,评估其在行星探索场景中的在线重规划能力。
2026-04-01 cs.MA cs.RO
Collaborative Exploration with a Marsupial Ground-Aerial Robot Team through Task-Driven Map Compression
Autonomous Robots Lab, Norwegian University of Science and Technology (NTNU)(自主机器人实验室,挪威科学技术大学)
针对通信受限环境下的大规模未知区域探索,提出有袋式地空机器人协同框架,采用基于图的路径规划与任务驱动地图压缩,在仿真和真实实验中提升了探索效率并降低了通信开销。
2025-09-09 cs.RO
Collaborative Planning with Concurrent Synchronization for Operationally Constrained UAV-UGV Teams
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);North Carolina State University(北卡罗来纳州立大学);U.S. Army DEVCOM Army Research Laboratory (ARL)(美国陆军 DEVCOM 军事研究实验室 (ARL))
本文提出CoPCS方法,通过集成异构图Transformer和Transformer解码器,实现无人机与地面车辆的同步并发协同规划,提升团队任务执行效率。
2026-03-06 cs.RO
Collaborative Adaptation: Learning to Recover from Unforeseen Malfunctions in Multi-Robot Teams
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
针对多智能体强化学习在遭遇不可预见故障时恢复缓慢的问题,提出Collaborative Adaptation框架,通过利用智能体间关系引导协作并加速故障适应,使智能体能有效恢复并选择合适的协作策略。
2023-10-19 cs.MA cs.RO
A Collaborative Team of UAV-Hexapod for an Autonomous Retrieval System in GNSS-Denied Maritime Environments
School of Electrical Engineering, Korea Advanced Institute of Science and Technology(韩国科学技术院电气工程学院)
提出一种用于GNSS拒止海洋环境的UAV-六足机器人协同系统,通过UAV绞盘机制实现自主部署与回收,结合光流、LiDAR和深度数据传感器融合精确定位,并在MBZIRC 2023 Maritime Challenge现场测试中验证了其有效性。
2024-10-12 cs.RO
A Task Allocation Framework for Human Multi-Robot Collaborative Settings
Roma Tre University(罗马第三大学);University of Cassino and Southern Lazio(卡西诺和南拉齐奥大学)
现代生产系统的要求以及更先进的机器人技术促进了由人类和自主机器人组成的团队的整合。然而,随着潜在的好处也来的问题,如何有效地处理这些团队考虑到所涉及的代理的不同特点。为此,本文提出了一个框架,在人类多机器人协作的情况下任务分配。所提出的解决方案结合了最佳离线分配与在线重新分配策略,该策略考虑了离线计划的不准确性和/或不可预见的事件、人的主观偏好以及从一个任务切换到另一个任务的成本,以提高人的满意度和团队效率。实验的情况下,两个机械手与人类操作员合作,执行装箱任务。
2022-10-25 cs.RO
Hydra-Multi: Collaborative Online Construction of 3D Scene Graphs with Multi-Robot Teams
Massachusetts Institute of Technology(麻省理工学院)
本文提出Hydra-Multi多机器人空间感知系统,通过增量融合、相对变换估计和回环校正实现在线协同构建3D场景图,并验证其在仿真、真实及异构团队中的准确性。
2023-04-26 cs.RO
Energy-Aware Collaborative Exploration for a UAV-UGV Team
Department of Mechanical and Industrial Engineering at Northeastern University(东北大学机械与工业工程系);Departments of Mechanical and Industrial Engineering and Electrical and Computer Engineering at Northeastern University(东北大学机械与工业工程系和电气与计算机工程系)
本文提出一种面向能耗的无人机-地面车辆协同探索框架,通过密度感知分层概率路标实现稀疏耦合空地路标,将路线选择建模为耦合导向问题以最大化信息增益,同时满足会合约束。
2026-07-20 cs.MA cs.RO
Collaborative Object Manipulation on the Water Surface by a UAV-USV Team Using Tethers
Czech Technical University in Prague(布拉格捷克技术大学)
本文提出一种UAV与USV通过系绳协同操作水面物体的方法,建立包含系绳漂浮物体的数学模型并设计模型预测控制框架,仿真结果表明多机器人系统在跟踪精度和扰动恢复时间上均优于单机器人方法。
2025-02-06 cs.RO
A Unified Architecture for Dynamic Role Allocation and Collaborative Task Planning in Mixed Human-Robot Teams
Istituto Italiano di Tecnologia(意大利理工学院);Università di Trento(特伦托大学);Politecnico di Milano(米兰理工大学)
本文提出一种基于行为树和混合整数线性规划的统一架构,实现混合人机团队中动态角色分配与协作任务规划,并通过增强现实界面支持人机协商,在工业规模问题上表现出高效性与灵活性。
2023-09-25 cs.AI cs.HC cs.MA
Vehicular Teamwork: Collaborative localization of Autonomous Vehicles
Texas A&M University(德州农工大学)
本研究提出基于扩展卡尔曼滤波的分布式协同定位算法,融合UWB车距测量提升GPS失效场景下的定位精度,经仿真与城市实验验证,在GPS拒止时较标准卡尔曼滤波精度最高提升83.3%,且降低车际通信需求。
2023-10-08 cs.RO
Online Resynthesis of High-Level Collaborative Tasks for Robots with Changing Capabilities
Cornell University(康奈尔大学);Sibley School of Mechanical and Aerospace Engineering(西布利机械与航空航天工程学院)
针对异构机器人团队能力变化导致高层协作任务失效的问题,提出基于 LTL^ψ 的运行时在线重综合方法,通过最小化全局重分配与局部重综合并支持用户自定义团队约束,在模拟仓库中验证了框架有效性。
2024-09-09 cs.RO
Role-Adaptive Collaborative Formation Planning for Team of Quadruped Robots in Cluttered Environments
Robotics and Artificial Intelligence Group, Department of Computer, Electrical and Space Engineering, Lulea University of Technology(机器人与人工智能小组,计算机、电气与航天工程系,卢莱亚理工大学)
本文提出了一种适用于 cluttered 环境的四足机器人团队角色自适应协作形成规划方法,通过动态角色分配和 FM2 算法实现灵活导航与稳定形成。
2026-02-20 cs.RO
Real-World Deployment of a Hierarchical Uncertainty-Aware Collaborative Multiagent Planning System
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);DEVCOM Army Research Laboratory (ARL)(DEVCOM陆军研究实验室);United States Military Academy(美国军事学院)
本文提出并部署了一种分层不确定性感知协同多智能体规划系统,通过规划器层次结构与鲁棒设计,在真实世界未知环境中实现长距离协同导航。
2024-04-26 cs.AI cs.MA cs.RO
Combinatorial-hybrid Optimization for Multi-agent Systems under Collaborative Tasks
Peking University(北京大学)
针对多智能体协作中任务分配与控制策略割裂的问题,提出组合混合优化框架,迭代优化离散协作模式与连续控制参数,推导纳什稳定策略,在协作运输、动态围捕场景中验证了有效性。
2023-08-27 cs.RO
Safety-critical Motion Planning for Collaborative Legged Loco-Manipulation over Discrete Terrain
University of Southern California(南加州大学)
本研究提出一种基于全局与去中心化模型预测控制及自适应全身控制器的安全运动规划方法,解决腿足机器人在离散地形上协同操作未知载荷并避障的问题,并在仿真与硬件实验中验证了其有效性。
2024-10-14 cs.RO
Modeling Human Temporal Uncertainty in Human-Agent Teams
Human Experience and Agent Teamwork Lab(人类体验与智能体团队合作实验室);Harvey Mudd College(哈维穆德学院)
自动化调度是一个非常有用的工具,可以促进机器人和人类队友之间高效、直观的互动。然而,目前的差距自动调度是,它不是很好地理解如何最好地表示人类队友引入的时间不确定性。本文试图通过设计一个在线人机协作包装游戏来解决这个问题,我们使用这个游戏来构建一个来自人群工作者的人类时间不确定性模型。我们的结论是,重尾分布是人类时间不确定性的最佳模型,对数正态分布实现了我们的实验数据的最佳拟合。我们讨论了这些结果以及我们的协作在线游戏将如何通知和促进未来的探索调度,以提高人类机器人的流畅性。
2020-10-09 cs.AI cs.RO
High-Level, Collaborative Task Planning Grammar and Execution for Heterogeneous Agents
Cornell University(康奈尔大学)
本研究提出一种新型多智能体任务语法,支持异构智能体团队的协同任务编码,无需明确任务分配与数量约束,可自动匹配智能体团队并生成带同步策略的构造即正确控制,经仿真验证具备可扩展性,性能优于现有多智能体任务语法。
2024-02-01 cs.RO
Coordination with Humans via Strategy Matching
Carnegie Mellon University(卡内基梅隆大学)
人类和机器人合作伙伴越来越需要作为一个团队一起工作来执行任务。为这种协作而设计的机器人必须推理它们的任务完成策略如何与人类团队成员的行为和技能相互作用,因为它们协调实现共同目标。我们在这项工作中的目标是开发一个计算框架,机器人适应人类合作伙伴在人类-机器人团队协作。我们首先提出了一个算法,通过观察人-人团队执行协作任务,自主识别可用的任务完成策略。通过使用隐马尔可夫模型将团队行为转换为低维表示,我们可以在没有先验知识的情况下识别策略。机器人的政策是学习每个识别的策略,以构建一个混合的专家模型,适应看不见的人类合作伙伴的任务策略。我们评估我们的模型上的协作烹饪任务,使用一个煮过头的模拟器。与125名参与者的在线用户研究结果表明,与最先进的强化学习方法相比,我们的框架提高了人类-代理团队的任务性能和协作流畅性。
2022-11-07 cs.HC cs.LG cs.RO
AGT-CV: An Aerial-Ground Team Cross-View Dataset for Heterogeneous Robot Teams in Unstructured Environments
Drexel University(德雷塞尔大学)
GA3T 数据集通过地面和空中平台的多模态数据融合,提升非结构化环境中的地形可 traversability 估计与协同场景理解能力。
2026-10-05 cs.RO
Active Collaborative Localization in Heterogeneous Robot Teams
University of Pennsylvania(宾夕法尼亚大学)
本文研究异构机器人团队中少量高能力智能体的最优定位问题,提出基于非线性优化的高效方法,以增强轻量级队友的感知环境,并在仿真与真实实验中显著降低视觉惯性里程计漂移。
2023-05-29 cs.RO
Collaborative Robot Learning from Demonstrations using Hidden Markov Model State Distribution
Rochester Institute of Technology(罗切斯特理工学院)
在机器人技术中,由于经验是昂贵的,因此需要一种交互式和快速的学习方法。机器人学习从示范(RLfD),使机器人学习的政策,从教师执行的演示。RLfD使人类用户能够以直观的方式向机器人添加新的功能,而无需明确地重新编程它。在这项工作中,我们提出了一种新的交互式框架,其中协作机器人从人类教师进行的演示中学习基于轨迹的任务技能。机器人从每个演示中提取特征,称为关键点,并使用隐马尔可夫模型(HMM)学习演示技能的模型。我们的实验结果表明,学习模型可以用来产生一个广义的轨迹为基础的技能。
2018-09-27 cs.RO
Automatic Robotic Development through Collaborative Framework by Large Language Models
Xi’an University of Technology(西安理工大学);Xi'an Jiaotong University(西安交通大学)
提出一种基于多LLMs角色分工(分析师、程序员、测试员)的自动化协作框架,模拟现实团队合作,使非专家也能完成复杂机器人开发。
2024-02-16 cs.CV cs.RO
WiSwarm: Age-of-Information-based Wireless Networking for Collaborative Teams of UAVs
Massachusetts Institute of Technology(麻省理工学院);Columbia University(哥伦比亚大学)
在理论通信网络和排队系统文献中,信息量度量(AoI)得到了广泛的研究。然而,它的适用性,复杂的现实世界的时间敏感系统的实验评估在很大程度上缺乏。在这项工作中,我们开发,实施和评估基于AoI的应用层中间件,使定制的WiFi网络的时间敏感的应用程序的需求。通过控制底层WiFi网络中信息的存储和流动,我们的中间件可以:(i)防止数据包冲突;(ii)丢弃不再有用的陈旧数据包;以及(iii)动态优先传输最相关的信息。为了证明我们的中间件的好处,我们实现了一个移动跟踪应用程序,使用一群无人机通过WiFi与中央控制器通信。我们的实验结果表明,相比WiFi-UDP/WiFi-TCP,中间件可以提高信息新鲜度的109倍/48倍和跟踪精度的4倍/6倍,分别。最重要的是,我们的研究结果还表明,我们的方法的性能增益增加的系统规模和/或流量负载的增加。
2022-12-06 cs.NI cs.RO
Skill Sequence Planning for Collaborative Multi-Robot Construction
Texas A&M University(德克萨斯A&M大学);Amazon Robotics(亚马逊机器人);University of Michigan(密歇根大学);University of Tennessee(田纳西大学)
本文提出一种技能序列规划方法,利用可复用技能和建造关系图,使异构多机器人团队协作完成建造装配,减少单独编程需求,提升部署灵活性。
2026-09-23 cs.RO
Asynchronous Collaborative Localization by Integrating Spatiotemporal Graph Learning with Model-Based Estimation
Colorado School of Mines(科罗拉多矿业学院);Toyota Motor North America(丰田汽车北美公司)
协作定位是一组机器人(如联网车辆)从多个角度协作估计对象位置的基本能力。为了实现协作定位,必须解决四个关键挑战,包括对观察对象之间的复杂关系建模,融合来自任意数量的协作机器人的观察,量化定位不确定性,以及解决机器人通信的延迟。在本文中,我们介绍了一种新的方法,集成了不确定性感知时空图学习和基于模型的状态估计的机器人团队协作定位对象。具体来说,我们引入了一个新的不确定性感知图学习模型,学习时空图来表示每个机器人随时间观察到的对象的历史运动,并提供对象定位的不确定性。此外,我们提出了一种新的方法,集成学习和基于模型的状态估计,融合异步观测从任意数量的机器人协作定位。我们评估我们的方法在两个合作的对象定位的情况下,在模拟和真实的机器人。实验结果表明,我们的方法优于以往的方法,并实现了最先进的性能异步协作定位。
2021-11-05 cs.AI cs.RO
Predicting Human Behavior in Autonomous Systems: A Collaborative Machine Teaching Approach for Reducing Transfer of Control Events
DFKI, Saarland Informatics Campus(德累斯顿人工智能研究所、萨尔兰州信息学院)
针对自主系统中传统控制权转移(ToC)常被不必要触发的问题,提出基于人类交互数据训练LSTM模型预测用户行为的方法,可减少非必要ToC事件,提升系统鲁棒性,为人机协作与工业自动化优化提供新思路。
2025-05-15 cs.AI cs.HC cs.RO
Hierarchical Adaptive Motion Planning with Nonlinear Model Predictive Control for Safety-Critical Collaborative Loco-Manipulation
提出一种基于非线性模型预测控制和控制障碍函数的四足机器人团队分层协同移动操作控制系统,实现复杂动态环境下的安全自适应规划与操作,并通过仿真和硬件实验验证。
2024-11-16 cs.RO
Collaborative Adaptation for Recovery from Unforeseen Malfunctions in Discrete and Continuous MARL Domains
Richard Miner School of Computer and Information Sciences, University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校理查德·迈纳计算机与信息科学学院)
针对多智能体强化学习中意外故障后恢复缓慢的问题,提出协作适应(CA)框架,通过将智能体间关系整合到学习过程中,在离散与连续领域均显著提升了故障缓解与恢复效率。
2024-07-27 cs.MA cs.RO
Hastily Formed Knowledge Networks and Distributed Situation Awareness for Collaborative Robotics
Linköping University(林雪平大学);Jinan University(暨南大学)
在协作机器人的背景下,分布式态势感知对于支持机器人和人类代理团队中的集体智能至关重要,它可以用于个人和集体决策支持。这在与紧急救援和危机管理有关的应用中尤其重要。在操作任务期间,数据和知识由异构机器人和人类以不同的方式逐步收集。我们将其描述为\emph{Hastily Formed Knowledge Networks}(HFKNs)的创建。本文的重点是一个通用的分布式系统架构,支持创建HFKNs的机器人和人类的团队的规范和原型。收集的信息范围从低级传感器数据到高级语义知识,后者部分表示为RDF图。该框架包括一个同步协议和相关的算法,允许代理之间的数据和知识的自动分配和共享。这是通过代理之间共享的RDF图的分布式同步来完成的。SPARQL中指定的高级语义查询可以被机器人和人类用来从团队成员那里获取知识和数据内容。该系统的经验验证和所提出的算法的复杂性结果。此外,现场机器人的案例研究进行了描述,在一个合作的紧急救援情况下,同时使用完整的HFKN框架,使用几个无人机执行3D映射任务。
2021-03-25 cs.MA cs.RO
Towards Effective Human-AI Teams: The Case of Collaborative Packing
Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
我们专注于设计一个人工智能(AI),能够帮助人类用户完成任务的问题。我们的目标是引导人类用户实现最佳的任务性能,同时保持尽可能低的认知负荷。我们的观点是,这样做需要了解人类对手头任务领域的决策。在这项工作中,我们考虑域的协作包装,其中一个人工智能智能体提供放置建议给人类用户。作为第一步,我们探索人类包装策略的机制。我们进行了一项用户研究,其中100名人类参与者在虚拟环境中完成了一系列包装任务。我们分析了它们的打包策略,发现了空间和时间模式,比如人类倾向于先把较大的物品放在角落里。我们希望,让人工智能体理解这种时空结构将能够改善辅助,这将反映在人工智能的任务性能和人类感知中。正在进行的工作包括开发一个框架,该框架结合了提取的见解,以预测和操纵人类决策,使其朝着低认知负荷和高效率的有效轨道发展。一项后续研究将根据一套基线评估我们的框架,其中包括各种援助战略。我们的最终目标是在自主机器人机械手上部署和评估我们的框架,积极协助用户完成包装任务。
2019-11-03 cs.HC cs.LG cs.RO