Interpreting Behaviors and Geometric Constraints as Knowledge Graphs for Robot Manipulation Control
Department of Computing Science, University of Alberta(计算科学系,阿尔伯塔大学)
本文提出利用机器人知识图谱统一行为树与几何约束,将操作控制概念化为语义事件,以实现可解释的机器人操作控制。
2025-10-07 cs.RO
Intractability of Optimal Multi-Robot Path Planning on Planar Graphs
Rutgers University(罗格斯大学)
研究了平面图上多机器人路径规划问题最优解的计算复杂性。对于四个常见的时间和距离为基础的目标,我们表明,多个机器人的相关路径优化问题都是NP完全的,即使底层图形是平面的。在平面图上建立多机器人最优路径规划问题的计算困难性具有重要的实际意义。特别是,我们的研究结果表明,解决这些问题的首选方法,当机器人的数量很大时,是增加平面环境,以减少机器人之间的共享路径在这些路径上的相反方向行驶。事实上,这种提高效率的结构,如高速公路和高架十字路口,在机器人和运输应用中无处不在。
2015-12-06 cs.CC cs.RO
Graph-based Multi-sensor Fusion for Consistent Localization of Autonomous Construction Robots
ETH Zürich(苏黎世联邦理工学院);Max Planck ETH Center for Learning Systems(马克斯·普朗克-苏黎世联邦理工学习系统中心)
实现大型工程机械(如挖掘机)的自主操作可以为人类安全带来关键好处,并为危险和有害环境中的应用带来操作机会。为了促进机器人的自主性,鲁棒和准确的状态估计仍然是使这些机器能够在各种复杂环境中运行的核心组件。在这项工作中,多模态传感器融合的机器人状态估计和定位的方法,使工程机器人在现实世界中的场景操作。该方法提出了一种基于图的预测更新循环,结合了滤波和平滑的优点,以提供一致的状态估计在高更新率,同时保持准确的全球定位的大型土方挖掘机。此外,所提出的方法使异步传感器测量的灵活集成,并提供一致的姿态估计,即使在传感器脱落的阶段。为此,提出了一种用于在两个不同的优化问题之间切换的双图设计,直接解决临时故障和随后返回的全局位置估计。所提出的方法是实现板载两个门子渣土步行挖掘机和验证在现实世界中进行的测试在代表性的操作环境。
2022-03-02 cs.RO cs.SY eess.SY
Learning-Guided Sparsification of Dynamic Graphs in Robotic Exploration
Independent Researcher(独立研究者);University of Tennessee, Knoxville(田纳西大学,基洛尼尔);University of California, Riverside(加州大学河滨分校)
本文提出基于Transformer的框架,利用PPO算法在机器人探索中稀疏化动态图,减少冗余信息,提升性能,实验表明该方法能有效降低图规模并提高探索一致性。
2026-08-17 cs.LG cs.RO
Graph Policy Gradients for Large Scale Robot Control
University of Pennsylvania(宾夕法尼亚大学)
在本文中,我们考虑的问题,学习政策,以控制大量的同质机器人。为此,我们提出了一种称为图策略梯度(GPG)的新算法,该算法利用机器人之间的底层图对称性。当与大量机器人一起工作时遇到的维数灾难通过采用图卷积神经(GCN)网络来参数化机器人的策略来减轻。GCN通过学习过滤器来降低问题的维度,这些过滤器在机器人之间局部地聚合信息,类似于卷积神经网络如何能够学习图像中的局部特征。通过编队飞行的实验,我们表明,我们提出的方法是能够更好地扩展比现有的加固方法,采用完全连接的网络。更重要的是,我们表明,通过使用我们的本地学习过滤器,我们能够zero-shot转移策略上训练只有三个机器人超过一百个机器人。
2019-12-01 cs.RO
Towards a Domain Specific Language for a Scene Graph based Robotic World Model
Katholieke Universiteit Leuven(鲁汶天主教大学)
机器人世界模型表示是机器人应用的重要组成部分。然而,在模型驱动的工程工具链中不支持这种表示。本文提出了一种基于机器人场景图(RSG)方法的机器人世界模型领域专用语言(DSL)。RSG-DSL可以表达(a)应用特定场景配置,(b)语义场景结构,以及(c)加载到世界模型的实例中的计算实体的输入和输出。
2014-08-01 cs.RO
Representing Multi-Robot Structure through Multimodal Graph Embedding for the Selection of Robot Teams
Colorado School of Mines(科罗拉多矿业学院);U.S. Army Research Laboratory(美国陆军研究实验室)
多机器人系统的规模和复杂性不断增加,用于解决大规模的问题,如区域勘探和搜索和救援。人机协作中的一个关键决策是将多机器人系统分成多个团队,以解决单独的问题或在大区域内完成任务。为了解决多机器人系统中的团队选择问题,提出了一种新的多模态图嵌入方法来构建一个融合多种信息模态的统一表示,以描述和划分多机器人系统。关系模态被编码为有向图,该有向图可以编码非对称关系,该非对称关系被嵌入到每个机器人的统一表示中。然后,构造的多模态表示用于确定基于无监督学习的团队。我们进行实验,以评估我们的方法专家定义的团队编队,大规模的模拟多机器人系统,和系统的物理机器人。实验结果表明,该方法基于多机器人系统的多层次内部结构,成功地确定了正确的团队,优于基于单一信息模式的基线方法和其他基于图嵌入的划分方法.
2020-04-07 cs.RO
Hydra-Multi: Collaborative Online Construction of 3D Scene Graphs with Multi-Robot Teams
Massachusetts Institute of Technology(麻省理工学院)
本文提出Hydra-Multi多机器人空间感知系统,通过增量融合、相对变换估计和回环校正实现在线协同构建3D场景图,并验证其在仿真、真实及异构团队中的准确性。
2023-04-26 cs.RO
Specification mining and automated task planning for autonomous robots based on a graph-based spatial temporal logic
University of Notre Dame(圣母大学)
我们的目标是使自主机器人能够从演示视频中学习新技能,并使用这些新学到的技能来完成重要的高级任务。开发这种自主机器人的目标涉及到知识表示、规范挖掘和自动任务规划。对于知识表示,我们使用基于图的时空逻辑(GSTL)来捕获演示视频所演示的相关技能的时空信息。我们设计了一个规范挖掘算法,通过归纳构造空间项和时间公式,从演示视频中生成一组参数化的GSTL公式。从规范挖掘得到的参数化GSTL公式作为域理论,用于自主机器人的自动任务规划。提出了一种基于GSTL的自动任务规划方法,其中提出者用于生成有序动作,验证者用于生成可执行的任务计划。文中以表格设置为例说明了本文的主要思想。
2020-07-16 cs.AI cs.RO cs.SY
Graph-based Global Robot Simultaneous Localization and Mapping using Architectural Plans
University of Luxembourg(卢森堡大学);Interdisciplinary Centre for Security, Reliability and Trust (SnT)(跨学科安全、可靠与信任中心(SnT))
提出基于建筑图纸的图匹配全局SLAM方法,通过A-Graph与S-Graph对齐生成iS-Graph,实现全局定位并增强SLAM能力。
2023-05-16 cs.RO
Graph-based Global Robot Localization Informing Situational Graphs with Architectural Graphs
University of Luxembourg(卢森堡大学);Interdisciplinary Centre for Security, Reliability and Trust(安全、可靠性与信任跨学科中心)
在本文中,我们提出了一种解决方案,足式机器人定位使用建筑计划。我们为实现这一目标作出了几项具体贡献。首先,我们开发了一种方法,用于将建筑物的平面图转换为我们所表示的建筑图(A-Graph)。当机器人开始在一个环境中移动时,我们假设它对此一无所知,它会估计其周围环境的在线情景图表示(S-Graph)。我们开发了一种新的图到图的匹配方法,以便将从机器人传感器在线估计的S-Graph与从建筑计划中提取的A-Graph相关联。请注意其中的挑战,因为S图可能显示完整A图的部分视图,它们的节点是异构的,它们的参考框架是不同的。在匹配之后,两个图被对齐和合并,从而产生我们所表示的信息情境图(iS-Graph),通过该图,我们实现了全局机器人定位和利用建筑计划中的先验知识。我们的实验表明,我们的管道显示出更高的鲁棒性和显着降低姿态误差比几个激光雷达定位基线。
2023-03-03 cs.AI cs.RO
Toward Accurate Long-Horizon Robotic Manipulation: Language-to-Action with Foundation Models via Scene Graphs
Department of Electrical and Computer Engineering, King Abdullah University of Science and Technology (KAUST)(电气与计算机工程系,国王 Abdullah 科学与技术大学)
本文提出一种基于预训练基础模型且无需领域特定训练的机器人操作框架,通过动态维护场景图提供空间感知,结合多模态感知与通用推理模型实现稳健任务排序,在桌面实验中验证了其构建操作系统的潜力。
2025-10-31 cs.AI cs.LG cs.RO
Collaborative Robot Mapping using Spectral Graph Analysis
ETH Zurich(苏黎世联邦理工学院)
在本文中,我们处理的问题,创建全局一致的姿态图在一个集中式多机器人SLAM框架。对于每个自主行动的机器人,维护单独的机载姿态估计和地图,然后将其传送到中央服务器以构建优化的全局地图。然而,由于机载里程计漂移或故障,可能会发生机载和服务器估计之间的不一致。此外,如果服务器没有以计算上易处理和带宽有效的方式提供反馈,则机器人不会从协作地图中受益。出于这一挑战,本文提出了一种新的协作映射框架,使机器人和服务器之间的准确的全局映射。特别是,机器人和服务器图之间的结构差异被利用在不同的空间尺度上使用图谱分析,以生成必要的约束,为个人的机器人姿势图。所提出的方法进行了彻底的分析和验证,使用几个现实世界的多机器人现场部署,我们显示了高达90%的车载系统的改进。
2022-03-01 cs.MA cs.RO
Explainable Knowledge Graph Embedding: Inference Reconciliation for Knowledge Inferences Supporting Robot Actions
Georgia Institute of Technology(佐治亚理工学院)
支持机器人的学习知识图谱表示包含丰富的驱动机器人行为的领域知识。然而,不存在一个推理和解框架,表示如何影响机器人的顺序决策的知识图谱表示。我们使用教学方法来解释一个学习,黑盒知识图谱表示,一个知识图谱嵌入的推论。我们的可解释模型,使用决策树分类器来局部近似黑盒模型的预测,并提供非专家可解释的自然语言解释。从我们的算法评估结果肯定了我们的模型设计的选择,我们的用户研究的结果与非专家支持所提出的推理和解框架的需要。关键的是,我们的模拟机器人评估结果表明,我们的解释使非专家纠正不稳定的机器人行为,由于荒谬的信念在黑盒子。
2022-05-04 cs.AI cs.RO
Triangle-Decomposable Graphs for Isoperimetric Robots
Brigham Young University, Department of Mechanical Engineering(布拉德福德青年大学机械工程系);Brigham Young University, Department of Electrical Engineering(布拉德福德青年大学电气工程系)
本文提出一种优化方法判断任意图能否分解为独立三角形,枚举了最多9个节点的可构造最小刚性图并刻画节点工作空间,还给出通过组装子图构造更大可分解图的方法,从而扩展等周机器人的可行构型。
2025-05-02 cs.RO
Communication-Aware Heterogeneous Graph Learning for Decentralized Multi-Human Multi-Robot Task Allocation
提出CommHG框架,通过通感异构图和协作多智能体强化学习联合优化去中心化多人类多机器人任务分配与通信,实验显示在多达16机器人、6人类、112任务规模下优于最强基线。
2026-09-29 cs.RO
DGORL: Distributed Graph Optimization based Relative Localization of Multi-Robot Systems
University of Georgia(佐治亚大学)
优化问题是许多机器人估计、规划和最优控制问题的核心。在基于模型的多机器人定位方面已经进行了几次尝试,很少有人将多机器人协作定位问题制定为因子图问题,通过图优化来解决。这里,优化目标是以分布式方式最小化估计相对位置估计的误差。我们的新的图论方法来解决这个问题包括三个主要组成部分;(连接)图形的形成,通过过渡模型的扩展,和相对姿态的优化。首先,我们使用连接的机器人之间的接收信号强度来估计相对姿态连接图,指示它们之间的相对范围。然后,我们应用一个运动模型来制定图形扩展和优化它们使用g $^2$ o图形优化作为一个分布式求解器在动态网络。最后,我们从理论上分析了该算法,并通过大量的模拟数值验证其最优性和性能。结果表明,所提出的解决方案的实用性相比,一个国家的最先进的算法在多机器人系统的协作定位。
2022-10-04 cs.MA cs.RO
Graph-based Simultaneous Coverage and Exploration Planning for Fast Multi-robot Search
Carnegie Mellon University(卡内基梅隆大学)
在大型未知环境中,通过并行化工作,使用多机器人舰队可以使搜索操作更加省时。这意味着机器人必须有效地执行协作映射(探索),同时搜索受害者的区域(覆盖范围)。以前的同步绘图和规划技术将这些问题视为单独的,并且没有利用统一方法的可能性。我们提出了一种新的探索覆盖规划器的桥梁映射和搜索域的随机树的增长集植根于通过映射产生的姿态图,以生成感兴趣的点,或任务。此外,重要的是,机器人首先优先考虑高信息任务,通过平衡覆盖和探索,在最短的时间内找到最多的受害者,这是目前的方法没有解决的。为了实现这一目标,我们还提出了一个新的多机器人任务分配器,制定了一个概念的层次信息启发式的时间关键的协作搜索。我们的研究结果表明,我们的算法产生了20%以上的覆盖效率,定义为平均每秒覆盖面积,与现有的最先进的。我们的算法和我们的多机器人搜索堆栈的其余部分是基于ROS和开源
2023-03-03 cs.MA cs.RO cs.SY
Planning Optimal Paths for Multiple Robots on Graphs
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出两种基于多流整数线性规划的模型,分别求解多机器人路径规划的最小最后到达时间和最小总距离问题,算法完备且保证最优解。
2013-01-17 cs.AI cs.RO cs.SY
Neural Graph Evolution: Towards Efficient Automatic Robot Design
University of Toronto(多伦多大学);Vector Institute(矢量研究所);NVIDIA(英伟达)
尽管最近在机器人运动控制方面取得了成功,但机器人的设计在很大程度上依赖于人类工程学。自动机器人设计是一个长期的研究课题,但最近的进展已经放缓,由于大的组合搜索空间和难以评估发现的候选人。为了解决这两个挑战,我们制定了自动机器人设计的图搜索问题,并在图空间进行进化搜索。我们提出了神经图进化(NGE),它对当前候选人进行选择,并迭代地进化新的候选人。与以往的方法不同,NGE使用图神经网络参数化的控制策略,这减少了评估成本的帮助下,从以前评估的设计的技能转移到新的候选人。此外,NGE通过引入模型的不确定性来应用不确定性图变异(GM-UC),通过平衡探索和利用来减少搜索空间。我们表明,NGE显着优于以前的方法的数量级。如实验所示,NGE是第一个可以自动发现运动学上首选的机器人图形结构的算法,例如具有两个对称的扁平侧鳍和尾巴的鱼,或者具有运动前腿和后腿的猎豹。NGE在一台64 CPU核的Amazon EC2机器上一天之内就有效地解决了搜索问题,而不是在数周内使用数千个核心。
2019-06-12 cs.LG cs.NE cs.RO
Large Scale Distributed Collaborative Unlabeled Motion Planning with Graph Policy Gradients
University of Pennsylvania(宾夕法尼亚大学)
本文提出了一种学习方法来解决大量机器人在二维空间中具有运动约束和空间约束的无标号运动问题。为了解决问题的任意动态和约束,我们建议制定的问题作为一个多智能体问题。我们能够证明我们的方法的可扩展性,大量的机器人采用图神经网络(GNN)参数化的机器人政策。GNN通过学习过滤器来降低问题的维度,这些过滤器在本地聚合机器人之间的信息,类似于卷积神经网络如何能够学习图像中的局部特征。此外,通过采用GNN,我们还能够克服大量机器人的训练策略的计算开销,首先训练少量机器人的图过滤器,然后将zero-shot策略转移到大量机器人。我们证明了我们的框架的有效性,通过各种模拟。
2021-02-11 cs.LG cs.RO
Graph-based Robot Localization Using a Graph Neural Network with a Floor Camera and a Feature Rich Industrial Floor
Robotics Research Institute, Section Information Technology, TU Dortmund University(机器人研究 institute,信息科技部,图卢兹多特蒙德大学);Fraunhofer IML(弗劳恩霍夫IML研究所)
针对传统Lidar或QR-code定位方法在复杂环境中的可扩展性和适应性限制,本研究提出一种基于图表示和图卷积网络(GCNs)的机器人定位框架,利用地面相机捕获的特征丰富工业地面特征进行定位,实现0.64cm误差的高精度定位,并在每帧中解决被绑架机器人问题,无需复杂滤波过程。
2025-08-08 cs.CV cs.RO
Multi-Robot Relative Pose Estimation in SE(2) with Observability Analysis: A Comparison of Extended Kalman Filtering and Robust Pose Graph Optimization
Inha University(仁荷大学)
本研究针对多机器人相对位姿估计的可观测性,比较EKF与鲁棒PGO在仿真和硬件实验中的精度,提出不同感知通信结构下的估计方案。
2024-02-04 cs.CV cs.RO cs.SY
Event-Grounding Graph: Unified Spatio-Temporal Scene Graph from Robotic Observations
School of Electrical Engineering, Aalto University(艾尔沃斯大学电气工程学院)
本文提出事件接地图(EGG)框架,通过统一时空场景图实现机器人对复杂时空查询的感知与响应。
2026-02-16 cs.RO
A Graphical Language for Real-Time Critical Robot Commands
University of Augsburg(奥格斯堡大学)
工业机器人的特点是复杂的机械部件和高度发达的实时的【形】控制算法。然而,机器人系统的有效使用受到现有专有编程方法的极大限制。在研究项目SoftRobot中,开发了一种软件架构,该架构能够使用面向对象的通用语言对复杂的实时的【形】关键机器人任务进行编程。在此架构之上,开发了一种图形语言,以简化复杂机器人命令的规范,然后可以将其用作机器人应用程序工作流程的一部分。本文概述了这种图形化语言的设计和实现,并举例说明了它的实用性。
2013-03-27 cs.PL cs.RO cs.SE
Team Assignment for Heterogeneous Multi-Robot Sensor Coverage through Graph Representation Learning
Colorado School of Mines(科罗拉多矿业学院)
传感器覆盖是关键的多机器人问题,通过部署多个机器人来最大限度地检测环境中的事件。大型多机器人系统往往由简单的机器人组成,这些机器人通常没有配备完整的传感器,因此需要具有全面传感能力的团队才能适当覆盖一个区域。机器人还表现出多种形式的关系(例如,通信连接或空间分布),这在为传感器覆盖分配机器人团队时需要考虑。为了解决这个问题,在本文中,我们介绍了一种新的配方的传感器覆盖多机器人系统的异构关系作为一个图形表示学习问题。我们提出了一个原则性的方法,正则化优化的数学框架的基础上学习的统一表示的多机器人系统从图形描述的异构关系,并确定学习表示的底层结构,以分配机器人的团队。为了评估所提出的方法,我们进行了大量的实验模拟多机器人系统和物理多机器人系统作为一个案例研究,表明我们的方法是能够有效地分配团队异构多机器人传感器覆盖。
2021-05-30 cs.MA cs.RO
Kinematic analysis of geared robotic mechanism using matroid and T-T graph methods
Eastern Mediterranean University(东地中海大学)
本文用两种不同的基于有向图的方法对齿轮机器人机构的运动结构进行了研究,并对两种方法进行了比较。其中一种方法是Talpasanu提出的拟阵方法,另一种方法是Uyguroglu和Demirel提出的Tsai-Tokad(T-T)图方法。结果表明,齿轮传动机器人机构的运动学结构可用有向图表示,机构的角速度方程可由有向图系统地得到。这两种方法的优点和缺点相对于彼此证明。
2017-04-03 cs.RO
BDPGO: Balanced Distributed Pose Graph Optimization Framework for Swarm Robotics
Hong Kong University of Science and Technology(香港科技大学)
分布式位姿图优化是群机器人的基本技术之一。目前,DPGO的子问题都是建立在本机姿势上的。我们的验证证明,这种方法可能会引入一个不平衡的大小的子问题在现实世界的场景中,这会影响DPGO优化的速度,并可能增加通信的要求。此外,当群中的机器人发生故障或部分机器人断开连接时,不能保证估计的位姿的一致性。在本文中,我们提出了BDPGO,一个平衡的分布式位姿图优化框架,采用解耦的机器人位姿和DPGO的思想。BDPGO通过引入两阶段图划分方法来构建平衡子问题,以平衡的方式将位姿图中的位姿重新分配到机器人群中。我们的验证表明,BDPGO显着提高了优化速度,而不改变具体的算法DPGO在现实的数据集。更重要的是,我们还验证了BDPGO是鲁棒的机器人故障,在无线网络的变化。BDPGO能够在这些情况下保持估计姿态的一致性。该框架也有可能被应用到其他的协同同时定位与地图构建(CSLAM)的问题,涉及分布式解决的因素图。
2022-09-13 cs.RO
Advanced Situational Graphs for Robot Navigation in Structured Indoor Environments
University of Luxembourg(卢森堡大学);Universidad de Zaragoza(萨拉戈萨大学)
移动机器人从其环境中提取信息,以了解其当前状况,从而实现智能决策和自主任务执行。在我们以前的工作中,我们介绍了情况图(S-图)的概念,它结合在一个单一的优化图,机器人关键帧和几何,语义和拓扑抽象的环境表示。虽然S-Graph是实时构建和优化的,并展示了最先进的结果,但它们仅限于特定的结构化环境,房间和走廊的尺寸需要手动调整。在这项工作中,我们提出了一个高级版本的情景图,(S-Graphs+),由五层可优化图组成,该五层可优化图包括(1)度量层以及自由空间集群的图(2)机器人姿势被注册的关键帧层(3)由所提取的平面墙壁组成的度量语义层(4)约束所提取的平面墙壁的新房间层(5)新颖的地板层包围给定地板层内的房间。S-Graphs+展示了比S-Graphs更好的性能,有效地提取了房间信息,同时提高了机器人的姿态估计,从而以五层环境模型的形式扩展了机器人的态势感知。
2022-11-16 cs.AI cs.RO
Multi-Robot Coverage and Exploration using Spatial Graph Neural Networks
University of Pennsylvania(宾夕法尼亚大学)
多机器人覆盖问题是执行检查或搜索和救援等任务的系统的重要组成部分。我们离散化的覆盖问题,诱导的位置和代表机器人的节点在图中的空间图。然后,我们训练一个图神经网络控制器,它利用任务的空间等方差来模仿专家开环路由解决方案。这种方法可以很好地推广到更大的地图和更大的团队,这对专家来说是棘手的。特别是,该模型有效地推广到十个四旋翼和几十个建筑物的模拟。我们还证明了GNN控制器可以在探索任务中超越基于规划的方法。
2021-07-30 cs.RO
A Novel Graph-based Motion Planner of Multi-Mobile Robot Systems with Formation and Obstacle Constraints
Shanghai Jiao Tong University(上海交通大学);Monash University(莫纳什大学)
多移动机器人系统在许多应用中显示出比单个机器人更大的优势。然而,机器人需要形成所需的任务指定的编队,使可行的运动显着减少。因此,它是具有挑战性的,以确定机器人是否可以通过一个障碍物的环境下形成的约束,特别是在一个障碍物丰富的环境。此外,是否存在机器人的最佳路径?针对这两个问题,本文提出了一种新的基于图的运动规划器。首先建立了多移动机器人系统的工作空间与位形空间的映射关系,在此映射关系中,可以获得满足编队约束和避碰要求的有效位形。然后,通过验证有效配置之间的连通性来生成无向图。采用广度优先搜索方法来回答图上是否存在可行路径的问题。最后,在更新后的图上规划出一条最优路径,同时考虑路径长度和编队偏好的代价。仿真结果表明,该规划器可用于多障碍物环境下编队约束下的机器人最优运动。此外,考虑了不同的约束。
2022-10-07 cs.MA cs.RO
Graph learning in robotics: a survey
Polytechnic of Turin(都灵理工大学)
该综述从机器人学视角梳理图神经架构的基础、进展与应用挑战,总结其在多类机器人任务中的应用,为理解该技术的优劣势及未来研究方向提供参考。
2023-10-06 cs.CV cs.RO
Double Oracle Algorithm for Game-Theoretic Robot Allocation on Graphs
Drexel University(德雷塞尔大学)
针对图上带异质机器人与转移约束的布洛托上校博弈机器人分配问题,提出基于双预言机算法的纳什均衡求解方法,定义循环优势异质机器人转换规则与效用函数并证明正确性,仿真验证了方法在多类场景下的有效性。
2025-03-24 cs.RO
Robot Localization using Situational Graphs and Building Architectural Plans
University of Luxembourg(卢森堡大学);Stugalux Construction S.A.(Stugalux建筑股份公司)
建筑行业的机器人可以通过使用高精度数据捕获来持续监控工作进度,从而降低成本。准确的数据采集需要移动机器人在环境中的精确定位。在本文中,我们提出了我们的新工作机器人定位提取几何,语义以及拓扑信息的建筑计划的形式的墙壁和房间,并创建拓扑和度量语义层的情境图(S-图)在环境中导航之前。当机器人在施工环境中导航时,它使用机器人里程计和从3D激光雷达测量中提取的平面墙壁形式的感官观察,通过利用先前构建的情景图及其可用的几何,语义和拓扑信息,依靠粒子滤波方法来估计其姿态。我们验证了我们的方法在模拟和真实的数据集上捕获的实际正在进行的建筑工地呈现最先进的结果时,将其与传统的基于几何的定位技术进行比较。
2022-09-23 cs.RO
Reasoning with Scene Graphs for Robot Planning under Partial Observability
部分可观测域中的机器人规划是困难的,因为机器人需要同时估计当前状态和规划动作。当域包括许多对象时,关于对象及其关系的推理使得机器人规划更加困难。在本文中,我们开发了一种算法,称为景物分析的机器人规划(SARP),使机器人的原因与视觉上下文信息实现长期目标的不确定性。SARP使用从不同位置捕获的图像构建场景图,这是对象及其关系的因子表示,并使用它们进行推理,以实现部分可观察性下的上下文感知机器人规划。实验已经进行了使用多个3D环境中的模拟,和一个真实的机器人收集的数据集。与标准机器人规划和景物分析方法相比,在目标搜索域中,SARP提高了任务完成的效率和准确性。补充材料可在https://tinyurl.com/sarp22上找到
2022-02-21 cs.AI cs.RO
Situational Graphs for Robot Navigation in Structured Indoor Environments
University of Luxembourg(卢森堡大学);Universidad de Zaragoza(萨拉戈萨大学)
移动机器人应该意识到自己的处境,包括对周围环境的深刻理解以及对自身状态的估计,以便在真实环境中成功地做出智能决策并自主执行任务。3D场景图是一个新兴的研究领域,它提出了在包括几何、语义和关系/拓扑维度的联合模型中表示环境。虽然3D场景图已经与SLAM技术相结合,为机器人提供了情境理解,但仍需要进一步的研究来有效地将它们部署到移动机器人上。为此,我们在本文中提出了一种新的,实时的,在线构建的情境图(S-图),它结合在一个单一的可优化的图形,表示的环境与上述三个维度,连同机器人姿势。我们的方法利用里程读数和从3D LiDAR扫描中提取的平面表面,实时构建和优化三层S-Graph,其中包括(1)机器人跟踪层,其中机器人姿势被注册,(2)具有平面墙壁等特征的度量语义层,以及(3)我们的新颖拓扑层使用更高级别的特征(如走廊和房间)约束平面墙壁。我们的建议不仅展示了国家的最先进的结果姿态估计的机器人,但也有助于与度量语义拓扑模型的环境
2022-07-01 cs.AI cs.RO
Multi-Robot Path Planning Using Medial-Axis-Based Pebble-Graph Embedding
Lightspeed & Quantum Studio, Tencent America(腾讯美国光子工作室群);Technion, Israel Institute of Technology(以色列理工学院);University of Maryland at College Park(马里兰大学帕克分校);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
提出了一种集中式算法,用于在具有多边形边界的连续平面工作空间中进行标记的圆盘形多机器人路径规划。我们的方法自动将连续问题转换为离散的,基于图形的变量,称为卵石运动问题,可以有效地解决。为了构建底层卵石图,我们通过中轴变换识别工作空间中的内切圆,并将机器人组织到每个内切圆内的层中。我们表明,我们的分层卵石图使无碰撞运动,允许所有图形限制MPP实例是可行的。具有连续开始和目标位置的MPP实例然后可以通过局部导航来解决,该局部导航将机器人从图形顶点路由到图形顶点。我们测试了我们的方法在几个环境中的高机器人包装密度(高达$61.6\%$的工作空间)。对于狭窄通道的环境,这种密度违反了最先进的MPP规划者所做的良好分离的假设,而我们的方法实现了$83\%$的平均成功率。
2022-07-19 cs.RO
Dispersion of Mobile Robots in the Global Communication Model
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Indian Statistical Institute(印度统计研究所);Kent State University(肯特州立大学)
图上的分散问题要求最初任意放置在$n$ -节点匿名图的节点上的$k\leq n$机器人自主地重新定位以达到每个机器人在图的不同节点上的配置。这个问题是显着的兴趣,由于它的关系,其他基本的机器人协调问题,如探索,分散,负载平衡等。在本文中,我们考虑分散在{ \em全球通信}模型中的机器人可以与任何其他机器人在图(但图形是未知的机器人)。我们提供了三种新的确定性算法,两个任意图形和任意树,在一个同步设置,所有机器人在每个时间步执行他们的行动。对于任意图形,我们的第一个算法是基于DFS遍历,并保证$O(\min(m,kΔ))$步骤运行时使用$Θ(\log (\max(k,Δ)))$位在每个机器人,其中$m$是边缘的数量和$Δ$是图的最大程度。第二种算法是基于BFS遍历,并保证$O( \max(D,k) Δ(D+Δ))$步骤运行时使用$O(\max(D,Δ\log k))$位在每个机器人,其中$D$是图的直径。用于任意树的算法也基于BFS遍历,并在每个机器人处使用$O(\max(D,Δ\log k))$位来保证$O(D\max(D,k))$步骤运行时。我们的研究结果是显着的改进相比,现有的结果建立在{ \em本地通信}模型,其中一个机器人只能与其他机器人在同一个节点上进行通信。特别是,基于DFS的算法是最佳的内存和时间在常数度任意图。当$k\leq O(D)$ .
2019-09-04 cs.DC cs.DS cs.RO
RoboTAG: End-to-end Robot Configuration Estimation via Topological Alignment Graph
Tsinghua University(清华大学);Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院);Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出RoboTAG,通过结合3D和2D分支,利用拓扑对齐图缓解对标签的依赖,提升机器人姿态估计的鲁棒性。
2026-04-15 cs.CV cs.RO
Efficient and Feasible Robotic Assembly Sequence Planning via Graph Representation Learning
Technical University of Munich(慕尼黑工业大学);German Aerospace Center (DLR)(德国航空航天中心(DLR))
提出基于图的表示和策略架构GRACE,逐步预测双臂机器人装配序列并检测不可行装配,显著提升规划效率与可行性。
2023-07-27 cs.LG cs.RO
Coverage Control in Multi-Robot Systems via Graph Neural Networks
GRASP Laboratory, University of Pennsylvania(宾夕法尼亚大学GRASP实验室);Treeswift;Department of Electrical and Systems Engineering, University of Pennsylvania(宾夕法尼亚大学电气与系统工程系)
本文提出了一种多机器人系统移动传感器覆盖的分散方法。我们考虑的情况下,一个团队的机器人有限的传感范围必须定位自己,以有效地检测感兴趣的事件在一个区域的特点是不同的重要性。为此,我们开发了一个分散控制政策的机器人-实现通过图神经网络-它使用机器人间的通信,利用非本地信息的控制决策。通过显式地共享多跳邻居之间的信息,分散控制器实现了更高的覆盖质量相比,经典的方法,不通信,只利用本地信息提供给每个机器人。仿真实验验证了多跳通信对多机器人覆盖的有效性,并评估了基于学习的控制器的可扩展性和可移植性。
2021-09-30 cs.RO
VSGM -- Enhance robot task understanding ability through visual semantic graph
National Central University(中央大学)
近年来,为机器人开发人工智能引起了人们的广泛关注。机器人的视觉和语言的交互尤其困难。我们认为,给机器人的视觉语义和语言语义的理解将提高推理能力。本文提出了一种新的视觉语义图记忆方法--VSGM(Visual Semantic Graph Memory),它利用语义图来获取更好的视觉图像特征,提高机器人的视觉理解能力。通过提供机器人的先验知识和检测图像中的对象,它预测对象的属性和对象之间的相关性,并将它们转换为基于图形的表示;并将图像中的对象映射为自上而下的自我中心地图。最后,利用图神经网络提取当前任务的重要目标特征。在ALFRED(Action Learning From Realistic Environments and Directives)数据集上验证了本文提出的方法。在这个数据集中,机器人需要按照所需的语言指令执行日常室内家务。将该模型加入到VSGM中后,任务成功率可提高6~ 10%。
2021-05-25 cs.AI cs.CV cs.RO
Generating Actionable Robot Knowledge Bases by Combining 3D Scene Graphs with Robot Ontologies
Institute for Artificial Intelligence, University of Bremen, Germany(人工智能研究所,不莱梅大学);Appliable Linguistics, University of Bremen, Germany(应用语言学,不莱梅大学);Automation & Control Institute, TU Wien, Austria(自动化与控制研究所,维也纳技术大学)
本文提出一种统一场景图模型,将MJCF、URDF和SDF等多种场景描述格式标准化为USD格式,并结合机器人本体论将环境数据转化为知识图谱,以支持实时机器人决策,同时开发了Web可视化工具辅助语义映射。
2025-07-15 cs.RO
A Framework for Collaborative Multi-Robot Mapping using Spectral Graph Wavelets
ETH Zurich(苏黎世联邦理工学院)
大规模未知环境的探索可以受益于部署多个机器人进行协作映射。每个机器人探索环境的一部分,并将机载姿态估计和地图传送到中央服务器,以构建优化的全局多机器人地图。当然,由于机载里程计漂移、故障或退化,机载和服务器估计之间可能出现不一致。映射服务器可以使用诸如机器人间环路闭合检测和多模态映射的计算上昂贵的操作来校正和克服这样的故障情况。然而,如果地图服务器不提供反馈,则各个机器人不会从协作地图中受益。虽然从多机器人地图的服务器更新可以大大减轻机器人任务的战略,大多数现有的工作缺乏他们,由于其相关的计算和带宽相关的成本。出于这一挑战,本文提出了一种新的协作映射框架,使机器人和映射服务器之间的全局映射一致性。特别是,我们提出了图谱分析,在不同的空间尺度上,检测机器人和服务器图之间的结构差异,并生成必要的约束,为个人的机器人姿势图。我们的方法专门找到对应于漂移原点的节点,而不是误差变得太大的节点。我们彻底分析和验证我们提出的框架,使用几个现实世界的多机器人现场部署,我们显示了改善的板载系统高达90%,可以恢复板载估计从本地化故障,甚至从退化的估计。
2022-11-02 cs.RO
Whole-Body Inverse Kinematics with Graph Diffusion
Large Model Algorithm Lab, Huawei(华为大模型算法实验室)
提出GraphDiff-IK,一种结构感知的图扩散逆运动学框架,通过将机器人表示为运动学图并引入分层消息传递和躯干感知条件,实现了多分支机器人的准确稳定IK求解。
2026-05-23 cs.RO
SPARK: Graph-Based Online Semantic Integration System for Robot Task Planning
The University of Tokyo(东京大学)
针对机器人任务执行中语义信息在线更新未被探索的问题,提出SPARK框架,通过从环境线索提取语义信息并在线更新场景图以用于任务规划,增强了机器人在动态环境中执行任务及适应非常规空间线索的能力。
2025-06-25 cs.RO
Autonomous Integration and Improvement of Robotic Assembly using Skill Graph Representations
Department of Electrical and Computer Engineering, Carnegie Mellon University(卡内基梅隆大学电气与计算机工程系);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本文提出基于技能图表示的机器人装配系统自主集成与持续改进框架,通过语义级规划与执行接口实现系统配置、执行、评估与学习的统一,提升装配系统的适应性与可重用性。
2026-03-13 cs.RO
Safe cooperative robot dynamics on graphs
本文首次使用向量场设计,优化和实现反应时间表的安全合作机器人模式的平面图。我们认为自动导引车(AGV)在预定义的路径网络上运行。与局部欧氏位形空间的情况相反,碰撞的正则化不再是局部过程,必须解决位形空间的全局拓扑问题。本调查的重点是实现安全,高效,合作的模式,在最简单的非平凡的例子(一对机器人的Y-网络)的状态-事件分层控制器的装置。
2000-02-24 cs.AI cs.RO
Multi-Objective Graph Heuristic Search for Terrestrial Robot Design
Massachusetts Institute of Technology(麻省理工学院)
我们提出的方法,共同设计刚性机器人的控制和形态(包括离散拓扑结构)在多个目标。以前的工作已经解决了单目标机器人协同设计或多目标控制的问题。然而,联合多目标协同设计问题是非常重要的生成能力,多功能,算法设计的机器人。在这项工作中,我们提出了多目标图启发式搜索,它扩展了单目标图启发式搜索从以前的工作,使一个高效的多目标搜索在组合设计拓扑空间。这种方法的核心,我们引入了一个新的通用的,多目标的启发式功能的基础上图神经网络,能够有效地利用不同的任务之间的权衡学习信息。我们展示了我们的方法,七个地面运动和设计任务的六个组合,包括一个三目标的例子。我们比较了不同方法捕获的Pareto前沿,并证明了我们的多目标图启发式搜索在定量和定性上优于其他技术。
2021-07-13 cs.RO
Redundant Robot Assignment on Graphs with Uncertain Edge Costs
University of Cambridge(剑桥大学)
我们提供了一个框架分配多个机器人的目标位置,当机器人的行程时间是不确定的。我们的前提是,时间是系统中最宝贵的资产。因此,我们利用冗余机器人来对抗不确定性的影响,并最大限度地减少在目的地的平均等待时间。我们将我们的框架应用于表示为图的运输网络,并考虑边缘成本的不确定性(即,旅行时间)。由于解决冗余分配问题是强NP-难的,我们利用我们的问题的结构特性,提出了一个多项式时间的解决方案,可证明的次优界。我们的方法使用分布式聚合函数,这使我们能够有效地(即,增量地)计算分配冗余机器人的有效成本。随机图上的实验结果表明,通过我们的方法部署冗余机器人减少了等待时间在目标位置,当边缘遍历是不确定的。
2018-10-20 cs.MA cs.RO
Graph Neural Networks for Relational Inductive Bias in Vision-based Deep Reinforcement Learning of Robot Control
Technical University of Munich(慕尼黑工业大学)
最先进的强化学习算法主要从数值状态向量或图像中学习策略。这两种方法通常不考虑任务的结构知识,这在机器人应用中特别普遍,如果利用,可以有益于学习。这项工作引入了一种神经网络架构,该架构结合了关系归纳偏差和视觉反馈,以学习机器人操作的有效位置控制策略。我们推导出一个图形表示模型的机械手的物理结构,并结合机器人的内部状态与低维描述的图像编码网络生成的视觉场景。在此基础上,用强化学习训练的图神经网络预测关节速度来控制机器人。我们进一步介绍了一种不对称的方法,训练图像编码器单独的政策,使用监督学习。实验结果表明,对于一个2自由度的平面机器人在一个几何简单的2D环境中,学习表示的视觉场景可以取代访问的显式坐标的到达目标,而不损害的质量和样本效率的政策。我们进一步展示了该模型的能力,以提高样本效率的6自由度的机器人手臂在视觉上逼真的3D环境。
2022-03-11 cs.CV cs.LG cs.RO
Graph Neural Networks for Decentralized Multi-Robot Submodular Action Selection
University of Cambridge(剑桥大学);University of Pennsylvania(宾夕法尼亚大学);University of Maryland(马里兰大学)
分散式多机器人目标跟踪问题要求联合选择动作,例如,运动基元,用于机器人通过本地通信最大限度地提高目标跟踪性能。实际实现的一个主要挑战是使目标跟踪方法可扩展到大规模的问题实例。在这项工作中,我们提出了一个通用的学习架构,以大规模的协作目标跟踪,分散的通信。特别是,我们的学习架构利用图神经网络(GNN)来捕获机器人的本地交互,并学习机器人的分散决策。我们训练的学习模型,通过模仿专家的解决方案,并实现所产生的模型,分散的行动选择只涉及当地的观察和通信。我们展示了我们的GNN为基础的学习方法的性能在一个场景中的主动目标跟踪与大型网络的机器人。仿真结果表明,我们的方法几乎匹配的专家算法的跟踪性能,但运行几个订单更快,多达100个机器人。此外,它的性能略优于分散式贪心算法,但运行速度更快(特别是超过20个机器人)。结果还展示了我们的方法在以前看不见的情况下的泛化能力,例如,更大的环境和更大的机器人网络
2022-09-14 cs.AI cs.LG cs.MA
Optimal Multi-Robot Path Planning on Graphs: Structure and Computational Complexity
Massachusetts Institute of Technology(麻省理工学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们研究了图上的最优多机器人路径规划问题(MPP)在四个不同的最小化目标:总到达时间,最大完工时间(最后到达时间),总距离,最大(单机器人行驶)距离。在结构方面,我们表明,这四个目标的每一对诱导帕累托前沿,并不能总是同时优化。然后,通过从3-SAT的减少,我们进一步建立了每个目标的计算是一个NP-难的任务,提供的证据表明,最佳地解决MPP通常是棘手的。尽管如此,在一篇相关论文中,我们设计了完整的算法和有效的算法来优化所有四个目标,能够在具有挑战性的设置中为数百个机器人最佳或接近最佳地解决MPP。
2015-07-12 cs.RO
GMC-Pos: Graph-Based Multi-Robot Coverage Positioning Method
Singapore University of Technology and Design(新加坡科技设计大学)
提出基于图的多机器人覆盖定位方法(GMC-Pos),通过图生成和节点选择模块,最大化多机器人系统的覆盖面积,在实验中较基准方法提升15.13%至24.88%。
2023-10-18 cs.RO