Open, Reproducible and Trustworthy Robot-Based Experiments with Virtual Labs and Digital-Twin-Based Execution Tracing
AICOR Institute for Artificial Intelligence, University of Bremen（人工智能研究所，不莱梅大学）
本文提出语义执行追踪框架和AICOR虚拟研究大楼（VRB）云平台，通过记录语义标注的机器人信念状态并支持大规模任务共享与验证，实现开放、可复现且可信的机器人自主科学实验。
2025-08-15 cs.AI cs.RO
Model-Based AI planning and Execution Systems for Robotics
Ben Gurion University of the Negev（内盖夫本-古里安大学）
本文综述了面向机器人任务级控制的基于模型的AI规划与执行系统，梳理现有系统的设计选择、解决方案及未来发展方向。
2025-05-07 cs.AI cs.RO
SEAL: Semantic Frame Execution And Localization for Perceiving Afforded Robot Actions
University of Michigan（密歇根大学）
机器人移动操作的最新进展已经刺激了机器人的操作环境从受限的机器人环境扩展到大规模的人类环境。为了有效地完成这些空间中的任务，机器人必须能够感知、推理和执行各种启示，远远超出简单的拾取和放置。我们认为语义框架的概念为机器人动作提供了一种令人信服的表示，这种表示适合于以动作为中心的感知、任务级推理、动作级执行以及与语言的集成。语义框架是语言学界的产物，它定义了成功执行由动词短语引起的动作所必需的必要元素、前置条件和后置条件以及一组顺序机器人动作。在这项工作中，我们扩展了机器人操作动作的语义框架表示，并引入了感知负担的机器人动作（SEAL）作为一个图形模型的语义框架执行和本地化的问题。对于SEAL问题，我们描述了我们的非参数语义框架映射（SeFM）算法，用于保持信念在一个有限的语义框架的位置提供给机器人的行动。我们发现，语言模型，如GPT-3是不够的，以解决广义的任务执行所涵盖的SEAL制定和SeFM提供机器人高效的搜索策略和长期记忆时，需要在建筑规模的环境中操作。
2023-03-24 cs.AI cs.RO
Monitoring weeder robots and anticipating their functioning by using advanced topological data analysis
ESI Group（ESI集团）；VITIROVER（VITIROVER公司）；Universidad Cardenal Herrera-CEU（CEU红衣主教埃雷拉大学）
本文旨在分析除草机自主机器人在操作中遵循的复杂轨迹的拓扑内容。我们将证明，这些轨迹的拓扑描述符的机器人环境，以及由机器人的状态，相对于维护操作的影响。拓扑数据分析将用于基于同源持久性提取轨迹描述符。然后，将应用适当的度量，以便比较轨迹的拓扑表示，对它们进行分类或进行有效的模式识别。
2021-08-19 cs.AI cs.RO
Towards Robust One-shot Task Execution using Knowledge Graph Embeddings
Georgia Institute of Technology（佐治亚理工学院）
要求对任务计划进行多次演示给机器人的最终用户带来了负担。然而，从单个最终用户演示中稳健地执行任务计划是机器人技术中的一个持续挑战。我们解决的问题，一次性任务执行，其中机器人必须概括一个单一的示范或原型的例子，一个新的执行环境的任务计划。我们的方法将任务计划与领域知识相结合，以推断新的执行环境的任务计划组成部分。我们的实验评估表明，我们的知识表示，使更相关的概括，导致显着更高的成功率超过测试基线。我们在一个物理平台上验证了该方法，这导致初始任务计划成功推广到50个执行环境中的38个，其中包括自主机器人操作造成的错误。
2021-05-10 cs.AI cs.RO
HelpMeOut: A Neuropsychology-Grounded Benchmark for Error-Aware Monitoring of Household Task Execution
University of Auckland（奥克兰大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
研究人员提出HelpMeOut基准，针对现有具身家庭基准未考虑认知障碍者等的结构化执行错误的问题，构建含9类错误的20000个活动片段，评估多种基线方法发现其作为错误监控器表现差，该基准可作为错误感知辅助智能体的测试平台。
2026-10-14 cs.AI cs.RO cs.SC
A Comparison of Prompt Engineering Techniques for Task Planning and Execution in Service Robotics
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所）；Center for Robotics（机器人中心）；Computer Science Institute VI（计算机科学第六研究所）；Autonomous Intelligent Systems group（自主智能系统组）
本研究在服务机器人任务规划与执行中，系统比较了多种提示工程技术及其组合，通过仿真任务评估最先进模型的完成准确率与执行时间。
2024-11-06 cs.AI cs.RO
A Road-map to Robot Task Execution with the Functional Object-Oriented Network
Technical University of Munich（慕尼黑工业大学）；University of South Florida（南佛罗里达大学）
在联合对象-动作表示方面的工作之后，引入了功能面向对象网络（FOON）作为机器人的知识图谱表示。FOON采用二分图的形式，包含符号或高级信息，这些信息与机器人对其环境和任务的理解有关，反映了人类对动作的理解。在这项工作中，我们概述了未来的发展路线图FOON和它的应用在机器人系统的任务规划以及知识获取从示范。我们提出了初步的想法，以展示如何在现实世界的场景中创建一个FOON与机器人和人类教师的方式，可以共同增强现有的知识在FOON和教机器人的技能，它需要复制演示的动作，并解决给定的操作问题。
2021-06-01 cs.AI cs.RO
Holistic Construction Automation with Modular Robots: From High-Level Task Specification to Execution
Technical University of Munich, Department of Computer Engineering（慕尼黑技术大学计算机工程系）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Fraunhofer Italia Research, Robotics and Intelligent Systems Engineering（弗劳恩霍夫意大利研究所机器人与智能系统工程）
针对建筑现场自动化挑战，提出基于移动模块化可重构机器人的整体框架，集成BIM自动优化机器人形态并执行任务，仿真与实验验证钻孔等自主执行。
2025-07-08 cs.AI cs.HC cs.RO
Interactive Execution Monitoring of Agent Teams
Artificial Intelligence Center, SRI International（SRI国际公司人工智能中心）
有一个越来越多的需要自动化的支持人类监测活动的分布式团队的合作代理，人类和机器。我们描述了这个问题所带来的独立于域的挑战，并描述了域的属性如何影响挑战及其解决方案。我们将专注于动态的、数据丰富的领域，在这些领域中，人类最终对团队行为负责。因此，自动化辅助应该交互地支持人类做出有效和及时的决策。我们提出了一个域独立的分类的警报类型的计划为基础的监测系统可能会向用户发出，其中每种类型通常需要不同的监测技术。我们描述了一个监控框架，用于集成许多特定于域和特定于任务的监控技术，然后使用警报值的概念来避免操作员过载。我们使用这个框架来描述一个执行监控方法，我们已经用来实现执行助理（EA）在两个不同的动态，数据丰富，现实世界的域，以协助人类在监控团队行为。一个域（陆军小单位作战）有数百个移动的、地理上分布的代理，是人类、机器人和车辆的组合。另一个领域（无人驾驶地面和空中车辆团队）有少数合作机器人。这两个领域都涉及附近不可预测的对手。我们的方法为每个特定的任务、计划和情况以及用户偏好定制监控行为。当报告的事件威胁到计划执行或对团队成员造成人身威胁时，我们的EA会向人类控制器发出警报。及时生成警报，而不会使用户淹没在过多的警报中（根据领域专家的判断，不到10%的警报是不需要的）。
2011-06-22 cs.AI cs.MA
VerifyLLM: LLM-Based Pre-Execution Task Plan Verification for Robots
MIPT（莫斯科理工学院）；Pyatigorsk State University（皮亚季戈尔斯克州立大学）；AIRI（AI研究机构）
针对机器人任务规划可靠性挑战，提出基于LLM的执行前验证架构，通过自然语言转LTL及动作序列分析评估逻辑连贯性，经多复杂度数据集测试适用于家庭任务，提升规划可靠性并开源代码。
2025-07-07 cs.AI cs.RO
An LLM-Driven Closed-Loop Autonomous Learning Framework for Robots Facing Uncovered Tasks in Open Environments
School of Computer Science, Chengdu University of Information Technology（成都信息学院计算机学院）
本文提出一种基于大语言模型的闭环自主学习框架，使机器人在开放环境中自主处理未覆盖任务，通过闭环学习减少对大语言模型的依赖，提升任务执行效率和本地知识库的利用率。
2026-04-24 cs.AI cs.RO
From Discrete Plans to Real-World Execution: A World-Model-Driven Framework for Execution-Aware Multi-Agent Path Finding
IEEE Publication Technology Group（IEEE出版技术组）
提出ExecTimeNet世界模型预测离散MAPF方案在物理机器人上的执行状态，并基于此构建REMAP框架和ESADG优化方法，在仿真和实物实验中分别减少高达21%和15.3%的执行延迟。
2026-06-23 cs.AI cs.RO
Overview: A Hierarchical Framework for Plan Generation and Execution in Multi-Robot Systems
University of Southern California（南加州大学）
作者提出了一个概述的分层框架，协调任务和运动级操作的多机器人系统。他们的框架是基于使用简单的时间网络的想法，同时原因的优先/因果约束所需的任务级的协调和简单的时间约束，需要考虑到一些运动学约束的机器人。在计划生成阶段，该框架提供了一个计算可扩展的方法来生成计划，实现高层次的任务组的机器人，并考虑到他们的一些运动约束。在计划执行阶段，该框架提供了一种方法，用于吸收不完美的计划执行，以避免在许多情况下耗时的重新规划。作者使用多机器人路径规划问题作为案例研究，提出了他们的框架背后的多机器人系统的长期自主性的关键思想。
2018-03-30 cs.AI cs.MA cs.RO
Synthesis and Execution of Communicative Robotic Movements with Generative Adversarial Networks
University of Genoa（热那亚大学）；Italian Institute of Technology（意大利技术研究院）
对象操作是我们每天都在进行的自然活动。人类如何处理物体不仅可以传达行为的故意性，或者我们操作的环境的关键方面，而且还可以传达所涉及的物体的属性，而不需要任何明确的语言描述。由于人类智能包括阅读上下文的能力，因此允许机器人执行直观地传达此类信息的操作将大大促进协作。在这项工作中，我们专注于如何在两个不同的机器人平台上传输相同的运动学调制，人类在操纵精致的物体时采用，旨在赋予机器人在运动中表现出谨慎的能力。我们选择调节机器人末端执行器所采用的速度分布，这是受到人类在运输具有不同特征的物体时所做的事情的启发。我们利用一种新的生成对抗网络架构，用人类运动学的例子进行训练，来概括它们，并生成新的和有意义的速度曲线，无论是与小心或不小心的态度。这种方法将允许下一代机器人根据感知的上下文选择最合适的运动风格，并自主生成它们的运动动作执行。
2022-03-31 cs.AI cs.RO
Inference of Human's Observation Strategy for Monitoring Robot's Behavior based on a Game-Theoretic Model of Trust
Arizona State University（亚利桑那州立大学）；WS AI Labs（WS人工智能实验室）
我们考虑的场景是，当人类监督者没有监视它时，可能不知道人类确切期望的工人机器人可能有动机偏离首选计划（例如安全但昂贵）。另一方面，对机器人行为的持续监视对于人类来说通常是困难的，因为它花费了他们宝贵的资源（例如，时间、认知过载等）。因此，为了优化监控成本，同时确保机器人遵循{ \em安全}行为，并帮助人类处理可能的不安全机器人，我们在信任的博弈论框架中建模这个问题。在人类最初不信任机器人的情况下，纯策略纳什均衡为人类提供了一个有用的策略。不幸的是，我们制定的游戏往往缺乏一个纯策略纳什均衡。因此，我们定义的概念的信任边界的混合策略空间的人，并表明，它有助于发现最佳的监控策略。我们进行人类受试者研究，证明（1）需要提出最佳监测策略，以及（2）使用我们的方法建议的策略的好处。
2022-04-11 cs.AI cs.GT
Instruct2Act: From Human Instruction to Actions Sequencing and Execution via Robot Action Network for Robotic Manipulation
Indian Institute of Technology Mandi（印度理工学院曼迪分校）
Instruct2Act通过机器人操作网络实现从人类指令到动作序列的解析与执行，达到91.5%的子动作预测准确率和90%的任务成功率。
2026-02-10 cs.AI cs.RO
VeriGraph: Scene Graphs for Execution Verifiable Robot Planning
University of Maryland, College Park, MD USA（马里兰大学学院公园分校）
VeriGraph通过整合视觉语言模型和场景图，提升机器人任务规划的可行性验证与修正，显著提高任务完成率。
2026-04-16 cs.AI cs.RO
A Glimpse into Long-term Physical Coexistence with Intelligent Robots
Astribot Team（Astribot团队）
研究与智能机器人长期物理共存问题，提出基于机器人网关抽象的多机器人代理PHILIA，解耦代理推理与机器人执行，实现即插即用集成，在Astribot S1机器人上验证架构，展示用例，强调人机交互流程对有效协助的重要性。
2026-07-14 cs.AI cs.RO
Learning needle insertion from sample task executions
University of Lincoln（林肯大学）
自动化机器人任务，例如，机器人的机器人识别可能非常复杂和耗时。学习一个任务模型来自主执行任务是非常宝贵的，这使得机器人手术技术能够为更广泛的社区所用。机器人手术的数据可以很容易地记录，其中收集的数据可以用于学习任务模型。这将减少机器人手术的时间和成本，其中外科医生可以监督机器人操作或给出高级命令，而不是对工具的低级控制。我们提供了一个在软组织中使用两个臂进行针插入的数据集，其中第1臂将针插入组织中，第2臂主动操纵软组织，以确保期望的和实际的退出点相同。这在实际手术中很重要，因为没有主动操纵组织的缝合可能会导致缝合失败，因为缝合可能无法抓住足够的组织来抵抗施加在缝合上的力。我们提出了一个针插入数据集，包括60个成功的试验记录的3对立体相机。此外，我们从演示中提出了深度机器人学习，它通过查看过去时间步的视频来预测机器人在t之后的时间步的期望状态（在t处采取的最佳动作产生），即任务执行的n步时间历史，其中N是内存时间窗口。实验结果表明，我们提出的深度模型架构优于现有的方法。虽然该解决方案还没有准备好部署在一个真正的机器人，结果表明，未来的发展，真正的机器人部署的可能性。
2021-03-14 cs.AI cs.RO
Towards Bridging the Gap between High-Level Reasoning and Execution on Robots
RWTH Aachen University（亚琛工业大学）
本文针对机器人高层抽象推理与底层复杂执行之间的差距，提出多种方法以处理执行阶段的时序约束与噪声问题，弥合两者间的鸿沟。
2023-12-30 cs.AI
CREST: Constraint-Release Execution for Multi-Robot Warehouse Shelf Rearrangement
Simon Fraser University（西蒙菲莎大学）；HEC Montréal（蒙特利尔高等商学院）；Purdue University（普渡大学）
CREST通过在执行过程中主动释放轨迹约束，提升了多机器人仓库货架重排的连续性与效率，实验表明其在减少机器人行驶时间、总执行时间和货架切换次数方面表现优异。
2026-03-27 cs.AI cs.MA cs.RO
A Real-Time Rescheduling Algorithm for Multi-robot Plan Execution
Carnegie Mellon University（卡内基梅隆大学）；Monash University（蒙纳士大学）
针对多智能体路径寻找中执行延迟引发的重规划问题，提出A*风格的Switchable-Edge Search (SES)算法以寻找最优通过顺序，理论证明其最优性且仿真显示在大型问题上比基线快达4倍。
2024-03-26 cs.AI cs.MA cs.RO
Millimeter Wave Radar-based Human Activity Recognition for Healthcare Monitoring Robot
University of Technology Sydney（悉尼科技大学）；University of Nottingham Ningbo China（宁波诺丁汉大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；University of New South Wales（新南威尔士大学）；RMIT University（皇家墨尔本理工大学）
本文提出RobHAR，一种机器人搭载的毫米波雷达系统，结合轻量级PointNet、双向LSTM及HMM-CTC过渡优化策略，实现实时连续人体活动识别，并在三个数据集上验证其优于现有方法。
2024-05-03 cs.AI cs.RO eess.SP
Cooperative Informative Sensing for Monitoring Dynamic Indoor Environments via Multi-Agent Reinforcement Learning
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）；University of California, Riverside（加州大学河滨分校）
本文提出利用多智能体强化学习进行协作信息感知，以提高动态室内环境监控的准确性，优于传统覆盖和学习无关的多机器人方法。
2026-04-25 cs.AI cs.MA cs.RO
Integrating Planning, Execution and Monitoring in the presence of Open World Novelties: Case Study of an Open World Monopoly Solver
Arizona State University（亚利桑那州立大学）；Tufts University（塔夫茨大学）
垄断游戏是一个对抗性的多智能体领域，除了成为最后一个玩家的溶剂之外，没有固定的目标，有一些有用的子目标，如垄断属性集，并开发它们。掷骰子、抽牌和对手的策略也有很多随机性。这种不可预测性变得更糟时，未知的新奇添加在游戏过程中。考虑到这些挑战，垄断是DARPA-SAILON计划选择的测试平台之一，该计划旨在创建能够检测和适应新奇事物的代理。为了处理游戏的复杂性，我们开发了一个代理，它避开了完整的计划，并随着游戏的发展在线调整它的策略。在SAILON项目的最新独立评估中，我们的代理在大多数指标上都是表现最好的代理。我们在此介绍我们的方法和结果。
2021-08-09 cs.AI
Outcome-Oriented Prescriptive Process Monitoring Based on Temporal Logic Patterns
Free University of Bozen-Bolzano（博尔扎诺自由大学）；University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Visioncraft OÜ
本文提出一种基于LTLf时序模式的面向结果处方式流程监控系统，通过机器学习学习时序关系与结果的映射，在运行时推荐灵活且可靠的干预模式，并在22个真实事件日志基准上评估。
2023-08-21 cs.AI cs.LO
Monitoring Teams by Overhearing: A Multi-Agent Plan-Recognition Approach
Bar Ilan University（巴伊兰大学）；University of Southern California（南加州大学）
近年来，人们越来越需要在线监测合作代理的团队，例如，用于可视化或性能跟踪。然而，在监视部署的团队时，我们通常不能依赖代理始终将其状态传达给监视系统。本文提出了一种非侵入性的方法来监测“偷听”，其中被监测的团队的状态推断（通过计划识别）从团队成员的日常通信，交换作为他们的协调任务执行的一部分，并观察（偷听）的监测系统。这种方法的主要挑战包括苛刻的运行时监控要求，观测的稀缺性（增加监控的不确定性），以及需要扩大监控以解决潜在的大型团队。为了解决这些问题，我们提出了一套互补的新技术，利用被监控团队的社会结构和程序的知识：（i）一个有效的概率计划识别算法，非常适合于将通信作为观察来处理;（ii）一种利用团队的社会行为知识来预测执行过程中未来观察的方法（减少监测不确定性）;以及（iii）监测算法，其以表达性换取可扩展性，仅表示某些有用的监测假设，但允许在单个连贯实体中表示任何数量的代理及其不同活动。我们提出了一个实证评估这些技术，在组合和分开，在监测部署的代理团队，运行在机器上物理分布在全国各地，并从事复杂的，动态的任务执行。我们还比较了这些技术的人类专家和新手监视器的性能，并表明，所提出的技术能够在人类专家水平的监测，尽管任务的难度。
2011-06-09 cs.AI
