本文提出一种结合基础模型推理与状态机执行的机器人系统，用于 RoboCup@home 的 GPSR 任务，实现开放词汇物体检测与口语指令执行，并在 Japan Open 2022 中以 130 分夺冠。
摘要：
本文描述了一种在 RoboCup@home 中实现能够执行通用服务机器人（GPSR）任务的机器人系统的策略。GPSR 任务是指真实机器人听取各种口语指令，并在日常生活环境中执行任务。为实现该任务，我们集成了基于基础模型的推理系统和一个状态机任务执行器。基础模型负责规划任务并以开放词汇检测物体，状态机任务执行器管理机器人的每个动作。该系统运行稳定，我们在 RoboCup@home Japan Open 2022 的 GPSR 项目中以 130 分获得第一名，领先其他队伍超过 85 分。
英文摘要：
This paper describes a strategy for implementing a robotic system capable of performing General Purpose Service Robot (GPSR) tasks in robocup@home. The GPSR task is that a real robot hears a variety of commands in spoken language and executes a task in a daily life environment. To achieve the task, we integrate foundation models based inference system and a state machine task executable. The foundation models plan the task and detect objects with open vocabulary, and a state machine task executable manages each robot's actions. This system works stable, and we took first place in the RoboCup@home Japan Open 2022's GPSR with 130 points, more than 85 points ahead of the other teams.
Making Robots Play by the Rules: The ROS 2 CLIPS-Executive
Knowledge-Based Systems Group, RWTH Aachen University（基于知识的系统组，亚琛RWTH大学）；Chair of Machine Learning and Reasoning (i6), RWTH Aachen University（机器学习与推理（i6）教授席位，亚琛RWTH大学）；MASCOR Institute, FH Aachen University of Applied Sciences（MASCOR研究所，亚琛应用科学大学）
Reflective VLM Planning for Dual-Arm Desktop Cleaning: Bridging Open-Vocabulary Perception and Precise Manipulation
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Department of Electrical and Computer Engineering, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程系）；College of Aeronautics & Engineering, Kent State University（肯特州立大学航空与工程学院）
Open-Vocabulary Spatio-Temporal Scene Graph for Robot Perception and Teleoperation Planning
HI-Robot Lab, School of Automation Science and Engineering, South China University of Technology（华南理工大学自动化科学与工程学院）；Institute of AI Industries, Chinese Academy of Science（中国科学院人工智能产业研究所）；School of Computer Science, Central China Normal University（中央财经大学计算机科学学院）；School of Computer Science and Informatics, University of Liverpool（利物浦大学计算机科学与信息学院）
ConceptGraphs: Open-Vocabulary 3D Scene Graphs for Perception and Planning
Université de Montréal（蒙特利尔大学）；JHU APL（约翰斯·霍普金斯大学应用物理实验室）；JHU（约翰斯·霍普金斯大学）；UMass（马萨诸塞大学）；DEVCOM ARL（美国陆军作战能力发展司令部陆军研究实验室）；MIT（麻省理工学院）；University of Toronto（多伦多大学）
PerceptTwin: Semantic Scene Reconstruction for Iterative LLM Planning and Verification
Department of Computer Science and Operations Research, Université de Montréal（蒙特利尔大学计算机科学与运筹学系）；Mila - Quebec AI Institute（魁北克人工智能研究所）；CIFAR AI Chair（CIFAR人工智能主席）
G-DRAGON: Geospatial Reasoning and Dynamic Planning for Retrieval-Augmented Outdoor Navigation
Spatial AI & Robotics Lab（空间人工智能与机器人实验室）；University at Buffalo（布法罗大学）；School of Future Technology（未来技术学院）；Shanghai University（上海大学）；University of Chinese Academy of Sciences（中国科学院大学）
FindAnything: Open-Vocabulary and Object-Centric Mapping for Robot Exploration in Any Environment
Technical University of Munich（技术大学慕尼黑）；School of Computation, Information and Technology（计算、信息与技术学院）；ETH Zurich（苏黎世联邦理工学院）；Department of Computing（计算学院）；Imperial College London（伦敦帝国理工学院）；University of Patras（帕特拉大学）；Munich Institute of Robotics and Machine Intelligence (MIRMI)（慕尼黑机器人与机器智能研究所）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
Jet Propulsion Laboratory（喷气推进实验室）；California Institute of Technology（加州理工学院）；Swiss Federal Institute of Technology（瑞士联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）；FieldAI Inc.（FieldAI公司）；Stanford University（斯坦福大学）；University of California Berkeley（加州大学伯克利分校）
Multi-robot autonomous 3D reconstruction using Gaussian splatting with Semantic guidance
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）；College of Information Engineering, Zhejiang University of Technology（浙江工业大学信息工程学院）
Shaken, Not Stirred: A Novel Dataset for Visual Understanding of Glasses in Human-Robot Bartending Tasks
Department of Applied Informatics, Faculty of Mathematics, Physics and Informatics, Comenius University（应用信息学院，数学物理学院，科门ius大学）；Knowledge Technology Group, Department of Informatics, University of Hamburg（知识技术组，信息学院，汉堡大学）
