A ROS2 Interface for Universal Robots Collaborative Manipulators Based on ur_rtde
Department of Engineering and Architecture, University of Parma（工程与建筑学院，帕尔马大学）
本文提出基于ur_rtde的ROS2驱动程序，实现Universal Robots机械臂的高级命令和自定义插件功能，提供开源解决方案。
2025-11-21 cs.RO cs.SE
Leveraging Untrustworthy Commands for Multi-Robot Coordination in Unpredictable Environments: A Bandit Submodular Maximization Approach
University of Michigan（密歇根大学）；Boston University（波士顿大学）
针对不可预测环境中不可信指令下的多机器人协调问题，提出MetaBSG算法，通过元学习在指令与BSG算法间选择，实现渐近最优性能并鲁棒化指令，在多目标跟踪模拟中验证。
2023-09-28 cs.AI cs.MA cs.RO
Robust and Context-Aware Real-Time Collaborative Robot Handling via Dynamic Gesture Commands
Carnegie Mellon University（卡内基梅隆大学）
本文提出条件协作搬运过程（CCHP），通过从人人协作中学习上下文感知策略，解决动态手势指令下实时协作机器人搬运中人类行为异质性和感知随机性问题，在Kinova Gen3装配任务中显著降低人类工作量并提升协作流畅性。
2023-04-12 cs.RO
KitRobot: A multi-platform graphical programming IDE to program mini-robotic agents
IRISA（法国国家信息与自动化研究所雷恩布列塔尼大西洋研究中心）；University of South Brittany（南布列塔尼大学）；The Islamia University of Bahawalpur（巴哈瓦尔布尔伊斯兰大学）；Koc University（科奇大学）
微型机器人代理的图形编程IDE的分析、设计和开发允许新手用户通过图形拖放界面对机器人代理进行编程，而不知道中间程序设计语言的语法和语义。我们的工作从定义中间程序设计语言的语法和语义开始。主要的工作是定义这种语言的语法。使用图形化的拖放界面对微型机器人进行编程，为新手用户提供了一个用户友好的界面。用户可以通过拖放程序部分来图形化地编程，而不需要中间程序设计语言的专业知识。IDE非常灵活，因为它使用XML技术来存储程序对象（即循环，条件）和机器人对象（即传感器，执行器）。xml技术的使用允许在不修改底层设计和编程的情况下进行重大更改和更新接口。
2015-01-07 cs.HC cs.PL cs.RO
Translating Videos to Commands for Robotic Manipulation with Deep Recurrent Neural Networks
Istituto Italiano di Tecnologia（意大利理工学院）；The University of Manchester（曼彻斯特大学）
我们提出了一种使用深度循环神经网络（RNN）将视频转换为机器人操作命令的新方法。我们的框架首先使用深度卷积神经网络（CNN）从输入视频帧中提取深度特征。然后，使用具有编码器-解码器架构的两个RNN层来编码视觉特征，并顺序地生成输出单词作为命令。我们证明，通过允许两个RNN层之间的平滑事务并使用最先进的特征提取器，可以提高翻译精度。在我们新的具有挑战性的数据集上的实验结果表明，我们的方法比最近的方法有相当大的优势。此外，我们结合建议的翻译模块与视觉和规划系统，让机器人执行各种操作任务。最后，我们证明了我们的框架上的全尺寸的人形机器人步行人的有效性。
2017-10-01 cs.CV cs.RO
The Conversation is the Command: Interacting with Real-World Autonomous Robot Through Natural Language
Montanuniversität（莱奥本矿业大学）
本文提出协同利用LLMs和VLMs，通过自然语言对话实现人与自主机器人的自然交互，在真实环境中达到99.13%的指令识别准确率和97.96%的执行成功率。
2024-01-22 cs.HC cs.RO
Neural Semantic Parsing with Anonymization for Command Understanding in General-Purpose Service Robots
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）
服务机器人被设想为应用户的要求承担各种任务。语义解析是将给予这些机器人的自然语言命令转换为可执行表示的一种方式。然而，创建语义解析器的方法要么依赖于大量的数据，要么依赖于工程化的词汇特征和解析规则，这限制了它们在机器人技术中的应用。为了解决这一挑战，我们提出了一种方法，利用神经语义解析方法与上下文词嵌入相结合，使训练的语义解析器很少的数据，没有特定领域的解析器工程。我们的方法的关键是使用匿名的目标表示，这是更容易学习的解析器。在大多数情况下，这种简化的表示可以简单地转换为可执行格式，而在其他情况下，解析可以通过与用户的进一步交互来完成。我们在RoboCup@Home通用服务机器人任务的背景下评估这种方法，在那里我们收集了标准化命令生成器命令的释义版本的语料库。我们的研究结果表明，神经语义解析器可以预测看不见的命令的逻辑形式，准确率为89%。我们发布我们的数据和模型的细节，以鼓励RoboCup和服务机器人社区的进一步发展。
2019-07-02 cs.CL cs.RO
Pre-Execution Safety Gate & Task Safety Contracts for LLM-Controlled Robot Systems
SMART Laboratory, Department of Computer and Information Technology, Purdue University（普渡大学计算机与信息技术系SMART实验室）；Department of Information and Telecommunication Engineering, Incheon National University（仁川国立大学信息与通信工程系）
本文提出SafeGate和Task Safety Contracts，通过神经符号安全架构和约束检查，提升LLM控制机器人系统的安全性，减少缺陷命令的执行。
2026-04-07 cs.RO
LLM-Driven Augmented Reality Puppeteer: Controller-Free Voice-Commanded Robot Teleoperation
KTH Royal Institute of Technology（瑞典皇家理工学院）
针对机器人遥操作的控制器依赖问题，本研究提出LLM驱动的无控制器语音指令AR木偶操纵系统，通过操控虚拟对应物实现实体机器人遥操作，经初步演示验证其功能，可提升易用性并降低安全风险。
2025-02-13 cs.HC cs.RO
V2CNet: A Deep Learning Framework to Translate Videos to Commands for Robotic Manipulation
Istituto Italiano di Tecnologia（意大利理工学院）；Australian Centre for Robotic Vision, The University of Adelaide（阿德莱德大学澳大利亚机器人视觉中心）
我们提出了V2 CNet，这是一个新的深度学习框架，可以自动将演示视频转换为可以直接用于机器人应用程序的命令。我们的V2 CNet有两个分支，旨在以细粒度的方式理解演示视频。第一个分支具有编码器-解码器架构来编码视觉特征并顺序地生成输出单词作为命令，而第二个分支使用时间卷积网络（TCN）来学习细粒度动作。通过联合训练这两个分支，网络能够对命令的顺序信息进行建模，同时有效地编码细粒度的动作。在我们新的大规模数据集上的实验结果表明，V2 CNet的性能大大优于最近的最先进的方法，而其输出可以应用于真正的机器人应用。将提供源代码和经过训练的模型。
2019-03-23 cs.CV cs.RO
A deep learning approach for understanding natural language commands for mobile service robots
Institute for Systems and Robotics（系统与机器人研究所）
使用自然语言给机器人指令是具有挑战性的，因为自然语言理解在很大程度上仍然是一个悬而未决的问题。在本文中，我们通过将注意力限制在建模为一个动作的命令加上参数（也称为插槽）来解决这个问题。对于动作检测（也称为意图检测）和槽填充，评估了递归神经网络和长短期记忆（LSTM）网络的各种架构，LSTM实现了卓越的准确性。由于所请求的动作可能不在机器人的能力范围内，因此使用支持向量机（SVM）来确定其是否在机器人的能力范围内。对于神经网络的输入，比较了几种词嵌入算法。最后，为了在机器人中实现该系统，使用SMACH状态机创建ROS包。然后，在国内服务机器人的背景下，使用众所周知的数据集和基准评估所提出的系统。
2018-07-09 cs.CL cs.RO
Learn from Human Teams: a Probabilistic Solution to Real-Time Collaborative Robot Handling with Dynamic Gesture Commands
Carnegie Mellon University（卡内基梅隆大学）
我们研究实时的【形】协作机器人（cobot）处理，在那里的cobot操纵下的人类命令的工件。当人类直接处理工件有风险时，这是有用的。然而，很难使合作机器人在可能的操作中既易于指挥又灵活。在这项工作中，我们提出了一个实时的【形】协作机器人处理（RTCoHand）框架，允许通过用户自定义的动态手势控制cobot。这是困难的，由于用户之间的变化，人类运动的不确定性，和嘈杂的人类输入。我们将任务建模为概率生成过程，称为条件协作处理过程（CCHP），并从人与人的协作中学习。我们全面评估了CCHP的适应性和鲁棒性，并将我们的方法应用于Kinova Gen3机器人手臂的实时的【形】cobot处理任务。我们实现了与经验丰富的用户和新用户的无缝人机协作。与经典控制器相比，RTCoHand允许更复杂的操纵和更低的用户认知负担。它还消除了试错的需要，使其在安全关键任务中具有优势。
2021-12-11 cs.HC cs.RO
HMM-based phoneme speech recognition system for control and command of industrial robots
语音识别是一项重要的技术，它可以帮助我们开发一个通过语音的自然语言接口，用于人机交互。它允许计算机采取的口头指令，解释它，并产生文本it. In本文中，我们提出了一个基于音素的语音识别系统来控制工业机器人。在减少机器人操作员控制和命令机器人的努力方面，语音识别已成为流行的接口之一。本文旨在探讨线性预测编码技术的潜力，以开发一个稳定和鲁棒的音素语音识别系统的机器人应用。我们的系统分为三个部分：麦克风阵列，语音模块和3-DOF机器人手臂。为了验证我们的方法，我们已经进行了测试，简单和复杂的句子，各种机器人活动，如操纵立方体和拾取和放置任务。此外，我们还分析了测试结果，以纠正我们的方法中的问题和局限性。本文介绍了所有的测试结果，我们已经取得了通过对我们的项目进行实验。
2020-06-03 cs.HC cs.RO
Precise Robot Command Understanding Using Grammar-Constrained Large Language Models
Industrial and Manufacturing Engineering, Florida State University（佛罗里达州立大学工业与制造工程系）
本文提出一种结合语法驱动NLU系统和微调LLM的混合模型，通过两阶段过程确保生成的指令在机器人可读的JSON格式中有效，提升工业人机协作的安全性和效率。
2026-04-05 cs.CL cs.RO
SINGULAB - A Graphical user Interface for the Singularity Analysis of Parallel Robots based on Grassmann-Cayley Algebra
Technion – Israel Institute of Technology（以色列理工学院）；Institut de Recherche en Communications et Cybernétique de Nantes（南特通信与控制研究所）
本文介绍了SinguLab，一个图形化的用户界面的奇异性分析的并联机器人。该算法基于Grassmann-Cayley代数。所提出的工具是交互式的，并介绍了设计师的奇异性分析，通过这种方法进行，显示所有的阶段，沿程序，并最终显示的解决方案代数和图形，以及允许不同的机器人姿势的奇异性验证。
2008-09-18 cs.RO
Reshaping Robot Trajectories Using Natural Language Commands: A Study of Multi-Modal Data Alignment Using Transformers
Technische Universität München（慕尼黑工业大学）；Microsoft（微软）
自然语言是我们在表达命令和指令时与其他人进行交互的最直观的媒介。然而，当人类需要向机器人表达他们的意图时，使用语言很少是一件容易的事情，因为大多数当前的语言界面需要具有静态动作目标和命令集的刚性模板。在这项工作中，我们提供了一个灵活的基于语言的人机协作界面，它允许用户重塑现有的轨迹为自主智能体。我们利用大语言模型（BERT和CLIP）领域的最新进展对用户命令进行编码，然后使用多模态注意力Transformers将这些特征与轨迹信息相结合。我们训练模型使用模仿学习包含机器人轨迹修改的语言命令的数据集，并处理的轨迹生成过程作为一个序列预测问题，类似于如何语言生成架构操作。我们在多个模拟轨迹的情况下评估系统，并显示出显着的性能增加，我们的模型超过基线方法。此外，我们对机器人手臂的真实实验表明，用户明显更喜欢我们的自然语言界面，而不是传统的方法，如动觉教学或成本函数编程。我们的研究展示了机器人领域如何利用大型预训练语言模型在机器人和机器之间创建更直观的界面。项目网页：https://arthurfenderbucker.github.io/NL_trajectory_reshaper/
2022-03-25 cs.AI cs.LG cs.RO
Goal Estimation-based Adaptive Shared Control for Brain-Machine Interfaces Remote Robot Navigation
Osaka University（大阪大学）
本研究提出一种基于脑机接口的远程机器人导航共享控制方法，通过估计用户预期目标生成高频连续辅助命令，并结合置信度自适应融合用户与自主命令，解决了BMI输入低频、离散和不确定的问题。
2024-07-25 cs.RO
Reducing Latency in LLM-Based Natural Language Commands Processing for Robot Navigation
Technological University of Uruguay（乌拉圭技术大学）；National Technological University（国家技术大学）；Federal University of Rio Grande（里约格兰德联邦大学）
本研究提出将ChatGPT与ROS 2直接集成且无需中间件，在Gazebo仿真中使机器人响应文本和语音命令，将通信延迟平均降低7.01%，提升了人机交互的实时性与可用性。
2025-05-29 cs.AI cs.RO
Robot builds a robot's brain: AI generated drone command and control station hosted in the sky
Department of Electrical Engineering and Computer Science, University of California, Irvine（电气工程与计算机科学系，加州大学伊文斯顿分校）
本研究展示了一个完全由AI生成代码的无人机指挥控制平台，在真实和模拟无人机上运行，开发速度比人工编码快数量级，揭示了AI生成机器人代码的潜力与局限。
2025-08-04 cs.RO
Interpreting and learning voice commands with a Large Language Model for a robot system
Warsaw University of Technology（华沙理工大学）；Faculty of Electronics and Information Technology（电子与信息技术学院）
本文研究如何将GPT-4等大语言模型与数据库结合，提升机器人解释语音指令、实时决策和知识获取的能力，以改善人机交互体验。
2024-07-31 cs.CL cs.NE cs.RO
Robot voice a voice controlled robot using arduino
NRI Institute of Technology（NRI理工学院）
本文开发了一个基于Arduino的语音控制个人助理机器人，通过内置麦克风接收命令并执行移动、物体搬运等任务，利用离线服务器实时处理，初步实验效果良好。
2024-02-06 cs.HC cs.RO
Implementing Virtual Reality for Teleoperation of a Humanoid Robot
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
我们的研究探索了人形机器人在不可预测的环境中工作的潜力，但控制人形机器人仍然是一个非常困难的问题。在我们以前的工作中，我们设计了一个原型虚拟现实（VR）界面，让操作员命令一个人形机器人。然而，虽然可用，但初始界面不足以命令机器人执行任务;例如，在某些情况下，机器人控制缺乏精度。界面在某些方面也过于繁琐。在本文中，我们讨论了许多补充，传统的接口和虚拟现实视频游戏的启发，我们以前的实现，提供额外的方式来可视化和命令一个人形机器人在虚拟世界中执行困难的任务。
2021-04-23 cs.RO
An Embodied, Platform-invariant Architecture for Connecting High-level Spatial Commands to Platform Articulation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在远程操作、机器人重新编程、人机交互和神经修复等背景下，向机器人平台传送移动命令通常是一个限制因素。目前，许多应用程序依赖于关节角度的关节角度处方。这固有地需要由用户指定大量参数，这些参数与平台上的自由度的数量成比例，从而对接口产生高带宽要求。本文提出了一种高效的表示高层次，空间命令，指定许多关节角度与相对较少的参数的基础上的空间架构，是由人类观众有利的判断。特别是，一个通用的方法标记连接的平台联动，生成一个数据库的用户指定的姿势，高层次的空间命令和特定的平台静态配置之间的映射。因此，这种架构是“平台不变的”，其中相同的高级空间命令可以在任何平台上执行。这样做的好处是，我们的命令对人类也有意义。为了实现这一点，我们从拉班/巴特尼耶夫运动研究，一个具体的分类运动描述的灵感。该架构通过Rethink Robotics Baxter、Aldebaran NAO和KUKA youBot在26个空间方向上的实现进行了演示。用户进行研究，以验证所提出的框架的索赔。
2019-03-31 cs.RO
Interactive Text2Pickup Network for Natural Language based Human-Robot Collaboration
Seoul National University（首尔国立大学）；Kakao Brain
在本文中，我们提出了交互式文本拾取（IT2P）网络的人与机器人的协作，使一个有效的互动与人类用户，尽管用户的命令的模糊性。我们专注于机器人的任务，预计将拿起一个由人类指示的对象，并与人类互动时，给定的指令是模糊的。所提出的网络理解人类用户的命令，并首先估计所需对象的位置。为了处理人类语言命令中固有的歧义，生成可以解决歧义的合适的问题。用户对问题的回答与初始命令相结合，并反馈给网络，从而获得更准确的估计。实验结果表明，在给定明确的命令，所提出的方法可以估计所请求的对象的位置与我们的测试数据集的基础上，准确率为98.49%。考虑到模糊的语言命令，我们表明，将从互动中获得的信息后，拿起任务的准确性增加了1.94倍。
2018-05-28 cs.CL cs.HC cs.RO
Generalized Grounding Graphs: A Probabilistic Framework for Understanding Grounded Commands
许多任务领域要求机器人解释和执行由人给出的涉及机器人物理环境的自然语言命令。这种解释被称为不同的符号接地问题，接地语义学和接地语言习得。这个问题是具有挑战性的，因为人们使用不同的词汇和语法，并且因为机器人对周围环境的性质和内容具有很大的不确定性，使得难以将命令文本的构成语言元素（主要是名词短语和空间关系）与这些环境的元素相关联。符号模型捕捉语言结构，但没有成功地扩展到处理未经训练的用户产生的不同语言。现有的统计方法可以更好地处理多样性，但到目前为止还没有建模复杂的语言结构，限制了可实现的准确性。最近的混合方法解决了缩放和复杂性的限制，但没有有效地关联的语言和感知功能。我们的框架，称为广义接地图（G^3），解决了这些问题，定义一个概率图形模型动态根据语言分析结构的自然语言命令。这种方法有效地扩展，处理语言多样性，并使系统能够将命令的部分与它们所指的外部世界中的特定对象，地点和事件相关联。我们表明，机器人可以学习单词的含义，并使用这些学习的含义，鲁棒地遵循未经训练的用户产生的自然语言命令。我们展示了我们的方法，涉及各种半自主机器人平台，包括轮椅，微型飞行器，叉车和柳树车库PR2的移动命令和移动操作命令。
2017-11-29 cs.CL cs.RO
Deep compositional robotic planners that follow natural language commands
CSAIL（麻省理工学院计算机科学与人工智能实验室）；CBMM（麻省理工学院大脑、思维与机器中心）；MIT（麻省理工学院）
我们演示了如何采样为基础的机器人规划可以增强学习理解一系列的自然语言命令在一个连续的配置空间移动和操纵对象。我们的方法结合了一个深度网络结构，根据一个复杂的命令，包括对象，动词，空间关系和属性的解析，与基于采样的规划，RRT。循环层次深度网络控制规划者如何探索环境，确定规划的路径何时可能实现目标，并估计每次移动的信心，以在网络和规划者之间权衡利用和探索。Plantable被设计为在缺少有关任务的信息时具有接近最佳的行为，而网络则学习利用从环境中获得的观察结果，使两者自然互补。将两者结合起来，可以泛化到新的地图、新的障碍物和训练集中没有出现的更复杂的句子。训练模型所需的数据很少，尽管它联合获取了一个CNN，该CNN在学习单词的含义时从环境中提取特征。该模型通过使用注意力地图提供了一定程度的可解释性，允许用户查看其推理步骤，尽管是端到端模型。这种端到端模型允许机器人在具有挑战性的连续环境中学习遵循自然语言命令。
2020-02-19 cs.CL cs.RO
Post Quantum Secure Command and Control of Mobile Agents : Inserting quantum-resistant encryption schemes in the Secure Robot Operating System
Raytheon Technologies Research Center（雷神技术研究中心）
移动代理的安全命令和控制（C&C）出现在各种环境中，包括无人驾驶飞行器，商业环境中的单一飞行员操作，以及移动机器人等。随着越来越多的这些应用程序被集成到航空航天和国防用例中，地面站和移动代理之间的通信信道的安全性越来越重要。由于非对称密码对Shor算法的脆弱性，量子计算设备的发展对安全通信构成了独特的威胁。鉴于新的量子抗加密技术的积极发展，我们报告的第一个集成后量子安全加密方案与机器人操作系统（ROS）和C&C的移动代理，一般。我们将这些计划在应用程序和网络层，并研究这些方法的性能进行比较，以当今的安全方案，如广泛使用的RSA算法。
2020-09-16 cs.CR cs.NI cs.RO
Robotic needle steering in deformable tissues with extreme learning machines
ICube（ICube实验室）；Politecnico Di Milano（米兰理工大学）
用于软组织中的机器人针转向的控制策略必须考虑针与组织之间的复杂相互作用，以实现准确的针尖定位。最近的研究结果表明，更快的机器人命令速率可以提高控制稳定性在现实场景中。这项研究提出了使用极端学习机器提供快速命令机器人针转向。基于逆有限元仿真控制框架的合成数据集用于训练模型。结果表明，该模型能够比逆模拟快66%地推断命令，并且即使在以前看不见的轨迹上也能达到可接受的精度。
2021-04-02 cs.AI cs.NE cs.RO
HiSync: Spatio-Temporally Aligning Hand Motion from Wearable IMU and On-Robot Camera for Command Source Identification in Long-Range HRI
Department of Computer Science；Technology, BNRist Tsinghua University Beijing China；Technology, BNRist, College of AI Tsinghua University Beijing China；Technology Tsinghua University Beijing China；Beijing University of Posts；Academy of Arts \& Design Tsinghua University Beijing China；Qinghai University Xining China；Tsinghua University；Technology, BNRist, College of AI；Technology Tsinghua University；Academy of Arts \& Design Tsinghua University；Qinghai University
HiSync通过同步机器人摄像头光流与手环IMU信号，提取频域手部运动特征并融合多模态数据，实现远距离多用户HRI中的高准确率命令源识别。
2026-03-25 cs.HC cs.RO
Prescient teleoperation of humanoid robots
Inria Nancy – Grand Est（法国国家信息与自动化研究所南锡-大东部分部）；CNRS（法国国家科学研究中心）；Université de Lorraine（洛林大学）
人形机器人可以是多功能和直观的人类化身，在无法到达的地方远程操作：机器人可以在远程位置再现配备有可穿戴运动捕捉设备的操作员的动作，同时向操作员发送视觉反馈。虽然在将人类运动转移（“重定向”）到人形机器人方面已经取得了实质性进展，但阻止此类系统在实际应用中部署的主要问题是人类输入和来自机器人的反馈之间存在通信延迟：即使是几百毫秒的延迟也会不可逆地干扰操作员，更不用说几秒钟了。为了克服这些延迟，我们引入了一个系统，其中一个人形机器人执行命令之前，它实际上收到他们，使视觉反馈似乎是同步的操作员，而机器人执行的命令在过去。为此，机器人通过查询机器学习模型来不断预测未来的命令，该模型是在过去的轨迹上训练的，并以最后接收到的命令为条件。在我们的实验中，操作员能够成功地控制一个人形机器人（32个自由度），在几个全身操作任务中的随机延迟高达2秒，包括到达不同的目标，拿起一个瓶子，并将一个盒子放在不同的位置。
2022-03-28 cs.LG cs.RO
A Reactive performance-based Shared Control Framework for Assistive Robotic Manipulators
University of Málaga（马拉加大学）；Istituto Italiano di Tecnologia（意大利理工学院）
本文提出一种基于局部性能加权的新型AAN反应式共享控制框架，用于辅助机器人夹持器，可按需为用户提供帮助，实验验证其能提升性能、降低误差且不影响力学参数。
2023-11-06 cs.RO
Multi-command Chest Tactile Brain Computer Interface for Small Vehicle Robot Navigation
University of Tsukuba（筑波大学）；RIKEN Brain Science Institute（理化学研究所脑科学研究所）
所提出的研究探讨了在何种程度上触觉刺激提供给五个胸部位置的健康用户可以作为一个平台的脑机接口（BCI），可用于互动应用，如机器人车辆操作。五个胸部位置用于唤起触觉脑电位响应，从而定义触觉脑机接口（tBCI）。实验结果与五个主题进行在线tBCI提供了一个验证的胸部位置tBCI范例，而通过信息传输率照亮的概念的可行性。此外，通过案例研究，提出了一种线性SVM分类器的离线分类改进。
2013-07-28 cs.HC cs.RO q-bio.NC
Resolving Positional Ambiguity in Dialogues by Vision-Language Models for Robot Navigation
College of Artificial Intelligence, National Yang Ming Chiao Tung University (NYCU)（国立阳明交通大学人工智能学院）
本文提出利用大型语言模型和视觉-语言模型进行多轮对话，并通过两级映射（自然语言到唯一物体ID，再到三维深度图）解决室内机器人导航指令中的位置歧义问题，首次将基础模型应用于该问题。
2024-09-30 cs.RO
RAFCON: a Graphical Tool for Task Programming and Mission Control
German Aerospace Center (DLR)（德国航空航天中心（DLR））
机器人系统有许多应用领域，包括服务机器人，搜索和救援任务，工业和空间机器人。随着这些领域的场景变得越来越复杂，对强大的工具的需求越来越高，以有效地编程异构机器人系统。因此，我们创建了RAFCON，这是一个图形化工具，用于开发机器人任务，并通过远程监控任务的执行来进行任务控制。为了定义任务，我们使用支持层次结构和并发性的状态机。与库概念一起，即使是复杂的场景也可以优雅地处理。RAFCON支持复杂的调试功能，并紧密集成了错误处理和恢复机制。具有强大状态机编辑器的GUI使直观、可视化编程和快速原型设计成为可能。我们在SpaceBotCamp国家机器人竞赛中展示了我们工具的能力，我们的移动机器人完全自主地解决了所有探索和组装挑战。因此，它也是各种RoboCup联赛的一个有前途的工具。
2016-05-30 cs.RO
Robot human interface for housekepeer with wireless capabilities
University Of Baghdad（巴格达大学）
本文介绍了一个管家机器人人机界面的设计与实现。它基于使机器人理解人类需求而不使人类经历机器人工作的细节的想法，例如，机器人执行工作的方式或机器人用于规划路径以到达工作区域的方法。界面命令基于自然人类语言的习惯用法，并以用户向机器人提供几个命令及其执行日期/时间的方式设计。
2018-07-12 cs.RO
Empirical Analysis of Bi-directional Wi-Fi Network Performance on Mobile Robots in Indoor Environments
University of Georgia（佐治亚大学）
本文提出了一个框架来衡量的重要指标（吞吐量，延迟，数据包重传，信号强度等）。确定由机器人操作系统（ROS）中间件支持的移动机器人的Wi-Fi网络性能。我们通过室内环境中的实验装置分析了移动机器人的双向网络性能，其中移动机器人将重要的传感器数据（如来自摄像机的视频流和LiDAR扫描值）传输到命令站，同时通过从命令站接收的遥控速度命令导航室内环境。实验评估了2.4 GHz和5 GHz信道下的性能，不同的接入点（AP）的位置，每侧最多有两个网络设备。该框架可推广到车辆网络评估，本研究的讨论和见解适用于现场机器人社区，其中无线网络在现实环境中成功执行机器人任务方面发挥着关键作用。
2022-01-13 cs.NI cs.RO
UNCOM: Zero-shot Context-Aware Command Understanding for Tabletop Scenarios
Jagiellonian University（杰克利昂大学）；AGH University of Krakow（克拉科夫AGH大学）
UNCOM提出了一种新的混合框架，通过整合语音、手势和场景上下文信息，实现桌面上场景中自然人类命令的解析，无需预定义对象模型或特定任务训练数据，展示了系统的鲁棒性。
2026-05-08 cs.AI cs.RO
GestOS: Advanced Hand Gesture Interpretation via Large Language Models to control Any Type of Robot
ISR Lab（ISR实验室）；Skoltech（斯克里普钦技术学院）
GestOS 提出一种基于手势的操作系统，通过轻量级视觉感知与大语言模型推理将手势语义化，并依据机器人能力、状态和指令集动态分配任务，实现异构机器人团队的自适应高层控制。
2025-09-17 cs.RO
A Proposed Set of Communicative Gestures for Human Robot Interaction and an RGB Image-based Gesture Recognizer Implemented in ROS
Monash University（莫纳什大学）
我们提出了一套沟通的手势，并开发了一个手势识别系统，旨在促进更直观的人机交互（HRI）通过手势。首先，我们提出了一组通常用于人机交互的命令。接下来，进行了一项有190名参与者的在线用户研究，以调查在没有指导或培训的情况下，人们是否有一组商定的手势，可以直观地将给定的命令传达给机器人。由于我们发现参与者之间的手势存在很大的差异，因此我们提出了一组手势，用于建议的命令，作为机器人交互的共同基础。我们收集了约7500个手势的视频演示，并训练了手势识别模型，采用3D卷积神经网络（CNN）作为分类器，最终准确率为84.1%（sigma=2.4）。所得到的模型能够用相对少量的训练数据成功地训练。我们将手势识别模型集成到ROS框架中，并报告演示用例的详细信息，其中一个人命令机器人使用建议的集合执行拾取和放置任务。这种集成的ROS手势识别系统可供使用，并旨在根据机器人模型和用例场景进行新的适应，以适应新的用户应用。
2021-09-21 cs.RO
TrustNavGPT: Modeling Uncertainty to Improve Trustworthiness of Audio-Guided LLM-Based Robot Navigation
Purdue University（普渡大学）；University of Central Florida（中佛罗里达大学）
本文提出TrustNavGPT，通过分析语音中的语气、语调等情感线索并建模不确定性，帮助基于LLM的导航智能体判断人类命令可信度，从而提升机器人音频引导导航的安全性。
2024-08-03 cs.RO
SwarmChat: An LLM-Based, Context-Aware Multimodal Interaction System for Robotic Swarms
School of Systems & Computing, UNSW Canberra（系统与计算学院，UNSW堪培拉）；School of Computer Science and Engineering, UNSW Sydney（计算机科学与工程学院，UNSW悉尼）
SwarmChat利用大语言模型构建上下文感知的多模态人机集群交互系统，通过四个协同模块实现自然语言指令理解、意图识别与模态选择，提升控制灵活性和用户满意度。
2025-09-21 cs.HC cs.RO
Speech-to-Trajectory: Learning Human-Like Verbal Guidance for Robot Motion
School of Mechanical Engineering, Tel-Aviv University（特拉维夫大学机械工程学院）
本文提出指令语言模型（DLM），通过行为克隆和GPT语义增强将自然语言指令直接映射为机器人运动轨迹，实现无需预定义命令和提示工程的类人、可预测运动引导。
2025-04-07 cs.RO
Translating Natural Language Instructions to Computer Programs for Robot Manipulation
Indian Institute of Science（印度科学学院）；Robert Bosch Center for Cyber Physical Systems（罗伯特·博世网络物理系统中心）
非常希望与人类一起工作的机器人能够理解自然语言的指令。现有的语言条件模仿学习模型直接从图像观察和指令文本中预测执行器命令。而不是直接预测执行器命令，我们建议将自然语言指令翻译为Python函数，该函数通过访问对象检测器的输出来查询场景并控制机器人执行指定的任务。这使得在计算对机器人的命令时能够使用诸如约束求解器之类的不可微模块。此外，在这种设置中的标签是信息量更大的计算机程序，它捕捉了专家的意图，而不是遥控演示。我们表明，所提出的方法比训练一个神经网络直接预测机器人的行动。
2021-03-20 cs.CL cs.LG cs.RO
ROSGPT_Vision: Commanding Robots Using Only Language Models' Prompts
Prince Sultan University（苏丹王子大学）
提出提示机器人模态（PRM）设计模式，构建ROSGPT_Vision框架，仅用视觉和LLM两个提示词操控机器人，开发CarMate监控驾驶员分心，降低开发成本，优化提示策略提升质量并开源框架。
2023-08-23 cs.AI cs.RO
NatSGD: A Dataset with Speech, Gestures, and Demonstrations for Robot Learning in Natural Human-Robot Interaction
University of Maryland, College Park（马里兰大学帕克分校）
本文提出NatSGD多模态HRI数据集，同步收录自然语音、手势指令与机器人行为演示，支持机器人学习并验证了联合建模语音和手势的价值。
2024-03-04 cs.LG cs.RO
Augmented Reality User Interface for Command, Control, and Supervision of Large Multi-Agent Teams
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文基于增强现实框架 AugRE，提出面向 50+ 自主智能体的大型人机团队指挥、控制与监督界面，支持视距与非视距操作且无需改造环境或额外硬件，初步验证其可提升协作、鲁棒性与信任。
2024-01-11 cs.HC cs.RO
CommandSwarm: Safety-Aware Natural Language-to-Behavior-Tree Generation for Robotic Swarms
本文提出CommandSwarm系统，通过多语言翻译、安全过滤和约束提示生成XML行为树，验证了紧凑量化领域适应的LLM在机器人群体控制中的有效性，强调了解析器接受和安全过滤的重要性。
2026-05-08 cs.RO
On robot compliance. A cerebellar control approach
University of Granada（格拉纳达大学）
本文提出的工作是一种新的生物学方法，用于机器人手臂的实时的柔顺控制。我们整合了一个尖峰小脑网络的核心反馈控制循环执行扭矩驱动控制。尖峰小脑控制器提供扭矩命令，允许精确和协调的手臂运动。为了计算这些输出电机命令，尖峰小脑控制器接收机器人的感觉信号，机器人的目标行为，和一个指导信号。这些输入信号被转换成一组不断演变的尖峰模式，在每个时间点代表一个特定的系统状态。然后支持尖峰定时依赖可塑性（STDP），允许建立自适应控制。当STDP部署时，尖峰小脑控制器根据经验不断调整提供给机器人的扭矩命令。自适应扭矩命令反过来又帮助尖峰小脑控制器处理机器人致动器内的内置弹性元件，模仿人类肌肉（固有的弹性）。我们提出了一个自然的整合的生物启发的控制方案，基于小脑，一个符合机器人。我们证明，我们的兼容方法优于默认的工厂安装的位置控制的准确性，在一组用于解决小脑运动行为的任务：控制六个自由度（DoF）在平稳的运动，快速弹道运动，和非结构化的场景兼容的运动。
2020-03-31 cs.NE cs.RO cs.SY
Planning with Verbal Communication for Human-Robot Collaboration
Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）
人类合作者通过语言和非语言沟通有效地协调他们的行动。我们认为，人类-机器人团队也应该如此。我们提出了一种形式主义，使机器人之间做一个任务，并发出一个话语，以最佳的决定。我们专注于两种类型的话语：口头命令，机器人表达它希望人类队友如何表现，以及状态传达动作，机器人解释为什么它会这样做。人类受试者的实验表明，使机器人发出口头命令是最有效的形式沟通的目标，同时保持用户的信任机器人。交流为什么信息应该明智地处理，因为许多参与者质疑机器人陈述的真实性。
2017-06-14 cs.RO
Learning multiple gaits of quadruped robot using hierarchical reinforcement learning
Seoul National University（首尔大学）
基于强化学习的四足机器人速度指令跟踪控制器具有鲁棒性和可扩展性，受到越来越多的关注。然而，经过端到端训练的单个策略通常显示单个步态，而不管命令速度如何。这可能是一个次优的解决方案，考虑到最佳步态的存在，根据四足动物的速度。在这项工作中，我们提出了一个分层控制器的四足机器人，可以产生多个步态（即步伐，小跑，绑定），同时跟踪速度命令。我们的控制器由两个策略组成，每个策略作为中央模式生成器和局部反馈控制器，并使用分层强化学习进行训练。实验结果表明：1）最佳步态的存在，为特定的速度范围2）的效率，我们的分层控制器相比，由一个单一的政策，通常显示一个单一的步态控制器。代码是公开的。
2021-12-09 cs.AI cs.RO
LLM-based Robot Task Planning with Exceptional Handling for General Purpose Service Robots
Southeast University（东南大学）
针对通用服务机器人任务规划中语言歧义和幻觉问题，提出基于受限提示方案的任务规划方法及异常处理模块，确保生成动作序列可执行，并在RoboCup@Home命令上验证了卓越性能。
2024-05-24 cs.RO
Relational Scene Graphs for Object Grounding of Natural Language Commands
School of Electrical Engineering, Aalto University（艾尔沃大学电气工程学院）；School of Science, Aalto University（艾尔沃大学科学学院）
本文提出基于关系场景图的方法，通过结合LLM和VLM增强自然语言指令中对象接地的准确性。
2026-07-31 cs.RO
Multimodal Human-Autonomous Agents Interaction Using Pre-Trained Language and Visual Foundation Models
Montanuniversität（莱奥本矿业大学）
本文提出一种结合预训练大语言模型、视觉语言模型和语音识别模型的多模态人机交互方法，实现自然语音和文本指令到机器人动作的转换，实验显示语音命令解码准确率达87.55%、执行成功率达86.27%，平均延迟为0.89秒。
2024-12-29 cs.RO
Towards Reliable Underwater Diver-Robot Interaction: Gesture Design, Interaction Logic, and Real-World Evaluation
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院（TeleAI））
该研究通过闭环框架集成七手势词汇、关键点识别和命令级逻辑，经用户研究与水下实验验证，提升了水下人机交互的可靠性与执行稳定性。
2026-09-23 cs.RO
