MIHRaGe: A Mixed-Reality Interface for Human-Robot Interaction via Gaze-Oriented Control
Engineering School of São Carlos University of São Paulo(圣保罗大学圣卡洛斯工程学院);Massachussets Institute of Technology(麻省理工学院);Hospital Israelita Albert Einstein(以色列医院阿尔伯特·爱因斯坦医院)
本文提出MIHRaGe混合现实界面,融合注视跟踪与机器人辅助,实现仅用眼动控制机器人,实验显示80%任务成功率,验证了其提升人机交互可及性的潜力。
2025-05-06 cs.RO
Evaluation of Position and Velocity Based Forward Dynamics Compliance Control (FDCC) for Robotic Interactions in Position Controlled Robots
University of Luxembourg(卢森堡大学);PPRIME Institute(PPRIME研究所);CNRS(法国国家科学研究中心);ENSMA(国立高等机械与航空技术学院);University of Poitiers(普瓦捷大学)
在机器人操作中,末端执行器的顺应性是执行接触丰富的任务,如加工,装配和人机交互的必要前提。大多数机器人手臂是硬件级别的位置控制刚性系统。因此,增加合规性变得至关重要。在这些系统中的合规性最近已经实现了使用前向动力学合规性控制(FDCC),这是由于其虚拟的前向动力学模型,可以实现的位置和速度控制的机器人。本文评估了控制接口(因此控制域)的选择,这虽然被认为是微不足道的,是必不可少的,由于其特性的差异。在某些情况下,选择仅限于可用的硬件接口。然而,考虑到可选择的选项,基于速度的控制接口使顺应性控制成为更好的候选者,因为更平滑的顺应性行为、减少的交互力和所做的功。为了证明这些点,本文FDCC上UR10e六自由度机械手速度和位置控制模式进行评估。该评估基于使用3D打印工件的力控制基准测试指标。真实的实验倾向于选择速度控制而不是位置控制。
2022-10-24 cs.RO
Immersive Teleoperation of Beyond-Human-Scale Robotic Manipulators: Challenges and Future Directions
Department of Engineering and Natural Science, Tampere University(工程与自然科学系,塔尔库大学)
本文研究了超人类尺度机器人操作器沉浸式遥操作在控制、认知和界面层面的挑战,分析了触觉与视觉反馈的设计权衡,并提出了针对大规模机器人遥在的未来研究方向。
2025-08-13 cs.RO
SUPER-MAN: SUPERnumerary Robotic Bodies for Physical Assistance in HuMAN-Robot Conjoined Actions
Istituto Italiano di Tecnologia(意大利技术研究院)
本文提出了一种移动多余机器人的方法,在人-机器人联合行动的物理援助。本研究首先描述了超人的概念。我们的想法是开发和利用移动协作系统,可以遵循人类的现场操作命令,通过三个主要组件执行工业任务:i)准入型接口,ii)人机交互控制器,iii)多余的机器人身体。接下来,我们从理论和硬件的角度提出了两种可能的实现框架内。第一个系统被称为MOCA-MAN,包括一个冗余的扭矩控制机械臂和一个全向移动平台。第二个被称为Kairos-MAN,由一个高有效载荷的6自由度速度控制机械臂和一个全向移动平台组成。这些系统共享相同的准入接口,通过该接口,用户扳手被转换为由每个系统的全身控制器生成的局部操纵命令。此外,一个全面的用户研究与多个和跨性别的主题,揭示了定量性能的两个系统在努力的要求和灵巧的任务。此外,我们提供了定性的结果,从NASA-TLX问卷,以证明超人的方法的潜力和可接受性,从用户的角度来看。
2023-02-01 cs.RO
Prosody for Intuitive Robotic Interface Design: It's Not What You Said, It's How You Said It
Google Labs(谷歌实验室);Google DeepMind(谷歌DeepMind);Hoku Labs(霍库实验室)
本研究通过设计研究方法探索韵律作为直觉人机交互信号,实验表明参与者依赖韵律控制四足机器人导航,为未来直觉界面设计提供多功能交际信号潜力。
2024-03-13 cs.HC cs.RO
Towards Assistive Robotic Pick and Place in Open World Environments
Northeastern University(东北大学);University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
辅助机器人操作器必须能够自主拾取和放置各种各样的新颖物体才能真正有用。然而,目前的辅助机器人缺乏这种能力。此外,辅助系统需要有一个易于学习,使用和理解的界面。本文在这方面向前迈出了一步。我们提出了一个机器人系统包括一个机器人手臂和一个移动踏板车,提供了两个拾取和下降和拾取和放置功能的开放世界环境中没有建模的对象或环境。该系统使用激光指示器直接选择世界中的对象,并通过将界面投影到世界中来向用户反馈。我们对几个实验场景的评估显示,相对于文献[5]中的基线,运行时间和抓取成功率都有显着提高,并且还证明了桌面场景的准确拾取和放置能力。
2019-07-08 cs.RO
A Laser-guided Interaction Interface for Providing Effective Robot Assistance to People with Upper Limbs Impairments
Istituto Italiano di Tecnologia(意大利技术研究院);University of Genova(热那亚大学);University of Pisa(比萨大学)
本研究针对上肢残障人士日常活动辅助需求,提出头戴式激光引导的人机交互界面,含点位选择与纸质键盘两种控制模式,经6自由度机械臂验证可完成需双手能力的操作任务。
2025-03-20 cs.RO
Human-Robot Interaction in GenAI Architectures via the Agent-Client Protocol
Machine Perception and Intelligent Robotics Group (MAPIR-UMA), Malaga Institute for Mechatronics Engineering and Cyber-Physical Systems (IMECH.UMA), University of Malaga(机器感知与智能机器人组(MAPIR-UMA),马拉加机电一体化工程与网络物理系统研究所(IMECH.UMA),马拉加大学)
研究针对GenAI推动下机器人架构中HRI层碎片化问题,提出采用代理-客户端协议(ACP),结合MCP构建三层解耦架构,消除架构依赖,支持异构界面,提供协作HRI能力,经实验验证了架构的互操作性和实时人在回路工作流程。
2026-07-17 cs.RO
2024 NASA SUITS Report: LLM-Driven Immersive Augmented Reality User Interface for Robotics and Space Exploration
University of California, Berkeley(加州大学伯克利分校);Baylor University(贝勒大学)
本文提出URSA,一个面向NASA SUITS挑战赛的LLM驱动沉浸式AR系统,融合头戴AR、语音控制与机器人跟踪,并贡献了ZED2数据集、LMCC控制台和DTTDNet姿态估计器,以支持宇航员在无地面真值传感器条件下进行实时机器人控制与监控。
2025-07-01 cs.HC cs.RO
Multi-Modal Multi-Agent Robotic Cognitive Alignment enabled by Non-Invasive Consumer Brain Computer Interfaces: A Proof of Concept Exploration
GOOGLE(谷歌);Paradigms of Intelligence(智能范式);Cambridge, MA, United States(马萨诸塞州剑桥市,美国);Mountain View, CA, United States(加利福尼亚州山景城,美国)
提出一种框架,利用消费级脑机接口监测脑电信号,在高认知负荷时延迟智能体通信,实现认知对齐的多智能体交互,初步验证了实时信号处理、大语言模型与机器人结合的可行性。
2026-06-12 cs.HC cs.RO
Quadrupedal Robotic Guide Dog with Vocal Human-Robot Interaction
Diablo Valley College(迪亚布洛谷学院)
导盲犬在许多人的生活中起着至关重要的作用,但训练它们是一个时间和劳动密集型的过程。我们正在开发一种方法,允许自主机器人使用直接的人机通信来物理引导人类。所提出的算法将部署在Unitree A1四足机器人上,并将自动导航到目的地,同时使用与机器人兼容的语音接口与人进行通信。该语音接口利用基于云的服务,如Amazon Polly和Google Cloud,作为文本到语音和语音到文本引擎。
2021-11-25 cs.HC cs.RO
Real-Time sEMG-Based Telecontrol of an Assistive Robotic Arm Using a 1D Convolutional Neural Network
Polytechnique Montréal(蒙特利尔综合理工大学)
研究上肢运动障碍者用sEMG控制辅助机器人手臂的问题,核心方法是基于一维卷积神经网络,主要贡献是实现高分类性能、稳定实时行为,证明sEMG遥操作可行性,强调整合多技术的重要性,为后续研究指明方向。
2026-10-05 cs.RO
Kinesthetic Teaching in Robotics: a Mixed Reality Approach
University of Genoa(热那亚大学)
本文提出一种基于混合现实的新型通信接口,用于在任意机器人平台上进行动觉示教,并通过多受试者、双机器人用户研究验证其相比传统物理示教在用户体验和任务指标上的表现。
2024-09-03 cs.RO
OpenRoIS: A Community-Driven Open-Source Middleware Implementing the Robotic Interaction Service (RoIS) Framework for Physical Robots and Virtual Agents
Coarobo GK(Coarobo 合同会社);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Advanced Telecommunications Research Institute International (ATR)(国际电气通信基础技术研究所(ATR))
OpenRoIS是一个社区驱动的开源中间件,实现了RoIS框架2.0,通过标准化接口和消息,使服务应用能跨平台与物理机器人和虚拟代理交互,解决了硬件更换导致的重写问题。
2026-09-21 cs.HC cs.RO
ROS-PyBullet Interface: A Framework for Reliable Contact Simulation and Human-Robot Interaction
King’s College London(伦敦国王学院);Honda Research Institute(本田研究院);The University of Edinburgh(爱丁堡大学);Harbin Institute of Technology(哈尔滨工业大学)
本文提出 ROS-PyBullet 接口框架,连接可靠接触仿真器 PyBullet 与机器人操作系统,并提供人机交互工具,通过用例展示其能力,代码开源。
2022-10-13 cs.LG cs.RO
Non-invasive Cognitive-level Human Interfacing for the Robotic Restoration of Reaching & Grasping
Imperial College London(帝国理工学院);MRC London Institute of Medical Sciences(英国医学研究理事会伦敦医学科学研究所);Data Science Institute(数据科学研究所)
辅助和可穿戴机器人技术有可能支持患有不同类型运动障碍的人变得独立并成功地完成日常生活活动。然而,这些机器人系统的成功依赖于有意义地解码人类行动意图并适当地执行它们的能力。神经接口已经被探索用于这种系统中,取得了一些成功,然而,它们往往是侵入性的,需要几个月的训练期。我们提出了一个机器人系统,用于人类增强,能够驱动用户的手臂和手指,有效地恢复达到,抓住和操纵物体的能力;仅通过用户的眼球运动控制。我们结合可穿戴眼动追踪,环境的视觉背景和人类行为的结构语法,以创建一个认知水平的辅助机器人设置,使用户能够完成日常生活活动,同时保存可解释性和用户的代理。接口在5分钟内完成磨损、校准和准备使用。用户通过额外的5分钟互动学习控制和成功使用系统。用5名健康参与者对该系统进行测试,在6项任务中首次尝试的平均成功率为$96.6\%$。
2021-02-25 cs.AI cs.RO
Integrating Large Language Models with Multimodal Virtual Reality Interfaces to Support Collaborative Human-Robot Construction Work
University of Michigan(密歇根大学)
本文提出融合语音、控制器、ROS、BIM、游戏引擎与LLM聊天界面的多模态VR系统,并通过12名工人的石膏板安装实验验证其低负荷、高可用的人机协作价值。
2024-04-04 cs.HC cs.RO
Hands-On Robotics: Enabling Communication Through Direct Gesture Control
TU Dortmund University(多特蒙德工业大学);University of Duisburg-Essen(杜伊斯堡-埃森大学)
本文提出通过移动机器人末端执行器实现直接手势通信,用四种手势进行人机交互,用户研究显示分类准确率接近100%,证明无需额外硬件即可实现直接通信。
2024-01-17 cs.HC cs.RO
The Brain-Inspired Cooperative Shared Control Framework for Brain-Machine Interface
Shenzhen Institute of Advanced Technology, CAS(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Tsinghua University(清华大学)
针对脑机接口中神经信号信息量低且噪声高的问题,提出基于脑启发智能的协同共享控制框架,利用脉冲神经网络控制机械臂与轮子,显著提升了系统性能与临床应用潜力。
2024-10-12 cs.HC cs.RO cs.SY
Architectural HRI: Towards a Robotic Paradigm Shift in Human-Building Interaction
University of Antwerp(安特卫普大学)
本文探讨了通过机器人技术实现人与建筑交互的范式转变,强调多层建筑结构同步适应以提升可持续性和 occupant 需求,并呼吁跨学科研究整合相关知识。
2026-03-03 cs.HC cs.RO
Strawberry Robotic Operation Interface: An Open-Source Device for Collecting Dexterous Manipulation Data in Robotic Strawberry Farming
Technological Innovation Center, Zhejiang University, Hangzhou, 311215, China(浙江大学杭州技术创新中心);College of Biosystems Engineering(生物系统工程学院);Food Science, Zhejiang University, Hangzhou, 310058, China(食品科学学院)
本文提出了一种开源设备SROI,用于收集机器人草莓种植中灵巧操作数据,通过模块化末端执行器和立体摄像头实现野外环境下的数据采集,并发布数据集促进相关研究。
2025-01-28 cs.RO
Development of an Intuitive Foot-Machine Interface for Robotic Surgery
School of Mechanical and Aerospace Engineering(机械与航空航天工程学院)
人机界面对于用于手术的机器人系统的主从控制是至关重要的,其中当前的系统提供由外科医生的手远程操作的两个机器人臂的控制。为了减轻对手术助手的需求并增强手术的灵活性,最近有人提出使用像第三只手臂一样的机器人,该机器人可以独立于自然手臂进行无缝控制,并与它们一起工作。本报告将发展和研究这一概念,通过实现脚控制的机器人手术手臂。一种新型的被动触觉脚机接口系统和分析其性能。该接口采用并-串混合结构,带有弹簧和力传感器,可以直观地控制具有四个自由度(dof)的从机械臂。弹性等距设计使用户能够准确地和自适应地控制接口系统,其中扩大的感测范围打破了踏板尺寸的物理限制。一个主题特定的(独立成分分析,ICA)模型被确定为映射到从机械臂的运动学参数的外科医生的脚的运动。为了验证该系统,并评估其允许的性能,10个主题进行了实验,以操纵脚机接口系统在各种运动。利用这些实验数据,建立了映射模型并进行了验证。对不同的映射模型进行了比较和分析,证明了ICA算法明显优于其他方法。
2019-05-27 cs.RO
Feedback and Control of Dynamics and Robotics using Augmented Reality
University of New Mexico(新墨西哥大学)
人机交互(HMI)和人机交互(HRI)可以在实验室和现场辅助结构监测和结构动力学测试。在振动实验中,产生振动的一种方式是使用电动激振器。手动控制是操作员设置励磁机输入的常用方式。为了测量对这些产生的振动的结构响应,将传感器附接到结构。这些传感器可以由具有高耐力的可重复机器人部署,这需要实时控制。如果操作员和控制器之间的界面得到增强,那么操作员可以可视化实验,激励水平,并定义机器人输入,更好地了解感兴趣的区域。机器人可以为人类提供更好的帮助,如果机器人的智能飞行控制是:(1)量化并呈现给人类;(2)实时进行人类反馈数据。新界面提供的信息将用于根据他们对实时参数的理解来改变控制输入。本研究提出使用增强现实(AR)应用程序为人类提供传感器反馈和执行器和机器人的控制。该方法通过允许操作员保持对结构的认识,同时在新的实时界面的帮助下相应地调整条件来提高认知。开发了一个接口应用程序,用于绘制传感器数据以及振动生成的电压、频率和持续时间控制。在类似的框架下开发了另外两个应用程序,一个用于控制中介机器人的位置,另一个用于控制机器人运动的频率。本文提出了新的控制回路的建议模型,然后通过测量控制输入和用户效率的时间延迟,将新方法与传统方法进行比较。
2023-03-23 cs.HC cs.RO cs.SY
Acting Thoughts: Towards a Mobile Robotic Service Assistant for Users with Limited Communication Skills
University of Freiburg(弗莱堡大学)
随着自主服务机器人变得更加负担得起,因此也可供公众使用,越来越需要用户友好的界面来控制机器人系统。当前可用的控制模态通常期望用户能够通过触摸、语音或手势命令来表达他们的期望。虽然大多数用户都满足了这一要求,但瘫痪的用户可能无法使用此类系统。在本文中,我们提出了一个新的框架,允许这些用户与机器人服务助理在一个闭环的方式进行交互,只使用思想。脑机接口(BCI)系统由多个相互作用的部件组成,即,非侵入性神经元信号记录和解码、高级任务规划、运动和操纵规划以及环境感知。在各种实验中,我们证明了它的适用性和鲁棒性在现实世界中的情况下,考虑取和携带任务,涉及人机交互的任务。正如我们的结果所表明的那样,我们的系统能够适应环境的频繁变化,并在合理的时间内可靠地完成给定的任务。结合高级规划和自主机器人系统,为基于BCI的非侵入式人机交互开辟了有趣的新前景。
2018-06-12 cs.AI cs.CV cs.HC
Human-Robot Interface to Operate Robotic Systems via Muscle Synergy-Based Kinodynamic Information Transfer
Yonsei University (Mirae)(延世大学(未来校区))
当人类执行给定的特定任务时,已知中枢神经系统控制模块化肌肉群,这被称为肌肉协同。因此,对于人机界面设计问题,可以利用肌肉协同来降低控制信号的维数以及分类人体姿势和运动的复杂性。在本文中,我们提出了一种方法来设计一个人-机器人接口,使人类操作员转移到机器人系统的kinodynamic控制命令。所提出的方法的一个关键特点是,肌肉协同和相应的激活曲线被用来计算由机器人末端执行器的工具所产生的力。实验的测试床包括两个臂带型表面肌电传感器,RGB-d相机,和Kinova Gen 2机器人机械手,以验证所提出的方法。结果表明,力和位置命令可以成功地通过我们的肌肉协同为基础的Kinodynamic接口传输到机器人操作器。
2022-05-11 cs.RO
A Successful Integration of the Robotic Technology Kernel (RTK) for a By-Wire Electric Vehicle System with a Mobile App Interface
Lawrence Technological University(劳伦斯理工大学)
我们能够使用激光雷达和GPS传感器将机器人技术核心(RTK)完全集成到电动汽车的线控系统中。该解决方案包括一个移动应用程序,用于与支持RTK的自动驾驶车辆进行交互。总的来说,该系统被设计成模块化的,使用基于消息的软件设计的概念,该设计被内置到机器人操作系统(ROS)中,这是RTK的基础。该团队逐步开发工作软件,以展示成功完成RTK集成的道路上的每个里程碑,以开发称为车辆召唤系统(VSS)的应用程序。
2022-08-06 cs.RO
A Modular Robotic Arm Control Stack for Research: Franka-Interface and FrankaPy
Carnegie Mellon University(卡内基梅隆大学)
我们设计了一个模块化的机器人控制堆栈,为Franka Panda Research机器人提供可定制和可访问的界面。该框架将高级机器人控制命令抽象为技能,并将其分解为轨迹生成器、反馈控制器和终止处理程序的组合。低级控制在C++中实现,并以$1$ kHz运行,高级命令在Python中公开。此外,外部传感器反馈,如估计的物体姿态,可以实时的流到低级控制器。这种模块化方法使我们能够快速原型化新的控制方法,这对于研究应用至关重要。我们已经在超过$5$发表的研究论文中将此框架应用于各种真实世界的机器人任务。该框架目前在卡内基梅隆大学的其他机器人实验室内部共享,我们计划在不久的将来公开发布。
2020-11-04 cs.RO
Design specifications of the Human Robotic interface for the biomimetic underwater robot "yellow submarine project"
介绍了一种基于Web的水下水电避碰自主航行仿生潜艇的多智能体设计。本文描述了河流水体的地图拓扑接口的性质和机器人潜艇控制的交互式代理的设计。该代理是迁移在Web上,并在XML/HTML界面设计,具有交互能力和在地图上的可见性。本文从数学上描述了用户界面和用于多Agent描述的地图定义语言
2010-06-28 cs.MA cs.RO
Underwater Robotic Simulators Review for Autonomous System Development
University College London(伦敦大学学院);Technology Innovation Institute(技术创新研究院)
本文系统综述并比较了五个ROS兼容的开源水下机器人仿真器,从保真度、可扩展性、任务适配性及sim-to-real能力等方面进行评估,为仿真环境选择与未来标准化发展提供指导。
2025-04-08 cs.RO
Intuitive control of supernumerary robotic limbs through a tactile-encoded neural interface
Imperial College London(帝国理工学院);Tsinghua University(清华大学);Southeast University(东南大学)
针对脑机接口整合多自由度增强指令时干扰自然运动的问题,提出触觉编码BCI利用触觉诱发P300范式,实现额外运动意图可靠解码,训练后不影响自然运动,可指挥额外机器人手臂辅助双任务。
2025-11-11 cs.RO
WareVR: Virtual Reality Interface for Supervision of Autonomous Robotic System Aimed at Warehouse Stocktaking
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院)
WareVR是一种基于虚拟现实(VR)应用的新型人机界面,可与异构机器人系统进行交互,以实现自动库存管理。我们创建了一个界面,以便从仓库中的一个隔离工作站远程监督自动机器人,这可能会在当前的COVID-19疫情期间受益,因为盘点是仓库中的一个必要和常规的过程,涉及一群人。建议的接口允许没有机器人经验的普通仓库工人控制由无人驾驶地面车辆(UGV)和无人驾驶飞行器(UAV)组成的异构机器人系统。WareVR在仓库的数字孪生中提供机器人系统的可视化,并通过机载无人机摄像头提供来自真实环境的实时视频流。使用WareVR界面,操作员可以进行不同级别的盘点,远程监控库存过程,并远程操作无人机进行更详细的检查。此外,开发的界面包括无人机的远程控制,用于直观和直接的人机交互与自主机器人进行盘点。基于VR的界面的有效性进行了评估,通过用户研究中的“视觉检查”的情况。
2021-10-21 cs.HC cs.RO
Use of Python and Phoenix-M Interface in Robotics
Vikas Publishing House Pvt Ltd(维卡斯出版私人有限公司)
在本文中,我将展示如何使用Python编程与计算机接口,如凤凰-M 1驱动简单的机器人。在我对人工智能(AI)的探索中,我正在机器人技术中尝试许多不同的可能性。这一个将尝试模仿一个简单的昆虫的神经系统的工作使用硬布线和一些最小的软件使用。这是我的先进机器人技术和人工智能集成的先驱,我计划通过知识反馈和更新过程使用基于机器学习和自我意识的人工智能新范式。
2010-12-31 cs.AI cs.RO
R4: rapid reproducible robotics research open hardware control system
School of Engineering and Physical Science, University of Lincoln(林肯大学工程与物理科学学院)
针对机器人中间件与物理电机接口的复杂性问题,提出R4开源硬件控制系统,通过OSH印刷电路板对接Arduino Giga和开源硬件组件,支持ROS2,可构建标准化、完全可复现的开源机器人研究平台。
2025-06-29 cs.RO
Design and Evaluation of an Assisted Programming Interface for Behavior Trees in Robotics
本文提出BETR-GUI,结合AI助手与拖放编辑器,通过整合多种技术提升机器人行为树编程效率,实验证明人类用户优于纯AI助手。
2026-02-10 cs.RO
One Interface, Many Robots: Unified Real-Time Low-Level Motion Planning for Collaborative Arms
Robotics Research Center (RRC), Nanyang Technological University(南洋理工大学机器人研究中心);WinGs Robotics LLC(WinGs 机器人有限责任公司)
本文提出一个统一的实时低级运动规划接口,用于协作机器人臂,旨在提高在异构硬件平台上的应用性和可移植性。通过n次多项式插值与二次规划求解器结合,生成平滑连续可微的轨迹。在三个不同场景中验证了方法的可靠性、通用性和易用性。
2026-04-09 cs.RO
A Soft Robotic Interface for Chick-Robot Affective Interactions
Queen Mary University of London(伦敦玛丽女王大学);School of Biological and Behavioural Sciences, Queen Mary University of London(伦敦玛丽女王大学生物与行为科学学院)
本文提出了一种以动物为中心的柔软机器人情感接口,用于新生鸡的机器人情感互动研究,通过温度、呼吸样变形和面孔状视觉刺激等安全可控的提示,评估鸡对接口的接受度及与机器人互动。
2026-04-09 cs.HC cs.RO
SSI-Policy: Learning Structured Scene Interfaces for Vision-Language Robotic Manipulation
Southern University of Science and Technology(南方科技大学);Peng Cheng Laboratory(鹏城实验室);The University of Hong Kong(香港大学);LimX Dynamics
提出SSI-Policy框架,通过统一的结构化场景接口(SSI)联合编码单目深度、语言锚定的物体布局和指令条件化的2D运动轨迹,实现从少量演示中学习机器人操作,在LIBERO基准上仅用10个演示即提升15%性能。
2026-06-26 cs.RO
Gripper Keypose and Object Pointflow as Interfaces for Bimanual Robotic Manipulation
Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学);Zhejiang University(浙江大学);Peking University(北京大学)
本文提出PPI框架,通过集成夹爪关键姿态和物体点流接口与连续动作估计,提升双手操作的空间定位和轨迹灵活性,在模拟和真实实验中显著优于现有方法。
2025-04-24 cs.RO
Cable-driven robotic interface for lower limb neuromechanics identification
Imperial College of Science, Technology and Medicine(帝国理工学院);Queen Mary University of London(伦敦玛丽女王大学);University of Waterloo(滑铁卢大学);Toronto Rehabilitation Institute-University Health Network(多伦多康复研究所-大学健康网络);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文提出了一种通用的电缆驱动的机器人接口,调查髋关节,膝关节和踝关节的单关节神经力学。这种基于端点的接口提供了高度动态的交互和精确的位置控制,这通常是神经力学识别所需的。它可以与受试者直立使用,对应于行走或站立期间的自然姿势,并且与现有接口相比,不会对关节施加运动学约束。力学性能测试表明,该界面的硬度在500 N/m以上,粘度较低。利用刚性假腿和线性弹簧进行的实验表明,该方法能够准确地识别肢体的机械阻抗。一个光滑的扰动开发和测试与人类受试者,它可以用来估计髋关节神经力学。
2020-06-21 cs.RO cs.SY eess.SY
Brain-Computer Interface meets ROS: A robotic approach to mentally drive telepresence robots
University of Padova(帕多瓦大学);Politecnico di Milano(米兰理工大学);Istituto Italiano di Tecnologia (IIT)(意大利理工学院);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文展示和评估了一种新的方法,将非侵入性的脑机接口(BCI)与机器人操作系统(ROS)精神驱动的远程呈现机器人。通过使用人脑信号控制移动终端可能会改善患有严重身体残疾的人或无法再移动的老年人的生活质量。因此,由于与机器人的视频流连接,BCI用户能够与位于不同房间的亲戚和朋友积极互动。为了便于通过BCI控制机器人,我们探索了新的基于ROS的导航和避障算法,使系统更安全,更可靠。在这方面,机器人可以利用环境的两个地图,一个用于定位,一个用于导航,并且BCI用户也可以使用这两个地图来在机器人移动时观察机器人的位置。如实验结果所示,用户的认知工作量减少,减少了完成任务所需的命令数量,并帮助他/她保持注意力更长的时间。
2019-04-04 cs.RO
PIER: An Evidence-Gated Execution Interface for Robotic Manipulation
University of Washington(华盛顿大学);ZJU-UIUC Institute(浙江大学-伊利诺伊大学厄巴纳-香槟分校联合研究院)
针对机器人操纵中动作执行的观测依据问题,提出PIER证据门控执行接口,通过分离证据检查等模块并结合重新观测,在合成噪声等场景下优化了决策效果,同时明确了其局限性。
2026-10-09 cs.RO
Do Not Cut When Uncertain: Rejectable and Calibrated Decision Heads for VLA Policies in Robotic Harvesting
针对机器人采摘中VLA策略因遮挡导致的模糊决策问题,提出可拒绝且校准的决策头(RCDH),通过显式弃权(不执行)与校准机制,仅替换输出头即可提升分布外可靠性,证明拒绝权比模型规模更关键。
2026-09-29 cs.RO
Hybrid Paradigm-based Brain-Computer Interface for Robotic Arm Control
Korea University(高丽大学)
脑机接口(BCI)利用大脑信号与外部设备进行通信,而无需实际控制。特别地,BCI是用于控制机器人手臂的接口之一。在这项研究中,我们提出了一个基于知识蒸馏的框架,通过混合范式诱导脑电信号操纵机器人手臂,以供实际使用。教师模型的设计是为了对输入数据进行分层解码,并将知识传递给学生模型。为此,将软标签和蒸馏损失函数应用于学生模型训练。根据实验结果,学生模型取得了最好的性能中的单一架构为基础的方法。它被证实,使用分层模型和知识蒸馏,可以提高一个简单的架构的性能。由于不确定什么是知识转移,因此在未来的研究中澄清这一部分是重要的。
2022-12-14 cs.AI cs.HC cs.RO
Towards Accessible Robot Control: Comparing Kinesthetic Teaching, SpaceMouse Teleoperation, and a Mixed Reality Interface
Stanford University(斯坦福大学)
本研究比较了三种机器人控制方法,发现空间鼠标和混合现实接口表现相近,但任务复杂度增加时成功率下降,凸显了为非专家用户设计更高效可控的遥控系统的重要性。
2026-01-17 cs.RO
A wireless hand-held platform for robotic behavior control
自主机器人平台中对可定制属性的需求,例如老年人的家庭护理和人机控制界面的并行实现,创造了一个机会来引入部署在托管代码中运行机器人命令应用程序的常用移动设备的方法。本文将讨论一个人机界面,并演示了一个原型组成的移动终端运行可配置的应用程序与移动机器人通信使用托管,类型安全的语言,C#.NET,通过蓝牙。
2014-09-08 cs.HC cs.RO
ros2 fanuc interface: Design and Evaluation of a Fanuc CRX Hardware Interface in ROS2
Department of Innovative Technologies, University of Applied Science and Arts of Southern Switzerland (SUPSI)(创新技术系,瑞士南方应用科学与艺术大学)
本文设计并评估了ROS2中Fanuc CRX机器人的硬件接口,集成Moveit2,实验验证了轨迹跟踪与碰撞避免性能,代码开源。
2025-06-24 cs.RO
Shared-Control Robotic Manipulation in Virtual Reality
Monash University(莫纳什大学)
在本文中,我们提出了一个虚拟现实(VR)为基础的遥操作界面移动机器人机械手的实现细节。我们提出了一个迭代的人在回路设计,用户设置下一个任务空间的路径点的机器人的末端执行器和执行的物理机器人的行动之前,设置下一个路径点。来自机器人周围环境的信息以两种形式提供给用户:3D空间中的点云和投影在虚拟墙上的视频流。通过虚拟末端执行器的颜色将所选末端执行器姿态的可行性传达给用户。该接口被证明成功地工作的拾取和放置的情况下,然而,我们的试验表明,可以增加的互动和系统的自主水平的流畅性。
2022-05-21 cs.RO
Neurofeedback-Driven 6-DOF Robotic Arm: Integration of Brain-Computer Interface with Arduino for Advanced Control
Óbuda University(奥布达大学);Technical College-Alhawija, Northern Technical University(北方技术大学哈维贾技术学院)
针对残障人士日常活动控制难题,研究集成Emotive Insight脑机接口、Arduino控制器与HITI Brain软件,实现脑信号直接控制6自由度机械臂,验证了其在假肢及多类执行器中的应用潜力。
2024-10-29 cs.RO cs.SY eess.SY
BenchBot: Evaluating Robotics Research in Photorealistic 3D Simulation and on Real Robots
Queensland University of Technology(昆士兰科技大学)
我们介绍BenchBot,一种新颖的软件套件,用于在逼真的3D模拟和真实的机器人平台上对机器人研究的性能进行基准测试。BenchBot在解决机器人研究问题时为机器人的感觉运动能力提供了一个简单的接口;无论目标平台是模拟的还是真实的机器人,该接口都是一致的。在本文中,我们概述了BenchBot系统架构,并探讨其以用户为中心的设计和理想的研究开发过程中没有切线机器人工程的挑战之间的相似之处。本文介绍了使用BenchBot系统的研究优势,包括:增强的能力,只专注于研究问题,直接定量反馈,以告知研究开发,工具,用于获得综合性能特征,并提交格式,促进研究成果的可共享性和可重复性。BenchBot是公开的(http:benchbot.org),我们鼓励它在研究社区中的使用,以全面评估新型机器人算法的模拟和现实世界的性能。
2020-08-03 cs.RO
PyPose v0.6: The Imperative Programming Interface for Robotics
State University of New York at Buffalo(纽约州立大学布法罗分校);Pennsylvania State University(宾夕法尼亚州立大学);Carnegie Mellon University(卡内基梅隆大学);ZBL Co., Ltd.(ZBL有限公司);University of Melbourne(墨尔本大学);Nanyang Technological University(南洋理工大学);Georgia Institute of Technology(佐治亚理工学院);Northview High School(诺斯维尤高中)
本文介绍 PyPose v0.6 机器人学习库的命令式编程接口设计原则,通过 Dubins 小车示例展示其功能,并验证其能以极简代码导航真实四足机器人。
2023-09-22 cs.RO
CoVR: A Large-Scale Force-Feedback Robotic Interface for Non-Deterministic Scenarios in VR
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);ISIR(智能系统与机器人研究所);ISCD(复杂系统数字化研究所)
我们提出了CoVR,一种新型的机器人接口,在房间规模的VR舞台上提供强大的动觉反馈(100 N)。它由安装在2D笛卡尔天花板机器人(XY位移)上的物理柱组成,该机器人具有以下能力:(1)抵抗身体缩放的用户的动作,例如推动或倾斜;(2)通过拉动或运输用户来作用于用户,以及(3)携带多个潜在的重物(高达80公斤),用户可以自由操纵或相互交互。我们描述了它的实现,并定义了一个轨迹生成算法的基础上,一个新的用户意图模型,以支持非确定性的情况下,用户可以自由地与任何感兴趣的虚拟对象进行交互,而不考虑的情况下的进展。一项技术评估和一项用户研究证明了CoVR的可行性和可用性,以及涉及强力的全身相互作用的相关性,例如被拉过或运输。
2020-09-15 cs.HC cs.RO
Passively Addressed Robotic Morphing Surface (PARMS) Based on Machine Learning
Purdue University(普渡大学)
可重构变形表面为先进的人机界面和仿生机器人技术提供了新的机会。根据需要变形为任意表面需要具有足够大数量的致动器的设备和可以计算实现目标表面所需的致动器激励的逆控制策略。变形曲面的可编程性可以通过增加独立致动器的数量来提高,但这增加了控制系统的复杂性。因此,开发紧凑和高效的控制接口和控制算法是在广泛的应用中采用变形曲面的关键知识差距。在这项工作中,我们描述了一个被动寻址的机器人变形表面(PARMS)矩阵排列的离子致动器组成。为了降低物理控制接口的复杂性,我们引入了无源矩阵寻址。矩阵寻址允许仅使用2N个控制输入来控制独立致动器,这显著低于传统直接寻址所需的控制输入。我们的控制算法是基于机器学习使用有限元模拟作为训练数据。这种机器学习方法允许实时的高精度的正向和反向控制。逆控制演示表明,PARMS可以动态变形成任意预定义的表面上的需求。致动器矩阵控制中的这些创新可能使PARMS在可穿戴设备、触觉和增强现实/虚拟现实(AR/VR)中的未来实现成为可能。
2023-02-24 cs.RO
A Subject-Specific Four-Degree-of-Freedom Foot Interface to Control a Robot Arm
Nanyang Technological University(南洋理工大学);Imperial College of Science Technology and Medicine(帝国理工学院)
在机器人手术中,外科医生使用专用接口控制机器人器械。当前接口的一个关键限制是它们被设计成仅由手操作。这意味着外科医生一次最多只能控制两个机器人器械,而许多介入手术需要三个器械。本文介绍了一种新的四自由度的脚机接口,它允许外科医生控制第三个机器人仪器使用的脚,给外科医生的“第三只手”。该接口本质上是具有弹簧和力传感器的并-串混合机构。与现有的基于开关的接口只能在离散方向上非直观地生成运动不同,该接口允许在连续方向和速度上直观地控制从机械臂,自然地将脚部运动与动态力和位置反馈相匹配。进行了一个实验,10个天真的主题,以测试该系统。鉴于受试者之间的运动模式的显着差异,使用独立分量分析(ICA)开发了从足部运动到命令输出的受试者特定映射。结果表明,ICA方法能够准确识别受试者的足部运动模式,与基于正运动学的方法相比,运动方向的预测准确率从68%显著提高到88%.这种脚机接口可以应用于工业/手术机器人的遥操作独立或协调手在未来。
2019-02-13 cs.HC cs.RO
An Open and Reconfigurable User Interface to Manage Complex ROS-based Robotic Systems
Tampere University(坦佩雷大学);University of Vigo(维戈大学)
本文提出一种基于Web的可重构GUI,利用ROSBridge和roslibjs实现对复杂ROS机器人系统的直观控制、监控与配置,并通过四个工业用例验证其适应性,以降低ROS工业应用门槛。
2024-06-04 cs.RO cs.SY eess.SY