Evaluating Multimodal Interaction of Robots Assisting Older Adults
University of Illinois Chicago(伊利诺伊大学芝加哥分校);California State University Channel Islands(加州州立大学海峡群岛分校)
我们概述了我们在评估机器人方面的工作,这些机器人通过包括物理互动在内的多种方式与老年人进行互动。我们的论点是,为了提高辅助机器人的有效性:1)机器人需要理解和实现多模态动作,2)机器人不仅应该对人类做出反应,而且需要在必要时采取主动并领导任务。我们首先简要介绍我们提出的多模态交互框架,然后描述两个不同的实验与实际的机器人。在第一个实验中,Baxter机器人使用多模式交互管理器(MIM)框架帮助人类找到并定位对象。在第二个实验中,NAO机器人被用于相同的任务,但是,机器人和人类的角色被颠倒。我们讨论了在这些实验中使用的评估方法,包括不同的指标,用于表征在每种情况下的机器人的性能。最后,我们提供了我们的观点的挑战和机会,为老年人在现实环境中的辅助机器人的评估。
2022-12-20 cs.RO
Establishing a Dynamic Multimodal HRI Dataset for Engagement Analysis with a Humanoid Robot
Incheon National University(仁川国立大学)
本文提出一种结构化数据采集协议,构建含可穿戴生理信号等数据的多模态数据集,用于分析人形机器人HRI中的用户参与度,弥补现有研究未充分整合生理信号的不足。
2026-09-04 cs.RO
Validating Virtual Reality for Studying Multimodal Human-Robot Interaction in Socially Aware Robot Navigation
LAAS-CNRS, Universite de Toulouse(法国国家科学研究中心图卢兹分部,图卢兹大学);Inria Nancy(法国国家信息与自动化研究所南锡分部)
研究VR在社交感知机器人导航中研究多模态人机交互的适用性,通过受试者内研究,让参与者在现实与VR环境中与机器人交互,结果显示VR能捕捉交互行为,可成为研究多模态行为的可靠灵活平台。
2026-07-13 cs.RO
A Concise Overview of Safety Aspects in Human-Robot Interaction
Technical University of Munich(慕尼黑工业大学);Munich Institute of Robotics and Machine Intelligence(慕尼黑机器人与机器智能研究院)
本文针对人机交互中的安全核心问题,提出一种融合物理与认知层面的多层安全架构,将人的因素和感知安全作为高层约束,以支持机器人在多种场景下的安全认证。
2023-09-18 cs.RO
Representing Multi-Robot Structure through Multimodal Graph Embedding for the Selection of Robot Teams
Colorado School of Mines(科罗拉多矿业学院);U.S. Army Research Laboratory(美国陆军研究实验室)
多机器人系统的规模和复杂性不断增加,用于解决大规模的问题,如区域勘探和搜索和救援。人机协作中的一个关键决策是将多机器人系统分成多个团队,以解决单独的问题或在大区域内完成任务。为了解决多机器人系统中的团队选择问题,提出了一种新的多模态图嵌入方法来构建一个融合多种信息模态的统一表示,以描述和划分多机器人系统。关系模态被编码为有向图,该有向图可以编码非对称关系,该非对称关系被嵌入到每个机器人的统一表示中。然后,构造的多模态表示用于确定基于无监督学习的团队。我们进行实验,以评估我们的方法专家定义的团队编队,大规模的模拟多机器人系统,和系统的物理机器人。实验结果表明,该方法基于多机器人系统的多层次内部结构,成功地确定了正确的团队,优于基于单一信息模式的基线方法和其他基于图嵌入的划分方法.
2020-04-07 cs.RO
Prioritized Hierarchical Compliance Control for Dual-Arm Robot Stable Clamping
Ubtech Robotics Corp.(优必选机器人公司);Tsinghua University(清华大学);Beijing Innovation Center for Future Chips, Tsinghua University(清华大学北京未来芯片创新中心)
双臂机器人在人为环境中夹持刚性物体时,环境或协作的人会对被夹持物体或机器人手臂施加偶然的扰动,导致夹持失败,损坏机器人甚至伤害人。本研究提出一种优先阶层式顺应性控制,以同时处理双臂机器人夹持中的两种干扰。首先,我们使用分层二次规划(HQP)来解决机器人的逆运动学关节约束下,并优先考虑的对象上的干扰比在机器人手臂上的顺应性。其次,我们估计整个动量观测器与F/T传感器的干扰力,并采用导纳控制来实现顺应性。最后,我们进行了验证实验的14-DOF位置控制双臂机器人WalkerX,稳定夹持刚性物体,同时实现对干扰的顺应性。
2021-12-20 cs.RO
Zenbo Patrol: A Social Assistive Robot Based on Multimodal Deep Learning for Real-time Illegal Parking Recognition and Notification
National Chengchi University(国立政治大学)
本研究开发社交辅助机器人Zenbo Patrol,采用GPT-4o多模态模型实现无预处理的高准确率车牌识别与违停判定,检测到违停时即时通过Line通知管理员,可应用于室内停车场场景。
2025-10-05 cs.RO
Underactuated multimodal jumping robot for extraterrestrial exploration
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究提出了一种欠驱动单足机器人,通过两个控制器实现滚动、跳跃和着陆,适用于低重力环境下的多模态探索。
2026-03-06 cs.RO
Development of a Human-Robot Interaction Platform for Dual-Arm Robots Based on ROS and Multimodal Artificial Intelligence
Trường Đại học Công Nghệ - Đại học Quốc gia Hà Nội(河内国家大学科技大学)
本文开发了基于ROS和多模态AI的双臂机器人人机交互平台,实现高精度操作、物体抓取分类及语音控制,实验验证了系统准确性与灵活性。
2024-11-08 cs.RO
Whole-Body Trajectory Optimization for Robot Multimodal Locomotion
Istituto Italiano di Tecnologia(意大利技术研究院);University of Manchester(曼彻斯特大学)
本文提出一种统一生成地面与空中运动的全身轨迹优化方法,结合质心动量与驱动模型,并使用飞行仿人机器人iRonCub验证了方法有效性。
2022-11-23 cs.RO
A Multimodal Stochastic Planning Approach for Navigation and Multi-Robot Coordination
Johns Hopkins University(约翰霍普金斯大学)
本文提出一种基于采样的滚动时域多模态随机规划器,通过交叉熵方法优化多模态策略,提升鲁棒性与探索能力,可扩展至多机器人无碰撞规划,经数值模拟和硬件实验验证其在陷阱环境、多机器人避障中的效果及实时性。
2025-09-23 cs.RO
An End-to-End Human Simulator for Task-Oriented Multimodal Human-Robot Collaboration
University of Illinois Chicago(伊利诺伊大学芝加哥分校);California State University Channel Islands(加州州立大学海峡群岛分校)
本文提出一种基于神经网络的多模态用户模拟器,支持语言、手势和触觉等多种通信模式训练强化学习智能体,并引入数据增强方法解决数据集有限的挑战,助力家庭辅助机器人开发。
2023-04-02 cs.RO
ERR@HRI 2024 Challenge: Multimodal Detection of Errors and Failures in Human-Robot Interactions
Politecnico di Milano(米兰理工大学);University of Cambridge(剑桥大学);Cornell University(康奈尔大学);Johns Hopkins University(约翰斯·霍普金斯大学);Cankaya University(恰卡亚大学);Cornell Tech(康奈尔科技学院)
ERR@HRI 2024提供含面部、语音和姿态特征的机器人失败多模态基准数据集,推动模型检测机器人错误、用户尴尬与交互破裂。
2024-07-08 cs.RO
Visual Proactivity: Enhancing Human-Robot Collaboration Through Intent Communication
Institut de Robotica y Informatica Industrial (CSIC-UPC)(工业机器人信息研究所(CSIC-UPC));Universitat Politecnica de Catalunya - BarcelonaTech (UPC)(加泰罗尼亚理工大学)
本文提出视觉主动性方法,通过视觉反馈让机器人主动沟通意图,在人机交接场景中验证其能增强透明度和协作流畅性。
2026-09-21 cs.RO
Planning Multimodal Exploratory Actions for Online Robot Attribute Learning
State University of New York at Binghamton(纽约州立大学宾汉姆顿分校);Tufts University(塔夫茨大学)
机器人经常需要感知物体属性,如“红色”,“重”和“空”,使用多模态探索性动作,如“看”,“举”和“摇”。“机器人属性学习算法的目标是在给定探索性动作的情况下为每个可感知属性学习观察模型。一旦学习了属性模型,它们就可以用来识别新对象的属性,回答诸如“这个对象是红色和空的吗?“属性学习和识别在文献中被视为两个独立的问题。在本文中,我们首先定义了一个新的问题,称为在线机器人属性学习(On-RAL),机器人的工作属性学习和属性识别同时进行。然后,我们开发了一种算法,称为信息理论奖励塑造(ITRS),积极解决探索和开发之间的权衡在RAL问题。将ITRS与竞争机器人属性学习基线进行了比较,实验结果表明ITRS在学习效率和识别精度方面具有优势。
2021-06-08 cs.RO
REFLEX Dataset: A Multimodal Dataset of Human Reactions to Robot Failures and Explanations
KTH Royal Institute of Technology(皇家理工学院);Lancaster University(兰卡斯特大学)
本文构建多模态数据集 REFLEX,通过标注人类在协作场景中对不同机器人故障、解释层次及策略变化的反应,支持长期人机交互动态研究。
2025-02-20 cs.RO
When Robots Get Chatty: Grounding Multimodal Human-Robot Conversation and Collaboration
University of Hamburg(汉堡大学)
本文提出一种模块化方法,将大语言模型与物理机器人感知及多种深度学习模型集成,实现开放式人机对话与协作,并验证了其在自然社交交互中的潜力。
2024-06-29 cs.RO
Anticipating Human Behavior for Safe Navigation and Efficient Collaborative Manipulation with Mobile Service Robots
University of Bonn(波恩大学)
本文利用智能边缘传感器网络预测人类行为,提出轨迹投影和意图预测方法,实现移动服务机器人的安全导航与高效协作操作。
2025-09-15 cs.RO
Towards Language-Based Modulation of Assistive Robots through Multimodal Models
Center for Information and Language Processing (CIS)(信息与语言处理中心(CIS));Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML));Munich Institute of Robotics and Machine Intelligence (MIRMI)(慕尼黑机器人与机器智能研究所(MIRMI));Technical University Munich (TUM)(慕尼黑工业大学(TUM))
本研究旨在通过多模态模型实现基于语言的辅助机器人实时调控,利用语言线索和视觉参考提升人机交互的透明度与灵活性,推动Geriatronics领域交互式机器人系统的发展。
2023-06-27 cs.RO
Maximal Adaptation, Minimal Guidance: Permissive Reactive Robot Task Planning with Humans in the Loop
Yale University(耶鲁大学);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
本文提出一种人机逻辑交互框架,通过最大适应与最小引导的平衡,使机器人在满足时序任务的同时与人类有效协作,并在真实和基准任务中验证了涌现性合作行为。
2025-10-14 cs.RO
M2HRI: An LLM-Driven Multimodal Multi-Agent Framework for Personalized Human-Robot Interaction
University of Virginia(弗吉尼亚大学)
提出M2HRI框架,通过个性、长期记忆和情境化协调机制赋予每个机器人独特身份,实验表明该方法能提升交互自然性和协调性。
2026-06-23 cs.RO
Learning to Plan in Human-Robot Collaboration: Multimodal Reinforcement Learning for Adaptive Interaction
University of Illinois Chicago(伊利诺伊大学芝加哥分校);California State University Channel Islands(加州州立大学海峡群岛分校)
本文提出一种强化学习方法,自动生成机器人在家庭环境中协助用户定位物体的多模态交互策略,实验表明该方法具有高可用性和可扩展性。
2026-09-23 cs.RO
Multimodal feedback for active robot-object interaction
Tamagawa University(玉川大学);Advance Intelligence and Robotics Research Center(高级智能与机器人研究中心)
在这项工作中,我们提出了一个多模态系统,使用基于激光的SLAM,RGBD图像和接触传感器的主动机器人与物体的互动。在物体操作任务中,机器人通过RGBD数据调整其相对于障碍物和目标物体的初始姿态,以便在避免碰撞的同时在不同的配置空间中执行物体抓取,并使用手中的接触传感器更新与操作过程的最后步骤相关的信息。根据RoboCup 2018国际比赛规则,我们进行了一系列实验来评估所提出的系统的性能。我们将我们的方法与一些基线进行比较,即无反馈方法和仅视觉和仅挣扎反馈方法,其中我们提出的视觉和触觉反馈方法表现最好。
2018-09-10 cs.RO
Multimodal Gaze Stabilization of a Humanoid Robot based on Reafferences
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
凝视稳定是人形机器人的基础。通过稳定视觉,它增强了对环境的感知,并将兴趣点保持在视野中。在这方面的贡献,多模态凝视稳定相结合的经典逆运动控制与前庭眼和视动反射。受神经科学的启发,它实现了一个前向模型,可以根据反射原理调节反射。这一原理将自发运动从自反反馈回路中过滤出来。在Armar-III人形机器人上的实验验证了该方法的通用性和有效性。它首先表明,每个稳定机制(逆运动学和反射)执行比其他作为一个函数的扰动类型稳定。此外,通过反射组合这三种模态提供了可以处理任何种类的扰动的通用注视稳定器。
2017-03-01 cs.RO
Ground Penetrating Radar-Assisted Multimodal Robot Odometry Using Subsurface Feature Matrix
Civil Aviation University of China(中国民航大学);Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学)
本研究提出一种融合探地雷达、IMU和轮式编码器的多模态机器人里程计方法,通过地下特征矩阵处理GPR噪声并匹配特征,经因子图融合后在CMU-GPR数据集上实现了精度、鲁棒性提升和实时性能。
2025-03-24 cs.RO
A Modern System Recipe for Situated Embodied Human-Robot Conversation with Real-Time Multimodal LLMs and Tool-Calling
本文提出了一种结合实时多模态大语言模型与工具调用的系统配方,用于提升情境具身人机对话的交互质量与效率。
2026-02-04 cs.RO
Effect of Human Involvement on Work Performance and Fluency in Human-Robot Collaboration for Recycling
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
由于可回收产品的组成变化很大,人机协作在回收方面具有巨大的潜力。六名参与者与配备视觉系统的机器人手臂合作执行可回收物品分类任务。三个不同级别的人类参与或协助机器人(1级-闭塞消除; 2级-最佳间距; 3级-最佳抓地力)的性能指标,如机器人的准确性,任务时间和主观流畅性的影响进行了评估。结果表明,人类参与对机器人的准确性有显着的影响,这增加了人类参与水平。水平1的平均准确度值为33.3%,水平2为69%,水平3为100%。结果表明,对于涉及大小、形状和成分不同的各种材料的分拣过程,人工辅助可以在很大程度上提高机器人的准确性,同时也具有成本效益。
2022-01-20 cs.RO
Multimodal Sensing for Robot-Assisted Sub-Tissue Feature Detection in Physiotherapy Palpation
Stanford University(斯坦福大学);Symbiokinetics Inc(Symbiokinetics公司)
本研究提出多模态传感器用于机器人辅助物理治疗中亚组织特征的检测,结合触觉成像与力矩传感器以提高检测精度和触诊控制。
2026-03-02 cs.RO
Navigate-and-Seek: a Robotics Framework for People Localization in Agricultural Environments
University of Lincoln(林肯大学);Saga Robotics(萨迦机器人公司);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
农业领域提供了一个工作环境,许多人类劳动力现在被雇用来维护或收获作物,通过引入机器人自动化,生产力提高的潜力巨大。然而,在这样的环境中可靠而准确地检测和定位人类是移动机器人与人类工人合作提供许多服务的先决条件。因此,在本文中,我们扩展了拓扑粒子滤波器(TPF)的概念,以准确和单独地定位和跟踪农场环境中的工人,整合来自异构传感器的信息,并结合本地主动传感(采用下一个最佳感知规划方法利用机器人的机载传感)和全球定位(使用负担得起的物联网GNSS设备)。我们验证了所提出的方法在拓扑结构中创建的机器人车队的部署,以支持水果采摘在一个真正的农场环境。通过结合多传感器的观察拓扑水平上的主动感知,通过NBS的方法,我们表明,我们可以提高采摘定位的准确性相比,以前的工作。
2021-07-08 cs.RO
Enhancing Multi-Robot Semantic Navigation Through Multimodal Chain-of-Thought Score Collaboration
Zhixuan Shen, Haonan Luo, Kexun Chen, Fengmao Lv, Tianrui Li(作者)
针对家庭服务多机器人系统探索效率低、通信成本高的问题,提出多模态思维链协同导航(MCoCoNav)方法,结合VLMs与全局语义图实现高效协作导航,在HM3D_v0.2和MP3D上验证了有效性。
2025-08-26 cs.RO
Multimodal Safe Control for Human-Robot Interaction
Carnegie Mellon University(卡内基梅隆大学)
针对离散模式及模式内均存在不确定性的人机交互场景,提出基于能量函数的MMSSA安全控制器,在不降低效率的同时提升安全性。
2024-07-01 cs.RO
Feasibility-aware Imitation Learning from Observation with Multimodal Feedback
Division of Information Science, Graduate School of Science and Technology, Nara Institute of Science and Technology (NAIST)(信息科学系,科学技术研究生院,科学与技术国立研究所(NAIST))
FABCO通过整合基于观察的行为克隆与可行性估计,提升模仿学习性能,使机器人能稳定执行策略。
2026-02-17 cs.RO
OpenRoboCare: A Multimodal Multi-Task Expert Demonstration Dataset for Robot Caregiving
针对机器人照护领域缺乏大规模专家演示数据集的问题,本文构建多模态多任务数据集OpenRoboCare,采集职业治疗师的ADL任务演示,为辅助照护机器人研发提供数据支撑与策略参考。
2025-11-17 cs.RO
MORPHeus: a Multimodal One-armed Robot-assisted Peeling System with Human Users In-the-loop
Cornell University(康奈尔大学)
针对机器人辅助削皮任务现有研究不足、双臂部署难度大的问题,提出了名为MORPHeus的单臂机器人辅助削皮系统,结合多模态感知、人在环规划和柔顺控制,在12种特征差异较大的食物上完成了验证。
2024-05-12 cs.RO
Advantages of Multimodal versus Verbal-Only Robot-to-Human Communication with an Anthropomorphic Robotic Mock Driver
Centre for Applied Autonomous Sensor Systems (AASS)(应用自主传感器系统中心(AASS));Örebro University(厄勒布鲁大学);Robert Bosch GmbH(罗伯特·博世有限公司);University of Skövde(舍夫德大学);TU Munich(慕尼黑工业大学)
本文提出拟人化机器人模拟驾驶员ARMoD,通过实验比较多模态与纯语言通信,证明结合注视和手势的多模态方式能提升意图识别、自然注视行为与协作反应速度,并改善人机社会互动。
2023-07-03 cs.RO
Multimodal Sensing and Interaction for a Robotic Hand Orthosis
Columbia University(哥伦比亚大学)
可穿戴机器人手部康复设备可以比它们的类似工作站的对应物允许更大的自由度和灵活性。然而,该领域通常缺乏用户可以操作设备的有效方法:这种控制必须有效、直观并且对广泛的可能损伤模式是鲁棒的。即使在关注特定状况(例如中风)时,所遇到的上肢损伤模式的多样性也意味着单个感测模态(例如肌电图(EMG))可能不足以实现对广泛范围的用户的控制。为了解决这一重大差距,我们介绍了一个多模态传感和互动的积极的手矫形器的范例。在我们的概念验证实施中,EMG由其他传感模式补充,例如手指弯曲和接触压力传感器。我们提出了多模态的互动方法,利用这种感觉数据作为输入,并显示他们可以使中风幸存者表现出不同的损伤模式的任务。我们相信,机器人手矫形器开发的多模式的感觉平台,帮助解决一些关键的挑战,在与用户的物理交互。
2018-12-18 cs.RO
OpenRC: An Open-Source Robotic Colonoscopy Framework for Multimodal Data Acquisition and Autonomy Research
Walker Department of Mechanical Engineering, The University of Texas at Austin(德克萨斯大学奥斯汀分校沃克机械工程系);Department of Surgical Oncology, Division of Surgery, The University of Texas MD Anderson Cancer Center(德克萨斯大学MD安德森癌症中心外科肿瘤学系);School of Medicine and Health, Technical University of Munich(慕尼黑工业大学医学与健康学院)
OpenRC框架通过整合开源硬件和多模态数据集,为机器人结肠镜和手术自主性研究提供了可重复的基础,支持同时记录视频、操作指令、执行状态和末端位置,并验证了运动一致性和跨模态延迟。
2026-08-14 cs.RO
Multimodal Learning of Soft Robot Dynamics using Differentiable Filters
Arizona State University(亚利桑那州立大学);Kyushu Institute of Technology(九州工业大学)
本文提出α-MDF,一种基于注意力的多模态可微滤波器,通过注意力机制学习多模态潜在表示,实现软体机器人精确状态估计,实验显示误差降低高达45%。
2023-11-12 cs.RO
Multimodal Behaviour Trees for Robotic Laboratory Task Automation
University of Liverpool(利兹大学)
针对实验室机器人任务执行可靠性问题,提出基于多模态感知的行为树方法,在封盖和插入任务中实现高成功率与强错误检测能力,验证了该方法在安全关键环境中的鲁棒性。
2025-06-25 cs.RO
BronchoCopilot: Towards Autonomous Robotic Bronchoscopy via Multimodal Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文提出多模态强化学习智能体BronchoCopilot,融合支气管镜图像与机器人位姿并结合重建、注意力和分阶段训练,实现高成功率的自主支气管镜操控。
2024-03-03 cs.RO
On Improving Multimodal Pedestrian Trajectory Prediction with CVAE: A Study on Benchmark and Robot Data
Dept. Intelligent Transport Systems, Johannes Kepler University Linz(智能交通系统系,约翰·凯撒大学林茨)
本文提出基于Social-STGCNN的CVAE概率模型,以改进多模态行人轨迹预测,通过在基准数据集和真实机器人数据集上的评估,展示了方法在不同人群配置下的端点准确性和轨迹多样性改进。
2026-05-18 cs.RO
CLAMP: Crowdsourcing a LArge-scale in-the-wild haptic dataset with an open-source device for Multimodal robot Perception
Cornell University(康奈尔大学);Horace Mann School(霍拉曼学校)
CLAMP通过开源设备收集大规模真实场景触觉数据集,训练多模态触觉编码器,实现材料识别和机器人操作任务的泛化能力。
2026-01-12 cs.RO
HINT-Blimp: Human INTent Inference from Multimodal Cues for Robotic Blimps
Lehigh University(理海大学);Swarthmore College(斯沃斯莫尔学院);University of Pennsylvania(宾夕法尼亚大学)
本文提出一种基于多模态稀疏信号(推力与语音)的人机交互框架,利用参数化线性动态系统和粒子滤波在线推断人类意图,并在机器人飞艇上验证,300次试验中86%在五次交互内识别目标,并能生成避障轨迹。
2026-09-29 cs.RO
Glance-Say: Multimodal Human-Robot Collaboration and Intent Recognition via Sticky Glance
University of Tuebingen(图宾根大学);Nanyang Technological University(南洋理工大学);Mercedes-Benz(梅赛德斯-奔驰)
针对运动障碍者,本文提出多模态交互框架,用粘性注视算法稳定基于注视的意图,引入注视-语音交互范式及共享控制方案,实验表明其在目标跟踪、选择精度及任务时长上效果更佳。
2026-07-07 cs.RO
Language and Sketching: An LLM-driven Interactive Multimodal Multitask Robot Navigation Framework
ShanghaiTech University(上海科技大学);Harbin Institute of Technology(哈尔滨工业大学);University of Shanghai for Science and Technology(上海理工大学);The University of Manchester(曼彻斯特大学);University College London(伦敦大学学院)
提出由LLM驱动的交互式多模态多任务机器人导航框架LIM2N,通过语言和手绘输入作为导航约束,结合强化学习智能体处理多任务,实现多模态输入推理、多任务规划与智能感知模块的协同,提升了用户需求理解与交互体验。
2024-03-21 cs.RO
Robustifying Long-term Human-Robot Collaboration through a Multimodal and Hierarchical Framework
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本文针对长期人机协作中的识别、鲁棒性、效率与适应性等挑战,提出一种融合视觉和语音的多模态分层框架,并在KINOVA GEN3机器人上验证其可缩短15.9%任务时间、达到91.8%成功率和84%用户满意度。
2025-02-03 cs.RO
ViPSim: Collaborating Visual and Parameter Spaces for Consistent Long-Horizon Embodied World Models
Huawei Technologies Co., Ltd.(华为技术有限公司);Huazhong University of Science and Technology(华中科技大学)
提出ViPSim框架,通过协同视觉空间(显式空间先验)和参数空间(数值驱动)解决长时程视频生成中的轨迹漂移和不一致问题,实现高保真具身世界模型。
2026-06-27 cs.CV cs.RO
MultiPhysio-HRC: Multimodal Physiological Signals Dataset for industrial Human-Robot Collaboration
ARM-Lab, SUPSI(ARM实验室,SUPSI);Faculty of Informatics, USI(信息学院,USI);Bitbrain;Universidad de Zaragoza(萨拉戈萨大学)
本文提出面向工业人机协作的多模态生理信号数据集MultiPhysio-HRC,涵盖多类生理、音频及面部数据,结合多场景采集与心理问卷标注,经基线模型验证可支撑情感计算与人类感知机器人相关研究,目前已公开。
2025-10-01 cs.RO
Reconfigurable Manipulator Simulation for Robotics and Multimodal Machine Learning Application: Aaria
Tampere University of Technology(坦佩雷理工大学)
本文提出了一种系统的方法来产生的Aaria,一个仿真模型的串联机械手的运动学或动态分析的目的与各种各样的结构的基础上Simulink SimMechanics。所提出的模型可以接收配置参数,例如根据修改后的Denavit-Hartenberg公约,或其基础或关节的轨迹与1至6自由度(DOF)的结构。机械手配备了人工关节传感器以及模拟惯性测量单元(IMU)的每个环节。仿真输出可以是关节空间中的位置、速度、扭矩或IMU输出;角速度、线加速度、相对于惯性系的工具坐标。该仿真模型是用于机器人建模和控制自动化的虚拟多模态传感数据的数据集的来源,该数据集被设计用于基于大数据的机器学习和深度学习方法。
2018-03-01 cs.RO
RGMP: Recurrent Geometric-prior Multimodal Policy for Generalizable Humanoid Robot Manipulation
RGMP通过结合几何-语义推理与递归高斯适应,实现了高效的人形机器人多模态操作控制。
2025-12-24 cs.RO
RABBIT: A Robot-Assisted Bed Bathing System with Multimodal Perception and Integrated Compliance
Cornell University(康奈尔大学)
本文提出RABBIT机器人辅助卧床洗浴系统,结合多模态感知与软硬件柔顺性,实现安全舒适的人机交互,并通过用户研究验证其有效性与舒适度。
2025-04-23 cs.RO
Robust Task Planning for Assembly Lines with Human-Robot Collaboration
Carnegie Mellon University(卡内基梅隆大学)
高效和鲁棒的人机协作(HRC)系统的任务规划仍然具有挑战性。人类感知的任务规划器需要将工作分配给机器人和人类工人,以便他们可以协同工作,以实现更好的时间效率。然而,任务的复杂性和人类合作者的随机性给这种任务规划带来了挑战。为了降低规划问题的复杂性,我们利用层次任务模型,它明确地捕捉任务的顺序和并行关系。我们用sigma-lognormal函数来模拟人体运动,以考虑人为引起的不确定性。在运行时,应用人类行为模型自适应计划,它提供了一个措施,人为引起的不确定性建模。我们提出了一种基于抽样的方法来估计人类的工作完成时间的不确定性。接下来,我们提出了一个强大的任务规划器,制定规划问题作为一个强大的优化问题,考虑任务结构和不确定性。我们进行模拟的机器人手臂与人类工人在电子装配设置。结果表明,我们提出的规划器可以减少任务完成时间时,人为引起的不确定性发生相比,基线规划器。
2022-04-17 cs.RO
A Multimodal Data Set of Human Handovers with Design Implications for Human-Robot Handovers
KTH Royal Institute of Technology(瑞典皇家理工学院)
本研究通过26名参与者的实验创建了一个包含8672次交接的多模态数据集,分析了物体重量和视觉输入对人类交接的影响,并基于此开发了数据驱动的机器人抓握释放策略,提升了人机交接效果。
2023-04-04 cs.RO
Multimodal representation models for prediction and control from partial information
Imperial College London(帝国理工学院)
与人类类似,机器人通过许多不同的传感器模式(如视觉,触觉,声音)与环境进行交互。然而,从不同的传感器模态学习是困难的,因为学习模型必须能够处理不同类型的信号,并且即使在传感器输入的部分丢失时也能够学习相干表示。在本文中,提出了一种多模态变分自编码器,使iCub人形机器人学习表示其sensorimotor能力从不同的传感器模态。该模型能够(1)重建缺失的感觉通道,(2)预测自我的感觉运动状态和其他智能体动作的视觉轨迹,(3)控制智能体模仿观察到的视觉轨迹。此外,所提出的多模态变分自编码器可以通过学习的概率分布捕获机器人运动的运动冗余。由于丢失模态的可能性所带来的组合复杂性,训练多模态模型并不是微不足道的。我们提出了一种策略,训练多模态模型,成功地实现了不同的重建模型的性能提高。最后,使用iCub人形机器人进行了广泛的实验,在多个重建,预测和模仿任务中表现出高性能。
2019-10-09 cs.RO