Robot Tactile Gesture Recognition Based on Full-body Modular E-skin
Northeastern University(东北大学)
本文提出一种基于模块化电子皮肤和等变图神经网络的机器人触觉手势识别方法,将戳、抓、抚摸、双拍等手势映射为机器人动作,实现直观人机交互。
2025-06-23 cs.RO
Gesture-Based Robot Control Integrating Mm-wave Radar and Behavior Trees
Aalto University(阿alto大学);National Research Council of Italy(意大利国家研究理事会)
本文提出一种集成毫米波雷达与行为树的手势控制机械臂系统,将手势识别与机器人控制统一到实时流水线中,实现非接触、高精度的机器人操作。
2025-09-15 cs.RO
Communicating human intent to a robotic companion by multi-type gesture sentences
Czech Technical University in Prague(布拉格捷克理工大学);Czech Institute of Informatics, Robotics, and Cybernetics(捷克信息学、机器人与控制论研究所)
提出手势伪语言结合CosyPose与行为树,实现多类型手势向机器人传达意图并支持操作模式切换,使7自由度机械臂执行时间降低60%。
2023-03-08 cs.RO
Co-speech gestures for human-robot collaboration
Tampere University(坦佩雷大学)
本文提出一种结合语音与手势的多模态模型,用于人机协作中的任务分配,并在真实工业场景中验证其比单一模态工具更易实现且协作效果更优。
2023-11-30 cs.RO
Hand Gesture Recognition for Collaborative Robots Using Lightweight Deep Learning in Real-Time Robotic Systems
Institut Teknologi Sepuluh Nopember(泗水理工学院)
本文提出一种仅22 KB、1,103参数的轻量级深度学习手势识别系统,可识别八种手势,经TensorFlow Lite量化剪枝后压缩至7 KB,并在ROS2框架下的UR5协作机器人上验证了实时手势控制的有效性。
2025-07-24 cs.RO
Toward Automated Generation of Affective Gestures from Text:A Theory-Driven Approach
Politecnico di Milano(米兰理工大学);University of Southern California(南加州大学)
人-人和人-机器人交互(HRI)环境中的通信包括语言(基于语音)和非语言(面部表情,眼睛凝视,手势,身体姿势等)。语言组件包含语义和情感信息;因此,HRI到目前为止对手势组件的工作集中在基于规则(将单词映射到手势)和数据驱动(深度学习)的方法上,以基于语义或情感状态生成语音配对手势。因此,大多数手势系统都局限于产生基于语义链接或情感的手势。本文提出了一种基于语义和情感信息的机器人语音手势生成方法,并在此基础上实现了人机交互。我们的模型将文本和情感分析作为输入,并根据形状、强度和速度生成机器人手势。
2021-03-04 cs.RO
Learning,Generating and Adapting Wave Gestures for Expressive Human-Robot Interaction
MINES ParisTech(巴黎高等矿业学院);Honda Research Institute Europe(本田欧洲研究所);Idiap Research Institute(Idiap研究所)
本研究提出了一种新的模仿学习的方法,随机产生的人类一样的节奏波手势和他们的调制有效的非语言交流,通过概率公式,使用联合角度数据从人类示威。这是通过学习和调节手势的整体表情特征(例如,手臂姿势、挥动频率和幅度)。该方法进行了评估,涉及一个机器人与6自由度的机械手模拟机器人实验。结果表明,该方法提供了有效的编码和调制的节奏动作,并确保其执行的变化。
2020-03-04 cs.RO
One-Shot Gesture Recognition for Underwater Diver-To-Robot Communication
Department of Computer Science and Engineering, Minnesota Robotics Institute, University of Minnesota – Twin Cities(计算机科学与工程系,明尼苏达机器人研究所,明尼苏达大学-双城分校)
本文提出单次手势识别方法,通过基于形状的分类技术实现水下环境中的实时手势识别,无需大量数据集或模型训练,适用于潜水员与机器人通信。
2025-03-02 cs.RO
Robust and Context-Aware Real-Time Collaborative Robot Handling via Dynamic Gesture Commands
Carnegie Mellon University(卡内基梅隆大学)
本文提出条件协作搬运过程(CCHP),通过从人人协作中学习上下文感知策略,解决动态手势指令下实时协作机器人搬运中人类行为异质性和感知随机性问题,在Kinova Gen3装配任务中显著降低人类工作量并提升协作流畅性。
2023-04-12 cs.RO
WaveSync: Constrained Wavefront Optimization for Synchronized Co-Speech Gestures in Humanoid Robots
University of Engineering and Technology, Vietnam National University(越南国立大学工程与技术大学);School of Information Science, Japan Advanced Institute of Science and Technology(日本先端科学技术大学院大学信息科学学院);School of Electronics and Computer Science, University of Southampton(南安普顿大学电子与计算机科学学院);Department of Robotics, Hanyang University(汉阳大学机器人学系)
提出WaveSync框架,利用大语言模型分解语义并构建重要性波,通过动态运动基元生成手势轨迹,再经波前优化实现手势与语音的峰值同步,同时满足运动学约束,在五组对话场景中优于基线方法。
2026-09-03 cs.RO
Continual Learning of Hand Gestures for Human-Robot Interaction
本文提出一种基于单个RGB相机的静态手势增量学习方法,仅用每类5个旧样本即可学习多达38个新符号,平均准确率超90%,并将训练时间降至全量数据的10%。
2023-04-13 cs.RO
Imitation of Arm Gestures by the Semi-Humanoid Robot NICO
Faculty of Mathematics, Physics and Informatics Comenius University Bratislava(布拉迪斯拉发夸美纽斯大学数学、物理与信息学院)
研究半人形机器人NICO模仿人类手臂手势的方法,基于解析几何和预训练模型,利用MediaPipe获取人体地标3D坐标计算关节角度并映射执行,实验表明该方法能从单目RGB输入产生模仿动作,也揭示了复杂姿势和手腕动作的局限。
2026-08-20 cs.RO
High-level programming and control for industrial robotics: using a hand-held accelerometer-based input device for gesture and posture recognition
University of Coimbra(科英布拉大学);University of Porto(波尔图大学)
目的-大多数工业机器人仍然使用典型的示教过程进行编程,通过使用机器人示教器。这是一项繁琐且耗时的任务,需要一些技术专长,因此需要新的机器人编程方法。本文的目的是提出一个机器人系统,允许用户指示和编程的机器人与高层次的抽象从机器人语言。设计/方法/方法-该论文详细介绍了一种机器人系统,该系统允许用户,特别是非专家程序员,以直观的方式指导和编程机器人,只是向它展示它应该做什么。这是使用两个最自然的人机界面(手势和语音),力控制系统和几个代码生成技术。将特别注意手势的识别,其中从Wii遥控器中嵌入的运动传感器(三轴加速度计)提取的数据用于捕获人手的行为。使用统计方法和人工神经网络识别手势(动态手位置)以及手动姿势(静态手位置)。实用意义-本文的主要贡献是,它提供了一个实用的方法来编程机器人通过手势和语音,提高工作效率,节省时间。独创性/价值-本文提出了一种替代典型的机器人教学过程中,扩展的概念,人机交互和同事的情况。由于大多数公司没有工程资源对其机器人制造系统进行更改或添加新功能,因此该系统对中小型企业来说是一个主要优势。
2013-09-09 cs.RO
Towards Intuitive Human-Robot Interaction through Embodied Gesture-Driven Control with Woven Tactile Skins
Centre for Perceptual and Interactive Intelligence (CPII)(感知与交互智能中心);Department of Mechanical and Automation Engineering(机械与自动化工程系);Texense Ltd.(Texense有限公司);Department of Mechanical, Aerospace and Civil Engineering(机械、航空航天与土木工程系)
本研究提出一种基于电容编织触觉皮肤的具身手势驱动人机交互框架,定义14种手势映射,搭配近100%准确率的轻量识别模型,可将机械臂任务完成时间最多缩短57%,为自然高效的具身HRI提供可行方案。
2025-09-30 cs.RO
Human Posture Recognition and Gesture Imitation with a Humanoid Robot
ENSTA Paris-Tech(巴黎高等先进技术研究院(ENSTA ParisTech))
这项研究提出了不同的方法,静态和动态手势分析和模仿与社会机器人Nao
2020-03-21 cs.CV cs.RO
Understanding Human Motion and Gestures for Underwater Human-Robot Collaboration
University of Minnesota Twin Cities(明尼苏达大学双城分校)
在本文中,我们提出了一些强大的方法,水下机器人视觉检测,跟随,并与潜水员协作执行任务。我们设计和开发了两个自主潜水员以下的算法,其中第一个利用空间和频域的功能有关的人类游泳模式,以视觉跟踪潜水员。第二种算法使用基于卷积神经网络的模型,用于鲁棒的检测跟踪。此外,我们提出了一个基于手势的人机通信框架,是语法上更简单,计算更有效的比现有的基于语法的框架。在所提出的交互框架中,深度视觉检测器用于提供准确的手势识别;随后,有限状态机执行鲁棒且高效的手势到指令映射。该框架的显着特点是,它可以很容易地通过潜水员与水下机器人进行通信,而不需要使用人工标记或需要记忆复杂的语言规则。此外,我们通过在封闭和开放的水域环境中进行广泛的现场实验,验证了所提出的方法的性能和有效性。最后,我们进行了用户交互研究,以证明我们提出的交互框架相比现有方法的可用性优势。
2018-04-06 cs.RO
On the Design of Human-Robot Collaboration Gestures
University of Bristol(布里斯托大学);Loughborough University(拉夫堡大学);Cranfield University(克兰菲尔德大学)
本文调研并整合分散于文献中的HRC手势设计原则与评估方法,指出手势设计研究空白,并提出未来方向。
2024-02-29 cs.HC cs.RO
Gesture-based Human-robot Interaction for Field Programmable Autonomous Underwater Robots
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
水下环境的不确定性和多变性对水下机器人的实时的动态控制提出了要求,特别是在人与机器人协同作业的场景中。然而,水下环境对典型的控制和通信方法的应用施加了苛刻的限制。鉴于手势是一种自然而有效的人机交互方式,本文利用卷积神经网络实现了一个实时手势识别系统,该系统可以从单目摄像机拍摄的图像中识别出50种手势,并将其应用于人与水下机器人的交互中。我们设计了一个灵活的和可扩展的交互方案(AFEIS),通过该方案,水下机器人可以在水下现场编程的人类操作员使用定制的手势为基础的手语。本文阐述了手势识别系统和AFEIS的设计,并给出了将该系统和方案应用于水下机器人的现场试验结果。
2017-09-26 cs.HC cs.RO
Deep Gesture Generation for Social Robots Using Type-Specific Libraries
Kyushu University(九州大学);Osaka University(大阪大学);Microsoft(微软)
肢体语言,如会话手势,是一种有效的沟通方式。会话手势不仅使演讲更加生动,而且还包含语义,有助于强调讨论中的重要信息。在机器人领域,赋予会话代理(人形机器人或虚拟化身)正确使用手势的能力至关重要,但仍然是一项非常困难的任务。这是因为仅给定文本作为输入,存在生成适当手势的许多可能性和模糊性。与以前的作品不同,我们提出了一种新的方法,明确考虑到手势类型,以减少这些歧义,并生成类似人类的会话手势。我们所提出的系统的关键是一个新的手势数据库,它建立在TED数据集上,允许我们将一个单词映射到三种类型的手势之一:“Imagistic”手势,表达演讲的内容,“Beat”手势,强调单词,“No gestures”。“我们提出了一个系统,首先将输入文本中的单词映射到其相应的手势类型,生成特定于类型的手势,并将生成的手势组合成一个最终的平滑手势。在我们的对比实验中,所提出的方法的有效性被证实在用户研究的化身和人形机器人。
2022-10-13 cs.MM cs.RO
Sharing Cognition: Human Gesture and Natural Language Grounding Based Planning and Navigation for Indoor Robots
TCS Research and Innovation Labs(塔塔咨询服务研究与创新实验室)
人与人之间的合作使得即使在未知的场景中也可以轻松执行任务和无缝导航。凭借我们的个人知识和集体认知技能,我们可以在不可预见的情况和环境中推理并表现良好。为了实现机器人在人类之间导航并与他们互动的类似潜力,它必须获得与人类进行简单,高效和自然的通信和认知共享的能力。在这项工作中,我们的目标是利用人类的手势,这是已知的最突出的沟通方式后的讲话。我们演示了如何将手势的沟通空间的理解可以实现在一个非常简单而有效的方式使用机器人具有视觉和听觉能力。这显示了在需要开发认知和室内导航的任务中仅使用基于视觉和视觉的导航,语言基础或人机交互的巨大优势。我们采用最先进的语言基础和人机交互模块,在现实环境中展示了一种新型的系统管道,用于执行一系列具有挑战性的任务。据我们所知,这是第一个在室内环境中耦合HRI和语言基础领域以展示自主导航的管道。
2021-08-14 cs.RO
Hand and Arm Gesture-based Human-Robot Interaction: A Review
Technical University of Munich(慕尼黑工业大学);Fortiss GmbH(Fortiss有限公司);Fujian Science & Technology Innovation Laboratory for Optoelectronic Information of China(中国福建光电信息科学技术创新实验室)
人机交互(Human-Robot Interaction,HRI)的研究目的是在人与机器人之间建立亲密友好的交流。在以人为中心的HRI中,实施成功和有效的HRI的一个重要方面是建立自然和直观的互动,包括语言和非语言。手势作为一种普遍的非语言交际方式,在日常生活中无处不在。大量的工作基于手势的HRI分散在各个研究领域。然而,对基于手势的HRI的工作仍然缺乏系统的了解。本文旨在对基于手势的HRI进行全面的综述,并重点介绍这一领域的最新研究成果。在刺激-机体-反应的框架下,本综述包括:(i)人类手势(刺激)的产生。(ii)机器人识别人类手势(有机体)。(iii)机器人对人类手势的反应(response)。此外,本文还对框架中各要素的研究现状进行了总结,并分析了相关研究成果的优缺点。最后,本文讨论了当前基于手势的HRI研究面临的挑战,并提出了未来可能的发展方向。
2022-09-17 cs.HC cs.RO
Eliciting Understandable Architectonic Gestures for Robotic Furniture through Co-Design Improvisation
KU Leuven(鲁汶大学);LMU Munich(慕尼黑大学)
本研究通过15位专家的协同设计即兴创作,探索移动机器人隔断如何用手势传达六种建筑意图,识别出20种手势策略并提出建筑手势这一新概念,为提升自适应建筑自主手势的可理解性并连接HRI与人-建筑交互研究做出贡献。
2025-01-03 cs.HC cs.RO
NatSGD: A Dataset with Speech, Gestures, and Demonstrations for Robot Learning in Natural Human-Robot Interaction
University of Maryland, College Park(马里兰大学帕克分校)
本文提出NatSGD多模态HRI数据集,同步收录自然语音、手势指令与机器人行为演示,支持机器人学习并验证了联合建模语音和手势的价值。
2024-03-04 cs.LG cs.RO
Energy Efficient Personalized Hand-Gesture Recognition with Neuromorphic Computing
Sheffield Hallam University(谢菲尔德哈勒姆大学)
针对人机交互的手势识别需求,提出基于神经形态计算的脉冲卷积神经网络训练新方法,用于低功耗个性化手势识别,给出初步结果并提及性能优化方向。
2023-07-25 cs.RO
Dynamic Gesture Recognition in Ultra-Range Distance for Effective Human-Robot Interaction
School of Mechanical Engineering(工程学院);Tel-Aviv University(特拉维夫大学)
本文针对远距离人机交互中的手势识别问题,提出时序-时空融合网络(TSFN),在服务机器人、搜索救援和无人机交互等场景中显著提升了超远距离及长序列手势识别的准确率。
2024-07-31 cs.CV cs.LG cs.RO
Integrating emotional intelligence, memory architecture, and gestures to achieve empathetic humanoid robot interaction in an educational setting
University of Liverpool(利物浦大学);Xi’an Jiaotong-Liverpool University(西安交通大学利物浦大学)
本研究将情商、记忆架构和手势同步整合到基于LLaMa 3.2的AI-Agent教育机器人中,并通过Engagement Vector模型验证其能显著提升学生参与度和学习成果。
2025-08-19 cs.RO
Clustering Social Touch Gestures for Human-Robot Interaction
University of East Anglia(东英吉利大学);San Francisco State University(旧金山州立大学);Arizona State University(亚利桑那州立大学)
本文通过45名参与者对36个社交触摸标签的分组与标注,利用层次聚类分析手势相似性,得出9个手势聚类,为社交机器人的触摸感知与交互设计提供依据。
2023-04-03 cs.HC cs.RO
Human-Recognizable Robotic Gestures
National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong(香港中文大学)
为了让机器人适应人类的空间和人类的日常活动,机器人应该能够理解来自人类对话伙伴的信息。同样,人类也必须理解机器人传达的信息,包括非语言信息。我们进行了一项基于网络的视频研究,其中参与者对拟人化机器人产生的标志性手势和表情进行了解释。在呈现的15个手势中,我们发现6个机器人手势可以被人类观察者准确识别。这些是点头,鼓掌,拥抱,表达愤怒,走路和飞行。我们从人类和动物行为的文献中回顾了这些手势的意义。最后,我们讨论了这些手势的设计,旨在与人类进行互动的社交机器人的可能影响。
2012-12-26 cs.AI cs.HC cs.RO
CobotAR: Interaction with Robots using Omnidirectionally Projected Image and DNN-based Gesture Recognition
Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究院(Skoltech))
针对现有AR人机交互需佩戴可穿戴设备的问题,提出CobotAR系统,依托6自由度机器人搭载的移动投影构建AR空间显示,结合DNN手势识别实现无穿戴的直观人机交互,实验验证其脑力需求显著低于传统控制设备。
2021-10-20 cs.RO
Robust Dynamic Gesture Recognition at Ultra-Long Distances
School of Mechanical Engineering, Tel-Aviv University(特拉维夫大学机械工程学院)
针对当前动态手势识别模型有效识别范围有限的问题,提出集成SlowFast架构与Transformer层的SFT模型及距离加权损失函数,实现28米超远距离识别,在多样化数据集上准确率达95.1%,显著提升人机交互能力。
2024-11-27 cs.RO
Intuitive Human-Robot Interaction: Development and Evaluation of a Gesture-Based User Interface for Object Selection
Laboratory for Machine Tools and Production Engineering WZL of RWTH Aachen(亚琛工业大学机床与生产工程实验室(WZL))
本文开发并评估了一种基于手势的用户界面,通过指向和点击手势实现物体选择,实验显示其在准确性和选择时间上的潜力,有助于高效协作。
2026-04-07 cs.HC cs.RO
Body Gesture Recognition to Control a Social Robot
Institut de Robòtica i Informàtica Industrial de Barcelona(巴塞罗那工业机器人与信息学研究所)
在这项工作中,我们提出了一个基于手势的语言,让人类与机器人使用他们的身体在一个自然的方式进行交互。我们已经创建了一个新的手势检测模型,使用神经网络和人类执行一组身体手势的自定义数据集来训练我们的网络。此外,我们将身体姿态通信与其他通信渠道进行比较,以确认将这些知识添加到机器人中的重要性。所提出的方法在不同的模拟和现实生活中的实验与未经培训的志愿者进行了广泛的验证。这取得了显着的成果,并表明它是一个有价值的框架,社会机器人应用,如人类机器人协作或人机交互。
2022-06-15 cs.CV cs.HC cs.LG
Gesture Recognition for Initiating Human-to-Robot Handovers
Monash University(莫纳什大学)
人机交互对于许多人机交互场景都很有用。重要的是要认识到人类何时打算发起交接,以便机器人在不打算交接时不会试图从人类那里拿走物体。我们提出了一个单一的RGB图像中的二进制分类问题的切换手势识别。三个独立的神经网络模块,用于检测对象,人体关键点和头部方向,实现从RGB图像中提取相关特征,然后将特征向量传递到深度神经网络中以执行二进制分类。我们的研究结果表明,切换手势被正确识别的准确率超过90%。特征的抽象使我们的方法模块化,并可推广到不同的对象和人体类型。
2020-12-30 cs.CV cs.RO
Gesture-Informed Robot Assistance via Foundation Models
Stanford University(斯坦福大学);Google Deepmind(谷歌DeepMind)
提出框架GIRAF,利用大型语言模型灵活解释手势和语言指令,准确推断人类意图,在桌面操作任务中成功率比基线高70%,并在GestureInstruct数据集上达到81%的成功率。
2023-09-07 cs.HC cs.RO
Speech-Gesture Mapping and Engagement Evaluation in Human Robot Interaction
Indian Institute of Technology Ropar(印度理工学院罗帕尔分校)
本文提出端到端系统,通过TED演讲者手势到语音的映射学习并结合观众注意力反馈,实现机器人非言语手势增强与语音即兴调整,从而提升人机交互参与度。
2018-12-09 cs.HC cs.RO
Zoomorphic Gestures for Communicating Cobot States
RWTH Aachen University(亚琛工业大学);Institute of Industrial Engineering and Ergonomics(工业工程与人机工程研究所);Max-Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学);Technical University of Munich(慕尼黑工业大学)
传达机器人状态对于在人类和协作机器人(cobots)之间创建高效且值得信赖的协作至关重要。机器人与人类通信的标准方法在工业环境中面临困难,例如,因为高噪声水平或某些可见度要求。因此,本文提出了基于狗的身体语言的动物形态的手势作为一种可能的替代方案,用于通信状态的外观约束的协作机器人。为了这个目的,我们进行了一个视觉交流基准比较zoomorphic手势,抽象的手势,光显示。我们调查的方式,关于直观的理解,用户体验,和用户偏好。在第一个用户研究(n = 93),我们评估我们提出的所有视觉方式的设计准则。第二个用户研究(n = 214)构成的基准表明,直观的理解和用户体验是最高的两个基于手势的形式。此外,动物形态的姿态比其他形式更受欢迎。这些研究结果表明,动物形态的姿态与他们的好玩的性质,特别适合于新的用户,并可能会减少最初的抑制。
2021-02-22 cs.RO
Generating Natural and Expressive Robot Gestures through Iterative Reinforcement Learning with Human Feedback using LLMs
University of New South Wales(新南威尔士大学);Universidad Central de Chile(智利中央大学)
针对社交机器人手势生成僵硬问题,提出将ChatGPT集成到Pepper机器人中生成共语手势,并引入基于人类反馈的迭代强化学习(RLHF)优化手势,实验表明RLHF提升了手势的表现力、相关性和流畅性。
2026-06-18 cs.AI cs.RO
DiG-Net: Enhancing Human-Robot Interaction through Hyper-Range Dynamic Gesture Recognition in Assistive Robotics
本文提出DiG-Net框架,通过结合DADA模块和时空图模块,实现超远距离(30米)的鲁棒手势识别,提升助残机器人在家庭医疗、工业安全等场景中的可用性。
2026-03-15 cs.AI cs.CV cs.RO
Touch and Tell: Multimodal Decoding of Human Emotions and Social Gestures for Robots
Faculty of Engineering and Architecture(工程与建筑学院);IDLab-AIRO, Ghent University – imec(IDLab-AIRO,根特大学–imec);Department of Engineering Science, University of Oxford(工程科学系,牛津大学)
本研究通过在社交机器人上集成压力传感器和麦克风,开发单模态与多模态模型解码触摸和声音传达的人类情绪与社交手势,发现多模态整合显著优于单模态方法,提升了情绪和手势的解码准确率。
2025-08-12 cs.LG cs.RO
FR-GESTURE: An RGBD Dataset For Gesture-based Human-Robot Interaction In First Responder Operations
Harokopio University of Athens(雅典哈罗基波大学);Kingston University(金史密斯大学);University of Western Macedonia(西马其顿大学);Athena Research Center(雅典研究中心)
FR-GESTURE数据集通过12个优化手势命令,为第一响应者操作中的无人地面车辆控制提供首个专门训练的RGBD数据集,并公开用于促进相关研究。
2026-02-19 cs.CV cs.RO
Gesture First, LLM-Assisted Voice Complement: Exploring Multimodal Robot 'Puppeteer' Teleoperation Via Virtual Counterpart in Augmented Reality
KTH Royal Institute of Technology(皇家理工学院)
本文探讨了通过增强现实中的虚拟对应物实现多模态机器人遥控的方法,比较了仅手势和结合语音与手势的交互方式在性能和用户体验上的差异,提出设计指南以平衡效率、鲁棒性和用户专业性。
2026-05-16 cs.HC cs.RO
Speech-Gesture GAN: Gesture Generation for Robots and Embodied Agents
Faculty of Engineering, School of Computer Science and Engineering, University of New South Wales(新南威尔士大学工程学院计算机科学与工程学院)
本文提出一种基于条件GAN的框架,通过语音文本和语音音频生成手势序列,提升机器人与人类交互的质量和效果。
2023-09-17 cs.AI cs.RO
Establishing Human-Robot Trust through Music-Driven Robotic Emotion Prosody and Gesture
Georgia Tech Center for Music Technology(佐治亚理工学院音乐技术中心)
随着人机协作机会的不断扩大,信任对于机器人的充分参与和利用变得越来越重要。建立在情感关系和人际关系基础上的情感信任尤其重要,因为它对错误更有弹性,并增加了合作的意愿。在本文中,我们提出了一种新的模型,建立在音乐驱动的情感韵律和手势,鼓励感知的机器人身份,旨在避免恐怖谷。人类音乐家生成了具有象征意义的乐句,并标记了情感信息。这些短语控制着一个合成引擎,播放通过音素和电子乐器插值生成的预渲染音频样本。手势也是由象征性的短语驱动的,从音乐短语到低自由度的动作都编码了情感。通过用户研究,我们表明我们的系统能够准确地向用户描绘一系列情绪。我们还展示了一个显著的结果,即我们的非语言音频生成比使用最先进的文本到语音系统的平均信任度高出8%。
2020-01-11 cs.HC cs.RO
LLM-Powered Interactive Robotic Action Synthesis from Multimodal Speech, Gestures, and Music
TCS Research, Tata Consultancy Services(塔塔咨询服务公司TCS研究院)
提出利用大语言模型融合语音、手势和音乐节拍等多模态输入,合成复杂机器人动作序列的框架,实现更自然的人机交互。
2026-07-01 cs.AI cs.RO
Brain Computer Interface for Gesture Control of a Social Robot: an Offline Study
University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校);University of Kentucky(肯塔基大学);Ferdowsi University of Mashad(菲尔多西大学马什哈德分校)
脑机接口(Brain Computer Interface,BCI)通过根据患者的意图控制计算机和机器人设备,在神经假体和神经康复方面提供了有前景的应用。在这里,我们开发了一种新的BCI平台,使用非侵入性获取的大脑信号控制个性化的社交机器人。头皮脑电图(EEG)信号在假想运动的任务期间从用户实时收集。使用回归模型解码想象的身体运动学以计算用户预期的速度。然后,将解码的运动学信息映射以控制社交机器人的手势。该平台可以作为一个人机交互框架,结合神经反馈机制,提高痴呆症患者的认知能力。
2017-07-23 cs.HC cs.RO
Evaluating Pointing Gestures for Target Selection in Human-Robot Collaboration
Cognitive Robotics group, Unit of Automation Technology and Mechanical Engineering, Tampere University(认知机器人组、自动化技术与机械工程单位、塔尔库大学)
本研究提出一种基于姿态估计和肩腕几何模型从RGB-D流中定位指向目标的方法,并集成多模态概念验证系统,全面评估了人机协作中指向手势的目标选择性能。
2025-06-27 cs.CV cs.RO
Improved Optical Flow for Gesture-based Human-robot Interaction
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project (RIKEN AIP)(理化学研究所先进智能项目中心)
手势交互是与机器人进行交流的一种自然方式,可以替代语音。手势识别方法利用光流来理解人体运动。然而,虽然精确的光流估计(即,传统的)方法在运行时间,快速估计(即,深度学习)方法的准确性。在本文中,我们提出了一个基于手势的人机交互,使用一种新的光流估计方法,以实现改进的速度和精度的权衡管道。我们的光流估计方法对以前基于深度学习的方法进行了四项改进:强特征提取器、关注轮廓、中途特征以及这三者的组合。这导致更好地理解运动,以及更精细的轮廓表示。为了评估我们的管道,我们生成了自己的数据集MIBURI,其中包含命令家庭服务机器人的手势。在我们的实验中,我们展示了我们的方法如何提高不仅光流估计,而且手势识别,提供了一个速度-精度权衡更现实的实际机器人应用。
2019-05-21 cs.CV cs.HC cs.RO
Quantitative analysis of robot gesticulation behavior
University of Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
社交机器人功能,如说话手势,最好使用数据驱动的方法来产生,以避免重复并显示可信度。然而,缺乏稳健的定量方法,允许比较这些方法以外的视觉评价。在本文中进行定量分析,比较两个生成对抗网络的手势生成方法。其目的是测量诸如对原始训练数据的保真度之类的特性,但同时跟踪所产生的手势的独创性程度。通过主坐标分析和procrustes统计,提出了一种新的Fréchet手势距离,通过适应手势的Fréchet起始距离。这三种技术一起被用来评估所生成的手势的保真度/独创性。
2020-10-22 cs.LG cs.RO
Neural Network Based Lidar Gesture Recognition for Realtime Robot Teleoperation
Université de Sherbrooke(舍布鲁克大学);Defence Research and Development Canada(加拿大国防研究与发展部)
我们提出了一种新的低复杂度的激光雷达手势识别系统的移动机器人控制鲁棒的手势变化。我们的系统使用模块化的方法,包括姿势估计模块和手势分类器。使用卷积神经网络从激光雷达扫描预测姿态估计,该卷积神经网络使用现有的基于立体的姿态估计系统进行训练。手势分类是使用长短期记忆网络完成的,并使用一系列估计的身体姿势作为输入来预测手势。将流水线分解为两个模块降低了输入的维度,输入可以是激光雷达扫描,立体图像或任何其他可以提取身体关键点的模态,使我们的系统重量轻,适用于计算能力有限的移动机器人控制。激光雷达的使用有助于提高系统的鲁棒性,使其能够在大多数户外条件下运行,不受照明条件的影响,并且可以在机器人周围360度检测输入。基于激光雷达的姿态估计器和手势分类器使用数据增强和自动标记技术,需要最少量的数据收集并避免手动标记的需要。我们报告我们的系统的每个模块的实验结果,并证明其有效性,通过测试它在现实世界中的机器人遥操作设置。
2021-09-17 cs.CV cs.RO eess.IV
Tactile Gesture Recognition with Built-in Joint Sensors for Industrial Robots
Dep. of Informatics, University of Zurich(苏黎世大学信息学系);Institute of Mechatronics systems, Zurich University of Applied Science(苏黎世应用科技大学机电系统研究所)
本文研究了仅依赖机器人内置关节传感器的深度学习方法,通过实验发现基于频谱图的表示方法显著提升识别准确率,展示了无外部传感器触觉识别的可行性。
2026-06-29 cs.AI cs.RO
Hands-On Robotics: Enabling Communication Through Direct Gesture Control
TU Dortmund University(多特蒙德工业大学);University of Duisburg-Essen(杜伊斯堡-埃森大学)
本文提出通过移动机器人末端执行器实现直接手势通信,用四种手势进行人机交互,用户研究显示分类准确率接近100%,证明无需额外硬件即可实现直接通信。
2024-01-17 cs.HC cs.RO
Evaluating Gesture Recognition in Virtual Reality
Sapienza Università di Roma(罗马大学);PaleBlue
本文旨在解决人机交互中手势识别系统的数据生成与标准化挑战,提出利用虚拟现实仿真生成数据,并定义可作为地面机器人标准的手势命令。
2024-01-09 cs.HC cs.RO
Online Recognition of Incomplete Gesture Data to Interface Collaborative Robots
University of Coimbra(科英布拉大学)
本文提出一种基于可穿戴传感器的人机交互框架,通过数据降维和主成分分析处理非完整手势数据,实现对24种静态手势和10种动态手势的高准确率在线识别,并成功用于遥操作机器人完成早餐准备任务。
2023-04-13 cs.LG cs.RO eess.SP
Ultra-Range Gesture Recognition using a Web-Camera in Human-Robot Interaction
School of Mechanical Engineering, Tel-Aviv University(特拉维夫大学机械工程学院)
针对HRI中最远25米的手势识别需求,提出仅用RGB摄像头、结合HQ-Net超分辨率与GViT分类器的URGR框架,识别率达98.1%,并在四足机器人实测中平均达96%。
2024-04-10 cs.CV cs.RO