A basic gesture and motion format for virtual reality multisensory applications
INPG(法国国立格勒诺布尔理工学院);ACROE & ICA laboratory(ACROE与ICA实验室)
考虑到异构系统和应用程序(音乐应用程序、3D运动控制、虚拟现实交互等)之间的运动数据交换日益重要,编码运动(例如由人类姿势产生的运动)的问题可能在未来几年成为中心问题。在过去的20年里,已经提出了各种格式来编码运动,特别是手势。尽管如此,这些格式在不同程度上是在相当特定的应用程序(角色动画,动作捕捉,音乐手势,生物力学问题......)的背景下设计的。本文介绍了一种新的文件格式,称为GMS(“手势和运动信号”),其目的是通过定义携带运动/手势信息的格式所需的最小特征,而不是通过收集现有格式通常给出的所有信息,从而变得更低级和通用。文章认为,鉴于其在虚拟现实环境中的存在越来越多,“手势信号”本身必须进行编码,并且需要特定的格式。所提出的格式具有这些信号的内部属性:维度,结构特征,变量类型以及空间和时间属性。文章首先回顾了手势控制干预的多感官虚拟对象的各种情况。然后推导出所提出的格式,作为一种手段来编码这种通用和可变的“手势和动画场景”。
2010-05-25 cs.GR cs.HC cs.MM
Comparing Controller With the Hand Gestures Pinch and Grab for Picking Up and Placing Virtual Objects
TU Kaiserslautern(凯泽斯劳滕工业大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
抓取虚拟对象是增强现实、虚拟现实和混合现实应用的基本任务之一。现代应用程序通常使用简单的捏手势来抓取和移动对象。然而,通过捏取来拾取物体具有缺点。拾取物体可能是不自然的手势,并且阻止了将用拇指和食指执行的其他手势的实现。因此,它不是许多应用的最佳选择。在这项工作中,不同的实现抓取和放置虚拟对象的建议和比较。所提出的技术的性能和精度进行测量和比较。
2022-02-22 cs.CV cs.HC
Real-Time Head Gesture Recognition on Head-Mounted Displays using Cascaded Hidden Markov Models
头部姿态是人与人之间面对面交流的自然手段,但是在虚拟现实的背景下头部姿态的识别以及头部姿态作为与虚拟化身和虚拟环境交互的接口的使用很少被研究。在目前的研究中,我们提出了一种方法,实时的【形】头部姿态识别的盔装显示器使用级联隐马尔可夫模型。我们进行了两个实验来评估我们提出的方法。在实验1中,我们训练了级联隐马尔可夫模型,并使用收集的头部运动数据评估了离线分类性能。在实验2中,我们通过估计延迟来识别具有记录实时的【形】分类数据的头部姿态,来表征该方法的实时的【形】性能。实验结果表明,该方法在识别头部姿态时是有效的。该方法可以集成到虚拟现实系统中作为用于与虚拟世界交互的头部姿态接口。
2018-02-02 cs.HC
Large Language Models for Virtual Human Gesture Selection
Northeastern University(东北大学);University of Glasgow(格拉斯哥大学);Flawless(弗劳利斯)
本文利用 GPT-4 的语义能力提出虚拟人协同语音手势选择方法,比较不同提示策略,并在虚拟智能体系统中实现手势选择与动画自动化。
2025-03-18 cs.CL cs.HC
Learning Effect of Lay People in Gesture-Based Locomotion in Virtual Reality
TU Kaiserslautern(凯泽斯劳滕工业大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
虚拟现实(VR)中的运动是VR应用的重要组成部分。许多科学家正在用不同的变化来丰富社区,使VR中的运动成为可能。一些最有前途的方法是基于手势的,不需要额外的手持硬件。最近的工作主要集中在用户的偏好和性能的不同的运动技术。这忽略了用户在探索新方法时所经历的学习效果。在这项工作中,它是研究是否以及如何快速用户可以适应在VR中的手势为基础的运动系统。四种不同的运动技术的实施和测试的参与者。本文的目的是双重的:首先,它旨在鼓励研究者在他们的研究中考虑学习效果。其次,本研究旨在深入了解用户在基于手势的系统中的学习效果。
2022-06-16 cs.CV cs.HC
Virtual Kathakali : Gesture Driven Metamorphosis
运动技能的训练,如田径、舞蹈或体操,除非教练/指导员直接在场,否则今天是不可能的。本文介绍了一种基于计算机视觉的手势识别系统,该系统用于将用户变形为虚拟人,例如Kathakali舞者,该虚拟人在附近或远处以图形方式重新创建。因此,这可以由场外教练使用允许实时动画的低带宽关节运动数据来看到。变形包括改变用户的外观和身份,以及创建可能与其他虚拟生物交互的特定环境。基于非常简单的二进制实时的图像处理,使用鲁棒视觉模块来识别用户,该模块还设法解决自遮挡,校正用户之间的服装/颜色和其他变化。通过定位肩部、肘部和腕关节处的关键点来识别手势,然后在一个铰接的人形模型中重新创建这些关键点,在本例中,该模型代表了一位穿着精致传统服装的Kathakali舞者。与基于手套或其他运动跟踪系统不同,该应用要求用户不佩戴硬连线设备,并且旨在使手势跟踪更简单、更便宜和更用户友好。
1998-12-29 cs.HC
GesPrompt: Leveraging Co-Speech Gestures to Augment LLM-Based Interaction in Virtual Reality
针对XR环境中用户难以仅靠文本或语音向大语言模型副驾驶传达三维时空信息的问题,本文提出多模态界面GesPrompt,通过融合伴随语音手势提取时空参照,降低认知负担,并构建VR原型系统验证其有效性。
2025-05-08 cs.HC
Affordances and Safe Design of Assistance Wearable Virtual Environment of Gesture
安全性和可靠性是在航空航天、医疗等应用领域设计辅助穿戴式技术姿态虚拟环境的主要问题。这需要将人类需求、系统需求及其与自然和人造环境关系的原理集成在同一同构工程框架中。为了探索支持技术姿态系统的耦合集成和设计功能组织,首先生态心理学提供了启发式概念:可供性。另一方面,综合生理学的数学理论为我们提供了科学概念:稳定性自联想原理和功能性相互作用原理,在论证了这些概念的认识论一致性之后,我们定义了一个同构的框架来描述和建模人类系统集成,致力于人类在提出了一种基于实验室和抛物线飞行的姿态辅助可穿戴虚拟环境安全设计的实验方法。结果,我们讨论了我们的概念方法和应用程序的相关性,以未来的援助姿态可穿戴系统工程。
2015-12-23 cs.HC q-bio.NC
Gesture Evaluation in Virtual Reality
Division of Speech, Music and Hearing, KTH Royal Institute of Technology(语音、音乐与听觉系,皇家理工学院)
本文比较了VR与2D环境下计算机生成手势的评估效果,考察2023年GENEA Challenge的三个模型,发现VR评分略高且影响整体感知,但模型排名保持一致。
2025-09-16 cs.AI cs.CV cs.HC
Real-Time Control of a Virtual Orchestra by Recognition of Conducting Gestures
KTH Royal Institute of Technology(皇家理工学院);SMASH Studios(SMASH工作室);IVAR Studios(IVAR工作室);Swedish e-Science Research Centre(瑞典电子科学研究中心)
本文提出一个180度穹顶剧院的博物馆装置,让参观者体验指挥交响乐团。通过识别参观者的手势,实时控制预录音乐的播放速度,采用分层LSTM网络进行手势识别,系统通过定量研究、用户研究和实地测试进行评估。
2026-04-30 cs.HC
Real-Time Recognition of In-Place Body Actions and Head Gestures using Only a Head-Mounted Display
身体动作和头部姿态是虚拟环境中交互的自然接口。用于就地身体动作识别的现有方法通常需要比盔装显示器(HMD)更多的硬件,使得身体动作接口难以被引入到普通虚拟现实(VR)用户,因为他们通常仅拥有HMD。此外,缺乏一个统一的解决方案来识别到位的身体动作和头部姿势。这潜在地阻碍了在虚拟环境中使用到位的身体动作和头部姿势来获得新颖的交互体验的探索。我们提出了一个统一的双流1-D卷积神经网络(CNN),用于识别身体动作时,用户执行原地行走(walking-in-place)和识别头部姿势时,用户站着不动,只戴着头戴式显示器。与以前的方法相比,我们的方法不需要专门的硬件和/或除了HMD之外的额外跟踪设备,并且可以识别比其他现有方法显著更多的身体动作和头部姿势。总的来说,十个到位的身体动作和八个头部姿态可以识别与所提出的方法,这使得该方法一个现成的身体动作接口(包括头部姿态)与虚拟环境的交互。我们通过一个虚拟的运动任务演示了一个实用程序的接口。结果表明,目前的身体动作接口是可靠的,在检测身体动作的VR运动任务,但物理要求相比,触摸控制器接口。目前的身体动作界面对于新的VR体验和应用是有希望的,特别是对于旨在锻炼的VR健身应用。
2023-02-25 cs.HC
Evaluating Gesture Recognition in Virtual Reality
Sapienza Università di Roma(罗马大学);PaleBlue
本文旨在解决人机交互中手势识别系统的数据生成与标准化挑战,提出利用虚拟现实仿真生成数据,并定义可作为地面机器人标准的手势命令。
2024-01-09 cs.HC cs.RO
Exploring Head-based Mode-Switching in Virtual Reality
模式切换支持使用有限数量的输入方法的多级操作。在虚拟现实(VR)盔装显示器(HMD)中,用于模式切换的常见方法使用按钮、控制器和用户的手。然而,它们对于需要双手的任务(例如,当用户在绘图操作期间需要使用两只手时)。使用头部手势进行模式切换可能是一种高效且具有成本效益的方式,可以在模式之间进行更连续、更平滑的转换。在本文中,我们探讨了使用头部手势的模式切换,特别是在场景中,当用户的双手都在执行任务。我们提出了第一个用户研究,评估了八个头部姿势,这些姿势可能适合于具有双手线条绘制任务的VR HMD。结果表明,向前移动,向后移动,向左滚动,向右滚动导致更好的表现,并受到参与者的青睐。第二项研究将这四种手势集成在开源绘画VR应用程序WEBRush中,以进一步探索这些手势的适用性并获得见解。结果表明,带有头部手势的智能画笔允许用户轻松地更改模式,并改善了交互和用户体验。本文最后讨论了在VR HMD中使用基于头部的模式切换的一些设计建议。
2021-08-12 cs.HC
In-Place Gestures Classification via Long-term Memory Augmented Network
基于手势的虚拟运动技术使用户能够控制他们的视点并直观地在3D虚拟环境中移动。一个关键的研究问题是准确和快速地识别到位的手势,因为他们可以触发虚拟视点的特定运动,提高用户体验。然而,为了实现实时体验,只能将短期传感器序列数据(最多约300ms,6至10帧)作为输入,这实际上由于有限的时空信息而影响分类性能。在本文中,我们提出了一种新的长期记忆增强网络在地方手势分类。它将短期手势序列样本及其对应的长期序列样本作为输入,这些样本在训练阶段提供额外的相关时空信息。我们用外部存储器队列存储长期序列特征。此外,我们设计了一个记忆增强的损失,以帮助集群的功能相同的类和推分开的功能,从不同的类,从而使我们的记忆队列,以记住更多相关的长期序列的功能。在推理阶段,我们只输入短期序列样本来调用相应的存储特征,并将它们融合在一起来预测手势类。我们从25个参与者中创建了一个大规模的到位手势数据集,其中包含11个手势。我们的方法实现了一个有前途的准确率为95.1%的延迟为192毫秒,和准确率为97.3%的延迟为312毫秒,并被证明是优于最近的到位手势分类技术。用户研究也验证了我们的方法。我们的源代码和数据集将提供给社区。
2022-09-02 cs.HC
Gesture First, LLM-Assisted Voice Complement: Exploring Multimodal Robot 'Puppeteer' Teleoperation Via Virtual Counterpart in Augmented Reality
KTH Royal Institute of Technology(皇家理工学院)
本文探讨了通过增强现实中的虚拟对应物实现多模态机器人遥控的方法,比较了仅手势和结合语音与手势的交互方式在性能和用户体验上的差异,提出设计指南以平衡效率、鲁棒性和用户专业性。
2026-05-16 cs.HC cs.RO
Open Medical Gesture: An Open-Source Experiment in Naturalistic Physical Interactions for Mixed and Virtual Reality Simulations
本文介绍USC面向军事战斗医护训练开发的开源工具包Open Medical Gesture,通过传感器无关的直接手部交互操作虚拟智能物体,为MR/VR模拟提供直观、低挫败感的自然交互方案。
2023-08-14 cs.HC
Integrating Representational Gestures into Automatically Generated Embodied Explanations and its Effects on Understanding and Interaction Quality
Bielefeld University(比勒费尔德大学)
本研究开发整合节拍与象似性手势的具身虚拟解释者,以Quarto!为场景探究手势对理解与交互质量的影响,发现手势组合未提升理解度,但具身智能体较先前研究显著增强理解效果。
2024-08-14 cs.CV cs.GR cs.HC
Classifying In-Place Gestures with End-to-End Point Cloud Learning
在虚拟环境中移动的原地行走最近引起了人们的注意。最近的尝试集中在训练分类器以识别某些姿势模式(例如,站立、行走等),使用像CNN或LSTM这样的神经网络。然而,它们通常考虑很少类型的手势和/或在虚拟环境中引起较少期望的延迟。在本文中,我们提出了一个新的框架,准确和有效的分类到位的手势。我们的关键思想是把几个连续的帧作为一个“点云”。HMD和两个VIVE追踪器在每帧中提供三个点,每个点由12维特征组成(即,三维位置坐标、速度、旋转、角速度)。我们创建了一个数据集,包括9个姿势类的虚拟就地运动。除了基于监督点的网络,我们还考虑了无监督的领域自适应,由于人与人之间的变化。为此,我们开发了一个端到端的联合框架,涉及监督点学习的监督损失和无监督领域自适应的无监督损失。实验表明,我们的方法产生了非常有前途的结果,在高的整体分类准确率(95.0%)和实时性能(192毫秒的延迟)。我们的代码将在www.example.com上公开。
2021-08-22 cs.HC
Achieving Effective Virtual Reality Interactions via Acoustic Gesture Recognition based on Large Language Models
Department of Computer Science, Hong Kong Baptist University, Hong Kong, China(计算机科学系,香港 Baptist 大学,香港,中国)
本文提出首个利用大语言模型进行CIR声学手势识别的VR/AR交互框架,通过采集差分CIR实现少样本与零样本学习,实验表明其准确率可与经典机器学习基线相当且无需领域再训练。
2025-11-10 cs.AI cs.CV cs.HC
Beyond the Mirror: Balancing Interaction Modality and Avatar Fidelity in Public 3D Virtual Try-On Systems
Jiangxi University of Finance and Economics(江西财经大学);Communication University of China(中国传媒大学)
该研究针对公共3D虚拟试穿系统的交互疲劳与社交尴尬问题,提出整合无标记动作捕捉与动态逼真度控制的系统,揭示了交互模态与化身逼真度的平衡规律,构建了情境感知逼真度框架。
2026-08-25 cs.HC
4Doodle: Two-handed Gestures for Immersive Sketching of Architectural Models
4Doodle提出基于头戴显示器和双手手势的沉浸式建筑素描环境,利用代理几何体与激光隐喻克服自由手3D素描不准确性,以低成本提供比CAVE更大的交互空间,并通过初步研究验证了其在虚拟现实3D内容创作中的前景。
2024-07-18 cs.CE cs.GR cs.HC
Effective Gesture Based Framework for Capturing User Input
MLR Institute of Technology(MLR理工学院);Chandigarh College of Engineering and Technology(昌迪加尔工程技术学院);Kalinga Institute of Industrial Technology(卡林加工业技术学院)
今天的计算机不仅仅局限于笔记本电脑和台式机。移动设备如移动电话和笔记本电脑也使用它。然而,在过去的50年里,有一种输入设备没有改变,那就是QWERTY键盘。由于传感器技术和人工智能,虚拟键盘的用户可以在任何表面上打字,就好像它是键盘一样。在这项研究中,我们使用图像处理的想法,创建一个应用程序,看到一个计算机键盘使用一个新的框架,可以检测手势与精确的准确性,同时也是可持续的和经济上可行的。相机用于捕获键盘图像和手指运动,随后充当虚拟键盘。此外,一个可视的虚拟鼠标,接受手指坐标作为输入,也在这项研究中描述。该系统的直接好处是降低了外围设备成本,减少了由于外部设备而产生的电子废物,并为无法使用传统键盘和鼠标的人提供了可访问性。
2022-08-01 cs.AI cs.HC
A Transferable Adaptive Domain Adversarial Neural Network for Virtual Reality Augmented EMG-Based Gesture Recognition
在基于肌电图(EMG)的手势识别领域内,文献中报道的离线准确性和分类器的实时可用性之间存在差异。这种差距主要源于两个因素:1)缺乏控制者,使得收集的数据与实际控制不一致。2)包括四个主要的动态因素(手势强度、肢体位置、电极移位和信号中的瞬时变化)的难度,如包括它们的排列,显著地增加了要记录的数据量。首先,在线数据集仅限于用于记录它们的精确的基于EMG的控制器,需要为待测试的每个控制方法或变体记录新的数据集。因此,本文提出了一种新型的数据集作为离线和在线数据集之间的中间,通过使用实时实验协议记录数据。该协议,在虚拟现实中执行,包括四个主要的动态因素,并使用肌电独立的控制器来指导运动。这种与EMG无关的反馈确保用户在记录过程中处于回路中,同时使生成的动态数据集能够用作基于EMG的基准。该数据集由20名身体健全的参与者组成,他们在14至21天的时间内完成了3至4次会议。动态数据集作为基准的能力被用来评估不同的重新校准技术对长期(跨天)手势识别的影响,包括一种名为TADANN的新算法。TADANN一致且显著(p<0.05)优于使用微调作为重新校准技术。
2021-02-14 cs.CV cs.HC cs.LG
Real-Time Confidence Detection through Facial Expressions and Hand Gestures
本文提出基于 Media Pipe Face Mesh 的实时头部朝向检测方法,通过三维面部标志点与欧拉角计算,在四英尺距离内达到90%准确率,用于评估在线场景中的用户注意力与互动质量。
2025-06-10 cs.HC
Hand-Gesture-Recognition Based Text Input Method for AR/VR Wearable Devices
静态和动态手部动作是人机交互的基本方式。为了识别和分类这些运动,首先,这些运动由安装在增强现实(AR)或虚拟现实(VR)可穿戴设备上的相机捕获。采用分割方法对手部进行分割,并将其手势传递给手势识别算法,该算法依赖于深度可分离的卷积神经网络进行训练、测试,最终在移动AR/VR设备上平稳运行,同时保持准确性和负载平衡。对多个手势进行处理,以识别正确的手势,并对手势进行分类,忽略所有间歇手势。利用所提出的方法,用户可以通过在空中移动他/她的手来在空中书写字母和数字。基于手势的操作被执行,并且手的轨迹被记录为手写文本。最后,手写文本被处理用于文本识别。
2020-04-02 cs.HC
Speech Gesture Generation from the Trimodal Context of Text, Audio, and Speaker Identity
ETRI(韩国电子通信研究院);KAIST(韩国科学技术院);University of Science and Technology(科学技术大学)
对于类人代理,包括虚拟化身和社交机器人,在说话时做出适当的手势在人-代理交互中至关重要。协同语音手势增强了交互体验,使智能体看起来生动活泼。然而,由于缺乏对人们如何做手势的理解,很难生成类似人类的手势。数据驱动的方法试图从人类演示中学习手势技能,但手势的模糊性和个体性阻碍了学习。在本文中,我们提出了一个自动手势生成模型,使用语音文本,音频和扬声器身份的多模态上下文可靠地生成手势。通过结合多模态上下文和对抗性训练方案,所提出的模型输出与语音内容和节奏相匹配的类似人类的手势。我们还介绍了一个新的量化评估指标的手势生成模型。实验结果表明,该模型优于现有的端到端手势生成模型。我们进一步确认,我们的模型是能够与合成的音频在上下文受到约束的情况下,并表明,不同的手势风格可以生成相同的语音通过指定不同的扬声器身份的风格嵌入空间,从不同的扬声器的视频学习。所有的代码和数据都可以在https://github.com/ai4r/Gesture-Generation-from-Trimodal-Context上找到。
2020-09-04 cs.CV cs.GR cs.HC
MM-Conv: A Multi-modal Conversational Dataset for Virtual Humans
KTH Royal Institute of Technology(皇家理工学院)
本文提出MM-Conv数据集,利用VR头显在AI2-THOR中记录指称对话的多模态数据,以增强3D场景下手势生成模型的上下文理解与开发。
2024-09-30 cs.CL cs.CV cs.GR
SGToolkit: An Interactive Gesture Authoring Toolkit for Embodied Conversational Agents
非语言行为对于社交机器人、虚拟化身和数字人类等实体代理至关重要。现有的行为创作方法,包括关键帧动画和运动捕捉是太昂贵的使用时,有许多话语需要手势。自动生成方法显示出有希望的结果,但它们的输出质量还不令人满意,并且很难按照手势设计者的意愿修改输出。我们介绍了一个新的手势生成工具包,命名为SGToolkit,它提供了一个更高的质量比自动方法的输出,比手动创作更有效。对于该工具包,我们提出了一个神经生成模型,该模型从语音中合成手势,并适应用户的精细姿势控制和粗糙风格控制。针对24名参与者的用户研究表明,该工具包优于手动创作,并且生成的手势也与人类相似,适合输入语音。SGToolkit与平台无关,代码可在https://github.com/ai4r/SGToolkit上获得。
2021-08-10 cs.HC
Systematic Adaptation of Communication-focused Machine Learning Models from Real to Virtual Environments for Human-Robot Collaboration
School of Engineering(工程学院);The University of British Columbia(不列颠哥伦比亚大学);Department of Aerospace Engineering(航空航天工程系);Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校);Department of Mechanical Engineering(机械工程系);University of Victoria(维多利亚大学)
针对虚拟人机协作中手势数据采集成本高的问题,本文提出利用有限虚拟数据将真实环境训练的通信聚焦深度学习模型系统适配到虚拟环境的框架及数据集构建准则。
2023-07-21 cs.HC cs.LG cs.RO
Communicative Learning with Natural Gestures for Embodied Navigation Agents with Human-in-the-Scene
UCLA(加州大学洛杉矶分校)
人机协作是人工智能(AI)的一个重要研究课题,使研究人员能够设计认知AI系统,并为用户提供与机器人交互的直观方式。值得注意的是,沟通发挥着核心作用。到目前为止,先前的研究体现代理导航只表明,人类语言促进通信的指令在自然语言。尽管如此,还有许多其他形式的交流方式没有得到探索。事实上,人类交流起源于手势,并且通常通过多模态提示来传递,例如,用指向手势“去那里”。为了弥合差距,并填补在体现代理导航的沟通缺失的维度,我们建议调查使用手势作为沟通界面,而不是口头提示的影响。具体而言,我们开发了一个基于VR的三维仿真环境,命名为Ges-THOR,基于AI 2-THOR平台。在这个虚拟环境中,一个人类玩家被放置在同一个虚拟场景中,只使用手势来引导人工代理。该代理的任务是解决导航问题的自然手势与未知的语义指导,我们不使用任何预定义的手势,由于人类手势的多样性和通用性。我们认为,学习自然手势的语义是互惠互利的学习导航任务-学习沟通和沟通学习。在一系列的实验中,我们证明了人类的手势提示,即使没有预定义的语义,提高了对象目标导航的体现代理,优于各种国家的最先进的方法。
2021-08-05 cs.AI cs.CV cs.HC
Designing Upper-Body Gesture Interaction with and for People with Spinal Muscular Atrophy in VR
本研究通过12名SMA患者为26项VR命令设计312个上半身手势的启发研究,揭示了任务与能力对身体部位选择的影响及偏好,为运动障碍人群提出了更优的VR手势输入方法。
2024-03-24 cs.HC
Requirement-Driven Design of Whole-Body Social Tactile Sensing via Virtual Human-Robot Interaction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Case Western Reserve University(凯斯西储大学)
该研究针对社交物理人机交互中触觉传感的硬件驱动局限,提出需求驱动框架,利用VR平台收集数据,识别社交触摸手势并构建数据集,分析得出定量基线,其方法可转移,能为特定形态机器人得出传感需求。
2026-07-14 cs.HC cs.RO
Beyond Ray-Casting: Evaluating Controller, Free-Hand, and Virtual-Touch Modalities for Immersive Text Entry
Department of Computer Science and Engineering, University of Rajshahi, Bangladesh(拉杰沙希大学计算机科学与工程系)
本文通过对比六种物理输入系统,评估了控制器驱动、自由手和虚拟触觉模式在沉浸式文本输入中的性能,发现控制器驱动的击打手势组合在效率和准确性上表现最佳,同时揭示了自然交互与吞吐量之间的张力。
2026-03-19 cs.HC
Virtual Reality in Sign Language Education: Opportunities, Challenges, and the Road Ahead
本文系统综述55项研究,探讨VR与AI在手语教育中的应用,涵盖手势识别、交互环境等五大主题,指出硬件与精度挑战,并提出兼顾包容性的发展建议。
2025-08-28 cs.HC
Speech-driven Personalized Gesture Synthetics: Harnessing Automatic Fuzzy Feature Inference
Macau University of Science and Technology(澳门科技大学);Communication University of Zhejiang(浙江传媒学院);Zhejiang Lab(之江实验室);Communication University of China(中国传媒大学);Zhejiang University(浙江大学);Zhejiang Institute of Economics and Trade(浙江经贸职业技术学院)
针对语音驱动手势生成中多特征处理难题,提出Persona-Gestor模型,利用模糊特征推理和AdaLN Transformer扩散架构,仅凭语音生成个性化3D手势,在多个数据集上超越现有方法。
2024-03-16 cs.AI cs.CV cs.GR
Gesticulator: A framework for semantically-aware speech-driven gesture generation
KTH(瑞典皇家理工学院)
人们在说话时会自发地做手势,手势在信息传递中起着关键作用。类似地,逼真的协同语音手势对于实现与社交代理的自然和流畅的交互至关重要。当前的端到端协同语音手势生成系统使用单个模态来表示语音:音频或文本。因此,这些系统被限制为产生声学链接的节拍手势或语义链接的手势(例如,在说“高”时举手):他们不能适当地学习生成两种手势类型。我们提出了一个模型,旨在产生任意节拍和语义手势在一起。我们基于深度学习的模型将语音的声学和语义表示作为输入,并将手势生成为关节角度旋转序列作为输出。由此产生的手势可以应用于虚拟代理和人形机器人。主观和客观的评价证实了我们的方法的成功。代码和视频可以在项目页面https://svito-zar.github.io/gesticulator上找到。
2021-01-14 cs.HC cs.LG eess.AS
CyanKitten: AI-Driven Markerless Motion Capture for Improved Elderly Well-Being
本研究推出专为老年人设计的CyanKitten虚拟伴侣系统,通过三层架构、双摄与老年运动训练的CNN实现姿态与手势识别,结合多模态交互提升老年生活质量。
2025-03-25 cs.HC
Exploring the Impact of Non-Verbal Virtual Agent Behavior on User Engagement in Argumentative Dialogues
本研究通过56人参与的实验室实验,探讨了非言语智能体行为(特别是伴随言语手势)对论证性对话中用户参与度的影响,发现该手势能显著提升用户参与度、兴趣及系统整体感知,为未来合作性论证虚拟智能体的设计提供了重要见解。
2024-11-17 cs.HC
Learning to Generate Pointing Gestures in Situated Embodied Conversational Agents
Division of Speech, Music and Hearing, KTH Royal Institute of Technology(语音、音乐与听觉系,皇家理工学院)
提出结合模仿与强化学习的框架,在具身智能体中生成物理有效且高指代准确度的指示手势,优于监督模型基线。
2025-09-15 cs.HC cs.LG cs.RO
Analyzing Input and Output Representations for Speech-Driven Gesture Generation
本文提出了一种新的框架,自动语音驱动的手势生成,适用于包括虚拟代理和机器人的人机交互。具体来说,我们通过结合表示学习,扩展了最近基于深度学习的数据驱动方法,用于语音驱动的手势生成。我们的模型将语音作为输入,并以3D坐标序列的形式产生手势作为输出。我们的方法包括两个步骤。首先,我们使用去噪自动编码器神经网络学习人体运动的低维表示,该神经网络由运动编码器MotionE和运动解码器MotionD组成。所学习的表示保留了人类姿势变化的最重要方面,同时去除不太相关的变化。其次,我们训练一种新的编码器网络SpeechE,以从语音映射到具有降低的维度的相应运动表示。在测试时,语音编码器和运动解码器网络被组合:SpeechE基于给定的语音信号预测运动表示,MotionD然后解码这些表示以产生运动序列。我们评估不同的表示尺寸,以找到最有效的表示维数。我们还评估了使用不同的语音特征作为模型输入的效果。我们发现,梅尔频率倒谱系数(MFCC),单独或与韵律特征相结合,表现最好。随后的用户研究结果证实了表示学习的好处。
2019-06-11 cs.HC
Can we trust online crowdworkers? Comparing online and offline participants in a preference test of virtual agents
进行用户研究是许多科学领域的重要组成部分。虽然有些研究需要参与者亲自在场,但其他研究可以在物理(例如实验室内)和在线(例如通过众包)进行。邀请参与者到实验室可能是一项耗时且后勤困难的工作,更不用说有时研究小组可能无法进行实验室实验,例如,由于流行病。因此,众包平台,如Amazon Mechanical Turk(AMT)或Prolific,可以成为运行某些实验的合适替代方案,例如评估虚拟代理。虽然以前的研究调查了使用众包平台进行实验,但对于感知研究的结果是否可靠仍然存在不确定性。在这里,我们复制以前的实验,参与者评估虚拟代理的手势生成模型。该实验在三个参与者池中进行-实验室内,多产和AMT -在实验室参与者和多产平台中具有相似的人口统计数据。我们的研究结果表明,三个参与者池之间没有差异,他们的评价的手势生成模型和他们的可靠性分数。结果表明,在线平台可以成功地用于这种感知评价。
2020-10-23 cs.HC cs.MM
FingerMapper: Mapping Finger Motions onto Virtual Arms to Enable Safe Virtual Reality Interaction in Confined Spaces
全身运动增强了虚拟现实(VR)体验的存在感和乐趣。然而,使用大的手势通常是不舒服的,并且在有限的空间中是不可能的(例如,公共交通)。我们引入了FingerMapper,将小范围的手指运动映射到虚拟手臂和手上,以实现VR中的全身虚拟运动。在第一个目标选择研究(n=13)中,将FingerMapper与手部跟踪和光线投射进行比较,我们发现FingerMapper可以显着减少身体运动和疲劳,同时具有相似的精度。在一项连续的研究(n=13)中,我们将FingerMapper与有限空间(汽车前排乘客座位)内的手部跟踪进行了比较。结果显示,参与者对FingerMapper的安全感明显更高,碰撞更少,同时保持了与手部跟踪相似的存在和享受程度。最后,我们提出了三个示例应用程序,展示了FingerMapper如何应用于有限空间中VR的运动和交互。
2023-02-23 cs.HC
Synchronizing Full-Body Avatar Transforms with WebRTC DataChannel on Educational Metaverse
本文扩展基于 Web 的 VR 教育元宇宙平台,借助 WebRTC DataChannel 同步全身化身变换,以提升语音与手势的一致性并完成初步验证。
2023-09-26 cs.HC
Evaluating the Usability of Microgestures for Text Editing Tasks in Virtual Reality
University of Cambridge(剑桥大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本研究开发了无需外部传感器的VR微手势文本编辑系统microGEXT,经三项用户研究验证,其可缩短编辑时间、降低疲劳,是传统VR文本编辑技术的有前景替代方案。
2026-08-04 cs.HC cs.MM
AnkleType: A Hands- and Eyes-free Foot-based Text Entry Technique in Virtual Reality
Shantou University(汕头大学);City University of Hong Kong(香港城市大学)
本文提出AnkleType,一种无需手眼的虚拟现实文本输入技术,通过脚部动作实现站立和坐姿的双足和单足输入策略,提升了文本输入效率。
2026-03-23 cs.HC
Zero-Shot Style Transfer for Gesture Animation driven by Text and Speech using Adversarial Disentanglement of Multimodal Style Encoding
Sorbonne University(索邦大学);CNRS(法国国家科学研究中心);ISIR(智能系统与机器人研究所);STMS(科学与音乐技术实验室)
基于行为风格的虚拟Agent建模是实现人类Agent交互个性化的重要因素之一。我们提出了一种高效而有效的机器学习方法来合成由韵律特征和不同说话者风格的文本驱动的手势,包括那些在训练过程中看不见的手势。我们的模型执行zero shot多模态风格传输驱动的多模态数据从PATS数据库包含各种扬声器的视频。我们认为风格在说话时是普遍存在的,它为交际行为的表现性赋予了色彩,而言语内容则是由多模态信号和语篇来承载的。这种内容和风格的解纠缠方案允许我们直接推断即使是其数据不是训练阶段的一部分的说话者的风格嵌入,而不需要任何进一步的训练或微调。我们的模型的第一个目标是基于两个音频和文本模态的内容生成源扬声器的手势。第二个目标是在目标说话人的多模态行为风格嵌入上调节源说话人预测的手势。第三个目标是允许在训练期间看不见的说话者的zero shot风格转移,而无需重新训练模型。我们的系统包括:(1)说话者风格编码器网络,其学习从目标说话者多模态数据生成固定维度的说话者嵌入风格;以及(2)序列到序列合成网络,其基于源说话者的输入模态的内容并以说话者风格嵌入为条件来合成手势。我们评估,我们的模型可以合成手势的源扬声器和目标扬声器的风格变化的知识转移到手势生成任务中的zero shot设置。我们将2D手势转换为3D姿势并生成3D动画。我们进行客观和主观的评估,以验证我们的方法,并将其与基线进行比较。
2022-08-03 cs.HC cs.LG cs.SD
What if Virtual Agents Had Scents? Users' Judgments of Virtual Agent Personality and Appeals in Encounters
本研究探讨了虚拟代理的嗅觉线索、情绪表达和性别如何影响用户感知,发现积极情绪提升印象,但不悦气味会压制其他线索产生负面影响,强调了VR设计中嗅觉刺激选择的重要性。
2025-09-14 cs.HC
Super Star: Towards Streaming Real-time Interactive Agents for Digital Humans
ShanghaiTech University(上海科技大学);LIGHTSPEED(腾讯光速工作室)
本文针对交互式数字人提出流式实时同步言语手势生成任务,构建耦合流式语音响应与在线手势生成的框架,经实验验证其在延迟-质量权衡等方面优于现有基线。
2026-08-27 cs.CV cs.HC cs.SD
Storytelling Agents with Personality and Adaptivity
University of California, Santa Cruz(加州大学圣克鲁兹分校);University of California, Davis(加州大学戴维斯分校)
我们探讨的个性和适应性的表达,通过在讲故事的任务虚拟代理的手势。我们使用四个不同的对话故事进行了两个实验。我们操纵代理人格的外向性规模,代理是否相互适应,在他们的手势表现和代理性别。我们的研究结果表明,受试者能够感知不同虚拟代理之间的外倾性的预期变化,独立于他们正在讲述的故事和代理的性别。第二项研究表明,受试者也喜欢自适应非自适应虚拟代理。
2017-09-04 cs.CL cs.HC
Sign in the Air to Unlock: An Interface for authentication in Virtual and Augmented Reality Powered by Point-Voxel Cross-Attention Network
提出一种空中签名认证接口,利用点-体素交叉注意力网络(PV-Net)建模3D轨迹的局部运动与全局结构,在公开和自建数据集上实现低错误率,支持沉浸式环境中的自然交互认证。
2026-07-16 cs.CR cs.CV cs.HC
Dynamic Multimodal Expression Generation for LLM-Driven Pedagogical Agents: From User Experience Perspective
本文提出基于大语言模型的动态多模态表达生成方法,通过生成协调的语音和手势指令,提升教育代理的沉浸感和自然表达能力。
2026-03-10 cs.HC cs.MM
The Impact of Virtual Reality and Viewpoints in Body Motion Based Drone Teleoperation
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
远程机器人系统的操作可能是一项具有挑战性的任务,需要直观和高效的界面,以使没有经验的用户能够达到高水平的熟练程度。身体-机器接口(BoMI)代表了标准控制设备(如鼠标)的一种有前途的替代方案,因为它们利用了直观的身体运动和手势。已经表明,使用虚拟现实(VR)和第一人称视角可以增加用户在化身中的存在感。然而,目前还不清楚这些有益的影响是否也发生在显示不同于人类的运动模式的非拟人机器人的遥操作中。在这里,我们描述的非拟人无人机的远程操作的实验结果表明,VR与更高的空间存在感相关,而与机器人一致移动的视点与更高的意义上的实施例。此外,实验结果表明,自发身体运动模式在可变性、幅度和机器人相关性方面受到VR和视点条件的影响,这表明无人机遥操作BoMI的设计必须考虑到虚拟现实的使用和选择。观点。
2021-01-30 cs.HC cs.RO
Anchors Based Method for Fingertips Position Estimation from a Monocular RGB Image using Deep Neural Network
在虚拟、增强和混合现实中,手势的使用越来越流行,以减少虚拟和现实世界之间的差异。指尖的精确位置对于无缝体验至关重要。大部分的研究工作是基于使用深度信息的指尖位置的估计。然而,大多数使用RGB图像进行指尖检测的工作仅限于单个手指。由于各种因素,从单个RGB图像中检测多个指尖是非常具有挑战性的。在本文中,我们提出了一种基于深度神经网络(DNN)的方法来估计指尖位置。我们将这种方法命名为基于锚点的指尖位置估计(ABFPE),它是一个两步的过程。通过计算指尖与最近锚点的位置差,使用回归来估计指尖位置。所提出的框架执行最好的手检测结果的依赖有限。在我们对SCUT-Ego-Gesture数据集的实验中,我们在分辨率为$640 \times 480$的视频帧上实现了2.3552像素的指尖检测误差,并且大约$92.98\%$的测试图像具有5像素的平均像素误差。
2020-05-14 cs.CV cs.HC eess.IV
An Immersive Telepresence System using RGB-D Sensors and Head Mounted Display
University of Dayton(代顿大学);University of North Georgia(北乔治亚大学)
我们提出了一个远程沉浸式系统,使人们能够在一个虚拟的世界中使用身体姿势,除了口头交流。除了明显的应用程序,包括一般的在线对话和游戏,我们假设,我们提出的系统将是特别有益的教育,提供丰富的视觉内容和互动。一个独特的功能是自我中心的姿态识别的集成,允许参与者使用他们的手势来演示和操纵虚拟对象的同时。此功能使教师能够以直观的方式有效地解释和说明复杂的概念或复杂的问题。高度互动和灵活的环境可以捕捉和维持更多的学生注意力比传统的课堂设置,因此,提供了一个引人注目的经验给学生。我们在这里的主要重点是调查可能的解决方案,系统的设计和实施,并制定战略,快速,高效的计算,适用于视觉数据处理和网络传输。我们详细描述了该技术和实验,并提供定量的性能结果,证明我们的系统可以舒适,可靠地运行在不同的应用场景。我们的初步结果是有希望的,并展示了在网络学习更引人注目的方向的潜力。
2015-11-21 cs.CV cs.HC cs.MM