DiffMotion: Speech-Driven Gesture Synthesis Using Denoising Diffusion Model
Macau University of Science and Technology（澳门科技大学）；Communication University of Zhejiang（浙江传媒学院）；Ningbo University of Finance & Economics（宁波财经学院）
语音驱动的手势合成是虚拟人创建中越来越受关注的领域。然而，一个关键的挑战是语音和手势之间固有的复杂的一对多映射。以往的研究已经探索并取得了显着的进展与生成模型。尽管如此，大多数合成手势仍然远不自然。提出了一种基于扩散模型的语音驱动手势合成架构DiffMotion。该模型包括自回归时间编码器和去噪扩散概率模块。编码器提取语音输入和历史手势的时间上下文。扩散模块学习参数化马尔可夫链，将简单分布逐步转换为复杂分布，并根据伴随语音生成手势。与基线相比，客观和主观的评价证实，我们的方法可以产生自然和多样化的手势，并证明了基于扩散的模型对语音驱动的手势合成的好处。
2023-02-02 cs.CV cs.GR cs.HC
Toward Natural Gesture/Speech Control of a Large Display
近年来，由于计算机视觉研究的进展，自由手势已经被探索作为人机交互（HCI）的手段。与改进的语音处理技术一起，它是迈向自然多模态HCI的重要一步。然而，将非预定义的连续手势包括到多模态框架中是一个具有挑战性的问题。在本文中，我们提出了一个结构化的方法来研究模式的多模态语言的上下文中的二维显示控制。我们认为系统的分析手势从可观察到的运动学原语，他们的语义有关的语言结构。提出的语义分类共动词手势区分六类基于其时空指示。我们讨论了一个计算框架的演变手势和语音集成，这是用来开发一个交互式的测试平台（IMAP）。该测试平台能够在HCI的叙事模式中引发足够的、非顺序的、多模态模式。进行用户研究说明的意义占的时间对齐的手势和语音部分的语义映射。此外，共现分析的手势/语音生产表明句法组织的手势在词汇水平。
2001-05-17 cs.CV cs.HC
Augmented Co-Speech Gesture Generation: Including Form and Meaning Features to Guide Learning-Based Gesture Synthesis
针对现有深度学习生成的伴随语音手势缺乏语义信息、语境适配性不足的问题，提出一种融合形式与意义特征的增强生成框架，利用大小两类语料库学习，经评估其语义连贯性与人物感知效果达人类真实水平，且相关资源已公开。
2023-07-13 cs.GR cs.HC
Streaming Generation of Co-Speech Gestures via Accelerated Rolling Diffusion
本文提出兼容现有扩散手势生成模型的流式生成框架，结合结构化渐进噪声调度与RDLA加速方法，在ZEGGS、BEAT基准上实现最高4倍加速，可实时生成同步、真实多样的伴随语音手势。
2025-11-19 cs.CV cs.HC cs.LG
Gesticulator: A framework for semantically-aware speech-driven gesture generation
KTH（瑞典皇家理工学院）
人们在说话时会自发地做手势，手势在信息传递中起着关键作用。类似地，逼真的协同语音手势对于实现与社交代理的自然和流畅的交互至关重要。当前的端到端协同语音手势生成系统使用单个模态来表示语音：音频或文本。因此，这些系统被限制为产生声学链接的节拍手势或语义链接的手势（例如，在说“高”时举手）：他们不能适当地学习生成两种手势类型。我们提出了一个模型，旨在产生任意节拍和语义手势在一起。我们基于深度学习的模型将语音的声学和语义表示作为输入，并将手势生成为关节角度旋转序列作为输出。由此产生的手势可以应用于虚拟代理和人形机器人。主观和客观的评价证实了我们的方法的成功。代码和视频可以在项目页面https://svito-zar.github.io/gesticulator上找到。
2021-01-14 cs.HC cs.LG eess.AS
DiffuseStyleGesture: Stylized Audio-Driven Co-Speech Gesture Generation with Diffusion Models
针对共语手势生成中手势多样性难保证、与语音节奏语义匹配难的问题，提出基于扩散模型的DiffuseStyleGesture方法，引入注意力机制、无分类器引导等提升效果，实验表现优于现有方法，且已开源相关资源。
2023-05-08 cs.HC cs.MM
Integrated Speech and Gesture Synthesis
KTH Royal Institute of Technology（瑞典皇家理工学院）
到目前为止，文本到语音和协同语音手势合成一直被两个不同的研究团体视为独立的领域，应用程序只是使用简单的系统级管道将这两种技术堆叠起来。这可能导致建模效率低下，并可能引入限制可实现的自然性的不一致性。我们建议在一个模型中合成这两种模态，这是一个新的问题，我们称之为集成语音和手势合成（ISG）。我们还提出了一组模型修改的国家的最先进的神经语音合成引擎，以实现这一目标。我们在三个精心设计的用户研究中评估了这些模型，其中两个单独评估了合成的语音和手势，另一个综合研究评估了这些模型，就像它们将用于现实世界的应用一样-语音和手势一起呈现。结果表明，在所有三个测试中，参与者对所提出的综合合成模型之一的评价与我们比较的最先进的管道系统一样好。与管道系统相比，该模型能够以更快的合成时间和大大减少的参数数量来实现这一目标，这说明了将语音和手势合成作为单个统一问题一起处理的一些潜在好处。视频和代码可以在我们的项目页面https://swatsw.github.io/isg_icmi21/上找到
2021-08-25 cs.GR cs.HC cs.LG
QPGesture: Quantization-Based and Phase-Guided Motion Matching for Natural Speech-Driven Gesture Generation
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The Chinese University of Hong Kong（香港中文大学）；Huawei Cloud Computing Technologies Co., Ltd（华为云计算技术有限公司）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对语音驱动手势生成中的运动抖动和语音异步问题，提出基于量化和相位引导的运动匹配框架，通过手势 VQ-VAE 码本与 Levenshtein 距离对齐优化生成质量，实验证明其优于现有方法。
2023-05-18 cs.CV cs.HC cs.MM
Unified speech and gesture synthesis using flow matching
KTH Royal Institute of Technology（瑞典皇家理工学院）
提出基于最优传输条件流匹配的统一架构，从文本联合合成语音与3D手势，以更少步骤实现更优合成质量，提升自然度与跨模态一致性。
2024-01-09 cs.GR cs.HC cs.LG
Understanding Gesture and Speech Multimodal Interactions for Manipulation Tasks in Augmented Reality Using Unconstrained Elicitation
这项研究建立了一个更好的理解的语法选择在语音交互和语音，手势和多模态手势和语音交互是如何产生的用户在不受约束的对象操作环境中使用增强现实。这项工作提出了一个多模态启发研究进行了24名参与者。平移、旋转和缩放的规范引用与一些抽象引用（创建、销毁和选择）一起使用。在这项研究中，手势和语音多模态交互的时间窗口开发使用手势和语音的开始和停止时间以及手势的行程时间。虽然手势通常先于语音81 ms，但我们发现手势的笔划通常在语音开始的10 ms内。指示手势的信息内容及其共同出现的语音彼此很好地对准。最后，审查了每种模式最常见提案的趋势。表明提议之间的不一致通常是由手势或句法的变化引起的。允许我们提出别名建议，以增加未来多模态交互系统捕获的用户自然交互的百分比。
2022-08-08 cs.HC
MIBURI: Towards Expressive Interactive Gesture Synthesis
Max Planck Institute for Informatics, SIC（马克斯·普朗克信息学研究所，SIC）；Saarland University（萨尔大学）
MIBURI提出首个实时因果框架，生成与实时口语对话同步的表达性全身手势和面部表情，通过多级离散标记和辅助目标提升自然度与多样性。
2026-03-27 cs.CV cs.GR cs.HC
Diffusion-Based Co-Speech Gesture Generation Using Joint Text and Audio Representation
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文为GENEA挑战赛2023提出基于diffusion的协同语音手势生成系统，通过引入对比语音与动作预训练（CSMP）模块学习语音与手势的联合嵌入，将其作为条件信号实现语义感知的手势生成，在人类相似度与语音适当性评分上达到最高。
2023-09-11 cs.HC cs.LG cs.SD
AQ-GT: a Temporally Aligned and Quantized GRU-Transformer for Co-Speech Gesture Synthesis
Bielefeld University（比勒费尔德大学）
本文提出AQ-GT框架，通过GAN和量化流水线预训练手势序列，学习潜在空间映射以生成逼真共语手势，显著超越现有方法，部分与人类手势无异。
2023-05-08 cs.GR cs.HC cs.LG
It's A Match! Gesture Generation Using Expressive Parameter Matching
从语音的自动手势生成通常依赖于非确定性语音-手势关系的隐式建模，并且可能导致缺乏定义形式的平均运动。在这里，我们提出了一个数据库驱动的方法，选择手势的基础上，已被证明是与语音音频的特定运动特征。我们扩展了以前的工作，确定表达的手势运动参数，既可以从语音预测，是一个很好的语音手势匹配，如手势速度和手指延伸感知重要。一个感性的研究进行评估的适当性的手势选择与我们的方法。我们比较我们的方法与两个基线选择方法。第一个方面的时机，期望的开始和持续时间的手势，但不匹配的手势形式在其他方面。第二基线另外忽略用于选择手势的原始手势定时。从我们的方法的手势序列被评为一个显着更好的匹配的语音比手势选择的基线方法。
2021-03-04 cs.HC
Diff-TTSG: Denoising probabilistic integrated speech and gesture synthesis
KTH Royal Institute of Technology（瑞典皇家理工学院）
提出首个基于扩散的概率模型Diff-TTSG，联合合成自发语音与伴随手势，克服非概率方法的过度平滑问题，并通过多模态主观测试验证其有效性。
2023-08-09 cs.AI cs.CV cs.HC
ImaGGen: Zero-Shot Generation of Co-Speech Semantic Gestures Grounded in Language and Image Input
Social Cognitive Systems Group, Bielefeld University（比勒菲尔德大学社会认知系统小组）
本文提出ImaGGen零样本系统，融合语言与图像输入，通过图像属性提取、语义匹配及逆运动学生成语义手势，用户研究表明其能有效提升歧义场景下的对象属性识别。
2025-10-20 cs.CV cs.HC
Conveying Meaning through Gestures: An Investigation into Semantic Co-Speech Gesture Generation
Bielefeld University（比勒菲尔德大学）；GID GeoInformationsDienst GmbH（GID地理信息服务中心）；Social Cognitive Systems Group（社会认知系统小组）
本文对比 AQ-GT 与语义增强版 AQ-GT-a 的协同语音手势生成效果，发现显式语义并非总能提升表现，而会在训练域专业化与新颖语境泛化之间形成权衡。
2025-10-20 cs.CV cs.HC
Eliciting Multimodal Gesture+Speech Interactions in a Multi-Object Augmented Reality Environment
随着增强现实技术和硬件越来越成熟和实惠，研究人员一直在探索更直观和可扩展的沉浸式环境交互技术。在本文中，我们研究了多通道交互的三维对象操作在一个多对象虚拟环境。为了识别用户定义的手势，我们进行了一项启发式研究，涉及24名参与者的22个参考与增强现实耳机。它产生了528个提议，并在对所有手势提议进行分箱和排名之后生成了具有25个手势的获胜手势集。我们发现，对于相同的任务，相同的手势是首选的一个和两个对象的操作，虽然在两个对象的情况下使用双手。我们提出了手势和语音的结果，并在一个单一的对象虚拟环境中的类似研究相比，差异。该研究还探讨了在对象操作过程中语音表达和手势笔画之间的关联，这可以提高增强现实耳机中的识别器效率。
2022-07-25 cs.HC
Enhancing Communication in Speech Therapy: Exploring the Cognitive Synergy Between Gesture and Speech
De Vinci Research Center, De Vinci Higher Education（德·文西研究中心，德·文西高等教育）
本文研究将基于节奏的界面从手部康复改编至言语治疗，通过手指敲击控制合成语音，利用手势与言语的认知协同，经访谈和试点测试发现其能提升动机和治疗效果。
2026-09-09 cs.HC
SIGGesture: Generalized Co-Speech Gesture Synthesis via Semantic Injection with Large-Scale Pre-Training Diffusion Models
提出SIGGesture，通过大规模预训练扩散模型合成节奏手势并结合LLM生成语义手势，经语义注入模块在扩散逆向过程中融合信息，实现高质量且语义相关的泛化手势合成。
2024-09-22 cs.HC
GestAdapt: Workspace-Conditioned Co-Speech Gesture Generation for Humanoid Robots
Tilburg University（蒂尔堡大学）；TU-Dresden（德累斯顿工业大学）；China University of Mining and Technology-Beijing (CUMTB)（中国矿业大学（北京））
GestAdapt提出工作空间条件化框架，通过共享运动表示从多语料库学习，生成适应手腕工作空间的共语手势，并在用户研究和真实机器人评估中优于无约束基线。
2026-10-01 cs.AI cs.HC cs.LG
GesGPT: Speech Gesture Synthesis With Text Parsing from ChatGPT
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Engineering Research Center of Mixed Reality and Advanced Display（北京混合现实与先进显示工程研究中心）；Institute of Technology, Beijing, China（北京理工大学）
提出GesGPT方法，利用ChatGPT的语义分析能力，通过文本解析将手势生成转化为意图分类问题，并构建手势词典解耦专业与基础手势，实验证明能生成上下文适当且富有表现力的手势。
2024-05-28 cs.CL cs.CV cs.HC
A Unified Editing Method for Co-Speech Gesture Generation via Diffusion Inversion
本文提出一种基于扩散反演的统一框架，无需重新训练即可实现协同语音手势生成的高层与低层编辑，并通过实验验证其有效性。
2024-04-03 cs.HC
Speech-Gesture Mapping and Engagement Evaluation in Human Robot Interaction
Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）
本文提出端到端系统，通过TED演讲者手势到语音的映射学习并结合观众注意力反馈，实现机器人非言语手势增强与语音即兴调整，从而提升人机交互参与度。
2018-12-09 cs.HC cs.RO
Conversational Co-Speech Gesture Generation via Modeling Dialog Intention, Emotion, and Context with Diffusion Models
针对多人对话协同语音手势生成任务，提出基于扩散模型的CoDiffuseGesture方法，通过预训练语言模型的意图感知与情感推理模块融合说话者与对话者的双边对话意图、情感及语义上下文，生成匹配语音的高质量交互手势。
2024-01-11 cs.HC
GesPrompt: Leveraging Co-Speech Gestures to Augment LLM-Based Interaction in Virtual Reality
针对XR环境中用户难以仅靠文本或语音向大语言模型副驾驶传达三维时空信息的问题，本文提出多模态界面GesPrompt，通过融合伴随语音手势提取时空参照，降低认知负担，并构建VR原型系统验证其有效性。
2025-05-08 cs.HC
Co-Speech Gesture Video Generation via Motion-Decoupled Diffusion Model
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；The Chinese University of Hong Kong（香港中文大学）；Huawei Cloud Computing Technologies Co., Ltd（华为云计算技术有限公司）
本文提出运动解耦扩散框架，通过TPS变换提取保留外观的潜在运动特征，并利用Transformer扩散模型生成音频驱动且时间对齐的协同语音手势视频。
2024-04-02 cs.CV cs.HC cs.MM
SARGes: Semantically Aligned Reliable Gesture Generation via Intent Chain
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing Engineering Research Center of Mixed Reality and Advanced Display（混合现实与先进显示北京工程研究中心）；Institute of Technology, Beijing（北京理工大学）；Kuaishou Technology（快手科技）
提出SARGes框架，利用大语言模型解析语音并生成语义手势标签，通过意图链推理机制提升手势语义对齐，实验显示标注准确率50.2%且推理仅需0.4秒。
2025-03-26 cs.AI cs.CL cs.HC
Multimodal analysis of the predictability of hand-gesture properties
KTH Royal Institute of Technology（瑞典皇家理工学院）
智能会话代理受益于能够用手势伴随他们的讲话。虽然近年来已经提出了许多数据驱动的手势生成方法，但仍然不清楚这些系统是否可以一致地生成传达含义的手势。我们研究了哪些手势属性（相位，类别和语义）可以使用当代深度学习从语音文本和/或音频中预测。在广泛的实验中，我们表明，手势的含义（语义和类别）相关的手势属性是可预测的文本功能（时间对齐的FastText嵌入）单独，但不是从韵律音频功能，而节奏相关的手势属性（相位）另一方面，可以预测音频功能比从文本。这些结果是令人鼓舞的，因为它们表明，它是可以配备一个具体的代理与内容明智的有意义的共同语音手势使用机器学习模型。
2022-01-14 cs.HC cs.LG cs.MM
LLAniMAtion: LLAMA Driven Gesture Animation
University of East Anglia（东英吉利大学）
针对角色动画中手势生成的需求，提出利用LLAMA2从文本提取的LLM特征生成手势的方法，实验证明其效果显著优于音频特征，且无需音频即可生成两类手势，为手势生成提供了新的特征来源。
2024-05-13 cs.AI cs.CV cs.GR
Prosody Based Co-analysis for Continuous Recognition of Coverbal Gestures
虽然语音和手势识别已经被广泛研究，但将它们结合在统一框架中的所有成功尝试都是语义上的，例如，关键词手势同现这样的公式继承了自然语言处理的复杂性。本文提出了一种贝叶斯公式，使用的手势和语音清晰度的现象，以提高自动识别的准确性，连续coverbal手势。来自语音信号的韵律特征与视觉信号进行共分析，以学习突出的口语片段与手势的特定运动学相位的共现的先验概率。发现上述共同分析有助于检测和消除视觉上小的手势的歧义，这随后提高了连续手势识别的速率。所提出的方法的有效性证明了从天气频道广播收集的大型数据库。这一提法为自下而上的多式联运框架开辟了新的途径。
2002-11-05 cs.CV cs.HC
The GENEA Challenge 2022: A large evaluation of data-driven co-speech gesture generation
ETRI（韩国电子通信研究院）；Ghent University（根特大学）；imec（校际微电子中心）；Electronic Arts (EA)（美国艺电公司）；Carnegie Mellon University（卡内基梅隆大学）；NOVA University Lisbon（里斯本新大学）；Umeå University（于默奥大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
本文报道了第二届GENEA挑战赛，以基准数据驱动的自动协同语音手势生成。参与团队使用相同的语音和动作数据集来构建手势生成系统。所有这些系统生成的运动都使用标准化的可视化管道渲染成视频，并在几个大型的众包用户研究中进行了评估。与比较不同的研究论文不同，这里的结果差异只是由于方法之间的差异，可以直接进行系统之间的比较。今年的数据集是基于18小时的全身动作捕捉，包括手指，不同的人参与二元对话。十支队伍参加了两个级别的挑战：全身手势和上半身手势。对于每一层，我们评估了手势运动的人性化程度及其对特定语音信号的适当性。我们的评估将人类相似性与手势适当性分离开来，这在以前是该领域的一个主要挑战。评价结果是一场革命，也是一种启示。一些合成条件被评为比人类运动捕捉更像人类。据我们所知，这在以前从未在高保真度的化身上显示过。另一方面，所有的合成运动被发现是远远不适合的讲话比原来的运动捕捉记录。其他材料可通过项目网站https://youngwoo-yoon.github.io/GENEAchallenge2022/获得
2022-08-22 cs.GR cs.HC cs.LG
MambaGesture: Enhancing Co-Speech Gesture Generation with Mamba and Disentangled Multi-Modality Fusion
针对协同语音手势生成缺乏动态性和多样性的问题，提出MambaGesture框架，结合MambaAttn模块与解耦多模态融合模块SEAD，在BEAT数据集上实现了最先进的手势生成性能。
2024-08-28 cs.HC cs.MM
Super Star: Towards Streaming Real-time Interactive Agents for Digital Humans
ShanghaiTech University（上海科技大学）；LIGHTSPEED（腾讯光速工作室）
本文针对交互式数字人提出流式实时同步言语手势生成任务，构建耦合流式语音响应与在线手势生成的框架，经实验验证其在延迟-质量权衡等方面优于现有基线。
2026-08-27 cs.CV cs.HC cs.SD
Speech-driven Personalized Gesture Synthetics: Harnessing Automatic Fuzzy Feature Inference
Macau University of Science and Technology（澳门科技大学）；Communication University of Zhejiang（浙江传媒学院）；Zhejiang Lab（之江实验室）；Communication University of China（中国传媒大学）；Zhejiang University（浙江大学）；Zhejiang Institute of Economics and Trade（浙江经贸职业技术学院）
针对语音驱动手势生成中多特征处理难题，提出Persona-Gestor模型，利用模糊特征推理和AdaLN Transformer扩散架构，仅凭语音生成个性化3D手势，在多个数据集上超越现有方法。
2024-03-16 cs.AI cs.CV cs.GR
Analyzing Input and Output Representations for Speech-Driven Gesture Generation
本文提出了一种新的框架，自动语音驱动的手势生成，适用于包括虚拟代理和机器人的人机交互。具体来说，我们通过结合表示学习，扩展了最近基于深度学习的数据驱动方法，用于语音驱动的手势生成。我们的模型将语音作为输入，并以3D坐标序列的形式产生手势作为输出。我们的方法包括两个步骤。首先，我们使用去噪自动编码器神经网络学习人体运动的低维表示，该神经网络由运动编码器MotionE和运动解码器MotionD组成。所学习的表示保留了人类姿势变化的最重要方面，同时去除不太相关的变化。其次，我们训练一种新的编码器网络SpeechE，以从语音映射到具有降低的维度的相应运动表示。在测试时，语音编码器和运动解码器网络被组合：SpeechE基于给定的语音信号预测运动表示，MotionD然后解码这些表示以产生运动序列。我们评估不同的表示尺寸，以找到最有效的表示维数。我们还评估了使用不同的语音特征作为模型输入的效果。我们发现，梅尔频率倒谱系数（MFCC），单独或与韵律特征相结合，表现最好。随后的用户研究结果证实了表示学习的好处。
2019-06-11 cs.HC
UnifiedGesture: A Unified Gesture Synthesis Model for Multiple Skeletons
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The Chinese University of Hong Kong（香港中文大学）；Huawei Cloud Computing Technologies Co., Ltd（华为云计算技术有限公司）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出 UnifiedGesture，一种基于扩散模型的语音驱动手势合成方法，通过重定向网络统一不同骨架表示并结合强化学习对齐语音与手势，显著提升了手势生成的多样性与逼真度。
2023-09-13 cs.AI cs.HC cs.MM
Evaluating Data-Driven Co-Speech Gestures of Embodied Conversational Agents through Real-Time Interaction
利用协同语音手势的嵌入式会话代理可以在许多方面增强人机交互。近年来，用于ECA的数据驱动手势生成方法引起了相当大的研究关注，并且相关方法不断改进。当研究人员评估生成基于规则的手势的ECA系统时，通常使用实时的【形】交互。然而，在基于数据驱动的方法评估ECA的性能时，参与者通常只需要观看预先录制的视频，这无法提供有关一个人在互动过程中感知的足够信息。为了解决这个限制，我们探索了使用实时的【形】交互来评估数据驱动的手势ECA。我们提供了一个测试平台的框架，并调查手势是否会影响人类感知的ECA在人的相似性，生命力，感知的智能和集中注意力的维度。我们的用户研究要求参与者与两个ECA进行交互-一个有手势，一个没有手势。我们从参与者的自我报告问卷中收集了主观数据，并从凝视跟踪器中收集了客观数据。据我们所知，目前的研究代表了第一次尝试通过实时的【形】交互来评估数据驱动的手势ECA，以及第一个使用注视跟踪来检查ECA手势效果的实验。
2022-10-13 cs.HC
DiM-Gestor: Co-Speech Gesture Generation with Adaptive Layer Normalization Mamba-2
School of Media Engineering, Communication University of Zhejiang（浙江传媒学院媒体工程学院）；School of Broadcast Announcing Arts, Communication University of Zhejiang（浙江传媒学院播音主持艺术学院）；Faculty of Humanities and Arts, Macau University of Science and Technology（澳门科技大学人文艺术学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Zhejiang Lab（之江实验室）；Changjiang Academy of Art and Design, Shantou University（汕头大学长江艺术与设计学院）
针对基于Transformer的语音驱动手势生成模型二次复杂度的局限，提出DiM-Gestor模型，利用Mamba-2架构构建双组件框架，结合扩散模型，在新发布的CCG数据集上验证了其竞争力，内存减少2.4倍、推理提速2-4倍。
2024-11-23 cs.AI cs.GR cs.HC
A conversational gesture synthesis system based on emotions and semantics
Department of Information Technology, VNUHCM -- University of Science（越南科学大学信息科技系）
本文提出DeepGesture，一种基于扩散的 gesture 合成系统，通过多模态信号生成具有情感和语义条件的手势，提升数字人类的自然表达能力。
2026-01-29 cs.CL cs.HC cs.LG
A Review of Evaluation Practices of Gesture Generation in Embodied Conversational Agents
会话智能体（ECA）通常被设计为产生非言语行为来补充或增强其言语交际。一种这样的非语言行为形式是共同语言手势，它涉及代理人用手臂和手做出的与语言交流配对的动作。用于ECA的协同语音手势可以使用不同的生成方法来创建，分为基于规则的和数据驱动的过程，由于应用机器学习社区的兴趣日益增加，后者获得了牵引力。然而，关于手势生成方法的报告使用多种评估措施，这阻碍了比较。为了解决这个问题，我们提出了一个系统的审查共同语音手势生成方法的图标，隐喻，指示，和节拍的手势，包括报告的评估方法。我们回顾了22项研究，有一个ECA与人类一样的上半身，使用共同的语音手势在社会人类代理互动。这包括使用人类参与者来评估表现的研究。我们发现大多数研究使用受试者内设计，并依赖于某种形式的主观评价，但没有系统的方法。我们认为，该领域需要更严格和统一的工具来进行共同语音手势评估，并制定经验评估的建议，包括标准化的短语和示例场景，以帮助系统地测试跨研究的生成模型。此外，我们还提出了一个清单，可用于报告相关信息以评估生成模型，以及评估协同语音手势的使用。
2022-03-01 cs.HC
The GENEA Challenge 2026: A Large-Scale Disentangled Evaluation of Speech-Driven Gesture Generation on the Seamless Interaction Dataset
KTH Royal Institute of Technology（瑞典皇家理工学院）；Bielefeld University（比勒费尔德大学）；National Library of Sweden（瑞典国家图书馆）；Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院）；Motorica AB（Motorica AB公司）
本研究公布第四届GENEA挑战赛结果，对5个语音驱动手势生成系统开展4项大规模用户研究，发现现有系统在运动真实感、语音对齐等方面仍有不足，相关数据将公开供后续研究。
2026-08-12 cs.CV cs.GR cs.HC
Incorporating Spatial Awareness in Data-Driven Gesture Generation for Virtual Agents
KTH Royal Institute of Technology（皇家理工学院）
本文提出将空间场景信息融入语音驱动手势生成，并构建专用合成手势数据集，以提升虚拟智能体在真实环境中的非言语交互自然度。
2024-08-07 cs.CL cs.GR cs.HC
Freetalker: Controllable Speech and Text-Driven Gesture Generation Based on Diffusion Models for Enhanced Speaker Naturalness
Tencent AI Lab（腾讯AI实验室）
针对现有虚拟人未考虑非说话动作及数据受限问题，提出FreeTalker框架，基于扩散模型统一语音与文本驱动动作，利用无分类器引导与DoubleTake方法生成自然可控且过渡平滑的说话者动作。
2024-01-07 cs.AI cs.HC cs.MM
A large, crowdsourced evaluation of gesture generation systems on common data: The GENEA Challenge 2020
共语手势，即伴随着说话的手势，在人类交际中起着重要的作用。因此，自动协同语音手势生成是嵌入式对话代理（ECA）的关键支持技术，因为人类期望ECA能够进行多模式通信。对手势生成的研究正迅速转向数据驱动的方法。不幸的是，该领域的个别研究工作很难比较：没有既定的基准，每项研究都倾向于使用自己的数据集，运动可视化和评估方法。为了解决这种情况，我们发起了GENEA挑战赛，这是一个手势生成挑战赛，参与团队在一个公共数据集上构建自动手势生成系统，并使用相同的运动渲染管道在一个大型的众包用户研究中并行评估所产生的系统。由于系统之间的评估结果的差异现在完全归因于运动生成方法之间的差异，因此可以将最近的方法相互比较，以便更好地了解该领域的最新技术水平。本文报告的目的，设计，结果和影响，我们的挑战。
2021-02-23 cs.GR cs.HC cs.MM
Telerobotic Pointing Gestures Shape Human Spatial Cognition
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong（香港中文大学）
本文旨在探讨人类是否能够理解遥现机器人的手势。如果是这样的话，他们可以在处理空间信息时从遥控机器人手势中获得意义。在本研究中，我们通过Skype进行了两个实验。参与者被展示了一个有手臂的机器人界面，这些手臂由实验者远程操作。机器人可以指向代表某些实体的虚拟位置。在实验1中，实验者在两种条件下顺序描述虚拟物体的空间位置：言语条件（SO，言语描述清楚地表明了空间布局）和言语和手势条件（SR，言语描述是模糊的，但伴随着机器人指向手势）。然后，参与者被要求回忆物体的空间位置。我们发现，在SR条件下回忆的空间位置的数量是在SO条件下，这表明遥操作机器人的指向手势补偿模糊的语音在空间信息的过程中。在实验2中，实验者描述的空间位置非顺序在SR和SO条件。令人惊讶的是，在SR条件下回忆起的空间位置的数量甚至高于SO条件，这表明当信息以不可预测的顺序呈现时，遥控机器人指向手势在传达空间信息方面比语音更强大。这些发现提供了证据，证明人类能够理解远程机器人的手势，重要的是，将这些手势与共同发生的语音结合起来。这项工作通过机器人中介促进了人类之间的远程协作。
2012-07-08 cs.HC cs.RO physics.med-ph
Zero-Shot Style Transfer for Gesture Animation driven by Text and Speech using Adversarial Disentanglement of Multimodal Style Encoding
Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）；STMS（科学与音乐技术实验室）
基于行为风格的虚拟Agent建模是实现人类Agent交互个性化的重要因素之一。我们提出了一种高效而有效的机器学习方法来合成由韵律特征和不同说话者风格的文本驱动的手势，包括那些在训练过程中看不见的手势。我们的模型执行zero shot多模态风格传输驱动的多模态数据从PATS数据库包含各种扬声器的视频。我们认为风格在说话时是普遍存在的，它为交际行为的表现性赋予了色彩，而言语内容则是由多模态信号和语篇来承载的。这种内容和风格的解纠缠方案允许我们直接推断即使是其数据不是训练阶段的一部分的说话者的风格嵌入，而不需要任何进一步的训练或微调。我们的模型的第一个目标是基于两个音频和文本模态的内容生成源扬声器的手势。第二个目标是在目标说话人的多模态行为风格嵌入上调节源说话人预测的手势。第三个目标是允许在训练期间看不见的说话者的zero shot风格转移，而无需重新训练模型。我们的系统包括：（1）说话者风格编码器网络，其学习从目标说话者多模态数据生成固定维度的说话者嵌入风格;以及（2）序列到序列合成网络，其基于源说话者的输入模态的内容并以说话者风格嵌入为条件来合成手势。我们评估，我们的模型可以合成手势的源扬声器和目标扬声器的风格变化的知识转移到手势生成任务中的zero shot设置。我们将2D手势转换为3D姿势并生成3D动画。我们进行客观和主观的评估，以验证我们的方法，并将其与基线进行比较。
2022-08-03 cs.HC cs.LG cs.SD
To Rate or Not To Rate: Investigating Evaluation Methods for Generated Co-Speech Gestures
虽然自动性能指标对于人工类人行为的机器学习至关重要，但评估的黄金标准仍然是人类的判断。然而，对体现在会话代理中的人工类人行为的主观评估是昂贵的，并且对其返回的数据的质量知之甚少。主观评价的两种方法在很大程度上可以区分开来，一种是依靠评分，另一种是成对比较。在这项研究中，我们使用共同的语音手势来比较这两个对彼此和回答问题，他们的适当性评估的人工行为。我们不仅考虑了他们对质量进行评级的能力，还考虑了与使用工作量和收集主观数据所需的时间有关的方面。我们使用众包来评估化身中共同语音手势的质量，评估哪种方法在主观评估中获得更多细节。我们比较了三种不同的机器学习模型产生的手势与不同水平的行为质量。我们发现，这两种方法都能够根据质量对视频进行排名，并且排名显着相关，这表明在质量方面，一种方法并没有优于另一种方法。我们还发现，成对比较的速度略快，并与提高评分者间的可靠性，这表明，对于小规模的研究，成对比较是优于评级。
2021-08-13 cs.HC
Sequence-to-Sequence Predictive Model: From Prosody To Communicative Gestures
ISIR；Sorbonne University（索邦大学）；LTCI；Télécom-Paris, IP-Paris（巴黎电信，巴黎综合理工学院）；CNRS / Sorbonne University（法国国家科学研究中心 / 索邦大学）
交际手势和语音声学是紧密相连的。我们的目标是根据声学来预测手势的时机。也就是说，我们想要预测某个手势何时发生。我们开发了一个基于递归神经网络的注意力机制模型。该模型是在自然二元交互的语料库上训练的，其中语音声学和手势相位和类型已经被注释。该模型的输入是语音声学序列，输出是手势类序列。我们用于模型输出的类基于手势阶段和手势类型的组合。我们使用序列比较技术来评估模型的性能。我们发现，该模型可以更好地预测某些手势类比别人。我们还进行了消融研究，揭示了基频是手势预测任务的相关特征。在另一个子实验中，我们发现，包括眉毛运动作为节拍手势提高了性能。此外，我们还发现，在一个给定说话人的数据上训练的模型也适用于同一会话的另一个说话人。我们还进行了主观实验，以衡量受访者如何判断的自然性，时间的一致性，和语义的一致性所产生的手势时序的虚拟代理。我们的受访者对我们模型的输出评价很高。
2021-04-23 cs.CL cs.CV cs.HC
Reality Check: How Avatar and Face Representation Affect the Perceptual Evaluation of Synthesized Gestures
Technological University Dublin（都柏林科技大学）；Trinity College Dublin（都柏林三一学院）；Maynooth University（梅努斯大学）
研究探讨了拟人和面部表现对合成动作感知评估的影响，通过控制实验发现视觉选择会系统性地影响动作判断，并提出基准测试和虚拟人类应用的建议。
2026-05-09 cs.GR cs.HC
Fake it to make it: Using synthetic data to remedy the data shortage in joint multimodal speech-and-gesture synthesis
KTH Royal Institute of Technology（瑞典皇家理工学院）；Motorica AB（Motorica公司）
针对多模态语音与3D手势联合合成中平行训练数据短缺的问题，本文提出利用单模态模型生成合成平行数据进行预训练，并设计了一种增强韵律建模的新架构，实验证明该方法能同时提升语音和动作合成质量。
2024-04-30 cs.CV cs.GR cs.HC
Vision-Language System using Open-Source LLMs for Gestures in Medical Interpreter Robots
Technological University Dublin（都柏林技术大学）
本文提出一种基于开源大语言模型的医疗机器人系统，通过检测言语行为并生成相应手势，提升跨语言沟通效率。
2026-03-05 cs.HC cs.RO
The Function of Gesture in an Architectural Design Meeting
本文提出了一个认知心理学分析的自发，共同发言的手势，在面对面的建筑设计会议（A1在DTRS7）。长期目标是制定远程协作设计系统的规范，特别是支持使用不同的符号形式（多模态交互）。根据他们的设计，互动和协作的功能，我们区分不同的手势家族：代表性（实体指定或指定），组织（话语，互动或功能设计行动的管理），聚焦，话语和互动调制，和消歧手势。讨论和结论涉及以下几点。不可能将固定的功能归因于特定的手势形式。“指定”手势也可以具有设计功能。在A1中识别的手势具有某种通用特征。这些手势既不是系统上不可替代的，也不是演讲或绘画的可选附件。我们讨论的可能性，在计算机支持的协作软件系统的手势。本文最后总结了我们对手势研究和认知设计研究的贡献。
2009-08-24 cs.HC
A new architecture for hand-worn Sign language to Speech translator
有语言和听力障碍的人经常依靠手语与他人交流，但大多数普通人无法理解手语，手语本身就是一种难以学习的语言，因此确实需要将手语翻译成语音的技术。在本文中，我们描述了智能手套的设计和实现，一个手持的硬件设备，能够通过跟踪手指的方向，手势和手部运动，将美国手语手势翻译成英语语音。它使用Flex、加速计和陀螺仪等硬件传感器以及智能软件来捕捉手势并将其转换为语音。本文对字母手势和单词手势的翻译进行了阐述。提出并实现了新的方法和算法，以解决现有手套设计中的硬件相关问题。整个装置被设计成具有分布式处理单元的模块化，以鼓励模块化增强，降低复杂性和子系统之间的相互关系。决策树用于手势识别和错误校正。我们希望，下文提到的设计和架构将成为与基于传感器的手语翻译相关的研究进展以及智能手套和控制论配件研究的基础。
2020-09-08 cs.HC eess.SP
