Conversational Co-Speech Gesture Generation via Modeling Dialog Intention, Emotion, and Context with Diffusion Models
针对多人对话协同语音手势生成任务，提出基于扩散模型的CoDiffuseGesture方法，通过预训练语言模型的意图感知与情感推理模块融合说话者与对话者的双边对话意图、情感及语义上下文，生成匹配语音的高质量交互手势。
2024-01-11 cs.HC
GesPrompt: Leveraging Co-Speech Gestures to Augment LLM-Based Interaction in Virtual Reality
针对XR环境中用户难以仅靠文本或语音向大语言模型副驾驶传达三维时空信息的问题，本文提出多模态界面GesPrompt，通过融合伴随语音手势提取时空参照，降低认知负担，并构建VR原型系统验证其有效性。
2025-05-08 cs.HC
DiffuseStyleGesture: Stylized Audio-Driven Co-Speech Gesture Generation with Diffusion Models
针对共语手势生成中手势多样性难保证、与语音节奏语义匹配难的问题，提出基于扩散模型的DiffuseStyleGesture方法，引入注意力机制、无分类器引导等提升效果，实验表现优于现有方法，且已开源相关资源。
2023-05-08 cs.HC cs.MM
Evaluating Data-Driven Co-Speech Gestures of Embodied Conversational Agents through Real-Time Interaction
利用协同语音手势的嵌入式会话代理可以在许多方面增强人机交互。近年来，用于ECA的数据驱动手势生成方法引起了相当大的研究关注，并且相关方法不断改进。当研究人员评估生成基于规则的手势的ECA系统时，通常使用实时的【形】交互。然而，在基于数据驱动的方法评估ECA的性能时，参与者通常只需要观看预先录制的视频，这无法提供有关一个人在互动过程中感知的足够信息。为了解决这个限制，我们探索了使用实时的【形】交互来评估数据驱动的手势ECA。我们提供了一个测试平台的框架，并调查手势是否会影响人类感知的ECA在人的相似性，生命力，感知的智能和集中注意力的维度。我们的用户研究要求参与者与两个ECA进行交互-一个有手势，一个没有手势。我们从参与者的自我报告问卷中收集了主观数据，并从凝视跟踪器中收集了客观数据。据我们所知，目前的研究代表了第一次尝试通过实时的【形】交互来评估数据驱动的手势ECA，以及第一个使用注视跟踪来检查ECA手势效果的实验。
2022-10-13 cs.HC
A Review of Evaluation Practices of Gesture Generation in Embodied Conversational Agents
会话智能体（ECA）通常被设计为产生非言语行为来补充或增强其言语交际。一种这样的非语言行为形式是共同语言手势，它涉及代理人用手臂和手做出的与语言交流配对的动作。用于ECA的协同语音手势可以使用不同的生成方法来创建，分为基于规则的和数据驱动的过程，由于应用机器学习社区的兴趣日益增加，后者获得了牵引力。然而，关于手势生成方法的报告使用多种评估措施，这阻碍了比较。为了解决这个问题，我们提出了一个系统的审查共同语音手势生成方法的图标，隐喻，指示，和节拍的手势，包括报告的评估方法。我们回顾了22项研究，有一个ECA与人类一样的上半身，使用共同的语音手势在社会人类代理互动。这包括使用人类参与者来评估表现的研究。我们发现大多数研究使用受试者内设计，并依赖于某种形式的主观评价，但没有系统的方法。我们认为，该领域需要更严格和统一的工具来进行共同语音手势评估，并制定经验评估的建议，包括标准化的短语和示例场景，以帮助系统地测试跨研究的生成模型。此外，我们还提出了一个清单，可用于报告相关信息以评估生成模型，以及评估协同语音手势的使用。
2022-03-01 cs.HC
Speech2Properties2Gestures: Gesture-Property Prediction as a Tool for Generating Representational Gestures from Speech
KTH Royal Institute of Technology（瑞典皇家理工学院）；University of California, Davis（加利福尼亚大学戴维斯分校）
我们提出了一个新的手势生成框架，旨在让数据驱动的方法，以产生更丰富的语义手势。我们的方法首先预测是否手势，其次是手势属性的预测。然后，这些属性被用作能够高质量输出的现代概率手势生成模型的条件。这使得该方法能够生成既多样又具有代表性的手势。后续行动和更多信息可以在项目页面上找到：https://svito-zar.github.io/speech2properties2gestures/。
2021-08-13 cs.CV cs.GR cs.HC
Toward Natural Gesture/Speech Control of a Large Display
近年来，由于计算机视觉研究的进展，自由手势已经被探索作为人机交互（HCI）的手段。与改进的语音处理技术一起，它是迈向自然多模态HCI的重要一步。然而，将非预定义的连续手势包括到多模态框架中是一个具有挑战性的问题。在本文中，我们提出了一个结构化的方法来研究模式的多模态语言的上下文中的二维显示控制。我们认为系统的分析手势从可观察到的运动学原语，他们的语义有关的语言结构。提出的语义分类共动词手势区分六类基于其时空指示。我们讨论了一个计算框架的演变手势和语音集成，这是用来开发一个交互式的测试平台（IMAP）。该测试平台能够在HCI的叙事模式中引发足够的、非顺序的、多模态模式。进行用户研究说明的意义占的时间对齐的手势和语音部分的语义映射。此外，共现分析的手势/语音生产表明句法组织的手势在词汇水平。
2001-05-17 cs.CV cs.HC
Augmented Co-Speech Gesture Generation: Including Form and Meaning Features to Guide Learning-Based Gesture Synthesis
针对现有深度学习生成的伴随语音手势缺乏语义信息、语境适配性不足的问题，提出一种融合形式与意义特征的增强生成框架，利用大小两类语料库学习，经评估其语义连贯性与人物感知效果达人类真实水平，且相关资源已公开。
2023-07-13 cs.GR cs.HC
To Rate or Not To Rate: Investigating Evaluation Methods for Generated Co-Speech Gestures
虽然自动性能指标对于人工类人行为的机器学习至关重要，但评估的黄金标准仍然是人类的判断。然而，对体现在会话代理中的人工类人行为的主观评估是昂贵的，并且对其返回的数据的质量知之甚少。主观评价的两种方法在很大程度上可以区分开来，一种是依靠评分，另一种是成对比较。在这项研究中，我们使用共同的语音手势来比较这两个对彼此和回答问题，他们的适当性评估的人工行为。我们不仅考虑了他们对质量进行评级的能力，还考虑了与使用工作量和收集主观数据所需的时间有关的方面。我们使用众包来评估化身中共同语音手势的质量，评估哪种方法在主观评估中获得更多细节。我们比较了三种不同的机器学习模型产生的手势与不同水平的行为质量。我们发现，这两种方法都能够根据质量对视频进行排名，并且排名显着相关，这表明在质量方面，一种方法并没有优于另一种方法。我们还发现，成对比较的速度略快，并与提高评分者间的可靠性，这表明，对于小规模的研究，成对比较是优于评级。
2021-08-13 cs.HC
Speech-Gesture Mapping and Engagement Evaluation in Human Robot Interaction
Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）
本文提出端到端系统，通过TED演讲者手势到语音的映射学习并结合观众注意力反馈，实现机器人非言语手势增强与语音即兴调整，从而提升人机交互参与度。
2018-12-09 cs.HC cs.RO
Understanding the Predictability of Gesture Parameters from Speech and their Perceptual Importance
Trinity College Dublin（都柏林圣三一学院）；University of California Davis（加利福尼亚大学戴维斯分校）
手势行为是人类对话的自然组成部分。许多工作都集中在消除繁琐的手动动画的需要，通过设计语音驱动的手势生成器来创建具体的会话代理。然而，这些生成器通常以黑盒方式工作，假设输入语音和输出运动之间的一般关系。由于他们的成功仍然有限，我们更详细地研究如何语音可能涉及到不同方面的手势运动。我们确定了一些参数的手势，如速度和手势的大小，并探讨其关系的语音信号的双重方式。首先，我们训练多个递归网络来从语音中预测手势参数，以了解仅从语音中建模手势属性的效果如何。我们发现，手势参数可以部分预测从语音，和一些参数，如路径长度，被预测比其他人更准确，如速度。其次，我们设计了一个感知的研究，以评估每个手势参数的重要性，产生运动，人们认为适当的讲话。结果表明，任何参数的退化都被视为负面的，但有些变化，如手形，比其他变化更有影响力。视频摘要可以在https://youtu.be/aw6-_5kmLjY上找到。
2020-10-02 cs.CV cs.HC cs.LG
The Function of Gesture in an Architectural Design Meeting
本文提出了一个认知心理学分析的自发，共同发言的手势，在面对面的建筑设计会议（A1在DTRS7）。长期目标是制定远程协作设计系统的规范，特别是支持使用不同的符号形式（多模态交互）。根据他们的设计，互动和协作的功能，我们区分不同的手势家族：代表性（实体指定或指定），组织（话语，互动或功能设计行动的管理），聚焦，话语和互动调制，和消歧手势。讨论和结论涉及以下几点。不可能将固定的功能归因于特定的手势形式。“指定”手势也可以具有设计功能。在A1中识别的手势具有某种通用特征。这些手势既不是系统上不可替代的，也不是演讲或绘画的可选附件。我们讨论的可能性，在计算机支持的协作软件系统的手势。本文最后总结了我们对手势研究和认知设计研究的贡献。
2009-08-24 cs.HC
Gesticulator: A framework for semantically-aware speech-driven gesture generation
KTH（瑞典皇家理工学院）
人们在说话时会自发地做手势，手势在信息传递中起着关键作用。类似地，逼真的协同语音手势对于实现与社交代理的自然和流畅的交互至关重要。当前的端到端协同语音手势生成系统使用单个模态来表示语音：音频或文本。因此，这些系统被限制为产生声学链接的节拍手势或语义链接的手势（例如，在说“高”时举手）：他们不能适当地学习生成两种手势类型。我们提出了一个模型，旨在产生任意节拍和语义手势在一起。我们基于深度学习的模型将语音的声学和语义表示作为输入，并将手势生成为关节角度旋转序列作为输出。由此产生的手势可以应用于虚拟代理和人形机器人。主观和客观的评价证实了我们的方法的成功。代码和视频可以在项目页面https://svito-zar.github.io/gesticulator上找到。
2021-01-14 cs.HC cs.LG eess.AS
MambaGesture: Enhancing Co-Speech Gesture Generation with Mamba and Disentangled Multi-Modality Fusion
针对协同语音手势生成缺乏动态性和多样性的问题，提出MambaGesture框架，结合MambaAttn模块与解耦多模态融合模块SEAD，在BEAT数据集上实现了最先进的手势生成性能。
2024-08-28 cs.HC cs.MM
Speech Gesture Generation from the Trimodal Context of Text, Audio, and Speaker Identity
ETRI（韩国电子通信研究院）；KAIST（韩国科学技术院）；University of Science and Technology（科学技术大学）
对于类人代理，包括虚拟化身和社交机器人，在说话时做出适当的手势在人-代理交互中至关重要。协同语音手势增强了交互体验，使智能体看起来生动活泼。然而，由于缺乏对人们如何做手势的理解，很难生成类似人类的手势。数据驱动的方法试图从人类演示中学习手势技能，但手势的模糊性和个体性阻碍了学习。在本文中，我们提出了一个自动手势生成模型，使用语音文本，音频和扬声器身份的多模态上下文可靠地生成手势。通过结合多模态上下文和对抗性训练方案，所提出的模型输出与语音内容和节奏相匹配的类似人类的手势。我们还介绍了一个新的量化评估指标的手势生成模型。实验结果表明，该模型优于现有的端到端手势生成模型。我们进一步确认，我们的模型是能够与合成的音频在上下文受到约束的情况下，并表明，不同的手势风格可以生成相同的语音通过指定不同的扬声器身份的风格嵌入空间，从不同的扬声器的视频学习。所有的代码和数据都可以在https://github.com/ai4r/Gesture-Generation-from-Trimodal-Context上找到。
2020-09-04 cs.CV cs.GR cs.HC
QPGesture: Quantization-Based and Phase-Guided Motion Matching for Natural Speech-Driven Gesture Generation
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The Chinese University of Hong Kong（香港中文大学）；Huawei Cloud Computing Technologies Co., Ltd（华为云计算技术有限公司）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对语音驱动手势生成中的运动抖动和语音异步问题，提出基于量化和相位引导的运动匹配框架，通过手势 VQ-VAE 码本与 Levenshtein 距离对齐优化生成质量，实验证明其优于现有方法。
2023-05-18 cs.CV cs.HC cs.MM
DiffMotion: Speech-Driven Gesture Synthesis Using Denoising Diffusion Model
Macau University of Science and Technology（澳门科技大学）；Communication University of Zhejiang（浙江传媒学院）；Ningbo University of Finance & Economics（宁波财经学院）
语音驱动的手势合成是虚拟人创建中越来越受关注的领域。然而，一个关键的挑战是语音和手势之间固有的复杂的一对多映射。以往的研究已经探索并取得了显着的进展与生成模型。尽管如此，大多数合成手势仍然远不自然。提出了一种基于扩散模型的语音驱动手势合成架构DiffMotion。该模型包括自回归时间编码器和去噪扩散概率模块。编码器提取语音输入和历史手势的时间上下文。扩散模块学习参数化马尔可夫链，将简单分布逐步转换为复杂分布，并根据伴随语音生成手势。与基线相比，客观和主观的评价证实，我们的方法可以产生自然和多样化的手势，并证明了基于扩散的模型对语音驱动的手势合成的好处。
2023-02-02 cs.CV cs.GR cs.HC
GestureFAR: Streaming Co-Speech Gesture Generation with Flow Autoregression
University of Rochester（罗切斯特大学）；University of Tokyo（东京大学）；University of California Santa Cruz（加州大学圣克鲁兹分校）；University of California Los Angeles（加州大学洛杉矶分校）；Meta
GestureFAR提出流自回归框架，通过连续潜变量与流匹配头生成流式共语手势，结合头部流蒸馏降低延迟，在BEAT2上实现质量与延迟的显著优化。
2026-09-21 cs.CV cs.GR cs.HC
SGToolkit: An Interactive Gesture Authoring Toolkit for Embodied Conversational Agents
非语言行为对于社交机器人、虚拟化身和数字人类等实体代理至关重要。现有的行为创作方法，包括关键帧动画和运动捕捉是太昂贵的使用时，有许多话语需要手势。自动生成方法显示出有希望的结果，但它们的输出质量还不令人满意，并且很难按照手势设计者的意愿修改输出。我们介绍了一个新的手势生成工具包，命名为SGToolkit，它提供了一个更高的质量比自动方法的输出，比手动创作更有效。对于该工具包，我们提出了一个神经生成模型，该模型从语音中合成手势，并适应用户的精细姿势控制和粗糙风格控制。针对24名参与者的用户研究表明，该工具包优于手动创作，并且生成的手势也与人类相似，适合输入语音。SGToolkit与平台无关，代码可在https://github.com/ai4r/SGToolkit上获得。
2021-08-10 cs.HC
ImaGGen: Zero-Shot Generation of Co-Speech Semantic Gestures Grounded in Language and Image Input
Social Cognitive Systems Group, Bielefeld University（比勒菲尔德大学社会认知系统小组）
本文提出ImaGGen零样本系统，融合语言与图像输入，通过图像属性提取、语义匹配及逆运动学生成语义手势，用户研究表明其能有效提升歧义场景下的对象属性识别。
2025-10-20 cs.CV cs.HC
Diffusion-Based Co-Speech Gesture Generation Using Joint Text and Audio Representation
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文为GENEA挑战赛2023提出基于diffusion的协同语音手势生成系统，通过引入对比语音与动作预训练（CSMP）模块学习语音与手势的联合嵌入，将其作为条件信号实现语义感知的手势生成，在人类相似度与语音适当性评分上达到最高。
2023-09-11 cs.HC cs.LG cs.SD
Conveying Meaning through Gestures: An Investigation into Semantic Co-Speech Gesture Generation
Bielefeld University（比勒菲尔德大学）；GID GeoInformationsDienst GmbH（GID地理信息服务中心）；Social Cognitive Systems Group（社会认知系统小组）
本文对比 AQ-GT 与语义增强版 AQ-GT-a 的协同语音手势生成效果，发现显式语义并非总能提升表现，而会在训练域专业化与新颖语境泛化之间形成权衡。
2025-10-20 cs.CV cs.HC
SARGes: Semantically Aligned Reliable Gesture Generation via Intent Chain
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing Engineering Research Center of Mixed Reality and Advanced Display（混合现实与先进显示北京工程研究中心）；Institute of Technology, Beijing（北京理工大学）；Kuaishou Technology（快手科技）
提出SARGes框架，利用大语言模型解析语音并生成语义手势标签，通过意图链推理机制提升手势语义对齐，实验显示标注准确率50.2%且推理仅需0.4秒。
2025-03-26 cs.AI cs.CL cs.HC
A Comprehensive Review of Data-Driven Co-Speech Gesture Generation
University of California, Davis（加州大学戴维斯分校）；SEED - Electronic Arts（艺电SEED部门）；Meta AI；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文综述了数据驱动的协同语音手势生成研究，聚焦深度生成模型，按输入模态分类探讨方法，梳理数据集演变，并指出了数据质量、类人运动生成、语音基础设定、评估与应用集成等关键挑战及未来方向。
2023-04-10 cs.CV cs.GR cs.HC
UnifiedGesture: A Unified Gesture Synthesis Model for Multiple Skeletons
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；The Chinese University of Hong Kong（香港中文大学）；Huawei Cloud Computing Technologies Co., Ltd（华为云计算技术有限公司）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出 UnifiedGesture，一种基于扩散模型的语音驱动手势合成方法，通过重定向网络统一不同骨架表示并结合强化学习对齐语音与手势，显著提升了手势生成的多样性与逼真度。
2023-09-13 cs.AI cs.HC cs.MM
GesGPT: Speech Gesture Synthesis With Text Parsing from ChatGPT
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Engineering Research Center of Mixed Reality and Advanced Display（北京混合现实与先进显示工程研究中心）；Institute of Technology, Beijing, China（北京理工大学）
提出GesGPT方法，利用ChatGPT的语义分析能力，通过文本解析将手势生成转化为意图分类问题，并构建手势词典解耦专业与基础手势，实验证明能生成上下文适当且富有表现力的手势。
2024-05-28 cs.CL cs.CV cs.HC
GestAdapt: Workspace-Conditioned Co-Speech Gesture Generation for Humanoid Robots
Tilburg University（蒂尔堡大学）；TU-Dresden（德累斯顿工业大学）；China University of Mining and Technology-Beijing (CUMTB)（中国矿业大学（北京））
GestAdapt提出工作空间条件化框架，通过共享运动表示从多语料库学习，生成适应手腕工作空间的共语手势，并在用户研究和真实机器人评估中优于无约束基线。
2026-10-01 cs.AI cs.HC cs.LG
Integrated Speech and Gesture Synthesis
KTH Royal Institute of Technology（瑞典皇家理工学院）
到目前为止，文本到语音和协同语音手势合成一直被两个不同的研究团体视为独立的领域，应用程序只是使用简单的系统级管道将这两种技术堆叠起来。这可能导致建模效率低下，并可能引入限制可实现的自然性的不一致性。我们建议在一个模型中合成这两种模态，这是一个新的问题，我们称之为集成语音和手势合成（ISG）。我们还提出了一组模型修改的国家的最先进的神经语音合成引擎，以实现这一目标。我们在三个精心设计的用户研究中评估了这些模型，其中两个单独评估了合成的语音和手势，另一个综合研究评估了这些模型，就像它们将用于现实世界的应用一样-语音和手势一起呈现。结果表明，在所有三个测试中，参与者对所提出的综合合成模型之一的评价与我们比较的最先进的管道系统一样好。与管道系统相比，该模型能够以更快的合成时间和大大减少的参数数量来实现这一目标，这说明了将语音和手势合成作为单个统一问题一起处理的一些潜在好处。视频和代码可以在我们的项目页面https://swatsw.github.io/isg_icmi21/上找到
2021-08-25 cs.GR cs.HC cs.LG
Unified speech and gesture synthesis using flow matching
KTH Royal Institute of Technology（瑞典皇家理工学院）
提出基于最优传输条件流匹配的统一架构，从文本联合合成语音与3D手势，以更少步骤实现更优合成质量，提升自然度与跨模态一致性。
2024-01-09 cs.GR cs.HC cs.LG
Co-Speech Gesture Video Generation via Motion-Decoupled Diffusion Model
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；The Chinese University of Hong Kong（香港中文大学）；Huawei Cloud Computing Technologies Co., Ltd（华为云计算技术有限公司）
本文提出运动解耦扩散框架，通过TPS变换提取保留外观的潜在运动特征，并利用Transformer扩散模型生成音频驱动且时间对齐的协同语音手势视频。
2024-04-02 cs.CV cs.HC cs.MM
Prosody Based Co-analysis for Continuous Recognition of Coverbal Gestures
虽然语音和手势识别已经被广泛研究，但将它们结合在统一框架中的所有成功尝试都是语义上的，例如，关键词手势同现这样的公式继承了自然语言处理的复杂性。本文提出了一种贝叶斯公式，使用的手势和语音清晰度的现象，以提高自动识别的准确性，连续coverbal手势。来自语音信号的韵律特征与视觉信号进行共分析，以学习突出的口语片段与手势的特定运动学相位的共现的先验概率。发现上述共同分析有助于检测和消除视觉上小的手势的歧义，这随后提高了连续手势识别的速率。所提出的方法的有效性证明了从天气频道广播收集的大型数据库。这一提法为自下而上的多式联运框架开辟了新的途径。
2002-11-05 cs.CV cs.HC
Streaming Generation of Co-Speech Gestures via Accelerated Rolling Diffusion
本文提出兼容现有扩散手势生成模型的流式生成框架，结合结构化渐进噪声调度与RDLA加速方法，在ZEGGS、BEAT基准上实现最高4倍加速，可实时生成同步、真实多样的伴随语音手势。
2025-11-19 cs.CV cs.HC cs.LG
AQ-GT: a Temporally Aligned and Quantized GRU-Transformer for Co-Speech Gesture Synthesis
Bielefeld University（比勒费尔德大学）
本文提出AQ-GT框架，通过GAN和量化流水线预训练手势序列，学习潜在空间映射以生成逼真共语手势，显著超越现有方法，部分与人类手势无异。
2023-05-08 cs.GR cs.HC cs.LG
Vision-Language System using Open-Source LLMs for Gestures in Medical Interpreter Robots
Technological University Dublin（都柏林技术大学）
本文提出一种基于开源大语言模型的医疗机器人系统，通过检测言语行为并生成相应手势，提升跨语言沟通效率。
2026-03-05 cs.HC cs.RO
Multimodal analysis of the predictability of hand-gesture properties
KTH Royal Institute of Technology（瑞典皇家理工学院）
智能会话代理受益于能够用手势伴随他们的讲话。虽然近年来已经提出了许多数据驱动的手势生成方法，但仍然不清楚这些系统是否可以一致地生成传达含义的手势。我们研究了哪些手势属性（相位，类别和语义）可以使用当代深度学习从语音文本和/或音频中预测。在广泛的实验中，我们表明，手势的含义（语义和类别）相关的手势属性是可预测的文本功能（时间对齐的FastText嵌入）单独，但不是从韵律音频功能，而节奏相关的手势属性（相位）另一方面，可以预测音频功能比从文本。这些结果是令人鼓舞的，因为它们表明，它是可以配备一个具体的代理与内容明智的有意义的共同语音手势使用机器学习模型。
2022-01-14 cs.HC cs.LG cs.MM
A new architecture for hand-worn Sign language to Speech translator
有语言和听力障碍的人经常依靠手语与他人交流，但大多数普通人无法理解手语，手语本身就是一种难以学习的语言，因此确实需要将手语翻译成语音的技术。在本文中，我们描述了智能手套的设计和实现，一个手持的硬件设备，能够通过跟踪手指的方向，手势和手部运动，将美国手语手势翻译成英语语音。它使用Flex、加速计和陀螺仪等硬件传感器以及智能软件来捕捉手势并将其转换为语音。本文对字母手势和单词手势的翻译进行了阐述。提出并实现了新的方法和算法，以解决现有手套设计中的硬件相关问题。整个装置被设计成具有分布式处理单元的模块化，以鼓励模块化增强，降低复杂性和子系统之间的相互关系。决策树用于手势识别和错误校正。我们希望，下文提到的设计和架构将成为与基于传感器的手语翻译相关的研究进展以及智能手套和控制论配件研究的基础。
2020-09-08 cs.HC eess.SP
Diff-TTSG: Denoising probabilistic integrated speech and gesture synthesis
KTH Royal Institute of Technology（瑞典皇家理工学院）
提出首个基于扩散的概率模型Diff-TTSG，联合合成自发语音与伴随手势，克服非概率方法的过度平滑问题，并通过多模态主观测试验证其有效性。
2023-08-09 cs.AI cs.CV cs.HC
Telerobotic Pointing Gestures Shape Human Spatial Cognition
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong（香港中文大学）
本文旨在探讨人类是否能够理解遥现机器人的手势。如果是这样的话，他们可以在处理空间信息时从遥控机器人手势中获得意义。在本研究中，我们通过Skype进行了两个实验。参与者被展示了一个有手臂的机器人界面，这些手臂由实验者远程操作。机器人可以指向代表某些实体的虚拟位置。在实验1中，实验者在两种条件下顺序描述虚拟物体的空间位置：言语条件（SO，言语描述清楚地表明了空间布局）和言语和手势条件（SR，言语描述是模糊的，但伴随着机器人指向手势）。然后，参与者被要求回忆物体的空间位置。我们发现，在SR条件下回忆的空间位置的数量是在SO条件下，这表明遥操作机器人的指向手势补偿模糊的语音在空间信息的过程中。在实验2中，实验者描述的空间位置非顺序在SR和SO条件。令人惊讶的是，在SR条件下回忆起的空间位置的数量甚至高于SO条件，这表明当信息以不可预测的顺序呈现时，遥控机器人指向手势在传达空间信息方面比语音更强大。这些发现提供了证据，证明人类能够理解远程机器人的手势，重要的是，将这些手势与共同发生的语音结合起来。这项工作通过机器人中介促进了人类之间的远程协作。
2012-07-08 cs.HC cs.RO physics.med-ph
Super Star: Towards Streaming Real-time Interactive Agents for Digital Humans
ShanghaiTech University（上海科技大学）；LIGHTSPEED（腾讯光速工作室）
本文针对交互式数字人提出流式实时同步言语手势生成任务，构建耦合流式语音响应与在线手势生成的框架，经实验验证其在延迟-质量权衡等方面优于现有基线。
2026-08-27 cs.CV cs.HC cs.SD
Freetalker: Controllable Speech and Text-Driven Gesture Generation Based on Diffusion Models for Enhanced Speaker Naturalness
Tencent AI Lab（腾讯AI实验室）
针对现有虚拟人未考虑非说话动作及数据受限问题，提出FreeTalker框架，基于扩散模型统一语音与文本驱动动作，利用无分类器引导与DoubleTake方法生成自然可控且过渡平滑的说话者动作。
2024-01-07 cs.AI cs.HC cs.MM
Moving fast and slow: Analysis of representations and post-processing in speech-driven automatic gesture generation
KTH Royal Institute of Technology（瑞典皇家理工学院）；Hokkai Gakuen University（北海学园大学）；Aoyama Gakuin University（青山学院大学）
本文提出了一种新的语音驱动的手势产生框架，适用于虚拟代理，以提高人机交互。具体来说，我们通过结合表示学习，扩展了最近基于深度学习的数据驱动方法，用于语音驱动的手势生成。我们的模型将语音作为输入，并以3D坐标序列的形式产生手势作为输出。我们提供了一个分析的不同表示的输入（语音）和输出（运动）的网络的客观和主观的评价。我们还分析了产生的运动的平滑的重要性。我们的研究结果表明，所提出的方法改进了我们的基线方面的客观措施。例如，它可以更好地捕捉运动动态，更好地匹配运动速度分布。此外，我们在两个不同的数据集上进行了用户研究。研究证实，我们提出的方法被认为比基线更自然，尽管研究中的差异通过适当的后处理消除了：髋关节居中和平滑。我们的结论是，重要的是要考虑到运动表示和后处理时，设计一个自动的手势制作方法。
2021-01-28 cs.CV cs.GR cs.HC
MIBURI: Towards Expressive Interactive Gesture Synthesis
Max Planck Institute for Informatics, SIC（马克斯·普朗克信息学研究所，SIC）；Saarland University（萨尔大学）
MIBURI提出首个实时因果框架，生成与实时口语对话同步的表达性全身手势和面部表情，通过多级离散标记和辅助目标提升自然度与多样性。
2026-03-27 cs.CV cs.GR cs.HC
Large Language Models for Virtual Human Gesture Selection
Northeastern University（东北大学）；University of Glasgow（格拉斯哥大学）；Flawless（弗劳利斯）
本文利用 GPT-4 的语义能力提出虚拟人协同语音手势选择方法，比较不同提示策略，并在虚拟智能体系统中实现手势选择与动画自动化。
2025-03-18 cs.CL cs.HC
DiM-Gestor: Co-Speech Gesture Generation with Adaptive Layer Normalization Mamba-2
School of Media Engineering, Communication University of Zhejiang（浙江传媒学院媒体工程学院）；School of Broadcast Announcing Arts, Communication University of Zhejiang（浙江传媒学院播音主持艺术学院）；Faculty of Humanities and Arts, Macau University of Science and Technology（澳门科技大学人文艺术学院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Zhejiang Lab（之江实验室）；Changjiang Academy of Art and Design, Shantou University（汕头大学长江艺术与设计学院）
针对基于Transformer的语音驱动手势生成模型二次复杂度的局限，提出DiM-Gestor模型，利用Mamba-2架构构建双组件框架，结合扩散模型，在新发布的CCG数据集上验证了其竞争力，内存减少2.4倍、推理提速2-4倍。
2024-11-23 cs.AI cs.GR cs.HC
A conversational gesture synthesis system based on emotions and semantics
Department of Information Technology, VNUHCM -- University of Science（越南科学大学信息科技系）
本文提出DeepGesture，一种基于扩散的 gesture 合成系统，通过多模态信号生成具有情感和语义条件的手势，提升数字人类的自然表达能力。
2026-01-29 cs.CL cs.HC cs.LG
Incorporating Spatial Awareness in Data-Driven Gesture Generation for Virtual Agents
KTH Royal Institute of Technology（皇家理工学院）
本文提出将空间场景信息融入语音驱动手势生成，并构建专用合成手势数据集，以提升虚拟智能体在真实环境中的非言语交互自然度。
2024-08-07 cs.CL cs.GR cs.HC
The GENEA Challenge 2022: A large evaluation of data-driven co-speech gesture generation
ETRI（韩国电子通信研究院）；Ghent University（根特大学）；imec（校际微电子中心）；Electronic Arts (EA)（美国艺电公司）；Carnegie Mellon University（卡内基梅隆大学）；NOVA University Lisbon（里斯本新大学）；Umeå University（于默奥大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
本文报道了第二届GENEA挑战赛，以基准数据驱动的自动协同语音手势生成。参与团队使用相同的语音和动作数据集来构建手势生成系统。所有这些系统生成的运动都使用标准化的可视化管道渲染成视频，并在几个大型的众包用户研究中进行了评估。与比较不同的研究论文不同，这里的结果差异只是由于方法之间的差异，可以直接进行系统之间的比较。今年的数据集是基于18小时的全身动作捕捉，包括手指，不同的人参与二元对话。十支队伍参加了两个级别的挑战：全身手势和上半身手势。对于每一层，我们评估了手势运动的人性化程度及其对特定语音信号的适当性。我们的评估将人类相似性与手势适当性分离开来，这在以前是该领域的一个主要挑战。评价结果是一场革命，也是一种启示。一些合成条件被评为比人类运动捕捉更像人类。据我们所知，这在以前从未在高保真度的化身上显示过。另一方面，所有的合成运动被发现是远远不适合的讲话比原来的运动捕捉记录。其他材料可通过项目网站https://youngwoo-yoon.github.io/GENEAchallenge2022/获得
2022-08-22 cs.GR cs.HC cs.LG
A large, crowdsourced evaluation of gesture generation systems on common data: The GENEA Challenge 2020
共语手势，即伴随着说话的手势，在人类交际中起着重要的作用。因此，自动协同语音手势生成是嵌入式对话代理（ECA）的关键支持技术，因为人类期望ECA能够进行多模式通信。对手势生成的研究正迅速转向数据驱动的方法。不幸的是，该领域的个别研究工作很难比较：没有既定的基准，每项研究都倾向于使用自己的数据集，运动可视化和评估方法。为了解决这种情况，我们发起了GENEA挑战赛，这是一个手势生成挑战赛，参与团队在一个公共数据集上构建自动手势生成系统，并使用相同的运动渲染管道在一个大型的众包用户研究中并行评估所产生的系统。由于系统之间的评估结果的差异现在完全归因于运动生成方法之间的差异，因此可以将最近的方法相互比较，以便更好地了解该领域的最新技术水平。本文报告的目的，设计，结果和影响，我们的挑战。
2021-02-23 cs.GR cs.HC cs.MM
Speech-driven Personalized Gesture Synthetics: Harnessing Automatic Fuzzy Feature Inference
Macau University of Science and Technology（澳门科技大学）；Communication University of Zhejiang（浙江传媒学院）；Zhejiang Lab（之江实验室）；Communication University of China（中国传媒大学）；Zhejiang University（浙江大学）；Zhejiang Institute of Economics and Trade（浙江经贸职业技术学院）
针对语音驱动手势生成中多特征处理难题，提出Persona-Gestor模型，利用模糊特征推理和AdaLN Transformer扩散架构，仅凭语音生成个性化3D手势，在多个数据集上超越现有方法。
2024-03-16 cs.AI cs.CV cs.GR
Reality Check: How Avatar and Face Representation Affect the Perceptual Evaluation of Synthesized Gestures
Technological University Dublin（都柏林科技大学）；Trinity College Dublin（都柏林三一学院）；Maynooth University（梅努斯大学）
研究探讨了拟人和面部表现对合成动作感知评估的影响，通过控制实验发现视觉选择会系统性地影响动作判断，并提出基准测试和虚拟人类应用的建议。
2026-05-09 cs.GR cs.HC
Zero-Shot Style Transfer for Gesture Animation driven by Text and Speech using Adversarial Disentanglement of Multimodal Style Encoding
Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（智能系统与机器人研究所）；STMS（科学与音乐技术实验室）
基于行为风格的虚拟Agent建模是实现人类Agent交互个性化的重要因素之一。我们提出了一种高效而有效的机器学习方法来合成由韵律特征和不同说话者风格的文本驱动的手势，包括那些在训练过程中看不见的手势。我们的模型执行zero shot多模态风格传输驱动的多模态数据从PATS数据库包含各种扬声器的视频。我们认为风格在说话时是普遍存在的，它为交际行为的表现性赋予了色彩，而言语内容则是由多模态信号和语篇来承载的。这种内容和风格的解纠缠方案允许我们直接推断即使是其数据不是训练阶段的一部分的说话者的风格嵌入，而不需要任何进一步的训练或微调。我们的模型的第一个目标是基于两个音频和文本模态的内容生成源扬声器的手势。第二个目标是在目标说话人的多模态行为风格嵌入上调节源说话人预测的手势。第三个目标是允许在训练期间看不见的说话者的zero shot风格转移，而无需重新训练模型。我们的系统包括：（1）说话者风格编码器网络，其学习从目标说话者多模态数据生成固定维度的说话者嵌入风格;以及（2）序列到序列合成网络，其基于源说话者的输入模态的内容并以说话者风格嵌入为条件来合成手势。我们评估，我们的模型可以合成手势的源扬声器和目标扬声器的风格变化的知识转移到手势生成任务中的zero shot设置。我们将2D手势转换为3D姿势并生成3D动画。我们进行客观和主观的评估，以验证我们的方法，并将其与基线进行比较。
2022-08-03 cs.HC cs.LG cs.SD
Sequence-to-Sequence Predictive Model: From Prosody To Communicative Gestures
ISIR；Sorbonne University（索邦大学）；LTCI；Télécom-Paris, IP-Paris（巴黎电信，巴黎综合理工学院）；CNRS / Sorbonne University（法国国家科学研究中心 / 索邦大学）
交际手势和语音声学是紧密相连的。我们的目标是根据声学来预测手势的时机。也就是说，我们想要预测某个手势何时发生。我们开发了一个基于递归神经网络的注意力机制模型。该模型是在自然二元交互的语料库上训练的，其中语音声学和手势相位和类型已经被注释。该模型的输入是语音声学序列，输出是手势类序列。我们用于模型输出的类基于手势阶段和手势类型的组合。我们使用序列比较技术来评估模型的性能。我们发现，该模型可以更好地预测某些手势类比别人。我们还进行了消融研究，揭示了基频是手势预测任务的相关特征。在另一个子实验中，我们发现，包括眉毛运动作为节拍手势提高了性能。此外，我们还发现，在一个给定说话人的数据上训练的模型也适用于同一会话的另一个说话人。我们还进行了主观实验，以衡量受访者如何判断的自然性，时间的一致性，和语义的一致性所产生的手势时序的虚拟代理。我们的受访者对我们模型的输出评价很高。
2021-04-23 cs.CL cs.CV cs.HC
TRiMM: Transformer-Based Rich Motion Matching for Real-Time multi-modal Interaction in Digital Humans
本文提出TRiMM框架，通过跨模态注意力、滑动窗口自回归模型和大规模手势匹配系统，实现数字人实时高质量3D语音协同手势生成。
2025-06-01 cs.GR cs.HC
The GENEA Challenge 2026: A Large-Scale Disentangled Evaluation of Speech-Driven Gesture Generation on the Seamless Interaction Dataset
KTH Royal Institute of Technology（瑞典皇家理工学院）；Bielefeld University（比勒费尔德大学）；National Library of Sweden（瑞典国家图书馆）；Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院）；Motorica AB（Motorica AB公司）
本研究公布第四届GENEA挑战赛结果，对5个语音驱动手势生成系统开展4项大规模用户研究，发现现有系统在运动真实感、语音对齐等方面仍有不足，相关数据将公开供后续研究。
2026-08-12 cs.CV cs.GR cs.HC
