From Audio to Photoreal Embodiment: Synthesizing Humans in Conversations
Codec Avatars Lab, Meta, Pittsburgh（Meta 匹兹堡 Codec Avatars 实验室）；University of California, Berkeley（加州大学伯克利分校）
提出一个从语音音频生成全身照片级真实感化身手势动作的框架，结合向量量化的多样性和扩散的高频细节，并引入首个多视角对话数据集，实验证明其优于仅用扩散或VQ的方法。
2024-01-03 cs.CV
DyaDiT: A Multi-Modal Diffusion Transformer for Socially Favorable Dyadic Gesture Generation
Institute of Science Tokyo（东京科学大学）；UNIST（蔚山科学技术院）；Shanda AI Research Tokyo（盛大人工智能研究院东京）；The University of Tokyo（东京大学）
DyaDiT通过多模态扩散变换器生成适合社会互动的双人手势，利用双人音频信号和社交上下文令牌，融合双方信息并编码运动先验，实现更自然的交互。
2026-03-30 cs.CV
MIBURI: Towards Expressive Interactive Gesture Synthesis
Max Planck Institute for Informatics, SIC（马克斯·普朗克信息学研究所，SIC）；Saarland University（萨尔大学）
MIBURI提出首个实时因果框架，生成与实时口语对话同步的表达性全身手势和面部表情，通过多级离散标记和辅助目标提升自然度与多样性。
2026-03-27 cs.CV cs.GR cs.HC
MM-Conv: A Multi-modal Conversational Dataset for Virtual Humans
KTH Royal Institute of Technology（皇家理工学院）
本文提出MM-Conv数据集，利用VR头显在AI2-THOR中记录指称对话的多模态数据，以增强3D场景下手势生成模型的上下文理解与开发。
2024-09-30 cs.CL cs.CV cs.GR
Towards a GENEA Leaderboard -- an Extended, Living Benchmark for Evaluating and Advancing Conversational Motion Synthesis
KTH Royal Institute of Technology（瑞典皇家理工学院）；Bielefeld University（比勒费尔德大学）；ETRI（韩国电子通信研究院）；SEED – Electronic Arts（艺电SEED工作室）；Motorica AB（莫托里卡公司）；University of Science – VNUHCM（胡志明市国家大学科学大学）；Trinity College Dublin（都柏林圣三一学院）；University of California, Davis（加州大学戴维斯分校）
针对语音驱动手势生成评估缺乏标准化的问题，研究提出GENEA动态排行榜方案，通过定期更新大规模用户研究、开放投稿渠道并吸纳社区参与，推动手势生成研究发展。
2024-10-08 cs.CV cs.GR cs.HC
Chain of Generation: Multi-Modal Gesture Synthesis via Cascaded Conditional Control
Tsinghua University（清华大学）
本研究提出一种链式生成方法，利用从语音中提取的多模态先验（如节奏和风格）作为约束，依次生成面部、身体和手部手势，在模态缺失时仍能保持高质量，并达到最先进性能。
2023-12-26 cs.CV
Multi-Task and Multi-Modal Learning for RGB Dynamic Gesture Recognition
手势识别由于在人机交互中的各种应用可能性而变得越来越流行。现有的多模态手势识别系统采用多模态数据作为输入以提高准确性，但此类方法需要更多的模态传感器，这将极大地限制其应用场景。因此，我们提出了一个端到端的多任务学习框架，在训练二维卷积神经网络。该框架可以使用深度模态来提高训练过程中的准确性，并通过在推理过程中仅使用RGB模态来节省成本。我们的框架被训练来学习多任务学习的表示：手势分割和手势识别。深度模态包含手势位置的先验信息。因此，它可以用来作为监督手势分割。设计了一个即插即用的多尺度解码器模块来实现手势分割，该模块包含两个子解码器。它分别用于较低阶段和较高阶段，可以帮助网络关注关键目标区域，忽略无关信息，提取更多的判别特征。此外，MSD模块和深度模态仅用于训练阶段以提高手势识别性能。在推理过程中只需要RGB模态和网络，而不需要MSD。在三个公开的手势识别数据集上的实验结果表明，与现有的手势识别框架相比，我们提出的方法提供了优越的性能。此外，在其他基于2D CNN的框架中使用所提出的即插即用MSD也获得了出色的准确性提高。
2021-10-29 cs.CV
Audio2Gestures: Generating Diverse Gestures from Speech Audio with Conditional Variational Autoencoders
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Tencent AI Lab（腾讯AI实验室）
由于音频和身体运动之间固有的一对多映射，从语音音频生成会话手势具有挑战性。传统的CNN/RNN假设一对一的映射，因此倾向于预测所有可能的目标运动的平均值，从而在推理过程中导致简单/无聊的运动。为了克服这个问题，我们提出了一种新的条件变分自编码器（VAE），明确的模型一对多的音频到运动的映射，通过分裂的跨模态的潜在代码为共享代码和运动特定的代码。共享代码主要模拟音频和运动之间的强相关性（例如同步的音频和运动节拍），而运动特定代码捕获独立于音频的各种运动信息。然而，将潜在代码分成两部分给VAE模型带来了训练困难。一个映射网络，促进随机采样以及其他技术，包括放松运动损失，自行车约束，和多样性损失的设计，以更好地训练的VAE。在3D和2D运动数据集上的实验验证了我们的方法比最先进的方法在定量和定性上产生更真实和多样化的运动。最后，我们证明了我们的方法可以很容易地用于生成运动序列与用户指定的运动剪辑上的时间轴。代码和更多结果在https://jingli513.github.io/audio2gestures。
2021-08-15 cs.CV
GestureFAR: Streaming Co-Speech Gesture Generation with Flow Autoregression
University of Rochester（罗切斯特大学）；University of Tokyo（东京大学）；University of California Santa Cruz（加州大学圣克鲁兹分校）；University of California Los Angeles（加州大学洛杉矶分校）；Meta
GestureFAR提出流自回归框架，通过连续潜变量与流匹配头生成流式共语手势，结合头部流蒸馏降低延迟，在BEAT2上实现质量与延迟的显著优化。
2026-09-21 cs.CV cs.GR cs.HC
Understanding the Predictability of Gesture Parameters from Speech and their Perceptual Importance
Trinity College Dublin（都柏林圣三一学院）；University of California Davis（加利福尼亚大学戴维斯分校）
手势行为是人类对话的自然组成部分。许多工作都集中在消除繁琐的手动动画的需要，通过设计语音驱动的手势生成器来创建具体的会话代理。然而，这些生成器通常以黑盒方式工作，假设输入语音和输出运动之间的一般关系。由于他们的成功仍然有限，我们更详细地研究如何语音可能涉及到不同方面的手势运动。我们确定了一些参数的手势，如速度和手势的大小，并探讨其关系的语音信号的双重方式。首先，我们训练多个递归网络来从语音中预测手势参数，以了解仅从语音中建模手势属性的效果如何。我们发现，手势参数可以部分预测从语音，和一些参数，如路径长度，被预测比其他人更准确，如速度。其次，我们设计了一个感知的研究，以评估每个手势参数的重要性，产生运动，人们认为适当的讲话。结果表明，任何参数的退化都被视为负面的，但有些变化，如手形，比其他变化更有影响力。视频摘要可以在https://youtu.be/aw6-_5kmLjY上找到。
2020-10-02 cs.CV cs.HC cs.LG
GestureLSM: Latent Shortcut based Co-Speech Gesture Generation with Spatial-Temporal Modeling
University of Rochester（罗切斯特大学）；University of Tokyo（东京大学）
GestureLSM通过时空建模与改进的流匹配方法，在BEAT2数据集上实现了最优语音同步手势生成，同时大幅缩短推理时间，可用于增强数字人和具身智能体。
2026-08-18 cs.CV cs.GR
EMAGE: Towards Unified Holistic Co-Speech Gesture Generation via Expressive Masked Audio Gesture Modeling
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；JAIST（日本先进科学技术研究所）；Tsinghua University（清华大学）；The University of Tokyo（东京大学）；Keio University（庆应义塾大学）
EMAGE提出基于掩码音频手势Transformer和组合式VQ-VAE的统一框架，结合新数据集BEAT2，实现音频驱动的全身协同语音手势生成，性能达到最先进水平。
2024-03-30 cs.CV
On-device Real-time Custom Hand Gesture Recognition
Google LLC（谷歌有限责任公司）
本文提出一个用户友好的自定义手势识别框架，通过预训练单手嵌入模型微调、低代码训练部署和无代码网页前端，使用户无需深厚机器学习背景即可在几分钟内构建并部署设备端实时手势识别系统。
2023-09-19 cs.CV
Motion Reinforces Appearance: RGB-Skeleton Gated Residual Fusion for Micro-Gesture Online Recognition
School of Computer Science and Information Engineering, Hefei University of Technology (HFUT), Hefei, China（合肥工业大学计算机与信息工程学院）
提出DyFADet+双流RGB-骨架框架，通过门控残差模块自适应融合骨架运动与RGB特征，实现微手势在线识别，在SMG数据集上F1达40.88，排名第二。
2026-06-11 cs.CV
SiGnature: Explicit Motion Diffusion for Stylized Semantic Gesture
Reichman University（赖希曼大学）
提出SiGnature框架，通过显式关节旋转空间和免训练推理机制JMI，实现语义手势的精准控制与说话人风格的高保真保持，优于现有方法。
2026-06-16 cs.CV
Novel Human Machine Interface via Robust Hand Gesture Recognition System using Channel Pruned YOLOv5s Model
本文提出一种基于通道剪枝YOLOv5s模型的高效手势识别方法，用于构建快速鲁棒的实时手势控制人机接口，在保持高检测精度的同时实现超过60 fps的实时检测速度。
2024-07-02 cs.CV
InteracTalker: Prompt-Based Human-Object Interaction with Co-Speech Gesture Generation
Machine Learning Lab, IIIT Hyderabad, India（IIIT Hyderabad 机器学习实验室）
InteracTalker通过整合基于提示的物体感知交互与同步手势生成，实现了人-物体交互的统一框架，提升了动作的真实性和可控性。
2025-12-14 cs.CV
A Generalized Zero-Shot Framework for Emotion Recognition from Body Gestures
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Psychology, Chinese Academy of Sciences（中国科学院心理研究所）
虽然基于面部表情和语音的自动情感识别已经取得了显著的进展，但是基于身体姿态的情感识别还没有得到深入的研究。人们经常使用各种各样的肢体语言来表达情感，很难列举出所有的情感肢体动作并为每个类别收集足够的样本。因此，识别新的情感肢体动作对于更好地理解人类情感至关重要。然而，现有的方法无法准确地确定一个新的身体姿态属于哪种情绪状态。为了解决这个问题，我们引入了一个广义的零样本学习（GSTML）框架，它由三个分支组成，推断新的身体姿态的情感状态，只有他们的语义描述。第一个分支是基于原型的检测器（Prototype-Based Detector，PBD），用于确定样本是否属于所看到的身体姿态类别，并从所看到的类别中获得样本的预测结果。第二个分支是具有流形正则化的Stacked AutoEncoder（StAE），它利用语义表示来预测来自未知类别的样本。请注意，上述两个分支都用于身体姿势识别。我们还添加了一个带有softmax层的情感分类器作为第三个分支，以便更好地学习这个情感分类任务的特征表示。这三个分支的输入特征由共享的特征提取网络学习，即，a具有自我注意模块的双向长短期记忆网络（BLSTM）。我们将这三个分支视为子任务，并使用多任务学习策略进行联合训练。我们的框架在情感识别数据集上的性能明显优于传统的情感分类方法和最先进的零样本学习方法。
2020-10-20 cs.CV
SafeGesture: Evaluating Fine-Grained Hand Gesture Understanding in Vision-Language Models through Scenario-Conditioned Safety Interpretation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Urban Information Lab, The University of Texas at Austin（德克萨斯大学奥斯汀分校城市信息实验室）
本文提出SafeGesture基准，评估5款视觉语言模型的细粒度手势安全理解能力，发现模型存在感知与推理脱节，瓶颈为场景条件安全推理而非手势识别。
2026-08-27 cs.CV
Let's Face It: Probabilistic Multi-modal Interlocutor-aware Generation of Facial Gestures in Dyadic Settings
KTH Royal Institute of Technology（瑞典皇家理工学院）
为了实现更自然的面对面交互，会话代理需要使他们的行为适应他们的对话者。其中一个关键方面是为代理生成适当的非语言行为，例如面部姿势，这里定义为面部表情和头部运动。大多数现有的手势生成系统在合成非言语行为时没有利用来自对话者的多模态提示。那些做，通常使用确定性的方法，风险产生重复和不生动的运动。在本文中，我们引入了一种概率方法来合成对话者意识到的面部表情-表示高度表达FLAME参数-在二元对话。我们的贡献是：a）一种用于从多方视频和语音记录中提取特征提取的方法，其产生允许对3D化身中的表达和语音清晰度的独立控制和操纵的表示; b）对MoGlow的扩展，MoGlow是一种基于归一化流的最近的运动合成方法，其也将来自对话者的多模态信号作为输入，并且随后输出对话者感知的面部姿势;以及c）评估输入模态的使用和相对重要性的主观评价。结果表明，该模型成功地利用了对话者的输入，以产生更适当的行为。视频、数据和代码请访问：https://jonepatr.github.io/lets_face_it。
2020-10-22 cs.CV cs.HC cs.LG
Report: Dynamic Eye Movement Matching and Visualization Tool in Neuro Gesture
Columbia University（哥伦比亚大学）
在研究演讲者手势的影响时，一个具有挑战性的任务是推断一组听众的注意力。可以帮助推断注意力水平的两个重要测量是眼动数据和脑电图（EEG）数据。在基本假设下，一组人会看同一个地方，如果他们都注意在同一时间，我们应用的方法，“时间扭曲编辑距离”，来计算他们的眼动轨迹的相似性。此外，我们还聚类的眼动模式的观众基于这些pair-wised相似性度量。此外，由于我们没有一个直接的度量“注意力”的地面真相，视觉评估将是有益的，以评估手势-注意力的关系。因此，我们还实现了一个可视化工具。
2018-01-07 cs.AI cs.CV cs.NE
Dynamic LIBRAS Gesture Recognition via CNN over Spatiotemporal Matrix Representation
本文提出一种基于MediaPipe手部关键点检测和CNN的动态手势识别方法，用于LIBRAS手势识别，实现95%的低光条件下准确率。
2026-03-26 cs.AI cs.CV
Hand2World: Autoregressive Egocentric Interaction Generation via Free-Space Hand Gestures
College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学）
Hand2World通过自由空间手势生成视角交互，利用自回归框架解决遮挡、相机运动解耦和长视频生成问题，提升视觉生成的质量与稳定性。
2026-02-13 cs.CV
ViBES: A Conversational Agent with Behaviorally-Intelligent 3D Virtual Body
Stanford University（斯坦福大学）；ByteDance（字节跳动）
ViBES通过联合规划语言和运动，实现对话条件下的身体动作生成，提升了多轮对话中的社会交互能力。
2026-04-14 cs.CV
Forearm Ultrasound based Gesture Recognition on Edge
Worcester Polytechnic Institute（伍斯特理工学院）
针对当前缺乏可移动、实时、易用的独立端到端前臂超声手势识别系统的问题，本文探索将相关深度神经网络部署于边缘设备，通过量化技术在保精度降延迟的同时缩减模型尺寸，最优模型在Raspberry Pi上达92%准确率、0.31秒推理时间，验证了边缘端高效实时手势识别的可行性。
2024-09-16 cs.CV cs.RO
Gestura: A LVLM-Powered System Bridging Motion and Semantics for Real-Time Free-Form Gesture Understanding
Institute of Artificial Intelligence (TeleAI) of China Telecom（中国电信人工智能研究院（TeleAI））
本文提出 Gestura 系统，利用大型视觉语言模型结合手部地标先验和链式思维推理，实现实时自由形式手势理解，并构建了首个包含超 30 万问答对的自由形式手势意图推理开源数据集。
2025-11-06 cs.AI cs.CV
Co-Speech Gesture Synthesis using Discrete Gesture Token Learning
Institute for Creative Technologies, University of Southern California（南加州大学创意技术研究所）；Electronics and Telecommunications Research Institute（韩国电子通信研究院）
合成真实的协同语音手势是一个重要的，但尚未解决的问题，创造可信的运动，可以驱动人形机器人与人类用户进行交互和通信。这种能力将改善人类用户对机器人的印象，并将在教育，培训和医疗服务中找到应用。学习协同语音手势模型的一个挑战是对于同一语音话语可能存在多个可行的手势运动。确定性回归方法不能解决冲突的样本，并可能产生过平滑或阻尼运动。我们提出了一个两阶段的模型，以解决这个不确定性问题，在手势合成建模的手势段作为离散的潜在代码。我们的方法利用RQ-VAE在第一阶段学习一个离散的码本组成的手势令牌从训练数据。在第二阶段，一个两级自回归Transformer模型被用来学习的剩余代码的先验分布的输入语音上下文的条件。由于推断被公式化为令牌采样，因此在给定相同语音输入的情况下，可以使用top-k采样来生成多个手势序列。定量结果和用户研究表明，所提出的方法优于以前的方法，能够生成逼真的和多样化的手势运动。
2023-03-04 cs.AI cs.CV cs.LG
BodyFormer: Semantics-guided 3D Body Gesture Synthesis with Transformer
Guangdong Academy of Sciences（广东省科学院）；The University of Hong Kong（香港大学）；The University of Edinburgh（爱丁堡大学）；Meta Reality Labs Research（Meta现实实验室）；National Institute of Informatics（国立信息学研究所）；Tohoku University（东北大学）
本文提出BodyFormer，一种基于变分Transformer的框架，通过模态内预训练和模态位置嵌入，从语音合成多样且逼真的三维身体手势，优于现有方法。
2023-09-07 cs.AI cs.CV cs.GR
Regional Attention Network (RAN) for Head Pose and Fine-grained Gesture Recognition
Edge Hill University（边山大学）；Aberystwyth University（阿伯里斯特威斯大学）
情感通常通过非语言的肢体语言表达，如动作/手势，这是人类行为的重要指标。最近的研究在单目图像中的细粒度动作/手势的识别主要集中在表示身体姿势，人与物体的相互作用和局部外观的变化的身体部位的建模空间配置。结果表明，这是一种脆弱的方法，因为它依赖于准确的身体部位/对象检测。在这项工作中，我们认为，存在局部歧视性的语义区域，其“信息性”可以评估的注意力机制推断细粒度的手势/动作。为此，我们提出了一种新的端到端\textbf{Regional Attention Network (RAN)}，这是一个完全卷积神经网络（CNN），通过注意力机制组合多个上下文区域，专注于与给定任务最相关的图像部分。我们的区域由一个或多个连续的细胞，并适应于计算HOG（方向梯度直方图）描述符中使用的策略。该模型在属于3种不同场景的10个数据集上进行了广泛的评估：1）头部姿势识别，2）驾驶员状态识别，以及3）人类动作和面部表情识别。所提出的方法优于国家的最先进的一个相当大的利润率在不同的指标。
2021-01-17 cs.AI cs.CV cs.LG
Improved Static Hand Gesture Classification on Deep Convolutional Neural Networks using Novel Sterile Training Technique
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Citigroup Global Markets Inc.（花旗集团全球市场公司）
针对毫米波雷达结合CNN的静态手势识别准确率低的问题，提出新型数据采集方法和“无菌”图像训练技术，将距离剖面与距离-角度剖面下的分类准确率分别提升至93%和95%。
2023-05-03 cs.AI cs.CV eess.SP
ADDSL: Hand Gesture Detection and Sign Language Recognition on Annotated Danish Sign Language
Østfold University College（Østfold大学）
本文引入丹麦手语数据集ADDSL，并基于YOLOv5模型在极少样本下实现字母与数字手势识别，达到92%准确率和9.02ms推理速度。
2023-05-16 cs.AI cs.CV cs.LG
EMODY Flow: Emotion-Aware Audio-Driven Full-Body Motion Generation
INRIA（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（GIPSA实验室）
EMODY Flow提出轻量级流匹配框架，利用冻结的Qwen-3 Omni和Mimi音频编解码器，通过辅助情感分类器恢复情感敏感性，生成情感感知的全身动作，在BEAT2上显著提升手势质量并零样本迁移到面部动画。
2026-09-16 cs.CV cs.GR cs.LG
