GoHD: Gaze-oriented and Highly Disentangled Portrait Animation with Rhythmic Poses and Realistic Expression
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；NIO（蔚来）；Banma（斑马）；Beihang University（北京航空航天大学）
针对音频驱动说话人生成的挑战，提出GoHD框架，通过潜空间导航动画模块、conformer条件扩散模型和两阶段训练策略，实现高解耦、表情逼真且泛化性强的可控人像动画生成。
2024-12-13 cs.CV
Controlling Human Shape and Pose in Text-to-Image Diffusion Models via Domain Adaptation
University of Potsdam（波茨坦大学）
本文提出一种域适应技术，利用SMPL模型和合成数据微调ControlNet，实现对文生图扩散模型的人体形状与姿态控制，在保持视觉保真度的同时提升多样性和稳定性。
2024-11-07 cs.CV
Free-Form Motion Control: Controlling the 6D Poses of Camera and Objects in Video Generation
Fudan University（复旦大学）；DAMO Academy, Alibaba group（阿里集团 DAMO 院）；Hupan Lab（虎派实验室）；Nanyang Technological University, Singapore（新加坡南洋理工大学）
本文针对视频生成中相机与物体6D位姿难以同时控制的问题，提出合成数据集SynFMC和自由形式运动控制方法FMC，实现三维感知的独立或联合位姿控制，并兼容多种个性化T2I模型，在多个场景中取得优于现有方法的效果。
2025-07-20 cs.CV
Controlling Space and Time with Diffusion Models
Google DeepMind（谷歌DeepMind）
本文提出4DiM，一种级联扩散模型，用于4D新视角合成，支持任意相机轨迹和时间戳，通过混合数据训练和校准流程，实现度量尺度姿态控制，优于先前3D NVS模型，并支持多种生成任务。
2025-04-20 cs.CV
MMControl: Unified Multi-Modal Control for Joint Audio-Video Generation
Zhejiang University（浙江大学）
本文提出MMControl，通过双流条件注入机制实现联合音频视频生成的多模态控制，支持视觉和听觉信号的精细控制，提升跨模态对齐效果。
2026-06-29 cs.CV
AI killed the video star. Audio-driven diffusion model for expressive talking head generation
Centre INRIA d’Université Côte d’Azur（INRIA中心，坎特伯雷大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
Dimitra++通过音频驱动的扩散模型生成具有真实嘴唇运动、面部表情和头部姿态的说话头，优于现有方法。
2025-11-27 cs.CV
SonicDiffusion: Audio-Driven Image Generation and Editing with Pretrained Diffusion Models
Koç University（科克大学）；Adobe Research（奥多比研究院）；Hacettepe University（哈杰泰佩大学）
SonicDiffusion提出将音频特征映射为token并注入预训练扩散模型，通过新增音频-图像交叉注意力层实现音频驱动的图像生成与编辑，实验表明性能优于现有方法。
2024-05-01 cs.CV
LumièreNet: Lecture Video Synthesis from Audio
Udacity（优达学城）
我们介绍了LumièreNet，这是一个简单的，模块化的，完全基于深度学习的架构，它可以从讲师的任何长度的新音频叙述中合成高质量的全姿势头像演讲视频。与以前的作品不同，LumièreNet完全由可训练的神经网络模块组成，通过（中间）估计的基于姿势的紧凑和抽象潜码来学习从音频到视频的映射函数。我们的视频演示可在[22]和[23]中找到。
2019-07-04 cs.CV cs.LG eess.AS
DiffTED: One-shot Audio-driven TED Talk Video Generation with Diffusion-based Co-speech Gestures
University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对现有音频驱动说话视频生成方法连贯性差、手势单一等问题，提出DiffTED方法，结合扩散模型与薄板样条运动模型，通过无分类器引导实现单样本TED风格视频生成，效果更连贯多样。
2024-09-11 cs.CV
Audio2Head: Audio-driven One-shot Talking-head Generation with Natural Head Motion
Netease Fuxi AI Lab（网易伏羲人工智能实验室）；University of Technology Sydney（悉尼科技大学）
我们提出了一个音频驱动的方法来生成照片般逼真的说话头视频从一个单一的参考图像。在这项工作中，我们解决了两个关键的挑战：（i）产生自然的头部运动，匹配语音韵律，以及（ii）保持扬声器的外观在一个大的头部运动，同时稳定的非面部区域。我们首先设计了一个头部姿态预测器，通过使用运动感知递归神经网络（RNN）对刚性6D头部运动进行建模。通过这种方式，预测的头部姿势充当说话头部的低频整体运动，从而使我们的后者网络专注于详细的面部运动生成。为了描述整个图像的运动所产生的音频，我们利用基于关键点的密集运动场表示。然后，我们开发了一个运动场生成器，从输入音频，头部姿势和参考图像产生密集的运动场。由于这种基于关键点的表示模型的面部区域，头部和背景的运动整体，我们的方法可以更好地约束生成的视频的空间和时间的一致性。最后，图像生成网络被用来从估计的基于关键点的运动场和输入的参考图像渲染照片般逼真的讲话头部视频。大量的实验表明，我们的方法产生的视频与合理的头部运动，同步的面部表情，和稳定的背景，并优于最先进的。
2021-07-20 cs.CL cs.CV
Pose with Style: Detail-Preserving Pose-Guided Image Synthesis with Conditional StyleGAN
Virginia Tech（弗吉尼亚理工大学）；Kuwait University（科威特大学）；Adobe Research（Adobe 研究院）；University of Maryland College Park（马里兰大学帕克分校）
我们提出了一个算法，重新渲染一个人从一个单一的图像下的任意姿态。现有的方法往往有困难的幻觉闭塞的内容照片逼真，同时保持身份和源图像中的细节。我们首先学习用人体对称性先验来修补人体表面纹理和源图像之间的对应场。修复的对应字段允许我们将从源视图提取的局部特征转移/扭曲到目标视图，即使在大的姿态变化下也是如此。使用简单的CNN解码器将扭曲的局部特征直接映射到RGB图像通常会导致可见的伪影。因此，我们扩展了StyleGAN生成器，使其将姿势作为输入（用于控制姿势），并使用扭曲的局部特征（用于控制外观）为潜在空间引入空间变化调制。我们表明，我们的方法相比，在定量评估和视觉比较的最先进的算法。
2021-09-13 cs.CV
Audio-driven Talking Face Video Generation with Learning-based Personalized Head Pose
Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）；Zhejiang University（浙江大学）
现实世界中的说话脸往往伴随着自然的头部运动。然而，大多数现有的说话人脸视频生成方法仅考虑具有固定头部姿势的面部动画。在本文中，我们通过提出一个深度神经网络模型来解决这个问题，该模型将源人的音频信号A和目标人的非常短的视频V作为输入，并输出具有个性化头部姿势（利用V中的视觉信息），表情和嘴唇同步（通过考虑A和V）的合成的高质量说话面部视频。在我们的工作中最具挑战性的问题是，自然的姿势往往会导致在平面内和平面外的头部旋转，这使得合成的说话人脸视频远离现实。为了解决这一挑战，我们重建3D人脸动画，并重新渲染成合成帧。为了将这些帧调整为具有平滑背景过渡的逼真帧，我们提出了一种新的内存增强GAN模块。通过首先基于公开可用的数据集训练一般映射，并使用目标人的输入短视频微调映射，我们开发了一种有效的策略，仅需要少量帧（约300帧）来学习包括头部姿势在内的个性化谈话行为。广泛的实验和两个用户研究表明，我们的方法可以生成高质量的（即，个性化的头部运动、表情和良好的嘴唇同步）说话的面部视频，这自然地看起来比最先进的方法具有更明显的头部运动效果。
2020-03-05 cs.CV cs.GR
Syncphony: Synchronized Audio-to-Video Generation with Diffusion Transformers
Yonsei University（延世大学）
本文提出 Syncphony，结合运动感知损失与音频同步引导，在扩散 Transformer 视频主干上实现高视觉质量的细粒度音频驱动视频生成，并用新指标 CycleSync 验证其优势。
2025-09-26 cs.CV
Text2Video: Text-driven Talking-head Video Synthesis with Personalized Phoneme-Pose Dictionary
Baidu Research（百度研究院）
随着深度学习技术的发展，从音频或文本中自动生成视频已经成为一个新兴的、有前途的研究课题。在本文中，我们提出了一种新的方法来合成视频从文本。该方法构建音素-姿势词典并训练生成对抗网络（GAN）以从内插音素姿势生成视频。与音频驱动的视频生成算法相比，该方法具有以下优点：1）只需要音频驱动方法所需训练数据的一小部分; 2）更灵活，不受说话人变化的影响; 3）显著减少了预处理、训练和推理时间。我们进行了大量的实验，比较所提出的方法与国家的最先进的说话的脸生成方法的基准数据集和我们自己的数据集。实验结果证明了该方法的有效性和优越性。
2022-01-22 cs.CV eess.IV
MMGT: Motion Mask Guided Two-Stage Network for Co-Speech Gesture Video Generation
本文提出MMGT网络，通过结合音频、运动遮罩和姿态视频生成同步语音手势视频，解决单一音频控制导致的大动作缺失问题，提升视频质量与细节控制。
2026-03-13 cs.CV
FACIAL: Synthesizing Dynamic Talking Face with Implicit Attribute Learning
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Beihang University（北京航空航天大学）；East China Normal University（华东师范大学）；Xiamen University（厦门大学）；Samsung Research America（三星美国研究院）
在本文中，我们提出了一种说话的脸生成方法，以音频信号作为输入和短的目标视频剪辑作为参考，并合成一个逼真的视频的目标脸与自然的嘴唇运动，头部姿势，和眨眼是同步的输入音频信号。我们注意到，合成的面部属性不仅包括诸如与语音具有高相关性的嘴唇运动之类的显式属性，而且包括诸如与输入音频仅具有弱相关性的头部姿势和眨眼之类的隐式属性。为了对不同人脸属性与输入音频之间的复杂关系进行建模，我们提出了一种FACe隐式属性学习生成对抗网络（FACIAL-GAN），它集成了语音感知，上下文感知和身份感知信息，以合成具有嘴唇，头部姿势和眨眼的逼真运动的3D人脸动画。然后，我们的Rendering-to-Video网络将渲染的人脸图像和眨眼的注意力图作为输入，以生成照片级逼真的输出视频帧。实验结果和用户研究表明，我们的方法可以生成逼真的说话人脸视频，不仅同步嘴唇运动，而且自然的头部运动和眨眼，具有更好的质量比国家的最先进的方法的结果。
2021-08-18 cs.CV
Live Speech Portraits: Real-Time Photorealistic Talking-Head Animation
Nanjing University（南京大学）；Xmov（上海魔珐科技有限公司）
据我们所知，我们首先提出了一个实时系统，该系统仅由音频信号以超过30 fps的速度驱动，生成个性化的逼真的说话头动画。我们的系统包含三个阶段。第一阶段是深度神经网络，其提取深度音频特征以及流形投影以将特征投影到目标人的语音空间。在第二阶段，我们从投影的音频特征中学习面部动态和运动。预测的运动包括头部姿态和上身运动，其中前者由对目标人的头部姿态分布进行建模的自回归概率模型生成。上半身的运动是从头部姿势推导出来的。在最后阶段，我们根据之前的预测生成条件特征图，并将它们与候选图像集一起发送到图像到图像转换网络，以合成照片级真实感渲染。我们的方法很好地推广到野生音频，并成功地合成高保真个性化的面部细节，例如，皱纹牙齿我们的方法还允许明确控制头部姿势。广泛的定性和定量评估，以及用户研究，证明了我们的方法优于国家的最先进的技术。
2021-09-24 cs.CV cs.GR
Improving Joint Audio-Video Generation with Cross-Modal Context Learning
Vivix Group Limited（维维克斯集团有限公司）
本文提出跨模态上下文学习方法，解决双流Transformer生成中模态交互不一致、训练不稳定等问题，提升生成质量与效率。
2026-03-19 cs.CV
StreamingTalker: Audio-driven 3D Facial Animation with Autoregressive Diffusion Model
State Key Laboratory of CAD&CG, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室）；Ant Group（蚂蚁集团）；College of Computer Science, Zhejiang University（浙江大学计算机学院）
本文提出基于自回归扩散模型的StreamingTalker，解决音频驱动3D面部动画中长音频处理延迟和超训练范围的问题，通过动态条件生成高质量实时面部动作。
2026-05-17 cs.CV
Does Hearing Help Seeing? Investigating Audio-Video Joint Denoising for Video Generation
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
本文提出通过音频视频联合去噪提升视频生成质量，验证了跨模态训练对构建更物理基础的世界模型的潜力。
2025-12-03 cs.CV
AVControl: Efficient Framework for Training Audio-Visual Controls
Lightricks
AVControl通过轻量级框架实现多模态控制，无需架构改动，支持多种独立训练的模态，如深度、姿态、边缘、相机轨迹等，并在多个基准测试中表现优异。
2026-03-25 cs.CV cs.MM cs.SD
V-Express: Conditional Dropout for Progressive Training of Portrait Video Generation
Nanjing University（南京大学）；Tencent AI Lab（腾讯AI实验室）
提出V-Express方法，通过渐进式训练和条件性Dropout平衡不同强度的控制信号，解决音频等弱信号在肖像视频生成中被掩盖的问题，实现音频、姿态和参考图像的同时有效控制。
2024-06-04 cs.AI cs.CV
Both Ears Wide Open: Towards Language-Driven Spatial Audio Generation
Hong Kong University of Science and Technology（香港科技大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Nanyang Technological University（南洋理工大学）；Zhejiang University（浙江大学）
本文提出SpatialSonic模型，利用空间感知编码器和方位状态矩阵指导潜在扩散模型，从文本生成可控空间音频，并构建大规模数据集BEWO-1M，实验验证其有效性。
2025-02-25 cs.CV cs.SD eess.AS
Schrodinger Audio-Visual Editor: Object-Level Audiovisual Removal
MIT（麻省理工学院）；UC Berkeley（加州大学伯克利分校）；Berkeley AI Research（伯克利人工智能研究）；Sony AI（索尼人工智能）；Sony Group Corporation（索尼集团）
本文提出Schrodinger Audio-Visual Editor，通过联合编辑音频和视频实现对象级去除，提升时间同步性和语义对应性。
2025-12-14 cs.CV cs.MM cs.SD
Deep Cross-Modal Audio-Visual Generation
University of Rochester（罗切斯特大学）
跨通道视听感知一直是心理学和神经学中的一个长期话题，各种研究发现人类对听觉和视觉刺激的感知具有很强的相关性。尽管在计算多模态建模的作品，跨模态视听生成的问题还没有系统地研究在文献中。在本文中，我们首次尝试利用深度生成对抗训练的力量来解决这个跨模态生成问题。具体来说，我们使用条件生成对抗网络来实现音乐表演的跨模态视听生成。我们探索不同的编码方法的音频和视频信号，并在两个场景：面向工具的生成和面向姿势的生成。作为第一个探索这个新问题，我们组成了两个新的数据集对不同乐器的音乐表演的图像和声音。我们使用分类和人类评估的实验表明，我们的模型能够生成一种模态，即，音频/视频，从其他模态，即，视觉/听觉，在很大程度上。我们对各种设计选择以及数据集的实验将促进未来在这个新问题空间的研究。
2017-04-26 cs.CV cs.MM cs.SD
AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation
Tencent（腾讯）
提出AniPortrait框架，通过两阶段方法将音频转化为2D面部关键点序列，并利用扩散模型与运动模块生成写实且时间一致的肖像动画，在自然度与可控性上表现优越。
2024-03-26 cs.CV cs.GR eess.IV
SyncAnimation: A Real-Time End-to-End Framework for Audio-Driven Human Pose and Talking Head Animation
AiShiWeiLai AI Research（AiShiWeiLai AI研究院）；South China University of Technology（华南理工大学）；Beijing Institute of Technology（北京理工大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
SyncAnimation提出首个基于NeRF的实时端到端框架，通过音频到姿态与表情同步，实现高精度、稳定的说话头像生成，解决面部与上半身一致性问题。
2025-01-24 cs.CV
VividAnimator: An End-to-End Audio and Pose-driven Half-Body Human Animation Framework
Zhejiang University（浙江大学）
VividAnimator提出端到端音频与稀疏手部姿态驱动的半身动画框架，通过手部清晰度码本、双流音频感知模块和姿态校准技巧，解决头部僵硬与手部模糊问题，实现最先进性能。
2025-10-11 cs.CV
Audio-Visual Camera Pose Estimation with Passive Scene Sounds and In-the-Wild Video
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出一种结合方向到达谱和双耳嵌入的音频-视觉框架，用于真实世界视频中的相机姿态估计，在视觉信息受损时表现出鲁棒性。
2026-07-02 cs.CV
CLHOP: Combined Audio-Video Learning for Horse 3D Pose and Shape Estimation
KTH（皇家理工学院）；SLU（瑞典农业科学大学）；IMATI-CNR（意大利国家研究委员会IMATI研究所）
本文提出CLHOP方法，首次探索结合音频与单目视频来增强马匹3D姿态、形状和运动恢复，并在室内外两个数据集上验证了其提升运动回归准确性与鲁棒性的效果。
2024-07-01 cs.CV
NWT: Towards natural audio-to-video generation with representation learning
Cash App Labs（Cash App实验室）
在这项工作中，我们介绍了NWT，一个富有表现力的语音到视频模型。与使用特定领域的中间表示（如姿势关键点）的方法不同，NWT学习自己的潜在表示，对音频和视频内容的假设最少。为此，我们提出了一种新的离散变分自编码器与对抗损失，dVAE-Adv，学习一个新的离散的潜在表示，我们称之为Memcodes。Memcodes是简单的实现，不需要额外的损失条款，是稳定的训练与其他方法相比，并显示出可解释性的证据。为了在Memcode空间上进行预测，我们使用以音频为条件的自回归编码器-解码器模型。此外，我们的模型可以控制生成的视频中未在数据中注释的潜在属性。我们训练NWT的剪辑从HBO的最后一周今晚与约翰奥利弗。NWT在整体视频自然度、面部自然度和表现力以及对口型质量测试中的平均意见得分（MOS）始终高于其他方法。这项工作为广义的音频到视频合成设置了一个强有力的基线。样品可在https://next-week-tonight.github.io/NWT/上获得。
2021-06-08 cs.AI cs.CV cs.LG
StyleTalker: One-shot Style-based Audio-driven Talking Head Video Generation
Graduate School of AI, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院人工智能研究生院）
提出StyleTalker，一种基于单张参考图像的音频驱动说话头视频生成模型，通过对比唇形同步判别器、条件序列变分自编码器和归一化流增强的自回归先验，实现精确唇形同步、逼真头部姿态和眨眼，支持运动可控和纯音频驱动两种生成方式，性能优于现有方法。
2024-03-15 cs.CV cs.LG eess.AS
AV-Gaze: A Study on the Effectiveness of Audio Guided Visual Attention Estimation for Non-Profilic Faces
Monash University（莫纳什大学）；Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）；University of Melbourne（墨尔本大学）
在具有挑战性的现实生活条件下，例如极端的头部姿势，遮挡和低分辨率图像，其中视觉信息无法估计视觉注意力/注视方向，音频信号可以提供重要的补充信息。在本文中，我们探讨了音频引导的粗略头部姿势是否可以进一步提高非多产人脸的视觉注意力估计性能。由于很难注释音频信号来估计说话者的头部姿势，因此我们使用现成的最先进的模型来促进跨模态弱监督。在训练阶段，框架从同步的视听模态中学习补充信息。我们的模型可以利用任何可用的方式，即音频，视觉或视听任务特定的推理。值得注意的是，当AV-Gaze在具有这些特定模式的基准数据集上进行测试时，它在多个数据集上获得了具有竞争力的结果，同时对具有挑战性的场景具有高度适应性。
2022-08-12 cs.CV
Pose-Controllable 3D Facial Animation Synthesis using Hierarchical Audio-Vertex Attention
Nanchang Hangkong University（南昌航空大学）；Dalian University of Technology（大连理工大学）；Cardiff University（卡迪夫大学）
现有的音频驱动的三维人脸动画方法大多缺乏对人脸表情和头部姿态的详细描述，导致人机交互效果不理想。提出了一种基于层次化音频-顶点注意力的姿态可控的三维人脸动画合成方法。为了合成真实和详细的表达，提出了一种分层分解策略，将音频信号编码为全局潜在特征和局部顶点控制特征。然后利用局部和全局音频特征结合顶点空间特征，通过图卷积神经网络融合人脸模型的内在空间拓扑结构和音频对应的语义特征，预测最终的一致性人脸动画。为了实现姿态可控的动画，我们介绍了一种新的姿态属性增强方法，利用二维说话脸技术。实验结果表明，该方法可以产生更真实的面部表情和头部姿态运动。定性和定量的实验表明，该方法实现了竞争力的性能对国家的最先进的方法。
2023-02-24 cs.CV cs.GR
PoseTalk: Text-and-Audio-based Pose Control and Motion Refinement for One-Shot Talking Head Generation
Shanghai Jiao Tong University（上海交通大学）
PoseTalk提出利用头部姿态连接文本、音频与视觉信号，通过姿态潜在扩散模型和级联细化网络，实现可编辑、唇音同步且姿态自然的一次性说话头视频生成。
2024-09-04 cs.AI cs.CV cs.MM
OPT: One-shot Pose-Controllable Talking Head Generation
Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China 2 School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China（1 中国科学院信息工程研究所，北京，中国 2 中国科学院大学网络空间安全学院，北京，中国）
单镜头说话头生成基于任意音频和一个源面部产生唇同步说话头。为了保证自然和真实，最近的方法提出实现自由姿态控制，而不是简单地编辑嘴部区域。然而，现有的方法不保持准确的身份源脸时，产生头部运动。为了解决身份不匹配问题，实现高质量的自由姿态控制，我们提出了单次姿态可控的Talking头生成网络（OPT）。具体而言，音频特征分解模块将内容特征与音频分离，消除了任意驾驶音频中包含的特定于说话者的信息的影响。然后，从内容特征和源人脸中提取嘴部表情特征，在此过程中设计了特征点丢失，以提高人脸结构的准确性和身份保持质量。最后，为了实现自由姿态控制，来自参考视频的可控头部姿态特征与表情特征和源面部一起被馈送到视频生成器中以生成新的说话头部。大量的定量和定性的实验结果表明，OPT生成高质量的姿态可控的说话头没有身份失配的问题，优于以前的SOTA方法。
2023-02-16 cs.CV
TriBERT: Full-body Human-centric Audio-visual Representation Learning for Visual Sound Separation
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究所）；University of Toronto（多伦多大学）
最近Transformer模型在语言（如BERT）中的成功，激发了将此类架构用于多模态特征学习和任务。然而，大多数多模态变体（例如，ViLBERT）仅限于视觉语言数据。相对较少探索其在视听模态中的使用，并且据我们所知，没有一个在粒度视听检测或分割任务（如声音声源分离和定位）的背景下说明它们。在这项工作中，我们介绍了TriBERT -一个基于transformer的架构，灵感来自ViLBERT，它可以跨三种模式进行上下文特征学习：视觉，姿势和音频，使用灵活的共同注意力。姿势关键点的使用受到最近的作品的启发，这些作品说明这种表示可以显著提高许多视听场景中的性能，其中通常一个或多个人明确地负责声音（例如，谈话）或隐含地（例如，作为人类操纵物体的功能而产生的声音）。从技术角度来看，作为TriBERT架构的一部分，我们引入了一个基于空间注意力的学习视觉标记化方案，并利用弱监督来允许视觉和姿势模态的粒度跨模态交互。此外，我们用在所有三个流中制定的声音-声源分离损失补充学习。我们在大型MUSIC 21数据集上预训练我们的模型，并通过微调在该数据集以及其他数据集上展示了视听声音声源分离的改进性能。此外，我们表明，学习的TriBERT表示是通用的，并显着提高性能的其他视听任务，如跨模态视听姿势检索高达66.7%的前1名的准确性。
2021-10-26 cs.CV
FONT: Flow-guided One-shot Talking Head Generation with Natural Head Motions
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
本文提出FONT模型，通过头部姿态预测模块、关键点预测器和流引导遮挡感知生成器，从单张源人脸和驱动音频生成具有自然头部动作和同步嘴型的逼真说话人脸视频。
2023-03-31 cs.CV
SadTalker: Learning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation
Tencent AI Lab（腾讯人工智能实验室）；Ant Group（蚂蚁集团）
通过人脸图像和一段语音音频生成说话的头部视频仍然包含许多挑战。即不自然的头部运动、扭曲的表情和身份修改。我们认为，这些问题主要是因为从耦合的2D运动场的学习。另一方面，明确地使用3D信息也遭受僵硬表达和不连贯视频的问题。我们提出了SadTalker，它生成3D运动系数（头部姿势，表达）的3DMM从音频和隐式调制一种新的3D感知的面部渲染说话的头部生成。为了学习真实的运动系数，我们显式地单独建模音频和不同类型的运动系数之间的连接。准确地说，我们提出了ExpNet，通过提取系数和3D渲染的面部来从音频中学习准确的面部表情。对于头部姿态，我们通过一个条件VAE设计PoseVAE来合成不同风格的头部运动。最后，将生成的3D运动系数映射到建议的人脸渲染的无监督3D关键点空间，并合成最终视频。我们进行了广泛的实验，以证明我们的方法在运动和视频质量方面的优越性。
2023-03-13 cs.CV
Learning Hierarchical Cross-Modal Association for Co-Speech Gesture Generation
The Chinese University of Hong Kong（香港中文大学）；Monash University（莫纳什大学）；Zhejiang University（浙江大学）；SenseTime Research（商汤科技研究院）；Nanyang Technological University（南洋理工大学）
生成语音一致的身体和手势运动是虚拟化身创建中的长期问题。以往的研究往往综合姿态运动在一个整体的方式，其中所有关节的姿势是同时产生的。这种简单的流水线无法生成细粒度的协同语音手势。一个观察是，语音中的分层语义和人类手势的分层结构可以自然地描述成多个粒度并关联在一起。为了充分利用语音音频和手势之间的丰富联系，我们提出了一种新的框架命名为分层音频手势（HA2G）的协同语音手势生成。在HA2G中，分层音频学习器跨语义粒度提取音频表示。分层姿态推断器随后以分层方式逐渐渲染整个人类姿态。为了提高合成手势的质量，我们开发了一种基于音频文本对齐的对比学习策略，以获得更好的音频表示。大量的实验和人工评估表明，该方法呈现逼真的语音手势，并在一个明确的利润率优于以前的方法。项目页面：https://alvinliu0.github.io/projects/HA2G
2022-03-24 cs.CV
InfinityHuman: Towards Long-Term Audio-Driven Human
针对长时音频驱动人体视频中的身份漂移、场景不稳和手部失真问题，本文提出由粗到细框架 InfinityHuman，利用稳定姿态、首帧锚点和手部奖励机制生成高分辨率长视频，并在 EMTD 与 HDTF 上达到最优表现。
2025-08-27 cs.CV
APB2Face: Audio-guided face reenactment with auxiliary pose and blink signals
Zhejiang University（浙江大学）；Wuhan University（武汉大学）
音频引导的面部重现旨在使用音频信息生成逼真的面部，同时保持与真人说话时相同的面部运动。然而，现有的方法不能生成逼真的人脸图像或只能再现低分辨率的人脸，限制了其应用价值。为了解决这些问题，我们提出了一种新的深度神经网络APB2Face，它由GeometryPredictor和FaceReenactor模块组成。GeometryPredictor使用额外的头部姿势和眨眼状态信号以及音频来预测潜在的地标几何信息，而FaceReenactor输入面部地标图像来重现照片级逼真的面部。一个新的数据集AnnVI从YouTube收集到的支持的方法，实验结果表明，我们的方法比最先进的，无论是在真实性或可控性的优越性。
2020-04-30 cs.CV cs.LG eess.IV
StyleTalk++: A Unified Framework for Controlling the Speaking Styles of Talking Heads
Fuxi AI Lab, Netease（网易伏羲人工智能实验室）；Tsinghua University（清华大学）；the University of Queensland（昆士兰大学）
针对现有单样本说话人头部生成方法无法捕捉个性化说话风格的问题，提出StyleTalk++统一框架，通过风格编码与双分支解码合成3DMM系数，仅用单张肖像和音频即可生成风格多样的真实说话人头部视频。
2024-09-14 cs.CV
A Synchronized Audio-Visual Multi-View Capture System
Delft University of Technology（代尔夫特理工大学）
本文提出一种同步音频-视觉多视角捕捉系统，通过统一时间架构整合多摄像机和多通道麦克风，实现高质量的音频视频同步记录，支持对话行为的精细分析与建模。
2026-04-22 cs.CV
Sounding Bodies: Modeling 3D Spatial Sound of Humans Using Body Pose and Audio
Shanghai AI Laboratory（上海人工智能实验室）；Meta Reality Labs Research（Meta现实实验室）
本文提出一种利用身体姿态和音频生成人体三维空间声场的模型，并构建了首个多模态数据集，实验证明其能精确生成身体诱发声场。
2023-11-01 cs.CV cs.LG cs.SD
Pose-Controllable Talking Face Generation by Implicitly Modularized Audio-Visual Representation
SenseTime Research（商汤科技研究院）；Tokyo Institute of Technology（东京工业大学）
虽然已经实现了精确的嘴唇同步任意主题的音频驱动的说话人脸生成，如何有效地驱动头部姿势的问题仍然存在。以前的方法依赖于预先估计的结构信息，如地标和3D参数，旨在生成个性化的节奏运动。然而，在极端条件下，这种估计信息的不准确性将导致退化问题。在本文中，我们提出了一个干净而有效的框架来生成姿态可控的说话脸。我们对原始面部图像进行操作，仅使用一张照片作为身份参考。关键是通过设计一个隐式的低维姿势代码来模块化视听表示。实质上，语音内容和头部姿态信息都位于联合非身份嵌入空间中。虽然语音内容信息可以通过学习视听模态之间的内在同步来定义，但我们确定姿势代码将在基于调制卷积的重建框架中互补地学习。大量的实验表明，我们的方法准确地生成唇同步说话的脸，其姿态是可控的其他视频。此外，我们的模型具有多种先进的功能，包括极端视图鲁棒性和说话脸正面化。代码、模型和演示视频可在https://hangz-nju-cuhk.github.io/projects/PC-AVS上获得。
2021-04-22 cs.CV cs.LG cs.MM
Hallo: Hierarchical Audio-Driven Visual Synthesis for Portrait Image Animation
Fudan University（复旦大学）；ETH Zurich（苏黎世联邦理工学院）；Baidu Inc（百度公司）；Nanjing University（南京大学）
本文提出 Hallo，一种端到端分层音频驱动视觉合成框架，通过扩散模型、UNet 去噪器与时间对齐提升唇形、表情和姿态同步及个性化动画质量。
2024-06-16 cs.CV
Pose-Aware Multimodal Automatic Tagging for Greek Traditional Music
National Technical University of Athens（雅典国家技术大学）；Athena Research Center（雅典娜研究中心）
本文针对希腊传统音乐自动标注，提出利用舞者姿态作为音频之外的补充信息，通过多模态融合（音频、视频、骨架）提升性能，最佳三模态系统较音频基线宏ROC-AUC提升约4个百分点。
2026-09-24 cs.CV cs.SD
Dual-modality seq2seq network for audio-visual event localization
National Taiwan University（台湾大学）；MOST Joint Research Center for AI Technology and All Vista Healthcare（科技部人工智能技术与全视角医疗联合研究中心）
视听事件定位要求识别视频中既可见又可听的事件（无论是在帧级还是视频级）。为了解决这个问题，我们提出了一个深度神经网络命名为视听序列到序列对偶网络（AVSDN）。该模型以每个时间段的音频和视觉特征作为输入，以序列到序列的方式学习全局和局部事件信息，可以在全监督或弱监督环境下实现。实验结果证实，我们提出的方法在这两种情况下都能与最近的深度学习方法相媲美。
2020-08-06 cs.CV
DisCoHead: Audio-and-Video-Driven Talking Head Generation by Disentangled Control of Head Pose and Facial Expressions
DeepBrain AI Inc.（深脑人工智能公司）
对于真实的说话头部生成，创建自然的头部运动，同时保持准确的嘴唇同步是必不可少的。为了完成这一具有挑战性的任务，我们提出了DisCoHead，一种新的方法来解开和控制头部姿势和面部表情，而无需监督。DisCoHead使用单个几何变换作为瓶颈，从头部驱动视频中隔离和提取头部运动。无论是仿射或薄板样条变换可以使用和工作以及几何瓶颈。我们通过集成密集运动估计器和生成器的编码器来提高DisCoHead的效率，这些模块原本是独立的模块。更进一步，我们还提出了一种神经混合方法，其中编码器隐式地估计和应用密集运动。在将解纠缠的头部运动应用于源身份之后，DisCoHead根据语音音频控制嘴部区域，并且通过卷积神经网络的权重调制，其跟随眼睛区域的单独驱动视频眨眼和移动眉毛。使用多个数据集的实验表明，DisCoHead成功地生成逼真的音频和视频驱动的说话头，并优于最先进的方法。项目页面：https://deepbrainai-research.github.io/discohead/
2023-03-14 cs.CV cs.LG eess.IV
AIMusicGuru: Music Assisted Human Pose Correction
University of Maryland, College Park（马里兰大学帕克分校）
姿态估计技术依赖于通过以像素形式表示的观测获得的视觉线索。但是性能受到视频的帧速率的限制，并且受到运动模糊、遮挡和时间相干性的影响。当人们与物体和乐器互动时，这个问题会被放大，例如拉小提琴。后处理的标准方法使用插值和平滑函数来过滤噪声和填充间隙，但它们不能对高度非线性运动进行建模。我们提出了一种方法，利用我们的理解的高度之间的因果关系产生的声音和产生它们的运动。我们使用音频签名来改进和预测准确的人体姿势运动模型。我们提出了MAPnet（音乐辅助姿势网络），用于从稀疏输入姿势序列但连续音频生成细粒度运动模型。为了加速这一领域的进一步研究，我们还开源了MAPdat，这是一个新的3D小提琴演奏运动与音乐的多模态数据集。我们对不同的标准机器学习模型进行了比较，并对输入模态、采样技术以及音频和运动特征进行了分析。MAPdat上的实验表明，像我们这样的多模态方法是以前只采用视觉方法的任务的一个有前途的方向。我们的研究结果定性和定量地展示了音频如何与视觉观察相结合，以帮助改进任何姿势估计方法。
2022-03-24 cs.CV cs.MM
Multi-Stage Residual Hiding for Image-into-Audio Steganography
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；Alibaba Group（阿里巴巴集团）
音频通信技术的广泛应用加速了音频数据在互联网上的流动，使其成为隐蔽通信的重要载体。在本文中，我们提出了一个跨模态隐写方法隐藏图像内容到音频载体，同时保持感知保真度的封面音频。在我们的框架中，两个多级网络的设计：第一个网络编码的递减多级残留误差内不同的音频频谱与相应的阶段子网络，而第二个网络解码的残留误差从修改后的载波与相应的阶段子网络，以产生最终的显示结果。该框架的多阶段设计不仅使有效载荷容量的控制更加灵活，而且由于残余误差的逐渐稀疏特性，使得隐藏更容易。定性实验表明，对载体的修改是不明显的人类听众和解码的图像是高度可理解的。
2021-01-06 cs.CR cs.CV
PoseKernelLifter: Metric Lifting of 3D Human Pose using Sound
Samsung AI Center NY（三星人工智能中心纽约）；University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Minnesota Twin Cities（明尼苏达大学双城分校）
从单视点图像重建度量尺度下的人体三维姿态是一个几何不适定问题。例如，我们不能在没有附加场景假设的情况下从单个视图图像测量人到相机的确切距离（例如，已知高度）。现有的基于学习的方法通过按比例重建3D姿势来规避这个问题。然而，有许多应用，如虚拟远程呈现，机器人，和增强现实，需要度量尺度重建。在本文中，我们表明，随着图像记录的音频信号，提供补充信息，以重建度量的3D姿态的人。关键的见解是，当音频信号穿过3D空间时，它们与身体的交互提供了关于身体姿势的度量信息。基于这一认识，我们引入了一个称为姿态核的时不变传递函数-由身体姿态引起的音频信号的脉冲响应。姿态核的主要特性是：（1）其包络与3D姿态高度相关，（2）时间响应对应于到达时间，指示到麦克风的度量距离，以及（3）它对场景几何配置的变化是不变的。因此，它很容易推广到看不见的场景。我们设计了一个多级3D CNN，它融合了音频和视觉信号，并学习以度量尺度重建3D姿态。我们表明，我们的多模态方法在现实世界的场景中产生准确的度量重建，这是不可能的，与国家的最先进的提升方法，包括参数网格回归和深度回归。
2021-12-03 cs.CV cs.SD eess.AS
An efficient supervised dictionary learning method for audio signal recognition
Normandie Université（诺曼底大学）；INSA Rouen Normandie（鲁昂诺曼底国立应用科学学院）
机器听觉或倾听代表了一个新兴领域。传统的方法依赖于专门针对特定音频任务的手工特征的设计，并且很难推广到其他音频领域。例如，梅尔频率倒谱系数（MFCC）及其变体被成功地应用于计算听觉场景识别，而色度向量则擅长于音乐和弦识别。不幸的是，这些预定义的特征可能具有可变的辨别力，同时由于剪辑的不同性质而扩展到其他任务或甚至在同一任务内。出于这种需要一个原则性的框架，跨域应用程序的机器监听，我们提出了一个通用的和数据驱动的表示学习方法。为此，提出了一种新颖、高效的监督字典学习方法。该方法学习不同的字典，每个类一个，以提取用于分类的异构信息。换句话说，我们正在寻求最小化类内同质性和最大化类可分性。这通过促进类特定字典之间的成对正交性并控制音频剪辑在这些字典上的分解的稀疏结构而成为可能。由此产生的优化问题是非凸的，并使用近端梯度下降方法求解。实验进行计算听觉场景（东安格利亚和鲁昂）和合成音乐和弦识别数据集。获得的结果表明，我们的方法是能够达到国家的最先进的手工制作的功能，这两个应用程序。
2018-12-12 cs.CV
