OmniSync: Towards Universal Lip Synchronization via Diffusion Transformers
Renmin University of China（中国人民大学）；Kling Team, Kuaishou Technology（快手科技 Kling 团队）；Tsinghua University（清华大学）
OmniSync提出基于扩散Transformer的无掩码唇形同步框架，结合流匹配渐进噪声初始化和动态时空无分类器引导，并构建AIGC-LipSync基准，在真实与AI生成视频中显著提升唇形同步质量。
2025-09-18 cs.CV
VideoReTalking: Audio-based Lip Synchronization for Talking Head Video Editing In the Wild
Xidian University（西安电子科技大学）；Tencent AI Lab（腾讯人工智能实验室）；Tsinghua University（清华大学）
我们提出了VideoReTalking，一个新的系统，根据输入音频编辑现实世界的说话头视频的面孔，即使有不同的情感，也能产生高质量的唇同步输出视频。我们的系统将此目标分解为三个连续的任务：（1）具有规范表达的面部视频生成;（2）音频驱动的嘴唇同步;以及（3）用于改善照片真实感的面部增强。给定一个说话头视频，我们首先使用表情编辑网络根据相同的表情模板修改每帧的表情，从而产生具有规范表情的视频。然后，该视频与给定的音频一起被馈送到对口型同步网络中以生成对口型同步视频。最后，我们通过身份感知的人脸增强网络和后处理来提高合成人脸的照片真实感。我们使用基于学习的方法来完成这三个步骤，我们所有的模块都可以在一个连续的管道中处理，而无需任何用户干预。此外，我们的系统是一种通用的方法，不需要针对特定的人进行再培训。对两个广泛使用的数据集和野外示例的评估表明，我们的框架在唇同步准确性和视觉质量方面优于其他最先进的方法。
2022-11-27 cs.CV
JOLT3D: Joint Learning of Talking Heads and 3DMM Parameters with Application to Lip-Sync
Hudson AI Seoul, KR（Hudson AI 首尔）
本文提出JOLT3D，通过联合学习三维人脸重建与说话人头像合成，获得面向生成优化的FACS blendshape表示，并据此构建仅修改嘴部、解耦下巴轮廓且减少闪烁的音频驱动唇形同步流程。
2025-07-28 cs.CV
ComplexSync: High-Fidelity and Real-Time Lip Sync in Complex Scenarios
Guangzhou Quwan Network Technology（广州趣丸网络科技有限公司）
针对扩散模型在复杂场景下唇形同步质量差且推理慢的问题，提出ComplexSync统一框架，通过双流训练、蒸馏加速和关系对齐损失，实现超70 FPS的实时高保真唇形同步，并首个构建复杂场景基准。
2026-09-25 cs.CV
Removing Averaging: Personalized Lip-Sync Driven Characters Based on Identity Adapter
Shenzhen International Graduate School, Tsinghua Universiy（清华大学深圳国际研究生院）；Tencent（腾讯）；Seoul National University（首尔国立大学）
针对扩散唇形同步模型的“唇形平均化”问题，提出含身份感知器与ID-CrossAttn的UnAvgLip方法，以适中成本提升身份保留度与SSIM指标。
2025-09-02 cs.CV
KeySync: A Robust Approach for Leakage-free Lip Synchronization in High Resolution
Imperial College London（伦敦帝国学院）；University of Wrocław（沃林福大学）
提出两阶段唇形同步框架KeySync，通过精心设计的掩码策略解决表情泄漏与面部遮挡问题，在唇部重建和交叉同步任务上实现最先进性能。
2025-05-01 cs.CV
Lips Are Lying: Spotting the Temporal Inconsistency between Audio and Visual in Lip-Syncing DeepFakes
Wuhan University（武汉大学）；Nanyang Technological University（南洋理工大学）；Carnegie Mellon University（卡内基梅隆大学）
针对身份不变且视觉伪影微弱的唇形同步 DeepFake，本文提出利用唇动与音频的时间不一致及唇头生物学联系进行检测，并构建 AVLips 数据集，真实场景准确率达 90.2%。
2024-10-28 cs.CV
Beyond Lip Sync: Reference-Grounded Oral Refinement for Audio-Driven Portrait Animation
University of California, Irvine（加利福尼亚大学尔湾分校）
针对现有唇形同步系统渲染通用嘴部而非人物自身嘴部的问题，提出基于参考的口腔细化框架RGOR，利用注册帧和绕过VAE的高清嘴部补丁，配合配对判别器，在多数指标上达到最佳或次佳，保留人物唇齿细节。
2026-09-30 cs.CV
PVSync: A Unified Lip-Sync Expert for Timing and Articulation
University of Southern California（南加州大学）；Cantina Inc.（Cantina公司）
PVSync是一个统一唇形同步模型，通过窗口级对比学习和音素级发音目标实现音视频偏移估计与发音评分，在多个基准上优于现有方法。
2026-10-08 cs.CV
FlashLips: 100-FPS Mask-Free Latent Lip-Sync using Reconstruction Instead of Diffusion or GANs
Imperial College London（帝国理工学院伦敦分校）；Cantina Labs（Cantina实验室）；NatWest AI Research（NatWest人工智能研究）
FlashLips是一种无掩码的唇部同步系统，通过重建而非扩散或GANs实现实时性能，其U-Net变体在单GPU上达100FPS，视觉质量媲美先进模型。
2026-04-19 cs.CV
SayAnything: Audio-Driven Lip Synchronization with Conditional Video Diffusion
University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；City University of Hong Kong（香港城市大学）
针对现有音频驱动唇同步方法训练流程复杂、运动自然度有限的问题，提出条件视频扩散框架SayAnything，通过三个专用模块平衡latent空间条件信号，实现无需额外监督的精确控制，生成高真实度视频且泛化至动画角色。
2025-02-17 cs.CV
LADDER: Landmark-Only Lip-Sync Deepfake Detection Across Generators and Languages
Independent Researcher（独立研究者）
针对现有检测方法在生成器或语言迁移下失效的问题，提出基于唇部运动生物力学约束的轻量级三分支网络，仅利用地标坐标检测唇同步伪造，在零样本设置下对未见生成器和多种语言表现鲁棒。
2026-10-21 cs.CV
Audio-Visual Speech Representation Expert for Enhanced Talking Face Video Generation and Evaluation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Istanbul Technical University（伊斯坦布尔理工大学）；Carnegie Mellon University（卡内基梅隆大学）
针对说话人脸生成中唇音同步与视觉质量难以兼顾、同步评估不足的问题，本文利用 AV-HuBERT 计算训练损失，并提出三项新的唇音同步评估指标，实验与消融验证了其有效性。
2024-05-07 cs.CV
3DXTalker: Unifying Identity, Lip Sync, Emotion, and Spatial Dynamics in Expressive 3D Talking Avatars
University of New South Wales（新南威尔士大学）；Australian National University（澳大利亚国立大学）；Vertex Lab（Vertex实验室）；University of Technology Sydney（悉尼科技大学）
本文提出3DXTalker，通过数据精选的身份建模、音频丰富表示和空间动态可控性，统一实现身份、唇部同步、情绪和空间动态，提升3D对话虚拟角色的表达性。
2026-10-14 cs.CV
Make Your Actor Talk: Generalizable and High-Fidelity Lip Sync with Motion and Appearance Disentanglement
Peng Cheng Laboratory（鹏城实验室）；Peking University（北京大学）；Tsinghua University（清华大学）
本文提出 MyTalk，通过解耦语音驱动的唇部运动与外观生成，并结合关键点身份损失及分编码器融合，实现对未知和域外人物均具高保真度与泛化性的唇形同步。
2024-06-17 cs.CV
StyleLipSync: Style-based Personalized Lip-sync Video Generation
AITRICS；KAIST（韩国科学技术院）
提出StyleLipSync，基于StyleGAN潜在空间和姿态感知遮罩生成身份无关的唇形同步视频，并通过少样本自适应方法增强未见人脸特征。
2024-02-12 cs.AI cs.CV cs.LG
SyncTalkFace: Talking Face Generation with Precise Lip-Syncing via Audio-Lip Memory
KAIST（韩国科学技术院）
从语音生成说话人脸的挑战在于对齐两个不同的模态信息，音频和视频，使得嘴部区域对应于输入音频。以前的方法要么利用视听表示学习，要么利用中间结构信息，如地标和3D模型。然而，它们难以合成在音素水平上变化的嘴唇的精细细节，因为它们在视频合成步骤中不足以提供嘴唇的视觉信息。为了克服这一限制，我们的工作提出了音频唇记忆，带来了视觉信息的嘴部区域对应于输入音频和执行细粒度的视听连贯性。它将来自连续地面实况图像的嘴唇运动特征存储在值存储器中，并将它们与相应的音频特征对齐，以便可以在推理时使用音频输入检索它们。因此，使用检索到的嘴唇运动特征作为视觉提示，它可以很容易地在合成步骤中将音频与视觉动态相关联。通过分析记忆，我们证明了独特的嘴唇功能存储在每个内存插槽中的音素水平，捕捉微妙的嘴唇运动的基础上的内存寻址。此外，我们引入了视觉同步损失，可以提高唇同步性能时，与视听同步损失在我们的模型中使用。进行了大量的实验，以验证我们的方法生成高质量的视频与嘴的形状，最好的输入音频对齐，优于以前的国家的最先进的方法。
2022-11-03 cs.AI cs.CV eess.IV
A Lip Sync Expert Is All You Need for Speech to Lip Generation In The Wild
IIIT, Hyderabad（印度海得拉巴国际信息技术研究所）；University of Bath（巴斯大学）
在这项工作中，我们研究了嘴唇同步的问题，说话的脸视频的任意身份，以匹配目标语音段。目前的工作擅长在训练阶段看到的特定人的静态图像或视频上产生准确的嘴唇运动。然而，它们无法准确地变形动态、不受约束的说话面部视频中任意身份的嘴唇运动，导致视频的显著部分与新音频不同步。我们确定了与此相关的关键原因，并通过从强大的对口型同步器中学习来解决这些问题。接下来，我们提出了新的，严格的评估基准和指标，以准确地测量唇同步在不受约束的视频。对我们具有挑战性的基准测试进行了广泛的定量评估，结果表明，我们的Wav2Lip模型生成的视频的嘴唇同步准确性几乎与真实同步视频一样好。我们在我们的网站上提供了一个演示视频，清楚地展示了我们的Wav2Lip模型和评估基准的实质性影响：\url{cvit.iiit.ac.in/research/projects/cvit-projects/a-lip-sync-expert-is-all-you-need-for-speech-to-lip-generation-in-the-wild}。代码和模型发布在这个GitHub存储库：\url{github.com/Rudrabha/Wav2Lip}。您也可以尝试在此链接的互动演示：\url{bhaasha.iiit.ac.in/lipsync} .
2020-08-23 cs.CV cs.LG cs.SD
SynchroRaMa : Lip-Synchronized and Emotion-Aware Talking Face Generation via Multi-Modal Emotion Embedding
IIT Ropar（印度IIT罗帕尔）；Queen Mary University of London（伦敦女王玛丽大学）；Monash University（墨尔本大学）
SynchroRaMa提出多模态情感嵌入与LLM场景描述，结合音频到运动模块，实现更真实、情感丰富的说话人脸生成，在多项指标上超越现有方法。
2025-09-24 cs.CV
On the Audio-visual Synchronization for Lip-to-Speech Synthesis
The Hong Kong University of Science and Technology（香港科技大学）
大多数唇语（LTS）合成模型都是在数据集中的音频-视频对完全同步的假设下进行训练和评估的。在这项工作中，我们表明，常用的视听数据集，如GRID，TCD-TIMIT，和Lip 2 Wav，可以有数据压缩问题。用这样的数据集训练唇到语音可能会进一步导致模型不稳定的问题--也就是说，生成的语音和输入的视频不同步。为了解决这些问题，我们提出了一个同步的唇到语音（SLTS）模型与自动同步机制（ASM），以纠正数据错误和惩罚模型错误。我们进一步证明了通常采用的评估指标的LTS与异步测试数据的局限性，并介绍了一个音频对齐前端之前的指标敏感的时间对齐更好的评估。我们将我们的方法与传统和时间对齐指标的最先进方法进行比较，以显示同步训练的好处。
2023-03-01 cs.CV cs.SD eess.AS
VocaLiST: An Audio-Visual Synchronisation Model for Lips and Voices
Universitat Pompeu Fabra（庞培法布拉大学）
在本文中，我们解决的问题，唇语音同步包含人脸和语音的视频。我们的方法是基于确定嘴唇运动和视频中的语音是否同步，这取决于它们的视听对应分数。我们提出了一个视听跨模态变换为基础的模型，优于几个基准模型在标准唇读语音基准数据集LRS2的视听同步任务。虽然现有的方法主要集中在语音视频中的嘴唇同步，我们也考虑了唱歌的声音的特殊情况。由于持续的元音声音，唱歌的声音是一个更具挑战性的同步用例。我们还研究了在歌声背景下在语音数据集上训练的嘴唇同步模型的相关性。最后，我们在歌声分离任务中使用我们的嘴唇同步模型学习的冻结视觉特征，以优于端到端训练的基线视听模型。演示、源代码和预训练模型可在https://ipcv.github.io/VocaLiST/上获得
2022-06-30 cs.CV cs.IR cs.SD
Style-Preserving Lip Sync via Audio-Aware Style Reference
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Shandong Inspur Database Technology Co., Ltd.（山东 Inspur 数据库技术有限公司）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
提出音频感知风格参考方案，利用输入与参考音频关系，结合Transformer和条件潜在扩散模型，实现风格保持的精确唇形同步与高保真视频生成。
2025-06-18 cs.AI cs.CV cs.MM
DREAM-Talk: Diffusion-based Realistic Emotional Audio-driven Method for Single Image Talking Face Generation
ByteDance Inc.（字节跳动公司）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
DREAM-Talk提出两阶段扩散框架，通过EmoDiff生成情感表情与头部姿态，并优化唇形同步，实现单图情感说话人脸生成，在表现力、唇形同步和感知质量上超越现有方法。
2023-12-21 cs.CV
A Neural Lip-Sync Framework for Synthesizing Photorealistic Virtual News Anchors
Deep Innovation R&D Center, Moviebook（墨迹天气深创新研发中心）
唇同步已经成为一种很有前途的技术，用于从音频信号生成嘴部运动。然而，合成一个高分辨率和真实感的虚拟新闻主播仍然具有挑战性。缺乏自然外观、视觉一致性和处理效率是现有方法的主要问题。本文提出了一种新的唇同步框架，专门设计用于生产高保真的虚拟新闻主播。一对时间卷积网络用于学习从音频信号到嘴部运动的跨模态顺序映射，随后是神经渲染网络，该网络将合成面部地图转换为高分辨率和照片级逼真的外观。这个完全可训练的框架提供了端到端的处理，在许多低延迟应用中优于传统的基于图形的方法。实验还表明，该框架在视觉外观和效率方面都优于现代基于神经的方法。
2021-05-05 cs.CV eess.AS
Align Then Reason: A Multimodal Lip-Sync Judge for Dubbing
University of Maryland, College Park（马里兰大学帕克分校）；Netflix（奈飞）
提出ATR，一种多语言唇形同步评判器，通过先对齐后推理的方法，在七语言基准上显著提升配音质量评估的AUC，并泛化至多种LLM和下游任务。
2026-10-02 cs.CV
End to End Lip Synchronization with a Temporal AutoEncoder
Tel Aviv University（特拉维夫大学）
我们研究的问题同步的嘴唇运动在视频与音频流。我们的解决方案使用双域递归神经网络来找到最佳对齐，该网络是在我们通过丢弃和复制视频帧生成的合成数据上训练的。一旦找到对齐，我们修改视频以同步两个源。我们的方法被证明大大优于各种现有的和新的基准的文献方法。作为一个应用程序，我们展示了我们的能力，鲁棒地对齐文本到语音生成的音频与现有的视频流。我们的代码和示例可以在https://github.com/itsyoavshalev/End-to-End-Lip-Synchronization-with-a-Temporal-AutoEncoder上找到。
2022-03-30 cs.CV cs.MM cs.SD
PASE: Phoneme-Aware Speech Encoder to Improve Lip Sync Accuracy for Talking Head Synthesis
Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education, School of Cyber Science and Engineering, Wuhan University（航空航天信息安全部分和可信计算重点实验室、教育部、网络安全科学与工程学院、武汉大学）；School of Cyber Science and Engineering, Wuhan University（网络安全科学与工程学院、武汉大学）；School of Police Information, Shandong Police College（警务信息学院、山东警察学院）
提出音素感知语音编码器PASE，通过引入音素嵌入作为对齐锚点并采用对比对齐模块，解决音素-视位对齐模糊问题，在NeRF和3DGS框架下分别提升唇形同步精度13.7%和14.2%，且可无缝集成至现有流程。
2025-10-15 cs.CV cs.GR
JoyGen: Audio-Driven 3D Depth-Aware Talking-Face Video Editing
JD.Com, Inc.（京东公司）；The University of Hong Kong（香港大学）
JoyGen提出两阶段框架，结合3D重建、audio2motion和深度图监督实现音频驱动的精确唇音同步说话人脸编辑，并构建130小时中文数据集验证其优越性能。
2025-01-03 cs.CV
EmoTalkingGaussian: Continuous Emotion-conditioned Talking Head Synthesis
UNIST（韩国蔚山科学技术院）；Inria（法国国家信息与自动化研究所）
提出EmoTalkingGaussian模型，通过唇部对齐的情感面部生成器和自监督学习方法，实现基于连续情感值控制的面部表情与音频唇部同步的高保真实时说话头部合成。
2025-02-02 cs.CV
Improving Lip-synchrony in Direct Audio-Visual Speech-to-Speech Translation
Amazon（亚马逊公司）
本研究针对音视频语音到语音翻译中唇音同步被忽视的问题，提出将唇音同步损失整合到 AVS2S 模型训练过程中，显著提升了唇音同步效果，同时保持了翻译语音的自然度与高质量。
2024-12-21 cs.CL cs.CV cs.MM
Exploring Phonetic Context-Aware Lip-Sync For Talking Face Generation
School of EE, KAIST（韩国科学技术院电气工程学院）
本文提出上下文感知唇形同步框架 CALS，通过显式建模音素的语音上下文来生成更时空对齐的唇部运动，实验证明该方法能有效提升说话人脸生成的唇形同步效果，并确定有效窗口约为 1.2 秒。
2024-04-01 cs.AI cs.CV cs.SD
Masked Lip-Sync Prediction by Audio-Visual Contextual Exploitation in Transformers
Tokyo Institute of Technology（东京工业大学）；Baidu Inc.（百度公司）；The University of Sydney（悉尼大学）；Monash University（莫纳什大学）；Nanyang Technological University（南洋理工大学）
先前的研究已经探索了在给定音频条件下为任意目标生成准确的对口型说话面孔。然而，它们中的大多数变形或生成整个面部区域，导致不真实的结果。在这项工作中，我们深入研究了只改变目标人物的嘴型的公式。这需要掩蔽原始图像的很大一部分，并在音频和参考帧的帮助下对其进行无缝修复。为此，我们提出了视听上下文感知的Transformer（AV-CAT）框架，该框架通过预测被掩蔽的嘴部形状来产生具有照片般逼真质量的准确的嘴唇同步。我们的关键见解是利用所需的上下文信息提供的音频和视觉形式彻底与精心设计的Transformers。具体来说，我们提出了一个卷积变压器的混合骨干和设计一个基于注意力的融合策略，以填补被掩盖的部分。它均匀地关注未掩蔽区域和参考帧上的纹理信息。然后，语义音频信息参与增强自我注意计算。此外，具有音频注入的细化网络提高了图像和唇同步质量。大量的实验验证了我们的模型可以为任意对象生成高保真的对口型结果。
2022-12-09 cs.AI cs.CV cs.GR
Real-Time Lip Sync for Live 2D Animation
University of Washington（华盛顿大学）；Adobe Research（奥多比研究院）
用于基于实时的【形】性能的2D动画的商业工具的出现使得2D角色能够出现在直播和流媒体平台上。实时动画的一个关键要求是快速准确的唇同步，使角色能够通过人类表演者的声音自然地对其他演员或观众做出反应。在这项工作中，我们提出了一个基于深度学习的交互式系统，使用长短期记忆（LSTM）模型自动生成分层2D字符的实时唇同步。我们的系统以流式音频作为输入，并产生不到200毫秒的延迟（包括处理时间）的视位序列。我们的贡献包括针对我们的功能定义和LSTM配置的特定设计决策，这些决策提供了少量但有用的前瞻，以产生准确的唇同步。我们还描述了一个数据增强程序，使我们能够实现良好的效果与非常少量的手动动画训练数据（13-20分钟）。大量的人类判断实验表明，我们的结果优于几种竞争方法，包括那些只支持离线（非实时）处理。视频摘要和补充结果，请访问GitHub链接：https://github.com/deepalianeja/CharacterLipSync2D
2019-10-19 cs.CV cs.GR cs.HC
MuseTalk: Real-Time High-Fidelity Video Dubbing via Spatio-Temporal Sampling
Tencent Music Entertainment（腾讯音乐娱乐）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
MuseTalk提出两阶段训练框架，通过信息帧采样和动态边缘采样优化潜在空间，实现实时高保真视频配音，在V100上以30 FPS输出，视觉保真度超越现有方法。
2025-03-26 cs.CV
Text2Lip: Progressive Lip-Synced Talking Face Generation from Text via Viseme-Guided Rendering
提出Text2Lip，一种基于视素引导的文本驱动说话人脸生成框架，通过课程学习渐进替换音频并用地标引导渲染，实现高语义保真和鲁棒生成。
2025-08-04 cs.AI cs.CV
A Novel Speech-Driven Lip-Sync Model with CNN and LSTM
China Unicom（中国联通）
生成与语音同步、自然的唇动是虚拟人物真实感生成的重要任务之一。在本文中，我们提出了一种一维卷积和LSTM的组合深度神经网络，用于从可变长度的语音输入生成3D模板人脸模型的顶点位移。面部下半部分的运动由3D唇形的顶点运动表示，与输入语音一致。为了提高网络对不同声音信号的鲁棒性，我们采用训练好的语音识别模型提取语音特征，并采用速度损失项来减少生成的人脸动画的抖动。我们录制了一系列中国成年人说普通话的视频，并创建了一个新的语音动画数据集，以弥补此类公共数据的缺乏。定性和定量的评价表明，我们的模型是能够产生平滑和自然的嘴唇运动与语音同步。
2022-05-02 cs.AI cs.CV cs.GR
Seeing What You Said: Talking Face Generation Guided by a Lip Reading Expert
University of Electronic Science and Technology of China（电子科技大学）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Science and Technology Beijing（北京科技大学）
说话人脸生成，也被称为语音到嘴唇生成，在给定连贯的语音输入的情况下重建关于嘴唇的面部运动。以往的研究揭示了唇语同步和视觉质量的重要性。尽管取得了很大进展，但他们几乎没有关注嘴唇运动的内容，即，所讲单词的视觉可懂度，这是生成质量的重要方面。为了解决这个问题，我们建议使用唇读专家，以提高所生成的嘴唇区域的可理解性，通过惩罚不正确的生成结果。此外，为了弥补数据不足，我们以视听自我监督的方式训练唇读专家。唇读专家，我们提出了一种新的对比学习，以提高唇语音同步，和一个Transformer编码音频同步视频，同时考虑全球时间依赖的音频。为了进行评估，我们提出了一个新的策略，两个不同的唇读专家来衡量所生成的视频的可理解性。严格的实验表明，我们的建议是优于其他国家的最先进的（SOTA）的方法，如Wav2Lip，在阅读可懂度，即，在LRS2数据集上的字出错率（WER）超过38%，在LRW数据集上的准确率为27.8%。我们还实现了SOTA性能的唇语同步和可比的性能在视觉质量。
2023-03-29 cs.AI cs.CV eess.IV
StyleSync: High-Fidelity Generalized and Personalized Lip Sync in Style-based Generator
Baidu Inc.（百度公司）；Tsinghua University（清华大学）；The University of Sydney（悉尼大学）；Nanyang Technological University（南洋理工大学）
本文提出StyleSync框架，利用风格生成器与掩码引导编码，在少量样本下实现高保真、泛化且个性化的唇形同步，保留身份与说话风格。
2023-05-09 cs.CV cs.GR cs.MM
ReFree: Towards Realistic Co-Speech Video Generation via Reward-Free RL and Multilevel Speech Guidance
Télécom Paris, Institut Polytechnique de Paris（巴黎高等电信学院，巴黎综合理工学院）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
提出ReFree-S2V框架，利用流匹配和预训练视频生成模型，通过多级语音表示和可学习选择器实现精细唇同步与自然表情，并引入无奖励强化学习生成自然头部运动，在唇同步准确性和自然度上达到最优。
2026-06-12 cs.CV
From Inpainting to Editing: Unlocking Robust Mask-Free Visual Dubbing via Generative Bootstrapping
Tsinghua University（清华大学）；Hong Kong University of Science（香港科学大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出X-Dub框架，通过生成性自举实现无掩膜视觉配音，解决传统掩膜修复方法在时空上下文破坏和鲁棒性差的问题，提升唇形同步和视觉质量。
2026-03-24 cs.CV
Supervising 3D Talking Head Avatars with Analysis-by-Audio-Synthesis
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
THUNDER通过可微声学生成机制，结合网格到语音模型提升3D说话人头像的唇同步质量与面部表情多样性。
2026-01-27 cs.CV cs.GR
High-fidelity and Lip-synced Talking Face Synthesis via Landmark-based Diffusion Model
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）
针对音频驱动说话人脸生成的映射模糊、多阶段误差累积及GAN训练不稳定等问题，提出基于面部关键点的扩散模型，通过TalkFormer模块实现端到端优化，生成高保真且唇形同步的人脸视频。
2024-08-10 cs.AI cs.CV cs.MM
GestSync: Determining who is speaking without a talking head
University of Oxford（牛津大学）
本文提出Gesture-Sync手势与语音同步判定新任务，构建双编码器模型，仅用自监督学习训练，在LRS3数据集验证，可用于音视频同步及无人脸人群说话人判定。
2023-10-08 cs.CV
Ariadne's Thread of LipSync: Unraveling Forgeries via Inconsistency between Lip Motions and Head Poses
University of Science and Technology of China（中国科学技术大学）；Shanghai Jiaotong University（上海交通大学）；Peking University（北京大学）；Nanyang Technological University（南洋理工大学）
针对唇形同步伪造视频，提出LipDA框架，利用唇部运动与头部姿态的不一致性进行检测与归因，在检测和模型归因上分别取得超97% AUC和97.5%准确率。
2026-10-07 cs.CR cs.CV
GLDiTalker: Speech-Driven 3D Facial Animation with Graph Latent Diffusion Transformer
South China University of Technology（南方科技大学）；Beihang University（北航）；Huawei Cloud（华为云）；Nanjing University（南京大学）
GLDiTalker通过图潜在扩散变换器解决语音驱动3D面部动画中的模态不一致问题，提升唇形同步精度和运动多样性。
2025-12-05 cs.CV
Learn2Talk: 3D Talking Face Learns from 2D Talking Face
School of Informatics, Xiamen University（厦门大学信息学院）；China Mobile (Hangzhou) Information Technology Co., Ltd.（中国移动（杭州）信息技术有限公司）；City University of Hong Kong（香港城市大学）
Learn2Talk通过借鉴2D说话人脸领域的同步唇部专家和教师模型，构建了更优的3D说话人脸网络，在唇部同步、顶点精度和语音感知上超越现有方法，并应用于音视觉语音识别和3D高斯溅射虚拟化身动画。
2024-04-19 cs.CV cs.GR cs.LG
Attention-Based Lip Audio-Visual Synthesis for Talking Face Generation in the Wild
Northwestern Polytechnical University（西北工业大学）；Nanchang University（南昌大学）
说话人脸的生成是近年来视听研究的热点，具有重要的现实意义。如何实现准确的唇同步是一个长期的挑战，有待进一步研究。受xxx的启发，本文提出了一种AttnWav 2Lip模型，该模型将空间注意力模块和通道注意力模块结合到唇同步策略中。AttnWav 2Lip模型不关注人脸图像中不重要的区域，而是能够更多地关注嘴唇区域的重建。据我们所知，这是首次尝试将注意力机制引入到说话人脸生成方案中。一个广泛的实验已经进行了评估所提出的模型的有效性。与通过LSE-D和LSE-C度量测量的基线相比，在基准唇部合成数据集（包括LRW、LRS 2和LRS 3）上已经证明了优越的性能。
2022-03-08 cs.CV cs.MM eess.IV
Emotional Speech-Driven Animation with Content-Emotion Disentanglement
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；KTH（瑞典皇家理工学院）
本文提出EMOTE框架，通过语音与情绪解耦监督、内容-情绪交换和时序VAE动作先验，从语音生成口型同步且情绪可控的高质量3D说话头像动画。
2023-09-26 cs.CV cs.GR
Arbitrary Talking Face Generation via Attentional Audio-Visual Coherence Learning
Anhui University（安徽大学）；Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
说话人脸生成的目标是通过给定的语音片段和面部图像合成具有精确的嘴唇同步以及在整个视频上的面部运动的平滑过渡的面部视频。大多数现有的方法主要集中在解开在一个单一的图像信息或学习帧之间的时间信息。然而，音频和视频信息之间的跨模态相干性在合成过程中没有得到很好的解决。在本文中，我们提出了一种新的任意说话人脸生成框架，通过发现视听一致性，通过建议的非对称互信息估计（AMIE）。此外，我们提出了一个动态注意力（DA）块，通过选择性地聚焦输入图像的嘴唇区域在训练阶段，以进一步提高嘴唇同步。在基准LRW数据集和GRID数据集上的实验结果超越了流行度量的最先进方法，具有鲁棒的高分辨率合成性别和姿态变化。
2020-05-13 cs.CV
Lip Movements Generation at a Glance
University of Rochester（罗切斯特大学）；Wuhan University（武汉大学）
跨模态生成是一个新兴的主题，其目的是基于不同模态中的信息来综合一种模态中的数据。在本文中，我们考虑这样的任务：给定一个任意的音频语音和一个嘴唇图像的任意目标身份，生成合成的嘴唇运动的目标身份说的语音。为了在这项任务中表现良好，它不可避免地要求模型不仅考虑目标身份的保留，合成图像的照片真实感，序列中嘴唇图像的一致性和平滑性，但更重要的是，学习音频语音和嘴唇运动之间的相关性。为了解决这些问题，我们探索了建立和训练唇动生成器网络的视听相关性的最佳建模。具体来说，我们设计了一种方法来融合音频和图像嵌入一次生成多个嘴唇图像，并提出了一种新的相关损失同步嘴唇变化和语音变化。我们的最终模型利用四种损失的组合来综合考虑生成嘴唇运动;它以端到端的方式进行训练，并且对嘴唇形状，视角和不同的面部特征具有鲁棒性。在从实验室记录到野外嘴唇的三个数据集上进行的大量实验表明，我们的模型明显优于其他扩展到该任务的最先进方法。
2018-05-21 cs.CV
ARTalk: Speech-Driven 3D Head Animation via Autoregressive Model
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所AIP）
针对现有扩散类语音驱动3D面部动画方法生成速度慢的问题，提出自回归模型ARTalk，通过语音到多尺度运动码本的映射实现实时生成，还能适配 unseen 说话风格，唇形同步精度和感知质量优于现有方法。
2025-09-04 cs.CV
Speech2Lip: High-fidelity Speech to Lip Generation by Learning from a Short Video
The University of Hong Kong（香港大学）；Tsinghua University（清华大学）；Tencent（腾讯）
针对语音驱动视频生成中唇形不准和画质差的问题，提出Speech2Lip框架，通过解耦语音敏感与不敏感特征并引入GAMEM模块，仅需几分钟短视频训练即可实现高保真唇形生成与自然头部运动。
2023-09-09 cs.CV
Livatar-1: Real-Time Talking Heads Generation with Tailored Flow Matching
Hedra Inc.（Hedra公司）
提出音频驱动的实时说话人头像框架 Livatar，通过定制 flow matching 与系统优化改善唇形同步和姿态漂移，并在 HDTF 与单张 A10 GPU 上实现高质量、低延迟生成。
2025-07-22 cs.CV
Lip to Speech Synthesis with Visual Context Attentional GAN
KAIST（韩国科学技术院）
在本文中，我们提出了一种新的唇到语音生成对抗网络，视觉上下文注意GAN（VCA-GAN），它可以在语音合成过程中联合建模局部和全局嘴唇运动。具体而言，建议VCA-GAN合成语音从本地唇视觉特征，通过找到一个映射函数的视位到音素，而全球视觉上下文被嵌入到中间层的生成器，以澄清的歧义引起的homopolymer映射。为了实现这一点，提出了一个视觉上下文注意模块，它从局部视觉特征编码全局表示，并提供所需的全局视觉上下文对应于给定的粗语音表示的生成器通过视听注意。除了局部和全局视觉表示的显式建模之外，同步学习被引入作为对比学习的一种形式，其引导生成器与给定的输入嘴唇运动同步地合成语音。大量的实验表明，所提出的VCA-GAN优于现有的国家的最先进的，能够有效地合成语音从多个扬声器，几乎没有处理在以前的作品。
2022-04-04 cs.AI cs.CV eess.AS
