An Analysis of Semantically-Aligned Speech-Text Embeddings
Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局资讯通信研究院）
嵌入在多模态语言处理问题的端到端解决方案中起着重要作用。虽然已经有一些努力来理解单模态嵌入空间的属性，特别是文本的属性，但它们的跨模态对应物却很少被理解。在这项工作中，我们研究了联合语音文本嵌入空间的一些内在属性，该空间是通过最小化教师-学生模型设置中配对话语和转录输入之间的距离来构建的，这些属性对于几个突出的用例来说是有用的。我们发现，通过预训练和多任务场景结合自动语音识别可以显著帮助语义对齐，从而产生更紧密耦合的嵌入。为了分析跨模态嵌入，我们利用定量检索准确性度量的语义对齐，zero-shot分类的概括性，和探测的编码器，以观察知识转移的程度从一个模态到另一个。
2023-01-19 cs.CL cs.LG eess.AS
Perceptually Better, Semantically Worse: Measuring Speech Enhancement Impact on LLM-Based Voice Systems
GN Group（GN集团）
该研究针对语音增强对LLM语音系统的影响问题，提出输出分歧率（ODR）指标，通过基准测试发现标准音频质量指标无法适配LLM流程质量评估，验证了SE引发的语义失真会传递至下游LLM任务。
2026-09-01 cs.SD eess.AS
Semantically Corrected Amharic Automatic Speech Recognition
African Institute for Mathematical Sciences (AIMS)（非洲数学科学研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文为阿姆哈拉语构建ASR工具，发布修正空格的测试集转录，并提出基于transformer编码器-解码器的后处理方法，将原始输出转为语义连贯的句子，在修正测试集上实现5.5%的CER和23.3%的WER。
2024-04-20 cs.AI cs.CL cs.LG
Multimodal Target Speech Separation with Voice and Face References
University of Hamburg（汉堡大学）
目标语音分离是指通过条件化有关目标说话人的辅助信息，从多说话人混合信号中分离出目标语音。不同于主流的视听方法，通常需要同时的视觉流作为额外的输入，例如相应的嘴唇运动序列，在我们的方法中，我们提出了一种新的使用目标扬声器的一个单一的面部轮廓，以分离预期的干净的语音。我们利用的事实是，一张脸的图像包含有关人的语音的信息。与使用同步视觉序列相比，面部图像更容易通过预注册或在网站上获得，这使得系统能够推广到没有摄像头的设备。为此，我们将从用于人脸识别的预训练模型中提取的人脸嵌入到语音分离中，从而指导系统在时频域中预测目标说话人掩码。实验结果表明，预注册的人脸图像能够有利于分离预期的语音信号。此外，人脸信息是语音参考的补充，我们表明，当结合人脸和语音嵌入时，可以实现进一步的改进。
2020-05-17 cs.SD eess.AS
Face-StyleSpeech: Enhancing Zero-shot Speech Synthesis from Face Images with Improved Face-to-Speech Mapping
KAIST（韩国科学技术院）；AITRICS
本文提出Face-StyleSpeech零样本TTS模型，通过分离人脸编码器与韵律编码器，仅从人脸图像生成自然语音，实验证明其效果优于基线方法且适用于未见过的面孔。
2024-12-28 cs.AI cs.CL cs.CV
Residual-guided Personalized Speech Synthesis based on Face Image
Tianjin University（天津大学）；Chinese Academy of Social Sciences（中国社会科学院）；the Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
以前的作品通过在由他/她的音频声音组成的大型数据集上训练模型来获得个性化的语音特征。据报道，人脸信息与语音有很强的联系。因此，在这项工作中，我们创新性地提取个性化语音特征的人脸合成个性化语音使用神经声码器。为个性化语音合成设计了一个基于人脸的残差个性化语音合成模型（FR-PSS），该模型包括语音编码器、语音合成器和人脸编码器。在该模型中，通过设计两个语音先验，引入残差引导策略，引导人脸特征在训练中逼近真实语音特征。此外，考虑到特征绝对值的误差和方向偏差，我们提出了一种新的三项损失函数用于人脸编码。实验结果表明，我们的模型合成的语音是可比的个性化语音合成大量的音频数据在以前的作品。
2022-04-01 cs.CV cs.SD eess.AS
Classification of Speech with and without Face Mask using Acoustic Features
Department of Electrical and Computer Engineering National University of Singapore（新加坡国立大学电气与计算机工程系）
言语的理解和解释会受到各种外部因素的影响。口罩的使用就是这样一个因素，它会在交流时造成言语障碍。这可能导致语音处理的退化并影响人类的感知。知道说话者是否戴着面具可能对针对不同应用建模语音有用。有了这个动机，从给定的演讲中找出说话者是否戴着面具被列为计算副语言学评估（ComparE）2020的一项任务。我们研究了基于线性滤波器组、瞬时相位和长期信息的新的声学特征，这些特征可以捕获用于有和没有面罩的语音分类的伪影。这些声学特征与CompParE 2020的CompParE泛函、音频词袋、DeepSpectrum和auDeep特征的最新基线一起使用。这些研究揭示了声学特征的有效性，并且它们与ComparE 2020基线的得分水平融合导致测试集上73.50%的未加权平均召回率。
2020-10-08 cs.SD eess.AS
SenSE: Semantic-Aware High-Fidelity Universal Speech Enhancement
Northwestern Polytechnical University（西北工业大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）；Nanjing University（南京大学）
SenSE提出一种两阶段生成式通用语音增强框架，通过语言模型建模语义先验，引导流匹配过程生成语义忠实的语音，提升上下文保真度，并引入双路径掩码条件训练策略提升模型灵活性和适应性。
2026-04-05 eess.AS
Vclip: Face-based Speaker Generation by Face-voice Association Learning
OPPO；University of Science and Technology of China（中国科学技术大学）
Vclip通过面部-语音关联学习实现基于面部的语音生成，利用CLIP编码器和检索策略提升语音合成质量。
2026-01-06 eess.AS
Revival with Voice: Multi-modal Controllable Text-to-Speech Synthesis
Meta AIUK（Meta AI英国分公司）；Imperial College London（伦敦帝国学院）
本文提出一种多模态可控TTS方法，从人脸图像生成声音，并通过文本控制语音特征，解决音频质量、艺术肖像和一对多映射三个挑战。
2025-05-25 cs.AI eess.AS
Leveraging Mamba with Full-Face Vision for Audio-Visual Speech Enhancement
Academia Sinica（台湾“中央研究院）
针对现有基于Mamba的语音增强模型难以应对多说话人复杂场景的问题，提出融合全脸视觉时空信息与Mamba时序骨干的音视频增强模型AVSEMamba，在AVSEC-4挑战赛单声道赛道取得榜首，多项指标优于基线。
2025-09-30 cs.SD eess.AS
Facetron: A Multi-speaker Face-to-Speech Model based on Cross-modal Latent Representations
Yonsei University（延世大学）
在本文中，我们提出了一个多说话人的脸到语音波形生成模型，也适用于看不见的说话人的条件。使用生成对抗网络（GAN）与语言和说话人特征作为辅助条件，我们的方法直接将人脸图像转换为语音波形下的端到端的训练框架。使用唇读模型从嘴唇运动中提取语言特征，并且使用具有预训练声学模型的跨模态学习从人脸图像中预测说话人特征特征。由于这两个特征是不相关的和独立控制的，我们可以灵活地合成语音波形的说话人的特征取决于输入的人脸图像。我们表明，我们提出的模型优于传统的方法在客观和主观的评价结果。具体来说，我们评估的语言特征的性能，通过测量其准确性的自动语音识别任务。此外，我们估计扬声器和性别相似性多扬声器和看不见的条件下，分别。我们还使用平均意见得分（MOS）测试和非侵入性客观语音质量评估（NISQA）来评估合成语音波形的自然度。所提出的模型和其他模型的演示样本可以在https://sam-0927.github.io/上获得
2023-03-15 cs.CV cs.LG cs.SD
WhiSPA: Semantically and Psychologically Aligned Whisper with Self-Supervised Contrastive and Student-Teacher Learning
Stony Brook University（石溪大学）；University of Minnesota（明尼苏达大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Pennsylvania（宾夕法尼亚大学）
本研究提出 WhiSPA，通过以语言模型嵌入为教师的对比损失，将 Whisper 潜在空间与语义及心理维度对齐，在多项任务上大幅降低错误率，证明无需后续文本 LM 即可获取丰富的心理表示。
2025-05-31 cs.AI cs.CL cs.SD
Towards EMG-to-Speech with a Necklace Form Factor
本文提出一种颈部项链形态的干电极设备用于肌电语音解码，多说话者分类准确率达92.7%，并验证了电极数量对性能的影响及EMG频谱与自监督语音表征间的线性关系。
2024-07-31 eess.AS
Imaginary Voice: Face-styled Diffusion Model for Text-to-Speech
NAVER AI Lab（NAVER人工智能实验室）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；NAVER Cloud（NAVER云）
这项工作的目标是zero-shot文本到语音合成，说话风格和声音从面部特征学习。受人们可以想象某人的声音，当他们看着他或她的脸的自然事实的启发，我们引入了一个统一的框架内，从可见的属性，称为Face-TTS面部风格的扩散文本到语音（TTS）模型。这是第一次使用人脸图像作为条件来训练TTS模型。我们联合训练跨模型的生物识别和TTS模型，以保持说话人的身份之间的人脸图像和生成的语音段。我们还提出了一个说话人特征绑定损失，以加强在说话人嵌入空间中的生成和地面真实语音段的相似性。由于生物特征信息是直接从人脸图像中提取的，因此我们的方法不需要额外的微调步骤来生成来自看不见和听不见的扬声器的语音。我们训练和评估的LRS 3数据集，在野生的视听语料库包含背景噪音和不同的说话风格的模型。项目页面是https://facetts.github.io。
2023-02-27 cs.CV cs.LG cs.SD
Acoustic effects of medical, cloth, and transparent face masks on speech signals
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
戴口罩会妨碍说话，使交流更加困难，尤其是对听力损失的人。本研究使用一个头状扬声器和一个真人谈话者，研究了不同口罩（包括医用口罩、布口罩和透明口罩）引起的声衰减。结果表明，所有的面具衰减频率超过1千赫，衰减是最大的前面的谈话者，有很大的变化之间的面具类型，特别是布面具与不同的材料和编织。与医用口罩和布口罩相比，透明口罩的声学性能较差。大多数面具对翻领麦克风的影响很小，这表明现有的声音增强和辅助听力系统可能对面具的口头交流有效。
2020-08-11 cs.SD eess.AS
Unsupervised Face-Masked Speech Enhancement Using Generative Adversarial Networks With Human-in-the-Loop Assessment Metrics
针对佩戴口罩导致的语音质量下降问题，提出HL-StarGAN无监督增强方法，引入含人类评估的MaskQSS模块，在FMVD数据库上优于现有方法。
2024-07-20 eess.AS eess.SP
A Multi-Stage Framework for Multimodal Controllable Speech Synthesis
Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（深圳国际研究生院，清华大学，深圳，中国）
提出3阶段多模态可控语音合成框架，通过监督学习与知识蒸馏优化人脸编码器，并在文本-人脸与文本-语音数据上训练文本编码器，有效提升了生成语音的多样性与质量，优于单模态基线方法。
2025-06-26 cs.SD eess.AS
Speech Driven Talking Face Generation from a Single Image and an Emotion Condition
University of Rochester（罗切斯特大学）
视觉情感表达在视听言语交际中起着重要的作用。在这项工作中，我们提出了一种新的方法来渲染视觉情感表达的语音驱动的说话人脸生成。具体来说，我们设计了一个端到端的说话脸生成系统，以语音话语，一个单一的人脸图像，和一个分类的情感标签作为输入，以呈现说话的脸视频同步的语音和表达的条件情感。对图像质量、视听同步和视觉情感表达的客观评价表明，该系统优于最先进的基线系统。视觉情感表达和视频真实性的主观评价也证明了该系统的优越性。此外，我们进行了人类情感识别试点研究，使用生成的视频之间的音频和视觉形式的不匹配的情绪。结果表明，人类对视觉模态的反应比听觉模态更显着。
2021-07-21 cs.CV cs.LG cs.MM
Dialogs: a studio-quality expressive conversational Russian speech corpus for dialog assistants
Langswap（朗格互换）
介绍用于对话助手的俄语对话语料库Dialogs，含20.6小时专业录制对话及风格情感标签。经人群MOS测试验证质量，虽每个说话者数据有限，但支持训练富有表现力、类似对话的TTS，还以VITS2模型作概念验证。
2026-07-17 eess.AS
Zero-Shot Face-to-Speech Synthesis via Latent Space Adaptation of a Style-Diffusion TTS Model
Universitat Oberta de Catalunya (UOC)（开放加泰罗尼亚大学（UOC））；Monoceros Labs（麒麟座实验室）；University of Granada（格拉纳达大学）
该研究提出基于StyleTTS 2的人脸到语音合成框架，通过人脸适配器实现静态人脸到语音的零样本生成，在LRS3数据集上验证了效果，且映射具有语言无关性。
2026-07-30 cs.AI cs.SD eess.AS
From Faces to Voices: Learning Hierarchical Representations for High-quality Video-to-Speech
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对无声视频转语音任务中的模态鸿沟问题，该研究提出基于层级表示学习的视频转语音系统，通过三阶段视觉-声学对齐结合流匹配模型生成语音，质量接近真实话语且显著优于现有方法。
2025-03-21 cs.AI cs.CV cs.SD
Emotional Face-to-Speech
Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学脑智能科学与技术研究院）
本文提出情感化人脸到语音新任务，并引入DEmoFace框架，利用离散扩散transformer与课程学习，从面部线索合成情感语音，生成效果超越基线及语音驱动方法。
2025-02-03 cs.CV cs.SD eess.AS
Variable-rate discrete representation learning
DeepMind（深度思维）；Google Research（谷歌研究院）
感知信号中语义上有意义的信息内容通常是不均匀分布的。例如，在语音信号中，经常有许多无声，并且发音的速度可以变化很大。在这项工作中，我们提出了缓慢的自编码器（SlowAE）的无监督学习的高层次的可变速率离散表示的序列，并将其应用到语音。我们表明，由此产生的基于事件的表示会根据输入信号中显着信息的密度自动增长或收缩，同时仍然允许忠实的信号重建。我们开发运行长度的Transformers（RLT）基于事件的表示建模，并使用它们来构建语言模型在语音域，这是能够生成语法和语义连贯的话语和延续。
2021-03-10 cs.CL cs.LG cs.SD
EmoTalk: Speech-Driven Emotional Disentanglement for 3D Face Animation
Renmin University of China（中国人民大学）；Nanjing University of Science and Technology（南京理工大学）；The Hong Kong University of Science and Technology（香港科技大学）；Psyche AI Inc.（赛琪人工智能公司）；Chinese Academy of Sciences（中国科学院）；Tsinghua University（清华大学）
针对语音驱动3D人脸动画中情感与内容难分离、情感表情不足的问题，提出含EDE的端到端网络，结合blendshapes监督与新数据集3D-ETF，生成可控且多样的情感3D人脸动画，效果优于现有最优方法。
2023-08-25 cs.CV cs.SD eess.AS
From Inference to Generation: End-to-end Fully Self-supervised Generation of Human Face from Speech
Seoul National University（首尔大学）；Hong Kong University of Science and Technology（香港科技大学）
这项工作寻求的可能性，从语音生成的人的脸完全基于视听数据，没有任何人类标记的注释。为此，我们提出了一个多模态学习框架，链接的推理阶段和生成阶段。首先，训练推理网络以匹配两种不同模态之间的说话人身份。然后，经过训练的推理网络通过给出关于语音的条件信息与生成网络合作。该方法利用了GANs技术的最新发展，直接从语音波形中生成人脸，使我们的系统完全端到端。我们分析了网络在多大程度上可以自然地解开两个潜在的因素，有助于生成一个人脸图像-一个直接来自语音信号，另一个是不相关的-并探讨网络是否可以学习生成自然的人脸图像分布通过建模这些因素。实验结果表明，该网络不仅能够匹配人脸与语音之间的关系，而且能够根据语音生成高质量的人脸样本。最后，定量测量生成的人脸和相应的语音之间的相关性，以分析两种模态之间的关系。
2020-04-13 cs.CV cs.LG cs.SD
See the Speaker: Crafting High-Resolution Talking Faces from Speech with Prior Guidance and Region Refinement
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Speech and Acoustic Laboratory, Joy Future Academy, Jingdong Corporation（语音与声学实验室、Joy Future Academy、京东公司）；Aarhus University（阿arhus大学）
本研究提出一种通过语音直接生成高分辨率说话面孔的方法，结合扩散模型与统计先验，实现高质量视频生成。
2025-10-28 cs.AI cs.CV cs.SD
Unsupervised active speaker detection in media content using cross-modal information
University of Southern California（南加州大学）
我们提出了一个跨模态的无监督框架，主动说话人检测的媒体内容，如电视节目和电影。机器学习的进步使得从语音和面部图像中识别个人的性能令人印象深刻。我们利用说话人身份信息的语音和面孔，并制定积极的说话人检测作为一个语音人脸分配任务，使积极的说话人的脸和基本的语音识别相同的人（字符）。我们表示的语音段在其相关的扬声器的身份距离，从所有其他语音段，捕捉一个相对的身份结构的视频。然后，我们分配一个积极的发言人的脸，每个语音段从同时出现的脸，使所获得的一组积极的发言人的脸显示一个类似的相对身份结构。此外，我们提出了一个简单而有效的方法来解决语音段扬声器存在屏幕外。我们在三个基准数据集上评估了所提出的系统- Visual Person Clustering数据集，AVA活跃扬声器数据集和Columbia数据集-由来自娱乐和广播媒体的视频组成，并显示出与最先进的完全监督方法相比具有竞争力的性能。
2022-09-24 cs.CV eess.AS eess.IV
Faces that Speak: Jointly Synthesising Talking Face and Speech from Text
Korea Advanced Institute of Science and Technology（韩国科学技术院）；dot Inc.（42dot公司）
本研究提出统一框架，整合TFG与TTS系统，通过条件流匹配动作采样器和新型TTS条件调节方法，实现从文本同时生成自然说话人脸与匹配语音，且可泛化到未知身份。
2024-05-16 cs.AI cs.CV cs.SD
Do face masks introduce bias in speech technologies? The case of automated scoring of speaking proficiency
Educational Testing Service（教育考试服务中心）
COVID-19疫情导致全球口罩使用量大幅增加。面部覆盖物可以影响信号的声学特性以及语音模式，并且如果佩戴面具的人试图使用语音处理技术，则会产生意想不到的效果。在本文中，我们探讨了戴口罩对英语语言能力自动评估的影响。我们使用的数据集来自一个大规模的口语测试，考生被要求在测试期间戴口罩，我们将其与匹配的对照样本进行比较，这些对照样本是在口罩要求到位之前参加相同测试的考生。我们发现，这两个样本在一系列声学措施不同，也表现出一个小的，但显着的语音模式的差异。然而，这些差异不会导致英语语言能力的人工或自动分数的差异。几项偏倚指标显示两组之间的得分没有差异。
2020-11-03 cs.CL cs.HC cs.SD
AnyoneNet: Synchronized Speech and Talking Head Generation for Arbitrary Person
Northwestern Polytechnical University（西北工业大学）；Delft University of Technology（代尔夫特理工大学）
自动生成其中合成语音与说话头部中的嘴唇运动同步的视频在许多人机交互场景中具有巨大的潜力。在本文中，我们提出了一种自动的方法来生成同步的语音和讲话的头部视频的基础上的文本和一个单一的人脸图像的任意人作为输入。与以前的文本驱动的说话头生成方法，它只能合成一个特定的人的声音，所提出的方法是能够合成语音的任何人是无法访问的训练阶段。具体地，所提出的方法将同步的语音和讲话头部视频的生成分解为两个阶段，即，文本到语音（TTS）阶段和语音驱动的讲话头部生成阶段。本文提出的TTS模块是一种基于人脸的多说话人TTS模型，它从人脸图像中获取说话人身份信息，而不是从语音中获取说话人身份信息，从而可以根据输入的人脸图像合成个性化的语音。为了从人脸图像中生成说话的头部视频，提出了一种基于面部标志的方法，可以预测嘴唇运动和头部旋转。大量的实验表明，该方法是能够产生同步的语音和说话的头部视频为任意的人和非人。合成语音显示与给定的脸关于合成语音的音色和一个人的外观在图像中的一致性，和所提出的基于地标的说话头方法优于国家的最先进的基于地标的方法生成自然说话头视频。
2021-08-11 cs.CV cs.SD eess.AS
Expression-preserving face frontalization improves visually assisted speech processing
Inria Grenoble（法国国家信息与自动化研究所格勒诺布尔中心）；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria Nancy Grand-Est（法国国家信息与自动化研究所南锡大东部中心）
本文提出一种保留非刚性面部变形的人脸正面化方法，结合广义学生t分布与线性动态系统处理头动与表情，显著提升了唇语识别和语音增强等视觉辅助语音处理任务的性能。
2022-12-15 cs.CV cs.SD eess.AS
VisageSynTalk: Unseen Speaker Video-to-Speech Synthesis via Speech-Visage Feature Selection
KAIST（韩国科学技术院）
这项工作的目标是重建语音从一个无声的说话的脸视频。最近的研究表明，从无声的说话人脸视频合成语音的性能令人印象深刻。然而，他们没有明确地考虑不同的身份特征的不同发言人，这将在视频到语音合成的挑战，这变得更加关键，在unseen-speaker设置。我们的方法是从一个给定的无声说话的脸视频分离的语音内容和面部风格。通过引导模型独立地专注于对这两种表示进行建模，即使在给定看不见的对象的输入视频时，我们也可以从模型中获得高清晰度的语音。为此，我们引入语音人脸选择，分离的语音内容和扬声器的身份从输入视频的视觉特征。通过基于人脸风格的合成器，该合成器通过在保持语音内容的同时涂覆人脸风格来生成语音。因此，所提出的框架带来了合成包含正确内容的语音的优点，即使是与看不见的主体的无声谈话面部视频。我们验证了建议的框架上的GRID，TCD-TIMIT志愿者，和LRW数据集的有效性。
2022-07-20 cs.CV cs.LG cs.SD
FaceFilter: Audio-visual speech separation using still images
Yonsei University（延世大学）；Naver Corp.（Naver公司）
本文的目标是使用深度视听语音分离网络从两个说话人的混合语音中分离出目标说话人的语音。不同于以往的作品，使用嘴唇运动的视频剪辑或预先注册的扬声器信息作为辅助条件功能，我们使用一个单一的人脸图像的目标扬声器。在该任务中，条件特征是从跨模态生物特征识别任务中的面部外观中获得的，其中音频和视觉身份表示在潜在空间中共享。从面部图像中学习的身份迫使网络隔离匹配的说话者并从混合语音中提取声音。它解决了语音分离任务中经常出现的通道输出交换引起的排列问题。由于用户简档图像在许多平台上都很容易获得，因此所提出的方法比基于视频的语音分离更实用。此外，与说话者感知分离方法不同，它适用于与以前从未登记过的未见过的说话者分离。我们在具有挑战性的现实世界的例子中表现出强大的定性和定量结果。
2020-05-14 cs.CV cs.MM cs.SD
Audiovisual Speech Synthesis using Tacotron2
Apple（苹果公司）
视听语音合成是在最大化声学和视觉语音的相干性的同时合成说话的面部的问题。在本文中，我们提出并比较了两个视听语音合成系统的三维人脸模型。第一个系统是AVTacotron2，这是一个基于Tacotron2架构的端到端文本到视听语音合成器。AVTacotron2将表示句子的音素序列转换为声学特征序列和面部模型的相应控制器。输出的声学特征用于调节WaveRNN以重建语音波形，并且输出的面部控制器用于生成说话面部的相应视频。第二个视听语音合成系统是模块化的，其中使用传统的Tacotron 2从文本合成声学语音。然后，使用独立训练的音频到面部动画神经网络，使用重建的声学语音信号来驱动面部模型的面部控制。我们进一步条件的端到端和模块化的情感嵌入方法，编码所需的韵律生成情感的视听语音。我们分析了这两个系统的性能，并使用主观评价测试将它们与地面实况视频进行比较。端到端和模块化系统能够合成接近人类的视听语音，平均意见得分（MOS）分别为4.1和3.9，而专业录制视频生成的地面实况的MOS为4.1。虽然端到端系统给出了更好的整体质量，但模块化方法更灵活，并且声学语音和视觉语音合成的质量几乎是彼此独立的。
2021-08-30 cs.CL cs.SD eess.AS
Zero-shot personalized lip-to-speech synthesis with face image based voice control
University of Science and Technology of China（中国科学技术大学）；Tongji University School of Medicine（同济大学医学院）；Shanghai Tongji Hospital（上海市同济医院）
提出零样本个性化唇语到语音合成方法，利用变分自编码器解耦身份与内容，通过人脸图像控制未见说话人的语音特征，并引入跨模态表示学习增强控制能力。
2023-05-09 cs.AI cs.CV cs.MM
UniTAF: A Modular Framework for Joint Text-to-Speech and Audio-to-Face Modeling
UniTAF提出了一种联合文本到语音和音频到面部建模的模块化框架，通过内部特征转移提升音频与面部表情一致性，并验证了中间表示在联合建模中的可行性。
2026-03-03 cs.CV cs.SD eess.AS
UniFLG: Unified Facial Landmark Generator from Text or Speech
rinna Co., Ltd.（Rinna株式会社）
本文提出统一面部标志点生成器UniFLG，利用端到端文本转语音提取文本与语音共有的潜在表示生成面部标志点，整合了文本与语音驱动框架，在自然度上超越现有方法，且能从无视频或语音数据的说话者语音中生成标志点。
2023-05-19 cs.CL cs.CV cs.SD
End-to-End Multi-Person Audio/Visual Automatic Speech Recognition
Google Inc.（谷歌公司）
传统上，视听自动语音识别一直是在假设视觉信号上的说话人脸是与音频匹配的人脸的情况下进行研究的。然而，在更现实的设置中，当多个面部潜在地在屏幕上时，需要决定将哪个面部馈送到A/V ASR系统。目前的工作将A/V ASR的最新进展更进一步，并考虑多人同时在屏幕上的场景（多人A/V ASR）。我们提出了一个完全可区分的A/V ASR模型，该模型能够处理视频中的多个人脸轨迹。而不是依赖于两个单独的模型的扬声器面部选择和视听ASR在一个单一的面部轨道，我们引入了一个注意层的ASR编码器，能够软选择适当的面部视频轨道。在超过30 k小时的YouTube视频上训练的A/V系统上进行的实验表明，与说话面部的Oracle选择相比，所提出的方法可以自动选择适当的面部轨迹，并且具有较小的WER降级，同时仍然显示出采用视觉信号而不是单独使用音频的好处。
2022-05-11 cs.CV cs.LG cs.SD
Visual-Aware Text-to-Speech
JD Explore Academy（京东探索研究院）
提出视觉感知文本到语音合成（VA-TTS）任务，融合文本与听者视觉反馈，通过基线模型在ViCo-X数据集上验证，生成更自然的语音。
2023-06-21 cs.CL cs.SD eess.AS
Show Me Your Face, And I'll Tell You How You Speak
Saarland University（萨尔大学）
当我们说话时，可以从我们嘴唇的运动中推断出语音的韵律和内容。在这项工作中，我们探讨了唇到语音合成的任务，即，学习生成仅给定说话者的嘴唇运动的语音，其中我们专注于在不受约束的大词汇量设置中学习多个说话者的准确嘴唇到语音的映射。我们通过说话者的面部特征来捕捉他们的声音身份，即，年龄、性别、种族，并将它们与嘴唇运动一起调节以生成说话者身份感知语音。为此，我们提出了一种新的方法“Lip2Speech”，关键的设计选择，以实现准确的唇到语音合成在无约束的情况下。我们还使用定量，定性指标和人工评估进行各种实验和广泛的评估。
2022-06-28 cs.CV cs.SD eess.AS
Audio2Face: Generating Speech/Face Animation from Single Audio with Attention-Based Bidirectional LSTM Networks
Zhejiang University（浙江大学）；Netease（网易）
我们提出了一种端到端的深度学习方法，用于仅从音频生成实时面部动画。具体而言，我们的深层架构采用深层双向长短期记忆网络和注意力机制来发现语音中时变上下文信息的潜在表征，并识别有助于特定人脸状态的不同信息的重要性。因此，我们的模型能够在推理时驱动不同级别的面部运动，并自动跟上输入音频中相应的音高和潜在的说话风格，而无需假设或进一步的人为干预。实验结果表明，该方法不仅可以从音频中准确地生成嘴唇运动，而且可以成功地回归说话人随时间变化的面部运动。
2019-05-27 cs.CV cs.LG cs.SD
Face Landmark-based Speaker-Independent Audio-Visual Speech Enhancement in Multi-Talker Environments
University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；Istituto Italiano di Tecnologia（意大利理工学院）
在本文中，我们解决的问题，增强感兴趣的演讲者在鸡尾酒会的情况下，当感兴趣的演讲者的视觉信息是可用的。与大多数以前的研究相反，我们没有在通常较小的视听数据集上学习视觉特征，而是使用已经可用的人脸地标检测器（在单独的图像数据集上训练）。基于LSTM的模型使用地标来生成应用于声学混合语音谱图的时频掩模。结果表明：（i）界标运动特征对于该任务是非常有效的特征，（ii）类似于先前的工作，通过掩蔽介导的目标说话者的声谱图的重建比直接声谱图重建明显更准确，以及（iii）最佳掩模取决于运动界标特征和输入混合语音声谱图两者。据我们所知，我们提出的模型是第一个在有限大小的GRID和TCD-TIMIT数据集上训练和评估的模型，它在多说话者环境中实现了与说话者无关的语音增强。
2019-05-02 cs.CL cs.LG cs.SD
Learning Visual Speech Representations via Cross-Modal Distillation and Joint Face-Lip Modeling
School of Artificial Intelligence and Computer Science, Shaanxi Normal University（陕西师范大学人工智能与计算机科学学院）；iFLYTEK Research, iFLYTEK Co., Ltd.（科大讯飞股份有限公司）；Key Laboratory of Intelligent Computing and Service Technology for Folk SongMinistry of Culture and Tourism（文化和旅游部民歌智能计算与服务技术重点实验室）
本研究提出FLARE框架，通过跨模态蒸馏与联合人脸-唇建模学习视觉语音表征，在LRS2、LRS3、WildVSR基准上取得优异唇读性能，提升了鲁棒性与音素区分性。
2026-10-15 cs.CV eess.AS
Target Speech Diarization with Multimodal Prompts
本文提出多模态目标语音分离框架MM-TSD，通过语言描述、预注册语音、人脸图像及逻辑提示灵活指定目标事件，并引入语音-人脸对齐模块，在VoxCeleb2多模态数据集上验证了统一系统在说话人分离和重叠语音检测等任务中的有效性。
2024-06-11 cs.MM eess.AS
Emotion Across Speech and Faces: Shared Affective Mechanisms in Multimodal Foundation Models
Center for Language and Speech Processing (CLSP), Johns Hopkins University（约翰霍普金斯大学语言与语音处理中心）；Group on Language, Audio & Music (GLAM), Imperial College London（伦敦帝国理工学院语言、音频与音乐组）
该研究在Gemma-4-12B-it等3款多模态基础模型中识别出情感敏感神经元，发现语音与面部情感识别的表征在解码器级部分汇聚，且存在双向因果迁移，为跨模态情感机制提供了新分析。
2026-08-19 cs.CL eess.AS eess.IV
Facial Expression-Enhanced TTS: Combining Face Representation and Emotion Intensity for Adaptive Speech
Sogang University（西江大学）
本文提出零样本TTS模型FEIM-TTS，结合面部表征与情感强度生成自适应情感语音，提升了视障人群无障碍体验。
2024-09-24 cs.AI cs.SD eess.AS
Deep Visual Forced Alignment: Learning to Align Transcription with Talking Face Video
KAIST（韩国科学技术院）
强制对齐是指将给定转录与相应语音进行时间对齐的技术。然而，由于已经使用语音音频开发了强制对准技术，当输入语音音频被噪声破坏或不可访问时，它们可能无法对准。我们关注的是，存在可以从语音中推断出语音的另一个组件，即语音视频（即，说话的脸视频）。由于基于音频的强制对齐方法在音频信号较差的情况下可以利用视觉信息来弥补其不足，因此本文尝试提出一种新的基于视频的强制对齐方法。然而，与音频强制对齐不同，开发可靠的视觉强制对齐技术具有挑战性，原因有以下两个：1）与基于音频的自动语音识别（ASR）相比，视觉语音识别（VSR）具有低得多的性能，以及2）从文本到视频的翻译不可靠，因此通常用于建立音频强制对准的方法不能用于开发视觉强制对准。为了缓解这些挑战，在本文中，我们提出了一种新的方法，这是适合于视觉强制对齐，即深度视觉强制对齐（DVFA）。所提出的DVFA可以比对输入转录（即，句子）与说话面部视频进行交互，而不访问语音音频。此外，通过用异常情况检测来增强对准任务，DVFA可以在执行对准的同时检测输入转录和输入视频之间的不匹配。因此，即使文本中存在错误的单词，我们也可以鲁棒地将文本与说话的人脸视频对齐。通过大量的实验，我们证明了所提出的DVFA的有效性，不仅在对齐任务，而且在解释VSR模型的输出。
2023-02-27 cs.AI cs.CV cs.SD
DiffusionTalker: Personalization and Acceleration for Speech-Driven 3D Face Diffuser
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Intel Labs China（英特尔中国研究院）；Tsinghua University（清华大学）
DiffusionTalker提出基于扩散模型的语音驱动3D人脸动画方法，通过对比学习实现个性化说话风格，并利用知识蒸馏将生成步数从数百步压缩至8步以加速推理，实验表明其性能优于现有最先进方法。
2023-12-02 cs.CV cs.SD eess.AS
Correction of Automatic Speech Recognition with Transformer Sequence-to-sequence Model
NVIDIA（英伟达）
在这项工作中，我们介绍了一个简单而有效的自动语音识别（ASR）后处理模型。我们的模型具有基于transformer的编码器-解码器架构，该架构将ASR模型输出“翻译”成语法和语义正确的文本。我们研究了正则化和优化模型的不同策略，并表明需要广泛的数据增强和预训练权重的初始化来实现良好的性能。在LibriSpeech基准测试中，我们的方法在单词出错率方面比使用贪心解码的基线声学模型有了显着的改善，特别是在评估数据集的噪声更大的dev-other和test-other部分。我们的模型也优于基线与6-gram语言模型重新评分和接近的性能与transformer-XL神经语言模型重新评分。
2019-10-23 cs.CL cs.SD eess.AS
A Unified Compression Framework for Efficient Speech-Driven Talking-Face Generation
Nota Inc.（Nota公司）；Chungnam National University（忠南大学）
针对语音驱动人脸生成模型计算负担高的问题，提出统一压缩框架，通过构建紧凑生成器、知识蒸馏训练及选择性量化，实现大幅参数缩减与边缘GPU加速，同时保留生成质量。
2023-04-28 cs.CV cs.GR cs.LG
Face2VoiceSync: Lightweight Face-Voice Consistency for Text-Driven Talking Face Generation
Center for Machine Vision（机器视觉中心）；Xi’an Jiaotong Liverpool University（西安交通大学利物浦大学）
针对文本驱动说话人脸生成，本文提出轻量级 Face2VoiceSync 框架，通过语音-人脸对齐、副语言特征控制、VAE桥接多模态大模型及新指标，在单块40GB GPU上实现视觉与音频SOTA。
2025-07-25 cs.CV cs.MM cs.SD
Not Quite My Tempo: Voice Activity-aware Speech Synthesis for Lip-Synchronous Dubbing
AppTek GmbH（AppTek有限公司）
本文提出以二值语音活动信号替代唇部运动作为条件，用于唇形同步配音的语音合成，实现高精度时序跟随与自然韵律，并支持推理时可选约束。
2026-09-23 cs.AI eess.AS
Seeing Your Speech Style: A Novel Zero-Shot Identity-Disentanglement Face-based Voice Conversion
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出ID-FaceVC方法，通过身份感知对比学习模块和互信息双重解耦模块，实现零样本基于人脸的语音转换，支持音频或文本输入及可控情感与语速，在自然度、相似度和多样性上达到最先进水平。
2024-09-01 cs.AI cs.CV cs.SD
