Visual-Aware Text-to-Speech
JD Explore Academy（京东探索研究院）
提出视觉感知文本到语音合成（VA-TTS）任务，融合文本与听者视觉反馈，通过基线模型在ViCo-X数据集上验证，生成更自然的语音。
2023-06-21 cs.CL cs.SD eess.AS
LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders
Imperial College London（帝国理工学院）；Meta Reality Labs Research（Meta现实实验室）；Meta
视听语音增强的目的是从噪声环境中提取干净的语音，不仅利用音频本身，而且还利用目标说话人的嘴唇运动。这种方法已被证明是产生改进的音频语音增强，特别是对于干扰语音的去除。尽管最近在语音合成方面取得了进展，但大多数视听方法继续使用频谱映射/掩蔽来再现干净的音频，通常导致视觉骨干被添加到现有的语音增强架构中。在这项工作中，我们提出了LA-VocE，一种新的两阶段方法，通过基于变换器的架构从嘈杂的视听语音中预测梅尔频谱图，然后使用神经声码器（HiFi-GAN）将其转换为波形音频。我们对数千名说话者和11种以上不同的语言进行了训练和评估，并研究了我们的模型适应不同水平背景噪声和语音干扰的能力。我们的实验表明，LA-VocE优于现有的方法，根据多个指标，特别是在非常嘈杂的情况下。
2023-03-13 cs.CV cs.LG cs.SD
Visualization and Interpretation of Latent Spaces for Controlling Expressive Speech Synthesis through Audio Analysis
Numediart Institute, University of Mons（蒙斯大学Numediart研究所）；Acapela Group（Acapela集团）
文本到语音转换领域在过去几年中经历了巨大的进步，受益于深度学习技术。现在，制作逼真的演讲成为可能。因此，对表达性的控制，允许生成不同风格或方式的演讲，最近引起了越来越多的关注。能够控制风格的系统已经开发出来，并显示出令人印象深刻的结果。然而，控制参数往往包括潜变量，并保持复杂的解释。在本文中，我们分析和比较不同的潜在空间，并获得他们对表达性言语的影响的解释。这将使得能够构建具有可理解行为的可控语音合成系统。
2019-03-27 cs.AI cs.CL cs.LG
Visual Speech Language Models
Queen Mary University of London（伦敦玛丽女王大学）
在唇读系统中，语言模型（LM）是非常强大的。建立在数据集的真实话语基础上的语言模型学习单词和句子的语法和结构规则（后者在连续语音的情况下）。然而，视觉语音信号中的视觉协同发音效应损害了视觉语音LM的性能，因为视觉上，人们不会说出语言模型所期望的。这些模型是常见的，但虽然高阶N-gram LM可以提高分类率，但这种模型的成本与开发更准确分类器的共同目标不成比例。因此，我们比较哪个单元最能优化唇读（视觉语音）LM，以观察它们的局限性。我们比较三个单位：视位（视觉语音单位）\cite{lan2010improving}，音素（可听语音单位），和单词。
2018-09-14 cs.SD eess.AS
Neural Speech Tracking in a Virtual Acoustic Environment: Audio-Visual Benefit for Unscripted Continuous Speech
Carl von Ossietzky University of Oldenburg（奥尔登堡大学）
本研究在虚拟声学环境中用非脚本自然语音探究视听增益，通过EEG和皮层语音追踪分析不同条件及说话者特征的影响，发现噪声下视听增强显著，唇部运动作用关键，验证了自然刺激下皮层语音追踪的可行性。
2025-01-14 cs.SD eess.AS
Audio-Visual Representation Learning via Knowledge Distillation from Speech Foundation Models
iFLYTEK（科大讯飞）
针对视听表征学习在多模态语音处理中的关键需求，提出一种利用语音基础模型（SFMs）跨模态知识蒸馏的模型，通过多教师集成与新型表征蒸馏损失训练学生模型，在多任务上性能优于或可比现有基线。
2025-02-09 cs.SD eess.AS
Uncovering the Visual Contribution in Audio-Visual Speech Recognition
Sigmedia Group, School of Engineering Trinity College Dublin（Sigmedia集团，工程学院，三一学院都柏林）
本文从人类语音感知视角评估AVSR系统，发现低WER不保证高SNR增益，揭示当前方法未充分利用视觉信息，建议未来研究同时报告有效SNR增益和WER。
2025-01-17 cs.SD eess.AS
Time Domain Audio Visual Speech Separation
Tencent AI Lab（腾讯人工智能实验室）
视听多模态建模已被证明是有效的许多语音相关的任务，如语音识别和语音增强。本文介绍了一种新的时域视听结构的目标说话人提取单声道混合。该结构对传统的TasNet（时域语音分离网络）进行了推广，实现了多模态学习，同时将经典的音视频语音分离从频域扩展到时域。提出的架构的主要组成部分包括一个音频编码器，视频编码器，提取唇嵌入视频流，多模态分离网络和音频解码器。基于最近发布的LRS 2数据集的模拟混合数据的实验表明，与纯音频的TasNet和频域视听网络相比，我们的方法在两个和三个扬声器的情况下分别可以带来3dB+和4dB+的Si-SNR改善
2019-09-22 cs.SD eess.AS
Efficient Training for Multilingual Visual Speech Recognition: Pre-training with Discretized Visual Speech Representation
KAIST（韩国科学技术院）
本文提出利用离散化视觉语音单元进行预训练，以高效训练多语言视觉语音识别模型，通过课程学习弥补视觉信息不足，实现单模型多语言识别并达到最先进性能。
2024-07-18 cs.CV cs.SD eess.AS
Leveraging Mamba with Full-Face Vision for Audio-Visual Speech Enhancement
Academia Sinica（台湾“中央研究院）
针对现有基于Mamba的语音增强模型难以应对多说话人复杂场景的问题，提出融合全脸视觉时空信息与Mamba时序骨干的音视频增强模型AVSEMamba，在AVSEC-4挑战赛单声道赛道取得榜首，多项指标优于基线。
2025-09-30 cs.SD eess.AS
DAVE: A Decoupled Audio-Visual Enhancement Framework for Real-World Speech Separation
Yijiahe AI；Tianjin University（天津大学）；Nanjing University（南京大学）
本文提出用于真实场景语音分离的解耦式视听增强框架DAVE，构建含219411个混合样本的DAVE-Corpus，采用渐进式多目标优化与选择性增强链，在挑战赛中展现出良好鲁棒性。
2026-08-11 cs.AI cs.SD
VSEGAN: Visual Speech Enhancement Generative Adversarial Network
vivo AI Lab（vivo人工智能实验室）；Trinity College Dublin（都柏林大学三一学院）
语音增强是提高噪声环境下语音质量的一项重要任务。由于语音的视觉方面基本上不受声学环境的影响，因此几种现有技术的方法已经引入了用于语音增强的视觉信息。本文提出了一种新的框架，涉及语音增强的视觉信息，通过结合生成对抗网络（GAN）。具体地说，提出的视觉语音增强GAN由两个以对抗方式训练的网络组成：i）一个采用多层特征融合卷积网络增强输入含噪语音的生成器，ii）一个采用最小化纯净语音信号和增强语音信号分布之间差异的改进器。实验结果表明，该模型的性能优于几个国家的最先进的
2022-04-20 cs.SD eess.AS eess.IV
Predict-and-Update Network: Audio-Visual Speech Recognition Inspired by Human Speech Perception
在人类的语音感知中，音频和视频信号是相辅相成的，在语音识别中也是如此。视觉提示不如声学提示明显，但在复杂的声学环境中更鲁棒，就语音感知而言。如何有效地利用音频和视频信号之间的相互作用进行自动语音识别仍然是一个挑战。已经有研究以同步方式利用视觉信号作为音频输入的冗余或补充信息。对人类的研究表明，视觉信号会提前让听者准备好何时以及在哪个频率上注意。我们提出了一个预测和更新网络（P&U网），模拟这样的视听语音识别（AVSR）的视觉提示机制。特别是，我们首先预测的字符后验的口语单词，即视觉嵌入，基于视觉信号。然后，音频信号通过新颖的跨模态Conformer以视觉嵌入为条件，更新角色后验。我们通过大量的实验验证了视觉提示机制的有效性。建议的P&U网络优于国家的最先进的AVSR方法在LRS 2-BBC和LRS 3-BBC数据集，与相对减少字出错率（WER）的超过10%和40%，在干净和嘈杂的条件下，分别。
2022-09-05 cs.MM cs.SD eess.AS
Incorporating Ultrasound Tongue Images for Audio-Visual Speech Enhancement through Knowledge Distillation
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China（中国科学技术大学国家语言语音信息处理工程研究中心）
本文提出在训练阶段利用知识蒸馏，将预训练的音频-唇部-舌部语音增强教师模型的知识传递给音频-唇部学生模型，从而在推理时无需超声舌像即可提升语音增强的质量与可懂度。
2023-11-20 cs.SD eess.AS
Audio-Visual Speech Enhancement With Selective Off-Screen Speech Extraction
Waseda Research Institute for Science and Engineering（早稻田大学科学与工程研究院）；School of Advanced Science and Engineering, Waseda University（早稻田大学高等科学与工程学院）
针对传统视听语音增强仅保留屏内语音的局限，提出融合屏内视觉线索与屏外声纹线索、结合时序注意力和静音训练策略的方法，可同时提取屏内和指定屏外说话人混合语音，性能与效率优于基线方法。
2023-06-10 cs.SD eess.AS
AMFFCN: Attentional Multi-layer Feature Fusion Convolution Network for Audio-visual Speech Enhancement
Trinity College Dublin（都柏林圣三一学院）；Hubei University of Chinese Medicine（湖北中医药大学）
视听语音增强系统被认为是分离和增强说话人语音的最有前途的解决方案之一。传统的方法集中于通过基于朴素卷积神经网络的编码器-解码器架构来预测干净的语音频谱，并且这些方法a）不足以充分和有效地使用数据，b）不能选择性地处理特征。所提出的模型解决了这些缺点，通过a）应用在编码阶段逐层融合音频和视觉特征的模型，并且将融合的音频-视觉特征馈送到每个对应的解码器层，并且更重要的是，b）将软阈值注意力引入到模型中以软地选择信息模态。本文提出了一种基于注意力的视听图像多层特征融合模型，在解码器的每一层采用软阈值注意力单元进行特征映射。所提出的模型证明了优越的性能的网络对国家的最先进的模型。
2022-09-27 cs.SD eess.AS
Audio-Visual Speech Separation Using Cross-Modal Correspondence Loss
NTT Media Intelligence Laboratories, NTT Corporation（NTT（日本电报电话公司）媒体情报研究所）
提出了一种视听语音分离学习方法，该方法在训练过程中考虑分离信号与视觉信号的对应关系来反映语音特征。视听语音分离是一种利用说话人的视觉信号从混合语音中分离出单个语音信号的技术。传统的视听语音分离研究主要是对分离模型进行纯音频损失的训练，纯音频损失反映了源信号与分离信号之间的距离。然而，传统的损失不能反映语音信号的特征，包括说话者的特征和语音信息，这导致失真或残留噪声。为了解决这个问题，我们提出了跨模态对应（CMC）损失，这是基于共现的语音信号和视觉信号。由于视觉信号不受背景噪声的影响，并且包含说话人和语音信息，因此使用CMC损失使得视听语音分离模型能够在去除噪声的同时保留语音特征。实验结果表明，该方法在CMC损失的基础上学习同现，提高了分离性能。
2021-03-02 cs.LG cs.SD eess.AS
A Study of Joint Effect on Denoising Techniques and Visual Cues to Improve Speech Intelligibility in Cochlear Implant Simulation
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University（台湾大学）；Institute of Linguistics, Academia Sinica（中央研究院语言学研究所）
言语感知是言语交际的关键。对于听力损失的人来说，识别语音的能力受到限制，特别是在嘈杂的环境中或没有视觉线索的情况下，例如通过电话无法读取唇读。本研究旨在通过两种潜在的方法：语音增强（SE）和视听整合来了解人工耳蜗（CI）模拟中声编码语音可懂度的改善。最近提出了一种完全卷积神经网络（FCN），它使用一个面向可懂度的目标函数，并被证明可以有效地促进语音可懂度作为一种先进的去噪SE方法。此外，据报道，视听整合提供更好的语音理解相比，只有音频信息。本研究以一组听力正常的受试者为实验对象，利用语音编码技术对语音清晰度进行了测试。实验结果证实了基于模糊神经网络的声码语音去噪SE和视听融合的有效性。此外，它积极建议这两种方法可以成为CI处理器中的混合功能，以提高CI用户在嘈杂条件下的语音清晰度。
2020-12-18 cs.SD eess.AS
Audio-visual Recognition of Overlapped speech for the LRS2 dataset
Tencent AI（腾讯人工智能）
重叠语音的自动识别至今仍是一项极具挑战性的任务。受人类语音感知的双峰性质的启发，本文研究了使用视听技术进行重叠语音识别。提出了与音视频语音识别（AVSR）系统构建相关的三个问题。首先，研究了AVSR系统的基本结构设计，即端到端和混合结构。其次，有目的地设计的模态融合门被用来鲁棒地集成音频和视觉特征。第三，在对比传统的流水线架构，包含显式语音分离和识别组件，流线型和集成的AVSR系统优化一致使用无格MMI（LF-MMI）判别准则也提出了。所提出的LF-MMI时延神经网络（TDNN）系统为LRS 2数据集建立了最先进的技术。对LRS 2数据集模拟的重叠语音的实验表明，所提出的AVSR系统在字错误率（WER）降低方面优于仅音频基线LF-MMI DNN系统高达29.98%的绝对值，并且产生了与更复杂的流水线系统相当的识别性能。一致的性能改善4.89%的绝对WER减少基线AVSR系统使用特征融合。
2020-01-06 cs.SD eess.AS
M2S-AVSR: Modality-aware Multi-view Self-supervised Representation for Robust Audio-Visual Speech Recognition
School of Artificial Intelligence and the School of Computer Science, Wuhan University, China（人工智能学院和计算机科学学院，武汉大学，中国）；School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen, China（人工智能学院，香港中文大学（深圳），中国）；School of Artificial Intelligence, Wuhan University, China（人工智能学院，武汉大学，中国）
提出一种模态感知多视角自监督表示框架（M2S-AVSR），通过多视角编码学习视角不变视觉语音表示，并利用模态感知模块进行细粒度融合，以应对视角变化、音频失真和视觉遮挡等挑战，在多个基准上取得最优性能。
2026-06-05 cs.SD eess.AS
The Conversation: Deep Audio-Visual Speech Enhancement
University of Oxford（牛津大学）
我们的目标是从视频中的多人同时语音中分离出单个扬声器。在这一领域的现有作品集中在试图从已知的扬声器在受控环境中分离的话语。在本文中，我们提出了一种深度视听语音增强网络，该网络能够通过预测目标信号的幅度和相位来分离相应视频中给定嘴唇区域的说话者的声音。该方法适用于在训练过程中听不见和看不见的说话者，以及不受约束的环境。我们展示了强有力的定量和定性结果，隔离了极具挑战性的现实世界的例子。
2018-06-19 cs.CV cs.SD
VisualVoice: Audio-Visual Speech Separation with Cross-Modal Consistency
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stanford University（斯坦福大学）；Facebook AI Research（Facebook AI研究院）
我们介绍了一种新的视听语音分离方法。给定视频，目标是提取与面部相关联的语音，而不管同时的背景声音和/或其他人类说话者。而现有的方法专注于学习扬声器的嘴唇运动和他们产生的声音之间的对齐，我们建议利用扬声器的面部外观作为额外的之前，隔离相应的声乐质量，他们可能会产生。我们的方法联合学习视听语音分离和跨模态扬声器嵌入未标记的视频。它在五个用于视听语音分离和增强的基准数据集上产生了最先进的结果，并很好地推广到具有挑战性的各种场景的真实世界视频。我们的视频结果和代码：http://vision.cs.utexas.edu/projects/VisualVoice/.
2021-04-06 cs.CV cs.SD eess.IV
Audio-Visual Speech Enhancement and Separation by Utilizing Multi-Modal Self-Supervised Embeddings
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Edinburgh Napier University（爱丁堡龙比亚大学）
本文提出在预训练AV-HuBERT后接入SE模块并配合微调，用于AVSE和AVSS，实验证明其优于现有AVSE及纯音频SE方法。
2023-06-01 cs.SD eess.AS
AV-CPL: Continuous Pseudo-Labeling for Audio-Visual Speech Recognition
MIT（麻省理工学院）；Apple（苹果公司）
本文提出半监督 AV-CPL 框架，利用同一视听模型在有标签和无标签视频上连续生成伪标签，在保持 ASR/AVSR 性能的同时显著提升 LRS3 上的 VSR 效果。
2023-09-29 cs.LG cs.SD eess.AS
Robust Unsupervised Audio-visual Speech Enhancement Using a Mixture of Variational Autoencoders
Inria Grenoble Rh\ o ne-Alpes, France
近年来，提出了一种基于变分自编码器（VAE）的视听语音生成模型，该模型结合噪声方差的非负矩阵分解（NMF）模型实现无监督语音增强。当视觉数据是干净的，语音增强与视听VAE表现出更好的性能比与仅音频VAE，这是在仅音频数据上训练。然而，视听VAE对于噪声视觉数据（例如，当对于某些视频帧，说话人面部不是正面或嘴唇区域被遮挡时。本文提出了一种基于逐帧VAE混合模型的鲁棒无监督音视频语音增强方法。该混合模型由训练的仅音频VAE和训练的视听VAE组成。其动机是通过切换到仅音频VAE模型来跳过嘈杂的视觉帧。我们提出了一种变分期望最大化方法来估计模型的参数。实验结果表明，该方法具有良好的性能。
2019-11-10 cs.LG cs.SD eess.AS
On the Role of Visual Cues in Audiovisual Speech Enhancement
Apple（苹果公司）
我们提出了一个视听语音增强模型的反省。特别是，我们专注于解释神经视听语音增强模型如何使用视觉线索，以提高目标语音信号的质量。我们发现，视觉线索不仅提供有关言语活动的高层次信息，即，语音/沉默，而且还有关于发音位置的细粒度视觉信息。这一发现的一个副产品是，学习的视觉嵌入可以用作其他视觉语音应用程序的功能。我们证明了学习的视觉嵌入分类视位（视觉类比音素）的有效性。我们的研究结果提供了深入了解视听语音增强的重要方面，并展示了如何使用这些模型的视觉语音应用程序的自我监督任务。
2021-02-25 cs.CL cs.CV cs.LG
Audio-visual Speech Enhancement Using Conditional Variational Auto-Encoders
Inria Grenoble Rhône-Alpes（法国国立信息学与自动化研究院罗讷-阿尔卑斯格勒诺布尔研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CentraleSupélec（中央理工-高等电力学院）；GIPSA-Lab（GIPSA实验室）
变分自动编码器（VAE）是深度生成潜变量模型，可用于学习复杂数据的分布。VAE已经成功地用于学习语音信号的概率先验，然后用于执行语音增强。这种生成方法的一个优点是，它在训练时不需要成对的干净和有噪声的语音信号。在本文中，我们提出了视听变体的VAE单通道和扬声器无关的语音增强。我们开发了一个条件VAE（CVAE）的音频语音生成过程是有条件的嘴唇区域的视觉信息。在测试时，视听语音生成模型与基于非负矩阵分解的噪声模型相结合，语音增强依赖于蒙特卡洛期望最大化算法。实验进行了最近发表的NTCD-TIMIT数据集以及GRID语料库。实验结果表明，提出的音视频CVAE模型有效地融合了音视频信息，与纯音频VAE模型相比，提高了语音增强性能，特别是在语音信号受噪声严重污染的情况下。我们还表明，所提出的无监督视听语音增强方法优于最先进的监督深度学习方法。
2020-05-26 cs.LG cs.SD eess.AS
Cooperative Dual Attention for Audio-Visual Speech Enhancement with Facial Cues
Institute of Computing Technology, CAS（中国科学院计算技术研究所）
本研究提出双注意力协同框架DualAVSE，通过基于空间注意力的视觉编码器提取唇部外面部线索并忽略无关信息，结合动态视听特征融合策略，有效提升了视听语音增强在多种复杂场景下的性能。
2023-11-24 cs.CV cs.SD eess.AS
Speaker-Independent Speech-Driven Visual Speech Synthesis using Domain-Adapted Acoustic Models
Apple Inc.（苹果公司）
语音驱动的视觉语音合成涉及将从声学语音中提取的特征映射到用于面部模型的对应嘴唇动画控件。这种映射可以采取多种形式，但一种强大的方法是使用深度神经网络（DNN）。然而，一个限制是缺乏可靠地训练DNN所需的同步音频、视频和深度数据，特别是对于与说话者无关的模型。在本文中，我们探讨适应自动语音识别（ASR）的声学模型（AM）的视觉语音合成的问题。我们训练了10000小时的音频数据。然后使用90小时的同步视听语音使AM适应于视觉语音合成域。使用主观评估测试，我们比较了AM初始化DNN与随机初始化DNN的性能。结果表明，观众显着更喜欢从AM初始化DNN生成的动画比使用随机初始化模型生成的动画。我们的结论是，视觉语音合成可以显着受益于语音的ASR声学模型的强大代表性。
2019-05-15 cs.LG cs.SD eess.AS
Improving Visual Speech Enhancement Network by Learning Audio-visual Affinity with Multi-head Attention
Trinity College Dublin（都柏林圣三一学院）；vivo AI Lab（vivo人工智能实验室）；Hubei University of Chinese Medicine（湖北中医药大学）
视听语音增强系统被认为是分离和增强说话人语音的有效方法之一。典型的方法集中于通过基于朴素卷积神经网络的编码器-解码器架构来预测干净的语音频谱，并且这些方法a）不足以充分利用数据，b）不能有效地平衡视听特征。所提出的模型通过以下方式克服了这些缺点：a）应用在编码阶段逐层融合音频和视觉特征的模型，并且将融合的音频-视觉特征馈送到每个对应的解码器层，并且更重要的是，b）引入2阶段多头交叉注意（MHCA）机制来推断音频-视觉语音增强，以平衡融合的音频-视觉特征并消除不相关的特征。提出了一种注意力视听多层特征融合模型，在解码器的每一层都采用MHCA单元进行特征映射。所提出的模型证明了优越的性能的网络对国家的最先进的模型。
2022-06-30 cs.MM cs.SD eess.AS
On the Contributions of Visual and Textual Supervision in Low-Resource Semantic Speech Retrieval
最近的研究表明，即使没有任何文本监督，与图像配对的语音也可以用于学习语义上有意义的语音表示。然而，在现实世界的低资源环境中，我们经常可以访问一些转录的语音。我们研究是否以及如何视觉接地是有用的，在存在不同数量的文本监督。特别是，我们认为在低资源设置的语义语音检索的任务。我们使用先前研究的数据集和任务，其中模型在带有语音字幕的图像上进行训练，并根据人类对语义相关性的判断进行评估。我们提出了一种多任务学习方法，以利用视觉和文本形式，与视觉监督的关键字概率从外部标记的形式。我们发现，视觉接地是有帮助的，即使在存在的文字监督，我们分析了这种效果的转录数据集的大小范围。通过约5小时的转录语音，当还使用视觉监督时，我们获得了23%的平均精度。
2019-08-30 cs.CL cs.SD eess.AS
Learning Contextually Fused Audio-visual Representations for Audio-visual Speech Recognition
University of Science and Technology of China（中国科学技术大学）；iFlytek Research, iFlytek Co., Ltd.（科大讯飞股份有限公司讯飞研究院）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
随着自监督学习在音频和视觉模态的进步，它已经成为可能学习一个强大的视听语音表示。这将有利于提高视听语音识别（AVSR）性能，因为多模态输入原则上包含更多有用的信息。在本文中，基于现有的自监督表示学习方法的音频模态，因此，我们提出了一个视听表示学习方法。所提出的方法探讨了视听形式的互补性和长期的上下文依赖性，使用基于变换器的融合模块和灵活的掩蔽策略。经过预训练，该模型能够提取AVSR所需的融合表示。不失一般性，它可以应用于单模态任务，例如，通过简单地屏蔽融合模块中的一个模态来进行音频/视觉语音识别。建议的预训练模型进行评估语音识别和唇读任务使用一个或两个模态，其中的优越性被揭示。
2022-07-10 cs.SD eess.AS eess.IV
Audio-visual Speech Separation with Adversarially Disentangled Visual Representation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
语音分离的目的是从多个同时讲话者的音频混合中分离出单个语音。虽然纯音频的方法取得了令人满意的性能，他们建立在一个战略，以处理预定义的条件，限制其应用在复杂的听觉场景。针对鸡尾酒会问题，提出了一种新的视听语音分离模型。在我们的模型中，我们使用人脸检测器来检测场景中说话者的数量，并使用视觉信息来避免排列问题。为了提高我们的模型的泛化能力，未知的扬声器，我们提取语音相关的视觉特征显式的视觉输入的adversarially解开的方法，并使用此功能来协助语音分离。此外，采用时域方法，避免了时频领域模型中存在的相位重构问题。为了比较我们的模型与其他模型的性能，我们创建了两个基准数据集的2扬声器混合从GRID和TCDTIMIT视听数据集。通过一系列的实验，我们提出的模型被证明优于国家的最先进的音频模型和三个视听模型。
2020-11-29 cs.CV cs.SD eess.AS
ReVISE: Self-Supervised Speech Resynthesis with Visual Input for Universal and Generalized Speech Enhancement
Meta AI Research（Meta人工智能研究院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Meta Reality Labs Research（Meta现实实验室）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
关于利用视觉输入改善语音质量的现有技术通常分别研究每种类型的听觉失真（例如，分离、修复、视频到语音）并呈现定制的算法。本文提出将这些学科结合起来，研究广义语音增强，其目标不是重建精确的参考干净信号，而是专注于改善语音的某些方面。特别是，本文关注的可懂度，质量和视频同步。我们将这个问题归结为视听语音再合成，它包括两个步骤：伪视听语音识别（P-AVSR）和伪文本到语音合成（P-TTS）。P-AVSR和P-TTS由来自自监督语音模型的离散单元连接。此外，我们利用自监督视听语音模型初始化P-AVSR。该模型被称为ReVISE。ReVISE是第一个用于野外视频到语音合成的高质量模型，并通过单个模型在所有LRS 3视听增强任务上实现了卓越的性能。为了证明其在现实世界中的适用性，还在EasyCom上对ReVISE进行了评估，EasyCom是在具有挑战性的声学条件下收集的视听基准，只有1.6小时的训练数据。同样，ReVISE极大地抑制了噪声并提高了质量。项目页面：https://wnhsu.github.io/ReVISE。
2022-12-21 cs.CV cs.LG cs.SD
Deep Variational Generative Models for Audio-visual Speech Separation
Inria Nancy Grand-Est（法国国家信息与自动化研究所南锡-大东部分所）
在本文中，我们感兴趣的视听语音分离给定的单通道音频记录以及与每个扬声器相关的视觉信息（嘴唇运动）。我们提出了一个无监督的技术的基础上视听生成模型的干净的语音。更具体地，在训练期间，使用变分自动编码器（VAE）从干净的语音频谱图学习潜变量生成模型。为了更好地利用视觉信息，潜变量的后验是从混合语音（而不是干净的语音）以及视觉数据中推断出来的。视觉模态也通过视觉网络作为潜在变量的先验。在测试时，学习的生成模型（用于说话者无关和说话者相关场景）与用于背景噪声的无监督非负矩阵分解（NMF）方差模型相结合。所有的潜变量和噪声参数，然后估计的蒙特卡罗期望最大化算法。我们的实验表明，所提出的基于无监督VAE的方法比基于NMF的方法以及基于监督深度学习的技术具有更好的分离性能。
2021-08-31 cs.LG cs.SD eess.AS
Attention-Based Keyword Localisation in Speech using Visual Grounding
Stellenbosch University（斯泰伦博斯大学）
基于视觉的语音模型从与语音字幕配对的图像中学习。通过使用具有固定词汇表的经训练的视觉分类器来标记具有软文本标签的图像，先前的工作已经表明，可以训练可以检测特定文本关键字是否出现在语音话语中的模型。在这里，我们调查是否视觉接地语音模型也可以做关键字本地化：预测，在话语中，一个给定的文本关键字出现没有任何明确的基于文本或对齐监督。我们特别考虑将注意力纳入卷积模型是否有利于定位。虽然视觉监督模型的绝对本地化性能仍然是适度的（相比使用无序的词袋文本标签进行监督），我们表明，注意力提供了一个很大的增益性能比以前的视觉接地模型。在许多其他的语音图像研究中，我们发现，许多不正确的定位是由于语义混乱，例如，定位单词“仰泳”的查询关键字“游泳”。
2021-06-23 cs.CL cs.SD eess.AS
Intuitive Multilingual Audio-Visual Speech Recognition with a Single-Trained Model
KAIST（韩国科学技术院）
提出一种基于提示微调的单一多语言音视频语音识别模型，通过捕捉语言间相似性与差异实现直观语言区分，减少了对特定语言模型的依赖。
2023-10-23 cs.MM cs.SD eess.AS
XLAVS-R: Cross-Lingual Audio-Visual Speech Representation Learning for Noise-Robust Speech Perception
University of Maryland（马里兰大学）；Meta AI
针对多语言视听数据稀缺问题，提出 XLAVS-R 表示模型，基于纯音频多语言预训练并简化 AV 预训练，在 MuAViC 上显著提升含噪语音识别与翻译性能。
2024-08-12 cs.CL cs.SD eess.AS
Learning Audio-Visual Speech Representation by Masked Multimodal Cluster Prediction
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Meta AI
语音的视频记录包含相关的音频和视觉信息，为从说话者的嘴唇运动和产生的声音学习语音表示提供强信号。我们介绍了视听隐藏单元BERT（AV-HuBERT），一个自监督的表示学习框架的视听语音，掩盖多流视频输入和预测自动发现和迭代细化的多模态隐藏单元。AV-HuBERT学习强大的视听语音表示，同时受益于唇读和自动语音识别。在最大的公共唇读基准测试LRS 3（433小时）中，AV-HuBERT仅用30小时的标记数据就实现了32.5%的WER，优于之前用1000倍的转录视频数据（31 K小时）训练的最先进的方法（33.6%）。当使用来自LRS 3的所有433小时标记数据并结合自我训练时，唇读WER进一步降低到26.9%。使用我们的音频-视频表示在相同的基准上进行纯音频语音识别，导致相对于最先进的性能（1.3%vs 2.3%）的40%的相对WER降低。我们的代码和模型可在https://github.com/facebookresearch/av_hubert上获得
2022-03-13 cs.CV cs.SD eess.AS
Separate in the Speech Chain: Cross-Modal Conditional Audio-Visual Target Speech Extraction
Xi’an Jiaotong University（西安交通大学）
本文提出AVSepChain，将音视频目标语音提取分为语音感知与生成两阶段，通过交换音视频模态主导地位并引入对比语义匹配损失，缓解模态不平衡，在多个基准上取得优越性能。
2024-05-05 cs.CV cs.LG cs.MM
AV-TranSpeech: Audio-Visual Robust Speech-to-Speech Translation
Zhejiang University（浙江大学）；ByteDance（字节跳动）
提出首个无需中间文本的音视频语音到语音翻译模型AV-TranSpeech，通过自监督预训练和跨模态蒸馏缓解数据稀缺问题，在噪声环境下显著优于纯音频模型。
2023-05-24 cs.CL cs.SD eess.AS
Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation and Recognition
Chinese University of Hong Kong（香港中文大学）
本文提出将视觉信息全面融入多通道语音分离、去混响和识别各组件，并通过端到端联合微调最小化前端增强与后端ASR的误差不匹配，在LRS2数据集上显著降低词错误率。
2023-07-06 cs.AI cs.SD eess.AS
Analyzing Utility of Visual Context in Multimodal Speech Recognition Under Noisy Conditions
Carnegie Mellon University（卡内基梅隆大学）
多模态学习允许我们利用来自多个来源（视觉，听觉和文本）的信息，类似于我们对现实世界的体验。然而，目前还不清楚辅助模式在多大程度上改善了单峰模型的性能，以及在什么情况下辅助模式是有用的。我们研究了在对抗环境中多模态自动语音识别中辅助视觉上下文的实用性，其中我们在推理时间期间从部分音频信号中剥夺模型。我们的实验表明，虽然MMASR模型显示出显着的收益超过传统的语音到文本架构（高达4.2%的WER改进），他们不纳入视觉信息时，音频信号已损坏。这表明，目前的方法集成的视觉模态不提高模型的鲁棒性噪声，我们需要更好的视觉接地适应技术。
2019-12-28 cs.CL cs.SD eess.AS
Robust LLM-based Audio-Visual Speech Recognition with Sparse Modality Alignment and Visual Unit-Guided Refinement
School of Computer Science, Wuhan University, China（武汉大学计算机学院）；School of Artificial Intelligence, Wuhan University, China（武汉大学人工智能学院）；School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）人工智能学院）；AI Center, OPPO, China（OPPO人工智能中心）；Digital Innovation Research Center, Duke Kunshan University, China（杜克大学昆山数字创新研究中心）
本文提出AVUR-LLM，通过稀疏模态对齐和视觉单元引导细化，提升音频视觉语音识别的鲁棒性，在LRS3数据集上取得显著性能提升。
2026-03-04 cs.MM cs.SD eess.AS
Audio-visual multi-channel speech separation, dereverberation and recognition
Tencent AI Lab（腾讯人工智能实验室）
尽管自动语音识别（ASR）技术发展迅速，但到目前为止，以来自重叠扬声器、背景噪声和房间混响的干扰为特征的鸡尾酒会语音的准确识别仍然是一项极具挑战性的任务。受视觉模态对声学信号破坏的不变性的激励，已经开发了视听语音增强技术，尽管主要针对重叠的语音分离和识别任务。本文提出了一种视听多通道语音分离、去混响和识别的方法，该方法的特点是在系统的所有三个阶段都充分结合了视觉信息。额外的视觉模态的优势，仅使用音频证明了两个神经去混响方法的基础上DNN-WPE和频谱映射。分离和去混响模型之间的学习成本函数失配以及它们与后端识别系统的集成使用MSE和LF-MMI标准的微调来最小化。在LRS 2数据集上进行的实验表明，所提出的视听多通道语音分离、去混响和识别系统的性能优于不含去混响模块的基线视听多通道语音分离和识别系统，其统计显著的字出错率（WER）绝对降低了2.06%（相对降低了8.77%）。
2022-04-08 cs.CV cs.MM cs.SD
Seeing Through the Conversation: Audio-Visual Speech Separation based on Diffusion Model
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出基于扩散模型的音视频语音分离方法AVDiffuSS，通过交叉注意力特征融合机制整合音视频音素信息，在VoxCeleb2和LRS3上取得最优结果并显著提升语音自然度。
2023-10-30 cs.CV cs.SD eess.AS
Correlating Subword Articulation with Lip Shapes for Embedding Aware Audio-Visual Speech Enhancement
University of Science and Technology of China（中国科学技术大学）；iFlytek Research, iFlytek Co., Ltd.（科大讯飞研究院，科大讯飞股份有限公司）；Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们提出了一个视觉嵌入的方法，以提高嵌入感知语音增强（EASE）的同步视觉唇帧在手机和地方的清晰度水平。我们首先提取视觉嵌入唇帧使用预先训练的电话或发音的地方识别器的视觉只EASE（VEASE）。接下来，我们提取视听嵌入噪声语音和唇视频中的信息交叉的方式，利用音频和视觉功能的互补性多模态EASE（MEASE）。在模拟加性噪声污染的TCD-TIMIT语料库上的实验表明，我们提出的基于子词的VEASE方法比传统的词级嵌入方法更有效。此外，在发音位置水平上的视觉嵌入，利用发音位置和嘴唇形状之间的高度相关性，显示出比在电话水平上更好的性能。最后，建议的MEASE框架，结合音频和视频嵌入，产生显着更好的语音质量和清晰度比最好的视觉和音频的EASE系统。
2020-09-21 cs.LG cs.SD eess.AS
Looking to Listen at the Cocktail Party: A Speaker-Independent Audio-Visual Model for Speech Separation
Google Research（谷歌研究院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
我们提出了一个联合视听模型，用于从混合的声音（如其他扬声器和背景噪声）中分离出单个语音信号。仅使用音频作为输入来解决该任务是极具挑战性的，并且不提供分离的语音信号与视频中的说话者的关联。在本文中，我们提出了一个基于深度网络的模型，该模型结合了视觉和听觉信号来解决这一任务。视觉特征用于将音频“聚焦”在场景中的期望扬声器上，并提高语音分离质量。为了训练我们的联合视听模型，我们引入了AVSpeech，这是一个由来自Web的数千小时视频片段组成的新数据集。我们证明了我们的方法的适用性，经典的语音分离任务，以及现实世界中的场景，涉及激烈的采访，嘈杂的酒吧，尖叫的孩子，只需要用户指定的人的脸在视频中的讲话，他们要隔离。在混合语音的情况下，我们的方法比最先进的仅音频语音分离具有明显的优势。此外，我们的模型是独立于说话者的（训练一次，适用于任何说话者），比最近的依赖于说话者的视听语音分离方法（需要为每个感兴趣的说话者训练一个单独的模型）产生更好的结果。
2018-08-09 cs.CV cs.SD eess.AS
TDFNet: An Efficient Audio-Visual Speech Separation Model with Top-down Fusion
Tsinghua University（清华大学）；Chinese Institute for Brain Research（北京脑科学与类脑研究所）
本文提出基于 TDANet 的音视语音分离模型 TDFNet，通过自顶向下融合视觉信息，在 LRS2-2Mix 上以更少参数和 28% MACs 超越 CTCNet，指标最高提升 10%。
2024-01-25 cs.AI cs.SD eess.AS
Whisper-Flamingo: Integrating Visual Features into Whisper for Audio-Visual Speech Recognition and Translation
本文提出Whisper-Flamingo，通过门控交叉注意力将视觉特征融入Whisper，在LRS2/LRS3上取得最先进AVSR性能，并支持多语言音视频识别与翻译。
2024-11-19 cs.CV cs.SD eess.AS
Exploring a Single Autoregressive LLM for Unified Target Speech Extraction across Synchronous and Asynchronous Cues
TSE-Omni利用单一自回归LLM，通过自注册的下一令牌预测统一处理同步和异步线索的目标语音提取，在干净和损坏视觉下均保持高性能，支持流式推理。
2026-09-25 cs.MM cs.SD eess.AS
Noise Adaptive Streaming Audio-Visual Speech Token Enhancement for Robust Full-Duplex Spoken Dialogue Models
KAIST（韩国科学技术院）
提出模块化流式音视频前端AV-STE，在语音LLM前从噪声音频和唇部视频恢复语义令牌，冻结下游模型，提升全双工对话鲁棒性，响应连贯性显著提高。
2026-09-09 cs.AI cs.HC cs.SD
AV2Wav: Diffusion-Based Re-synthesis from Continuous Self-supervised Features for Audio-Visual Speech Enhancement
AV2Wav提出基于扩散模型的再合成音视频语音增强方法，利用AV-HuBERT连续特征和噪声鲁棒训练，在真实数据下生成干净语音，优于掩蔽基线。
2024-11-04 cs.CL cs.SD eess.AS
Multi-layer Feature Fusion Convolution Network for Audio-visual Speech Enhancement
Trinity College Dublin（都柏林圣三一学院）；HBUCM（湖北中医药大学）
语音增强可以潜在地受益于来自目标说话者的视觉信息，诸如嘴唇运动和面部表情，因为语音的视觉方面基本上不受声学环境的影响。在本文中，我们解决的问题，增强损坏的语音信号从视频中使用视听（AV）神经处理。大多数最近的AV语音增强方法分别处理声学和视觉特征，并通过一个简单的级联操作融合它们。虽然这种策略方便且易于实施，但它有两个主要缺点：1）言语感知中的证据表明，在人类中，AV整合发生在非常早期的阶段，与先前的模型相反，先前的模型在早期阶段分别处理两种模态并且仅在后期阶段将它们组合，从而使得系统不太鲁棒，以及2）简单的连接不允许控制如何处理来自声学和视觉模态的信息。为了克服这些缺点，我们提出了一种多层特征融合卷积网络（MFFCN），它分别处理声学和视觉模态，以保留每种模态的特征，同时在编码阶段逐层融合两种模态的特征，以享受人类AV语音感知。此外，考虑到两种模式之间的平衡，我们设计了通道和频谱注意机制，以提供额外的灵活性，在处理不同类型的信息扩展卷积神经网络的代表性能力。实验结果表明，所提出的MFFCN网络的性能优于国家的最先进的模型。
2022-05-23 cs.SD eess.AS eess.IV
