Robust Unsupervised Audio-visual Speech Enhancement Using a Mixture of Variational Autoencoders
Inria Grenoble Rh\ o ne-Alpes, France
近年来，提出了一种基于变分自编码器（VAE）的视听语音生成模型，该模型结合噪声方差的非负矩阵分解（NMF）模型实现无监督语音增强。当视觉数据是干净的，语音增强与视听VAE表现出更好的性能比与仅音频VAE，这是在仅音频数据上训练。然而，视听VAE对于噪声视觉数据（例如，当对于某些视频帧，说话人面部不是正面或嘴唇区域被遮挡时。本文提出了一种基于逐帧VAE混合模型的鲁棒无监督音视频语音增强方法。该混合模型由训练的仅音频VAE和训练的视听VAE组成。其动机是通过切换到仅音频VAE模型来跳过嘈杂的视觉帧。我们提出了一种变分期望最大化方法来估计模型的参数。实验结果表明，该方法具有良好的性能。
2019-11-10 cs.LG cs.SD eess.AS
Deep-Learning-Based Audio-Visual Speech Enhancement in Presence of Lombard Effect
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
当在存在背景噪声的情况下说话时，人类反射性地改变他们说话的方式，以提高他们的语音的可理解性。这种反射被称为Lombard效应。在伦巴第条件下收集语音通常是困难和昂贵的。出于这个原因，语音增强系统通常在安静时记录的语音上进行训练和评估，其中人为地向语音添加噪声。由于这些系统通常用于发生伦巴德语音的情况，因此在这项工作中，我们分析了伦巴德效应对音频，视觉和视听语音增强的影响，重点是基于深度学习的系统，因为它们代表了该领域的最新技术水平。我们进行了几个实验，使用视听伦巴第语语料库由54个不同的谈话者所说的话语。结果表明，使用Lombard语音训练基于深度学习的模型在低信噪比下的估计语音质量和估计语音清晰度方面都是有益的，其中视觉模态可以在声学挑战情况下发挥重要作用。我们还发现，性别之间的性能差异存在，由于男性和女性表现出不同的伦巴第语，我们分析它与声学和视觉功能。此外，用视听刺激进行的听力测试表明，在-5 dB的信噪比下，用Lombard语音训练的系统处理的信号的语音质量在统计上显著优于用非Lombard语音训练的系统获得的语音质量。关于语音可懂度，我们发现了一个普遍的趋势，在训练系统与伦巴第语的好处。
2019-05-29 cs.LG eess.AS
Audio2Face: Generating Speech/Face Animation from Single Audio with Attention-Based Bidirectional LSTM Networks
Zhejiang University（浙江大学）；Netease（网易）
我们提出了一种端到端的深度学习方法，用于仅从音频生成实时面部动画。具体而言，我们的深层架构采用深层双向长短期记忆网络和注意力机制来发现语音中时变上下文信息的潜在表征，并识别有助于特定人脸状态的不同信息的重要性。因此，我们的模型能够在推理时驱动不同级别的面部运动，并自动跟上输入音频中相应的音高和潜在的说话风格，而无需假设或进一步的人为干预。实验结果表明，该方法不仅可以从音频中准确地生成嘴唇运动，而且可以成功地回归说话人随时间变化的面部运动。
2019-05-27 cs.CV cs.LG cs.SD
Learning Contextually Fused Audio-visual Representations for Audio-visual Speech Recognition
University of Science and Technology of China（中国科学技术大学）；iFlytek Research, iFlytek Co., Ltd.（科大讯飞股份有限公司讯飞研究院）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
随着自监督学习在音频和视觉模态的进步，它已经成为可能学习一个强大的视听语音表示。这将有利于提高视听语音识别（AVSR）性能，因为多模态输入原则上包含更多有用的信息。在本文中，基于现有的自监督表示学习方法的音频模态，因此，我们提出了一个视听表示学习方法。所提出的方法探讨了视听形式的互补性和长期的上下文依赖性，使用基于变换器的融合模块和灵活的掩蔽策略。经过预训练，该模型能够提取AVSR所需的融合表示。不失一般性，它可以应用于单模态任务，例如，通过简单地屏蔽融合模块中的一个模态来进行音频/视觉语音识别。建议的预训练模型进行评估语音识别和唇读任务使用一个或两个模态，其中的优越性被揭示。
2022-07-10 cs.SD eess.AS eess.IV
On Training Targets and Objective Functions for Deep-Learning-Based Audio-Visual Speech Enhancement
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
视听语音增强（AV-SE）是利用来自说话者的音频和视频信息来改善噪声环境中的语音质量和可懂度的任务。最近，已经采用深度学习技术来以监督的方式解决AV-SE任务。在这种情况下，目标的选择，即要估计的数量，以及用于训练的量化该估计的质量的目标函数，对于性能至关重要。这项工作是第一个提出了一系列不同的目标和目标函数的实验研究，用于训练基于深度学习的AV-SE系统。结果表明，直接估计掩模的方法在估计的语音质量和可懂度方面整体表现最好，尽管直接估计对数幅度谱的模型在估计的语音质量方面表现良好。
2018-11-15 cs.LG cs.SD eess.AS
Audio-visual video-to-speech synthesis with synthesized input audio
Imperial College London（帝国理工学院）；University of Athens（雅典大学）
本文研究视频转语音中训练与推理均利用音频输入的效果，提出用预训练模型合成语音并与无声视频共同训练视听合成模型，在波形和梅尔频谱图目标上均有效。
2023-07-31 cs.CV cs.LG cs.SD
Can Synthetic Audio From Generative Foundation Models Assist Audio Recognition and Speech Modeling?
USC（南加州大学）；Amazon（亚马逊公司）
本文研究生成式基础模型产生的合成音频能否辅助音频识别与语音建模，通过将其用作训练数据和数据增强资源进行实验，验证了合成音频在两类任务中的潜力。
2024-08-29 cs.LG cs.SD eess.AS
Audio-Visual Speech Separation Using Cross-Modal Correspondence Loss
NTT Media Intelligence Laboratories, NTT Corporation（NTT（日本电报电话公司）媒体情报研究所）
提出了一种视听语音分离学习方法，该方法在训练过程中考虑分离信号与视觉信号的对应关系来反映语音特征。视听语音分离是一种利用说话人的视觉信号从混合语音中分离出单个语音信号的技术。传统的视听语音分离研究主要是对分离模型进行纯音频损失的训练，纯音频损失反映了源信号与分离信号之间的距离。然而，传统的损失不能反映语音信号的特征，包括说话者的特征和语音信息，这导致失真或残留噪声。为了解决这个问题，我们提出了跨模态对应（CMC）损失，这是基于共现的语音信号和视觉信号。由于视觉信号不受背景噪声的影响，并且包含说话人和语音信息，因此使用CMC损失使得视听语音分离模型能够在去除噪声的同时保留语音特征。实验结果表明，该方法在CMC损失的基础上学习同现，提高了分离性能。
2021-03-02 cs.LG cs.SD eess.AS
Audio-visual Speech Enhancement Using Conditional Variational Auto-Encoders
Inria Grenoble Rhône-Alpes（法国国立信息学与自动化研究院罗讷-阿尔卑斯格勒诺布尔研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CentraleSupélec（中央理工-高等电力学院）；GIPSA-Lab（GIPSA实验室）
变分自动编码器（VAE）是深度生成潜变量模型，可用于学习复杂数据的分布。VAE已经成功地用于学习语音信号的概率先验，然后用于执行语音增强。这种生成方法的一个优点是，它在训练时不需要成对的干净和有噪声的语音信号。在本文中，我们提出了视听变体的VAE单通道和扬声器无关的语音增强。我们开发了一个条件VAE（CVAE）的音频语音生成过程是有条件的嘴唇区域的视觉信息。在测试时，视听语音生成模型与基于非负矩阵分解的噪声模型相结合，语音增强依赖于蒙特卡洛期望最大化算法。实验进行了最近发表的NTCD-TIMIT数据集以及GRID语料库。实验结果表明，提出的音视频CVAE模型有效地融合了音视频信息，与纯音频VAE模型相比，提高了语音增强性能，特别是在语音信号受噪声严重污染的情况下。我们还表明，所提出的无监督视听语音增强方法优于最先进的监督深度学习方法。
2020-05-26 cs.LG cs.SD eess.AS
LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders
Imperial College London（帝国理工学院）；Meta Reality Labs Research（Meta现实实验室）；Meta
视听语音增强的目的是从噪声环境中提取干净的语音，不仅利用音频本身，而且还利用目标说话人的嘴唇运动。这种方法已被证明是产生改进的音频语音增强，特别是对于干扰语音的去除。尽管最近在语音合成方面取得了进展，但大多数视听方法继续使用频谱映射/掩蔽来再现干净的音频，通常导致视觉骨干被添加到现有的语音增强架构中。在这项工作中，我们提出了LA-VocE，一种新的两阶段方法，通过基于变换器的架构从嘈杂的视听语音中预测梅尔频谱图，然后使用神经声码器（HiFi-GAN）将其转换为波形音频。我们对数千名说话者和11种以上不同的语言进行了训练和评估，并研究了我们的模型适应不同水平背景噪声和语音干扰的能力。我们的实验表明，LA-VocE优于现有的方法，根据多个指标，特别是在非常嘈杂的情况下。
2023-03-13 cs.CV cs.LG cs.SD
JASPER: Joint Audio and Speech Pre-trained Encoder Representations
LEAP Laboratory, Electrical Engineering, Indian Institute of Science（印度科学学院电气工程学院LEAP实验室）
JASPER通过向语音预训练模型添加时频目标，实现频谱-时间表示学习，在语音、音频和音乐任务上优于现有基线，验证了统一建模的有效性。
2026-09-24 eess.AS
AV-CPL: Continuous Pseudo-Labeling for Audio-Visual Speech Recognition
MIT（麻省理工学院）；Apple（苹果公司）
本文提出半监督 AV-CPL 框架，利用同一视听模型在有标签和无标签视频上连续生成伪标签，在保持 ASR/AVSR 性能的同时显著提升 LRS3 上的 VSR 效果。
2023-09-29 cs.LG cs.SD eess.AS
Real-Time System for Audio-Visual Target Speech Enhancement
Bose Corporation（博世公司）；Georgia Institute of Technology（佐治亚理工学院）
本文介绍RAVEN，一个完全在CPU上运行的实时音视频语音增强系统，利用预训练视觉嵌入编码嘴唇运动，以增强目标语音并抑制干扰，适用于多种噪声和干扰场景。
2025-09-25 cs.ET cs.LG eess.AS
DeepVOX: Discovering Features from Raw Audio for Speaker Recognition in Non-ideal Audio Signals
Michigan State University（密歇根州立大学）
自动说话人识别算法通常使用预定义的滤波器组，例如梅尔频率和伽玛通滤波器组，用于表征语音音频。然而，已经观察到，使用这些滤波器组提取的特征对于各种音频劣化没有弹性。在这项工作中，我们提出了一种基于深度学习的技术，可以从大量的语音音频中推导出滤波器组的设计。这样的滤波器组的目的是提取对非理想音频条件（诸如降级、短持续时间和多语言语音）鲁棒的特征。为此，设计了一个1D卷积神经网络，用于直接从原始语音音频中学习称为DeepVOX的时域滤波器组。其次，开发了一种自适应三元组挖掘技术，以有效地挖掘最适合训练滤波器组的数据样本。第三，对DeepVOX滤波器组的详细消融研究揭示了提取特征中声源和声道特征的存在。在VOXCeleb 2，NIST SRE 2008，2010和2018以及Fisher语音数据集上的实验结果证明了DeepVOX功能在各种降级，短持续时间和多语言语音中的有效性。DeepVOX的功能还可以提高现有说话人识别算法的性能，例如xVector-PLDA和iVector-PLDA。
2022-06-13 cs.LG eess.AS
Should we hard-code the recurrence concept or learn it instead ? Exploring the Transformer architecture for Audio-Visual Speech Recognition
Trinity College Dublin（都柏林圣三一学院）
视听语音融合策略AV Align在具有挑战性的LRS2数据集上的视听语音识别（AVSR）中表现出显着的性能改进。性能提高范围在7%到30%之间，具体取决于除了听觉模态之外还利用语音的视觉模态时的噪声水平。这项工作提出了AV Align的一个变体，其中经常性的长短期记忆（LSTM）计算块被最近提出的Transformer块取代。我们比较了这两种方法，更详细地讨论了它们的优点和缺点。我们发现，Transformers也学习跨模态单调对齐，但与LSTM模型一样存在视觉收敛问题，需要对机器学习中的主导模态问题进行更深入的研究。
2020-05-19 cs.LG eess.AS
Conformer-Based Self-Supervised Learning for Non-Speech Audio Tasks
Facebook（脸书）
从未标记数据中进行表示学习一直是人工智能研究的热点。虽然自监督语音表示学习已经在语音研究界流行，但很少有作品全面分析非语音音频任务的音频表示学习。在本文中，我们提出了一种自监督的音频表示学习方法，并将其应用于各种下游的非语音音频任务。我们结合了著名的wav2vec 2.0框架，它已经成功地在自监督学习的语音任务，参数高效的构象架构。我们的自我监督预训练可以将对标记数据的需求减少三分之二。在AudioSet基准测试中，我们实现了0.415的平均精度（mAP）得分，这是通过仅音频自监督学习在该数据集上的最新技术水平。我们的微调构象也超过或匹配以前的系统在几个下游任务的监督方式预训练的性能。我们进一步讨论了预训练和微调的重要设计考虑因素。
2022-01-07 cs.LG cs.SD eess.AS
SaSLaW: Dialogue Speech Corpus with Audio-visual Egocentric Information Toward Environment-adaptive Dialogue Speech Synthesis
本研究提出含第一人称视听同步数据的自发对话语音语料库SaSLaW，用于建模人类的环境语音调整行为，实验证明融合听觉音频数据的TTS模型比普通模型的环境自适应语音合成效果更合理。
2024-08-13 eess.AS
MuAViC: A Multilingual Audio-Visual Corpus for Robust Speech Recognition and Robust Speech-to-Text Translation
Meta AI
我们介绍MuAViC，一个多语言的视听语料库，用于强大的语音识别和强大的语音到文本的翻译，提供1200小时的视听语音在9种语言。它完全转录，涵盖6个英语到X的翻译以及6个X到英语的翻译方向。据我们所知，这是第一个视听语音到文本翻译的开放基准，也是多语言视听语音识别的最大开放基准。我们的基线结果表明，MuAViC是有效的建立噪声鲁棒的语音识别和翻译模型。我们在https://github.com/facebookresearch/muavic上提供语料库。
2023-03-07 cs.CL eess.AS
Prompt Amplification and Zero-Shot Late Fusion in Audio-Language Models for Speech Emotion Recognition
School of Nursing Emory University Atlanta, USA（埃默里大学护理学院，美国亚特兰大）
本文提出ZS-Fuse方法，结合双编码器音频-语言模型与领域专家模型，通过提示放大技术提升零样本语音情感识别性能。
2026-03-24 cs.LG eess.AS
AV2AV: Direct Audio-Visual Speech to Audio-Visual Speech Translation with Unified Audio-Visual Speech Representation
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
本文提出AV2AV框架，通过自监督学习统一的视听语音表示并用A2A数据集训练，实现直接从视听语音到视听语音的翻译，结合零样本说话人建模的AV-Renderer并行生成音视频，提升了多语种虚拟会议的对话体验与系统在噪声下的鲁棒性。
2024-03-26 cs.AI cs.CV cs.MM
Investigating the Lombard Effect Influence on End-to-End Audio-Visual Speech Recognition
Imperial College London（帝国理工学院）；Samsung AI Center, Cambridge（三星人工智能中心（剑桥））
最近提出了几种视听语音识别模型，其目的是在存在噪声的情况下提高仅音频模型的鲁棒性。然而，几乎所有的人都忽略了伦巴第效应的影响，即，在嘈杂的环境中说话风格的改变，目的是使讲话更容易理解，并影响讲话的声学特征和嘴唇的运动。在本文中，我们调查的影响，伦巴第效应在视听语音识别。据我们所知，这是第一个使用端到端深度架构并在看不见的扬声器上呈现结果的工作。我们的研究结果表明，适当的建模伦巴第语总是有益的。即使将相对少量的Lombard语音添加到训练集中，也可以显着改善存在嘈杂Lombard语音的真实场景中的性能。我们还表明，在文献中遵循的标准方法，其中模型在嘈杂的普通语音上进行训练和测试，提供了对仅视频性能的正确估计，并且略微低估了视听性能。在仅音频方法的情况下，对于高于-3dB的SNR，性能被高估，而对于较低的SNR，性能被低估。
2019-07-09 cs.CV eess.AS eess.IV
Audio-visual speech enhancement with a deep Kalman filter generative model
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用研究所）
基于变分自编码器（VAE）的深层潜变量生成模型在视听语音增强（AVSE）中表现出良好的性能。其基本思想是学习一个基于VAE的视听先验分布的干净的语音数据，然后将其与统计噪声模型，以恢复一个语音信号从嘈杂的音频记录和视频（嘴唇图像）的目标说话人。为AVSE开发的现有生成模型没有考虑语音数据的顺序性质，这阻止了它们完全结合视觉数据的力量。在本文中，我们提出了一个视听深度卡尔曼滤波器（AV-DKF）生成模型，假设一阶马尔可夫链模型的潜在变量，并有效地融合视听数据。此外，我们开发了一个有效的推理方法来估计语音信号在测试时间。我们进行了一组实验，比较不同的语音增强生成模型的变体。结果表明，AV-DKF模型的优越性相比，它的音频版本和非顺序的音频和视听VAE为基础的模型。
2022-11-02 cs.CV cs.LG cs.SD
AKVSR: Audio Knowledge Empowered Visual Speech Recognition by Compressing Audio Knowledge of a Pretrained Model
Electronics and Telecommunications Research Institute (ETRI)（韩国电子通信研究院）
本文提出AKVSR框架，通过压缩大规模预训练音频模型的知识为紧凑音频记忆，并利用音频桥接模块匹配特征，在无需音频输入的情况下增强视觉语音识别，在LRS3数据集上取得最优性能。
2024-01-12 cs.CV cs.MM eess.AS
Separate in the Speech Chain: Cross-Modal Conditional Audio-Visual Target Speech Extraction
Xi’an Jiaotong University（西安交通大学）
本文提出AVSepChain，将音视频目标语音提取分为语音感知与生成两阶段，通过交换音视频模态主导地位并引入对比语义匹配损失，缓解模态不平衡，在多个基准上取得优越性能。
2024-05-05 cs.CV cs.LG cs.MM
Spectral Codecs: Improving Non-Autoregressive Speech Synthesis with Spectrogram-Based Audio Codecs
本文提出一种基于有限标量量化压缩梅尔频谱图的频谱编解码器，以替代残差向量量化音频编解码器，从而改善非自回归语音合成模型的性能与质量。
2025-06-04 eess.AS
On the Role of Visual Cues in Audiovisual Speech Enhancement
Apple（苹果公司）
我们提出了一个视听语音增强模型的反省。特别是，我们专注于解释神经视听语音增强模型如何使用视觉线索，以提高目标语音信号的质量。我们发现，视觉线索不仅提供有关言语活动的高层次信息，即，语音/沉默，而且还有关于发音位置的细粒度视觉信息。这一发现的一个副产品是，学习的视觉嵌入可以用作其他视觉语音应用程序的功能。我们证明了学习的视觉嵌入分类视位（视觉类比音素）的有效性。我们的研究结果提供了深入了解视听语音增强的重要方面，并展示了如何使用这些模型的视觉语音应用程序的自我监督任务。
2021-02-25 cs.CL cs.CV cs.LG
Robust Self-Supervised Audio-Visual Speech Recognition
Meta AI
基于音频的自动语音识别（ASR）在噪声环境中会显著降低，并且特别容易受到干扰语音的影响，因为模型无法确定要转录哪个说话者。视听语音识别（AVSR）系统通过用视觉信息补充音频流来提高鲁棒性，视觉信息对噪声是不变的，并且帮助模型聚焦于期望的说话者。然而，以前的AVSR工作只集中在监督学习设置上;因此，可用的标记数据量阻碍了进展。在这项工作中，我们提出了一个自监督AVSR框架上建立的视听休伯特（AV休伯特），一个国家的最先进的视听语音表示学习模型。在最大的AVSR基准数据集LRS 3上，我们的方法在存在串音噪声的情况下使用不到10%的标记数据（433小时与30小时），比现有技术的性能高出约50%（28.0%与14.1%），同时平均将基于音频的模型的WER降低了75%以上（25.8%与5.8%）。
2022-07-14 cs.CV cs.LG cs.SD
Learning Speech Representations from Raw Audio by Joint Audiovisual Self-Supervision
Imperial College London（帝国理工学院）；Samsung AI Centre, Cambridge（三星人工智能中心（剑桥））；Facebook London（Facebook（伦敦））
音频和视觉模态之间的直观交互对于跨模态自监督学习是有价值的。这一概念已被证明为通用的视听任务，如视频动作识别和声学场景分类。然而，自我监督仍然没有充分探讨视听讲话。我们提出了一种从原始音频波形中学习自监督语音表示的方法。我们训练一个原始的音频编码器相结合的音频只有自我监督（通过预测信息音频属性）与视觉自我监督（通过生成说话的脸从音频）。视觉托词任务驱动音频表示来捕获与嘴唇运动相关的信息。这丰富了音频编码器的视觉信息和编码器可以用于评估没有视觉模态。我们的方法相对于现有的自监督音频特征在已建立的孤立词分类基准上具有竞争力的性能，并且在从较少的标签中学习方面显着优于其他方法。值得注意的是，我们的方法还优于完全监督训练，从而为语音相关任务提供了强大的初始化。我们的研究结果表明，在视听语音学习良好的音频表示的多模态自我监督的潜力。
2020-07-08 cs.CL cs.CV cs.LG
Visual Context-driven Audio Feature Enhancement for Robust End-to-End Audio-Visual Speech Recognition
KAIST（韩国科学技术院）；Genesis Lab Inc.（Genesis Lab公司）
本文主要研究设计一个抗噪声的端到端音视频语音识别系统。为此，我们提出了视觉上下文驱动的音频特征增强模块（V-CAFE），以增强输入的嘈杂的音频语音与视听对应的帮助。所提出的V-CAFE的目的是捕捉过渡的嘴唇运动，即视觉上下文，并通过考虑所获得的视觉上下文生成降噪掩模。通过上下文相关的建模，可以细化视位到音素映射中的歧义以用于掩码生成。噪声表示用噪声降低掩模掩蔽，从而产生增强的音频特征。将增强后的音频特征与视觉特征相融合，并将其引入到由Conformer和Transformer组成的编码器-解码器模型中进行语音识别。我们提出的端到端AVSR与V-CAFE可以进一步提高噪声鲁棒性的AVSR。在噪声语音识别和重叠语音识别实验中，使用两个最大的视听数据集，LRS 2和LRS 3的所提出的方法的有效性进行评估。
2022-07-13 cs.AI cs.CV cs.MM
VoxEffects: A Speech-Oriented Audio Effects Dataset and Benchmark
National Institute of Informatics（信息理工学研究所）
本文提出VoxEffects数据集，通过精确的效果链标注，解决语音音频处理中效果和参数标注不足的问题，提供效果识别与评估基准，包含效果存在检测、预设分类和强度预测任务。
2026-04-14 eess.AS
Time Domain Audio Visual Speech Separation
Tencent AI Lab（腾讯人工智能实验室）
视听多模态建模已被证明是有效的许多语音相关的任务，如语音识别和语音增强。本文介绍了一种新的时域视听结构的目标说话人提取单声道混合。该结构对传统的TasNet（时域语音分离网络）进行了推广，实现了多模态学习，同时将经典的音视频语音分离从频域扩展到时域。提出的架构的主要组成部分包括一个音频编码器，视频编码器，提取唇嵌入视频流，多模态分离网络和音频解码器。基于最近发布的LRS 2数据集的模拟混合数据的实验表明，与纯音频的TasNet和频域视听网络相比，我们的方法在两个和三个扬声器的情况下分别可以带来3dB+和4dB+的Si-SNR改善
2019-09-22 cs.SD eess.AS
Speech enhancement with weakly labelled data from AudioSet
ByteDance（字节跳动）
语音增强是提高退化语音信号的可懂度和感知质量的任务。最近，基于神经网络的方法已经被应用于语音增强。然而，许多基于神经网络的方法需要噪声和干净的语音对用于训练。我们提出了一个语音增强框架，可以用大规模弱标记的AudioSet数据集进行训练。弱标记数据仅包含音频片段的音频标记，而不包含语音的起始或偏移时间。我们首先应用预训练的音频神经网络（PANNs）来检测音频片段中包含语音或声音事件的锚片段。然后，我们随机混合两个检测到的锚段包含语音和声音事件作为一个混合物，并建立一个条件声源分离网络使用PANN预测语音增强的软条件。在推理中，我们输入一个带噪的语音信号，其中“Speech”的独热编码作为训练系统的条件，以预测增强的语音。我们的系统在VoiceBank-DEMAND数据集上实现了2.28的PESQ和8.75 dB的SSNR，分别优于之前的2.16和7.73 dB的SEGAN系统。
2021-02-19 cs.SD eess.AS
The role of audio-visual integration in the time course of phonetic encoding in self-supervised speech models
Wang Liu Bell University of Edinburgh（王刘贝尔爱丁堡大学）
本研究通过对比AV-HuBERT与纯音频HuBERT的语音可解码性，发现AV-HuBERT未能充分捕捉多模态语音感知的时间动态，限制了对该过程建模的适用性。
2025-06-25 cs.SD eess.AS eess.IV
Speech inpainting: Context-based speech synthesis guided by video
Universitat Pompeu Fabra（庞培法布拉大学）；Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
针对受损语音片段的修复问题，本文提出由视频视觉线索和未受损音频上下文共同引导的音视频 transformer 模型，并验证 AV-HuBERT 特征可有效提升语音合成效果。
2023-06-01 cs.AI cs.SD eess.AS
What Are They Doing? Joint Audio-Speech Co-Reasoning
Research Center（研究中心）；Concordia University（康考迪亚大学）；Université de Montréal（蒙特利尔大学）；Mila（米拉（魁北克人工智能研究所））
针对音频语音任务多单模态的现状，本文提出JASCO联合音频-语音协同推理任务，发布对应场景推理数据集，构建基准探究ALLMs的跨模态推理能力，并分析模型对不同模态的依赖特性。
2025-01-12 cs.CL cs.SD eess.AS
Neural Speech Tracking in a Virtual Acoustic Environment: Audio-Visual Benefit for Unscripted Continuous Speech
Carl von Ossietzky University of Oldenburg（奥尔登堡大学）
本研究在虚拟声学环境中用非脚本自然语音探究视听增益，通过EEG和皮层语音追踪分析不同条件及说话者特征的影响，发现噪声下视听增强显著，唇部运动作用关键，验证了自然刺激下皮层语音追踪的可行性。
2025-01-14 cs.SD eess.AS
Towards audio language modeling -- an overview
National Taiwan University（台湾大学）；Massachusetts Institute of Technology（麻省理工学院）
本文系统综述了神经音频编解码器及其作为音频分词器用于构建音频语言模型的研究进展，梳理了高性能编解码器与基于编解码器的语言模型。
2024-02-20 cs.SD eess.AS
Meta-Learning in Audio and Speech Processing: An End to End Comprehensive Review
PES University（PES大学）
该文系统综述音频与语音处理中的元学习方法，涵盖数据、特征、元学习器、任务选择、数据集与应用，并展望未来方向。
2024-08-19 cs.LG cs.SD eess.AS
Enhancing Gappy Speech Audio Signals with Generative Adversarial Networks
Dublin City University（都柏林城市大学）；Insight Centre for Data Analytics（洞察数据分析中心）
本文利用生成对抗网络，通过将音频转化为梅尔频谱图进行图像修复，再经Parallel-WaveGAN声码器还原，实现长达320毫秒语音间隙的近乎实时高质量再生，在240毫秒间隙上达到3.737的MOS评分。
2023-05-09 cs.LG cs.SD eess.AS
Audio-Visual Speech Separation in Noisy Environments with a Lightweight Iterative Model
Tsinghua University（清华大学）；Universität Hamburg（汉堡大学）；Chinese Institute for Brain Research (CIBR)（中国脑科学研究所）
本文提出轻量级音视频迭代模型AVLIT，采用渐进学习和共享权重的A-FRCNN块，在噪声环境下实现高效音视频语音分离，实验证明其性能优于多种基线且适用于低资源场景。
2023-05-31 cs.LG cs.SD eess.AS
SAKURA: On the Multi-hop Reasoning of Large Audio-Language Models Based on Speech and Audio Information
National Taiwan University（国立台湾大学）
针对大型音频语言模型（LALMs）多跳推理能力缺乏系统评估的问题，本文提出SAKURA基准，实验表明LALMs难以整合语音/音频信息进行多跳推理，为该领域研究提供了资源与方向。
2025-08-24 cs.CL cs.SD eess.AS
USAD: Universal Speech and Audio Representation via Distillation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
USAD通过从领域特定SSL模型进行逐层蒸馏，将语音、声音和音乐统一到一个音频表示模型中，在SUPERB和HEAR等基准上以单一编码器取得接近最先进水平的性能。
2025-08-18 cs.CL cs.SD eess.AS
LongCat-Audio-Codec: An Audio Tokenizer and Detokenizer Solution Designed for Speech Large Language Models
LongCat Team（LongCat团队）；Meituan（美团）
本文提出LongCat-Audio-Codec，一种面向语音大语言模型的音频分词器，通过解耦架构和多阶段训练，实现低比特率、低延迟的高质量语音合成。
2025-10-17 cs.SD eess.AS
LSTMSE-Net: Long Short Term Speech Enhancement Network for Audio-visual Speech Enhancement
Indian Institute of Technology Indore（印度理工学院印多尔分校）；Edinburgh Napier University（爱丁堡龙比亚大学）
本文提出LSTMSE-Net这一听觉语音增强方法，通过提取视觉特征并结合音频特征处理，利用多模态数据和插值技术提升性能，在SISDR、STOI、PESQ指标上超过2024年COG-MHEAR AVSE挑战赛基线模型。
2024-09-03 cs.LG cs.MM cs.SD
Looking into Your Speech: Learning Cross-modal Affinity for Audio-visual Speech Separation
Yonsei University（延世大学）；Naver Corporation（Naver公司）；Korea Aerospace University（韩国航空大学）
在本文中，我们解决的问题，分离个人语音信号从视频使用视听神经处理。大多数常规方法利用逐帧匹配准则来提取共现音频与视频之间的共享信息。因此，他们的表现在很大程度上取决于视听同步的准确性和他们的表现的有效性。为了克服由于传输延迟不匹配或抖动导致的两种模态之间的帧不连续问题，我们提出了一种跨模态亲和网络（CaffNet），它可以学习音频和视频流之间的全局对应关系以及局部变化的亲和性。考虑到全局项在话语级的时间序列上提供稳定性，这解决了以不一致分配为特征的标签置换问题。通过在复杂网络上扩展所提出的跨模态亲和度，进一步提高了复谱域的分离性能。实验结果表明，所提出的方法优于传统的各种数据集上，在现实世界的场景中展示了他们的优势。
2021-03-25 cs.CV cs.SD eess.AS
Purification Before Fusion: Toward Mask-Free Speech Enhancement for Robust Audio-Visual Speech Recognition
University of Electronic Science and Technology of China（电子科技大学）；Defense Innovation Institute, Academy of Military Sciences（国防科技创新研究院）；Peking University（北京大学）；High-tech Institute（高新技术研究所）
本文提出了一种端到端的噪声鲁棒音频-视觉语音识别框架，结合语音增强技术，在无需显式生成噪声掩码的情况下提升鲁棒性。
2026-03-06 cs.AI cs.LG cs.MM
Efficient Speech Enhancement via Embeddings from Pre-trained Generative Audioencoders
Xiaomi Inc.（小米公司）
本研究提出一种高效可扩展的语音增强方法，利用预训练生成式音频编码器提取含噪语音嵌入，经紧凑去噪编码器处理后由声码器合成干净语音，在多项指标及主观测试中均优于现有相关模型。
2025-06-13 cs.SD eess.AS
New Challenges for Content Privacy in Speech and Audio
University of Southampton（南安普顿大学）；Fraunhofer AISEC（弗劳恩霍夫人工智能安全研究所）；Technical University Munich（慕尼黑工业大学）；Aflorithmic Labs Ltd.（Aflorithmic实验室有限公司）
语音和音频中的隐私有很多方面。在这一领域，隐私权的一个特别欠发达的领域涉及对与内容和背景有关的信息的考虑。语音内容可以包括单词及其含义，甚至包括文体标记、病态语音、语调模式或情感。更一般地，在野外捕获的音频可以包含背景语音或揭示上下文信息，诸如位置标记、房间特性、非语言声音或其他可听事件。音频记录设备和语音技术在日常生活中变得越来越普遍。与此同时，商业化的语音和音频技术并没有为消费者提供一系列隐私选择。即使在隐私受到法律监管或保护的地方，隐私保障和执行的技术解决方案也不足。这份立场文件介绍了语音和音频中内容隐私的三个重要而及时的研究挑战。我们强调当前的差距和机遇，并确定重点领域，这可能对开发道德和更安全的语音技术产生重大影响。
2023-01-21 cs.CR cs.SD eess.AS
Joint Audio and Speech Understanding
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本文提出 LTU-AS，结合 Whisper 感知模块与 LLaMA 推理模块，首次实现对口语文本、语音副语言特征及非语音音频事件的联合识别与理解。
2023-12-10 cs.AI cs.SD eess.AS
Incorporating Ultrasound Tongue Images for Audio-Visual Speech Enhancement through Knowledge Distillation
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China（中国科学技术大学国家语言语音信息处理工程研究中心）
本文提出在训练阶段利用知识蒸馏，将预训练的音频-唇部-舌部语音增强教师模型的知识传递给音频-唇部学生模型，从而在推理时无需超声舌像即可提升语音增强的质量与可懂度。
2023-11-20 cs.SD eess.AS
Large-scale unsupervised audio pre-training for video-to-speech synthesis
Imperial College London（帝国理工学院）；University of Athens（雅典大学）
针对视频转语音合成难以利用纯音频数据的问题，本文提出用3500多小时24kHz无标签音频预训练编码器-解码器，再初始化跨模态音频解码器，显著提升重建语音质量。
2023-07-31 cs.CV cs.LG cs.SD
Read it to me: An emotionally aware Speech Narration Application
在这项工作中，我们试图执行情感风格的音频转移。特别地，MelGAN-VC架构被探索用于各种情感对传输。然后使用基于LSTM的音频情感分类器对生成的音频进行分类。我们发现，“悲伤”的音频生成以及相比，“快乐”或“愤怒”，因为人们有类似的悲伤的表达。
2022-09-06 cs.CL cs.LG cs.SD
Improving Speech Prosody of Audiobook Text-to-Speech Synthesis with Acoustic and Textual Contexts
Rakuten Group, Inc.（乐天集团）；The University of Tokyo（东京大学）
我们提出了一个多扬声器日本有声读物文本到语音（TTS）系统，利用多模态上下文信息的声学上下文和双边文本上下文，以提高合成语音的韵律。以往的研究要么使用单通道语境，要么使用单通道语境，不能完全表征语境信息。该方法使用一个声学上下文编码器和一个文本上下文编码器来聚合上下文信息，并将其馈送到TTS模型，这使得该模型能够预测上下文相关的韵律。我们进行了全面的客观和主观评价的多扬声器日本有声读物数据集。实验结果表明，该方法显着优于以前的两个作品。此外，我们提出的见解不同的选择的背景下-模态，横向信息和长度-有声读物TTS，从来没有讨论过的文献。
2022-11-04 cs.SD eess.AS
Application of Audio Fingerprinting Techniques for Real-Time Scalable Speech Retrieval and Speech Clusterization
Faculty of Science, University of Sarajevo（科学学院，萨拉热窝大学）；Infobip（Infobip公司）
本文针对电信与云平台中的语音检索与聚类，改进音频指纹技术，实现无需GPU的快速批处理，并支持基于转录的聚类。
2025-09-25 cs.IR cs.SD eess.AS
