Robust Unsupervised Audio-visual Speech Enhancement Using a Mixture of Variational Autoencoders
Inria Grenoble Rh\ o ne-Alpes, France
近年来，提出了一种基于变分自编码器（VAE）的视听语音生成模型，该模型结合噪声方差的非负矩阵分解（NMF）模型实现无监督语音增强。当视觉数据是干净的，语音增强与视听VAE表现出更好的性能比与仅音频VAE，这是在仅音频数据上训练。然而，视听VAE对于噪声视觉数据（例如，当对于某些视频帧，说话人面部不是正面或嘴唇区域被遮挡时。本文提出了一种基于逐帧VAE混合模型的鲁棒无监督音视频语音增强方法。该混合模型由训练的仅音频VAE和训练的视听VAE组成。其动机是通过切换到仅音频VAE模型来跳过嘈杂的视觉帧。我们提出了一种变分期望最大化方法来估计模型的参数。实验结果表明，该方法具有良好的性能。
2019-11-10 cs.LG cs.SD eess.AS
Audio-visual Speech Enhancement Using Conditional Variational Auto-Encoders
Inria Grenoble Rhône-Alpes（法国国立信息学与自动化研究院罗讷-阿尔卑斯格勒诺布尔研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CentraleSupélec（中央理工-高等电力学院）；GIPSA-Lab（GIPSA实验室）
变分自动编码器（VAE）是深度生成潜变量模型，可用于学习复杂数据的分布。VAE已经成功地用于学习语音信号的概率先验，然后用于执行语音增强。这种生成方法的一个优点是，它在训练时不需要成对的干净和有噪声的语音信号。在本文中，我们提出了视听变体的VAE单通道和扬声器无关的语音增强。我们开发了一个条件VAE（CVAE）的音频语音生成过程是有条件的嘴唇区域的视觉信息。在测试时，视听语音生成模型与基于非负矩阵分解的噪声模型相结合，语音增强依赖于蒙特卡洛期望最大化算法。实验进行了最近发表的NTCD-TIMIT数据集以及GRID语料库。实验结果表明，提出的音视频CVAE模型有效地融合了音视频信息，与纯音频VAE模型相比，提高了语音增强性能，特别是在语音信号受噪声严重污染的情况下。我们还表明，所提出的无监督视听语音增强方法优于最先进的监督深度学习方法。
2020-05-26 cs.LG cs.SD eess.AS
RadioSES: mmWave-Based Audioradio Speech Enhancement and Separation System
University of Maryland, College Park（马里兰大学帕克分校）；Origin Wireless Inc.（Origin无线公司）；University of Hong Kong（香港大学）
语音增强和分离一直是一个长期存在的问题，尤其是随着使用单个麦克风的最新进展。虽然麦克风在受约束的设置中表现良好，但它们在噪声条件下的语音分离性能会下降。在这项工作中，我们提出了RadioSES，audioradio语音增强和分离系统，克服了固有的问题，在音频系统。通过融合互补的无线电模态，RadioSES可以估计说话人的数量，解决源关联问题，分离和增强嘈杂的混合语音，并提高可懂度和感知质量。我们执行毫米波传感来检测和定位扬声器，并引入audioradio深度学习框架来融合单独的无线电功能与混合音频功能。使用商用现成设备进行的大量实验表明，RadioSES的性能优于各种最先进的基线，在不同的环境设置中具有一致的性能增益。与视听方法相比，RadioSES提供了类似的改进（例如，SiSDR中约3 dB增益），以及计算复杂度较低和隐私问题较少的优点。
2022-04-14 cs.SD eess.AS eess.SP
AV2Wav: Diffusion-Based Re-synthesis from Continuous Self-supervised Features for Audio-Visual Speech Enhancement
AV2Wav提出基于扩散模型的再合成音视频语音增强方法，利用AV-HuBERT连续特征和噪声鲁棒训练，在真实数据下生成干净语音，优于掩蔽基线。
2024-11-04 cs.CL cs.SD eess.AS
On the Role of Visual Cues in Audiovisual Speech Enhancement
Apple（苹果公司）
我们提出了一个视听语音增强模型的反省。特别是，我们专注于解释神经视听语音增强模型如何使用视觉线索，以提高目标语音信号的质量。我们发现，视觉线索不仅提供有关言语活动的高层次信息，即，语音/沉默，而且还有关于发音位置的细粒度视觉信息。这一发现的一个副产品是，学习的视觉嵌入可以用作其他视觉语音应用程序的功能。我们证明了学习的视觉嵌入分类视位（视觉类比音素）的有效性。我们的研究结果提供了深入了解视听语音增强的重要方面，并展示了如何使用这些模型的视觉语音应用程序的自我监督任务。
2021-02-25 cs.CL cs.CV cs.LG
Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation and Recognition
Chinese University of Hong Kong（香港中文大学）
本文提出将视觉信息全面融入多通道语音分离、去混响和识别各组件，并通过端到端联合微调最小化前端增强与后端ASR的误差不匹配，在LRS2数据集上显著降低词错误率。
2023-07-06 cs.AI cs.SD eess.AS
Audio-visual multi-channel speech separation, dereverberation and recognition
Tencent AI Lab（腾讯人工智能实验室）
尽管自动语音识别（ASR）技术发展迅速，但到目前为止，以来自重叠扬声器、背景噪声和房间混响的干扰为特征的鸡尾酒会语音的准确识别仍然是一项极具挑战性的任务。受视觉模态对声学信号破坏的不变性的激励，已经开发了视听语音增强技术，尽管主要针对重叠的语音分离和识别任务。本文提出了一种视听多通道语音分离、去混响和识别的方法，该方法的特点是在系统的所有三个阶段都充分结合了视觉信息。额外的视觉模态的优势，仅使用音频证明了两个神经去混响方法的基础上DNN-WPE和频谱映射。分离和去混响模型之间的学习成本函数失配以及它们与后端识别系统的集成使用MSE和LF-MMI标准的微调来最小化。在LRS 2数据集上进行的实验表明，所提出的视听多通道语音分离、去混响和识别系统的性能优于不含去混响模块的基线视听多通道语音分离和识别系统，其统计显著的字出错率（WER）绝对降低了2.06%（相对降低了8.77%）。
2022-04-08 cs.CV cs.MM cs.SD
Effects of Lombard Reflex on the Performance of Deep-Learning-Based Audio-Visual Speech Enhancement Systems
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
当人们沉浸在嘈杂的环境中时，他们往往会改变自己的说话方式，这种反射被称为伦巴第效应。目前基于深度学习的语音增强系统通常不会考虑这种说话风格的变化，因为它们是用在安静条件下记录的中性（非伦巴第）语音话语进行训练的，其中人为添加了噪声。在本文中，我们研究了伦巴第反射对基于深度学习的视听语音增强系统性能的影响。结果表明，在中性语音训练的系统和伦巴第语音训练的系统之间存在高达约5 dB的性能差距。这表明在视听语音增强系统的设计中考虑中性语音和伦巴德语音之间的失配的益处。
2018-11-15 cs.LG cs.SD eess.AS
On Training Targets and Objective Functions for Deep-Learning-Based Audio-Visual Speech Enhancement
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
视听语音增强（AV-SE）是利用来自说话者的音频和视频信息来改善噪声环境中的语音质量和可懂度的任务。最近，已经采用深度学习技术来以监督的方式解决AV-SE任务。在这种情况下，目标的选择，即要估计的数量，以及用于训练的量化该估计的质量的目标函数，对于性能至关重要。这项工作是第一个提出了一系列不同的目标和目标函数的实验研究，用于训练基于深度学习的AV-SE系统。结果表明，直接估计掩模的方法在估计的语音质量和可懂度方面整体表现最好，尽管直接估计对数幅度谱的模型在估计的语音质量方面表现良好。
2018-11-15 cs.LG cs.SD eess.AS
The Vulnerability of Neural Audio Watermarks under Speech Enhancement
Waseda University（早稻田大学）；University of Houston（休斯顿大学）
本文提出将高斯噪声与语音增强模型级联作为黑盒攻击，发现生成式语音增强能有效去除六种神经音频水印，揭示其脆弱性并呼吁鲁棒性评估。
2026-09-25 cs.CR cs.SD
Time Domain Audio Visual Speech Separation
Tencent AI Lab（腾讯人工智能实验室）
视听多模态建模已被证明是有效的许多语音相关的任务，如语音识别和语音增强。本文介绍了一种新的时域视听结构的目标说话人提取单声道混合。该结构对传统的TasNet（时域语音分离网络）进行了推广，实现了多模态学习，同时将经典的音视频语音分离从频域扩展到时域。提出的架构的主要组成部分包括一个音频编码器，视频编码器，提取唇嵌入视频流，多模态分离网络和音频解码器。基于最近发布的LRS 2数据集的模拟混合数据的实验表明，与纯音频的TasNet和频域视听网络相比，我们的方法在两个和三个扬声器的情况下分别可以带来3dB+和4dB+的Si-SNR改善
2019-09-22 cs.SD eess.AS
Neural Speech Tracking in a Virtual Acoustic Environment: Audio-Visual Benefit for Unscripted Continuous Speech
Carl von Ossietzky University of Oldenburg（奥尔登堡大学）
本研究在虚拟声学环境中用非脚本自然语音探究视听增益，通过EEG和皮层语音追踪分析不同条件及说话者特征的影响，发现噪声下视听增强显著，唇部运动作用关键，验证了自然刺激下皮层语音追踪的可行性。
2025-01-14 cs.SD eess.AS
LongCat-Audio-Codec: An Audio Tokenizer and Detokenizer Solution Designed for Speech Large Language Models
LongCat Team（LongCat团队）；Meituan（美团）
本文提出LongCat-Audio-Codec，一种面向语音大语言模型的音频分词器，通过解耦架构和多阶段训练，实现低比特率、低延迟的高质量语音合成。
2025-10-17 cs.SD eess.AS
Audio-Visual Representation Learning via Knowledge Distillation from Speech Foundation Models
iFLYTEK（科大讯飞）
针对视听表征学习在多模态语音处理中的关键需求，提出一种利用语音基础模型（SFMs）跨模态知识蒸馏的模型，通过多教师集成与新型表征蒸馏损失训练学生模型，在多任务上性能优于或可比现有基线。
2025-02-09 cs.SD eess.AS
Diarization of Legal Proceedings. Identifying and Transcribing Judicial Speech from Recorded Court Audio
New York University（纽约大学）
美国法院将口头辩论的录音作为公共记录提供，但这些录音很少包括发言人的注释。本文讨论了语音音频日记问题，回答了“谁在什么时候说话？”“在司法口头辩论程序领域。我们提出了一个工作流程diarizing法官的口头辩论，我们称之为参考依赖扬声器验证的过程中使用的音频记录的讲话。我们利用用广义端到端损失训练的语音嵌入网络将语音编码成d向量和基于注释数据的预定义参考音频库。我们发现，通过编码参考音频的扬声器和完整的参数和计算相似性分数，我们实现了13.8%的拨号出错率的扬声器覆盖的参考音频库上举行的测试集。我们评估我们的方法对美国最高法院的口头辩论，通过Oyez项目访问，并概述了未来的工作diarizing法律诉讼。该研究的代码存储库可在github.com/JeffT13/rd-diarization上获得
2021-04-03 cs.SD eess.AS
Whisper-AT: Noise-Robust Automatic Speech Recognizers are Also Strong General Audio Event Taggers
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本研究发现语音识别模型Whisper的音频表征与非语音声音高度相关，基于此冻结其主干并添加轻量标记头构建Whisper-AT，以极低额外成本实现单前向传播同时完成语音识别与通用音频事件标记。
2023-07-06 cs.SD eess.AS
Can Knowledge of End-to-End Text-to-Speech Models Improve Neural MIDI-to-Audio Synthesis Systems?
University of Southern California（南加州大学）；National Institute of Informatics（国立信息学研究所）
由于音乐与符号输入的语音合成的相似性以及文语转换（TTS）技术的快速发展，借鉴TTS技术来提高MIDI到音频的性能是一个值得探讨的问题。在这项研究中，我们分析了基于TTS的MIDI到音频系统的不足之处，并改进它的特征计算，模型选择和训练策略，旨在合成高度自然的声音。此外，我们进行了广泛的模型评估，通过听力测试，音高测量和频谱分析。这项工作不仅展示了高度自然的音乐合成，而且为社区提供了全面的分析方法和有用的成果。我们的代码、预训练模型、补充材料和音频样本在https://github.com/nii-yamagishilab/midi-to-audio上开源。
2023-03-21 cs.SD eess.AS
Modeling strategies for speech enhancement in the latent space of a neural audio codec
本文研究了神经音频编解码器潜在空间中连续与离散表示在语音增强中的表现，发现连续表示更优，非自回归模型更实用，编码器微调效果最佳但影响重建质量。
2026-03-11 cs.SD eess.AS
Contrastive Learning With Audio Discrimination For Customizable Keyword Spotting In Continuous Speech
Shanghai Jiao Tong University（上海交通大学）；AISpeech Ltd（思必驰科技有限公司）
针对连续语音关键词识别中协同发音和流式分词易导致误报的问题，提出CLAD方法，通过滑动窗口级InfoNCE损失同时学习音频-文本匹配与音频-音频判别，在LibriSpeech上显著优于无音频判别的对比学习及两阶段方法。
2024-01-12 cs.SD eess.AS
Multimodal Assessment of Speech Impairment in ALS Using Audio-Visual and Machine Learning Approaches
KITE Research Institute, University Health Network（大学健康网络KITE研究所）
本研究结合视听分析与机器学习预测ALS患者言语障碍，使用多模态特征训练回归模型，发现极端提升机回归器预测效果最佳，为延髓功能障碍的早期检测和监测提供了客观工具。
2025-05-27 cs.SD eess.AS
Jointly Recognizing Speech and Singing Voices Based on Multi-Task Audio Source Separation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tencent AI Lab（腾讯AI实验室）
针对短视频与直播中语音、歌声、背景音乐重叠导致识别困难的问题，提出基于多任务音频源分离的联合识别模型JRSV，结合在线蒸馏提升鲁棒性，构建基准数据集验证其可显著提升混合音频各音轨识别准确率。
2024-04-17 cs.SD eess.AS
Deep Audio Watermarks are Shallow: Limitations of Post-Hoc Watermarking Techniques for Speech
Northwestern University（西北大学）；Adobe Research（奥多比研究院）
针对语音事后水印技术，研究统一扩展音频变换对水印可检测性的评估，证明无需了解水印方案即可移除最先进事后音频水印且音频质量退化极小，揭示其局限性。
2025-04-15 cs.SD eess.AS
Securing Voice-driven Interfaces against Fake (Cloned) Audio Attacks
University of Michigan – Dearborn（密歇根大学迪尔伯恩分校）
语音克隆技术已经在从个性化语音界面到广告、机器人等各种领域得到应用，现有的语音克隆系统能够学习说话人的特征，并使用训练好的模型从少量的音频样本合成一个人的语音。克隆语音生成技术的进步能够从真正的语音中生成感知上无法区分的语音。这些进步对语音驱动接口和基于语音的访问控制系统构成了新的安全和隐私威胁。最先进的语音合成技术使用经训练或调谐的生成模型用于克隆语音生成。训练的生成模型依赖于线性运算、学习的权重和用于克隆语音合成的激励源。这些系统在合成语音中留下特征性的伪像。高阶频谱分析用于捕获真正的和克隆的音频之间的区别属性。具体而言，正交相位耦合（QPC）在估计的双相干，高斯性测试统计，和线性度测试统计被用来捕捉生成模型的文物。所提出的方法的性能进行评估克隆音频使用扬声器自适应和扬声器编码为基础的方法。对126个克隆语音和8个真实语音样本的实验结果表明，该方法能够以接近完美的检测率检测真实语音和克隆语音。
2019-02-18 cs.SD eess.AS
Audio-visual Recognition of Overlapped speech for the LRS2 dataset
Tencent AI（腾讯人工智能）
重叠语音的自动识别至今仍是一项极具挑战性的任务。受人类语音感知的双峰性质的启发，本文研究了使用视听技术进行重叠语音识别。提出了与音视频语音识别（AVSR）系统构建相关的三个问题。首先，研究了AVSR系统的基本结构设计，即端到端和混合结构。其次，有目的地设计的模态融合门被用来鲁棒地集成音频和视觉特征。第三，在对比传统的流水线架构，包含显式语音分离和识别组件，流线型和集成的AVSR系统优化一致使用无格MMI（LF-MMI）判别准则也提出了。所提出的LF-MMI时延神经网络（TDNN）系统为LRS 2数据集建立了最先进的技术。对LRS 2数据集模拟的重叠语音的实验表明，所提出的AVSR系统在字错误率（WER）降低方面优于仅音频基线LF-MMI DNN系统高达29.98%的绝对值，并且产生了与更复杂的流水线系统相当的识别性能。一致的性能改善4.89%的绝对WER减少基线AVSR系统使用特征融合。
2020-01-06 cs.SD eess.AS
DAIEN-TTS: Disentangled Audio Infilling for Environment-Aware Text-to-Speech Synthesis
National Engineering Research Center of Speech and Language Information Processing（语音与语言信息处理国家工程研究中心）
DAIEN-TTS通过解耦音频填充技术实现环境感知的文本到语音合成，支持独立控制语音音色和环境背景，提升合成语音的自然度和环境保真度。
2026-01-19 cs.SD eess.AS
Speech inpainting: Context-based speech synthesis guided by video
Universitat Pompeu Fabra（庞培法布拉大学）；Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
针对受损语音片段的修复问题，本文提出由视频视觉线索和未受损音频上下文共同引导的音视频 transformer 模型，并验证 AV-HuBERT 特征可有效提升语音合成效果。
2023-06-01 cs.AI cs.SD eess.AS
SwanTale: Unified Multi-Speaker Speech and Audio Generation for Instruct and Zero-Shot Tasks
ByteDance（字节跳动）；Zhejiang University（浙江大学）
SwanTale是支持指令式与零样本任务的多说话人语音音频生成模型，通过SwanData-Caption数据构建与SwanVAE、Unified MoE等技术实现，在相关任务指标中表现最优。
2026-08-05 cs.SD eess.AS
Audio-Visual Speech Enhancement and Separation by Utilizing Multi-Modal Self-Supervised Embeddings
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（台湾大学）；Academia Sinica（中央研究院）；Edinburgh Napier University（爱丁堡龙比亚大学）
本文提出在预训练AV-HuBERT后接入SE模块并配合微调，用于AVSE和AVSS，实验证明其优于现有AVSE及纯音频SE方法。
2023-06-01 cs.SD eess.AS
What Are They Doing? Joint Audio-Speech Co-Reasoning
Research Center（研究中心）；Concordia University（康考迪亚大学）；Université de Montréal（蒙特利尔大学）；Mila（米拉（魁北克人工智能研究所））
针对音频语音任务多单模态的现状，本文提出JASCO联合音频-语音协同推理任务，发布对应场景推理数据集，构建基准探究ALLMs的跨模态推理能力，并分析模型对不同模态的依赖特性。
2025-01-12 cs.CL cs.SD eess.AS
SAKURA: On the Multi-hop Reasoning of Large Audio-Language Models Based on Speech and Audio Information
National Taiwan University（国立台湾大学）
针对大型音频语言模型（LALMs）多跳推理能力缺乏系统评估的问题，本文提出SAKURA基准，实验表明LALMs难以整合语音/音频信息进行多跳推理，为该领域研究提供了资源与方向。
2025-08-24 cs.CL cs.SD eess.AS
USAD: Universal Speech and Audio Representation via Distillation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
USAD通过从领域特定SSL模型进行逐层蒸馏，将语音、声音和音乐统一到一个音频表示模型中，在SUPERB和HEAR等基准上以单一编码器取得接近最先进水平的性能。
2025-08-18 cs.CL cs.SD eess.AS
New Challenges for Content Privacy in Speech and Audio
University of Southampton（南安普顿大学）；Fraunhofer AISEC（弗劳恩霍夫人工智能安全研究所）；Technical University Munich（慕尼黑工业大学）；Aflorithmic Labs Ltd.（Aflorithmic实验室有限公司）
语音和音频中的隐私有很多方面。在这一领域，隐私权的一个特别欠发达的领域涉及对与内容和背景有关的信息的考虑。语音内容可以包括单词及其含义，甚至包括文体标记、病态语音、语调模式或情感。更一般地，在野外捕获的音频可以包含背景语音或揭示上下文信息，诸如位置标记、房间特性、非语言声音或其他可听事件。音频记录设备和语音技术在日常生活中变得越来越普遍。与此同时，商业化的语音和音频技术并没有为消费者提供一系列隐私选择。即使在隐私受到法律监管或保护的地方，隐私保障和执行的技术解决方案也不足。这份立场文件介绍了语音和音频中内容隐私的三个重要而及时的研究挑战。我们强调当前的差距和机遇，并确定重点领域，这可能对开发道德和更安全的语音技术产生重大影响。
2023-01-21 cs.CR cs.SD eess.AS
Joint Audio and Speech Understanding
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
本文提出 LTU-AS，结合 Whisper 感知模块与 LLaMA 推理模块，首次实现对口语文本、语音副语言特征及非语音音频事件的联合识别与理解。
2023-12-10 cs.AI cs.SD eess.AS
Learning Contextually Fused Audio-visual Representations for Audio-visual Speech Recognition
University of Science and Technology of China（中国科学技术大学）；iFlytek Research, iFlytek Co., Ltd.（科大讯飞股份有限公司讯飞研究院）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
随着自监督学习在音频和视觉模态的进步，它已经成为可能学习一个强大的视听语音表示。这将有利于提高视听语音识别（AVSR）性能，因为多模态输入原则上包含更多有用的信息。在本文中，基于现有的自监督表示学习方法的音频模态，因此，我们提出了一个视听表示学习方法。所提出的方法探讨了视听形式的互补性和长期的上下文依赖性，使用基于变换器的融合模块和灵活的掩蔽策略。经过预训练，该模型能够提取AVSR所需的融合表示。不失一般性，它可以应用于单模态任务，例如，通过简单地屏蔽融合模块中的一个模态来进行音频/视觉语音识别。建议的预训练模型进行评估语音识别和唇读任务使用一个或两个模态，其中的优越性被揭示。
2022-07-10 cs.SD eess.AS eess.IV
Application of Audio Fingerprinting Techniques for Real-Time Scalable Speech Retrieval and Speech Clusterization
Faculty of Science, University of Sarajevo（科学学院，萨拉热窝大学）；Infobip（Infobip公司）
本文针对电信与云平台中的语音检索与聚类，改进音频指纹技术，实现无需GPU的快速批处理，并支持基于转录的聚类。
2025-09-25 cs.IR cs.SD eess.AS
Can Synthetic Audio From Generative Foundation Models Assist Audio Recognition and Speech Modeling?
USC（南加州大学）；Amazon（亚马逊公司）
本文研究生成式基础模型产生的合成音频能否辅助音频识别与语音建模，通过将其用作训练数据和数据增强资源进行实验，验证了合成音频在两类任务中的潜力。
2024-08-29 cs.LG cs.SD eess.AS
Audio-Visual Speech Separation Using Cross-Modal Correspondence Loss
NTT Media Intelligence Laboratories, NTT Corporation（NTT（日本电报电话公司）媒体情报研究所）
提出了一种视听语音分离学习方法，该方法在训练过程中考虑分离信号与视觉信号的对应关系来反映语音特征。视听语音分离是一种利用说话人的视觉信号从混合语音中分离出单个语音信号的技术。传统的视听语音分离研究主要是对分离模型进行纯音频损失的训练，纯音频损失反映了源信号与分离信号之间的距离。然而，传统的损失不能反映语音信号的特征，包括说话者的特征和语音信息，这导致失真或残留噪声。为了解决这个问题，我们提出了跨模态对应（CMC）损失，这是基于共现的语音信号和视觉信号。由于视觉信号不受背景噪声的影响，并且包含说话人和语音信息，因此使用CMC损失使得视听语音分离模型能够在去除噪声的同时保留语音特征。实验结果表明，该方法在CMC损失的基础上学习同现，提高了分离性能。
2021-03-02 cs.LG cs.SD eess.AS
JASPER: Joint Audio and Speech Pre-trained Encoder Representations
LEAP Laboratory, Electrical Engineering, Indian Institute of Science（印度科学学院电气工程学院LEAP实验室）
JASPER通过向语音预训练模型添加时频目标，实现频谱-时间表示学习，在语音、音频和音乐任务上优于现有基线，验证了统一建模的有效性。
2026-09-24 eess.AS
XLAVS-R: Cross-Lingual Audio-Visual Speech Representation Learning for Noise-Robust Speech Perception
University of Maryland（马里兰大学）；Meta AI
针对多语言视听数据稀缺问题，提出 XLAVS-R 表示模型，基于纯音频多语言预训练并简化 AV 预训练，在 MuAViC 上显著提升含噪语音识别与翻译性能。
2024-08-12 cs.CL cs.SD eess.AS
Joint Speech Recognition and Audio Captioning
Carnegie Mellon University（卡内基梅隆大学）；Sony Group Corporation（索尼集团公司）
在室内和室外环境中记录的语音样本通常被次级音频源污染。大多数端到端单声道语音识别系统或者使用语音增强来去除这些背景声音，或者训练噪声鲁棒模型。为了更好的模型可解释性和整体的理解，我们的目标是把不断增长的自动音频字幕（AAC）和深入研究的自动语音识别（ASR）领域。AAC的目标是生成音频样本中内容的自然语言描述。我们提出了几种方法的ASR和AAC任务的端到端的联合建模，并展示了它们的优势，传统的方法，这些任务独立建模。在评估我们提出的方法的一个主要障碍是缺乏标记的音频数据集与语音transmittance和音频字幕。因此，我们还通过将干净的语音华尔街日报语料库与从AudioCaps数据集中选择的多个级别的背景噪声混合来创建多任务数据集。我们还进行了广泛的实验评估，并显示我们提出的方法相比，现有的国家的最先进的ASR和AAC方法的改进。
2022-02-03 cs.CL cs.SD eess.AS
Predict-and-Update Network: Audio-Visual Speech Recognition Inspired by Human Speech Perception
在人类的语音感知中，音频和视频信号是相辅相成的，在语音识别中也是如此。视觉提示不如声学提示明显，但在复杂的声学环境中更鲁棒，就语音感知而言。如何有效地利用音频和视频信号之间的相互作用进行自动语音识别仍然是一个挑战。已经有研究以同步方式利用视觉信号作为音频输入的冗余或补充信息。对人类的研究表明，视觉信号会提前让听者准备好何时以及在哪个频率上注意。我们提出了一个预测和更新网络（P&U网），模拟这样的视听语音识别（AVSR）的视觉提示机制。特别是，我们首先预测的字符后验的口语单词，即视觉嵌入，基于视觉信号。然后，音频信号通过新颖的跨模态Conformer以视觉嵌入为条件，更新角色后验。我们通过大量的实验验证了视觉提示机制的有效性。建议的P&U网络优于国家的最先进的AVSR方法在LRS 2-BBC和LRS 3-BBC数据集，与相对减少字出错率（WER）的超过10%和40%，在干净和嘈杂的条件下，分别。
2022-09-05 cs.MM cs.SD eess.AS
Conformer-Based Self-Supervised Learning for Non-Speech Audio Tasks
Facebook（脸书）
从未标记数据中进行表示学习一直是人工智能研究的热点。虽然自监督语音表示学习已经在语音研究界流行，但很少有作品全面分析非语音音频任务的音频表示学习。在本文中，我们提出了一种自监督的音频表示学习方法，并将其应用于各种下游的非语音音频任务。我们结合了著名的wav2vec 2.0框架，它已经成功地在自监督学习的语音任务，参数高效的构象架构。我们的自我监督预训练可以将对标记数据的需求减少三分之二。在AudioSet基准测试中，我们实现了0.415的平均精度（mAP）得分，这是通过仅音频自监督学习在该数据集上的最新技术水平。我们的微调构象也超过或匹配以前的系统在几个下游任务的监督方式预训练的性能。我们进一步讨论了预训练和微调的重要设计考虑因素。
2022-01-07 cs.LG cs.SD eess.AS
Learning Audio-Visual Speech Representation by Masked Multimodal Cluster Prediction
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Meta AI
语音的视频记录包含相关的音频和视觉信息，为从说话者的嘴唇运动和产生的声音学习语音表示提供强信号。我们介绍了视听隐藏单元BERT（AV-HuBERT），一个自监督的表示学习框架的视听语音，掩盖多流视频输入和预测自动发现和迭代细化的多模态隐藏单元。AV-HuBERT学习强大的视听语音表示，同时受益于唇读和自动语音识别。在最大的公共唇读基准测试LRS 3（433小时）中，AV-HuBERT仅用30小时的标记数据就实现了32.5%的WER，优于之前用1000倍的转录视频数据（31 K小时）训练的最先进的方法（33.6%）。当使用来自LRS 3的所有433小时标记数据并结合自我训练时，唇读WER进一步降低到26.9%。使用我们的音频-视频表示在相同的基准上进行纯音频语音识别，导致相对于最先进的性能（1.3%vs 2.3%）的40%的相对WER降低。我们的代码和模型可在https://github.com/facebookresearch/av_hubert上获得
2022-03-13 cs.CV cs.SD eess.AS
SaSLaW: Dialogue Speech Corpus with Audio-visual Egocentric Information Toward Environment-adaptive Dialogue Speech Synthesis
本研究提出含第一人称视听同步数据的自发对话语音语料库SaSLaW，用于建模人类的环境语音调整行为，实验证明融合听觉音频数据的TTS模型比普通模型的环境自适应语音合成效果更合理。
2024-08-13 eess.AS
AudioJudge: Understanding What Works in Large Audio Model Based Speech Evaluation
SCB 10X, SCBX Group（SCB 10X、SCBX集团）；University of Southern California（南加州大学）；Stanford University（斯坦福大学）
本文系统研究大型音频模型作为评判器（AudioJudge），提出音频拼接结合上下文学习及多维度集成方法，在语音评估中实现与人类偏好最高0.91的Spearman相关性，并揭示其冗长性和位置偏差问题。
2025-07-17 cs.CL cs.SD eess.AS
Audio-visual video-to-speech synthesis with synthesized input audio
Imperial College London（帝国理工学院）；University of Athens（雅典大学）
本文研究视频转语音中训练与推理均利用音频输入的效果，提出用预训练模型合成语音并与无声视频共同训练视听合成模型，在波形和梅尔频谱图目标上均有效。
2023-07-31 cs.CV cs.LG cs.SD
Hybrid Audio Detection Using Fine-Tuned Audio Spectrogram Transformers: A Dataset-Driven Evaluation of Mixed AI-Human Speech
Kean University（凯恩大学）
针对现有AI语音检测无法应对真实与克隆语音混合音频的问题，构建包含多类样本的混合音频数据集，提出微调AST模型的检测方法，混合音频检测准确率达97%，提升语音认证系统鲁棒性。
2025-05-21 cs.CR cs.SD eess.AS
Analytic Study of Text-Free Speech Synthesis for Raw Audio using a Self-Supervised Learning Model
The University of Tokyo（东京大学）
本文研究利用SSL模型从无配对原始音频中提取离散符号表征进行无文本语音合成，并与文本表征对比，发现前者更擅长保留韵律、语调等声学内容。
2024-12-04 cs.CL cs.SD eess.AS
No Audiogram: Leveraging Existing Scores for Personalized Speech Intelligibility Prediction
Orka Labs Inc.（Orka实验室有限公司）；Stanford University（斯坦福大学）
本文提出SSIPNet，利用听者已有的少量（音频，评分）对构建高维能力表示，在不依赖听力图的情况下实现更准确的个性化语音可懂度预测。
2025-05-31 cs.AI cs.SD eess.AS
Using multiple reference audios and style embedding constraints for speech synthesis
Tianjin University（天津大学）；University of Science and Technology of China（中国科学技术大学）；Huiyan Technology (Tianjin) Co., Ltd（天津慧眼科技有限公司）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
端到端的语音合成模型可以直接将一段话语作为参考音频，从文本中生成韵律和说话人特征与参考音频相似的语音。然而，在推断期间必须手动选择适当的声学嵌入。由于在训练过程中只使用匹配的文本和语音，使用不匹配的文本和语音进行推理将导致模型合成内容质量较低的语音。在这项研究中，我们建议通过使用多个参考音频和风格嵌入约束来缓解这两个问题，而不是只使用目标音频。使用由来自Transformers的双向编码器表示（BERT）确定的句子相似性来自动选择多个参考音频。此外，我们通过考虑预测和“目标”风格嵌入之间的互信息，使用来自预训练编码器的“目标”风格嵌入作为约束。实验结果表明，该模型在多个参考音频的情况下，能够提高语音的自然度和内容质量，在风格相似度的ABX偏好测试中也优于基线模型。
2021-10-09 cs.AI cs.SD eess.AS
LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders
Imperial College London（帝国理工学院）；Meta Reality Labs Research（Meta现实实验室）；Meta
视听语音增强的目的是从噪声环境中提取干净的语音，不仅利用音频本身，而且还利用目标说话人的嘴唇运动。这种方法已被证明是产生改进的音频语音增强，特别是对于干扰语音的去除。尽管最近在语音合成方面取得了进展，但大多数视听方法继续使用频谱映射/掩蔽来再现干净的音频，通常导致视觉骨干被添加到现有的语音增强架构中。在这项工作中，我们提出了LA-VocE，一种新的两阶段方法，通过基于变换器的架构从嘈杂的视听语音中预测梅尔频谱图，然后使用神经声码器（HiFi-GAN）将其转换为波形音频。我们对数千名说话者和11种以上不同的语言进行了训练和评估，并研究了我们的模型适应不同水平背景噪声和语音干扰的能力。我们的实验表明，LA-VocE优于现有的方法，根据多个指标，特别是在非常嘈杂的情况下。
2023-03-13 cs.CV cs.LG cs.SD
Improving Visual Speech Enhancement Network by Learning Audio-visual Affinity with Multi-head Attention
Trinity College Dublin（都柏林圣三一学院）；vivo AI Lab（vivo人工智能实验室）；Hubei University of Chinese Medicine（湖北中医药大学）
视听语音增强系统被认为是分离和增强说话人语音的有效方法之一。典型的方法集中于通过基于朴素卷积神经网络的编码器-解码器架构来预测干净的语音频谱，并且这些方法a）不足以充分利用数据，b）不能有效地平衡视听特征。所提出的模型通过以下方式克服了这些缺点：a）应用在编码阶段逐层融合音频和视觉特征的模型，并且将融合的音频-视觉特征馈送到每个对应的解码器层，并且更重要的是，b）引入2阶段多头交叉注意（MHCA）机制来推断音频-视觉语音增强，以平衡融合的音频-视觉特征并消除不相关的特征。提出了一种注意力视听多层特征融合模型，在解码器的每一层都采用MHCA单元进行特征映射。所提出的模型证明了优越的性能的网络对国家的最先进的模型。
2022-06-30 cs.MM cs.SD eess.AS
AV-CPL: Continuous Pseudo-Labeling for Audio-Visual Speech Recognition
MIT（麻省理工学院）；Apple（苹果公司）
本文提出半监督 AV-CPL 框架，利用同一视听模型在有标签和无标签视频上连续生成伪标签，在保持 ASR/AVSR 性能的同时显著提升 LRS3 上的 VSR 效果。
2023-09-29 cs.LG cs.SD eess.AS
LinTO Audio and Textual Datasets to Train and Evaluate Automatic Speech Recognition in Tunisian Arabic Dialect
LINAGORA（LINAGORA公司）
针对突尼斯阿拉伯语方言因语言复杂性和数据稀缺导致ASR系统开发困难的问题，提出了包含多源文本与真实语码转换音频的LinTO数据集，为构建和评估该方言的ASR系统提供了高质量材料。
2025-04-03 cs.CL cs.SD eess.AS
