AudioCapBench: Quick Evaluation on Audio Captioning across Sound, Music, and Speech
Salesforce AI Research(Salesforce人工智能研究)
AudioCapBench通过对比不同模型在环境声音、音乐和语音描述任务中的表现,评估了大模型的音频描述能力,揭示Gemini模型在整体质量上优于OpenAI模型。
2026-02-27 cs.AI cs.SD
Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer
NVIDIA(英伟达)
提出一种多语言音视频语音识别模型,采用混合CTC/RNN-T架构的Fast Conformer,扩展训练数据,在LRS3上WER达0.8%,在MuAViC上平均WER降低11.9%,支持音频、视觉及音视频识别。
2024-03-14 cs.AI cs.CV cs.MM
Linguistically Augmented Audio Speech Data (LinguAS)
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校)
提出LinguAS数据集,通过专家定义的语言特征(EDLFs)增强音频数据,显著提升深度伪造语音检测模型性能。
2026-06-08 cs.AI cs.LG cs.SD
Meta-Learning in Audio and Speech Processing: An End to End Comprehensive Review
PES University(PES大学)
该文系统综述音频与语音处理中的元学习方法,涵盖数据、特征、元学习器、任务选择、数据集与应用,并展望未来方向。
2024-08-19 cs.LG cs.SD eess.AS
SVHalluc: Benchmarking Speech-Vision Hallucination in Audio-Visual Large Language Models
KAIST(韩国国立信息通信研究院)
针对音频-视觉大语言模型中的语音-视觉幻觉问题,提出SVHalluc基准,从语义和时间两个维度评估模型将语音内容与视觉信号对齐的能力,发现现有模型存在跨模态理解局限。
2026-05-31 cs.AI cs.CV cs.LG
SpeechR: A Benchmark for Speech Reasoning in Large Audio-Language Models
SpeechR是一个统一基准,从事实检索、程序性推理和规范性判断三个维度评估大型音频语言模型的语音推理能力,发现高转录准确率不等于强推理能力。
2025-08-04 cs.AI cs.CL
Speech inpainting: Context-based speech synthesis guided by video
Universitat Pompeu Fabra(庞培法布拉大学);Aalborg University(奥尔堡大学);Oticon A/S(奥迪康公司)
针对受损语音片段的修复问题,本文提出由视频视觉线索和未受损音频上下文共同引导的音视频 transformer 模型,并验证 AV-HuBERT 特征可有效提升语音合成效果。
2023-06-01 cs.AI cs.SD eess.AS
Joint Audio and Speech Understanding
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本文提出 LTU-AS,结合 Whisper 感知模块与 LLaMA 推理模块,首次实现对口语文本、语音副语言特征及非语音音频事件的联合识别与理解。
2023-12-10 cs.AI cs.SD eess.AS
No Audiogram: Leveraging Existing Scores for Personalized Speech Intelligibility Prediction
Orka Labs Inc.(Orka实验室有限公司);Stanford University(斯坦福大学)
本文提出SSIPNet,利用听者已有的少量(音频,评分)对构建高维能力表示,在不依赖听力图的情况下实现更准确的个性化语音可懂度预测。
2025-05-31 cs.AI cs.SD eess.AS
Using multiple reference audios and style embedding constraints for speech synthesis
Tianjin University(天津大学);University of Science and Technology of China(中国科学技术大学);Huiyan Technology (Tianjin) Co., Ltd(天津慧眼科技有限公司);Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学)
端到端的语音合成模型可以直接将一段话语作为参考音频,从文本中生成韵律和说话人特征与参考音频相似的语音。然而,在推断期间必须手动选择适当的声学嵌入。由于在训练过程中只使用匹配的文本和语音,使用不匹配的文本和语音进行推理将导致模型合成内容质量较低的语音。在这项研究中,我们建议通过使用多个参考音频和风格嵌入约束来缓解这两个问题,而不是只使用目标音频。使用由来自Transformers的双向编码器表示(BERT)确定的句子相似性来自动选择多个参考音频。此外,我们通过考虑预测和“目标”风格嵌入之间的互信息,使用来自预训练编码器的“目标”风格嵌入作为约束。实验结果表明,该模型在多个参考音频的情况下,能够提高语音的自然度和内容质量,在风格相似度的ABX偏好测试中也优于基线模型。
2021-10-09 cs.AI cs.SD eess.AS
Zero-Shot Parkinson's Disease Detection from Speech: Comparing Large Audio and Language Models
School of Computing, Mathematics and Engineering, Charles Sturt University(计算机科学与工程学院,查尔斯·斯图尔特大学);Department of Computer Science, Rensselaer Polytechnic Institute(计算机科学系,伦塞拉尔理工学院)
通过比较手工声学特征和原始音频波形两种输入模态,研究零样本帕金森病检测在不同语言中的性能差异,发现手工特征在低资源语言中更稳定,而音频输入带来数据集依赖的增益。
2026-05-24 cs.AI cs.SD eess.AS
Audio Codec Augmentation for Robust Collaborative Watermarking of Speech Synthesis
Aalto University(阿尔托大学);National Institute of Informatics(情报学研究所)
本文扩展协同水印方法以应对不可微的传统与神经音频编解码器,利用波形域直通估计器实现黑盒增强,证明该方法对传统编解码器具良好迁移性且感知退化可忽略。
2024-09-20 cs.AI cs.SD eess.AS
Audio Adversarial Examples: Attacks Using Vocal Masks
我们在自动语音到文本系统上构建音频对抗示例。给定任何音频波形,我们通过覆盖从原始音频生成的音频声掩模来产生另一个。我们将我们的音频对抗攻击应用于五个SOTA STT系统:DeepSpeech,Julius,Kaldi,wav2letter@anywhere和CMUSphinx。此外,我们还聘请了人类注释者来转录对抗性音频。我们的实验表明,这些对抗性的例子欺骗了最先进的语音到文本系统,但人类能够始终如一地挑选出语音。这种攻击的可行性为研究机器和人类对语音的感知引入了一个新的领域。
2021-02-06 cs.AI cs.SD eess.AS
Time Domain Audio Visual Speech Separation
Tencent AI Lab(腾讯人工智能实验室)
视听多模态建模已被证明是有效的许多语音相关的任务,如语音识别和语音增强。本文介绍了一种新的时域视听结构的目标说话人提取单声道混合。该结构对传统的TasNet(时域语音分离网络)进行了推广,实现了多模态学习,同时将经典的音视频语音分离从频域扩展到时域。提出的架构的主要组成部分包括一个音频编码器,视频编码器,提取唇嵌入视频流,多模态分离网络和音频解码器。基于最近发布的LRS 2数据集的模拟混合数据的实验表明,与纯音频的TasNet和频域视听网络相比,我们的方法在两个和三个扬声器的情况下分别可以带来3dB+和4dB+的Si-SNR改善
2019-09-22 cs.SD eess.AS
Speech enhancement with weakly labelled data from AudioSet
ByteDance(字节跳动)
语音增强是提高退化语音信号的可懂度和感知质量的任务。最近,基于神经网络的方法已经被应用于语音增强。然而,许多基于神经网络的方法需要噪声和干净的语音对用于训练。我们提出了一个语音增强框架,可以用大规模弱标记的AudioSet数据集进行训练。弱标记数据仅包含音频片段的音频标记,而不包含语音的起始或偏移时间。我们首先应用预训练的音频神经网络(PANNs)来检测音频片段中包含语音或声音事件的锚片段。然后,我们随机混合两个检测到的锚段包含语音和声音事件作为一个混合物,并建立一个条件声源分离网络使用PANN预测语音增强的软条件。在推理中,我们输入一个带噪的语音信号,其中“Speech”的独热编码作为训练系统的条件,以预测增强的语音。我们的系统在VoiceBank-DEMAND数据集上实现了2.28的PESQ和8.75 dB的SSNR,分别优于之前的2.16和7.73 dB的SEGAN系统。
2021-02-19 cs.SD eess.AS
Neural Speech Tracking in a Virtual Acoustic Environment: Audio-Visual Benefit for Unscripted Continuous Speech
Carl von Ossietzky University of Oldenburg(奥尔登堡大学)
本研究在虚拟声学环境中用非脚本自然语音探究视听增益,通过EEG和皮层语音追踪分析不同条件及说话者特征的影响,发现噪声下视听增强显著,唇部运动作用关键,验证了自然刺激下皮层语音追踪的可行性。
2025-01-14 cs.SD eess.AS
LongCat-Audio-Codec: An Audio Tokenizer and Detokenizer Solution Designed for Speech Large Language Models
LongCat Team(LongCat团队);Meituan(美团)
本文提出LongCat-Audio-Codec,一种面向语音大语言模型的音频分词器,通过解耦架构和多阶段训练,实现低比特率、低延迟的高质量语音合成。
2025-10-17 cs.SD eess.AS
Efficient Speech Enhancement via Embeddings from Pre-trained Generative Audioencoders
Xiaomi Inc.(小米公司)
本研究提出一种高效可扩展的语音增强方法,利用预训练生成式音频编码器提取含噪语音嵌入,经紧凑去噪编码器处理后由声码器合成干净语音,在多项指标及主观测试中均优于现有相关模型。
2025-06-13 cs.SD eess.AS
Incorporating Ultrasound Tongue Images for Audio-Visual Speech Enhancement through Knowledge Distillation
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China(中国科学技术大学国家语言语音信息处理工程研究中心)
本文提出在训练阶段利用知识蒸馏,将预训练的音频-唇部-舌部语音增强教师模型的知识传递给音频-唇部学生模型,从而在推理时无需超声舌像即可提升语音增强的质量与可懂度。
2023-11-20 cs.SD eess.AS
Audio-Visual Representation Learning via Knowledge Distillation from Speech Foundation Models
iFLYTEK(科大讯飞)
针对视听表征学习在多模态语音处理中的关键需求,提出一种利用语音基础模型(SFMs)跨模态知识蒸馏的模型,通过多教师集成与新型表征蒸馏损失训练学生模型,在多任务上性能优于或可比现有基线。
2025-02-09 cs.SD eess.AS
Self-Supervised Speech Denoising Using Only Noisy Audio Signals
Southeast University(东南大学);Centre de Recherche en Information Biomédicale Sino-français (CRIBs)(中法生物医学信息研究中心);The 28th Research Institute of China Electronics Technology Group Corporation(中国电子科技集团公司第二十八研究所);Univ Rennes(雷恩大学)
在传统的语音去噪任务中,通常使用干净的音频信号作为训练目标,但绝对干净的信号是从昂贵的录音设备或环境严格的工作室中收集的。为了克服这个缺点,我们提出了一个端到端的自监督语音去噪训练方案,只使用嘈杂的音频信号,名为Only-Noisy Training(ONT),没有额外的训练条件。该策略仅从单个噪声音频中构造训练对,包含两个模块:训练音频对生成模块和语音去噪模块。第一个模块采用随机音频子采样器对每个噪声音频生成训练对。子采样对,然后送入一个新的复值语音去噪模块。实验结果表明,该方法不仅消除了传统音频去噪任务对干净目标的高度依赖性,而且与其他训练策略相比,其性能达到或优于其他训练策略。可在https://github.com/liqingchunnnn/Only-Noisy-Training上获得可扩展性-ONT
2023-01-19 cs.SD eess.AS
Visual Context-driven Audio Feature Enhancement for Robust End-to-End Audio-Visual Speech Recognition
KAIST(韩国科学技术院);Genesis Lab Inc.(Genesis Lab公司)
本文主要研究设计一个抗噪声的端到端音视频语音识别系统。为此,我们提出了视觉上下文驱动的音频特征增强模块(V-CAFE),以增强输入的嘈杂的音频语音与视听对应的帮助。所提出的V-CAFE的目的是捕捉过渡的嘴唇运动,即视觉上下文,并通过考虑所获得的视觉上下文生成降噪掩模。通过上下文相关的建模,可以细化视位到音素映射中的歧义以用于掩码生成。噪声表示用噪声降低掩模掩蔽,从而产生增强的音频特征。将增强后的音频特征与视觉特征相融合,并将其引入到由Conformer和Transformer组成的编码器-解码器模型中进行语音识别。我们提出的端到端AVSR与V-CAFE可以进一步提高噪声鲁棒性的AVSR。在噪声语音识别和重叠语音识别实验中,使用两个最大的视听数据集,LRS 2和LRS 3的所提出的方法的有效性进行评估。
2022-07-13 cs.AI cs.CV cs.MM
SAKURA: On the Multi-hop Reasoning of Large Audio-Language Models Based on Speech and Audio Information
National Taiwan University(国立台湾大学)
针对大型音频语言模型(LALMs)多跳推理能力缺乏系统评估的问题,本文提出SAKURA基准,实验表明LALMs难以整合语音/音频信息进行多跳推理,为该领域研究提供了资源与方向。
2025-08-24 cs.CL cs.SD eess.AS
USAD: Universal Speech and Audio Representation via Distillation
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
USAD通过从领域特定SSL模型进行逐层蒸馏,将语音、声音和音乐统一到一个音频表示模型中,在SUPERB和HEAR等基准上以单一编码器取得接近最先进水平的性能。
2025-08-18 cs.CL cs.SD eess.AS
Diarization of Legal Proceedings. Identifying and Transcribing Judicial Speech from Recorded Court Audio
New York University(纽约大学)
美国法院将口头辩论的录音作为公共记录提供,但这些录音很少包括发言人的注释。本文讨论了语音音频日记问题,回答了“谁在什么时候说话?”“在司法口头辩论程序领域。我们提出了一个工作流程diarizing法官的口头辩论,我们称之为参考依赖扬声器验证的过程中使用的音频记录的讲话。我们利用用广义端到端损失训练的语音嵌入网络将语音编码成d向量和基于注释数据的预定义参考音频库。我们发现,通过编码参考音频的扬声器和完整的参数和计算相似性分数,我们实现了13.8%的拨号出错率的扬声器覆盖的参考音频库上举行的测试集。我们评估我们的方法对美国最高法院的口头辩论,通过Oyez项目访问,并概述了未来的工作diarizing法律诉讼。该研究的代码存储库可在github.com/JeffT13/rd-diarization上获得
2021-04-03 cs.SD eess.AS
Robust Unsupervised Audio-visual Speech Enhancement Using a Mixture of Variational Autoencoders
Inria Grenoble Rh\ o ne-Alpes, France
近年来,提出了一种基于变分自编码器(VAE)的视听语音生成模型,该模型结合噪声方差的非负矩阵分解(NMF)模型实现无监督语音增强。当视觉数据是干净的,语音增强与视听VAE表现出更好的性能比与仅音频VAE,这是在仅音频数据上训练。然而,视听VAE对于噪声视觉数据(例如,当对于某些视频帧,说话人面部不是正面或嘴唇区域被遮挡时。本文提出了一种基于逐帧VAE混合模型的鲁棒无监督音视频语音增强方法。该混合模型由训练的仅音频VAE和训练的视听VAE组成。其动机是通过切换到仅音频VAE模型来跳过嘈杂的视觉帧。我们提出了一种变分期望最大化方法来估计模型的参数。实验结果表明,该方法具有良好的性能。
2019-11-10 cs.LG cs.SD eess.AS
MADBench: A Benchmark for Modality-Aware Audio Deepfake Detection
MADBench是首个区分语音与环境音频的音频深度伪造检测基准,测试发现环境音频操纵更易检测,现有预训练检测器在两类声学成分上均失效,为相关研究提供严谨基础。
2026-08-11 cs.AI cs.SD
Whisper-AT: Noise-Robust Automatic Speech Recognizers are Also Strong General Audio Event Taggers
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本研究发现语音识别模型Whisper的音频表征与非语音声音高度相关,基于此冻结其主干并添加轻量标记头构建Whisper-AT,以极低额外成本实现单前向传播同时完成语音识别与通用音频事件标记。
2023-07-06 cs.SD eess.AS
New Challenges for Content Privacy in Speech and Audio
University of Southampton(南安普顿大学);Fraunhofer AISEC(弗劳恩霍夫人工智能安全研究所);Technical University Munich(慕尼黑工业大学);Aflorithmic Labs Ltd.(Aflorithmic实验室有限公司)
语音和音频中的隐私有很多方面。在这一领域,隐私权的一个特别欠发达的领域涉及对与内容和背景有关的信息的考虑。语音内容可以包括单词及其含义,甚至包括文体标记、病态语音、语调模式或情感。更一般地,在野外捕获的音频可以包含背景语音或揭示上下文信息,诸如位置标记、房间特性、非语言声音或其他可听事件。音频记录设备和语音技术在日常生活中变得越来越普遍。与此同时,商业化的语音和音频技术并没有为消费者提供一系列隐私选择。即使在隐私受到法律监管或保护的地方,隐私保障和执行的技术解决方案也不足。这份立场文件介绍了语音和音频中内容隐私的三个重要而及时的研究挑战。我们强调当前的差距和机遇,并确定重点领域,这可能对开发道德和更安全的语音技术产生重大影响。
2023-01-21 cs.CR cs.SD eess.AS
Learning Contextually Fused Audio-visual Representations for Audio-visual Speech Recognition
University of Science and Technology of China(中国科学技术大学);iFlytek Research, iFlytek Co., Ltd.(科大讯飞股份有限公司讯飞研究院);Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所)
随着自监督学习在音频和视觉模态的进步,它已经成为可能学习一个强大的视听语音表示。这将有利于提高视听语音识别(AVSR)性能,因为多模态输入原则上包含更多有用的信息。在本文中,基于现有的自监督表示学习方法的音频模态,因此,我们提出了一个视听表示学习方法。所提出的方法探讨了视听形式的互补性和长期的上下文依赖性,使用基于变换器的融合模块和灵活的掩蔽策略。经过预训练,该模型能够提取AVSR所需的融合表示。不失一般性,它可以应用于单模态任务,例如,通过简单地屏蔽融合模块中的一个模态来进行音频/视觉语音识别。建议的预训练模型进行评估语音识别和唇读任务使用一个或两个模态,其中的优越性被揭示。
2022-07-10 cs.SD eess.AS eess.IV
Can Knowledge of End-to-End Text-to-Speech Models Improve Neural MIDI-to-Audio Synthesis Systems?
University of Southern California(南加州大学);National Institute of Informatics(国立信息学研究所)
由于音乐与符号输入的语音合成的相似性以及文语转换(TTS)技术的快速发展,借鉴TTS技术来提高MIDI到音频的性能是一个值得探讨的问题。在这项研究中,我们分析了基于TTS的MIDI到音频系统的不足之处,并改进它的特征计算,模型选择和训练策略,旨在合成高度自然的声音。此外,我们进行了广泛的模型评估,通过听力测试,音高测量和频谱分析。这项工作不仅展示了高度自然的音乐合成,而且为社区提供了全面的分析方法和有用的成果。我们的代码、预训练模型、补充材料和音频样本在https://github.com/nii-yamagishilab/midi-to-audio上开源。
2023-03-21 cs.SD eess.AS
Purification Before Fusion: Toward Mask-Free Speech Enhancement for Robust Audio-Visual Speech Recognition
University of Electronic Science and Technology of China(电子科技大学);Defense Innovation Institute, Academy of Military Sciences(国防科技创新研究院);Peking University(北京大学);High-tech Institute(高新技术研究所)
本文提出了一种端到端的噪声鲁棒音频-视觉语音识别框架,结合语音增强技术,在无需显式生成噪声掩码的情况下提升鲁棒性。
2026-03-06 cs.AI cs.LG cs.MM
Audio-visual video-to-speech synthesis with synthesized input audio
Imperial College London(帝国理工学院);University of Athens(雅典大学)
本文研究视频转语音中训练与推理均利用音频输入的效果,提出用预训练模型合成语音并与无声视频共同训练视听合成模型,在波形和梅尔频谱图目标上均有效。
2023-07-31 cs.CV cs.LG cs.SD
Application of Audio Fingerprinting Techniques for Real-Time Scalable Speech Retrieval and Speech Clusterization
Faculty of Science, University of Sarajevo(科学学院,萨拉热窝大学);Infobip(Infobip公司)
本文针对电信与云平台中的语音检索与聚类,改进音频指纹技术,实现无需GPU的快速批处理,并支持基于转录的聚类。
2025-09-25 cs.IR cs.SD eess.AS
Can Synthetic Audio From Generative Foundation Models Assist Audio Recognition and Speech Modeling?
USC(南加州大学);Amazon(亚马逊公司)
本文研究生成式基础模型产生的合成音频能否辅助音频识别与语音建模,通过将其用作训练数据和数据增强资源进行实验,验证了合成音频在两类任务中的潜力。
2024-08-29 cs.LG cs.SD eess.AS
Audio-Visual Speech Separation Using Cross-Modal Correspondence Loss
NTT Media Intelligence Laboratories, NTT Corporation(NTT(日本电报电话公司)媒体情报研究所)
提出了一种视听语音分离学习方法,该方法在训练过程中考虑分离信号与视觉信号的对应关系来反映语音特征。视听语音分离是一种利用说话人的视觉信号从混合语音中分离出单个语音信号的技术。传统的视听语音分离研究主要是对分离模型进行纯音频损失的训练,纯音频损失反映了源信号与分离信号之间的距离。然而,传统的损失不能反映语音信号的特征,包括说话者的特征和语音信息,这导致失真或残留噪声。为了解决这个问题,我们提出了跨模态对应(CMC)损失,这是基于共现的语音信号和视觉信号。由于视觉信号不受背景噪声的影响,并且包含说话人和语音信息,因此使用CMC损失使得视听语音分离模型能够在去除噪声的同时保留语音特征。实验结果表明,该方法在CMC损失的基础上学习同现,提高了分离性能。
2021-03-02 cs.LG cs.SD eess.AS
Audio-visual Speech Enhancement Using Conditional Variational Auto-Encoders
Inria Grenoble Rhône-Alpes(法国国立信息学与自动化研究院罗讷-阿尔卑斯格勒诺布尔研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CentraleSupélec(中央理工-高等电力学院);GIPSA-Lab(GIPSA实验室)
变分自动编码器(VAE)是深度生成潜变量模型,可用于学习复杂数据的分布。VAE已经成功地用于学习语音信号的概率先验,然后用于执行语音增强。这种生成方法的一个优点是,它在训练时不需要成对的干净和有噪声的语音信号。在本文中,我们提出了视听变体的VAE单通道和扬声器无关的语音增强。我们开发了一个条件VAE(CVAE)的音频语音生成过程是有条件的嘴唇区域的视觉信息。在测试时,视听语音生成模型与基于非负矩阵分解的噪声模型相结合,语音增强依赖于蒙特卡洛期望最大化算法。实验进行了最近发表的NTCD-TIMIT数据集以及GRID语料库。实验结果表明,提出的音视频CVAE模型有效地融合了音视频信息,与纯音频VAE模型相比,提高了语音增强性能,特别是在语音信号受噪声严重污染的情况下。我们还表明,所提出的无监督视听语音增强方法优于最先进的监督深度学习方法。
2020-05-26 cs.LG cs.SD eess.AS
LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders
Imperial College London(帝国理工学院);Meta Reality Labs Research(Meta现实实验室);Meta
视听语音增强的目的是从噪声环境中提取干净的语音,不仅利用音频本身,而且还利用目标说话人的嘴唇运动。这种方法已被证明是产生改进的音频语音增强,特别是对于干扰语音的去除。尽管最近在语音合成方面取得了进展,但大多数视听方法继续使用频谱映射/掩蔽来再现干净的音频,通常导致视觉骨干被添加到现有的语音增强架构中。在这项工作中,我们提出了LA-VocE,一种新的两阶段方法,通过基于变换器的架构从嘈杂的视听语音中预测梅尔频谱图,然后使用神经声码器(HiFi-GAN)将其转换为波形音频。我们对数千名说话者和11种以上不同的语言进行了训练和评估,并研究了我们的模型适应不同水平背景噪声和语音干扰的能力。我们的实验表明,LA-VocE优于现有的方法,根据多个指标,特别是在非常嘈杂的情况下。
2023-03-13 cs.CV cs.LG cs.SD
AMFFCN: Attentional Multi-layer Feature Fusion Convolution Network for Audio-visual Speech Enhancement
Trinity College Dublin(都柏林圣三一学院);Hubei University of Chinese Medicine(湖北中医药大学)
视听语音增强系统被认为是分离和增强说话人语音的最有前途的解决方案之一。传统的方法集中于通过基于朴素卷积神经网络的编码器-解码器架构来预测干净的语音频谱,并且这些方法a)不足以充分和有效地使用数据,b)不能选择性地处理特征。所提出的模型解决了这些缺点,通过a)应用在编码阶段逐层融合音频和视觉特征的模型,并且将融合的音频-视觉特征馈送到每个对应的解码器层,并且更重要的是,b)将软阈值注意力引入到模型中以软地选择信息模态。本文提出了一种基于注意力的视听图像多层特征融合模型,在解码器的每一层采用软阈值注意力单元进行特征映射。所提出的模型证明了优越的性能的网络对国家的最先进的模型。
2022-09-27 cs.SD eess.AS
AV-CPL: Continuous Pseudo-Labeling for Audio-Visual Speech Recognition
MIT(麻省理工学院);Apple(苹果公司)
本文提出半监督 AV-CPL 框架,利用同一视听模型在有标签和无标签视频上连续生成伪标签,在保持 ASR/AVSR 性能的同时显著提升 LRS3 上的 VSR 效果。
2023-09-29 cs.LG cs.SD eess.AS
Modeling strategies for speech enhancement in the latent space of a neural audio codec
本文研究了神经音频编解码器潜在空间中连续与离散表示在语音增强中的表现,发现连续表示更优,非自回归模型更实用,编码器微调效果最佳但影响重建质量。
2026-03-11 cs.SD eess.AS
XLAVS-R: Cross-Lingual Audio-Visual Speech Representation Learning for Noise-Robust Speech Perception
University of Maryland(马里兰大学);Meta AI
针对多语言视听数据稀缺问题,提出 XLAVS-R 表示模型,基于纯音频多语言预训练并简化 AV 预训练,在 MuAViC 上显著提升含噪语音识别与翻译性能。
2024-08-12 cs.CL cs.SD eess.AS
Contrastive Learning With Audio Discrimination For Customizable Keyword Spotting In Continuous Speech
Shanghai Jiao Tong University(上海交通大学);AISpeech Ltd(思必驰科技有限公司)
针对连续语音关键词识别中协同发音和流式分词易导致误报的问题,提出CLAD方法,通过滑动窗口级InfoNCE损失同时学习音频-文本匹配与音频-音频判别,在LibriSpeech上显著优于无音频判别的对比学习及两阶段方法。
2024-01-12 cs.SD eess.AS
Joint Speech Recognition and Audio Captioning
Carnegie Mellon University(卡内基梅隆大学);Sony Group Corporation(索尼集团公司)
在室内和室外环境中记录的语音样本通常被次级音频源污染。大多数端到端单声道语音识别系统或者使用语音增强来去除这些背景声音,或者训练噪声鲁棒模型。为了更好的模型可解释性和整体的理解,我们的目标是把不断增长的自动音频字幕(AAC)和深入研究的自动语音识别(ASR)领域。AAC的目标是生成音频样本中内容的自然语言描述。我们提出了几种方法的ASR和AAC任务的端到端的联合建模,并展示了它们的优势,传统的方法,这些任务独立建模。在评估我们提出的方法的一个主要障碍是缺乏标记的音频数据集与语音transmittance和音频字幕。因此,我们还通过将干净的语音华尔街日报语料库与从AudioCaps数据集中选择的多个级别的背景噪声混合来创建多任务数据集。我们还进行了广泛的实验评估,并显示我们提出的方法相比,现有的国家的最先进的ASR和AAC方法的改进。
2022-02-03 cs.CL cs.SD eess.AS
Multimodal Assessment of Speech Impairment in ALS Using Audio-Visual and Machine Learning Approaches
KITE Research Institute, University Health Network(大学健康网络KITE研究所)
本研究结合视听分析与机器学习预测ALS患者言语障碍,使用多模态特征训练回归模型,发现极端提升机回归器预测效果最佳,为延髓功能障碍的早期检测和监测提供了客观工具。
2025-05-27 cs.SD eess.AS
Jointly Recognizing Speech and Singing Voices Based on Multi-Task Audio Source Separation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Tencent AI Lab(腾讯AI实验室)
针对短视频与直播中语音、歌声、背景音乐重叠导致识别困难的问题,提出基于多任务音频源分离的联合识别模型JRSV,结合在线蒸馏提升鲁棒性,构建基准数据集验证其可显著提升混合音频各音轨识别准确率。
2024-04-17 cs.SD eess.AS
Deep Audio Watermarks are Shallow: Limitations of Post-Hoc Watermarking Techniques for Speech
Northwestern University(西北大学);Adobe Research(奥多比研究院)
针对语音事后水印技术,研究统一扩展音频变换对水印可检测性的评估,证明无需了解水印方案即可移除最先进事后音频水印且音频质量退化极小,揭示其局限性。
2025-04-15 cs.SD eess.AS
Securing Voice-driven Interfaces against Fake (Cloned) Audio Attacks
University of Michigan – Dearborn(密歇根大学迪尔伯恩分校)
语音克隆技术已经在从个性化语音界面到广告、机器人等各种领域得到应用,现有的语音克隆系统能够学习说话人的特征,并使用训练好的模型从少量的音频样本合成一个人的语音。克隆语音生成技术的进步能够从真正的语音中生成感知上无法区分的语音。这些进步对语音驱动接口和基于语音的访问控制系统构成了新的安全和隐私威胁。最先进的语音合成技术使用经训练或调谐的生成模型用于克隆语音生成。训练的生成模型依赖于线性运算、学习的权重和用于克隆语音合成的激励源。这些系统在合成语音中留下特征性的伪像。高阶频谱分析用于捕获真正的和克隆的音频之间的区别属性。具体而言,正交相位耦合(QPC)在估计的双相干,高斯性测试统计,和线性度测试统计被用来捕捉生成模型的文物。所提出的方法的性能进行评估克隆音频使用扬声器自适应和扬声器编码为基础的方法。对126个克隆语音和8个真实语音样本的实验结果表明,该方法能够以接近完美的检测率检测真实语音和克隆语音。
2019-02-18 cs.SD eess.AS
Audio-visual Recognition of Overlapped speech for the LRS2 dataset
Tencent AI(腾讯人工智能)
重叠语音的自动识别至今仍是一项极具挑战性的任务。受人类语音感知的双峰性质的启发,本文研究了使用视听技术进行重叠语音识别。提出了与音视频语音识别(AVSR)系统构建相关的三个问题。首先,研究了AVSR系统的基本结构设计,即端到端和混合结构。其次,有目的地设计的模态融合门被用来鲁棒地集成音频和视觉特征。第三,在对比传统的流水线架构,包含显式语音分离和识别组件,流线型和集成的AVSR系统优化一致使用无格MMI(LF-MMI)判别准则也提出了。所提出的LF-MMI时延神经网络(TDNN)系统为LRS 2数据集建立了最先进的技术。对LRS 2数据集模拟的重叠语音的实验表明,所提出的AVSR系统在字错误率(WER)降低方面优于仅音频基线LF-MMI DNN系统高达29.98%的绝对值,并且产生了与更复杂的流水线系统相当的识别性能。一致的性能改善4.89%的绝对WER减少基线AVSR系统使用特征融合。
2020-01-06 cs.SD eess.AS
Predict-and-Update Network: Audio-Visual Speech Recognition Inspired by Human Speech Perception
在人类的语音感知中,音频和视频信号是相辅相成的,在语音识别中也是如此。视觉提示不如声学提示明显,但在复杂的声学环境中更鲁棒,就语音感知而言。如何有效地利用音频和视频信号之间的相互作用进行自动语音识别仍然是一个挑战。已经有研究以同步方式利用视觉信号作为音频输入的冗余或补充信息。对人类的研究表明,视觉信号会提前让听者准备好何时以及在哪个频率上注意。我们提出了一个预测和更新网络(P&U网),模拟这样的视听语音识别(AVSR)的视觉提示机制。特别是,我们首先预测的字符后验的口语单词,即视觉嵌入,基于视觉信号。然后,音频信号通过新颖的跨模态Conformer以视觉嵌入为条件,更新角色后验。我们通过大量的实验验证了视觉提示机制的有效性。建议的P&U网络优于国家的最先进的AVSR方法在LRS 2-BBC和LRS 3-BBC数据集,与相对减少字出错率(WER)的超过10%和40%,在干净和嘈杂的条件下,分别。
2022-09-05 cs.MM cs.SD eess.AS
Conformer-Based Self-Supervised Learning for Non-Speech Audio Tasks
Facebook(脸书)
从未标记数据中进行表示学习一直是人工智能研究的热点。虽然自监督语音表示学习已经在语音研究界流行,但很少有作品全面分析非语音音频任务的音频表示学习。在本文中,我们提出了一种自监督的音频表示学习方法,并将其应用于各种下游的非语音音频任务。我们结合了著名的wav2vec 2.0框架,它已经成功地在自监督学习的语音任务,参数高效的构象架构。我们的自我监督预训练可以将对标记数据的需求减少三分之二。在AudioSet基准测试中,我们实现了0.415的平均精度(mAP)得分,这是通过仅音频自监督学习在该数据集上的最新技术水平。我们的微调构象也超过或匹配以前的系统在几个下游任务的监督方式预训练的性能。我们进一步讨论了预训练和微调的重要设计考虑因素。
2022-01-07 cs.LG cs.SD eess.AS
DAIEN-TTS: Disentangled Audio Infilling for Environment-Aware Text-to-Speech Synthesis
National Engineering Research Center of Speech and Language Information Processing(语音与语言信息处理国家工程研究中心)
DAIEN-TTS通过解耦音频填充技术实现环境感知的文本到语音合成,支持独立控制语音音色和环境背景,提升合成语音的自然度和环境保真度。
2026-01-19 cs.SD eess.AS
Learning Audio-Visual Speech Representation by Masked Multimodal Cluster Prediction
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Meta AI
语音的视频记录包含相关的音频和视觉信息,为从说话者的嘴唇运动和产生的声音学习语音表示提供强信号。我们介绍了视听隐藏单元BERT(AV-HuBERT),一个自监督的表示学习框架的视听语音,掩盖多流视频输入和预测自动发现和迭代细化的多模态隐藏单元。AV-HuBERT学习强大的视听语音表示,同时受益于唇读和自动语音识别。在最大的公共唇读基准测试LRS 3(433小时)中,AV-HuBERT仅用30小时的标记数据就实现了32.5%的WER,优于之前用1000倍的转录视频数据(31 K小时)训练的最先进的方法(33.6%)。当使用来自LRS 3的所有433小时标记数据并结合自我训练时,唇读WER进一步降低到26.9%。使用我们的音频-视频表示在相同的基准上进行纯音频语音识别,导致相对于最先进的性能(1.3%vs 2.3%)的40%的相对WER降低。我们的代码和模型可在https://github.com/facebookresearch/av_hubert上获得
2022-03-13 cs.CV cs.SD eess.AS
AudioJudge: Understanding What Works in Large Audio Model Based Speech Evaluation
SCB 10X, SCBX Group(SCB 10X、SCBX集团);University of Southern California(南加州大学);Stanford University(斯坦福大学)
本文系统研究大型音频模型作为评判器(AudioJudge),提出音频拼接结合上下文学习及多维度集成方法,在语音评估中实现与人类偏好最高0.91的Spearman相关性,并揭示其冗长性和位置偏差问题。
2025-07-17 cs.CL cs.SD eess.AS