WACO: Word-Aligned Contrastive Learning for Speech Translation
University of California, Santa Barbara(加州大学圣巴巴拉分校);ByteDance AI Lab(字节跳动人工智能实验室)
针对极低资源语音翻译,本文提出词对齐对比学习方法WACO,通过对比学习对齐语音与文本的词级表示,在MuST-C和IWSLT 2023马耳他语-英语上仅用1小时数据即超越最佳基线9个以上BLEU分。
2023-07-07 cs.CL cs.SD eess.AS
A Cross-Corpus Speech Emotion Recognition Method Based on Supervised Contrastive Learning
Southeast University(东南大学)
针对语音情感识别中大规模公开数据集缺乏、跨分布数据泛化能力有限的问题,提出基于监督对比学习的两阶段微调跨语料库方法,在IEMOCAP和CASIA数据集上取得优于现有最佳结果的无加权准确率。
2024-11-25 cs.CL cs.SD eess.AS
Augmenting Open-Vocabulary Dysarthric Speech Assessment with Human Perceptual Supervision
Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本研究提出利用语音合成评估中的人类感知标注作为外部领域知识,指导构音障碍语音评估,实验证明该方法能有效提升自监督预训练模型的性能,实现跨领域知识转移。
2025-11-04 eess.AS
Tokenwise Contrastive Pretraining for Finer Speech-to-BERT Alignment in End-to-End Speech-to-Intent Systems
The Ohio State University(俄亥俄州立大学);IBM Research AI(IBM研究院人工智能部门)
端到端(E2E)口语语言理解(SLU)的最新进展主要是由于语音表征的有效预训练。一种这样的预训练范例是将语义知识从最先进的基于文本的模型(如BERT)升华到语音编码器神经网络。这项工作是朝着以更有效和细粒度的方式做同样的事情迈出的一步,我们在逐个令牌的基础上对齐语音嵌入和BERT嵌入。我们介绍了一种简单而新颖的技术,使用跨模态注意力机制从语音编码器中提取令牌级上下文嵌入,以便这些可以直接与基于BERT的上下文嵌入进行比较和对齐。这种对齐是使用一种新型的符号对比丢失来执行的。微调这样一个预训练的模型来直接使用语音执行意图识别,在两个广泛使用的SLU数据集上产生了最先进的性能。当使用SpecAugment进行额外的正则化微调时,我们的模型进一步改进,特别是当语音有噪声时,与以前的结果相比,绝对改进高达8%。
2022-07-01 cs.CL cs.SD eess.AS
Augmenting Generative Adversarial Networks for Speech Emotion Recognition
University of Southern Queensland(南昆士兰大学);Data61, CSIRO(联邦科学与工业研究组织数据61研究所);Information Technology University(信息技术大学);University of New South Wales(新南威尔士大学);Queensland University of Technology(昆士兰科技大学);Imperial College London(帝国理工学院);University of Augsburg(奥格斯堡大学)
生成对抗网络(GANs)在学习情感属性和生成新数据样本方面表现出了潜力。然而,它们的性能通常受到较大的语音情感识别(SER)数据的不可用性的阻碍。在这项工作中,我们提出了一个框架,利用混合数据增强计划,以增加GAN的特征学习和生成。为了显示所提出的框架的有效性,我们目前的结果SER(i)合成特征向量,(ii)增强的训练数据与合成功能,(iii)压缩表示的编码功能。我们的研究结果表明,该框架可以有效地学习压缩的情感表示,以及它可以生成合成样本,有助于提高性能的语料库内和跨语料库的评价。
2020-07-26 cs.SD eess.AS
DyPCL: Dynamic Phoneme-level Contrastive Learning for Dysarthric Speech Recognition
POSTECH(浦项科技大学);aiXplain Inc.(aiXplain公司)
本文提出动态音素级对比学习方法DyPCL,通过音素片段对比学习和基于语音相似性的动态课程学习缓解构音障碍说话人变异性,在UASpeech上实现平均22.10%的WER相对降低。
2025-02-03 cs.CL cs.SD eess.AS
Improving Noise Robustness of Contrastive Speech Representation Learning with Speech Reconstruction
Microsoft(微软)
噪声鲁棒性对于在真实世界环境中部署自动语音识别(ASR)系统至关重要。降低噪声干扰影响的一种方法是采用进行语音增强的预处理模块,然后将增强的语音馈送到ASR后端。在这项工作中,而不是抑制背景噪声与传统的级联流水线,我们采用了噪声鲁棒表示学习的一个完善的自监督框架嘈杂的语音识别。我们建议将重建模块与对比学习相结合,并对噪声数据进行多任务连续预训练。重建模块用于辅助学习,以提高学习表示的噪声鲁棒性,因此在推理期间不需要重建模块。实验证明了该方法的有效性。我们的模型大大降低了字出错率(WER)的合成噪声LibriSpeech测试集,并产生约4.1/7.5%的WER减少噪声清洁/其他测试集相比,数据增强。对于来自CHiME-4挑战(1通道轨道)的真实噪声语音,我们在没有任何去噪前端的情况下获得了最先进的ASR性能。此外,我们实现了与最佳监督方法相当的性能,仅用16%的标记数据。
2021-10-28 cs.CL cs.SD eess.AS
A Preliminary Study on Augmenting Speech Emotion Recognition using a Diffusion Model
Emulation AI;Queensland University of Technology (QUT)(昆士兰科技大学);Imperial College London(伦敦帝国理工学院);University of Augsburg(奥格斯堡大学)
本文提出利用改进的去噪扩散概率模型(IDDPM)结合BERT文本嵌入生成高质量合成情感语音数据,用于语音情感识别(SER)的数据增强,实验表明该方法优于GANs,能显著提升SER性能。
2023-05-19 cs.SD eess.AS
Augmenting Dysarthric Speech Severity Assessment with MOS Supervision
Tsinghua University(清华大学);Beijing University of Posts(北京邮电大学)
提出利用语音合成评估数据(QualiSpeech语料库的MOS标签)增强构音障碍语音评估,微调提升可懂度和自然度预测,联合训练主要提升自然度,减少对临床标注的依赖。
2026-06-18 cs.AI eess.AS
Guided contrastive self-supervised pre-training for automatic speech recognition
Amazon(亚马逊)
对比预测编码(CPC)是一种表示学习方法,它最大化中间潜在表示与给定模型的输出之间的互信息。它可用于有效地初始化自动语音识别(ASR)模型的编码器。我们提出了一种新的修改CPC称为引导对比预测编码(GCPC)。我们所提出的方法最大限度地提高了从先验知识模型的表示和模型的输出之间的互信息进行预训练,允许在预训练过程中的先验知识注入。我们验证我们的方法3 ASR任务:德语,法语和英语。与从头开始训练相比,我们的方法在所有三个数据集上的表现都优于CPC预训练,德语、法语和英语(Librisepeech)任务的单词出错率(WER)相对分别降低了4.44%、6.55%和15.43%,而CPC预训练仅带来了2.96%、1.01%和14.39%的相对WER降低。
2022-10-22 cs.CL cs.SD eess.AS
Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs for Robust Speech Recognition
Microsoft(微软)
用于自动语音识别(ASR)的自监督学习(SSL)的目标是从大量未标记的语音中学习良好的语音表示以用于下游的ASR任务。然而,大多数SSL框架没有考虑噪声鲁棒性,这对现实世界的应用至关重要。在本文中,我们提出了wav 2 vec-Switch,一种通过对比学习将噪声鲁棒性编码到语音的上下文表示中的方法。具体来说,我们将原始噪声语音对同时输入wav 2 vec 2.0网络。除了现有的对比学习任务,我们切换的量化表示的原始和嘈杂的语音作为额外的预测目标。通过这样做,它强制网络对原始语音和噪声语音进行一致的预测,从而允许学习具有噪声鲁棒性的上下文表示。我们对合成和真实噪声数据的实验表明,我们的方法的有效性:它实现了2.9- 4.9%的相对字出错率(WER)减少对合成的噪声LibriSpeech数据,而不恶化的原始数据,和5.7%的CHiME-4真正的1通道噪声数据相比,数据增强基线,即使有一个强大的语言模型解码。我们在CHiME-4上的结果可以匹配甚至超过那些设计良好的语音增强组件。
2022-01-26 cs.CL cs.LG cs.SD
Augmenting Bottleneck Features of Deep Neural Network Employing Motor State for Speech Recognition at Humanoid Robots
对于人形机器人,机器人在运动或晃动时,由于电机、风扇等机械部件产生的内部噪声严重影响了语音识别的准确性。提出了一种新的人形机器人语音识别系统,该系统利用电机的开/关状态作为辅助信息来寻找相关的输入特征。为此,我们考虑瓶颈特征,这些特征已成功应用于基于深度神经网络(DNN)的自动语音识别(ASR)系统。当学习要捕捉的瓶颈特征时,除了声学特征作为第一深度神经网络(DNN)的输入之外,我们首先利用电机开/关状态数据作为补充信息,用于初步的声学建模。然后,用于主要声学建模的第二DNN采用从第一DNN抛出的瓶颈特征和声学特征两者。在TIMIT数据库上进行音素出错率(PER)测试,实验结果表明,与传统系统相比,该算法有明显的提高(相对提高11%)。
2018-08-27 cs.AI cs.SD eess.AS
CSTNet: Contrastive Speech Translation Network for Self-Supervised Speech Representation Learning
Le Mans University(勒芒大学)
世界上7,000种语言中有一半以上濒临灭绝。记录语言的传统方法是收集音频数据,然后由训练有素的语言学家在不同的粒度级别上进行手动注释。这个耗时而艰苦的过程可以从机器学习中受益。许多濒危语言没有任何正字法形式,但通常有双语和受过高资源语言训练的发言者。获得与语音对应的文本翻译相对容易。在这项工作中,我们提供了一个多模态机器学习框架的语音表示学习,通过利用两种模态之间的相关性,即语音及其相应的文本翻译。在这里,我们构建了一个卷积神经网络音频编码器,能够从语音中提取语言表示。训练音频编码器以在对比学习框架中执行语音翻译检索任务。通过评估电话识别任务上的学习表示,我们证明了语言表示出现在音频编码器的内部表示作为学习的副产品执行检索任务。
2020-08-05 cs.CL cs.LG cs.SD
Augmenting text for spoken language understanding with Large Language Models
Carnegie Mellon University(卡内基梅隆大学);Meta
本文研究利用无对应语音的转录-语义解析文本扩充口语语义解析训练,提出用LLM生成非配对文本并结合JAT与TTS,在STOP数据集上显著提升现有及新领域的精确匹配性能。
2023-09-17 cs.CL cs.SD eess.AS
Generative Emotional AI for Speech Emotion Recognition: The Case for Synthetic Emotional Speech Augmentation
Information Technology University (ITU)(信息技术大学(ITU));University of Southern Queensland(南昆士兰大学);Qatar University(卡塔尔大学)
尽管在深度学习方面取得了进展,但由于缺乏语音情感数据集,当前最先进的语音情感识别(SER)系统仍然具有较差的性能。本文提出了增强SER系统与合成情感语音生成的端到端的文本到语音(TTS)系统的基础上扩展的Tacotron架构。所提出的TTS系统包括用于扬声器和情感嵌入的编码器,用于创建Mel频谱图的序列到序列文本生成器,以及用于从Mel频谱图生成音频的WaveRNN。大量的实验表明,所生成的情感语音的质量可以显着提高多个数据集上的SER性能,如与基线相比更高的平均意见得分(MOS)所示。生成的样本也有效地增强SER性能。
2023-01-10 cs.SD eess.AS
Augmenting Large Audio Language Models with Low-Level Acoustic Features for Dysarthric Speech Detection
Idiap Research Institute(伊迪亚普研究所);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
提出微调大型音频语言模型(LALMs)结合低级声学特征与说话者人口统计信息进行构音障碍语音检测,优于深度学习基线,Qwen2-Audio-Instruct达最先进性能。
2026-10-05 eess.AS
Emotion-Coherent Speech Data Augmentation and Self-Supervised Contrastive Style Training for Enhancing Kids's Story Speech Synthesis
Supply Chain MultiTech R\&D Centre, Pok Fu Lam, Hong Kong \
本文提出通过情感一致的语音数据增强和自监督对比训练,提升儿童故事语音合成的表达性和自然度。
2026-02-10 cs.SD eess.AS
Cross-modal Contrastive Learning for Speech Translation
ByteDance(字节跳动);University of California, Santa Barbara(加州大学圣巴巴拉分校)
我们如何才能学习口语和书面语的统一表征?学习语义相似的语音和文本的相似表示对于语音翻译是重要的。为此,我们提出了ConST,一种跨模态的对比学习方法,用于端到端的语音到文本翻译。我们在流行的基准测试Must-C上评估ConST和各种以前的基线。实验结果表明,所提出的ConST始终优于以前的方法,并实现了平均BLEU为29.4。分析进一步验证了ConST确实缩小了不同模态的表示差距-其学习表示将跨模态语音文本检索的准确率从4%提高到88%。代码和模型可在https://github.com/ReneeYe/ConST上获得。
2022-05-05 cs.CL eess.AS
Supervised Contrastive Learning for Accented Speech Recognition
Mediatek Singapore(联发科新加坡)
基于神经网络的语音识别系统由于口音语音,特别是不熟悉的口音而遭受性能下降。在本文中,我们研究了有监督的对比学习框架的口音语音识别。为了建立不同的视图(类似的"积极"的数据样本)的对比学习,三个数据增强技术,包括噪声注入,频谱图增强和TTS相同的句子生成进一步研究。通过在Common Voice数据集上的实验,我们已经证明了对比学习有助于构建数据增强不变和发音不变的表示,这在zero-shot和full shot设置中都显着优于传统的联合训练方法。实验结果表明,对比学习比联合训练方法平均提高了3.66%(zero-shot)和3.78%(full-shot)的准确率。
2021-07-02 cs.LG cs.SD eess.AS
NoRefER: a Referenceless Quality Metric for Automatic Speech Recognition via Semi-Supervised Language Model Fine-Tuning with Contrastive Learning
aiXplain Inc.(aiXplain公司)
本文提出无参考ASR质量度量NoRefER,通过对比学习和孪生网络微调多语言模型,实现无需真实转录的假设排序,与参考度量高度相关,适用于ASR评估和A/B测试。
2023-06-21 cs.CL cs.SD eess.AS
Learning Speech Representation From Contrastive Token-Acoustic Pretraining
Tianjin University(天津大学);Kuaishou Technology Co., Ltd(快手科技有限公司);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对细粒度语音任务中中间表示冗余且现有对比学习不适用的问题,提出 CTAP,在帧级对齐音素与语音,并基于 21 万对数据实现最小监督 TTS、VC 和 ASR。
2023-12-18 cs.AI cs.CL cs.SD
CLASP: Contrastive Language-Speech Pretraining for Multilingual Multimodal Information Retrieval
Qatar Computing Research Institute (QCRI)(卡塔尔计算研究所)
本研究提出多语言多模态检索模型CLASP,结合音频频谱图与预训练自监督语音模型、多语言句子编码器,在自建15类语音文本数据集上训练,在多语言检索指标上超越传统ASR基检索方法。
2025-03-23 cs.CL cs.IR cs.SD
SCOREQ: Speech Quality Assessment with Contrastive Regression
University College Dublin(都柏林大学学院);Google LLC(谷歌公司)
针对现有无参考语音质量指标域泛化能力不足的问题,提出基于三元组对比回归损失的SCOREQ方法,经多域基准验证有效提升了语音质量预测模型的泛化性能,且可推广至其他回归预测任务。
2025-01-15 cs.SD eess.AS
Crab: Multi Layer Contrastive Supervision to Improve Speech Emotion Recognition Under Both Acted and Natural Speech Condition
Dept. of Computer Engineering and Automation (DCA), Faculdade de Engenharia Elétrica e de Computação(计算机工程与自动化系(DCA)、电气与计算机工程学院);AI Lab.(人工智能实验室);Institute of Computing, Universidade Estadual de Campinas, UNICAMP(计算学院,坎皮纳斯州立大学,UNICAMP)
本文提出Crab模型,通过多层对比监督策略提升语音情感识别在表演和自然语音条件下的性能,采用跨模态Transformer架构和多任务对比学习,有效解决类别不平衡问题。
2026-10-01 cs.SD eess.AS
Contrastive Learning for Improving ASR Robustness in Spoken Language Understanding
National Taiwan University(国立台湾大学)
口语语言理解(Spoken language understanding,SLU)是机器理解人类语音以实现更好交互的重要任务。然而,来自自动语音识别器(ASR)的错误通常会损害理解性能。实际上,ASR系统可能不容易针对目标场景进行调整。因此,本文采用对比目标学习对ASR错误具有鲁棒性的话语表征,并在模型微调中结合监督对比学习和自升华进一步增强泛化能力。在三个基准数据集上的实验证明了该方法的有效性。
2022-06-27 cs.CL cs.SD eess.AS
An Exhaustive Evaluation of TTS- and VC-based Data Augmentation for ASR
本文系统评估了基于流的TTS/VC数据增强对ASR的影响,发现音高和说话人增强无效,而联合增强其他属性可使Conformer-Transducer的WER在Common Voice上相对降低11%、在LibriSpeech上最多降低35%。
2025-03-11 cs.CL eess.AS
Boosting Multi-Speaker Expressive Speech Synthesis with Semi-supervised Contrastive Learning
Mashang Consumer Finance Co., Ltd.(马上消费金融股份有限公司)
本文提出基于半监督对比学习的多说话人TTS方法,通过多层级对比学习提取解耦的风格、情感与说话人表征,并结合半监督策略利用多领域数据,整合至改进VITS模型,实现跨说话人的风格与情感迁移及表现力语音合成。
2024-04-25 cs.SD eess.AS
DCTTS: Discrete Diffusion Model with Contrastive Learning for Text-to-speech Generation
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
本文提出DCTTS,通过基于离散空间的扩散模型降低计算消耗并提升采样速度,结合对比学习增强语音与文本对齐以提升质量,同时采用高效文本编码器简化参数,实现了高质量且低资源的文本到语音生成。
2023-09-13 cs.SD eess.AS
Contrastive Predictive Coding Supported Factorized Variational Autoencoder for Unsupervised Learning of Disentangled Speech Representations
Paderborn Center for Parallel Computing(帕德博恩并行计算中心)
在这项工作中,我们解决的风格和内容的语音信号的解开。我们提出了一个完全卷积变分自动编码器采用两个编码器:内容编码器和风格编码器。为了促进解纠缠,我们提出了对抗性对比预测编码。这种新的解纠缠方法既不需要并行数据,也不需要任何监督。我们表明,所提出的技术是能够分离的扬声器和内容的特点到两个不同的表示,并显示竞争力的扬声器内容解纠缠性能相比,其他无监督的方法。我们进一步证明了增加的鲁棒性的内容表示对训练测试不匹配相比,频谱特征,当用于电话识别。
2021-03-11 cs.SD eess.AS
All Information is Necessary: Integrating Speech Positive and Negative Information by Contrastive Learning for Speech Enhancement
针对单声道语音增强仅利用正信息的局限,提出CMCR-Net,通过协作模块与对比正则化整合正负语音信息,取得优于近期方法的性能。
2023-04-26 eess.AS
SACM: SEEG-Audio Contrastive Matching for Chinese Speech Decoding
Hongbin Wang(王宏斌);Zhihong Jia(贾志宏);Yuanzhong Shen(沈元中);Ziwei Wang(王子伟);Siyang Li(李思阳);Kai Shu(舒凯);Feng Hu(胡峰);Dongrui Wu(吴东瑞)
本文提出SACM框架,利用SEEG和音频对比匹配进行中文语音解码,在八名患者上验证了显著高于偶然水平的准确率,并发现单个电极即可达到全阵列性能,为在线BCI开发提供洞见。
2025-05-26 cs.HC cs.SD eess.AS
CALM: Contrastive Cross-modal Speaking Style Modeling for Expressive Text-to-Speech Synthesis
Tencent(腾讯)
针对TTS参考语音选择受语义无关信息干扰的问题,提出对比声学-语言模块(CALM),通过对比学习提取风格相关文本特征以选择参考语音,实验证明其优于基线方法。
2023-08-30 cs.SD eess.AS
Retrieval Augmented Generation in Prompt-based Text-to-Speech Synthesis with Context-Aware Contrastive Language-Audio Pretraining
Beijing University of Posts and Telecommunications(北京邮电大学)
本文针对基于提示的TTS中语音提示选择问题,提出将检索增强生成(RAG)适配到TTS,并设计上下文感知对比语言-音频预训练模型CA-CLAP来提取风格相关特征,实验证明该方法优于基线。
2024-06-06 cs.SD eess.AS
Exploring Self-Supervised Multi-view Contrastive Learning for Speech Emotion Recognition with Limited Annotations
Maastricht University(马斯特里赫特大学)
针对语音情感识别中标注数据稀缺的问题,提出可适配多种语音表示的多视图自监督预训练框架,在标注极稀疏场景下将未加权平均召回率最高提升10%。
2024-06-12 cs.AI cs.CL cs.SD
Enhancing Emotional Text-to-Speech Controllability with Natural Language Guidance through Contrastive Learning and Diffusion Models
Technical University of Munich(慕尼黑工业大学);University of Augsburg(奥格斯堡大学);Imperial College London(伦敦帝国理工学院);Alibaba Group(阿里巴巴集团)
提出 ParaEVITS 情感 TTS 框架,结合 ParaCLAP 文本-音频编码与扩散模型,使用自然语言描述控制情感渲染并保持语音质量。
2024-09-10 cs.SD eess.AS
Robust Data2vec: Noise-robust Speech Representation Learning for ASR by Combining Regression and Improved Contrastive Learning
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Nanyang Technological University(南洋理工大学)
基于对比学习或回归任务的自监督预训练方法可以利用更多的未标记数据来提高自动语音识别(ASR)的性能。然而,结合两个预训练任务和构建不同的负样本进行对比学习的鲁棒性影响仍然不清楚。在本文中,我们提出了一种用于自监督语音表示学习的噪声鲁棒data 2 vec,通过在预训练阶段联合优化对比学习和回归任务。此外,我们提出了两种改进的方法,以促进对比学习。更具体地说,我们首先提出构建基于块的非语义负样本来提高预训练模型的噪声鲁棒性,这是通过将特征划分为不同大小的块来实现的(即,所谓的负样本)。其次,通过分析正样本和负样本的分布,我们提出了去除容易区分的负样本,以提高预训练模型的区分能力。在CHiME-4数据集上的实验结果表明,我们的方法能够提高噪声场景中预训练模型的性能。我们发现,对比学习和回归任务的联合训练可以在一定程度上避免模型崩溃相比,只训练回归任务。
2022-10-27 cs.SD eess.AS
Speech Separation based on Contrastive Learning and Deep Modularization
University of Cambridge(剑桥大学)
针对监督语音分离存在的排列问题、说话人数量不匹配及依赖标注数据的问题,提出基于对比学习和深度模块化的无监督方法,在WSJ0-2mix、WSJ0-3mix上取得优异性能且说话人增多时性能下降不明显。
2024-10-09 cs.CL cs.SD eess.AS
Self-Supervised Learning from Contrastive Mixtures for Personalized Speech Enhancement
这项工作探讨了如何自我监督学习可以普遍用于发现扬声器的特定功能,使个性化的语音增强模型。我们专门解决了Few-Shot学习场景,其中对测试时间扬声器的清洁录音的访问限于几秒钟,但扬声器的嘈杂录音是丰富的。我们开发了一个简单的对比学习过程,将丰富的噪声数据作为临时的训练目标,通过成对的噪声注入:该模型进行预训练,以最大限度地提高对不同变形的相同的话语之间的协议,并尽量减少对类似变形的不相同的话语之间的协议。我们的实验比较了所提出的预训练方法与两个基线替代方案:说话者不可知的全监督预训练,和说话者特定的自我监督预训练没有对比损失条款。在所有三种方法中,使用对比混合物的方法被发现对模型压缩(使用少85%的参数)和减少干净语音(仅需要3秒)是最鲁棒的。
2022-08-09 cs.LG cs.SD eess.AS
Adaptive Speech Quality Aware Complex Neural Network for Acoustic Echo Cancellation with Supervised Contrastive Learning
MediaTek Singapore(联发科新加坡)
声学回声消除(AEC)旨在从麦克风信号中消除回声、混响和不需要的附加声音,同时保持近端扬声器的语音质量。本文提出了自适应语音质量复杂神经网络,专注于实时声学回声消除的特定任务。具体而言,我们提出了一个复杂的模块化神经网络,具有不同的阶段,分别专注于特征提取,声学分离和掩模优化。此外,我们采用了对比学习框架和新的语音质量感知损失函数,以进一步提高性能。该模型经过72小时的预训练,然后进行72小时的微调。所提出的模型优于国家的最先进的性能。
2022-11-09 cs.AI cs.SD eess.AS
RA-CLAP: Relation-Augmented Emotional Speaking Style Contrastive Language-Audio Pretraining For Speech Retrieval
Nankai University(南开大学);TMCC, College of Computer Science(TMCC计算机学院);Hithink RoyalFlush AI Research Institute(Hithink RoyalFlush人工智能研究院);University of Exeter(埃克塞特大学)
本文提出情感说话风格检索任务及RA-CLAP模型,通过自蒸馏学习语音与描述间的局部匹配关系,克服传统二元关系假设,提升泛化能力,实验验证其有效性。
2025-05-26 cs.SD eess.AS
Contrastive Learning with Variational Regularization for Multi-Session EEG-to-Speech Decoding
The University of Electro-Communications(电气通信大学);Artificial Intelligence eXploration Research Center (AIX)(人工智能探索研究中心)
该研究针对脑电到语音解码的低信噪比与会话变异性问题,采用多会话同一刺激的EEG响应作为对比学习正样本,结合变分正则化,在日语EEG数据集上降低了字符错误率并保持重构保真度。
2026-08-18 cs.SD eess.AS eess.SP
AC-Mix: Self-Supervised Adaptation for Low-Resource Automatic Speech Recognition using Agnostic Contrastive Mixup
INESC-ID & Instituto Superior Técnico(INESC-ID与理工学院)
本文提出AC-Mix方法,通过源域与目标域样本插值的对比混合进行自监督域自适应,在仅约11小时数据和1小时单GPU训练下持续提升低资源ASR性能。
2024-10-18 cs.SD eess.AS
Enhancement of Dysarthric Speech Reconstruction by Contrastive Learning
针对构音障碍语音重构中无正常语音时保留说话人身份的难题,提出采用对比学习提取说话人嵌入、用XLS-R表征替代滤波器组的方法,显著提升了重构语音的质量、可懂度与身份保留度,降低了词错误率。
2024-10-05 eess.AS
A Contrastive Learning Approach to Mitigate Bias in Speech Models
Politecnico di Torino(都灵理工大学)
针对语音模型在不同人群子群体中性能失衡的偏差问题,提出一种采用三级学习技术的对比学习方法,经两个口语理解数据集、两种语言验证,可改善子群体内部表征、减少偏差并提升性能。
2024-06-20 cs.CL cs.LG eess.AS
Scaling Ambiguity: Augmenting Human Annotation in Speech Emotion Recognition with Audio-Language Models
University of Melbourne(墨尔本大学);Xi'an Jiaotong University(西安交通大学)
本文通过音频-语言模型生成合成标注,提升语音情感识别中模糊情感的真实分布可靠性,实验表明合成标注在低歧义区域效果显著,但高歧义情况需进一步优化。
2026-01-21 cs.AI cs.LG cs.SD
On the effectiveness of enrollment speech augmentation for Target Speaker Extraction
The Hong Kong Polytechnic University(香港理工大学);Shenzhen Research Institute of Big Data(深圳大数据研究院)
该研究针对训练数据不足时目标说话人提取算法的泛化与鲁棒性问题,探究注册语音增强的有效性,提出自估计语音增强(SSA)方法,在Libri2Mix测试集上最高实现2.5 dB的性能提升。
2024-09-15 cs.SD eess.AS
Contrastive Unsupervised Learning for Speech Emotion Recognition
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon Alexa(亚马逊Alexa)
语音情感识别是实现更自然的人机交流的关键技术。然而,SER长期以来一直缺乏公共的大规模标记数据集。为了避免这个问题,我们研究了如何无监督表示学习对未标记的数据集可以受益SER。我们表明,对比预测编码(CPC)方法可以学习显着表示从未标记的数据集,这提高了情感识别性能。在我们的实验中,这种方法实现了最先进的一致性相关系数(CCC)的性能,所有的情绪原语(激活,效价,和优势)IEMOCAP。此外,在MSP-Podcast数据集上,与基线相比,我们的方法获得了相当大的性能改进。
2021-02-12 cs.LG cs.SD eess.AS
SCaLa: Supervised Contrastive Learning for End-to-End Speech Recognition
JD AI Research(京东人工智能研究院)
端到端自动语音识别(ASR)模型通常被训练为优化整个令牌序列的丢失,而忽略显式音素粒度监督。这可能导致由于相似音素混淆或音素减少而导致的识别错误。为了缓解这个问题,我们提出了一个新的框架,基于监督对比学习(SCaLa),以增强音素表征学习的端到端ASR系统。具体来说,我们将自监督的掩蔽对比预测编码(MCPC)扩展到完全监督的设置,其中监督以以下方式应用。首先,SCaLa根据从预先训练的声学模型中提取的给定音素强制对齐的音素边界掩蔽可变长度编码器特征;然后通过对比学习预测掩蔽的特征。强制对齐可以提供音素标签,以减轻自监督MCPC中正负对引入的噪声。阅读和自发语音数据集上的实验表明,我们提出的方法实现了2.8和1.4点字符错误率(CER)的绝对减少相比,基线,分别。
2022-06-20 cs.LG cs.SD eess.AS
Steering Speech-Language Models: Training-Free Task Specialization via Contrastive Activation Addition
Univ Toulon, Aix Marseille Univ, LIS, CNRS(土伦大学,艾克斯-马赛大学,LIS,法国国家科学研究中心);Mila – Quebec AI Institute(Mila – 魁北克人工智能研究所);Idiap Research Institute(Idiap 研究所);Sapienza University of Rome(罗马大学);Brno University of Technology(布尔诺理工大学);pyannoteAI(pyannoteAI 公司);Concordia University(康考迪亚大学);CNRS, ILLS(法国国家科学研究中心,ILLS)
提出免训练的对比激活添加(CAA)协议,从少量带标签语音样本中为SpeechLLMs推导引导向量,在推理时增强目标语音任务,与提示结合可提升ASR、ER等任务性能,并支持跨域迁移和脚本归一化。
2026-10-06 cs.CL eess.AS
Contrastive Speech Mixup for Low-resource Keyword Spotting
Alibaba Group(阿里巴巴集团);Nanyang Technological University(南洋理工大学)
针对低资源场景下关键词识别模型适配小样本困难的问题,提出引入辅助对比损失的CosMix算法,在裁剪后的Google Speech Command数据集上实现多模型性能提升。
2023-05-02 cs.SD eess.AS
Emotion-Aware Contrastive Adaptation Network for Source-Free Cross-Corpus Speech Emotion Recognition
Southeast University(东南大学);Imperial College London(帝国理工学院);University of Augsburg(奥格斯堡大学)
针对无源跨语料库SER中无法访问源数据的问题,本文提出ECAN,结合最近邻对比学习与监督对比学习实现局部一致性和类别级适应,并在多个语料库上显著优于现有方法。
2024-01-23 cs.SD eess.AS
Unsupervised data selection for Speech Recognition with contrastive loss ratios
University of Sheffield(谢菲尔德大学)
提出了一种基于目标数据集和训练数据集对比损失率的子模函数的无监督数据选择方法。使用对比损失函数的模型在两个集合上训练。然后,每个模型的帧级损失的比率由子模块化函数使用。通过使用子模函数,选择与目标数据集匹配的用于自动语音识别的训练集。实验结果表明,在所提出的方法选择的数据集上训练的模型优于基于GMM-HMM模型产生的对数似然的选择方法,在字错误率(WER)方面。当选择固定量的数据时,例如10小时的数据,两种方法在Tedtalks上的结果之间的差异是20.23% WER相对。该方法还可以用于选择数据,目的是最小化负迁移,同时保持或改善在整个训练集上训练的模型的性能。结果表明,当从整个数据集中选择85%时,WSJCAM 0数据集上的WER相对减少了6.26%。
2022-07-25 cs.SD eess.AS
Noise-Aware Speech Separation with Contrastive Learning
Peking University(北京大学);Nanyang Technological University(南洋理工大学);Georgia Institute of Technology(佐治亚理工学院)
提出噪声感知语音分离方法NASS,通过将背景噪声作为额外输出并引入块级对比学习抑制噪声信息,在WHAM!和LibriMix数据集上比DPRNN和Sepformer提升1至2dB SI-SNRi或SDRi,且参数增加不到0.1M。
2024-01-08 cs.SD eess.AS
Attention-Guided Reliability Scaling for Contrastive Decoding in Robust Audio-Visual Speech Recognition
Hanyang University(汉阳大学)
本研究针对鲁棒视听语音识别问题,提出注意力引导的对比解码可靠性缩放方法,在LRS3数据集上实现了干净与低信噪比条件下的性能提升。
2026-08-28 cs.CV cs.SD eess.AS