TS-URGENet: A Three-stage Universal Robust and Generalizable Speech Enhancement Network
Nanjing University(南京大学);Horizon Robotics
针对通用语音增强中多种失真和输入格式的挑战,提出三阶段(填充、分离、恢复)TS-URGENet网络,在Interspeech 2025 URGENT挑战赛赛道1中排名第二。
2025-05-24 cs.AI eess.AS
Listen only to me! How well can target speech extraction handle false alarms?
NTT Corporation(NTT公司);Brno University of Technology(布尔诺理工大学)
目标语音提取(TSE)是在给定表征说话人的辅助线索(例如登记话语)的情况下,从混合语音中提取目标说话人的语音。因此,TSE解决了同时执行分离和说话人识别的挑战性问题。随着神经网络在语音增强和分离方面的发展,语音信号的提取性能也有了很大的提高。大多数研究都集中在处理目标说话人主动说话的混合声。然而,目标说话者在实践中有时是沉默的,即,非活动扬声器(IS)。典型的TSE系统将倾向于在IS情况下输出信号,从而导致错误警报。这对于TSE系统的实际部署是一个严重的问题。本文旨在更好地了解TSE系统如何处理IS案件。我们考虑两种方法来处理IS,(1)训练系统直接输出零信号或(2)检测IS与额外的说话人验证模块。我们使用LibriMix数据集在提取性能和IS检测方面对这些方案进行了广泛的实验比较,并揭示了它们的优缺点。
2022-07-14 cs.SD eess.AS
Noise-Aware Speech Separation with Contrastive Learning
Peking University(北京大学);Nanyang Technological University(南洋理工大学);Georgia Institute of Technology(佐治亚理工学院)
提出噪声感知语音分离方法NASS,通过将背景噪声作为额外输出并引入块级对比学习抑制噪声信息,在WHAM!和LibriMix数据集上比DPRNN和Sepformer提升1至2dB SI-SNRi或SDRi,且参数增加不到0.1M。
2024-01-08 cs.SD eess.AS
Unified Modeling of Multi-Talker Overlapped Speech Recognition and Diarization with a Sidecar Separator
The Chinese University of Hong Kong(香港中文大学);National Taiwan University(国立台湾大学)
本文提出在冻结的ASR模型中插入带说话人分离分支的挎斗分离器,以仅768个参数的极小开销统一建模重叠语音识别与说话人分离,并在多个数据集上验证了有效性。
2023-05-25 cs.AI cs.CL cs.LG
Generalizable Zero-Shot Speaker Adaptive Speech Synthesis with Disentangled Representations
University of New South Wales(新南威尔士大学)
针对零样本说话人自适应语音合成中未见过说话人语音自然度与相似度下降的问题,提出引入解耦表征和变分自编码器增强的GZS-TV模型,提升了泛化性且在多数据集上优于基线。
2023-08-24 cs.AI cs.SD eess.AS
Unifying Diarization, Separation, and ASR with Multi-Speaker Encoder
Honda Research Institute Japan, Japan(本田研究院日本);Carnegie Mellon University, USA(卡内基梅隆大学)
本文提出统一多说话人编码器(UME),通过共享语音基础编码器联合学习说话人识别、语音分离和多说话人ASR任务的表示,提升重叠语音数据性能。
2026-05-13 cs.CL cs.SD eess.AS
Domain-Adaptive Dual-Gating Mixture of Experts for Generalizable Speech Deepfake Detection
The Hong Kong Polytechnic University(香港理工大学);The University of Hong Kong(香港大学)
提出域自适应双门控专家混合框架,利用Sinc层和域原型指导路由,在跨数据集基准上实现高达40.8%的EER降低,提升语音深度伪造检测的泛化能力。
2026-09-29 cs.SD eess.AS
WavRx: a Disease-Agnostic, Generalizable, and Privacy-Preserving Speech Health Diagnostic Model
INRS(加拿大国家科学研究院)
提出WavRx语音健康诊断模型,通过捕捉通用语音表示中的呼吸和发音动态,在六个病理语音数据集上实现最先进的跨域泛化能力,并显著降低健康嵌入中的说话人身份泄露以保护隐私。
2024-06-26 cs.AI cs.CL eess.AS
GenerSpeech: Towards Style Transfer for Generalizable Out-Of-Domain Text-to-Speech
Zhejiang University(浙江大学);Sea AI Lab(Sea AI实验室)
用于域外(OOD)语音合成的风格转移旨在生成具有不可见风格的语音样本(例如,说话人身份、情感和韵律),同时面临以下挑战:1)表达性语音中的高度动态风格特征难以建模和传递;以及2)TTS模型应该足够鲁棒以处理与源数据不同的各种OOD条件。本文提出了一种面向对象定制语音高保真zero-shot式传输的文本转语音转换模型GenerSpeech。GenerSpeech通过引入两个组件将语音变化分解为风格不可知和风格特定的部分:1)多层次风格适配器,用于有效地建模大范围的风格条件,包括全局扬声器和情感特征,以及局部(话语,音素和词级)细粒度的韵律表示;以及2)具有混合风格层规范化的可推广内容适配器,以消除语言内容表示中的风格信息,从而提高模型推广。我们对zero-shot风格转移的评估表明,GenerSpeech在音频质量和风格相似性方面超过了最先进的模型。对自适应风格转换的扩展研究进一步表明,GenerSpeech在Few-Shot数据设置中表现稳健。音频样本可在https://GenerSpeech.github.io/上获得
2022-10-12 cs.CL cs.SD eess.AS
Characterizing the temporal dynamics of universal speech representations for generalizable deepfake detection
Veermata Jijabai Technological Institute(维尔马塔·吉贾拜技术学院);INRS-EMT(国家科学研究所能源、材料与电信中心)
针对深度伪造语音检测对未见攻击泛化性不足的问题,提出刻画通用语音表征长期时间动态的新方法,在 ASVspoof 2019 和 2021 数据集上显著优于基准方法。
2023-09-15 cs.CL cs.SD eess.AS
Towards a Generalizable Speech Marker for Parkinson's Disease Diagnosis
Institute for Creative Technologies, University of Southern California(南加州大学创意技术研究所);University of Southern California(南加州大学);School of Medicine, University of California Irvine(加州大学欧文分校医学院)
本研究针对帕金森病早期诊断窗口期易遗漏的问题,提出结合域适应与自监督学习的语音识别方法,基于HuBERT模型在多语言公开数据集上实现了高特异性与灵敏度的泛化诊断,提供了非侵入式的低成本诊断方案。
2025-01-14 cs.SD eess.AS
A Novel Interpretable and Generalizable Re-synchronization Model for Cued Speech based on a Multi-Cuer Corpus
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对Cued Speech中唇手动作异步问题,提出基于唇音流三种统计度量和归一化的可解释、可泛化、与提示者无关的HPT预测模型,并构建首个含五位说话人的普通话CS语料库,实验性能优于现有方法。
2023-06-05 cs.CL cs.CV eess.AS
MixCycle: Unsupervised Speech Separation via Cyclic Mixture Permutation Invariant Training
Boğaziçi University(博阿齐奇大学);MEF University(MEF大学)
我们介绍了两种无监督的源分离方法,这涉及到自监督的训练,从单通道两个源的语音混合。我们的第一种方法,混合置换不变训练(MixPIT),能够学习神经网络模型,该模型通过具有挑战性的代理任务分离底层源,而无需来自参考源的监督。我们的第二种方法,循环混合置换不变训练(MixCycle),使用MixPIT作为连续学习的循环方式的构建块。MixCycle逐渐将问题从分离混合物的混合物转化为分离单一混合物。我们将我们的方法与常见的监督和无监督基线进行比较:动态混合的排列不变训练(PIT-DM)和混合不变训练(MixIT)。我们表明,MixCycle优于MixIT,并达到了非常接近监督基线(PIT-DM)的性能水平,同时规避了MixIT的过度分离问题。此外,我们提出了一种受MixCycle启发的自我评估技术,该技术在不利用任何参考源的情况下估计模型性能。我们表明,它产生的结果与参考源(LibriMix)的评价一致,也与现实生活中的混合数据集(REAL-M)进行的非正式听力测试。
2023-01-06 cs.LG cs.SD eess.AS
Towards Generalizable SER: Soft Labeling and Data Augmentation for Modeling Temporal Emotion Shifts in Large-Scale Multilingual Speech
Virginia Commonwealth University(弗吉尼亚联邦大学);Nile University(尼罗大学)
本研究通过整合16个数据集、提出软标签系统及利用Whisper编码器和对比学习增强,实现了多语言语音情感时间动态建模,并在四个数据集上验证了零样本泛化能力。
2023-11-15 cs.CL cs.LG eess.AS
Wav2SQL: Direct Generalizable Speech-To-SQL Parsing
Zhejiang University(浙江大学);State Grid Corporation of China(国家电网有限公司)
提出首个直接语音到SQL解析模型Wav2SQL,通过大规模预训练缓解数据稀缺,并引入语音重编程与梯度反转分类器提升域外泛化能力,相比基线准确率提升达2.5%。
2023-05-21 cs.CL cs.SD eess.AS
SpeechVerse: A Large-scale Generalizable Audio Language Model
AWS AI Labs, Amazon(亚马逊AWS AI实验室)
SpeechVerse通过可学习参数结合预训练语音与文本模型,实现多任务语音处理零样本性能,在11项任务中9项优于传统基线。
2025-03-24 cs.CL cs.SD eess.AS
Interventional Speech Noise Injection for ASR Generalizable Spoken Language Understanding
Seoul National University(首尔大学);Yanolja(雅诺佳(韩国生活服务平台))
本文提出一种干预式语音噪声注入方法,通过切断噪声的非因果效应引入对任意ASR系统都合理的噪声,以增强SLU模型对未见ASR系统的鲁棒性和泛化能力。
2024-10-21 cs.CL cs.SD eess.AS
Generalizable speech deepfake detection via meta-learned LoRA
本文提出将 LoRA 适配器插入自监督语音骨干网络并用元学习域泛化训练,以约 1.1% 的参数量实现跨攻击类型分布偏移下的零样本语音深度伪造检测,平均 EER 从 8.84% 降至 5.30%。
2025-08-15 cs.LG cs.SD eess.AS
Advancing African-Accented Speech Recognition: Epistemic Uncertainty-Driven Data Selection for Generalizable ASR Models
McGill University(麦吉尔大学);Mila Quebec AI Institute(魁北克AI研究所)
针对非洲口音英语ASR数据稀缺问题,提出基于认知不确定性的主动学习多轮数据选择方法,自动标注并精选高不确定性样本,实现27%WER相对提升且减少45%数据需求,改善低资源口音泛化。
2025-06-23 cs.CL cs.SD eess.AS
Exploring Self-Attention Mechanisms for Speech Separation
Université Laval(拉瓦尔大学);Concordia University(康考迪亚大学);Mila-Quebec AI Institute(米拉-魁北克人工智能研究所);Università Politecnica delle Marche(马尔凯理工大学);Université de Sherbrooke(舍布鲁克大学)
本文深入研究基于 Transformer 的语音分离方法,扩展 SepFormer 至带噪及混响场景,并首次探索 Linformer、Lonformer、ReFormer 等高效自注意力机制,在降低内存需求的同时取得优于 Conv-TasNet 的性能。
2023-05-27 cs.LG cs.SD eess.AS
MambAttention: Mamba with Multi-Head Attention for Generalizable Single-Channel Speech Enhancement
Department of Electronic Systems, Aalborg University(电子系统系,奥尔堡大学);Pioneer Centre for AI(先锋人工智能中心);Oticon A/S(Oticon公司)
MambAttention通过结合Mamba与多头注意力机制,提升单通道语音增强的泛化能力,优于现有主流模型。
2026-01-21 cs.AI cs.SD eess.AS
Generalizable Audio Deepfake Detection via Latent Space Refinement and Augmentation
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
针对深度伪造语音检测泛化难的问题,提出结合潜在空间精炼与增强的方法,在多个数据集上达到或超越现有最佳性能。
2025-01-24 cs.SD eess.AS
Probing-Guided Layer Selection from Self-Supervised Speech Models for Generalizable Audio Deepfake Detection
Michigan Technological University(密歇根理工大学)
提出一种模型无关的两阶段方法,通过XGBoost探针评估各层跨域判别力,选择信息层进行融合,在保持冻结骨干的同时显著提升跨域泛化性能。
2026-07-01 cs.SD eess.AS
WeSep: A Scalable and Flexible Toolkit Towards Generalizable Target Speaker Extraction
Shenzhen Research Institute of Big Data(深圳大数据研究院);School of Data Science, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(香港中文大学(深圳)数据科学学院);Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯人工智能实验室)
本文介绍了WeSep,一个专为目标说话人提取(TSE)研究和实际应用设计的开源工具包,提供灵活的说话人建模、可扩展数据管理、实时数据模拟及部署支持,填补了该领域易用工具和预训练模型的空白。
2024-09-24 cs.SD eess.AS
The CHiME-8 DASR Challenge for Generalizable and Array Agnostic Distant Automatic Speech Recognition and Diarization
Carnegie Mellon University(卡内基梅隆大学);NVIDIA(英伟达);Paderborn University(帕德博恩大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文介绍了CHiME-8 DASR挑战赛,聚焦多设备多通道远场语音识别与说话人日志任务,通过新增NOTSOFAR-1场景、LLM赛道及评审团奖励机制等创新,并提供独立工具包与双基线系统,推动泛化性会议转录研究。
2024-07-23 cs.SD eess.AS
ISSE: An Instruction-Guided Speech Style Editing Dataset And Benchmark
University of Surrey(萨里大学);ByteDance Intelligent Creation(字节跳动智能创作);The Chinese University of Hong Kong(香港中文大学)
本文构建包含近400小时语音、10万余源-目标对及详细文本指令的ISSE数据集与基准,并通过生成流程和指令引导自回归模型验证其可控风格编辑能力。
2025-09-29 eess.AS
Multi-Speaker ASR Combining Non-Autoregressive Conformer CTC and Conditional Speaker Chain
Northwestern Polytechnical University(西北工业大学);Carnegie Mellon University(卡内基梅隆大学)
非自回归(NAR)模型已经实现了大量的推理计算减少和自回归(AR)模型在各种序列到序列任务的可比结果。然而,针对序列到多序列问题(如多说话人自动语音识别(ASR))的NAR方法的研究有限。在这项研究中,我们将我们提出的条件链模型扩展到NAR多说话人ASR。具体而言,每个扬声器的输出是一个接一个地使用输入混合语音和先前估计的条件扬声器特征来推断的。在每一步中,NAR连接时间分类(CTC)编码器用于执行并行计算。通过这种设计,总的推理步骤将被限制在混合扬声器的数量上。此外,我们还采用了Conformer,并加入了一个中间的CTC损失,以提高性能。在WSJ 0-Mix和LibriMix语料库上的实验表明,我们的模型在延迟仅略有增加的情况下优于其他NAR模型,分别实现了22.3%和24.9%的WER。此外,通过包含可变数量的说话人的数据,我们的模型甚至可以比PIT-Conformer AR模型更好,只有1/7的延迟,在WSJ 0 - 2 mix和WSJ 0 - 3 mix集上获得19.9%和34.3%的WER。我们所有的代码都可以在https://github.com/pengchengguo/espnet/tree/conditional-multispk上公开获取。
2021-06-16 cs.SD eess.AS
Ring Mixing with Auxiliary Signal-to-Consistency-Error Ratio Loss for Unsupervised Denoising in Speech Separation
Human Language Technology Center of Excellence Johns Hopkins University(约翰霍普金斯大学人类语言技术卓越中心);Language Technologies Institute Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
本文提出环混合策略和SCER损失,通过打破对称性提升语音分离的去噪能力,在WHAM!基准上实现残余噪声降低超过一半。
2026-09-16 eess.AS
Multi-Microphone Speaker Separation by Spatial Regions
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
我们考虑的任务,基于区域的混响多麦克风录音的源分离。我们假设预定义的空间区域,每个区域具有单个活动源。目标是估计来自参考麦克风捕获的各个空间区域的信号,同时保持信号和空间区域之间的对应关系。我们提出了一种数据驱动的方法,使用修改后的版本的最先进的网络,其中不同的层模型的空间和光谱时间信息。该网络被训练为强制执行区域到网络输出的固定映射。使用LibriMix的语音,我们构建了一个专门设计用于包含区域信息的数据集。此外,我们训练的网络与置换不变的训练。我们表明,这两种训练方法都能将区域映射到网络输出,实现相当的性能,并且网络利用了空间信息。所提出的网络优于基线网络的1.5 dB的尺度不变的信号失真比。
2023-03-13 cs.LG cs.SD eess.AS
Learning Emotional Representations from Imbalanced Speech Data for Speech Emotion Recognition and Emotional Text-to-Speech
University of St.Gallen(圣加仑大学);Reykjavik University(雷克雅未克大学)
针对情感语音数据集不平衡易致模型过拟合的问题,提出结合增强方法的Emotion Extractor,可提取有效泛化的情感表征,在SER任务上超越SOTA基线,还能提升情感TTS的语音表现力。
2023-06-09 cs.CL cs.SD eess.AS
SEP-28k: A Dataset for Stuttering Event Detection From Podcasts With People Who Stutter
Apple(苹果公司)
自动检测语音中的口吃事件的能力可以帮助语音病理学家随着时间的推移跟踪个人的流畅性,或者帮助改善具有非典型语音模式的人的语音识别系统。尽管人们对这一领域的兴趣越来越大,但现有的公共数据集太小,无法构建可推广的不流利检测系统,并且缺乏足够的注释。在这项工作中,我们介绍了播客中的口吃事件(SEP-28 k),这是一个包含超过28 k个片段的数据集,这些片段标记有五种事件类型,包括块,重复,声音重复,单词重复和感叹词。音频来自公共播客,主要由口吃的人采访其他口吃的人组成。我们在SEP-28 k和公共FluencyBank数据集上对一组声学模型进行了基准测试,并强调了简单地增加训练数据量如何将相对检测性能提高28%和24% F1。来自两个数据集的超过32,000个剪辑的注释将公开发布。
2021-02-24 cs.SD eess.AS
Voice Cloning for Dysarthric Speech Synthesis: Addressing Data Scarcity in Speech-Language Pathology
KTH Royal Institute of Technology(瑞典皇家理工学院);Karolinska Institutet(卡罗林斯卡学院)
本研究利用TORGO数据集和商业平台克隆构音障碍患者语音,证明合成语音能有效保留异常特征且具高真实感,为缓解医疗数据稀缺、保护隐私及提升AI诊断与个性化治疗提供了新途径。
2025-03-03 cs.AI cs.SD eess.AS
LLM-based speaker diarization correction: A generalizable approach
Harvard T. H. Chan School of Public Health(哈佛陈曾熙公共卫生学院);University of New South Wales(新南威尔士大学)
本文提出用微调 LLM 作为说话人日志校正后处理,并通过融合三种 ASR 专用模型权重构建集成模型,提升跨 ASR 的泛化校正性能。
2025-03-17 cs.CL eess.AS
Amplifying Emotional Signals: Data-Efficient Deep Learning for Robust Speech Emotion Recognition
Stanford University(斯坦福大学)
针对语音情感识别中数据有限的难题,本文结合迁移学习与数据增强技术训练多种模型,其中ResNet34在RAVDESS与SAVEE组合数据集上取得新基准,验证了该方案应对数据稀缺的有效性。
2025-08-26 cs.AI cs.CL cs.SD
The Effect of Heterogeneous Data for Alzheimer's Disease Detection from Speech
Winterlight Labs(Winterlight实验室);University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(Vector人工智能研究所);Li Ka Shing Knowledge Institute, St Michael’s Hospital(圣迈克尔医院李嘉诚知识研究所);Surgical Safety Technologies Inc.(外科安全技术公司)
用于识别阿尔茨海默病(AD)的语音数据集通常限于执行单个任务的参与者,例如描述向他们显示的图像。因此,在从这些数据集导出的语言特征上训练的模型可能无法在任务中推广。基于先前的工作表明,健康参与者的相同任务数据有助于改善AD检测的病理语音的单任务数据集,我们增加了AD特定的数据集,由多任务健康数据描述图片的主题组成。我们证明,来自多个基于语音的任务的规范数据有助于将AD检测提高高达9%。决策边界的可视化显示,在结构化图片描述和非结构化会话语音的组合上训练的模型具有最少的任务外错误,并且显示出最有潜力推广到多个任务。我们分析了添加样本的年龄的影响,以及它们是否影响分类的公平性。我们还提供了一个可能的感应偏置效应的任务使用模型无关的功能锚的解释。这项工作强调了对异构数据集的需求,这些数据集用于对认知多个方面的变化进行编码,并用于开发与任务无关的AD检测模型。
2018-11-29 cs.CL cs.LG cs.SD
Recent Trends in Distant Conversational Speech Recognition: A Review of CHiME-7 and 8 DASR Challenges
Carnegie Mellon University(卡内基梅隆大学);Paderborn University(帕德博恩大学);NVIDIA(NVIDIA公司);Meta;Johns Hopkins University(约翰霍普金斯大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Southern University of Science and Technology(南方科技大学)
本文综述CHiME-7和8 DASR挑战赛,指出端到端ASR、引导源分离和说话人日志优化成为主流,并发现会议摘要下游评估与转录质量弱相关,且复杂环境下的自发语音转录仍具挑战。
2025-11-01 cs.CL cs.SD eess.AS
NaturalVoices: A Large-Scale, Spontaneous and Emotional Podcast Dataset for Voice Conversion
Department of Electrical and Computer Engineering, University of Texas at Dallas(德克萨斯大学达拉斯分校电气与计算机工程系);Department of Electrical and Computer Engineering, Johns Hopkins University(约翰霍普金斯大学电气与计算机工程系);ARRAY Innovation(ARRAY创新);Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
针对语音转换领域缺乏大规模真实情感语音资源的问题,发布了首个大规模自发播客数据集NaturalVoices,包含5049小时录音及多维度自动标注,并开源数据处理流水线,实验证明其能促进稳健泛化模型开发并揭示现有架构局限。
2025-10-31 cs.LG cs.SD eess.AS
A Convolutional Framework for Mapping Imagined Auditory MEG into Listened Brain Responses
Electrical and Computer Engineering Department, University of Maryland, College Park, MD(大学电气与计算机工程系,马里兰州大学,College Park)
本文提出了一种基于卷积的框架,将想象的听觉MEG信号映射到听觉脑响应,通过群体层面的编码器-解码器网络实现了稳定的泛化性能。
2025-12-03 cs.LG cs.SD eess.AS
Binaural Angular Separation Network
Google LLC(谷歌有限责任公司)
本文提出双耳角度分离网络,利用双麦克风的到达时间差线索在模拟房间脉冲响应上训练,实现不同角度区域的语音分离,无需真实RIR,且可实时部署于商用设备并优于此前三麦克风方案。
2024-01-16 cs.LG cs.SD eess.AS
The NeurIPS 2023 Machine Learning for Audio Workshop: Affective Audio Benchmarks and Novel Data
Hume AI(休谟人工智能);Modulate AI(调制人工智能);Boston University(波士顿大学);DeepMind(深度思维);USC-SAIL(南加州大学SAIL实验室)
本文介绍了 NeurIPS 2023 机器学习音频研讨会,通过提供多个开源和专有音频数据集及基线,鼓励数据受限的研究人员开展音频驱动的机器学习研究。
2024-03-21 cs.CL cs.SD eess.AS