Mixture factorized auto-encoder for unsupervised hierarchical deep factorization of speech signal
The Chinese University of Hong Kong（香港中文大学）
语音信号是由语言内容、说话人特征等多种信息因素构成和贡献的。最近有一些值得注意的研究试图将语音信号分解为这些单独的因素，而不需要任何注释。这些研究通常假设语言内容的连续表示，这是不符合一般的语言学知识，可能会使说话人信息的提取不太成功。本文提出了用于无监督深度因子分解的混合因子分解自动编码器（mFAE）。mFAE的编码器部分包括帧标记器和话语嵌入器。框架标记器用离散分类分布对输入语音的语言内容进行建模。它通过为每个帧分配软混合标签来执行帧聚类。话语嵌入器生成话语级矢量表示。帧解码器用于从编码器的输出重建语音特征。在说话人确认（SV）任务和无监督子词建模（USM）任务上对mFAE进行评估。在VoxCeleb 1上的SV实验表明，该话语嵌入器能够提取说话者区分嵌入，其性能与x向量基线相当。在ZeroSpeech 2017数据集上的USM实验验证了帧标记器能够捕获语言内容，话语嵌入器可以获取说话人相关信息。
2019-10-30 cs.LG cs.MM cs.SD
Large-scale learning of generalised representations for speaker recognition
Naver Corporation（Naver公司）；University of Eastern Finland（东芬兰大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；Carnegie Mellon University（卡内基梅隆大学）
这项工作的目标是开发一个说话人识别模型，用于不同的场景。我们假设，两个组件应充分配置，以建立这样一个模型。首先，需要有适当的结构。我们探索了几个最新的最先进的模型，包括ECAPA-TDNN和MFA-Conformer，以及其他基线。第二，需要大量的数据。我们研究了几个新的训练数据配置结合一些现有的数据集。最广泛的配置包括超过87 k扬声器的10.22k小时的演讲。采用四种评估协议来衡量训练模型在不同场景下的表现。通过实验，我们发现具有最小归纳偏差的MFA-Conformer具有最好的推广效果。我们还表明，建议的大数据配置的训练提供了更好的性能。观察到推广的提高，其中四个评估协议的平均性能提高了20%以上。此外，我们还证明了这些模型的性能可以进一步提高时，增加容量。
2022-10-27 cs.AI cs.SD eess.AS
NBC2: Multichannel Speech Separation with Revised Narrow-band Conformer
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
本文提出了一种多通道窄带语音分离网络。在短时傅立叶变换（STFT）域中，所提出的网络独立地处理每个频率，并且所有频率使用共享网络。对于每个频率，网络执行端到端语音分离，即将麦克风信号的STFT系数作为输入，并预测多个扬声器的分离的STFT系数。所提出的网络学习聚类属于不同扬声器的逐帧空间/导向向量。它主要由三部分组成。第一，自我关注网络。空间向量的聚类与自注意力机制在计算向量的相似性然后聚集相似向量的意义上共享类似的原理。第二，卷积前馈网络。卷积层用于信号平滑和混响处理。第三，一种新的隐藏层归一化方法，即组批量归一化（GBN），是专门设计的窄带网络，以保持隐藏单元的频率分布。总的来说，建议的网络被命名为NBC 2，因为它是我们以前的NBC（窄带构象）网络的修订版本。实验表明，1）所提出的网络大大优于其他最先进的方法，2）所提出的GBN相对于其他归一化方法（例如批/层/组归一化）将信号失真比提高了3dB，3）所提出的窄带网络是频谱不可知的，因为它不学习频谱模式，以及4）所提出的网络确实正在执行帧聚类（由注意力图证明）。
2022-12-05 cs.SD eess.AS
Improving Transformer-based Networks With Locality For Automatic Speaker Verification
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Microsoft Corporation（微软公司）
最近，基于transformer的架构已经被探索用于说话人嵌入提取。虽然Transformer采用自注意机制来有效地建模令牌嵌入之间的全局交互，但它不足以捕获短距离局部上下文，这对于准确提取说话人信息至关重要。在这项研究中，我们加强了Transformer与增强局部建模在两个方向。首先，我们提出了局部增强型构象（LE-Confomer），通过引入深度卷积和通道注意到构象块。第二，我们提出了扬声器Swin Transformer（SST）的适应Swin Transformer，最初提出的视觉任务，到扬声器嵌入网络。我们在VoxCeleb数据集和大规模Microsoft内部多语言（MS内部）数据集上评估了所提出的方法。所提出的模型在VoxCeleb 1测试集上实现了0.75%的EER，优于先前提出的基于Transformer的模型和基于CNN的模型，如ResNet 34和ECAPA-TDNN。当在MS内部数据集上训练时，所提出的模型取得了令人满意的结果，与Res 2Net 50模型相比，EER相对降低了14.6%。
2023-02-28 cs.LG cs.SD eess.AS
Microsoft Speaker Diarization System for the VoxCeleb Speaker Recognition Challenge 2020
Microsoft（微软公司）
本文介绍了用于野外单声道多人录音的Microsoft扬声器日记系统，该系统在VoxCeleb说话人识别挑战赛（VoxSRC）2020的日记轨道上进行了评估。我们将首先解释我们的系统设计，以解决处理真实多说话者录音的问题。然后，我们提出的组件的细节，其中包括基于Res2Net的说话人嵌入提取器，符合者为基础的连续语音分离与泄漏滤波，和一个修改后的DOVER（缩写为Diarization Output Voting Error Reduction）方法系统融合。我们使用VoxSRCchallenge 2020提供的数据集对系统进行了评估，该数据集包含从YouTube收集的真实多人音频。我们的最佳系统在开发集和评估集上分别实现了3.71%和6.23%的日志错误率（DER），在挑战的日志跟踪中排名第一。
2020-10-23 cs.SD eess.AS
DiariZen Explained: A Tutorial for the Open Source State-of-the-Art Speaker Diarization Pipeline
Institute for Advancing Intelligence, TCG CREST（先进智能研究所，TCG CREST）
本文介绍DiariZen开源语音说话人识别流水线，通过七个阶段分解其结构，提供代码参考、张量形状和可视化，帮助用户理解和复现系统。
2026-04-23 cs.SD eess.AS
On Time Domain Conformer Models for Monaural Speech Separation in Noisy Reverberant Acoustic Environments
The University of Sheffield（谢菲尔德大学）
本文提出时域Conformer模型用于噪声混响环境下的单声道语音分离，通过子采样层提升效率，在WHAMR和WSJ0-2Mix基准上分别取得14.6 dB和21.2 dB的SISDR改进。
2023-10-09 cs.AI cs.LG cs.SD
Joint Training or Not: An Exploration of Pre-trained Speech Models in Audio-Visual Speaker Diarization
Northwestern Polytechnical University（西北工业大学）；Tencent Corporation（腾讯公司）
本文针对音视觉标注数据不足问题，在端到端AVSD系统中引入监督式与自监督式预训练语音模型，并联合训练音频、说话人编码器及音视觉解码器，在MISP数据集上取得优异成绩。
2023-12-07 cs.SD eess.AS
Enhancing Speaker Verification with w2v-BERT 2.0 and Knowledge Distillation guided Structured Pruning
本文提出利用w2v-BERT 2.0和知识蒸馏引导的结构化剪枝提升语音验证性能，实现模型压缩与精度平衡。
2026-03-09 cs.SD eess.AS
Spatial-aware Speaker Diarization for Multi-channel Multi-party Meeting
Xiamen University（厦门大学）
本文描述了一种用于多通道多方会议的空间感知说话人日志化系统。日志化系统通过麦克风阵列获取说话人的方向信息。说话人空间域嵌入由超定向波束形成（SDB）得到的xvector和s-vector生成，增强了空间域嵌入的鲁棒性。具体来说，我们提出了一种新的多通道序列到序列神经网络架构命名为歧视性多流神经网络（DMSNet），它由注意力超定向波束形成（ASDB）块和构象编码器。建议ASDB是一个自适应的通道式块，提取潜在的空间特征的阵列音频建模通道之间的相互依赖性。我们探索DMSNet来解决多声道音频上的语音重叠问题，并在评估集上达到93.53%的准确率。通过基于DMSNet的重叠语音检测（OSD）模块，聚类语音识别系统的语音识别错误率（DER）从13.45%显著降低到7.64%。
2022-09-24 cs.SD eess.AS
The SVASR System for Text-dependent Speaker Verification (TdSV) AAIC Challenge 2024
Amirkabir University of Technology（阿米尔卡比尔理工大学）；Sharif University of Technology（谢里夫理工大学）
针对文本相关说话人验证需求，提出集成Fast-Conformer ASR模块过滤错误样本、融合wav2vec-BERT与ReDimNet说话人嵌入的SVASR系统，在TDSV 2024挑战赛测试集获归一化最小DCF 0.0452（排名第2）。
2024-11-25 cs.AI cs.SD eess.AS
NeXt-TDNN: Modernizing Multi-Scale Temporal Convolution Backbone for Speaker Verification
Sogang University（西江大学）；Hyundai Motor Company（现代汽车公司）
本文提出NeXt-TDNN，通过引入改进的TDNN块设计，利用ConvNeXt结构提升语音验证性能，减少参数量和推理时间。
2023-12-15 cs.SD eess.AS
Multi-Dimensional and Multi-Scale Modeling for Speech Separation Optimized by Discriminative Learning
Xi'an Jiaotong University（西安交通大学）；Du Xiaoman（度小满）
Transformer在语音分离方面表现出了先进的性能，这得益于其捕获全局特征的能力。然而，在语音分离中，获取音频序列的局部特征和声道信息同样重要。在本文中，我们提出了一种新的方法命名为内SE-Conformer和Inter-Transformer（ISCIT）的语音分离。具体来说，我们设计了一种新的网络SE-Conformer，可以在多个维度和尺度上对音频序列进行建模，并将其应用于双路径语音分离框架。此外，我们提出了多块特征聚合，以提高分离效果，有选择地利用信息的中间块的分离网络。同时，我们提出了一个说话人相似性判别损失来优化语音分离模型，以解决当说话人具有相似的声音时性能较差的问题。在基准数据集WSJ 0 - 2 mix和WHAM！显示ISCIT可以实现最先进结果。
2023-03-07 cs.LG cs.SD eess.AS
Confidence Score Based Conformer Speaker Adaptation for Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
自动语音识别（ASR）系统的一个关键挑战是对说话人电平的变化进行建模。在本文中，紧凑的说话人相关学习隐藏单元贡献（LHUC）被用来促进说话人自适应训练（SAT）和测试时间无监督说话人自适应国家的最先进的基于Conformer的端到端ASR系统。使用基于置信度分数的对说话者特定数据的更“可信”子集的选择来降低对监督错误率的适应期间的灵敏度。置信度估计模块用于在用作置信度分数之前平滑过度置信的Conformer解码器输出概率。使用贝叶斯估计的LHUC参数，由于扬声器级数据选择的数据稀疏性增加。在300小时的Switchboard语料库上的实验表明，基于置信度分数的测试时间无监督自适应的LHUC-SAT Conformer系统的性能比基本的说话人独立和i向量自适应Conformer系统分别高出1.0%、1.0%和1.2 NIST Hub 5 '00、RT 02和RT 03评估集上的字错误率（WER）分别降低了9.0%、7.9%和8.9%（相对）。在使用外部Transformer和LSTM语言模型进行重新评分后，保持了一致的性能改进。
2022-06-24 cs.SD eess.AS
Libri2Vox Dataset: Target Speaker Extraction with Diverse Speaker Conditions and Synthetic Data
National Institute of Informatics（信息学研究科）；Singapore Institute of Technology（新加坡科技学院）
针对目标说话人提取数据多样性和鲁棒性不足，提出Libri2Vox数据集，结合真实噪声与合成说话人，并采用课程学习，显著提升SDR性能。
2024-12-17 cs.SD eess.AS
Improving Neural Diarization through Speaker Attribute Attractors and Local Dependency Modeling
The Ohio State University（俄亥俄州立大学）；The Johns Hopkins University（约翰斯·霍普金斯大学）
本文扩展 EDA 吸引子范式，利用多阶段中间表征建模说话人属性，并以 conformer 替代 transformer 捕捉局部依赖，在 CALLHOME 数据集上提升了说话人日志性能。
2025-06-05 cs.AI cs.SD eess.AS
P-vectors: A Parallel-Coupled TDNN/Transformer Network for Speaker Verification
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Future Technology（未来技术学院）；University of Chinese Academy of Sciences（中国科学院大学）；GammaLab, PingAn OneConnect（平安壹账通Gamma实验室）；PingAn Insurance (Group) Company of China（中国平安保险（集团）股份有限公司）
本文提出并行耦合TDNN/Transformer网络p-vectors，通过软特征对齐交互、空间频率通道注意力和嵌入聚合层融合局部与全局特征，在VoxCeleb1-O上显著降低EER。
2023-05-25 cs.SD eess.AS
Multi-Speaker ASR Combining Non-Autoregressive Conformer CTC and Conditional Speaker Chain
Northwestern Polytechnical University（西北工业大学）；Carnegie Mellon University（卡内基梅隆大学）
非自回归（NAR）模型已经实现了大量的推理计算减少和自回归（AR）模型在各种序列到序列任务的可比结果。然而，针对序列到多序列问题（如多说话人自动语音识别（ASR））的NAR方法的研究有限。在这项研究中，我们将我们提出的条件链模型扩展到NAR多说话人ASR。具体而言，每个扬声器的输出是一个接一个地使用输入混合语音和先前估计的条件扬声器特征来推断的。在每一步中，NAR连接时间分类（CTC）编码器用于执行并行计算。通过这种设计，总的推理步骤将被限制在混合扬声器的数量上。此外，我们还采用了Conformer，并加入了一个中间的CTC损失，以提高性能。在WSJ 0-Mix和LibriMix语料库上的实验表明，我们的模型在延迟仅略有增加的情况下优于其他NAR模型，分别实现了22.3%和24.9%的WER。此外，通过包含可变数量的说话人的数据，我们的模型甚至可以比PIT-Conformer AR模型更好，只有1/7的延迟，在WSJ 0 - 2 mix和WSJ 0 - 3 mix集上获得19.9%和34.3%的WER。我们所有的代码都可以在https://github.com/pengchengguo/espnet/tree/conditional-multispk上公开获取。
2021-06-16 cs.SD eess.AS
The xmuspeech system for multi-channel multi-party meeting transcription challenge
Xiamen University（厦门大学）
本文介绍了XMUSPEECH团队为多通道多方会议转录挑战赛（M2MeT）开发的系统。对于说话人日志化任务，我们提出了一个多通道说话人日志化系统，该系统利用到达差（DOA）技术获取说话人的空间信息。说话人空间嵌入由滤波求和波束形成（FSB）的x向量和s向量生成，使嵌入更鲁棒。具体来说，我们提出了一种新的多通道序列到序列神经网络架构命名为判别多流神经网络（DMSNet），它由注意力过滤和求和块（AFSB）和构象编码器。我们探索DMSNet解决多声道音频上的语音重叠问题。与基于LSTM的OSD模块相比，我们在检测错误率（DetER）方面降低了10.1%。通过使用基于DMSNet的OSD模块，基于集群的日志系统的DER从13.44%显著降低到7.63%。我们的最佳融合系统在评估集和测试集上分别达到了7.09%和9.80%的日志错误率。
2022-02-11 cs.SD eess.AS
LightCAM: A Fast and Light Implementation of Context-Aware Masking based D-TDNN for Speaker Verification
Zhejiang University of Technology（浙江工业大学）；Hangzhou Jet-voice Technology Co., Ltd.（杭州捷声技术有限公司）
针对TDNN计算复杂度高的问题，提出轻量级模型LightCAM，结合DSM和MFA优化D-TDNN，在VoxCeleb上取得更优性能且降低计算成本。
2024-02-12 cs.CL cs.SD eess.AS
Confidence Score Based Speaker Adaptation of Conformer Speech Recognition Systems
Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
说话人自适应技术为个体用户定制自动语音识别（ASR）系统提供了一种强大的解决方案。基于无监督模型的说话人自适应技术在数据密集型端到端ASR系统中的实际应用受到说话人级别数据的稀缺性和对转录错误的性能敏感性的阻碍。为了解决这些问题，一组紧凑和数据高效的说话人相关（SD）参数表示，以促进说话人自适应训练和测试时间无监督说话人自适应的国家的最先进的构象ASR系统。使用基于置信度分数的扬声器级自适应数据的较少错误子集的选择来降低对监督质量的敏感度。提出了两个轻量级的置信度估计模块，以产生更可靠的置信度。的数据稀疏性问题，这是加剧了数据的选择，解决了建模的SD参数的不确定性，使用贝叶斯学习。在基准300小时Switchboard和233小时AMI数据集上的实验表明，所提出的基于置信度分数的自适应方案始终优于基线说话者独立（SI）Conformer模型和传统的非贝叶斯，基于点估计的自适应，不使用说话者数据选择。在外部Transformer和LSTM语言模型重新评分后，保持了类似的一致性能改进。特别是，在300小时Switchboard语料库中，NIST Hub5'00、RT02和RT03评价集上的基线SI Conformer分别获得了1.0%、1.3%和1.4%的绝对（9.5%、10.9%和11.3%）统计学显著WER降低。在AMI发展和评价集上也获得了相似的绝对WER降低2.7%和3.3%（…
2023-02-15 cs.SD eess.AS
Streaming Target-Speaker ASR with Neural Transducer
NTT Corporation（日本电报电话公司）；Tokyo Institute of Technology（东京工业大学）
尽管深度学习技术的最新进展已经提高了单说话者情况下的自动语音识别（ASR）性能，但仍然难以识别许多声音重叠的多说话者语音。解决该问题的一种常规方法是使用语音分离或目标语音提取前端与ASR后端的级联。然而，前端模块的额外计算成本是快速响应的关键障碍，特别是对于流式ASR。在本文中，我们提出了一个目标扬声器ASR（TS-ASR）系统，隐式地集成了流端到端（E2 E）ASR系统，即递归神经网络换能器（RNNT）内的目标语音提取功能。我们的系统使用了类似的想法，通过目标语音提取，但它直接实现在RNNT的编码器的水平。这使得TS-ASR可以在不增加前端计算成本的情况下实现。请注意，这项研究提出了E2 E TS-ASR先前研究之间的两个主要差异;我们研究了流模型并将我们的研究基于Conformer模型，而先前的研究使用基于RNN的系统并仅考虑离线处理。我们在实验中证实，我们的TS-ASR实现了与传统的级联系统在离线设置相当的识别性能，同时降低计算成本，实现流TS-ASR。
2022-09-19 cs.SD eess.AS
An Effective Transformer-based Contextual Model and Temporal Gate Pooling for Speaker Identification
Shibaura Institute of Technology（芝浦工业大学）
本文提出一种基于Transformer的端到端说话人识别模型及Temporal Gate Pooling池化方法，利用Conformer编码器和BEST-RQ预训练，在VoxCeleb1上以28.5M参数实现87.1%准确率，精度媲美317.7M参数的wav2vec2。
2023-09-10 cs.AI cs.LG cs.SD
Leveraging Self-Supervised Learning for Speaker Diarization
Brno University of Technology（布尔诺理工大学）
本文利用WavLM自监督表示结合Conformer改进端到端神经说话人日志，在AMI、AISHELL-4等数据集上超越Pyannote基线并取得新SOTA，同时证明其对数据稀缺更具鲁棒性。
2024-10-21 cs.SD eess.AS
The Volcspeech system for the ICASSP 2022 multi-channel multi-party meeting transcription challenge
Bytedance AI Lab（字节跳动人工智能实验室）
本文介绍了我们提交给ICASSP 2022多通道多方会议转录（M2MeT）挑战。对于音轨1，我们提出了几种方法来授权基于聚类的说话人日记系统处理重叠语音。为了提高说话人识别的准确性，采用了前端去混响和波达方向估计的方法。采用多通道合并和重叠检测的方法来降低漏话者误差。提出了一种改进的DOVER-Lap算法，用于融合不同系统的结果。我们在Eval集上实现了5.79%的最终DER，在Test集上实现了7.23%。对于轨道2，我们开发了我们的系统，在一个联合的CTC注意力架构中使用一致性模型。多说话人重叠语音识别采用串行输出训练。我们提出了一个神经前端模块来模拟多声道音频和训练模型端到端。利用各种数据增强方法来减轻多声道多扬声器E2 E系统中的过拟合。为了获得更好的性能，开发了Transformer语言模型融合。评价集的最终CER为19.2%，测试集为20.8%。
2022-02-10 cs.AI cs.SD eess.AS
Input Representation, Not Model Size or Pretraining Scale, Shapes Speaker Verification Robustness to Temporal Degradation
University of Zurich（苏黎世大学）
该研究针对自动说话人验证，发现输入表示而非模型规模或预训练规模决定其对时间退化的鲁棒性，且滤波器组输入模型的退化程度显著低于波形输入模型
2026-10-12 cs.SD
Conformer-based Target-Speaker Automatic Speech Recognition for Single-Channel Audio
NVIDIA（英伟达）
本文提出CONF-TSASR，一种结合TitaNet说话人嵌入与Conformer掩蔽及ASR模块的非自回归端到端架构，通过CTC损失和尺度不变语谱图重建损失联合优化，在多个混合语音数据集上取得最先进的目标说话人词错误率，并建立新基准。
2023-08-09 cs.LG cs.SD eess.AS
Breaking the Quality--Intelligibility Trade-off in Streaming Target Speaker Extraction via Deep-Feature-Anchored Preference Optimization
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；SenseTime（商汤科技）
研究流式目标说话人提取中的质量-可懂度权衡问题，提出扩大Conformer卷积核及基于WavLM的DPO微调策略，实现了相对可懂度10.9%的提升，同时音频质量和说话人相似度也有改善。
2026-07-14 cs.AI cs.SD
End-to-end Neural Diarization: From Transformer to Conformer
Georgia Institute of Technology（佐治亚理工学院）；Amazon Alexa Speech（亚马逊 Alexa 语音部门）
我们提出了一种新的端到端神经日志化（EEND）系统，该系统基于Conformer，这是一种最近提出的神经架构，它结合了卷积映射和Transformer来模拟语音中的局部和全局依赖关系。我们首先证明了数据增强和卷积子采样层增强了基于变换器的EEND中的原始自关注EEND，然后Conformer提供了基于变换器的EEND的额外增益。然而，我们注意到，基于Conformer的EEND不能像基于Transformer的模型那样从模拟的会话数据推广到真实的会话数据。这使我们能够量化模拟数据和真实说话人行为之间的不匹配，反映说话人之间的话轮转换的时间统计，并研究其与日记化误差的相关性。通过在EEND训练中混合模拟和真实数据，我们进一步减轻了不匹配，基于Conformer的EEND在两个扬声器CALLHOME数据上比基线SA-EEND系统减少了24%的错误，比基于最佳增强transformer的系统提高了10%。
2021-06-14 cs.CL cs.SD eess.AS
A Conformer Based Acoustic Model for Robust Automatic Speech Recognition
The Ohio State University（俄亥俄州立大学）
本研究提出一种基于一致性的声学模型来解决鲁棒的自动语音识别（ASR）。该模型建立在宽残差双向长短期记忆网络（WRBN）的基础上，具有逐段丢弃和迭代说话人自适应功能，但采用了Conformer编码器代替递归网络。Conformer编码器使用卷积增强的注意力机制进行声学建模。该系统的CHiME-4语料库的单耳ASR任务进行评估。结合发音规范化和说话人自适应，我们的模型实现了$6.25\%$的词出错率，它比WRBN的$8.4\%$相对。此外，所提出的基于一致性的模型是$18.3\%$更小的模型大小和减少总的训练时间由$79.6\%$。
2022-10-20 cs.AI cs.CL cs.SD
A Conformer-based ASR Frontend for Joint Acoustic Echo Cancellation, Speech Enhancement and Speech Separation
Google LLC（谷歌有限责任公司）
我们提出了一种提高自动语音识别（ASR）的鲁棒性的前端，该前端在单个模型中联合实现三个模块：声学回声消除、语音增强和语音分离。这通过使用上下文增强神经网络来实现，该上下文增强神经网络可以可选地利用不同类型的侧输入：（1）回放音频的参考信号，其对于回声消除是必要的;（2）噪声上下文，其对于语音增强是有用的;以及（3）表示感兴趣的目标说话者的语音特征的嵌入向量，这不仅在语音分离中是关键的，而且有助于回声消除和语音增强。我们提出了详细的评估表明，联合模型的性能几乎以及特定于任务的模型，并显着降低在嘈杂的条件下，即使使用大规模的最先进的ASR模型的单词错误率。与噪声基线相比，联合模型在低信噪比条件下将回声消除数据集上的单词错误率降低了至少71%，在噪声数据集上降低了10%，在多说话者数据集上降低了26%。与特定于任务的模型相比，联合模型在回声消除数据集上的性能在10%以内，在噪声数据集上的性能在2%以内，在多说话者数据集上的性能在3%以内。
2021-11-18 cs.SD eess.AS
Conformer Based Elderly Speech Recognition System for Alzheimer's Disease Detection
The Chinese University of Hong Kong（香港中文大学）
阿尔茨海默病（AD）的早期诊断对于促进预防性护理以延迟进一步进展至关重要。本文介绍了一个国家的最先进的Conformer为基础的语音识别系统建立在DementiaBank皮特语料库的自动AD检测的发展。通过结合一组有目的地设计的建模特征，包括除了参数微调之外的基于神经结构搜索的特定领域Conformer超参数的自动配置、使用学习隐藏单元贡献（LHUC）的细粒度老年人说话人自适应、使用速度扰动和基于SpecAugment的数据增强训练的基线Conformer系统被显著地改进。以及基于双通道跨系统再评分的与混合TDNN系统的组合。48名老年人的评估数据的整体字错误率（WER）减少13.6%的绝对（34.8%的相对）。使用最终系统的识别输出来提取文本特征，获得了91.7%的基于语音识别的AD检测准确率。
2022-06-23 cs.LG cs.SD eess.AS
Continual Learning for On-Device Speech Recognition using Disentangled Conformers
Meta Inc.（Meta公司）
本文提出解耦 Conformer 模型与 DisentangledCL 持续学习算法，通过冻结核心网络和可调增强网络实现计算高效的说话人特定端侧语音识别自适应，并在通用和个性化 ASR 任务上显著优于基线。
2022-12-13 cs.CL cs.LG cs.SD
The RoyalFlush System of Speech Recognition for M2MeT Challenge
Hithink RoyalFlush AI Research Institute（海通皇家同花顺人工智能研究院）
本文介绍了我们的RoyalFlush系统的多扬声器自动语音识别（ASR）的M2MeT挑战的轨道。我们采用了基于串行输出训练（SOT）的多说话人自动语音识别系统与大规模的仿真数据。首先，我们研究了一套前端方法，包括多通道加权预测误差（WPE），波束形成，语音分离，语音增强等，处理训练，验证和测试集。但我们只选择了WPE和波束形成作为我们的前端方法，根据他们的实验结果。其次，在多说话人语音合成的数据增强方面做了大量的工作，主要包括加噪和混响、重叠语音模拟、多通道语音模拟、速度扰动、前端处理等，使语音合成的性能有了很大的提高。最后，为了充分利用不同模型体系结构的性能互补性，本文采用一种改进的双向注意力解码器对基于标准一致性的联合CTC/Attention（Conformer）模型和U2++ ASR模型进行训练，以融合它们的结果。与官方基线系统相比，我们的系统在验证集和测试集上分别获得了12.22%和12.11%的绝对字符出错率（CER）降低。
2022-02-24 cs.SD eess.AS stat.ML
ASR-Aware End-to-end Neural Diarization
Amazon Alexa AI（亚马逊Alexa人工智能部门）
我们提出了一个基于Conformer的端到端神经日志化（EEND）模型，该模型使用来自自动语音识别（ASR）模型的声学输入和特征。两类功能进行了探讨：功能直接来自ASR输出（电话，在词中的位置和词的边界）和功能来自词汇说话人变化检测模型，通过微调预训练的BERT模型的ASR输出进行训练。三个修改的一致性为基础的EEND体系结构，提出了将功能。首先，将ASR特征与声学特征级联。其次，我们提出了一种新的注意力机制，称为语境化的自我注意，利用ASR功能来建立强大的发言人表示。最后，使用多任务学习来训练模型，以最小化ASR特征的分类损失以及日志化损失。在Switchboard+SRE数据集上的两人英语会话上的实验表明，利用词中位置信息的多任务学习是利用ASR特征的最有效方法，相对于基线，将日志化出错率（DER）降低了20%。
2022-02-02 cs.CL cs.SD eess.AS
End-to-end Multichannel Speaker-Attributed ASR: Speaker Guided Decoder and Input Feature Analysis
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）；Vivoka（Vivoka公司）
本文提出一种端到端多通道说话人归属ASR系统，结合Conformer编码器与说话人引导解码器，在模拟和真实数据上显著降低词错误率，并分析了输入特征的影响。
2023-10-16 cs.CL cs.SD eess.AS
ChildMandarin: A Comprehensive Mandarin Speech Dataset for Young Children Aged 3-5
College of Computer Science, Nankai University（南开大学计算机学院）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
针对3-5岁幼儿普通话语音研究资源匮乏问题，本文发布含41.25小时、397名说话人的开源ChildMandarin数据集，验证其可有效支持ASR与说话人验证任务。
2025-03-19 cs.SD eess.AS
StyleFusion TTS: Multimodal Style-control and Enhanced Feature Fusion for Zero-shot Text-to-speech Synthesis
School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）
本文提出StyleFusion-TTS，一种基于多模态参考的零样本TTS系统，通过通用前端编码器生成解耦的风格与说话人嵌入，并利用分层conformer结构实现特征融合，提升了合成语音的可编辑性与自然度。
2024-09-24 cs.SD eess.AS
Query-by-Example Keyword Spotting Using Spectral-Temporal Graph Attentive Pooling and Multi-Task Learning
本文提出一种基于谱-时间图注意力池化和多任务学习的示例查询关键词识别系统，通过三种编码器架构对比实验证明该框架能使13倍高效的LiCoNet达到与Conformer相当的性能。
2024-11-23 cs.AI cs.CL cs.SD
On-the-Fly Feature Based Rapid Speaker Adaptation for Dysarthric and Elderly Speech Recognition
Tencent AI Lab（腾讯人工智能实验室）
本文针对构音障碍和老年人语音识别中说话人数据稀缺问题，提出两种数据高效的即时特征自适应方法，在多个基准系统上取得显著词错率降低。
2023-05-28 cs.AI cs.LG cs.SD
Speaker Adaptation Using Spectro-Temporal Deep Features for Dysarthric and Elderly Speech Recognition
Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
尽管近几十年来针对正常语音的自动语音识别（ASR）技术取得了快速进展，但迄今为止，构音障碍和老年语音的准确识别仍然是极具挑战性的任务。在正常言语中常见的异质性来源，包括口音或性别，当进一步与年龄和言语病理严重程度的变异性复合时，在说话者中产生了很大的多样性。为此，说话人自适应技术在为这些用户个性化ASR系统中起着关键作用。受构音障碍、老年人和正常言语之间的频谱-时间水平差异的启发，这些差异系统地表现为发音不精确、音量和清晰度降低、语速减慢和不流利增加，本文提出了一种新的基于SVD语音谱分解的谱时间子空间基深度嵌入特征，以促进最先进的混合DNN/TDNN和端到端的基于辅助特征的说话人自适应。end Conformer语音识别系统。实验在四个任务上进行：英语UASpeech和TORGO构音障碍语音语料库;英语DementiaBank Pitt和粤语JCCOCC MoCA老年人语音数据集。所提出的频谱-时间深度特征自适应系统在字错误率（WER）方面的绝对（8.63%相对）降低率超过基线i-Vector和xVector自适应。一致的性能改善后，保留基于模型的说话人自适应学习隐藏单元贡献（LHUC）进一步应用。最好的扬声器适应系统使用建议的频谱基础嵌入功能产生了最低的公布WER的25.05%的UASpeech测试集的16个构音障碍的扬声器。
2022-03-17 cs.AI cs.LG cs.SD
Homogeneous Speaker Features for On-the-Fly Dysarthric and Elderly Speaker Adaptation
Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
针对构音障碍及老年语音识别的适配难题，提出VR-SBE特征与f-LHUC变换两种方法，实现ASR模型的即时自适应，在多语种多数据集上取得显著性能提升并达到当前最优水平。
2024-07-08 cs.AI cs.HC cs.LG
Multi-Channel Speech Enhancement for Cocktail Party Speech Emotion Recognition
The Chinese University of Hong Kong, Hong Kong SAR, China（香港中文大学）；National Research Council Canada（加拿大国家研究委员会）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
本文提出多通道语音增强方法，用于提升鸡尾酒派对场景中语音情感识别的性能，通过去混响和分离前端结合深度学习模型，实现比单通道方法更高的准确率和F1值。
2026-02-21 cs.SD
