Learning Speech Representations from Raw Audio by Joint Audiovisual Self-Supervision
Imperial College London（帝国理工学院）；Samsung AI Centre, Cambridge（三星人工智能中心（剑桥））；Facebook London（Facebook（伦敦））
音频和视觉模态之间的直观交互对于跨模态自监督学习是有价值的。这一概念已被证明为通用的视听任务，如视频动作识别和声学场景分类。然而，自我监督仍然没有充分探讨视听讲话。我们提出了一种从原始音频波形中学习自监督语音表示的方法。我们训练一个原始的音频编码器相结合的音频只有自我监督（通过预测信息音频属性）与视觉自我监督（通过生成说话的脸从音频）。视觉托词任务驱动音频表示来捕获与嘴唇运动相关的信息。这丰富了音频编码器的视觉信息和编码器可以用于评估没有视觉模态。我们的方法相对于现有的自监督音频特征在已建立的孤立词分类基准上具有竞争力的性能，并且在从较少的标签中学习方面显着优于其他方法。值得注意的是，我们的方法还优于完全监督训练，从而为语音相关任务提供了强大的初始化。我们的研究结果表明，在视听语音学习良好的音频表示的多模态自我监督的潜力。
2020-07-08 cs.CL cs.CV cs.LG
Similarity-and-Independence-Aware Beamformer with Iterative Casting and Boost Start for Target Source Extraction Using Reference
目标源提取对于提高人的语音可懂度和计算机的语音识别性能具有重要意义。本文提出了一种基于相似性和独立性感知的目标源提取方法。SIBF使用粗略的幅度谱图作为参考信号来提取目标源。SIBF的优势在于，与基于深度神经网络的语音增强等目标增强方法生成的频谱图相比，它可以获得更准确的信号。对于提取，我们扩展了通货紧缩的独立成分分析（ICA）的框架，通过考虑参考和提取的目标源之间的相似性，除了所有的潜在源的相互独立性。为了解决最大似然估计的提取问题，我们引入了三种能够反映相似性的源模型。本研究的主要贡献如下。首先，使用两种方法提高提取性能，即加速启动以实现更快的收敛和迭代铸造以生成更准确的参考。通过CHiME3数据集的实验验证了这些方法的有效性。第二，一个固定点的概念有关的准确性。这一概念有助于理解基准电压源和SIBF输出在精度方面的关系。第三，实现了SIBF和基于掩模的波束形成器的统一制定，以将传统BF的专业知识应用于SIBF。本文的研究结果也可以提高SIBF的性能，促进ICA和传统波束形成器的研究。索引词：波束形成器，独立分量分析，源分离，语音增强，目标源提取
2021-10-18 cs.SD eess.AS
Evaluating context-invariance in unsupervised speech representations
University of Toronto（多伦多大学）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；EHESS（社会科学高等学院）；INRIA（法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）
本文提出新版本ZeroSpeech ABX基准以评估语音表示的上下文不变性，并证明上下文无关性可预测词级表示稳定性，建议未来研究聚焦于提升自监督和无监督表示的上下文无关性。
2023-05-30 cs.CL cs.SD eess.AS
Position Prediction as an Effective Pretraining Strategy
Apple Inc（苹果公司）
Transformers由于其强大的表示能力而在包括自然语言处理（NLP）、计算机视觉和语音识别在内的广泛应用中越来越受欢迎。然而，有效地利用这种表示能力需要大量的数据，强正则化，或两者兼而有之，以减轻过度拟合。最近，基于掩码自编码器的自监督预训练策略已经解锁了Transformer的能力，该自监督预训练策略依赖于直接或对比地从未掩码内容重构掩码输入。这种预训练策略已被用于NLP中的BERT模型、语音中的Wav 2 Vec模型以及最近的视觉中的MAE模型，它迫使模型使用自动编码相关目标来学习输入的不同部分中的内容之间的关系。在本文中，我们提出了一种新颖的，但令人惊讶的简单的替代内容重建-预测位置的内容，而不提供位置信息。这样做需要Transformer理解的位置之间的关系输入的不同部分，从他们的内容单独。这相当于一种高效的实现，其中借口任务是每个输入标记的所有可能位置之间的分类问题。我们在视觉和语音基准上进行了实验，我们的方法在强监督训练基线上进行了改进，并且与现代无监督/自监督预训练方法相当。我们的方法还使Transformers在没有位置嵌入的情况下训练的性能优于使用完整位置信息训练的性能。
2022-07-15 cs.CV cs.LG cs.SD
Multi-Task Self-Supervised Pre-Training for Music Classification
Amazon（亚马逊）
深度学习非常需要数据，而监督学习尤其需要大量的标记数据才能很好地工作。机器听力研究通常会遇到有限的标记数据问题，因为人类注释的获取成本很高，而音频注释既耗时又不直观。此外，从标记数据集学习的模型通常会嵌入特定于该特定数据集的偏见。因此，无监督学习技术成为解决机器听力问题的热门方法。特别地，利用多个手工制作的音频特征的重建的自监督学习技术在应用于语音领域（诸如情感识别和自动语音识别（ASR））时已经显示出有希望的结果。在本文中，我们将自我监督和多任务学习方法应用于预训练音乐编码器，并探索各种设计选择，包括编码器架构，加权机制，以结合多个任务的损失，以及工作人员对借口任务的选择。我们研究这些设计选择如何与各种下游音乐分类任务相互作用。我们发现，使用各种音乐特定的工人与加权机制，以平衡损失在预训练有助于改善和推广到下游的任务。
2021-02-05 cs.LG cs.SD eess.AS
Relaxing the Conditional Independence Assumption of CTC-based ASR by Conditioning on Intermediate Predictions
LINE Corporation（LINE公司）；Kyoto University（京都大学）
提出了一种放松基于连接主义时态分类（CTC）的自动语音识别（ASR）模型条件独立性假设的方法。我们训练一个基于CTC的ASR模型，除了最后一层的原始CTC损失外，中间层中还具有辅助CTC损失。在训练和推理期间，中间层中生成的每个预测都被求和到下一层的输入，以使最后一层的预测取决于这些中间预测。该方法易于实现，并保留了基于CTC的ASR的优点：模型结构简单，解码速度快。我们在三个不同的ASR语料库上进行实验。我们提出的方法显著改进了标准CTC模型（例如，在WSJ语料库上超过20%的相对单词错误率降低）而具有一点计算开销。此外，对于TEDLIUM 2语料库和AISHELL-1语料库，它实现了与具有波束搜索的强自回归模型相当的性能，但解码速度至少快30倍。
2021-10-08 cs.CL cs.SD eess.AS
Towards Personalization of CTC Speech Recognition Models with Contextual Adapters and Adaptive Boosting
AWS AI Labs（AWS人工智能实验室）
端到端语音识别模型训练使用联合连接时间分类（CTC）-注意力损失最近得到普及。在这些模型中，非自回归CTC解码器由于其速度和简单性而经常在推理时使用。然而，这样的模型很难个性化，因为它们的条件独立性假设阻止了来自先前时间步的输出令牌影响未来的预测。为了解决这个问题，我们提出了一种新的双向方法，首先将编码器的注意力集中在一个预定义的罕见长尾和词汇表外（OOV）单词列表上，然后在解码过程中使用动态提升和音素对齐网络来进一步偏置子词预测。我们在开源VoxPopuli和内部医疗数据集上评估了我们的方法，以展示特定领域罕见词的F1得分比CTC基线提高了60%。
2022-11-13 cs.CL cs.SD eess.AS
Speech Pattern based Black-box Model Watermarking for Automatic Speech Recognition
University of Science and Technology of China（中国科学技术大学）
模型水印技术作为一种有效的知识产权（IP）保护方法，已广泛应用于各种深度神经网络（DNN），包括语音分类模型。然而，如何设计一个黑盒水印方案的自动语音识别（ASR）模型仍然是一个未解决的问题，这是一个重要的需求，保护远程ASR应用程序编程接口（API）部署在云服务器上。由于ASR模型的条件独立性假设和基于标签检测的规避攻击风险，语音分类模型的黑盒模型水印方案不能适用于ASR模型。在本文中，我们提出了第一个黑盒模型水印框架，用于保护ASR模型的IP。具体来说，我们合成触发音频传播模型所有者的语音剪辑在整个输入音频和标记的触发音频的隐写文本，隐藏作者的信息与语言隐写。在最先进的开源ASR系统DeepSpeech上的实验证明了所提出的水印方案的可行性，该方案对五种攻击具有鲁棒性，并且对准确性的影响很小。
2022-05-02 cs.CL cs.CR cs.MM
Exploring Dynamic Parameters for Vietnamese Gender-Independent ASR
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Institute of Digital Research and Innovation, CADT（数字研究与创新研究所，CADT）
本研究针对越南语ASR，提出结合极坐标SSCF动态参数与MFCC、用SSCF0作F0伪特征的方法，有效降低词错率并提升性别无关性。
2025-07-30 cs.CL cs.SD eess.AS
DYNAC: Dynamic Vocabulary based Non-Autoregressive Contextualization for Speech Recognition
Honda Research Institute Japan（本田研究院日本）；Carnegie Mellon University（卡内基梅隆大学）
本文提出DYNAC，一种将动态词表集成到CTC中间层的自条件非自回归方法，在LibriSpeech 960上以0.1点词错误率代价将实时因子降低81%。
2025-05-31 cs.CL cs.SD eess.AS
Improving CTC-based speech recognition via knowledge transferring from pre-trained language models
Tencent Cloud Xiaowei（腾讯云小微）；Institute of Acoustics, CAS（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）
最近，端到端的自动语音识别模型的基础上连接时间分类（CTC）取得了令人印象深刻的结果，特别是当微调从wav2vec2.0模型。由于条件独立性假设，基于CTC的模型总是弱于基于注意力的编码器-解码器模型，并且需要外部语言模型（LM）的帮助。为了解决这个问题，我们提出了两种知识转移方法，利用预先训练的LM，如BERT和GPT 2，以改善基于CTC的模型。第一种方法是基于表示学习，其中基于CTC的模型使用由BERT产生的表示作为辅助学习目标。第二种方法是基于联合分类学习，它结合了GPT 2的文本建模与混合CTC/注意力架构。在AISHELL-1语料库上的实验表明，该方法的字符出错率为4.2%。当与从wav2vec2.0模型微调的基于vanilla CTC的模型相比时，我们的知识转移方法在没有外部LM的情况下相对减少了16.1%的CER。
2022-02-22 cs.CL cs.SD eess.AS
Unsupervised speech representation learning using WaveNet autoencoders
Institute of Computer Science, University of Wrocław（弗罗茨瓦夫大学计算机科学研究所）；Google Research（谷歌研究院）；DeepMind
我们考虑的任务，无监督提取有意义的潜在表示的语音应用自动编码神经网络语音波形。目标是学习能够从信号中捕获高级语义内容的表示，例如，音素身份，同时对信号中的混淆低级细节（诸如潜在的音高轮廓或背景噪声）不变。由于学习的表示被调整为仅包含语音内容，因此我们采用高容量WaveNet解码器来推断编码器从先前样本中丢弃的信息。此外，自动编码器模型的行为取决于应用于潜在表示的约束类型。我们比较三种变体：简单降维瓶颈、高斯变分自编码器（VAE）和离散矢量量化VAE（VQ-VAE）。我们分析了学习的代表性的说话人独立性，预测语音内容的能力，并能够准确地重建个人声谱图帧的质量。此外，对于使用VQ-VAE提取的离散编码，我们测量将它们映射到音素的难易程度。我们引入了一个正则化方案，迫使表示专注于话语的语音内容，并报告与ZeroSpeech 2017无监督声学单元发现任务中的顶级条目相当的性能。
2019-09-11 cs.LG eess.AS stat.ML
A Lexical-aware Non-autoregressive Transformer-based ASR Model
National Taiwan University of Science and Technology（台湾科技大学）
提出词汇感知的非自回归Transformer（LA-NAT）ASR框架，通过语音-文本共享编码器与解码器联合训练使模型感知词汇信息，在多个数据集上优于同类模型且比自回归模型快约58倍。
2023-05-18 cs.CL cs.SD eess.AS
Audio-Visual Efficient Conformer for Robust Speech Recognition
University of Würzburg（维尔茨堡大学）
近年来，基于神经网络的端到端自动语音识别（ASR）系统有了很大的改进。大规模手工标记数据集和充足的计算资源的可用性使得训练强大的深度神经网络成为可能，在学术基准上达到非常低的单词出错率（WER）。然而，尽管在干净的音频样本上有令人印象深刻的性能，但在嘈杂的语音上经常观察到性能下降。在这项工作中，我们建议通过处理音频和视觉模态来提高最近提出的基于高效构象连接时间分类（CTC）的架构的噪声鲁棒性。我们改进了以前的唇读方法，在ResNet-18视觉前端上使用Efficient Conformer后端，并通过在块之间添加中间CTC损失。我们使用CTC间残差模块来放松基于CTC模型的条件独立性假设，从而在早期预测上调节中间块特征。我们还用一种更有效、更简单的注意力机制来代替高效一致性分组注意力，我们称之为补丁注意力。我们使用公开的唇读句子2（LRS 2）和唇读句子3（LRS 3）数据集进行实验。我们的实验表明，使用音频和视觉模态可以在存在环境噪声的情况下更好地识别语音，并显着加速训练，以4倍的训练步骤达到较低的WER。我们的视听高效一致性（AVEC）模型实现了最先进的性能，在LRS 2和LRS 3测试集上分别达到2.3%和1.8%的WER。代码和预训练模型可在https://github.com/burchim/AVEC上获得。
2023-01-04 cs.CL cs.CV cs.SD
A Comparative Study on Speaker-attributed Automatic Speech Recognition in Multi-party Meetings
Northwestern Polytechnical University（西北工业大学）；Zhejiang University（浙江大学）
在本文中，我们进行了一个比较研究的说话人属性的自动语音识别（SA-ASR）在多方会议的情况下，会议丰富的转录越来越受到关注的话题。具体而言，在这项研究中，三种方法进行了评估。第一种方法，FD-SOT，包括一个帧级的日记模型来识别说话人和多说话人ASR识别话语。通过将日志化结果与公认的假设进行比对，得到说话人属性的transmittance。然而，这种对齐策略可能会遭受错误的时间戳，由于模块的独立性，严重阻碍了模型的性能。因此，我们提出了第二种方法，WD-SOT，通过引入一个字级的日志模型，它可以摆脱这样的时间戳对齐依赖来解决对齐错误。为了进一步缓解对齐问题，我们提出了第三种方法TS-ASR，它联合训练目标-说话人分离模块和ASR模块。通过比较各种策略的SA-ASR方法，在一个真实的会议场景语料库，AliMeeting，实验结果表明，WD-SOT方法实现了10.7%的平均说话人相关字符出错率（SD-CER）的相对减少，相比FD-SOT方法。此外，TS-ASR方法也优于FD-SOT方法，并带来16.5%的相对平均SD-CER减少。
2022-07-01 cs.CL cs.SD eess.AS
Speaker independence of neural vocoders and their effect on parametric resynthesis speech enhancement
The Graduate Center, CUNY（纽约市立大学研究生院）；Brooklyn College（布鲁克林学院）
传统的语音增强系统产生具有折衷质量的语音。在这里，我们建议使用高质量的语音生成能力的神经声码器更好的质量语音增强。我们称之为参数再合成（PR）。在以前的工作中，我们证明了PR系统使用两个神经声码器WaveNet和WaveGlow为单个扬声器生成高质量的语音。这两种声码器传统上都依赖于扬声器。在这里，我们首先表明，当训练足够多的说话者的数据时，这些声码器可以从看不见的说话者（男性和女性）生成语音，其质量与训练中看到的说话者相似。接下来，使用这两个声码器和一个新的声码器LPCNet，我们评估了PR对看不见的扬声器的降噪质量，并表明客观信号和整体质量高于最先进的语音增强系统Wave-U-Net，Wavenet-denoise和SEGAN。此外，在主观质量，多扬声器PR优于甲骨文维纳面具。
2019-11-14 cs.LG cs.SD eess.AS
A context-aware knowledge transferring strategy for CTC-based ASR
National Taiwan University of Science and Technology（台湾科技大学）
非自回归自动语音识别（ASR）建模因其解码速度快、性能优越而受到越来越多的关注。其中，基于联结主义时态分类（CTC）的方法仍然是一个主流。然而，理论上固有的缺陷--符记之间的独立性假设，给作品学派造成了表演上的障碍。为了缓解这一挑战，我们提出了一个上下文感知的知识转移策略，包括一个知识转移模块和上下文感知的培训策略，基于CTC的ASR。前者的目的是从一个预先训练好的语言模型中提取语言信息，而后者的框架是为了调整由条件独立假设引起的限制。因此，本文提出了一个知识注入的上下文感知CTC的ASR建立在wav 2 vec 2. 0。在AISHELL-1和AISHELL-2数据集上的一系列实验证明了该方法的有效性。
2022-10-12 cs.CL cs.SD eess.AS
Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition
Alibaba Group（阿里巴巴集团）；Singapore Institute of Technology（新加坡理工学院）
Transformers最近主导了ASR领域。虽然能够产生良好的性能，但它们涉及自回归（AR）解码器来逐个生成令牌，这在计算上是低效的。为了加速推理，设计了非自回归（NAR）方法，例如单步NAR，以实现并行生成。然而，由于输出标记内的独立性假设，单步NAR的性能不如AR模型的性能，特别是对于大规模语料库。改进单步NAR算法面临两个挑战：一是准确预测输出标记的数量并提取隐变量;二是加强对输出标记之间相互依赖关系的建模。为了解决这两个挑战，我们提出了一个快速，准确的并行Transformer，称为Paraformer。这利用了一个基于连续积分和触发的预测器来预测令牌的数量并生成隐藏变量。然后，扫视语言模型（GLM）采样器生成语义嵌入，以增强NAR解码器对上下文相互依赖性进行建模的能力。最后，我们设计了一个策略，以产生负样本的最小字出错率训练，以进一步提高性能。使用公共AISHELL-1，AISHELL-2基准测试和工业级20，000小时任务的实验表明，所提出的Paraformer可以达到与最先进的AR Transformer相当的性能，具有超过10倍的加速比。
2023-03-30 cs.CL cs.SD eess.AS
Information Theoretic Analysis of DNN-HMM Acoustic Modeling
本文提出了一个信息论框架，用于定量评估基于隐马尔可夫模型（HMM）的自动语音识别（ASR）的声学建模。声学建模针对语音声学特征的短时间窗口产生HMM子词状态的概率。我们将ASR转换为一个通信信道，其中输入子字概率传达有关输出HMM状态序列的信息。因此，声学模型的质量根据通过该信道传输的信息来量化。从子字概率推断最可能的HMM状态序列的过程称为解码。基于HMM的解码假设声学模型产生精确的状态级概率，并且给定潜在隐藏状态的数据分布独立于序列中的任何其他状态。我们量化1）声学模型的准确性和2）它的鲁棒性数据和HMM条件独立性假设之间的失配的一些互信息量。在这种情况下，利用深度神经网络（DNN）后验概率导致一个简单而直接的分析框架，以评估基于HMM的解码的声学模型的缺点。这种分析使我们能够评估高斯混合声学模型（GMM）和DNN中许多隐藏层的重要性，而无需任何显式语音识别。此外，它揭示了低维模型的贡献，以提高声学建模更好地遵守基于HMM的解码要求。
2017-11-08 cs.CL cs.LG cs.SD
Quantifying Dimensional Independence in Speech: An Information-Theoretic Framework for Disentangled Representation Learning
NSBE Research Lab, School of Engineering（NSBE研究实验室，工程学院）
提出信息论框架，通过有界神经互信息估计与非参数验证量化手工声学特征中的跨维度统计依赖性，发现跨维度互信息低，源-滤波器互信息高，归因分析显示情感维度源主导，语言和病理维度滤波器主导。
2026-06-24 cs.SD eess.AS
InterMPL: Momentum Pseudo-Labeling with Intermediate CTC Loss
Carnegie Mellon University（卡内基梅隆大学）；Waseda University（早稻田大学）
提出了一种端到端自动语音识别（ASR）的半监督学习方法InterMPL，该方法在中间监督的情况下进行伪标记（PL）。Momentum PL（MPL）通过不断动态生成伪标签并提高其质量，在未标记数据上训练基于连接主义时态分类（CTC）的模型。与自回归公式（例如基于注意力的编码器-解码器和换能器）相比，CTC通常非常适合MPL或基于PL的半监督ASR，这是由于其简单/快速的推理算法和对生成折叠标签的鲁棒性。然而，由于条件独立性假设，CTC通常产生比自回归模型差的性能，从而限制了MPL的性能。我们建议通过引入中间损耗来增强MPL，这是受到基于CTC的建模的最新进展的启发。具体来说，我们专注于自条件和分层条件CTC，应用辅助CTC损失的中间层，这样的条件独立性假设是明确放松。我们还探讨了如何生成伪标签，并将其用作中间损失的监督。实验结果表明，在不同的半监督设置所提出的方法优于MPL和提高ASR模型的绝对性能增益高达12.1%。此外，我们的详细分析验证了中间损失的重要性。
2023-03-17 cs.CL cs.SD eess.AS
Improving CTC-based ASR Models with Gated Interlayer Collaboration
NetEase Yidun AI Lab（网易易盾人工智能实验室）
基于CTC的自动语音识别（ASR）模型在没有外部语言模型的情况下通常缺乏对条件依赖和文本交互的建模能力。在本文中，我们提出了一个门控层间协作（GIC）机制，以提高性能的CTC为基础的模型，它引入文本信息的模型，从而放松条件独立性假设的CTC为基础的模型。具体来说，我们将令牌嵌入的加权和视为每个位置的文本表示，其中特定于位置的权重是通过层间辅助CTC损失构建的softmax概率分布。然后通过开发门单元将文本表示与声学特征融合。在AISHELL-1、TEDLIUM 2和AIDATATANG语料库上的实验表明，该方法优于几个强基线。
2023-03-14 cs.CL cs.SD eess.AS
Parallel GPT: Harmonizing the Independence and Interdependence of Acoustic and Semantic Information for Zero-Shot Text-to-Speech
School of Future Technology, South China University of Technology（未来技术学院，华南理工大学）；School of Electronic and Information, South China University of Technology（电子与信息学院，华南理工大学）
本文提出 Parallel GPT，通过 AR 与 Coupled NAR 并行架构及 Parallel Tokenizer 协调声学、语义信息，在中英文零样本 TTS 上显著提升质量与效率。
2025-08-28 cs.SD eess.AS
Objets Sonores: Une Représentation Bio-Inspirée Hiérarchique Parcimonieuse À Très Grandes Dimensions Utilisable En Reconnaissance; Auditory Objects: Bio-Inspired Hierarchical Sparse High Dimensional Representation for Recognition
Université de Sherbrooke（舍布鲁克大学）
本文着重论述了音响系统的层次结构、音响信息表示的特点、音响系统特征的独立性等方面。本文介绍了目标声和神经元表征的概念，并举例说明了其在分析语音、音乐和外部自然声信号中的应用。最后，一个新的假释自动侦察系统被提出。Celui-ci与一个常规统计系统相比较。这是一个非常明显的要求，即对声音对象的分析引入了一种多价性和鲁棒性。神经科学知识的综合与声信号的处理是声信号探测领域的新观点。重点研究了听觉信号在高维空间中表示的层次结构、独立性和稀疏性，从而定义听觉对象的成分。介绍了听觉对象及其神经表征的概念。一个说明性的应用程序，然后，包括在各种听觉信号的分析：语音，音乐和自然的户外环境。一个新的自动语音识别（ASR）系统，然后提出和传统的统计系统进行比较。所提出的系统清楚地表明，基于对象的分析介绍了一个很大的灵活性和鲁棒性的语音识别的任务。神经科学与声信号处理知识的融合为声信号分类领域带来了新的思路。
2013-11-22 cs.SD
Causal Self-supervised Pretrained Frontend with Predictive Code for Speech Separation
本文提出一种因果自监督预训练前端，通过自回归混合预测和上下文知识蒸馏代理任务将未来信息隐式纳入因果模型，有效缓解了实时流式语音分离中因缺乏未来上下文导致的性能下降。
2025-04-03 cs.LG cs.SD eess.AS
Pushing the Limits of Unsupervised Unit Discovery for SSL Speech Representation
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Tsinghua University（清华大学）
针对现有自监督语音表示学习中k-means聚类目标无法充分激发模型性能的问题，提出采用上下文无关/相关音素基单元的MonoBERT与PolyBERT无监督方法，在LibriSpeech基准上无需迭代重训练即超越多种SSL模型及用标注数据优化目标的模型。
2023-06-15 cs.CL cs.SD eess.AS
Momentum Contrast Speaker Representation Learning
SNU（首尔国立大学）
无监督表示学习通过减少与有监督特征学习的性能差距而取得了显着的成就，特别是在图像领域。在这项研究中，为了将无监督学习技术扩展到语音领域，我们提出了VoxCeleb（MoCoVox）的动量对比作为一种学习机制。我们通过实施实例歧视在VoxCeleb1上预训练MoCoVox。将MoCoVox应用于说话人验证表明，它的性能大大优于最先进的基于度量学习的方法。我们还通过分析学习表征的分布，实证展示了语音领域对比学习的特征。此外，我们探讨了哪些借口任务是足够的话者确认。我们期望在没有人监督的情况下学习说话人表示有助于解决开集说话人识别问题。
2020-10-22 cs.SD eess.AS
Speech Separation with Pretrained Frontend to Minimize Domain Mismatch
National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）；Shenzhen Research Institute of Big Data, Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）深圳大数据研究院）
本文提出自监督域不变预训练前端，通过孪生网络捕获混合数据共享线索，减少合成与真实数据域差距，提升语音分离质量。
2024-11-05 cs.LG cs.MM cs.SD
Self Supervised Adversarial Domain Adaptation for Cross-Corpus and Cross-Language Speech Emotion Recognition
University of Southern Queensland（南昆士兰大学）；Data61, CSIRO（联邦科学与工业研究组织Data61研究所）；Queensland University of Technology（昆士兰科技大学）；Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）
尽管最近在语音情感识别（SER）在一个单一的语料库设置的进步，这些SER系统的性能显着降低跨语料库和跨语言的情况。关键原因是SER系统对看不见的条件缺乏泛化能力，这导致它们在跨语料库和跨语言环境中表现不佳。最近的研究集中在利用对抗方法来学习领域广义表示，以提高跨语料库和跨语言SER来解决这个问题。然而，这些方法中的许多方法仅关注跨语料库SER，而没有解决由于源和目标语言数据之间的较大域间隙而导致的跨语言SER性能下降。这篇文章提出了一个对抗性的双重网络（ADDi），它使用三个玩家的对抗性游戏来学习一般化的表示，而不需要任何目标数据标签。我们还引入了一个自监督ADDi（sADDi）网络，该网络利用未标记数据进行自监督预训练。我们提出合成数据生成作为sADDi中的一个借口任务，使网络能够产生情感上有区别的和域不变的表示，并提供互补的合成数据来增强系统。该模型使用5个公开可用的数据集在3种语言进行了严格的评估，并与跨语料库和跨语言SER的多项研究进行了比较。实验结果表明，该模型实现了改进的性能相比，国家的最先进的方法。
2022-04-19 cs.SD eess.AS
Autoregressive Speech Enhancement via Acoustic Tokens
Concordia University（康科德大学）；Mila-Quebec AI Institute（魁北克人工智能研究所）；Université Laval（拉瓦尔大学）
本文研究基于声学令牌的语音增强，提出新型 transducer 自回归架构，实验表明其优于语义令牌并能保留说话人身份，但离散表示仍不及连续表示。
2025-07-17 cs.LG cs.SD eess.AS
Salient Speech Representations Based on Cloned Networks
Google LLC.（谷歌有限责任公司）；Victoria University of Wellington（惠灵顿维多利亚大学）
我们将显着特征定义为系统设计者定义为等效的信号所共享的特征。该定义允许设计者提供定性信息。我们的目标是找到显着的功能，是有用的条件生成网络。我们通过联合训练编码器网络的一组克隆来提取显著特征。每个网络克隆接收来自一组等效信号的不同信号作为输入。目标函数鼓励网络克隆将其输入映射到一组在克隆中相同的特征。它还鼓励特征独立性，并且可选地，通过解码器重建期望的目标信号。作为一个应用程序，我们训练一个系统，提取语音的特征向量的时间序列，并使用它作为一个条件的WaveNet生成系统，促进编码和增强。
2019-08-19 cs.SD eess.AS
Target Speech Extraction Based on Blind Source Separation and X-vector-based Speaker Selection Trained with Data Augmentation
从混合语音中提取所需的语音是一项有意义且具有挑战性的任务。端到端的基于DNN的方法虽然有吸引力，但面临泛化问题。在本文中，我们探讨了一个顺序的方法，目标语音提取相结合的盲源分离（BSS）的x-向量为基础的说话人识别（SR）模块。利用并比较了两种基于信源独立性假设的盲源分离方法：独立低秩矩阵分析（ILRMA）和多通道变分自编码（MVAE）。ILRMA采用非负矩阵分解（NMF）来捕获源信号的频谱结构，MVAE利用深度神经网络（DNN）的强大建模能力。然而，MVAE的研究一直局限于很少的说话人的训练，通常包括测试说话人的语音信号。我们使用500个说话人的干净语音信号扩展MVAE的训练，以评估其对未见过的说话人的泛化。为了提高正确提取率，我们采用了两种数据增强策略来训练SR模块。所提出的级联方法的性能进行了研究与测试数据构建不同环境下的真实房间脉冲响应。
2020-10-30 eess.AS eess.SP
Eta-WavLM: Efficient Speaker Identity Removal in Self-Supervised Speech Representations Using a Simple Linear Equation
Università degli studi di Torino（托斯纳大学）；Cerence Inc（Cerence公司）
本文提出Eta-WavLM，通过线性分解自监督语音表示中的说话人特定与无关成分，实现高效说话人身份去除，在语音转换等任务上优于现有方法。
2025-05-25 cs.AI cs.SD eess.AS
Geometric Second-Order Feature Correlation Learning for Self-Supervised Speech Emotion Recognition
Xiangjiang Laboratory（湘江实验室）；University of Exeter（埃克塞特大学）
针对自监督语音情感识别中一阶聚合忽略特征相关性和黎曼几何的问题，提出二阶相关层，通过协方差描述子捕获协同共现模式，并利用对数欧几里得映射保持几何完整性，在ESD和RAVDESS数据集上有效恢复判别信息。
2026-06-04 cs.AI cs.SD eess.AS
Strategies in Transfer Learning for Low-Resource Speech Synthesis: Phone Mapping, Features Input, and Source Language Selection
University of Groningen（格罗宁根大学）；Fryske Akademy/Mercator Research Centre（弗里斯兰学院/墨卡托研究中心）；ReadSpeaker（ReadSpeaker公司）
本研究比较了音素映射和音系特征输入在低资源TTS迁移学习中的效果，发现特征输入更优，且ASPF在选择源语言时有效，而语系距离无效。
2023-06-21 cs.CL eess.AS
BERT Meets CTC: New Formulation of End-to-End Speech Recognition with Pre-trained Masked Language Model
Waseda University（早稻田大学）
提出 BERT-CTC，将 BERT 融入 CTC 端到端语音识别，通过自注意力建模音频与 token 的上下文依赖，并结合 mask-predict 迭代解码，在多风格、多语言识别及下游口语理解上取得提升。
2023-04-20 cs.CL eess.AS
From Objectives to Applications: Aligning Architectural Biases in Audio Self-Supervised Learning
本文通过预训练目标、架构归纳偏差与下游应用的对齐，系统分析音频自监督学习，围绕五种范式讨论不同监督信号对表征的影响，并关联到CNN、RNN、状态空间模型、Transformer及混合架构的偏差，最后解读在语音、环境声、音乐、医学及多模态等领域的应用。
2026-07-02 eess.AS
