ApproBiVT: Lead ASR Models to Generalize Better Using Approximated Bias-Variance Tradeoff Guided Early Stopping and Checkpoint Averaging
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Academy of Broadcasting Science, National Radio and Television Administration(国家广播电视总局广播电视科学研究院);School of Future Technology, University of Chinese Academy of Sciences(中国科学院大学未来技术学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文提出ApproBiVT方法,以训练损失和验证损失作为偏差与方差的近似代理,利用近似偏差-方差权衡指导ASR模型的早停和检查点平均,在AISHELL-1和AISHELL-2上分别将CER降低2.5%-3.7%和3.1%-4.6%。
2023-08-05 cs.CL cs.SD eess.AS
Speaker Group Encoding in Self-supervised Speech Recognition Models
MILES Team, LAMSADE, Université Paris Dauphine-PSL, France(法国巴黎多芬纳-PSL大学LAMSADE实验室MILES团队);GETALP Team, LIG, Université Grenoble Alpes, France(法国格勒诺布尔阿尔卑斯大学LIG实验室GETALP团队);NLP team, LIS, Aix-Marseille University, France(法国艾克斯-马赛大学LIS实验室NLP团队)
研究自监督语音识别模型如何编码说话人群体信息,发现微调任务和公平性算法对不同类型群体信息的影响不同。
2026-06-09 cs.CL
Self-Attention Channel Combinator Frontend for End-to-End Multichannel Far-field Speech Recognition
Nuance Communications GmbH(Nuance通讯有限公司);Nuance Communications Inc.(Nuance通讯公司);Nuance Communications S.A.(Nuance通讯股份公司)
当提供足够大的远场训练数据时,联合优化多通道前端和端到端(E2E)自动语音识别(ASR)后端显示出有希望的结果。最近的文献表明,传统的波束形成器设计,如MVDR(最小方差无失真响应)或固定波束形成器可以成功地集成为前端到E2E ASR系统与可学习的参数。在这项工作中,我们提出了自注意通道组合器(SACC)ASR前端,它利用自注意力机制在幅度谱域中组合多通道音频信号。对多通道回放测试数据进行的实验表明,与最先进的基于固定波束形成器的前端相比,SACC实现了9.3%的WERR,两者都与基于ContextNet的ASR后端进行了联合优化。我们还展示了SACC和传统波束形成器之间的连接,并分析了SACC的中间输出。
2021-09-10 cs.AI cs.CL cs.LG
Fine-tuning of Pre-trained End-to-end Speech Recognition with Generative Adversarial Networks
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
使用生成对抗网络(GAN)的端到端(E2 E)ASR系统的对抗训练最近已被探索用于低资源ASR语料库。GANs通过两个玩家的最小-最大游戏帮助学习真实的数据表示。然而,使用具有GAN框架的大型ASR语料库训练E2 E ASR模型从未被探索过,因为由于高方差梯度更新和人脸收敛问题,它可能需要过长的时间。在本文中,我们介绍了一种新的框架,用于使用GAN目标微调预训练的ASR模型,其中ASR模型充当生成器,并且尝试将ASR输出与真实数据区分开来。由于ASR模型是预先训练的,我们假设ASR模型输出(软分布向量)有助于从SVM获得更高的分数,并使SVM的任务在我们的GAN框架内变得更难,这反过来又提高了ASR模型在微调阶段的性能。在这里,预先训练的ASR模型使用额外的对抗性损失针对PSNR进行对抗性微调。在完整LibriSpeech数据集上的实验表明,我们提出的方法优于基线和传统的基于GAN的对抗模型。
2021-03-10 cs.CL cs.SD eess.AS
AGADIR: Towards Array-Geometry Agnostic Directional Speech Recognition
Meta
针对智能眼镜多通道 ASR 中麦克风阵列几何变化的问题,提出在多种相似几何结构上训练以实现几何无关泛化,并采用非线性约束最小方差准则改进波束形成,已见几何识别率相对提升 15%–28%。
2024-01-18 cs.SD eess.AS
Active Learning for Speech Recognition: the Power of Gradients
Baidu Silicon Valley AI Lab(百度硅谷人工智能实验室)
在训练语音识别系统中,标记音频片段可能是昂贵的,并且并非所有数据都具有同等价值。主动学习的目标是只标记信息量最大的样本以降低成本。对于语音识别,置信度分数和其他基于似然的主动学习方法已被证明是有效的。然而,基于顺应性的主动学习方法仍然没有得到很好的理解。本文研究了端到端语音识别主动学习中的期望梯度长度(EGL)方法。我们证明EGL从方差减少的角度来看,并观察到EGL的信息量选择新的样本不相关的置信分数。实验表明,EGL可以减少字错误的11%,或者,减少样本的数量标记的50%,相比随机抽样。
2016-12-10 cs.CL cs.LG stat.ML
Identifying and typifying demographic unfairness in phoneme-level embeddings of self-supervised speech recognition models
MILES Team, LAMSADE, Université Paris Dauphine-PSL(巴黎-萨克雷大学巴黎第四大学LAMSADE团队);GETALP Team, LIG, Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学LIG团队)
本文研究了自监督语音识别模型中音素嵌入的不公平现象,提出两种误差类型:随机误差与系统误差,并发现音素嵌入中的偏差可能影响不同群体的性能。
2026-04-24 cs.CL
FusionFormer: Fusing Operations in Transformer for Efficient Streaming Speech Recognition
Tsinghua University(清华大学);Horizon Robtics(地平线机器人);WeNet Open Source Community(WeNet开源社区)
最近提出的Conformer结构结合了卷积和注意力来捕获局部和全局依赖关系,已成为自动语音识别~(ASR)的\textit{de facto}骨干模型。继承了自然语言处理(NLP)任务,该架构采用层归一化~(LN)作为默认的归一化技术。然而,通过一系列系统的研究,我们发现LN虽然只贡献了FLOP的0.1%,但它却占用了推理时间的10%。这促使我们用其他标准化技术代替LN,例如,批量归一化~(BN),利用算子融合方法加快推理速度,避免了在推理过程中计算均值和方差统计量。在检查了几种直接去除所有LN层或在同一位置用BN替换它们的简单尝试后,我们发现发散问题主要是由不稳定的层输出引起的。因此,我们建议将BN层附加到每个线性或卷积层,其中观察到稳定的训练结果。我们还建议简化Conformer中的激活,例如Swish和GLU,将其替换为ReLU。所有这些交换的模块可以融合到相邻线性/卷积层的权重中,因此具有零推理成本。因此,我们将其命名为FusionFormer。我们的实验表明,FusionFormer与基于LN的Conformer一样有效,并且速度快约10%。
2022-10-31 cs.CL cs.SD eess.AS
Enhancement and Recognition of Reverberant and Noisy Speech by Extending Its Coherence
University of Washington(华盛顿大学)
大多数语音增强算法利用短时傅立叶变换(STFT),这是一种简单而灵活的时频分解,估计信号的短时谱。然而,短STFT帧的持续时间固有地受到语音信号的非平稳性的限制。本文的主要贡献是通过延长分析窗口的长度来演示存在混响和噪声的情况下的语音增强和自动语音识别。我们通过在短时扇啁啾变换(STFChT)域中执行增强来实现这种扩展,STFChT域是一种过完备的时频表示,在比STFT更长的分析窗口持续时间内与语音信号相干。这种扩展的相干性是通过使用浊音语音信号的基频变化的线性模型来获得的。我们的方法围绕使用Habets提出的单通道最小均方误差对数谱幅度(MMSE-LSA)估计器,该估计器在时频域中缩放系数以抑制噪声和混响。在多个麦克风的情况下,我们预处理的数据与最小方差无失真响应(MVDR)波束形成器,或延迟和总和波束形成器(DSB)。我们评估我们的算法的语音增强和识别任务的REVERB挑战数据集。与在STFT域中进行的相同处理相比,我们的方法在客观增强度量(包括PESQ-ITU-T语音质量标准测量)方面实现了显着的改进。在自动语音识别(ASR)的性能,衡量字出错率(WER),我们的实验表明,STFT与长窗口是更有效的ASR。
2015-09-02 cs.CL cs.SD stat.AP
Addressing Pitfalls in Auditing Practices of Automatic Speech Recognition Technologies: A Case Study of People with Aphasia
University of Washington(华盛顿大学);Cornell University(康奈尔大学);New York University(纽约大学);University of Virginia(弗吉尼亚大学)
本文识别了标准ASR审计中的三个常见陷阱,并提出了一个整体审计框架,通过失语症患者的案例研究发现ASR系统对其表现更差。
2026-05-27 cs.CL cs.CY cs.SD
Statistical Beamformer Exploiting Non-stationarity and Sparsity with Spatially Constrained ICA for Robust Speech Recognition
Sogang University(西江大学)
提出一种基于非平稳拉普拉斯分布和空间约束ICA的统计波束形成算法,通过结合掩模方差与松弛零点约束提升导向矢量估计,在CHiME-4和LibriCSS数据集上验证了其在批处理和在线处理下对鲁棒语音识别的有效性。
2024-01-05 cs.SD eess.AS
Improving RNN transducer with normalized jointer network
Bytedance AI-Lab(字节跳动人工智能实验室)
循环神经传感器(RNN-T)是自动语音识别(ASR)中一种很有前途的端到端(E2 E)模型。与传统的混合式ASR系统相比,它表现出了卓越的性能。然而,从头开始训练RNN-T仍然具有挑战性。我们在RNN-T训练期间观察到巨大的梯度方差,并怀疑它会损害性能。在这项工作中,我们分析了RNN-T训练中巨大梯度方差的原因,并提出了一种新的\textit{normalized jointer network}来克服它。我们还提出了改进的conformer编码器网络和transformer-XL预测器网络来增强RNN-T网络,以达到最佳性能。实验在开放的170小时AISHELL-1和工业级的30000小时汉语语音数据集上进行。在AISHELL-1数据集上,我们的RNN-T系统在AISHELL-1的流和非流基准上分别获得了CER 6.15%和5.37%的最新结果。我们进一步比较了我们的RNN-T系统与我们训练有素的商业混杂系统在30000小时的行业音频数据,并得到9\%的相对改善没有预训练或外部语言模型。
2020-11-03 cs.SD eess.AS
Dysarthria Normalization via Local Lie Group Transformations for Robust ASR
Independent Researcher(独立研究者)
本文提出用局部李群变换建模构音障碍语音的时频与幅度失真,通过仅用合成扭曲健康语音训练的神经网络推断并逆转变形,在TORGO上最多降低17个百分点WER且不损害干净语音性能。
2025-05-04 cs.CL cs.LG cs.SD
On-the-Fly Feature Based Rapid Speaker Adaptation for Dysarthric and Elderly Speech Recognition
Tencent AI Lab(腾讯人工智能实验室)
本文针对构音障碍和老年人语音识别中说话人数据稀缺问题,提出两种数据高效的即时特征自适应方法,在多个基准系统上取得显著词错率降低。
2023-05-28 cs.AI cs.LG cs.SD
Cracking the cocktail party problem by multi-beam deep attractor network
Microsoft AI and Research(微软人工智能与研究院)
虽然神经网络方法在单通道语音分离,或更一般的鸡尾酒会问题,取得了显着的改善,其性能复杂的混合物仍然不能令人满意。在这项工作中,我们提出了一种新的多通道框架多说话者分离。在该模型中,输入的多通道混合信号首先被转换成一组波束形成的信号使用固定的波束方向图。对于这种波束形成,我们建议使用差分波束形成器,因为它们更适合语音分离。然后将每个波束形成的信号馈送到单通道锚定深度吸引子网络以生成分离的信号。最后通过对各光束的分离输出进行后选,得到最终的分离结果。为了评估所提出的系统,我们创建了一个具有挑战性的数据集,包括2,3或4个扬声器的混合物。我们的研究结果表明,该系统大大提高了语音分离的最新技术水平,实现了11.5 dB,11.76 dB和11.02 dB的平均信号失真比改善4,3和2重叠扬声器混合,这是一个最小方差无失真响应波束形成器,使用预言机的位置,源和噪声信息的性能相媲美。我们还运行语音识别与一个干净的训练声学模型上分离的语音,实现相对字出错率(WER)减少45.76%,59.40%和62.80%的完全重叠的语音4,3和2扬声器,分别。利用远距离通话声学模型,WER被进一步降低。
2018-03-29 cs.SD eess.AS
Improving multi-speaker TTS prosody variance with a residual encoder and normalizing flows
Alexa AI
最近,文本到语音系统的质量几乎与人类语音无法区分。然而,这些系统的韵律通常比自然语音更平坦,产生具有低表达力的样本。在文语转换系统中,说话人身份和韵律的分离是提高自然度和产生更多可变合成的关键。本文提出了一种新的神经文本到语音模型,通过调节Tacotron 2-like架构上的流规范化的扬声器嵌入,并通过用一个新的学习潜在分布来代替参考编码器,负责建模由于韵律的句内变异性,来解决解纠缠问题。通过消除参考编码器依赖性,通常发生在这种系统中的扬声器泄漏问题消失了,在推理时产生更独特的合成。新模型实现了显着更高的韵律方差比基线在一组定量韵律特征,以及更高的扬声器的独特性,而不会降低扬声器的可懂度。最后,我们观察到,归一化的扬声器嵌入使更丰富的扬声器插值,大大提高了新的插值扬声器的独特性。
2021-06-10 cs.CL cs.SD eess.AS
Combating high variance in Data-Scarce Implicit Hate Speech Classification
ABV-IIITM Gwalior(ABV-印度信息技术与管理学院瓜廖尔分校)
仇恨语音的分类一直是自然语言处理中的一个难题。然而,尽管有许多仇恨言论检测方法,他们通常忽略了很多仇恨言论,因为他们是隐含的性质。开发数据集来帮助进行隐性仇恨言论分类的任务也有其自身的挑战;困难在于语言的细微差别,对仇恨言论的不同定义,以及注释这些数据的劳动密集型过程。这导致可用于训练和测试此类系统的数据稀缺,当使用参数密集的基于变压器的模型来解决该问题时,这引起了高方差问题。在本文中,我们探索了各种优化和正则化技术,并开发了一种新的基于RoberTa的模型,实现了最先进的性能。
2022-08-29 cs.CL cs.LG
Modeling Dependent Structure for Utterances in ASR Evaluation
Meta AI
在自动语音识别(ASR)评价中,自举响应方法被广泛用于对误词率(WER)进行显著性分析。为了处理相关的语音数据,分块自举方法也被引入。通过将话语划分为不相关的块,该方法重新采样这些块而不是原始数据。然而,它通常是不平凡的,以揭示话语之间的依赖结构和识别块,这可能会导致统计测试中的主观结论。在本文中,我们提出了基于图形套索的方法来明确地建模这种依赖性和估计不相关的块的话语在一个严格的方式,之后,块引导应用在上面的推断块。我们证明了在温和的条件下,ASR评估中WER的方差估计在统计上是一致的。我们还证明了LibriSpeech数据集上所提出的方法的有效性。
2022-10-08 cs.AI cs.LG cs.SD
Investigating salient representations and label Variance in Dimensional Speech Emotion Analysis
Apple(苹果公司)
本研究在维度语音情感分析中,发现预训练表征空间内存在低维子空间,可降低模型复杂度且不损性能,并通过对评分者意见方差建模提升泛化与鲁棒性。
2023-12-17 cs.AI cs.CL cs.LG
Computational Pronunciation Analysis in Sung Utterances
Queen Mary University of London(伦敦玛丽女王大学);Doremir Music Research AB(Doremir音乐研究公司)
目前的自动歌词转录(ALT)方法主要集中在建立更强的声学模型或域内语言模型,而很少涉及发音方面。本文应用一种新的计算分析方法对歌唱发音中的发音差异进行了分析,并进一步提出了一种新的适用于歌唱的发音模型。通过单词识别实验,在多个公共数据集上测试了唱歌适应模型。它在所有设置中的表现都优于标准语音词典,在使用n元语言模型的无伴奏合唱录音中报告ALT的最佳结果。为了重现性,我们分享了测试中使用的重复级别注释,为ALT提供了一个新的基准评估集。
2021-06-21 cs.IR cs.SD eess.AS
Listen, Attend, Understand: a Regularization Technique for Stable E2E Speech Translation Training on High Variance labels
RobotsMali AI4D Lab(RobotsMali AI4D实验室);Bamako, Mali(马里巴马科)
LAU是一种通过约束声学编码器潜在空间来提高端到端语音翻译稳定性的正则化技术,能有效提升语义保持能力,尤其适用于数据稀缺或嘈杂的场景。
2026-01-03 cs.CL
Novel Loss-Enhanced Universal Adversarial Patches for Sustainable Speaker Privacy
AIRIMoscow, Russia(AIRI莫斯科俄罗斯);MTUCIMoscow, Russia(MTUCI莫斯科俄罗斯);SkoltechMoscow, Russia(Skoltech莫斯科俄罗斯);Vein CV LLCMoscow, Russia(Vein CV LLC莫斯科俄罗斯);SberMoscow, Russia(Sber莫斯科俄罗斯);RSI Group(RSI集团);Safe AI Lab(安全AI实验室);Kandinsky Lab(康德斯基实验室)
针对现有说话人匿名化UAP方法的缺陷,本文提出指数总变差损失增强UAP强度与不可感知性,并设计可扩展插入程序以在不同音频长度下保持高性能。
2025-05-26 cs.AI cs.CR cs.SD
Approximations to the MMI criterion and their effect on lattice-based MMI
Nuance Communications(Nuance通信公司);Mobile Research(移动研究院)
最大互信息(MMI)是一种用于隐马尔可夫模型(HMM)参数估计的模型选择准则,其在二十多年前被开发为用于基于HMM的语音识别的最大似然准则的区别性替代。在语音识别文献中已经表明,使用当前MMI范例(基于格的MMI)的参数估计始终优于最大似然估计,但这是以不期望的收敛特性为代价的。特别是,识别性能是敏感的迭代MMI估计算法,扩展鲍姆-韦尔奇,执行的次数。事实上,太多的迭代扩展Baum-Welch将导致性能下降,尽管事实上,MMI标准在每次迭代的改进。这一现象与最大似然估计的类似行为不同--至少对于语音识别中使用的HSP 70来说是这样--并且它以前被归因于“过拟合”。在本文中,我们提出了一个基于格的MMI的分析表明,首先,基于格的MMI的渐近行为比以前理解的要差得多,即它似乎根本不收敛,其次,这不是由于“过拟合”。相反,我们证明了“过拟合”现象是标准方法的结果,加剧了两个关键的近似在基于格的MMI机器的不良行为。我们还表明,如果我们修改的标准方法,以提高这些近似的有效性,那么基于格的MMI的收敛特性变得良性,而不牺牲提高识别精度。
2010-02-03 cs.CL
Attempt Towards Stress Transfer in Speech-to-Speech Machine Translation
International Institute of Information Technology - Hyderabad(印度信息技术学院海得拉巴分校)
针对印度教育场景下现有语音到语音机器翻译输出单调、缺乏重音的问题,本文构建带重音标注的印度英语数据集,提出基于FastPitch的可迁移重音的TTS架构,实现印度英语到印地语的重音迁移SSMT系统,提升教育内容质量与吸引力。
2024-03-07 cs.CL cs.SD eess.AS
Deep Implicit Distribution Alignment Networks for Cross-Corpus Speech Emotion Recognition
Southeast University(东南大学)
本文提出了一种新的深度迁移学习方法--深度隐式分布对齐网络(DIDAN)来处理跨语料库语音情感识别(SER)问题,其中标记的训练(源)和未标记的测试(目标)语音信号来自不同的语料库。具体来说,DIDAN首先采用由一组卷积层和全连接层组成的简单深度回归网络,将源语音频谱直接回归到情感标签中,从而使提出的DIDAN具有情感辨别能力。然后,这种能力被转移到也适用于目标语音样本,而不管语料库的方差,通过诉诸一个精心设计的正则化术语称为隐式分布对齐(IDA)。与广泛使用的最大平均差异(MMD)及其变体不同,建议IDA吸收了样本重构的思想,以隐式地对齐分布间隙,这使得DIDAN能够从语音频谱中学习情感判别和语料库不变特征。为了评估所提出的DIDAN,广泛的跨语料库SER实验上广泛使用的语音情感语料库进行。实验结果表明,DIDAN在处理跨语料库的SER任务时,性能优于许多最新的方法。
2023-02-17 cs.CL cs.SD eess.AS
Speaker or Language? Explaining Variance in Charismatic Prosody Across Luxembourgish and French
Radio Télévision Luxembourg (RTL)(卢森堡广播电视公司);University of Luxembourg(卢森堡大学);Shiraz University(设拉子大学);University of Southern Denmark(南丹麦大学)
本研究通过分析双语政治家的自发演讲,利用混合效应模型分离方差,发现说话者身份主导魅力韵律差异,而语言差异虽小但系统,反映了社会语言学角色。
2026-09-16 cs.CL
Do self-supervised speech and language models extract similar representations as human brain?
ShanghaiTech University(上海科技大学);University of Michigan(密歇根大学);JD AI Research(京东人工智能研究院);University of California, San Francisco(加利福尼亚大学旧金山分校)
该研究对比自监督语音模型Wav2Vec2.0与语言模型GPT-2的大脑预测性能,发现二者均能准确预测听觉皮层语音响应,共有语音上下文信息是解释大脑活动方差的主要因素,揭示了SSL模型语音表征的趋同性及其与神经机制的对齐性。
2024-01-31 cs.AI cs.CL eess.AS
Lost in Context? On the Sense-wise Variance of Contextualized Word Embeddings
Westlake University(西湖大学)
语言模型中的语境化词嵌入给自然语言处理带来了很大的进步。直观的,潜在的信息被集成到词的表示中,这可以帮助建模多义。然而,上下文敏感性也会导致表征的变化,这可能会破坏同义词的语义一致性。我们量化了在典型的预训练模型中,每个词义的上下文嵌入在上下文中的变化程度。结果表明,语境化的嵌入可以高度一致的上下文。此外,词性、词义数量和句子长度对意义表征的方差也有影响。有趣的是,我们发现单词表征是有位置偏见的,不同语境中的第一个单词往往更相似。我们分析了这种现象,并提出了一种简单的方法来减轻这种偏见,在基于距离的词义消歧设置。
2022-08-20 cs.CL
Phonology-Guided Speech-to-Speech Translation for African Languages
提出利用跨语言停顿同步的无转录 S2ST 框架,通过 SPaDA 对齐和 SegUniDiff 扩散模型提升翻译与说话人保持效果,并发布无转录 BLEU 评测套件。
2025-06-11 cs.AI cs.CL eess.AS
MGhana-ST: A Low-Resource Speech Translation Dataset for Ghanaian Languages and an Analysis of Multilingual Training Trade-offs
Ashesi University(阿什西大学);AdwumaTech AI;HSE University(高等经济大学);GIFT International Fintech Institute(GIFT国际金融科技学院)
本文提出MGhana-ST数据集,涵盖四种加纳低资源语言,发现数据稀缺下多语训练无益甚至有害,并揭示单次运行迁移结果不可靠。
2026-10-05 cs.CL
Quantifying and Predicting Disagreement in Graded Human Ratings
University of Tübingen(图宾根大学)
本文研究了分级人类评分中不适当语言的标注变异模式,提出Opposition Index指标,探讨标注分歧的可预测性,并发现高分歧项更难预测。
2026-05-01 cs.CL
HateGPT: Unleashing GPT-3.5 Turbo to Combat Hate Speech on X
IIT Kharagpur(印度理工学院克勒格布尔分校)
本研究利用 GPT-3.5 Turbo 通过提示方法对 X 平台上的英语推文进行仇恨与攻击性言论分类,在三个运行中取得 0.756、0.751 和 0.754 的 Macro-F1 分数,验证了模型的高性能与稳定性。
2025-03-25 cs.CL