Utterance-level neural confidence measure for end-to-end children speech recognition
The Chinese University of Hong Kong（香港中文大学）
置信度是自动语音识别（ASR）系统在实际应用中的一个重要性能指标。本文研究了端到端自动语音识别（E2 E ASR）中的话语级神经置信度（NCM）。E2 E系统采用联合CTC关注Transformer架构。NCM的预测被公式化为二元分类的任务，即，基于在ASR解码过程期间获取的一组预测器特征来接受/拒绝输入话语。调查的重点是评估和比较的预测功能，来自不同的内部和外部模块的E2 E系统的效力。实验进行了儿童语音，其中国家的最先进的ASR系统表现出不满意的性能和鲁棒的置信度是特别有用的。值得注意的是，与语音的声学信息相关的预测特征在估计置信度方面比与语言信息相关的预测特征起着更重要的作用。N-best score特征的性能明显优于single-best特征。研究还表明，EER和AUC指标不适合评估具有显著性能差距的不匹配ASR的NCM。
2021-09-16 cs.SD eess.AS
An elitist approach for extracting automatically well-realized speech sounds with high confidence
本文提出了一种“精英主义方法”，用于自动提取具有高置信度的良好实现的语音。精英方法使用基于隐马尔可夫模型（HMM）的语音识别系统。HMM是在语音上训练的，语音在迭代过程中被系统地检测到。结果表明，通过使用在训练阶段定义的HMM模型，语音识别器可靠地检测到特定的语音声音，错误率很小。
2005-11-22 cs.CL
Confidence Estimation for Attention-based Sequence-to-sequence Models for Speech Recognition
Google（谷歌）
对于各种与语音相关的任务，来自语音识别器的置信度分数是评估语音质量的有用度量。在传统的基于隐马尔可夫模型的自动语音识别（ASR）系统中，置信度可以从解码格中的词后验子中可靠地获得。然而，对于具有自回归解码器的ASR系统，诸如基于注意力的序列到序列模型，计算词后验是困难的。一个明显的替代方案是使用解码器softmax概率作为模型置信度。在本文中，我们首先研究了一些常用的正则化方法如何影响基于softmax的置信度得分，并研究了端到端模型的过度自信行为。然后，我们提出了一个轻量级的和有效的方法命名为置信度估计模块（CEM）上现有的端到端的ASR模型。LibriSpeech上的实验表明，CEM可以减轻过度自信问题，并且可以在有和没有浅层融合语言模型的情况下产生更可靠的置信度。进一步的分析表明，CEM可以很好地推广到中度不匹配域的语音，并且可以潜在地改进下游任务，例如半监督学习。
2020-10-23 cs.CL cs.LG eess.AS
Exploiting Nontrivial Connectivity for Automatic Speech Recognition
Corti, Copenhagen, Denmark（Corti，丹麦哥本哈根）；Technical University of Denmark（丹麦技术大学）
非平凡连通性通过解决梯度消失的问题和提供更有效的参数重用方法，允许训练非常深的网络。在本文中，我们做了比较残差网络，密集连接网络和公路网络的图像分类任务。接下来，我们表明，这些方法可以很容易地部署到自动语音识别，并提供显着的改进现有的模型。
2017-11-28 cs.SD eess.AS stat.ML
Accurate and Reliable Confidence Estimation Based on Non-Autoregressive End-to-End Speech Recognition System
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
本文提出基于Paraformer和CIF机制的CA-CEM模型，通过生成token同步声学嵌入解决端到端置信度估计中删除与插入错误导致的不可靠问题，在ECE-U、AUC和RMSE指标上均取得显著提升。
2023-05-25 cs.CL cs.SD eess.AS
Confidence Estimation for Black Box Automatic Speech Recognition Systems Using Lattice Recurrent Neural Networks
University of Cambridge（剑桥大学）；University of Sheffield（谢菲尔德大学）
最近，语音转录服务的提供商有所增长，使其他人能够利用他们通常无法使用的技术。因此，支持语音的解决方案已经变得司空见惯。它们的成功关键取决于底层语音转录系统的质量、准确性和可靠性。然而，这些黑盒系统提供有限的质量控制手段，因为通常只有字序列可用。本文探讨了这种有限的资源情况下的信心估计，一种常用的措施，以评估转录的可靠性。特别是，它探讨了在转录过程中可用的词和子词级信息的其他来源可以用来提高置信度分数。为了对所有这些信息进行编码，本文扩展了格递归神经网络来处理子词。使用IARPA OpenKWS 2016评估系统的实验结果表明，使用附加信息可以显著提高置信度估计精度。这个模型的实现可以在网上找到。
2020-03-15 cs.LG cs.SD eess.AS
Confidence Score Guided Incremental and Speaker Adaptive Pseudo-Labeling for Semi-Supervised Elderly Speech Recognition
The Chinese University of Hong Kong, Hong Kong SAR, China（香港中文大学）；Institute of Software, Chinese Academy of Sciences, China（中国科学院软件研究所）；National Research Council Canada, Canada（加拿大国家研究理事会）
提出一种置信度评分引导的增量式和说话人自适应伪标注方法，通过渐进式高质量伪标签选择和说话人自适应训练，在老年人语音识别中分别降低词错误率1.45%和字符错误率2.27%。
2026-06-16 cs.SD eess.AS
Exploiting Cross-Lingual Knowledge in Unsupervised Acoustic Modeling for Low-Resource Languages
The Chinese University of Hong Kong（香港中文大学）
本文研究了零资源环境下的自动语音识别（ASR）的无监督声学建模（UAM）问题。UAM不仅在解决ASR技术发展中数据稀缺的普遍问题方面非常重要，而且对于许多非主流应用也至关重要，例如语言保护，语言习得和病理性言语评估。本研究集中在两个研究问题。第一个问题涉及在给定语言中的基本（子字级）语音单元的无监督发现。在零资源条件下，可以仅从声学信号推断语音单元，而不需要或涉及任何语言方向和/或约束。第二个问题被称为无监督子字建模。从本质上讲，需要从未转录的语音中学习帧级特征表示。学习的特征表示是子词单元发现的基础。期望它是语言上有区别的，并且对非语言因素是鲁棒的。特别是广泛使用的跨语言知识的子词单元发现和建模是本研究的重点。
2020-07-29 cs.CL cs.SD eess.AS
Exploiting Adapters for Cross-lingual Low-resource Speech Recognition
Tokyo Institute of Technology（东京工业大学）；Microsoft（微软）；Microsoft Research Asia（微软亚洲研究院）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；Zhejiang University（浙江大学）
跨语言语音自适应旨在解决利用多个资源丰富的语言来为低资源的目标语言构建模型的问题。由于低资源语言的训练数据有限，语音识别模型很容易过拟合。在本文中，我们建议使用适配器来研究多个适配器的性能参数有效的跨语言语音适应。基于我们以前的MetaAdapter，隐式地利用适配器，我们提出了一种新的算法称为SimAdapter显式地学习知识适配器。我们的算法利用适配器，可以很容易地集成到Transformer结构。MetaAdapter利用元学习将一般知识从训练数据转移到测试语言。SimAdapter的目标是在使用适配器进行微调的过程中了解源语言和目标语言之间的相似性。我们对Common Voice数据集中的五种低资源语言进行了广泛的实验。结果表明，与强大的全模型微调基线相比，我们的MetaAdapter和SimAdapter方法可以将WER降低2.98%和2.55%，仅需2.5%和15.5%的可训练参数。此外，我们还表明，这两种新的算法可以集成到更好的性能与高达3.55%的相对WER减少。
2021-12-18 cs.CL cs.SD eess.AS
BLSTM-Based Confidence Estimation for End-to-End Speech Recognition
NTT Corporation（日本电信电话公司）
本研究提出基于BLSTM的模型用于端到端语音识别置信度估计，通过类别平衡训练和多种解码分数特征，在高度不平衡数据下稳定优于Transformer模型。
2023-12-22 cs.CL eess.AS
Exploiting Single-Channel Speech for Multi-Channel End-to-End Speech Recognition: A Comparative Study
Tsinghua University（清华大学）；TasiTech Co., Ltd.（塔斯科技有限公司）
近年来，端到端的多通道语音识别训练方法已显示出其有效性，该方法通常由波束形成前端和识别后端组成。然而，由于多个模块的集成，端到端的训练变得更加困难，特别是考虑到真实环境中记录的多通道语音数据在大小上是有限的。这就提出了利用单通道数据进行多通道端到端ASR的需求。在本文中，我们系统地比较了三种方案的性能，利用外部单通道数据的多通道端到端ASR，即后端预训练，数据调度和数据模拟，在不同的设置，如单通道数据的大小和前端的选择。在CHiME-4和AISHELL-4数据集上进行的大量实验表明，虽然这三种方法都提高了多通道端到端语音识别性能，但数据模拟优于其他两种方法，代价是更长的训练时间。数据调度的性能略优于后端预训练，但几乎是一致的，这可能是因为在预训练阶段，后端往往过拟合单通道数据，特别是当单通道数据大小很小时。
2022-10-08 cs.CL eess.AS
Fast Entropy-Based Methods of Word-Level Confidence Estimation for End-To-End Automatic Speech Recognition
NVIDIA（英伟达）；ITMO University（圣彼得堡国立信息技术机械与光学大学）
本文提出了一类新的用于自动语音识别的快速不可训练的基于熵的置信度估计方法。我们展示了如何对每帧熵值进行归一化和聚合，以获得连接主义时间分类（CTC）和递归神经网络转换器（RNN-T）模型的每单位和每个单词的置信度。提出的方法具有类似的计算复杂度的传统方法的基础上的最大每帧概率，但他们更可调，有一个更广泛的有效阈值范围，并更好地推开正确和不正确的单词的置信度分布。我们在LibriSpeech测试集上评估了所提出的置信度度量，并表明它们分别比基于Conformer-CTC和Conformer-RNN-T模型检测不正确单词的最大每帧概率的置信度估计高出2倍和4倍。
2022-12-16 cs.CL cs.IT cs.LG
Confidence Score Based Conformer Speaker Adaptation for Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
自动语音识别（ASR）系统的一个关键挑战是对说话人电平的变化进行建模。在本文中，紧凑的说话人相关学习隐藏单元贡献（LHUC）被用来促进说话人自适应训练（SAT）和测试时间无监督说话人自适应国家的最先进的基于Conformer的端到端ASR系统。使用基于置信度分数的对说话者特定数据的更“可信”子集的选择来降低对监督错误率的适应期间的灵敏度。置信度估计模块用于在用作置信度分数之前平滑过度置信的Conformer解码器输出概率。使用贝叶斯估计的LHUC参数，由于扬声器级数据选择的数据稀疏性增加。在300小时的Switchboard语料库上的实验表明，基于置信度分数的测试时间无监督自适应的LHUC-SAT Conformer系统的性能比基本的说话人独立和i向量自适应Conformer系统分别高出1.0%、1.0%和1.2 NIST Hub 5 '00、RT 02和RT 03评估集上的字错误率（WER）分别降低了9.0%、7.9%和8.9%（相对）。在使用外部Transformer和LSTM语言模型进行重新评分后，保持了一致的性能改进。
2022-06-24 cs.SD eess.AS
Confidence-Guided Error Correction for Disordered Speech Recognition
Pattern Recognition Lab, Friedrich-Alexander-Universität Erlangen-Nürnberg, Germany（模式识别实验室，弗里德里希-亚历山大-亚琛-纽伦堡大学，德国）；GITA Lab. Facultad de Ingeniería. Universidad de Antioquia UdeA, Medellín, Colombia（GITA实验室，工程学院，安蒂奎亚大学）
提出将词级置信度嵌入 LLaMA 3.1 微调的置信度信息提示方法，用于障碍语音 ASR 纠错，在两个数据集上分别取得 10% 和 47% 的相对 WER 降低。
2025-09-29 cs.CL
Using Confidence Scores to Improve Eyes-free Detection of Speech Recognition Errors
Michigan Technological University（密歇根技术大学）
本研究通过根据语音识别置信度选择性放慢音频输出，显著提升了免视场景下用户检测识别错误的能力，并缩短了判断时间。
2025-06-20 cs.HC cs.SD eess.AS
Confidence-Based Self-Training for EMG-to-Speech: Leveraging Synthetic EMG for Robust Modeling
ETIS, CY Cergy Paris Université - ENSEA – CNRS, UMR 8051（ETIS，CY 塞尔吉巴黎大学 - ENSEA – CNRS，UMR 8051）；Institute for Infocomm Research, A STAR（信息与通信研究所以院）；IPAL (International Research Laboratory on Artificial Intelligence), CNRS（人工智能国际研究实验室，CNRS）
本文提出基于置信度的多说话人自训练方法，利用合成EMG数据提升EMG到语音模型的准确性和鲁棒性。
2026-01-11 cs.SD eess.AS eess.SP
Boosting End-to-End Multilingual Phoneme Recognition through Exploiting Universal Speech Attributes Constraints
Georgia Institute of Technology（佐治亚理工学院）；Kore University of Enna（恩纳科雷大学）；Norwegian University of Science and Technology（挪威科技大学）
本文提出利用通用发音方式和发音部位属性构建属性到音素映射约束，联合属性和音素信息进行多语言端到端音素识别，在6种语言上平均相对提升6.85%。
2023-09-16 cs.SD eess.AS
Exploiting semi-supervised training through a dropout regularization in end-to-end speech recognition
Idiap Research Institute（伊迪亚普研究所）；Adobe Research（奥多比研究院）
在本文中，我们探讨了各种方法的半监督学习的端到端的自动语音识别（ASR）框架。我们方法的第一步涉及在有限数量的标记数据上训练种子模型。通过数据选择机制采用额外的未标记语音数据以获得最佳假设输出，进一步用于重新训练种子模型。然而，单一假设可能无法很好地捕捉模型的不确定性。相对于这种技术，我们采用了辍学机制，以捕捉的不确定性，通过获得多个假设的文本转录的语音记录。我们假设自动生成的转录的话语的多样性将隐含地增加模型的可靠性。最后，数据选择过程也适用于这些假设的成绩单，以减少不确定性。在免费提供的TEDLIUM语料库和专有的Adobe内部数据集上的实验表明，与基线模型相比，所提出的方法显着减少了ASR错误。
2019-08-08 cs.LG cs.SD eess.AS
Confidence-based Ensembles of End-to-End Speech Recognition Models
NVIDIA（英伟达）；ITMO University（圣彼得堡国立信息技术机械与光学大学）
本文提出基于置信度的端到端语音识别模型集成方法，仅采用置信度最高模型的输出，并在多语言识别及基础/适配模型组合任务中验证其优势。
2023-06-27 cs.CL cs.LG eess.AS
Statistical Beamformer Exploiting Non-stationarity and Sparsity with Spatially Constrained ICA for Robust Speech Recognition
Sogang University（西江大学）
提出一种基于非平稳拉普拉斯分布和空间约束ICA的统计波束形成算法，通过结合掩模方差与松弛零点约束提升导向矢量估计，在CHiME-4和LibriCSS数据集上验证了其在批处理和在线处理下对鲁棒语音识别的有效性。
2024-01-05 cs.SD eess.AS
Confidence Score Based Speaker Adaptation of Conformer Speech Recognition Systems
Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
说话人自适应技术为个体用户定制自动语音识别（ASR）系统提供了一种强大的解决方案。基于无监督模型的说话人自适应技术在数据密集型端到端ASR系统中的实际应用受到说话人级别数据的稀缺性和对转录错误的性能敏感性的阻碍。为了解决这些问题，一组紧凑和数据高效的说话人相关（SD）参数表示，以促进说话人自适应训练和测试时间无监督说话人自适应的国家的最先进的构象ASR系统。使用基于置信度分数的扬声器级自适应数据的较少错误子集的选择来降低对监督质量的敏感度。提出了两个轻量级的置信度估计模块，以产生更可靠的置信度。的数据稀疏性问题，这是加剧了数据的选择，解决了建模的SD参数的不确定性，使用贝叶斯学习。在基准300小时Switchboard和233小时AMI数据集上的实验表明，所提出的基于置信度分数的自适应方案始终优于基线说话者独立（SI）Conformer模型和传统的非贝叶斯，基于点估计的自适应，不使用说话者数据选择。在外部Transformer和LSTM语言模型重新评分后，保持了类似的一致性能改进。特别是，在300小时Switchboard语料库中，NIST Hub5'00、RT02和RT03评价集上的基线SI Conformer分别获得了1.0%、1.3%和1.4%的绝对（9.5%、10.9%和11.3%）统计学显著WER降低。在AMI发展和评价集上也获得了相似的绝对WER降低2.7%和3.3%（…
2023-02-15 cs.SD eess.AS
Bifocal Neural ASR: Exploiting Keyword Spotting for Inference Optimization
我们提出了Bifocal RNN-T，这是一种新的递归神经网络转换器（RNN-T）架构变体，旨在改善语音识别任务的推理时间延迟。该架构为其运行时计算路径启用动态枢轴，即利用关键字定位来选择针对给定音频帧执行网络的哪个组件。为了实现这一点，我们利用了一个称为Bifocal LSTM（BFLSTM）的递归单元，我们将在本文中详细介绍。该架构与其他优化策略（如量化、稀疏化和应用时间减少层）兼容，使其特别适用于部署的实时语音识别设置。我们提出的架构和报告语音助理语音识别任务的比较实验结果。具体来说，我们提出的Bifocal RNN-T可以在匹配单词错误率的情况下将推理成本提高29.1%，而内存大小只增加了一点点。
2021-08-03 cs.SD eess.AS
Exploiting Spectral Augmentation for Code-Switched Spoken Language Identification
Swiggy (Bundl Technologies India Limited)（Swiggy（印度邦德尔科技有限公司））
需要口语识别（LID）系统来识别给定音频样本中存在的语言，并且通常可以是许多语音处理相关任务（诸如自动语音识别（ASR））中的第一步。自动识别语音信号中的语言不仅在科学上是有趣的，而且在印度这样的多语言国家中具有实际重要性。在许多印度城市，当人们相互交流时，可能会混合多达三种语言。这些可能包括该省的官方语言，印地语和英语（有时邻近省份的语言也可能在这些互动中混合）。这使得口语LID任务在印度背景下极具挑战性。虽然在印度语言的背景下已经实现了相当多的LID系统，但大多数这样的系统使用的是组织内部收集的小规模语音数据。在目前的工作中，我们对三种印度语言（古吉拉特语，泰卢固语和泰米尔语）与英语混合的代码进行口语LID。这项任务是由微软研究团队组织的，作为一个口头LID挑战。在我们的工作中，我们修改了通常的频谱增强方法，并提出了一个语言掩码，区分语言ID对，这导致了噪声鲁棒的口语LID系统。所提出的方法相对于微软提出的基线系统，在挑战中建议的两个共享任务的三种语言对上，LID准确性相对提高了约3-5%。
2020-10-14 cs.CL cs.SD eess.AS
Do We Need Distinct Representations for Every Speech Token? Unveiling and Exploiting Redundancy in Large Speech Language Models
Beike Inc.（贝壳找房）
本文研究了大型语音语言模型中是否需要每个语音令牌都使用不同表示，通过层间干预揭示了冗余层次结构，并提出Affinity Pooling方法，有效压缩表示而不损失语义信息，实验表明在三个任务中实现了27.48%的计算节省和显著的效率提升。
2026-04-08 cs.AI cs.CL
Residual Energy-Based Models for End-to-End Speech Recognition
Google（谷歌）
具有自回归解码器的端到端模型在自动语音识别（ASR）方面显示出令人印象深刻的结果。这些模型将序列级概率公式化为给定其历史的所有单个令牌的条件概率的乘积。然而，由于暴露偏差等因素，局部归一化模型的性能可能是次优的。因此，模型分布不同于底层数据分布。在本文中，基于剩余能量的模型（R-EBM）被提出来补充自回归ASR模型，以缩小这两个分布之间的差距。同时，R-EBM也可以被看作是话语级的置信度估计器，这可能有利于许多下游任务。在100小时的LibriSpeech数据集上的实验表明，R-EBM可以降低8.2%/6.7%的单词错误率，同时在测试干净/测试其他集上提高12.6%/28.4%的精确度-召回率置信度曲线下的面积。此外，在使用自监督学习（wav 2 vec 2.0）的最先进模型上，R-EBM仍然显着提高了WER和置信度估计性能。
2021-06-23 cs.CL cs.LG cs.SD
Alternative Pseudo-Labeling for Semi-Supervised Automatic Speech Recognition
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Xiaomi Corporation（小米集团）
本文提出替代伪标签框架，通过广义 CTC 损失、对比 CTC 损失和基于标注数据的自动阈值方法，在半监督语音识别中容忍并定位伪标签错误词元。
2023-08-12 cs.CL cs.SD eess.AS
Retrieving Speaker Information from Personalized Acoustic Models for Speech Recognition
Avignon Université（阿维尼翁大学）；Université de Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）
能够收集其用户的语音的功能强大的个人设备的广泛使用为构建说话者自适应语音识别系统（ASR）或参与ASR的协作学习提供了机会。在这两种情况下，可以构建个性化的声学模型（AM），即具有特定扬声器数据的微调AM。一个自然出现的问题是，个性化声学模型的传播是否会泄露个人信息。在本文中，我们表明，它是可以检索的性别的扬声器，而且他的身份，只是利用权矩阵的变化，神经声学模型本地适应这个扬声器。顺便说一句，我们观察到的现象可能有助于在语音处理的背景下解释深度神经网络。性别几乎可以肯定地确定，只有使用第一层和说话人验证时，使用中间层。我们在TED-LIUM 3数据集上使用HMM/TDNN模型进行的实验研究表明，性别检测的准确率为95%，并且通过仅利用可以交换的个性化模型而不是用户数据的权重进行说话人验证任务的相等出错率为9.07%。
2021-11-07 cs.CL cs.SD eess.AS
Lead2Gold: Towards exploiting the full potential of noisy transcriptions for speech recognition
Facebook AI Research（Facebook人工智能研究院）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林信息学及其应用研究实验室）
用于对自动语音识别（ASR）系统进行训练的翻译可能包含错误。通常，质量控制阶段丢弃具有太多错误的瞬变信号，或者噪声瞬变信号被原样使用。我们介绍了Lead2Gold，一种训练ASR系统的方法，它充分利用了噪声传输的潜力。基于转录错误的噪声模型，Lead2Gold使用考虑该噪声模型的束搜索来搜索训练数据的更好的转录。束搜索是可微分的，并且不需要强制对准步骤，因此整个系统是端到端训练的。Lead2Gold可以被视为一种新的损失函数，可以用于任何序列到序列的深度神经网络。我们进行了概念验证实验，从不同的噪声水平的字母腐败产生的噪声transmittance。我们表明，Lead2Gold获得了比竞争性基线更好的ASR准确性，该基线不考虑（人工引入的）转录噪声。
2019-10-16 cs.AI cs.CL cs.LG
Exploiting Low-dimensional Structures to Enhance DNN Based Acoustic Modeling in Speech Recognition
Idiap Research Institute（伊迪亚普研究所）；University of Fribourg（弗里堡大学）
我们建议将深度神经网络（DNN）类条件后验概率的声学空间建模为低维子空间的联合。为此，训练后验用于字典学习和稀疏编码。使用该字典的测试后验的稀疏表示使得能够投影到训练数据的空间。依赖于这样的事实，即后验子空间的内在尺寸确实是非常小的，属于一类的所有后验的矩阵具有非常低的秩，我们演示了如何低维结构，使进一步增强后验和纠正虚假的错误，由于失配条件。增强的声学建模方法导致使用混合DNN-HMM（隐马尔可夫模型）框架在干净和噪声条件下的连续语音识别任务的改进，其中实现了高达15.4%的字出错率（WER）的相对降低。
2016-01-22 cs.CL cs.LG stat.ML
Modality Confidence Aware Training for Robust End-to-End Spoken Language Understanding
Meta；TikTok（抖音国际版）
针对端到端口语语言理解系统因ASR转录错误导致文本表示质量低、性能差的问题，提出基于模态置信度融合音文表示的新型系统及两项配套技术，在STOP数据集上实现准确率提升。
2023-07-22 cs.CL cs.SD eess.AS
ESSumm: Extractive Speech Summarization from Untranscribed Meeting
University of Maryland, College Park（马里兰大学帕克分校）
在本文中，我们提出了一种新的架构，直接提取语音到语音摘要，ESSumm，这是一个无监督的模型，不依赖于中间转录文本。与以往的文本呈现方法不同，我们的目标是直接从语音生成摘要，而无需转录。首先，根据语音信号的声学特征提取一组较小的语音段。对于每个候选语音段，设计了基于距离的摘要置信度作为潜在语音表征度量。具体来说，我们利用现成的自监督卷积神经网络从原始音频中提取深度语音特征。我们的方法自动预测的最佳序列的语音片段，捕获的关键信息与目标摘要长度。两个著名的会议数据集（AMI和ICSI语料库）的广泛结果表明，我们的直接语音为基础的方法，以提高摘要质量与未转录的数据的有效性。我们还观察到，我们的无监督的语音为基础的方法，甚至执行与最近的成绩单为基础的摘要方法，其中需要额外的语音识别。
2022-09-14 cs.CL cs.SD eess.AS
On Addressing Practical Challenges for RNN-Transducer
Microsoft Speech（微软语音）
在本文中，提出了一些工作，以解决部署基于RNN传感器（RNN-T）的语音识别系统的实际挑战。这些挑战是使经过良好训练的RNN-T模型适应新的领域，而无需收集音频数据，获得单词级别的时间戳和置信度得分。第一个挑战是解决了拼接数据的方法，连接从源域数据中提取的语音段。为了获得时间戳，通过共享编码器将音素预测分支添加到RNN-T模型中，以实现强制对齐的目的。最后，我们通过利用解码过程中计算的几种类型的特征和混淆网络获得单词级的置信度得分。使用Microsoft生产数据进行评估，拼接数据自适应方法与文本转语音方法相比，基线和自适应分别提高了58.03%和15.25%的相对字错误率降低。所提出的时间戳方法可以得到小于50 ms的字的时间差从地面真值对齐平均，同时保持RNN-T模型的识别精度。我们还获得了高置信度的注释性能与有限的计算成本。
2021-07-18 cs.CL cs.SD eess.AS
Semi-Supervised Cognitive State Classification from Speech with Multi-View Pseudo-Labeling
University of Edinburgh（爱丁堡大学）；Hunan University（湖南大学）；University of Cambridge（剑桥大学）
针对认知状态分类中标注数据缺乏的问题，提出一种结合声学和语言特征的多视图伪标签半监督学习框架，仅用30%标注数据即达到与全监督学习相当的竞争力并显著优于基线。
2025-04-30 cs.AI cs.CL cs.MM
Don't Be So Sure! Boosting ASR Decoding via Confidence Relaxation
OriginAI
自动语音识别（ASR）系统经常使用基于搜索的解码策略，旨在通过考虑多个候选来找到最佳可达到的转录本。一个突出的语音识别解码启发是束搜索，其寻找具有使用预测分布计算的最大似然的转录本。虽然在各种任务中显示出实质性的性能增益，但是当预测的概率是高度可信的时，即，针对单个或非常少的类聚集预测的分布。我们表明，最近提出的基于自监督学习（SSL）的ASR模型往往会产生非常自信的预测，可能会妨碍束搜索真正考虑一组不同的候选人。我们进行了一个层分析，揭示和可视化预测如何演变，并提出了一个解码过程，提高了微调ASR模型的性能。我们提出的方法不需要在原始微调之外进行进一步的训练，也不需要额外的模型参数。事实上，我们发现，我们提出的方法需要显着减少推理计算比目前的方法。我们建议聚合顶部M层，潜在地利用中间层中编码的有用信息，并放松模型置信度。我们通过对不同数量的标记资源和不同模型大小进行实证研究来证明我们方法的有效性，特别是当应用于低资源场景时，表现出一致的改进。
2022-12-27 cs.CL cs.SD eess.AS
Leveraging Large Language Models for Exploiting ASR Uncertainty
Apple（苹果公司）
针对ASR词错率限制LLM口语理解的问题，提出向LLM输入n-best假设列表并结合提示工程与LoRA微调，有效利用ASR不确定性提升语音意图分类性能。
2023-09-12 cs.CL cs.HC cs.SD
ASR and Emotional Speech: A Word-Level Investigation of the Mutual Impact of Speech and Emotion Recognition
University of Edinburgh（爱丁堡大学）
本文通过四个ASR系统和三个情感语料库，从词级层面研究ASR与SER的相互影响，揭示情感语音对ASR性能的作用及ASR转录错误对SER的影响，以推动ASR适应情感语音和SER的实际应用。
2023-05-28 cs.CL cs.SD eess.AS
RED-ACE: Robust Error Detection for ASR using Confidence Embeddings
Google Research（谷歌研究院）
ASR错误检测（AED）模型旨在对自动语音识别（ASR）系统的输出进行后处理，以检测转录错误。现代方法通常使用基于文本的输入，仅由ASR转录假设组成，忽略来自ASR模型的其他信号。相反，我们建议利用ASR系统的字级置信度分数，以提高AED的性能。具体来说，我们将ASR置信度嵌入（ACE）层添加到AED模型的编码器中，使我们能够将置信度分数和转录文本联合编码为上下文表示。我们的实验显示了AED的ASR置信度分数的好处，它们对文本信号的互补效果，以及ACE组合这些信号的有效性和鲁棒性。为了促进进一步的研究，我们发布了一个新的AED数据集，该数据集由LibriSpeech语料库上带有注释的转录错误的ASR输出组成。
2022-10-26 cs.CL cs.SD eess.AS
Private Language Model Adaptation for Speech Recognition
Meta AI
语音模型自适应对于处理服务器端代理训练数据与用户本地设备上接收的实际数据之间的差异至关重要。通过使用联邦学习（FL），我们引入了一种在私人设备上连续适应神经网络语言模型（NNLM）的有效方法，并应用于自动语音识别（ASR）。为了解决设备上训练语料库中潜在的语音转录错误，我们进行了实证研究，比较了利用标记级置信度分数来提高FL设置中NNLM质量的各种策略。实验结果表明，与无模型自适应相比，该方法在两个语音评测数据集上分别实现了2.6%和10.8%的相对字错误率（WER）降低。我们还提供了分析，在评估我们提出的程序的隐私保证。
2022-06-15 cs.CL cs.LG cs.SD
Multi-Task Learning for End-to-End ASR Word and Utterance Confidence with Deletion Prediction
Google（谷歌）
置信度分数对于自动语音识别（ASR）系统的下游应用是非常有用的。最近的工作提出了使用神经网络来学习端到端ASR的单词或话语置信度得分。在这些研究中，单词置信度本身并不对删除进行建模，并且话语置信度并没有利用单词级训练信号。本文提出了联合学习单词置信度，单词删除和话语置信度。实证结果表明，具有所有三个目标的多任务学习提高了置信度指标（NCE，AUC，RMSE），而不需要增加置信度估计模块的模型大小。使用话语级置信度进行重新评分还可以将Google语音搜索和长尾地图数据集上的单词错误率相对降低3-5%，而无需专门的神经重新评分器。
2021-04-26 cs.CL cs.LG cs.SD
Active Learning for Speech Recognition: the Power of Gradients
Baidu Silicon Valley AI Lab（百度硅谷人工智能实验室）
在训练语音识别系统中，标记音频片段可能是昂贵的，并且并非所有数据都具有同等价值。主动学习的目标是只标记信息量最大的样本以降低成本。对于语音识别，置信度分数和其他基于似然的主动学习方法已被证明是有效的。然而，基于顺应性的主动学习方法仍然没有得到很好的理解。本文研究了端到端语音识别主动学习中的期望梯度长度（EGL）方法。我们证明EGL从方差减少的角度来看，并观察到EGL的信息量选择新的样本不相关的置信分数。实验表明，EGL可以减少字错误的11%，或者，减少样本的数量标记的50%，相比随机抽样。
2016-12-10 cs.CL cs.LG stat.ML
Exploiting Syntactic Structure for Natural Language Modeling
本论文尝试利用自然语言的句法结构来改进语音识别的语言模型。结构化语言模型融合了自动解析和语言建模技术，使用移位-归约解析器的原始概率参数化。一个最大似然重新估计过程属于类的期望最大化算法的训练模型。在《华尔街日报》、Switchboard和广播新闻语料库上的实验表明，与标准的3-gram语言模型相比，在困惑度和单词出错率方面都有改善。本论文的意义在于提出了一种新颖的语言建模方法，该方法利用自然语言的层次句法结构来改进现有的用于大词汇量语音识别的3-gram建模技术。
2000-01-24 cs.CL
Senone-aware Adversarial Multi-task Training for Unsupervised Child to Adult Speech Adaptation
Institute for Infocomm Research, A*STAR（资讯通信研究院，新加坡科技研究局）
儿童语音的声学建模是具有挑战性的，因为声道中的生理差异引起的高声学可变性。公开数据集的缺乏使这项任务更具挑战性。在这项工作中，我们提出了一种特征自适应方法，通过利用对抗性多任务训练来最大限度地减少成人和儿童语音之间senone（绑定三音素状态）水平的声学不匹配，并利用大量转录的成人语音。我们验证所提出的方法上的三个任务：儿童语音识别，儿童发音评估，和儿童流畅度分数预测。实证结果表明，我们提出的方法始终优于竞争基线，实现了7.7%的相对误差减少语音识别和高达25.2%的相对收益的评估任务。
2021-02-23 cs.AI cs.SD eess.AS
Hybridized Feature Extraction and Acoustic Modelling Approach for Dysarthric Speech Recognition
Marwadi Education Foundation’s Group of Institution（马尔瓦迪教育基金会集团机构）
构音障碍是由人类神经系统模糊引起的运动言语功能障碍。其特点是说话含糊不清，加上身体受损，限制了他们的沟通，造成缺乏信心，影响了生活方式。本文试图提高自动语音识别（ASR）系统对未受损语音信号的识别效率。介绍了通过整合构音障碍者的言语产生知识来改善构音障碍者的ASR的研究现状。为了提高整个系统的效率，提出了特征提取和声学建模技术与进化算法的混合方法。这里的特征向量的数量是不同的，并测试了系统的性能。实验结果表明，采用遗传算法可以提高系统的性能。系统采用遗传算法对16个声学特征进行优化，在训练时间为5：30：17时，识别率最高达到98.28%。
2015-06-06 cs.CL cs.SD
Learning When to Commit from Partial Speech for End-to-End Simultaneous Speech Translation
Microsoft（微软）
本研究通过前缀监督适配语音语言模型，结合置信度阈值控制，在多轮解码下显著提升同声传译的质量-延迟权衡，并降低提交校准误差。
2026-10-05 cs.CL
A Fly on the Wall -- Exploiting Acoustic Side-Channels in Differential Pressure Sensors
University of California, Irvine（加州大学欧文分校）；George Mason University（乔治梅森大学）
本研究发现差压传感器存在声学侧信道漏洞，提出可从其读数重建语音的BaroVox攻击，通过信号处理与深度学习方法实现较高识别准确率，揭示相关隐私风险并探讨防御策略。
2024-10-07 cs.SD eess.AS
Enhancing ASR Performance in the Medical Domain for Dravidian Languages
Vallurupalli Nageswara Rao Vignana Jyothi Institute of Engineering and Technology（瓦卢鲁普利·纳加斯瓦拉·拉奥维迦纳·乔蒂学院工程与技术学院）
本文提出一种结合静态感知和声学相似度及动态模型熵的混合置信度训练框架，通过整合真实和合成语音数据提升达罗毗荼语言医学领域ASR性能，实验显示在Telugu和Kannada医疗数据集上显著降低识别错误率。
2026-04-10 cs.AI cs.CL eess.AS
The importance of fillers for text representations of speech transcripts
LTCI, Telecom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI实验室）；IBM GBS France（IBM全球企业服务法国分部）
作为口语的一个重要组成部分，填充语（例如：“um”或“uh”）在口语语言理解（SLU）任务中经常被忽视。我们探讨了用深层语境化嵌入来表示它们的可能性，展示了对口语建模和两个下游任务的改进-预测说话者的立场和表达的信心。
2020-10-01 cs.CL
Lessons from Building Acoustic Models with a Million Hours of Speech
这是我们从100万小时的未标记语音中构建声学模型的经验教训的报告，而标记语音仅限于7，000小时。我们在未标记的数据上进行学生/教师培训，与基于置信模型的方法相比，这有助于扩展目标生成，而基于置信模型的方法需要解码器和置信模型。为了优化存储和并行化目标生成，我们存储来自教师模型的高值logit。引入调度学习的概念，我们交错学习未标记和标记的数据。为了在大量GPU上扩展分布式训练，我们使用64个GPU的BMUF，而使用16个GPU的梯度阈值压缩SGD仅对标记数据执行序列训练。我们的实验表明，非常大量的数据确实是有用的;几乎没有超参数调整，我们在10%到20%的范围内获得了相对的WER改进，在噪声较大的条件下获得了更高的增益。
2019-04-02 cs.LG cs.SD eess.AS
Rubric-Guided Fine-tuning of SpeechLLMs for Multi-Aspect, Multi-Rater L2 Reading-Speech Assessment
本文提出基于评分标准的语音大模型微调方法，通过多维度评分标准和不确定性校准，提升二语阅读语音评估的可靠性与可解释性。
2026-02-28 cs.AI cs.CL cs.SD
Domain Adaptation via Teacher-Student Learning for End-to-End Speech Recognition
师生（T/S）已被证明对混合语音识别系统中深度神经网络声学模型的域自适应是有效的。在这项工作中，我们通过两个层次的知识转移将T/S学习扩展到基于注意力的端到端（E2 E）模型的大规模无监督域自适应：教师的令牌后验作为软标签和最佳预测作为解码器指导。为了在地面真实标签的帮助下进一步改进T/S学习，我们提出了自适应T/S（AT/S）学习。在AT/S中，学生不是有条件地从教师的软令牌后验或独热地面实况标签中进行选择，而是始终从教师和地面实况两者中学习，并将一对自适应权重分配给软标签和独热标签，以量化每个知识源的置信度。在每个解码器步骤处，根据软标签和独热标签来动态地估计置信度分数。使用3400小时并行的近距离通话和远场Microsoft Cortana数据进行域适应，T/S和AT/S比使用相同量的远场数据训练的强大E2 E模型实现了6.3%和10.3%的相对单词错误率改进。
2020-01-06 cs.CL cs.LG cs.NE
Advancing Test-Time Adaptation in Wild Acoustic Test Settings
National University of Singapore（新加坡国立大学）
针对野外声学测试场景下ASR微调声学基础模型性能下降、现有视觉TTA方法不适配语音特性的问题，提出置信度增强自适应方法，结合帧级置信度权重与一致性正则化，在多类场景下性能优于现有基线。
2024-10-05 cs.LG cs.SD eess.AS
TR01: Time-continuous Sparse Imputation
Radboud University Nijmegen（拉德堡德大学（奈梅亨））
提高自动语音识别抗噪声能力的一种有效方法是在解码之前将含噪语音特征标记为可靠或不可靠（缺失），并用干净的语音估计来替换缺失的特征。我们提出了一种新的方法来获得这样干净的语音估计。与以前的基于逐帧工作的估算框架不同，我们的方法侧重于从大的时间背景中利用信息。使用滑动窗口的方法，去噪的语音表示使用稀疏表示的可靠的功能在一个过完整的基础上的固定长度的样本片段。我们证明了我们的方法的潜力与实验上的AURORA-2连接数字数据库。
2009-01-16 cs.SD
Detecting Adversarial Attacks On Audiovisual Speech Recognition
Imperial College London（帝国理工学院）
对抗攻击对深度学习模型构成了威胁。然而，针对对抗性检测方法的研究，尤其是在多模态领域的研究非常有限。在这项工作中，我们提出了一个有效的和简单的检测方法的基础上的音频和视频流之间的时间相关性。其主要思想是，由于增加了对抗性噪声，对抗性示例中音频和视频之间的相关性将低于良性示例。我们使用同步置信度分数作为视听相关性的代理，并基于它，我们可以检测对抗攻击。据我们所知，这是第一个关于检测对视听语音识别模型的对抗攻击的工作。我们将最近的对抗攻击应用于在GRID和LRW数据集上训练的两个视听语音识别模型。实验结果表明，该方法是检测此类攻击的有效方法。
2021-02-12 cs.CV cs.SD eess.AS
Multitask Learning and Joint Optimization for Transformer-RNN-Transducer Speech Recognition
AI R&D Team, Kakao Enterprise（Kakao企业 AI 研发团队）
近年来，出现了几种端到端的语音识别方法，称为transformer-transducer。根据这些类型的方法，转录网络通常由基于变换器的神经网络建模，而预测网络可以由Transformers或递归神经网络（RNN）建模。本文探讨了变压器-RNN-传感器系统的多任务学习、联合优化和联合解码方法。我们提出的方法的主要优点在于，该模型可以维护大型文本语料库的信息。我们证明了他们的有效性进行实验，利用著名的ESPNET工具包广泛使用的Librispeech数据集。我们还表明，所提出的方法可以减少字出错率（WER）的16.6%和13.3%，分别为测试干净和测试其他数据集，而不改变整体模型结构，也不利用外部LM。
2020-11-02 cs.LG cs.SD eess.AS
