Continual Speech Learning with Fused Speech Features
Southeast University(东南大学);Monash University(墨尔本大学)
针对语音数据快速增长带来的模型适应问题,本文提出持续语音学习设定,在Whisper编码器上引入可学习门控融合层动态选择任务特征,在六项语音任务中显著提升准确率,实现无需完全重训练即可适应新任务。
2025-06-03 cs.CL cs.SD eess.AS
Rethinking Continual Learning for Speech and Audio: A Representation-Centric Taxonomy and Open Problems
University of Melbourne, Melbourne, Australia(墨尔本大学)
本文从表征中心视角重新审视语音持续学习,提出基于表征几何演化的新分类法,并指出现有假设与语音基础模型行为的关键不匹配,最后概述开放挑战与未来方向。
2026-05-29 cs.SD eess.AS
Less Forgetting for Better Generalization: Exploring Continual-learning Fine-tuning Methods for Speech Self-supervised Representations
Télécom Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信学院);Samsung AI Research(三星人工智能研究院)
本文针对语音自监督模型微调中预训练鲁棒性受损的问题,提出在微调时引入持续学习方法以减少对自监督任务的遗忘,并在英语和丹麦语语音识别任务上验证了该方法可显著提升域内外泛化能力。
2024-06-30 cs.SD eess.AS
Weight Factorization and Centralization for Continual Learning in Speech Recognition
Interactive Systems Lab(交互系统实验室)
针对语音识别模型持续学习中的灾难性遗忘问题,提出分解与集中化两阶段方法,通过低秩适配器累积知识,实验证明其有效防止遗忘。
2025-06-19 cs.CL cs.SD eess.AS
FedSpeech: Federated Text-to-Speech with Continual Learning
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
提出基于持续学习的联邦文本到语音合成架构FedSpeech,通过渐进剪枝掩码、选择性掩码和私有说话人嵌入解决少样本与隐私挑战,在多说话人质量和相似度上表现优异。
2023-05-22 cs.SD eess.AS
Freeze and Learn: Continual Learning with Selective Freezing for Speech Deepfake Detection
Politecnico di Milano(米兰理工大学);Bosch Research(博世研究中心)
本文研究语音深度伪造检测中的持续学习问题,发现仅更新模型负责处理输入特征的初始层权重并冻结其他层,是在多个模型中最有效的持续学习方法。
2024-09-26 cs.SD eess.AS
Double Mixture: Towards Continual Event Detection from Speech
Southeast University(东南大学);Monash University(莫纳什大学)
本文提出语音持续事件检测任务及两个基准数据集,并通过融合语音专长与记忆机制的 Double Mixture 方法,降低遗忘率并提升跨序列泛化能力。
2024-10-28 cs.CL cs.MM cs.SD
Does Financial Speech Need Continual Learning Regularization? A Study of EWC and mini-KFAC on Earnings Call ASR
Columbia University(哥伦比亚大学);Recognition Technologies, Inc.(识别技术有限公司)
该研究针对财报电话会议ASR场景,发现任务互补性使持续学习正则化适得其反,需正则化时mini-KFAC EWC比对角EWC性能更优。
2026-10-12 cs.CL cs.LG eess.AS
Continual Speaker Adaptation for Text-to-Speech Synthesis
University of St.Gallen(圣加仑大学)
从头开始训练多说话者文本到语音(TTS)模型在计算上是昂贵的,并且向数据集添加新的说话者需要重新训练模型。对于新的扬声器,对模型进行顺序微调的天真解决方案可能导致旧扬声器的性能不佳。这种现象被称为灾难性遗忘。在本文中,我们从持续学习的角度来看待TTS建模,其目标是在不忘记先前发言者的情况下添加新的发言者。因此,我们首先提出了一个实验设置,并表明,串行微调新的扬声器可能会导致忘记较早的扬声器。然后,我们利用两个著名的技术持续学习,即经验重放和权重正则化。我们揭示了如何可以减轻退化的影响,在语音合成多样性的顺序训练的新的扬声器使用这些方法。最后,我们提出了一个简单的扩展来体验重播,以改善我们可以访问非常小的缓冲区的极端设置中的结果。
2022-03-31 cs.CL cs.LG cs.SD
Continual Adaptation for Pacific Indigenous Speech Recognition
The University of Melbourne(墨尔本大学);UNSW Sydney(新南威尔士大学悉尼分校)
针对太平洋土著语言数据稀缺和灾难性遗忘问题,研究语音基础模型的适应策略,发现LoRA在顺序学习中会灾难性遗忘,需定制鲁棒适应方法。
2026-06-18 cs.CL cs.SD eess.AS
Continual learning using lattice-free MMI for speech recognition
Behavox(Behavox公司)
连续学习(CL)或域扩展,最近成为自动语音识别(ASR)声学建模的热门话题,因为实际系统必须频繁更新,以便在初始训练期间未观察到的语音类型上稳健地工作。虽然顺序自适应允许将系统调整到新的域,但由于灾难性的遗忘,它可能导致旧域的性能下降。在这项工作中,我们探索基于正则化的CL神经网络声学模型训练的无格最大互信息(LF-MMI)标准。我们通过在不同的公共数据集(包括几种口音和说话风格)上逐步适应声学模型来模拟域扩展。我们研究了两种著名的CL技术,弹性权重合并(EWC)和无遗忘学习(LWF),其目的是通过保留模型权重或网络输出来减少遗忘。我们还引入了序列级LWF正则化,它利用LF-MMI分母图的后验来进一步减少遗忘。实验结果表明,所提出的序列级LWF可以提高最好的平均字错误率在所有领域的9.4%,相对于使用常规LWF。
2021-10-13 cs.CL eess.AS
Continual Learning for Monolingual End-to-End Automatic Speech Recognition
KU Leuven(鲁汶大学)
本文提出了一种连续学习方法,用于在不存储历史数据的情况下提升单语端到端ASR模型在多个新任务上的性能。
2023-03-09 cs.CL cs.LG eess.AS
Rehearsal-Free Online Continual Learning for Automatic Speech Recognition
KU Leuven Department Electrical Engineering ESAT-PSI, Leuven, Belgium(鲁文大学电气工程系ESAT-PSI部门,比利时鲁文)
本文提出了一种无需复述的在线连续学习方法,用于改进自动语音识别模型在新领域学习时对原始领域的性能
2023-06-19 cs.SD eess.AS
CGaLore: Curvature-Guided GaLore for Memory-Efficient Continual Adaptation of ASR Foundation Models
KU Leuven(荷语鲁汶大学)
针对ASR基础模型适应中的灾难性遗忘问题,提出曲率引导的GaLore(CGaLore),利用旧任务曲率信息选择低秩投影基,实现内存高效且缓解遗忘的持续适应,优于现有基线。
2026-09-21 eess.AS
On using the UA-Speech and TORGO databases to validate automatic dysarthric speech classification approaches
虽然UA-语音和TORGO数据库的控制和构音障碍的语音是宝贵的资源提供给研究界的目标是开发强大的自动语音识别系统,他们也被用来验证相当数量的自动构音障碍语音分类方法。这种方法通常依赖于基本假设,即来自控制和构音障碍扬声器的录音是使用相同的录音设置在相同的无噪声环境中收集的。在本文中,我们表明,这一假设是违反了UA语音和TORGO数据库。使用语音活动检测提取语音和非语音段,我们表明,大多数国家的最先进的构音障碍分类方法实现相同或更好的性能时,使用这些数据库的非语音段比使用语音段。这些结果表明,在UA-语音和TORGO数据库上训练和验证的这种方法可能是记录环境或设置的学习特征,而不是构音障碍的语音特征。我们希望这些结果能提高研究界在开发和评估构音障碍自动分类方法时对录音质量重要性的认识。
2022-11-16 eess.AS
Speech Encoder Fusion for LLM-based Automatic Speech Recognition
KU Leuven(鲁汶大学)
研究融合多个预训练语音编码器以增强基于LLM的ASR性能,提出多种融合策略并在多场景下验证其有效性。
2026-06-09 eess.AS
Continual self-training with bootstrapped remixing for speech enhancement
Meta Reality Labs Research(Meta现实实验室)
我们提出了RemixIT,一种简单而新颖的语音增强自监督训练方法。所提出的方法是基于一个连续的自我训练计划,克服了以前的研究,包括假设的域内噪声分布和获得干净的目标信号的限制。具体而言,分离教师模型在域外数据集上进行预训练,并用于推断一批域内混合物的估计目标信号。接下来,我们通过使用置换估计的清洁和噪声信号生成人工混合物来引导混合过程。最后,学生模型使用排列的估计源作为目标进行训练,同时我们使用最新的学生模型定期更新教师的权重。我们的实验表明,在多个语音增强任务下,RemixIT的性能优于以前几种最先进的自监督方法。此外,RemixIT为语音增强任务的半监督和无监督领域自适应提供了一种无缝的替代方案,同时足够通用,可以应用于任何分离任务并与任何分离模型配对。
2022-01-30 cs.LG cs.SD eess.AS
Continual Learning for On-Device Speech Recognition using Disentangled Conformers
Meta Inc.(Meta公司)
本文提出解耦 Conformer 模型与 DisentangledCL 持续学习算法,通过冻结核心网络和可调增强网络实现计算高效的说话人特定端侧语音识别自适应,并在通用和个性化 ASR 任务上显著优于基线。
2022-12-13 cs.CL cs.LG cs.SD
Disentangled-Transformer: An Explainable End-to-End Automatic Speech Recognition Model with Speech Content-Context Separation
针对端到端Transformer ASR系统表示纠缠、可解释性差的问题,提出Disentangled-Transformer,基于不同时间分辨率解纠缠内容与说话人特征子嵌入,在提升ASR性能的同时实现说话人身份与内容分离,增强可解释性。
2024-11-26 eess.AS
Replay to Remember: Continual Layer-Specific Fine-tuning for German Speech Recognition
University of Hamburg(汉堡大学)
本文针对大规模ASR模型微调新领域时原始领域性能下降的问题,利用SVC-de数据集,通过层级特定微调和Experience Replay持续学习,在新领域达到低于5%的WER并稳定通用识别性能。
2023-10-18 cs.CL cs.SD eess.AS
Improving Hypernasality Estimation with Automatic Speech Recognition in Cleft Palate Speech
鼻音过重是人类语音产生中的一种异常共鸣,尤其是在颅面畸形(如腭裂)患者中。在临床应用中,高鼻音估计在腭裂诊断中至关重要,因为其结果决定了后续手术和额外的语音治疗。因此,设计一个自动化的鼻音评估方法将有助于语音语言病理学家做出准确的诊断。现有的鼻音估计方法仅通过使用基于统计或神经网络的特征,基于低资源腭裂数据集进行声学分析。在本文中,我们提出了一种新的方法,使用自动语音识别模型,以改善hypnasality估计。具体来说,我们首先通过使用语音到文本数据集在自动语音识别(ASR)目标中预训练编码器-解码器框架,然后在腭裂数据集上微调ASR编码器以进行鼻音估计。得益于这样的设计,我们的模型可以享受ASR模型的优点:1)与低资源腭裂数据集相比,ASR任务通常包括大规模的语音数据,这使得模型具有更好的泛化能力; 2)ASR数据集中的文本注释引导模型提取更好的声学特征。在两个腭裂数据集上的实验结果表明,与以前的方法相比,我们的方法具有更好的性能。
2022-08-10 eess.AS
Overview of Automatic Speech Analysis and Technologies for Neurodegenerative Disorders: Diagnosis and Assistive Applications
本文综述了神经退行性疾病语音分析的最新技术,涵盖检测、识别、增强与评估,并展望了多模态及大语言模型的未来方向。
2025-08-06 eess.AS
Too Good to Be True: A Study on Modern Automatic Speech Recognition for the Evaluation of Speech Enhancement
University of Hamburg(汉堡大学)
本文研究现代ASR模型与人类语音增强识别的关联,发现大规模噪声训练和嵌入语言模型的ASR模型更符合人类WER,但其噪声鲁棒性和上下文使用对声学评估不具信息性。
2026-05-12 eess.AS
Citrinet: Closing the Gap between Non-Autoregressive and Autoregressive End-to-End Models for Automatic Speech Recognition
我们提出了Citrinet -一个新的端到端的卷积连接时间分类(CTC)的自动语音识别(ASR)模型。Citrinet是一种深度残差神经模型,它使用1D时间通道可分离卷积,结合子字编码和挤压和激励。由此产生的架构显着减少了非自回归和序列到序列和换能器模型之间的差距。我们在LibriSpeech,TED-LIUM 2,AISHELL-1和多语言LibriSpeech(MLS)英语语音数据集上评估Citrinet。Citrinet在这些数据集上的准确性接近最好的自回归传感器模型。
2021-04-05 eess.AS
Non-intrusive speech intelligibility prediction using automatic speech recognition derived measures
语音可懂度的估计是一个远未解决的问题。特别是一个方面是有问题的:大多数标准模型需要一个干净的参考信号,以估计可懂度。这是一个具有一定意义的问题,因为在实践中通常无法获得参考信号。因此,在这项工作中,提出了一种非侵入式的语音清晰度估计框架。在其中,人类听众在关键词识别任务中的表现是使用可懂度测量来预测的,这些测量是从为自动语音识别(ASR)训练的模型中得出的。一个这样的基于ASR和一个基于信号的措施被组合成一个完整的框架,建议无参考可懂度(Nori)估计,这是在预测性能的正常听力和听力受损的听众在多种噪声条件下进行评估。它示出的Nori框架,甚至优于广泛使用的基于参考(或侵入)的短期客观可懂度(STOI)的措施,在大多数情况下考虑的情况下,同时适用于完全盲目的情况下,没有参考信号或转录,创建在线和个性化优化的语音增强系统的前景。
2021-10-28 eess.AS
QuartzNet: Deep Automatic Speech Recognition with 1D Time-Channel Separable Convolutions
提出了一种新的用于自动语音识别的端到端神经声学模型。该模型由多个块组成,它们之间具有剩余连接。每个块由一个或多个模块组成,这些模块具有1D时间通道可分离的卷积层、批量归一化和ReLU层。它是用CTC损失训练的。该网络在LibriSpeech和华尔街日报上实现了接近最先进的准确性,同时比所有竞争模型具有更少的参数。我们还证明了该模型可以在新的数据集上进行有效的微调。
2019-10-22 eess.AS
RemixIT: Continual self-training of speech enhancement models via bootstrapped remixing
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Meta Reality Labs Research(Meta现实实验室);Meta AI Research(Meta人工智能研究院)
我们提出了RemixIT,一种简单而有效的自监督方法,用于训练语音增强,而不需要单个孤立的域内语音,也不需要噪声波形。我们的方法克服了以前的方法,使他们依赖于干净的域内目标信号的局限性,因此,敏感的训练和测试样本之间的任何域失配。RemixIT是基于一个连续的自训练方案,其中一个预先训练的教师模型的域外数据推断估计的伪目标信号的域混合。然后,通过置换估计的清洁和噪声信号,并将它们重新混合在一起,我们产生一组新的自举混合物和相应的伪目标,用于训练学生网络。反之亦然,教师使用最新学生模型的更新参数定期改进其估计。在多个语音增强数据集和任务上的实验结果不仅表明了该方法优于现有方法,而且还表明RemixIT可以与任何分离模型相结合,并适用于任何半监督和无监督的领域自适应任务。我们的分析,结合经验证据,揭示了我们的自我训练计划的内部运作,其中学生模型在观察严重退化的伪目标的同时,不断获得更好的性能。
2022-08-03 cs.LG cs.SD eess.AS
Improving Noise Robustness of an End-to-End Neural Model for Automatic Speech Recognition
我们提出了我们的实验训练鲁棒噪声的端到端的自动语音识别(ASR)模型,使用密集的数据增强。我们探索了微调预训练模型以提高噪声鲁棒性的有效性,我们发现这是一种非常有效的训练各种噪声条件的方法,特别是当模型将被使用的条件未知时。从一个在干净数据上训练的模型开始,有助于建立干净语音的基线性能。我们仔细地微调了这个模型,以保持在干净语音上的性能,并提高在嘈杂条件下的模型准确性。利用这个模式,我们在大型公共语料库上训练了对噪声具有鲁棒性的英语和普通话ASR模型。所有描述的模型和训练方法都在NeMo中开源,NeMo是一个对话式AI工具包。
2020-10-23 eess.AS
Hybrid Continual Learning for Low-Resource Australian Aboriginal Language Identification
University of New South Wales(新南威尔士大学);University of Melbourne(墨尔本大学);Massachusetts Institute of Technology(麻省理工学院)
针对低资源澳大利亚原住民语言识别中数据稀缺和灾难性遗忘问题,提出重放增强弹性权重巩固和约束引导知识蒸馏两种混合持续学习方法,实验表明其优于微调及现有基线,能提升对多种AAL的适应性并保持对高资源语言的性能。
2026-07-15 cs.CL eess.AS
Lamer-SSL: Layer-aware Mixture of LoRA Experts for Continual Multilingual Expansion of Self-supervised Models without Forgetting
The Chinese University of Hong Kong(香港中文大学)
Lamer-SSL通过层意识的LoRA专家混合与重放策略,实现持续多语言自监督模型扩展,保持性能并减少遗忘。
2026-02-13 cs.CL eess.AS
Continual Learning for End-to-End ASR by Averaging Domain Experts
JP Morgan Chase & Co.(摩根大通公司)
提出一种通过线性插值多个领域专家模型参数的持续学习策略,在端到端ASR中仅需单一模型即可避免灾难性遗忘,并在所有测试数据上保持良好性能。
2023-05-12 cs.SD eess.AS
Automatic and perceptual discrimination between dysarthria, apraxia of speech, and neurotypical speech
Idiap Research Institute(伊迪亚普研究所);Geneva University Hospital(日内瓦大学医院);University of Geneva(日内瓦大学)
在运动性言语障碍(MSD)的背景下,自动技术通常是两类技术,旨在区分构音障碍和神经型言语或构音障碍和言语失用症(AoS)。此外,尽管提出了这样的技术来支持临床医生的感知评估,但从未比较过自动分类准确度和感知分类准确度。在本文中,我们研究了一个三级自动技术和一组手工制作的功能,用于区分构音障碍,AOS和神经型语音。针对多类分类问题,本文提出了一种层次化的方法,而不是采用通常使用的一对一或一对其余的方法。此外,进行知觉研究,其中要求言语和语言病理学家听构音障碍、AoS和神经典型言语的录音,并决定录音属于哪一类。建议的自动技术进行评估相同的录音和自动和感知分类性能进行了比较。所呈现的结果表明,分层分类方法产生了更高的分类精度比基线一对一和一对休息的方法。此外,所呈现的结果表明,自动方法产生了更高的分类精度比语音和语言病理学家的感知评估,展示了在临床实践中集成自动工具的潜在优势。
2021-06-02 cs.SD eess.AS
The RoyalFlush Automatic Speech Diarization and Recognition System for In-Car Multi-Channel Automatic Speech Recognition Challenge
Hithink RoyalFlush AI Research Institute(日立金科AI研究院)
本文提出 RoyalFlush 车载多通道 ASR 挑战赛系统,结合端到端说话人日志分离与自监督表示的 ASR 模型,显著降低 DER,并在两条赛道取得优异 CER 与 cpCER。
2024-05-09 cs.SD eess.AS
Augmenting Polish Automatic Speech Recognition System With Synthetic Data
Samsung R&D Institute Poland(三星波兰研发研究院);Samsung AI Center Warsaw(三星华沙人工智能中心)
针对Poleval 2024波兰语自动语音识别挑战赛,研究提出基于Voicebox的语音合成流水线,用合成数据增强Conformer和Whisper模型,证实该方法可显著提升识别效果并给出竞赛最终成绩。
2024-10-30 cs.SD eess.AS
A Comparison of Online Automatic Speech Recognition Systems and the Nonverbal Responses to Unintelligible Speech
University of Sydney(悉尼大学);University of California, Davis(加州大学戴维斯分校);University of New South Wales(新南威尔士大学);Imperial College London(帝国理工学院)
自动语音识别(ASR)系统近年来已经激增到诸如YouTube之类的免费平台现在提供语音识别服务的程度。鉴于ASR系统的广泛选择,我们通过比较两组手动转录和五组自动转录(Google Cloud,IBM Watson,Microsoft Azure,Trint和YouTube)的相对性能,为自动语音识别领域做出贡献,以帮助研究人员选择准确的转录服务。此外,我们确定了非语言行为与难以理解的语音,如高字出错率。我们表明,手动transmittance仍然优于目前的自动transmittance。在自动转录服务中,YouTube提供最准确的转录服务。对于非言语行为的参与,我们提供的证据表明,从听者微笑强度的变化是高(低)时,扬声器是清晰的(难以理解)。这些发现来自学生医生和模拟患者之间的视频会议互动;因此,我们对ASR文献和医疗保健沟通技能教学社区做出了贡献。
2019-04-29 cs.SD eess.AS
From Speech-to-Speech Translation to Automatic Dubbing
Amazon(亚马逊)
我们提出了增强语音到语音翻译管道,以执行自动配音。我们的架构具有神经机器翻译生成首选长度的输出,翻译与原始语音片段的韵律对齐,神经文本到语音与每个话语的持续时间的微调,最后,音频渲染以丰富文本到语音输出与从原始音频中提取的背景噪声和混响。我们报告的自动配音的摘录TED演讲从英语到意大利语,这措施的自动配音的感知自然度和每个建议的增强的相对重要性的主观评价。
2020-02-02 cs.CL cs.SD eess.AS
Unsupervised Uncertainty Measures of Automatic Speech Recognition for Non-intrusive Speech Intelligibility Prediction
University of Sheffield(谢菲尔德大学)
非侵入式可懂度预测对于其在难以获得干净参考信号的现实场景中的应用是重要的。许多非侵入式预测器的构建需要地面真实可理解性标签或用于监督学习的干净参考信号。在这项工作中,我们利用一个无监督的不确定性估计方法来预测语音清晰度,它不需要清晰度标签或参考信号来训练预测器。我们的实验表明,国家的最先进的端到端的自动语音识别(ASR)模型的不确定性是高度相关的语音清晰度。该方法在两个数据库上进行了评估,结果表明,ASR模型的无监督不确定性措施与听力结果的语音可懂度比广泛使用的侵入性方法的预测更相关。
2022-07-06 cs.SD eess.AS
Leveraging Self-Supervised Models for Automatic Whispered Speech Recognition
University of Zurich(苏黎世大学);University of Isfahan(伊斯法罕大学)
针对耳语语音声学特性特殊、训练数据稀缺导致识别效果差的问题,提出用预训练WavLM模型结合多数据集微调的爱尔兰方言耳语语音识别方法,性能显著优于Whisper基线。
2024-11-03 cs.SD eess.AS
SpeechBERTScore: Reference-Aware Automatic Evaluation of Speech Generation Leveraging NLP Evaluation Metrics
The University of Tokyo(东京大学);Carnegie Mellon University(卡内基梅隆大学);Keio University(庆应义塾大学)
本文借鉴自然语言处理评估指标,提出SpeechBERTScore、SpeechBLEU和SpeechTokenDistance三种参考感知的语音生成自动评估方法,实验表明其与人类主观评分的相关性优于现有客观指标,并具备噪声鲁棒性和跨语言适用性。
2024-09-01 cs.SD eess.AS
Time-Domain Speech Enhancement for Robust Automatic Speech Recognition
The Ohio State University(俄亥俄州立大学)
本文提出基于ARN时间域增强模型,将语音增强与仅在干净语音上训练的声学模型解耦,在CHiME-2上实现6.28%词错误率,相对提升19.3%。
2023-06-21 cs.SD eess.AS
End-to-End Neural Systems for Automatic Children Speech Recognition: An Empirical Study
University of Southern California(南加州大学)
包容性和可访问的语音识别技术的一个关键需求是确保其对儿童语音的鲁棒性能。值得注意的是,这包括快速发展的基于神经网络的端到端语音识别系统。与成人语音相比,儿童语音识别由于在声学和语言特征方面的更大的说话者内-间可变性而更具挑战性。此外,缺乏足够和适当的儿童语音资源增加了设计鲁棒的端到端神经架构的挑战。本研究通过对当代最先进的端到端语音识别系统的实证研究,对儿童自动语音识别进行了严格的评估。洞察方面的训练数据的要求,适应儿童数据,儿童年龄的影响,话语长度,不同的架构和损失函数的端到端系统和语言模型的作用上的语音识别性能。
2021-02-19 cs.SD eess.AS
Data Augmentation with Locally-time Reversed Speech for Automatic Speech Recognition
The Chinese University of Hong Kong(香港中文大学)
心理声学研究表明,局部时间反转(LTR)语音,即,在短段内时间反转的信号样本可以被人类收听者准确地识别。本研究解决了最先进的自动语音识别(ASR)系统对LTR语音的性能如何的问题。其基本目标是探索在端到端(E2 E)ASR模型的训练中部署LTR语音的可行性,作为提高识别性能的数据增强的尝试。本研究从实验开始,以了解LTR语音对通用ASR的影响。呈现并评估具有5 ms - 50 ms的反转段持续时间的LTR语音。对于使用LTR语音的ASR训练数据增强,通过将自然语音与LTR语音的不同分区组合来创建训练集。在不同语言和说话风格的语音语料库上的ASR结果证实了数据增强的有效性。研究发现,在15 ms - 30 ms的反向段长的LTR语音上的ASR比在其他段长的LTR语音上的ASR具有更低的错误率。使用这些LTR语音的数据增强实现了对ASR性能的满意和一致的改善。
2021-10-09 cs.SD eess.AS
Prominence-aware automatic speech recognition for conversational speech
Signal Processing and Speech Communication Laboratory(信号处理与语音通信实验室);Speech Communication Laboratory(语音通信实验室)
本文提出一种结合突显检测的突显感知自动语音识别方法,通过微调wav2vec2模型标注语料并训练新型ASR系统,在不影响识别性能的前提下实现了85.53%的突显检测准确率。
2025-09-12 cs.CL eess.AS
Automatic Speech Verification Spoofing Detection
Carnegie Mellon University(卡内基梅隆大学)
自动语音验证(ASV)是一种基于语音来确定人的身份的技术。在方便身份验证的同时,我们应该以最高的系统安全标准为目标,因为这是有价值的数字资产的保障。考虑到这一点,我们遵循ASVSpoof 2019竞赛的设置,以制定强大而有效的潜在对策。两个指标,EER和t-DCF,将用于系统评估。
2020-12-15 cs.LG eess.AS
Cloud-based Automatic Speech Recognition Systems for Southeast Asian Languages
Institute for Infocomm Research(资讯通信研究院)
本文全面介绍了我们的东南亚语言自动语音识别(ASR)系统。由于没有太多的现有工作已经进行了这样的区域语言,一些困难应该得到解决之前,建立系统:语音和文本资源的限制,缺乏语言知识,等这项工作以印度尼西亚语和泰国为例,说明收集所需的各种资源建设ASR系统的策略。
2022-10-07 cs.CL eess.AS
Impact of Speech Mode in Automatic Pathological Speech Detection
Idiap Research Institute(Idiap研究所)
本文比较经典机器学习与深度学习在受控言语和自发言语上的病理性言语检测效果,发现深度学习更能捕捉自发言语中的判别线索。
2024-06-14 cs.LG cs.SD eess.AS
The Airbus Air Traffic Control speech recognition 2018 challenge: towards ATC automatic transcription and call sign detection
Airbus(空中客车公司)
在本文中,我们描述了空客及其合作伙伴在2018年组织和运行的挑战赛的结果。该挑战包括两个应用于空中交通管制(ATC)英语语音的任务:1)自动语音到文本转录,2)呼号检测(CSD)。注册的参与者被提供了40小时的演讲以及手动翻译。22个团队提交了对5小时评估集的预测。ATC语音处理具有挑战性的原因有几个:高语音速率,口音差异很大的外国口音语音,嘈杂的通信信道。排名最好的团队获得了7.62%的单词出错率和82.41%的CSD F1分数。研究发现,转录飞行员的语音比转录管制员的语音要困难两倍。还讨论了解决ATC ASR的剩余问题。
2020-03-10 cs.SD eess.AS
Automatic Screening for Children with Speech Disorder using Automatic Speech Recognition: Opportunities and Challenges
University at Buffalo(布法罗大学);Nichols School(尼科尔斯学校);Thomas Jefferson High School for Science & Technology(托马斯·杰斐逊科技高中);Langley High School(兰利高中)
本文综述了基于自动语音识别(ASR)技术自动化儿童言语语言评估(SLA)流程的现有方法,探讨了AI驱动方案的技术可行性、实际部署挑战及隐私问题。
2024-10-07 cs.CL eess.AS q-bio.QM
Sentiment-Aware Automatic Speech Recognition pre-training for enhanced Speech Emotion Recognition
Amazon(亚马逊公司)
提出了一种新的语音情感识别多任务预训练方法。我们在自动语音识别(ASR)和情感分类任务上同时预训练SER模型,以使声学ASR模型更具"情感意识“。我们使用在公开数据上训练的文本到情感模型来生成情感分类的目标。最后,我们对情感注释语音数据的声学ASR进行微调。我们在MSP播客数据集上评估了所提出的方法,在那里我们实现了最好的一致性相关系数(CCC)为0.41的效价预测。
2022-01-27 cs.CL cs.SD eess.AS
PhoWhisper: Automatic Speech Recognition for Vietnamese
VinAI Research(VinAI研究院)
本文提出五个版本的PhoWhisper,通过在844小时多口音越南语数据上微调Whisper,在越南语ASR基准上取得最先进性能并开源。
2024-03-27 cs.CL eess.AS
AutoPrep: An Automatic Preprocessing Framework for In-the-Wild Speech Data
Tencent AI Lab(腾讯人工智能实验室);Shenzhen Research Institute of Big data(深圳大数据研究院)
本文提出AutoPrep自动预处理框架,通过语音增强、切分、说话人聚类、目标语音提取、质量过滤和自动语音识别六个组件处理自然场景语音数据,实验表明其预处理数据质量接近开源TTS数据集,并支持TTS系统达到0.68的域内说话人相似度。
2023-09-25 cs.SD eess.AS
Streaming Decoder-Only Automatic Speech Recognition with Discrete Speech Units: A Pilot Study
Northwestern Polytechnical University(西北工业大学);Du Xiaoman Financial(度小满金融)
本文提出一种基于离散语音单元和专用边界token的流式仅解码器ASR模型,通过因果注意力掩码、右块注意力及数据增强,在AISHELL数据集上取得与非流式方法相当的性能。
2024-06-27 cs.SD eess.AS
VisualTTS: TTS with Accurate Lip-Speech Synchronization for Automatic Voice Over
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
在本文中,我们制定了一个新的任务,合成语音同步与无声的预先录制的视频,表示为自动配音(AVO)。与传统的语音合成不同,AVO不仅要生成听起来像人的语音,而且要实现完美的唇语同步。AVO的一个自然解决方案是将语音渲染的条件设定在视频中嘴唇序列的时间进展上。我们提出了一种新的文本到语音的模型,条件是视觉输入,命名为VisualTTS,准确的唇语同步。该算法采用了两种新颖的机制:1)文本-视觉注意机制和2)声学解码过程中的视觉融合策略,这两种机制都有助于在输入文本内容和输入嘴唇序列中的嘴唇运动之间形成准确的对齐。实验结果表明,VisualTTS实现了准确的唇语同步,并优于所有基线系统。
2022-03-02 cs.CL eess.AS
Training Data Augmentation for Dysarthric Automatic Speech Recognition by Text-to-Dysarthric-Speech Synthesis
The University of Sheffield(谢菲尔德大学)
针对构音障碍语音数据稀缺问题,本文提出用基于扩散的多说话人TTDS合成生成类构音障碍语音,并微调Whisper等ASR基础模型,显著提升合成指标与DASR识别性能。
2024-06-12 cs.SD eess.AS