Leveraging LLM and Self-Supervised Training Models for Speech Recognition in Chinese Dialects: A Comparative Analysis
Institute of Artificial Intelligence (TeleAI)(人工智能研究所(TeleAI))
针对汉语方言ASR数据稀缺的问题,采用Data2vec2自监督预训练结合LLM的范式,经大规模数据训练后在多方言数据集取得SOTA结果,将开源以推动研究。
2025-06-16 cs.CL cs.SD eess.AS
Speech Discrete Tokens or Continuous Features? A Comparative Analysis for Spoken Language Understanding in SpeechLLMs
The Chinese University of Hong Kong(香港中文大学)
针对SpeechLLMs中语音处理的离散tokens与连续特征两种主流方法,通过在相同实验设置下对比基于SSL的两者性能,结合不同规模LLM在多任务上的评估,发现连续特征总体更优,为相关研究提供参考。
2025-08-25 cs.CL cs.SD
Transformer in action: a comparative study of transformer-based acoustic models for large scale speech recognition applications
Facebook AI(Facebook人工智能研究院)
本文综述了Transformer及其可流化的变体--基于Emformer的声学模型在大规模语音识别中的应用。我们将基于Transformer的声学模型与工业规模任务的LSTM模型进行了比较。具体来说,我们将Emformer与延迟控制的BLSTM(LCBLSTM)在中等延迟任务上进行比较,并将LSTM在低延迟任务上进行比较。在低延迟语音助理任务中,Emformer获得24%至26%的相对单词出错率降低(WERR)。对于中等延迟场景,与模型大小和延迟相似的LCBLSTM相比,Emformer在视频描述数据集上获得了跨4种语言的显著WERR,推理实时因素减少了2-3倍。
2020-10-29 cs.CL cs.SD
Exploiting Beam Search Confidence for Energy-Efficient Speech Recognition
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
随着计算机在我们的日常生活中变得越来越强大和集成,焦点越来越转向更人性化的界面,使自动语音识别(ASR)成为与机器交互的理想手段。因此,对语音技术的兴趣在过去几年中已经增长,提出了更多的系统并且实现了更高的准确度水平,甚至超过了\textit{Human Accuracy}。随着ASR系统的功能日益强大,其计算复杂性也在增加,硬件支持也必须跟上。在本文中,我们提出了一种提高ASR系统能效和性能的技术,重点关注边缘设备的低功耗硬件。我们专注于优化基于DNN的声学模型评估,因为我们已经观察到它是最先进的ASR系统中的主要瓶颈,通过利用来自束搜索的运行时信息。通过这样做,我们将声学模型评估的能量和执行时间分别减少了25.6%和25.9%,而精度损失可以忽略不计。
2021-01-22 cs.CL cs.SD eess.AS
A Comparative Study on Speaker-attributed Automatic Speech Recognition in Multi-party Meetings
Northwestern Polytechnical University(西北工业大学);Zhejiang University(浙江大学)
在本文中,我们进行了一个比较研究的说话人属性的自动语音识别(SA-ASR)在多方会议的情况下,会议丰富的转录越来越受到关注的话题。具体而言,在这项研究中,三种方法进行了评估。第一种方法,FD-SOT,包括一个帧级的日记模型来识别说话人和多说话人ASR识别话语。通过将日志化结果与公认的假设进行比对,得到说话人属性的transmittance。然而,这种对齐策略可能会遭受错误的时间戳,由于模块的独立性,严重阻碍了模型的性能。因此,我们提出了第二种方法,WD-SOT,通过引入一个字级的日志模型,它可以摆脱这样的时间戳对齐依赖来解决对齐错误。为了进一步缓解对齐问题,我们提出了第三种方法TS-ASR,它联合训练目标-说话人分离模块和ASR模块。通过比较各种策略的SA-ASR方法,在一个真实的会议场景语料库,AliMeeting,实验结果表明,WD-SOT方法实现了10.7%的平均说话人相关字符出错率(SD-CER)的相对减少,相比FD-SOT方法。此外,TS-ASR方法也优于FD-SOT方法,并带来16.5%的相对平均SD-CER减少。
2022-07-01 cs.CL cs.SD eess.AS
Noise-Robust ASR for the third 'CHiME' Challenge Exploiting Time-Frequency Masking based Multi-Channel Speech Enhancement and Recurrent Neural Network
Lingban Technology Co., Ltd.(灵伴科技有限公司)
本文介绍了第三届“CHiME”语音分离与识别挑战赛的Lingban参赛情况。提出了一种基于时频掩蔽的语音增强前端,利用多通道相干性和空间信息抑制环境噪声。最先进的语音识别技术,即基于循环神经网络的声学和语言建模、基于状态空间最小贝叶斯风险的判别声学建模和基于i向量的声学条件建模,被仔细地集成到语音识别后端中。为了充分发挥不同技术的优势,进一步提高系统性能,通过格点合并和重评分得到最终的识别结果。在官方数据集上进行的评估证明了所提出的系统的有效性。与最佳基线结果相比,该系统在真实数据测试集上获得了超过57%的相对字出错率降低的一致改进。
2015-09-24 cs.CL cs.SD
Comparative layer-wise analysis of self-supervised speech models
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
在过去的几年中,已经提出了许多自监督语音模型,其预训练目标、输入模态和预训练数据各不相同。尽管在下游任务上取得了令人印象深刻的成功,但我们对模型编码的属性以及模型之间的差异仍然了解有限。在这项工作中,我们研究了各种最近的模型的中间表示。具体来说,我们测量声学,语音和单词级属性编码在各个层中,使用一个轻量级的分析工具,基于典型相关分析(CCA)。我们发现,这些属性在不同的层之间根据模型的不同而变化,这些变化与预训练目标的选择有关。我们进一步调查我们的分析,下游任务的实用性,通过比较性能的语音识别和口语语言理解任务的趋势。我们发现,CCA趋势为下游任务选择感兴趣的层提供了可靠的指导,并且单层性能通常与使用所有层相匹配或有所改善,这意味着更有效地使用预训练模型。
2023-03-16 cs.CL cs.LG cs.SD
Techniques for Feature Extraction In Speech Recognition System : A Comparative Study
SGB Amravati University(圣加吉巴巴阿姆拉瓦蒂大学)
语音信号的时域波形携带所有的听觉信息。从音系学的角度来看,它几乎不能说的基础上的波形本身。然而,过去在数学、声学和语音技术方面的研究已经提供了许多方法来转换数据,如果正确解释,这些数据可以被视为信息。为了从输入数据中找到一些统计上相关的信息,重要的是具有用于将音频信号中的每个段的信息减少为相对少量的参数或特征的机制。这些特征应该以一种特有的方式描述每个片段,以便通过比较它们的特征可以将其他类似的片段分组在一起。有很多有趣的和特殊的方式来描述语音信号的参数。虽然,它们都有自己的优点和缺点,但我们已经介绍了一些最常用的方法及其重要性。
2013-05-06 cs.CL cs.SD
A Comparative Analysis of Bilingual and Trilingual Wav2Vec Models for Automatic Speech Recognition in Multilingual Oral History Archives
University of West Bohemia(西波希米亚大学)
本文比较了单语与多语言Wav2Vec 2.0模型在含混合语言句子的口述历史档案上的语音识别性能,发现单语模型在多数情况下优于多语言模型,并公开了预训练模型以促进研究。
2024-07-24 cs.AI cs.CL
Bridging the gap: A comparative exploration of Speech-LLM and end-to-end architecture for multilingual conversational ASR
Shanghai Normal University(上海师范大学);Unisound AI Technology Co., Ltd.(Unisound AI技术有限公司)
本文提出一种结合微调Whisper和mHuBERT编码器与LLM的ASR框架,通过交叉注意力机制提升多语言对话ASR性能,实验表明其在性能上接近端到端模型,但仍有提升空间。
2026-02-02 cs.CL cs.SD eess.AS
Optimizing ASR for Catalan-Spanish Code-Switching: A Comparative Analysis of Methodologies
LangTech Lab(语言技术实验室)
本文针对加泰罗尼亚语-西班牙语语码转换的ASR难题,比较了合成数据、单语音频拼接和带语言标记的真实数据三种策略,发现适量合成数据结合主导语言标记微调Whisper模型效果最佳。
2025-07-18 cs.CL eess.AS
wav2vec and its current potential to Automatic Speech Recognition in German for the usage in Digital History: A comparative assessment of available ASR-technologies for the use in cultural heritage contexts
University of Graz(格拉茨大学)
在本案例研究中,我们为德语自动语音识别(ASR)培训并发布了一个最先进的开源模型,以评估该技术在数字人文和文化遗产更大背景下的当前潜力。随着这篇论文,我们发布了我们基于wav2vec2的语音到文本模型,同时我们评估了它在我们收集的历史录音语料库上的性能,并与基于商业云的专有服务进行了比较。虽然我们的模型取得了中等的结果,但我们看到专有云服务的表现要好得多。正如我们的结果所示,目前可以实现超过90%的识别率,但是,一旦录音的音频质量有限或使用非日常或过时的语言,这些数字就会迅速下降。一个大问题是德语中不同方言和口音的高度多样性。尽管如此,本文强调,目前可用的识别质量足够高,可以解决数字人文学科中的各种用例。我们认为,ASR将成为一个关键技术的文件和分析的视听来源,并确定了一系列的重要问题,卫生署社区和文化遗产的利益相关者将不得不在不久的将来解决。
2023-03-06 cs.CL cs.LG cs.SD
Exploiting Adapters for Cross-lingual Low-resource Speech Recognition
Tokyo Institute of Technology(东京工业大学);Microsoft(微软);Microsoft Research Asia(微软亚洲研究院);Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);Zhejiang University(浙江大学)
跨语言语音自适应旨在解决利用多个资源丰富的语言来为低资源的目标语言构建模型的问题。由于低资源语言的训练数据有限,语音识别模型很容易过拟合。在本文中,我们建议使用适配器来研究多个适配器的性能参数有效的跨语言语音适应。基于我们以前的MetaAdapter,隐式地利用适配器,我们提出了一种新的算法称为SimAdapter显式地学习知识适配器。我们的算法利用适配器,可以很容易地集成到Transformer结构。MetaAdapter利用元学习将一般知识从训练数据转移到测试语言。SimAdapter的目标是在使用适配器进行微调的过程中了解源语言和目标语言之间的相似性。我们对Common Voice数据集中的五种低资源语言进行了广泛的实验。结果表明,与强大的全模型微调基线相比,我们的MetaAdapter和SimAdapter方法可以将WER降低2.98%和2.55%,仅需2.5%和15.5%的可训练参数。此外,我们还表明,这两种新的算法可以集成到更好的性能与高达3.55%的相对WER减少。
2021-12-18 cs.CL cs.SD eess.AS
Do We Need Distinct Representations for Every Speech Token? Unveiling and Exploiting Redundancy in Large Speech Language Models
Beike Inc.(贝壳找房)
本文研究了大型语音语言模型中是否需要每个语音令牌都使用不同表示,通过层间干预揭示了冗余层次结构,并提出Affinity Pooling方法,有效压缩表示而不损失语义信息,实验表明在三个任务中实现了27.48%的计算节省和显著的效率提升。
2026-04-08 cs.AI cs.CL
Lead2Gold: Towards exploiting the full potential of noisy transcriptions for speech recognition
Facebook AI Research(Facebook人工智能研究院);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林信息学及其应用研究实验室)
用于对自动语音识别(ASR)系统进行训练的翻译可能包含错误。通常,质量控制阶段丢弃具有太多错误的瞬变信号,或者噪声瞬变信号被原样使用。我们介绍了Lead2Gold,一种训练ASR系统的方法,它充分利用了噪声传输的潜力。基于转录错误的噪声模型,Lead2Gold使用考虑该噪声模型的束搜索来搜索训练数据的更好的转录。束搜索是可微分的,并且不需要强制对准步骤,因此整个系统是端到端训练的。Lead2Gold可以被视为一种新的损失函数,可以用于任何序列到序列的深度神经网络。我们进行了概念验证实验,从不同的噪声水平的字母腐败产生的噪声transmittance。我们表明,Lead2Gold获得了比竞争性基线更好的ASR准确性,该基线不考虑(人工引入的)转录噪声。
2019-10-16 cs.AI cs.CL cs.LG
Exploiting Low-dimensional Structures to Enhance DNN Based Acoustic Modeling in Speech Recognition
Idiap Research Institute(伊迪亚普研究所);University of Fribourg(弗里堡大学)
我们建议将深度神经网络(DNN)类条件后验概率的声学空间建模为低维子空间的联合。为此,训练后验用于字典学习和稀疏编码。使用该字典的测试后验的稀疏表示使得能够投影到训练数据的空间。依赖于这样的事实,即后验子空间的内在尺寸确实是非常小的,属于一类的所有后验的矩阵具有非常低的秩,我们演示了如何低维结构,使进一步增强后验和纠正虚假的错误,由于失配条件。增强的声学建模方法导致使用混合DNN-HMM(隐马尔可夫模型)框架在干净和噪声条件下的连续语音识别任务的改进,其中实现了高达15.4%的字出错率(WER)的相对降低。
2016-01-22 cs.CL cs.LG stat.ML
A Comparative Study of LLM-based ASR and Whisper in Low Resource and Code Switching Scenario
本文比较基于 LLM 的 ASR 系统与 Whisper 在低资源及中英语码转换场景下的表现,发现前者在低资源 ASR 中相对提升 12.8%,后者更擅长语码转换识别。
2024-12-04 cs.AI cs.CL cs.SD
Comparative Analysis of the wav2vec 2.0 Feature Extractor
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
本文比较分析了wav2vec 2.0的卷积特征提取器与传统及替代神经特征提取器在CTC ASR中的性能,证明其在LibriSpeech上具有竞争力,并揭示关键信息来自一组带通滤波器。
2023-08-08 cs.CL cs.LG cs.SD
Towards Advanced Speech Signal Processing: A Statistical Perspective on Convolution-Based Architectures and its Applications
IIT Kanpur(印度理工学院坎普尔分校)
本文综述基于卷积的语音信号处理模型(如CNNs、Conformers等)的统计背景与多场景应用,通过对比训练成本、模型大小等指标分析各模型优劣,为语音技术发展提供研究方向。
2024-11-20 cs.AI cs.CL cs.SD
Exploiting Syntactic Structure for Natural Language Modeling
本论文尝试利用自然语言的句法结构来改进语音识别的语言模型。结构化语言模型融合了自动解析和语言建模技术,使用移位-归约解析器的原始概率参数化。一个最大似然重新估计过程属于类的期望最大化算法的训练模型。在《华尔街日报》、Switchboard和广播新闻语料库上的实验表明,与标准的3-gram语言模型相比,在困惑度和单词出错率方面都有改善。本论文的意义在于提出了一种新颖的语言建模方法,该方法利用自然语言的层次句法结构来改进现有的用于大词汇量语音识别的3-gram建模技术。
2000-01-24 cs.CL
Exploiting Spectral Augmentation for Code-Switched Spoken Language Identification
Swiggy (Bundl Technologies India Limited)(Swiggy(印度邦德尔科技有限公司))
需要口语识别(LID)系统来识别给定音频样本中存在的语言,并且通常可以是许多语音处理相关任务(诸如自动语音识别(ASR))中的第一步。自动识别语音信号中的语言不仅在科学上是有趣的,而且在印度这样的多语言国家中具有实际重要性。在许多印度城市,当人们相互交流时,可能会混合多达三种语言。这些可能包括该省的官方语言,印地语和英语(有时邻近省份的语言也可能在这些互动中混合)。这使得口语LID任务在印度背景下极具挑战性。虽然在印度语言的背景下已经实现了相当多的LID系统,但大多数这样的系统使用的是组织内部收集的小规模语音数据。在目前的工作中,我们对三种印度语言(古吉拉特语,泰卢固语和泰米尔语)与英语混合的代码进行口语LID。这项任务是由微软研究团队组织的,作为一个口头LID挑战。在我们的工作中,我们修改了通常的频谱增强方法,并提出了一个语言掩码,区分语言ID对,这导致了噪声鲁棒的口语LID系统。所提出的方法相对于微软提出的基线系统,在挑战中建议的两个共享任务的三种语言对上,LID准确性相对提高了约3-5%。
2020-10-14 cs.CL cs.SD eess.AS
Retrieving Speaker Information from Personalized Acoustic Models for Speech Recognition
Avignon Université(阿维尼翁大学);Université de Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院)
能够收集其用户的语音的功能强大的个人设备的广泛使用为构建说话者自适应语音识别系统(ASR)或参与ASR的协作学习提供了机会。在这两种情况下,可以构建个性化的声学模型(AM),即具有特定扬声器数据的微调AM。一个自然出现的问题是,个性化声学模型的传播是否会泄露个人信息。在本文中,我们表明,它是可以检索的性别的扬声器,而且他的身份,只是利用权矩阵的变化,神经声学模型本地适应这个扬声器。顺便说一句,我们观察到的现象可能有助于在语音处理的背景下解释深度神经网络。性别几乎可以肯定地确定,只有使用第一层和说话人验证时,使用中间层。我们在TED-LIUM 3数据集上使用HMM/TDNN模型进行的实验研究表明,性别检测的准确率为95%,并且通过仅利用可以交换的个性化模型而不是用户数据的权重进行说话人验证任务的相等出错率为9.07%。
2021-11-07 cs.CL cs.SD eess.AS
Quantization for OpenAI's Whisper Models: A Comparative Analysis
Independent Researcher Washington DC, United States
该研究比较三种 Whisper 模型,并在 LibriSpeech 上评估 whispercpp 的 INT4、INT5、INT8 量化,证明其可降低延迟与体积且保持 WER。
2025-03-12 cs.CL cs.LG cs.SD
A Comparative Study of Modular and Joint Approaches for Speaker-Attributed ASR on Monaural Long-Form Audio
Microsoft Corp.(微软公司)
说话人属性自动语音识别(SA-ASR)是从多个说话人的录音中识别“谁说了什么”的任务。SA-ASR系统通常由语音分离、说话人日志化和ASR等多个模块组成。另一方面,考虑到联合优化,最近提出了一种端到端(E2 E)SA-ASR模型,并在仿真数据上取得了令人满意的结果。在本文中,我们提出了我们最近的研究比较真实的单声道录音,这种模块化和联合的方法对SA-ASR。我们通过利用大规模训练数据,包括7.5万小时的ASR训练数据和用于说话人表示学习的VoxCeleb语料库,为模块化和联合方法开发最先进的SA-ASR系统。我们还提出了一个新的管道,执行E2 E SA-ASR模型后,扬声器聚类。在AMI会议语料库上的评价表明,经过少量的实际数据微调后,联合系统的准确率比最好的模块系统提高了8.9- 29.9%,而模块系统在微调前的准确率更高。我们还进行了各种误差分析,以显示单耳SA-ASR的剩余问题。
2021-09-17 cs.CL cs.SD eess.AS
Comparative Analysis of Multilingual Pre-trained Models for Nepali Automatic Speech Recognition
该研究微调6种多语言预训练模型开展尼泊尔语ASR对比实验,发现语系邻近性可替代模型规模,CTC解码器效率更高,MMS-1B鲁棒性更强,还提供了首个标准化参考基准。
2026-08-14 cs.AI cs.CL cs.LG
SpeechMedAssist: Efficiently and Effectively Adapting Speech Language Models for Medical Consultation
Fudan University(复旦大学);Shanghai Innovation Institude(上海创新研究院);Peking University(北京大学);Huazhong University of Science and Technology(华中科技大学)
本文提出SpeechMedAssist,一种能进行语音多轮交互的语音语言模型,通过分阶段训练减少对医疗语音数据的需求,提升医疗咨询场景下的效果和鲁棒性。
2026-04-18 cs.AI cs.CL
Comparative Evaluation of Expressive Japanese Character Text-to-Speech with VITS and Style-BERT-VITS2
Columbia University, RoleGaku(哥伦比亚大学、RoleGaku);Columbia University(哥伦比亚大学)
本文比较了VITS和Style-BERT-VITS2 JP Extra在生成表达性日语字符语音中的表现,发现SBV2JE在自然度和可懂度方面表现更优,适用于语言学习和角色对话生成。
2025-11-30 cs.CL cs.SD eess.AS
A Comparative Study on Non-Autoregressive Modelings for Speech-to-Text Generation
Waseda University(早稻田大学);Johns Hopkins University(约翰斯·霍普金斯大学);Yahoo Japan Corporation(雅虎日本公司);Kyoto University(京都大学);LINE Corporation(LINE公司);Naver Corporation(NAVER公司);Carnegie Mellon University(卡内基梅隆大学)
非自回归(NAR)模型在一个序列中同时生成多个输出,与自回归基线相比,这显著降低了推理速度,但代价是精度下降。NAR模型在实时应用中显示出巨大的潜力,越来越多的NAR模型在不同的领域中被探索,以缩小与AR模型的性能差距。在这项工作中,我们进行了各种NAR建模方法的端到端的自动语音识别(ASR)的比较研究。实验在最先进的环境中使用ESPnet进行。各种任务的结果为理解NAR ASR提供了有趣的发现,例如准确性-速度权衡和对长形式话语的鲁棒性。我们还表明,这些技术可以结合起来,以进一步改善和应用到NAR端到端的语音翻译。所有的实现都是公开的,以鼓励在NAR语音处理的进一步研究。
2021-10-11 cs.CL cs.SD eess.AS
A Comparative Study on End-to-end Speech to Text Translation
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
深度学习的最新进展表明,端到端语音到文本翻译模型是指导语音翻译领域的一种有前途的方法。在这项工作中,我们提供了一个不同的端到端架构的概述,以及使用一个辅助连接主义的时间分类(CTC)损失更好的收敛。我们还研究了预训练变体,例如使用预训练模型初始化模型的不同组件,以及它们对最终性能的影响,这使得BLEU和TER分别提高了4%和5%。我们的实验是在270小时的IWTED-talks En->De和100小时的LibriSpeech Audiobooks En-> Fr上进行的。我们还展示了在这两项任务上比当前端到端的最先进系统的改进。
2019-11-20 cs.CL cs.LG eess.AS
Long-Context Modeling Networks for Monaural Speech Enhancement: A Comparative Study
本文在统一框架下比较Transformer、Conformer、Mamba和xLSTM在单声道语音增强中的表现,发现xLSTM与Mamba性能更优,Mamba效率最高,xLSTM速度最慢。
2025-07-06 eess.AS
Comparative Study between Adversarial Networks and Classical Techniques for Speech Enhancement
Universidade Federal do ABC(ABC联邦大学)
语音增强是许多应用的关键任务。其中探索最多的技术是Wiener滤波器和LogMMSE,但探索适合此任务的深度学习的方法,如SEGAN,已经提出了相关的结果。这项研究比较了上述技术在85种噪声条件下的质量,可懂度和失真的性能;并得出结论,经典技术在大多数情况下继续表现出优越的结果,但在严重的噪声情况下,SEGAN表现更好,方差更低。
2019-10-21 cs.LG eess.AS
A Comparative Study of Discrete Speech Tokens for Semantic-Related Tasks with Large Language Models
The Chinese University of Hong Kong(香港中文大学)
本文使用Qwen1.5-0.5B对比了离散与连续语音特征在语义任务上的表现,发现连续特征更优,并分析了离散Token表现不佳的原因及改进方向。
2024-11-13 cs.CL cs.SD eess.AS
A Comparative Analysis of Pretrained Language Models for Text-to-Speech
Alexa AI, Amazon(亚马逊Alexa人工智能部门)
本研究首次对比分析15种预训练语言模型在文本到语音的韵律预测和停顿预测任务中的表现,发现模型大小与质量呈对数关系,且实证结果与GLUE分数强相关。
2023-09-04 cs.CL cs.SD eess.AS
ParrotTTS: Text-to-Speech synthesis by exploiting self-supervised representations
Kohli Centre on Intelligent Systems, IIIT Hyderabad(国际信息技术研究所(海得拉巴)科赫利智能系统中心);TCS Research(塔塔咨询服务公司研究部)
本文提出模块化 TTS 模型 ParrotTTS,利用解耦的自监督语音表征,实现单说话人转写训练多说话人模型、低资源语言适配、跨语言声音迁移,并以少量配对数据超越现有多语 TTS。
2023-12-17 cs.CL cs.SD eess.AS
Exploiting Single-Channel Speech For Multi-channel End-to-end Speech Recognition
最近,神经波束形成器支持的多通道ASR的端到端训练方法在多通道语音识别中显示出其有效性。然而,多个模块的集成使得执行端到端训练变得更加困难,特别是考虑到在真实环境中记录的具有相当大数据规模的多通道语音语料库相对有限。本文探讨了如何利用单通道数据改进多通道端到端语音识别系统。具体来说,我们设计了三种方案来利用单通道数据,即预训练,数据调度和数据模拟。在CHiME 4和AISHELL-4数据集上的大量实验表明,这三种方法都提高了多通道端到端训练的稳定性和语音识别性能,而数据调度方法保持了更简单的流水线(与预训练相比)和更少的计算成本(与数据模拟相比)。此外,我们对我们的系统进行了全面的分析,包括前端的选择,数据增强,训练策略和单通道数据大小如何影响性能。
2021-07-06 eess.AS
A comparative study between linear and nonlinear speech prediction
Escola Universitària Politècnica de Mataró(马塔罗理工大学学院)
本文的重点是非线性预测编码,它包括对语音样本的预测的基础上的非线性组合的前一个样本。众所周知,在声门脉冲的产生中,波动方程不线性地表现[2],[10],并且我们通过基于参数神经网络模型的语音的非线性预测来对这些效应进行建模。这项工作集中在神经网络权重的量化和压缩增益。
2022-03-31 cs.SD eess.AS
How Attention Shapes Emotion: A Comparative Study of Attention Mechanisms for Speech Emotion Recognition
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本文比较了语音情绪识别中不同注意力机制的性能,发现标准自注意力虽表现最佳,但高效变体能显著提升可扩展性,减少计算和内存开销。
2026-03-16 eess.AS
A Comparative Study of Speaker Role Identification in Air Traffic Communication Using Deep Learning Approaches
Sichuan University(四川大学)
空中交通管制(ATC)中的飞行员-驾驶员对话的自动口语指令理解(SIU)不仅需要识别语音的单词和语义,还需要确定说话者的角色。然而,在空中交通通信中的自动理解系统的研究中,很少有人关注说话人角色识别(SRI)。在本文中,我们制定了SRI任务的飞行员导频通信作为一个二元分类问题。此外,本文还提出了基于文本、基于语音以及基于语音和文本的多模态方法,以实现对SRI任务的全面比较。为了消除比较方法的影响,应用各种先进的神经网络架构来优化基于文本和基于语音的方法的实现。最重要的是,一个多模态说话人角色识别网络(MMSRINet)的设计,以实现SRI任务,同时考虑语音和文本的模态特征。为了聚合模态特征,提出了模态融合模块,分别通过模态注意力机制和自注意力池层来融合和挤压声学和文本表示。最后,比较方法进行了验证的ATC语音语料库收集从现实世界的ATC环境。实验结果表明,所有的比较方法都适用于SRI任务,所提出的MMSRINet显示出竞争力的性能和鲁棒性比其他方法的可见和不可见的数据,分别达到98.56%和98.08%的准确率。
2022-08-22 cs.CL cs.SD eess.AS
Exploiting Hidden Representations from a DNN-based Speech Recogniser for Speech Intelligibility Prediction in Hearing-impaired Listeners
University of Sheffield(谢菲尔德大学)
准确客观的语音可懂度预测算法对于诸如助听器的语音增强的许多应用是非常感兴趣的。大多数算法测量干净参考信号和退化信号的声学特征之间的信噪比或相关性。然而,这些手工挑选的声学特征通常与识别没有明确的相关性。同时,基于深度神经网络(DNN)的自动语音识别器(ASR)在某些语音识别任务中接近人类的表现。这项工作利用基于DNN的ASR的隐藏表示作为听力受损听众的语音可懂度预测的特征。基于助听器可懂度数据库的实验结果表明,该方法比目前广泛使用的基于短时客观可懂度(STOI)的双耳测量方法具有更好的预测效果。
2022-07-06 cs.SD eess.AS q-bio.QM
Enhancement of Noisy Speech Exploiting an Exponential Model Based Threshold and a Custom Thresholding Function in Perceptual Wavelet Packet Domain
为了增强带噪语音,提出了一种基于带噪语音的Teager能量(TE)运算感知小波包(PWP)系数指数分布建模的阈值确定方法。一个自定义的阈值功能的基础上的组合的μ律和半软阈值功能的设计和开发应用统计推导的阈值上的PWP系数。通过使用NOIZEUS数据库进行大量的仿真,对汽车和多人串音噪声破坏的语音信号进行了评估。所提出的方法优于一些国家的最先进的语音增强方法在高和低水平的信噪比方面的标准客观措施和主观评价,包括正式的听力测试。
2018-02-15 eess.AS
A Comparative Study on Recent Neural Spoofing Countermeasures for Synthetic Speech Detection
大量的语音欺骗对策最近的研究工作已投入到后端神经网络和训练标准。在这项研究中,我们以比较的视角为这一努力做出贡献。我们对ASVspoof 2019逻辑访问任务的对策模型的比较考虑了最近提出的基于边缘的训练标准,广泛使用的前端以及处理不同长度输入试验的常见策略。我们还通过随机初始化的多轮训练评估来测量模型内差异。我们的统计分析表明,同一模型的性能可能会显着不同时,只是改变随机初始种子。因此,我们建议对数据库进行类似的分析或多轮培训-评估,以便进一步研究。尽管模型内部存在差异,但我们观察到了一些有前途的技术,例如处理不同长度输入的平均池和新的超无参数损失函数。这两种技术导致了我们实验中最好的单一模型,它实现了1.92%的相等错误率,并且在统计意义上与大多数其他实验模型有显著差异。
2021-06-13 eess.AS
Prodorshok I: A Bengali Isolated Speech Dataset for Voice-Based Assistive Technologies - A comparative analysis of the effects of data augmentation on HMM-GMM and DNN classifiers
BRAC University(孟加拉国布拉克大学)
Prodorshok I是一个孟加拉语孤立词数据集,旨在帮助创建基于辅助技术的独立于说话者的语音命令驱动的自动语音识别(ASR),以帮助改善人机交互(HCI)。本文介绍了使用Prodorshok I中的单词子集进行客观分析的结果,以评估其在利用具有高斯发射和深度神经网络(DNN)的隐马尔可夫模型(HMM)的ASR系统中的可靠性。结果表明,简单的数据增强,涉及一个小的音高变化,可以令人惊讶的有形改善语音识别的准确性水平。
2017-12-10 cs.HC cs.SD eess.AS
A Comparative Study of Glottal Source Estimation Techniques
University of Mons(蒙斯大学);Izmir Institute of Technology(伊兹密尔理工学院)
源道分解(或声门流估计)是语音处理的基本问题之一。为此,文献中已经提出了几种技术。然而,比较不同方法的研究几乎不存在。此外,还对合成语音和持续元音进行了系统的实验。在这项研究中,我们比较了三个主要的代表国家的最先进的声门流量估计方法:闭相逆滤波,迭代和自适应逆滤波,和混合相分解。这些技术首先提交给合成语音信号的客观评估测试。它们对影响估计质量的各种因素的敏感性,以及它们对噪声的鲁棒性进行了研究。在第二个实验中,他们的能力,标签语音质量(紧张,模态,软)研究了一个大型语料库的真实连接语音。结果表明,语音质量的变化反映在声门特征分布的显着修改。基于混合相位分解和基于闭合相位逆滤波过程的技术在干净的合成和真实的语音信号上都给出了最好的结果。另一方面,迭代和自适应逆滤波,建议在噪声环境中,其高鲁棒性。
2019-12-28 cs.CL cs.SD eess.AS
Exploiting Nontrivial Connectivity for Automatic Speech Recognition
Corti, Copenhagen, Denmark(Corti,丹麦哥本哈根);Technical University of Denmark(丹麦技术大学)
非平凡连通性通过解决梯度消失的问题和提供更有效的参数重用方法,允许训练非常深的网络。在本文中,我们做了比较残差网络,密集连接网络和公路网络的图像分类任务。接下来,我们表明,这些方法可以很容易地部署到自动语音识别,并提供显着的改进现有的模型。
2017-11-28 cs.SD eess.AS stat.ML
Synthetic Data Generation Techniques for Developing AI-based Speech Assessments for Parkinson's Disease (A Comparative Study)
针对帕金森病AI语音评估训练数据不足的问题,本文比较基于深度学习的合成语音数据生成技术,以提升核心机器学习分类器的准确率。
2023-12-04 cs.AI cs.LG cs.SD
Enroll-on-Wakeup: A First Comparative Study of Target Speech Extraction for Seamless Interaction in Real Noisy Human-Machine Dialogue Scenarios
Shanghai Normal University(上海师范大学);Unisound AI Technology Co., Ltd.(Unisound人工智能技术有限公司)
提出Enroll-on-Wakeup框架,利用唤醒词片段作为注册参考,无需预录语音,实现无缝交互;首次系统比较了判别式和生成式模型在真实噪声条件下的性能,并探索了基于LLM的TTS注册增强。
2026-06-08 cs.SD eess.AS
Parametric Representation for Singing Voice Synthesis: a Comparative Evaluation
UMONS(蒙斯大学);Acapela Group(Acapela集团)
已经提出了各种参数表示来对语音信号进行建模。虽然这样的声码器的性能在语音处理的上下文中是众所周知的,但是它们外推到歌唱声音合成可能不是简单的。本文的目的是双重的。首先,在四个现有的技术进行比较主观评价适合统计参数合成:传统的脉冲声码器,确定性加随机模型,谐波加噪声模型和GlottHMM。这些技术的行为作为一个功能的歌手类型(男中音,反男高音和女高音)进行了研究。其次,对高音语音中出现的伪影进行了讨论,并提出了克服伪影的可能方法。
2020-06-07 cs.CL cs.SD eess.AS
Comparative Study of Speech Analysis Methods to Predict Parkinson's Disease
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校);Carnegie Mellon University(卡内基梅隆大学);INSOFE(国际工程与科学教育研究所)
帕金森氏病(PD)的早期症状之一是语言障碍。语言障碍可以用来在这种疾病恶化之前发现它。这项工作分析了语音特征和机器学习方法来预测PD。声学特征,如闪烁和抖动变量,梅尔频率倒谱系数(MFCC)从语音信号中提取。在这项工作中,我们使用两个数据集:MDVR-KCL和意大利帕金森氏语音和语音数据库。为了分离PD和非PD语音信号,实现了七种分类模型:K-最近邻,决策树,支持向量机,朴素贝叶斯,逻辑回归,梯度提升,随机森林。每个模型使用三个特征集:(a)仅声学特征,(b)所有声学特征和MFCC,(c)从声学特征和MFCC中选择的特征子集。使用所有的声学特征和MFCC,与SVM一起产生了最高的性能,准确率为98%,F1分数为99%。当与现有技术相比时,这显示出更好的性能。我们的代码和相关文档可在公共域存储库中获得。
2021-11-15 cs.LG eess.AS q-bio.QM
Automatic dysarthric speech detection exploiting pairwise distance-based convolutional neural networks
构音障碍语音自动检测技术为构音障碍的临床诊断和治疗提供了可靠、经济的计算机辅助工具。在本文中,我们提出了一种新的自动构音障碍语音检测方法的基础上分析的成对距离矩阵,使用卷积神经网络(CNN)。我们通过发音后验子来表示话语,并考虑成对的语音平衡表示,其中一个表示来自健康说话者(即,参考表示)和来自测试说话者的另一个表示(即,测试表示)。给定这样的参考和测试表示对,首先使用特征提取前端提取特征,计算帧级距离矩阵,并且通过基于CNN的二元分类器将所获得的距离矩阵视为图像。特征提取、距离矩阵计算和基于CNN的分类器在端到端框架中联合优化。在两个不同语言和病理的健康和构音障碍说话者数据库上的实验结果表明,所提出的方法具有较高的构音障碍语音检测性能,优于其他基于CNN的基线方法。
2021-05-28 eess.AS
Comparative Analysis of ASR Methods for Speech Deepfake Detection
Politecnico di Milano(米兰理工大学);Purdue University(普渡大学)
本文通过系统分析Whisper和Wav2Vec 2.0两种预训练自监督ASR模型在语音深度伪造检测任务中的适配表现,探究ASR性能提升与深度伪造检测能力的关联,为相关检测器开发提供指导。
2024-11-26 cs.SD eess.AS
TRI-DEP: A Trimodal Comparative Study for Depression Detection Using Speech, Text, and EEG
DISI, University of Bologna, Italy(博洛尼亚大学DISI学院,意大利)
本文通过系统比较语音、文本和EEG的三模态方法,验证了多模态检测的有效性,发现预训练嵌入优于手工特征,三模态模型达到最优性能。
2026-03-23 cs.AI cs.CL cs.LG
Knowledge Distillation for Neural Transducer-based Target-Speaker ASR: Exploiting Parallel Mixture/Single-Talker Speech Data
本文提出利用知识蒸馏方法,通过预训练的单说话人 RNNT 系统生成伪标签,以充分利用并行混合/单说话人语音数据来改进 TS-RNNT 训练,实验证明该方案优于基线系统。
2023-05-25 eess.AS
Crowdsourcing MUSHRA Tests in the Age of Generative Speech Technologies: A Comparative Analysis of Subjective and Objective Testing Methods
Cisco SystemsEurope(思科系统欧洲)
本文针对生成式语音编解码器提出众包MUSHRA测试调整方案,对比MTurk与Prolific平台及专家数据,并评估六项客观指标,发现传统指标低估生成模型,为可扩展感知测试提供指导。
2025-06-01 cs.SD eess.AS
Enhancement of Noisy Speech exploiting a Gaussian Modeling based Threshold and a PDF Dependent Thresholding Function
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
本文提出了一种语音增强方法,该方法通过对含噪语音的Teager能量(TE)感知小波包(PWP)系数进行高斯建模,统计确定自适应阈值。为了获得增强的语音,由此导出的阈值通过采用高斯pdf相关的自定义阈值函数来应用于PWP系数,该自定义阈值函数是基于修改的硬阈值函数和半软阈值函数的组合来设计的。通过使用NOIZEUS数据库进行大量的仿真,对汽车和多人串音噪声破坏的语音信号进行了评估。所提出的方法被发现优于一些国家的最先进的语音增强方法,不仅在高,而且在低水平的SNR的意义上的标准的客观措施和主观评价,包括正式的听力测试。
2018-03-03 cs.SD eess.AS