Latent Softmax for Data-Efficient Phoneme-Based Multilingual ASR Across Tonal and Non-Tonal Languages
TasiTech(塔西科技)
该研究针对多语种ASR中声调与非声调语言监督粒度不匹配的问题,提出Latent Softmax方法,在多语种语音识别实验中显著降低音素与混合错误率,提升了跨语言语音识别性能。
2026-09-22 cs.LG eess.AS
TranUSR: Phoneme-to-word Transcoder Based Unified Speech Representation Learning for Cross-lingual Speech Recognition
针对跨语言ASR中从语音表示直接预测单词难的问题,提出由UniData2vec和音素转词转码器组成的两阶段TranUSR模型,在Common Voice上实现PER和WER的显著降低。
2023-10-08 eess.AS
Contextual Biasing for ASR in Speech LLM with Common Word Cues and Bias Word Position Prediction
IBM Research(IBM研究院)
本文提出基于声音线索的上下文偏置方法,利用常见词发音相似性提升稀有词识别,通过多输出学习增强鲁棒性,实验显示在基准系统基础上错误率降低16.3%。
2026-04-14 eess.AS
LLM-based phoneme-to-grapheme for phoneme-based speech recognition
Xinjiang University(新疆大学);Tsinghua University(清华大学);School of Computer Science and Technology(计算机科学与技术学院);Guangxi Radio and Television Monitoring Center(广西广播电视监测中心)
本文提出LLM-P2G解码方法,通过DANP和TKM两种训练策略缓解级联信息损失,在波兰语和德语跨语言ASR中相比WFST系统分别降低3.6%和6.9%的相对WER。
2025-06-05 cs.CL cs.SD eess.AS
Can We Trust Explainable AI Methods on ASR? An Evaluation on Phoneme Recognition
University of Edinburgh(爱丁堡大学)
本文针对ASR中XAI解释可信度证据不足的问题,将图像分类中的LIME适配到TIMIT音素识别任务,并提出基于时间分区音频片段的LIME变体,其前三音频片段包含真实依据的比例达96%。
2023-05-29 cs.CL cs.SD eess.AS
TSPC: A Two-Stage Phoneme-Centric Architecture for code-switching Vietnamese-English Speech Recognition
The University of Danang, Vietnam - Korea University of Information and Communication Technology, Danang,Vietnam(丹江大学 - 信息与通信技术大学)
本文提出TSPC模型,通过双阶段音素架构提升越南-英语语切换语音识别性能,实现更低的词错误率和更高效的资源利用。
2026-03-04 cs.AI cs.CL cs.SD
PATCorrect: Non-autoregressive Phoneme-augmented Transformer for ASR Error Correction
Stony Brook University(石溪大学);Amazon.com Inc(亚马逊公司)
提出PATCorrect,一种基于文本与音素多模态融合的非自回归ASR纠错模型,在英文语料上实现11.62%的WER降低,推理延迟仅数十毫秒,满足工业低延迟需求。
2023-06-21 cs.CL cs.LG cs.SD
A systematic comparison of grapheme-based vs. phoneme-based label units for encoder-decoder-attention models
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek公司)
遵循端到端建模的基本原理,用于自动语音识别(ASR)的CTC、RNN-T或编码器-解码器-注意力模型使用基于例如字节对编码(BPE)的字素或基于字素的子字单元。从发音到拼写的映射完全是从数据中学习的。与此相反,ASR的经典方法采用音素列表形式的二级知识源来定义语音输出标签和发音词典。在这项工作中,我们做了一个系统的比较字素和音素为基础的输出标签的编码器-解码器-注意力ASR模型。我们调查使用单个音素以及基于BPE的音素组作为我们的模型的输出标签。为了保持一个简化和有效的解码器设计,我们还扩展了音素集的辅助单元,能够区分同音字。在Switchboard 300 h和LibriSpeech基准测试上进行的实验表明,基于音素的建模与基于图素的编码器-解码器-注意力建模相比具有竞争力。
2021-04-15 cs.CL cs.LG cs.NE
Optimizing Two-Pass Cross-Lingual Transfer Learning: Phoneme Recognition and Phoneme to Grapheme Translation
POSTECH(浦项科技大学);aiXplain Inc.(aiXplain公司)
针对低资源语言两遍跨语言 ASR,本文通过发音特征合并音素并引入全局音素噪声生成器,优化音素识别与音素到字素翻译,在 CommonVoice 12.0 上显著降低 WER。
2023-12-06 cs.CL cs.SD eess.AS
MEUSLI: a Multilingual Projector for LLM-based ASR and Beyond
Center for Augmented Intelligence, Fondazione Bruno Kessler(增强智能中心,布鲁诺·凯斯勒基金会);Department of Information Engineering and Computer Science, University of Trento(特伦托大学信息工程与计算机科学系)
MEUSLI是首个多语言投影器家族,连接Whisper编码器与开源多语言大语言模型,实现28种欧洲语言的开源端到端自动语音识别。它扩展了单语言管道,能借助持续学习技术扩展到其他语言,还可用于语音翻译和主题识别等任务。
2026-07-27 cs.AI cs.CL eess.AS
Zero-Shot Spoken Language Understanding with SLAM-ASR: What Do Monolingual ASR-Trained Linear Projectors Enable?
National Yang Ming Chiao Tung University(国立阳明交通大学);Tranxform AI;Indian Institute of Technology Hyderabad(印度海得拉巴理工学院);Institut national des langues et civilisations orientales(东方语言与文明学院);Université Sorbonne Nouvelle(新索邦大学);Cohere Labs Community(Cohere实验室社区);Cohere
本研究探究SLAM-ASR框架训练的单语言ASR线性投影器能否赋予LLM零样本SLU能力,发现其在是/否问题上IFR为49.8%,数字主题问题上达81.3%,但SLU信息传递存在不足。
2026-10-16 cs.SD eess.AS
REBORN: Reinforcement-Learned Boundary Segmentation with Iterative Training for Unsupervised ASR
National Taiwan University(台湾大学)
本文提出REBORN,一种通过强化学习交替训练语音边界分割模型和音素预测模型的无监督ASR方法,在多个数据集上超越现有模型。
2024-11-15 cs.CL cs.SD eess.AS
PMF-CEC: Phoneme-augmented Multimodal Fusion for Context-aware ASR Error Correction with Error-specific Selective Decoding
Graduate School of Informatics, Nagoya University(信息学研究科,名古屋大学);Information Technology Center, Nagoya University(信息科技中心,名古屋大学)
针对ASR模型对近音稀有词纠错准确率低及错误检测过检问题,提出带保留概率机制的音素增强多模态融合纠错方法PMF-CEC,在5个数据集上验证了其在同音词纠错、推理速度及鲁棒性上的优势。
2025-05-31 cs.AI cs.CL cs.SD
Pronunciation-Lexicon Free Training for Phoneme-based Crosslingual ASR via Joint Stochastic Approximation
Xinjiang University(新疆大学);Tsinghua University(清华大学)
本研究提出无需音素词典的跨语言语音识别方法,通过联合随机近似算法提升模型性能,实现误差率降低。
2025-12-16 cs.AI cs.CL eess.AS
On the Relevance of Phoneme Duration Variability of Synthesized Training Data for Automatic Speech Recognition
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
本研究通过oracle实验和随机游走算法调整非自回归TTS合成数据的音素时长分布,使其更接近真实时长,从而提升半监督ASR系统的性能。
2023-10-12 cs.CL cs.SD eess.AS
Low-Resourced Speech Recognition for Iu Mien Language via Weakly-Supervised Phoneme-based Multilingual Pre-training
Guangxi Minzu University(广西民族大学);Tsinghua University(清华大学)
针对勉语标注语音稀缺的低资源语音识别问题,研究对比三类低资源ASR方法,发现弱监督音素多语言预训练的Whistle模型效果最优、数据效率更高。
2024-09-16 cs.CL cs.SD eess.AS
Bridging ASR and LLMs for Dysarthric Speech Recognition: Benchmarking Self-Supervised and Generative Approaches
NLP Department(自然语言处理部门)
本研究系统基准测试了Wav2Vec等自监督模型及CTC、seq2seq和LLM增强解码策略在构音障碍语音识别中的表现,发现LLM增强解码能利用语言约束恢复音素和纠正语法,有效提升识别可懂度。
2025-08-11 cs.AI cs.SD eess.AS
Advancing Hearing Assessment: An ASR-Based Frequency-Specific Speech Test for Diagnosing Presbycusis
Institute of Sound and Vibration Research, University of Southampton(声学与振动研究所,南安普顿大学)
本文提出一种基于ASR的特定频率语音测试,通过模拟中度倾斜型听力损失的声学退化并分析音素混淆模式,为诊断老年性耳聋提供客观、精细的评估方法。
2025-05-28 cs.CL cs.SD eess.AS
A Comparison of Modeling Units in Sequence-to-Sequence Speech Recognition with the Transformer on Mandarin Chinese
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
建模单元的选择对于自动语音识别(ASR)任务至关重要。传统的ASR系统通常选择上下文相关的状态(CD-状态)或上下文相关的音素(CD-音素)作为其建模单元。然而,它受到了基于序列到序列注意力模型的挑战,该模型将声学,发音和语言模型集成到单个神经网络中。在英语ASR任务中,先前的尝试已经表明,通过基于序列到序列注意力的模型,字素的建模单元可以优于音素的建模单元。在本文中,我们关注的是使用基于序列到序列注意力的模型与Transformer的汉语普通话ASR任务的建模单位。五个建模单位,包括上下文无关的音素(CI音素),音节,单词,子词和字符。在HKUST数据集上的实验表明,无词典建模单元在字符错误率(CER)方面优于词典相关建模单元。在五个建模单元中,基于字符的模型表现最好,并且在HKUST数据集上建立了一个新的最先进的$26.64\%$ CER,而无需手工设计的词典和额外的语言模型集成,这对应于$4.8\%$相对于现有的最佳CER的$28.0\%$的相对改进。
2018-05-18 cs.CL cs.SD eess.AS
Which Languages Transfer Best to Warlpiri? A Similarity-Based Study for Low-Resource ASR
University of New South Wales(新南威尔士大学);University of Melbourne(墨尔本大学);University of Sydney(悉尼大学)
研究极低资源环境下语言相似度对ASR跨语言迁移的作用,提出结合声学与语言相似度的框架对高资源源语言排名,实验表明相似语言优于基线,阿萨姆语和印地语效果好,还分析了不同相似度对迁移的影响。
2026-07-14 cs.CL eess.AS
Phoneme-Guided Initialization for LLM-based Speech Recognition
Graduate School of Informatics, Kyoto University(京都大学信息学研究科)
提出音素引导初始化方法,通过预训练音频编码器于S2P、大语言模型于P2G任务,再端到端微调,在低资源语音识别上匹配或超越级联及端到端基线。
2026-10-08 cs.CL cs.SD eess.AS
Masked Acoustic Unit for Mispronunciation Detection and Correction
Zhejiang University(浙江大学)
计算机辅助发音训练(CAPT)在语言学习中发挥着重要作用。传统的基于ASR的CAPT方法需要昂贵的注释地面真实发音的监督训练。同时,某些未定义的非母语音素不能被正确地分类为标准音素,使得注释过程具有挑战性和主观性。另一方面,基于ASR的CAPT方法只能给学习者关于错误发音的基于文本的反馈,但不能教学习者如何正确发音。为了解决这些局限性,我们建议使用声学单位(AU)作为中间功能的发音错误检测和纠正。该方法利用被掩蔽的AU序列和目标音素检测出错误AU并进行纠正,从而为学习者提供基于语音的自模仿反馈,使CAPT具有更强的教育功能。
2022-05-04 cs.SD eess.AS
MOSA: Mixtures of Simple Adapters Outperform Monolithic Approaches in LLM-based Multilingual ASR
Shanghai Jiao Tong University(上海交通大学);Huazhong University of Science and Technology(华中科技大学);Nanjing University(南京大学)
MOSA通过混合简单适配器在基于LLM的多语言语音识别中实现更高性能和更高效的参数使用。
2026-02-04 eess.AS
PM-MMUT: Boosted Phone-Mask Data Augmentation using Multi-Modeling Unit Training for Phonetic-Reduction-Robust E2E Speech Recognition
Xinjiang University(新疆大学);Tencent Minority-Mandarin Translation(腾讯民族语言-普通话翻译团队);Xinjiang Key Laboratory of Multi-lingual Information Technology(新疆多语种信息技术重点实验室)
在自动语音识别(ASR)中,辅音和元音的减少会导致识别性能下降。我们最近提出的基于掩蔽的学习策略,电话掩蔽训练(PMT),阐明了这种现象在维吾尔语ASR中的影响。虽然PMT取得了显着的改进,仍然存在进一步的增益空间,由于PMT的掩蔽单元(音素)和建模单元(词片)之间的粒度不匹配。为了提高PMT的性能,我们提出了多建模单元训练(MMUT)架构融合PMT(PM-MMUT)。MMUT框架的思想是将编码器分成两部分,包括声学特征序列到音素级表示(AF-to-PLR)和音素级表示到词段级表示(PLR-to-WPLR)。它允许AF-到-PLR通过基于中间音素的CTC损失来优化,以学习PMT带来的丰富的音素级上下文信息。在维吾尔语语音识别系统上的实验结果表明,该方法的识别性能明显优于纯PMT。我们还使用ESPnet 1在960小时的Libripeech基准上进行了实验,与最新的官方ESPnet 1预训练模型相比,在没有LM融合的情况下,所有测试集的相对WER降低了约10%。
2022-07-03 cs.CL cs.SD eess.AS
SCaLa: Supervised Contrastive Learning for End-to-End Speech Recognition
JD AI Research(京东人工智能研究院)
端到端自动语音识别(ASR)模型通常被训练为优化整个令牌序列的丢失,而忽略显式音素粒度监督。这可能导致由于相似音素混淆或音素减少而导致的识别错误。为了缓解这个问题,我们提出了一个新的框架,基于监督对比学习(SCaLa),以增强音素表征学习的端到端ASR系统。具体来说,我们将自监督的掩蔽对比预测编码(MCPC)扩展到完全监督的设置,其中监督以以下方式应用。首先,SCaLa根据从预先训练的声学模型中提取的给定音素强制对齐的音素边界掩蔽可变长度编码器特征;然后通过对比学习预测掩蔽的特征。强制对齐可以提供音素标签,以减轻自监督MCPC中正负对引入的噪声。阅读和自发语音数据集上的实验表明,我们提出的方法实现了2.8和1.4点字符错误率(CER)的绝对减少相比,基线,分别。
2022-06-20 cs.LG cs.SD eess.AS
BrainWhisperer: Leveraging Large-Scale ASR Models for Neural Speech Decoding
本文提出BrainWhisperer,结合高分辨率MEA记录与预训练ASR模型,通过改进的CTC和交叉熵损失实现跨受试者语音解码,展示出前所未有的泛化能力。
2026-03-04 cs.SD eess.AS
Incorporating L2 Phonemes Using Articulatory Features for Robust Speech Recognition
NAVER Cloud(NAVER云)
本文提出通过发音特征引入韩语 L2 音素,并以端到端 LF-MMI 训练声学模型建模发音变体,从而仅用 L1 数据提升非母语 ASR,L2 微调还能同时改善两类语音识别。
2023-06-05 cs.CL cs.LG cs.SD
Tradition or Innovation: A Comparison of Modern ASR Methods for Forced Alignment
本研究比较了现代ASR方法WhisperX和MMS与传统MFA在强制对齐中的性能,发现MFA表现更优,揭示了现代ASR系统的不足,强调需结合传统专业知识与现代创新以推动该领域进步。
2024-06-27 eess.AS
Modular End-to-end Automatic Speech Recognition Framework for Acoustic-to-word Model
Shanghai Jiao Tong University(上海交通大学)
端到端(E2 E)系统在自动语音识别(ASR)中扮演着越来越重要的角色,并取得了很好的性能。然而,E2 E系统直接用输入声学特征识别输出单词序列,其只能在有限的声学数据上训练。在传统的人工神经网络-隐马尔可夫模型(ANN-HMM)混杂系统中,大量的文本数据被用来改善混合系统的性能。标准E2 E ASR系统涉及额外的文本数据可能在解码期间破坏E2 E属性。本文提出了一种新型的模块化E2 E ASR系统。模块化E2 E ASR系统由两部分组成:声学到音素(A2 P)模型和音素到单词(P2 W)模型。A2 P模型在声学数据上训练,而包括大规模文本数据的额外数据可以用于训练P2 W模型。该附加数据使得模块化E2 E ASR系统不仅能够对声学部分而且还能够对语言部分进行建模。在解码阶段,这两个模型将被集成,并作为一个标准的声学到字(A2 W)模型。换句话说,所提出的模块化E2 E ASR系统可以容易地用额外的文本数据训练,并且以与标准E2 E ASR系统相同的方式解码。在总机语料库上的实验结果表明,模块化E2 E模型比标准A2 W模型实现了更好的词错误率(WER)。
2020-07-31 cs.SD eess.AS
Phoneme-based Distribution Regularization for Speech Enhancement
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
现有的语音增强方法主要是在信号级或时频域将语音与噪声分离。他们很少注意损坏信号的语义信息。在本文中,我们的目标是弥合这一差距,提取音素身份,以帮助语音增强。具体来说,我们提出了一个基于音素的分布正则化(PbDr)的语音增强,它将逐帧音素信息纳入语音增强网络的条件方式。由于不同的音素往往会导致不同的频率特征分布,我们建议学习一个参数对,即规模和偏见,通过音素分类向量调制的语音增强网络。调制参数对不仅包括帧方面的条件,而且还包括频率方面的条件,其有效地将特征映射到音素相关分布。通过这种方式,我们明确规范的语音增强功能的识别向量。在公开数据集上的实验表明,该PbDr模块不仅可以提高语音增强的感知质量,而且可以提高ASR系统对增强后语音的识别准确率。该PbDr模块也可以容易地结合到其他语音增强网络中。
2021-04-08 cs.SD eess.AS
Analyzing the Robustness of Unsupervised Speech Recognition
无监督语音识别(unsupervised ASR)的目标是仅使用非平行的语音和文本语料来学习ASR系统。Wav 2 vec-U通过自监督语音表示与生成对抗网络(GAN)训练相结合,在无监督ASR中显示出有希望的结果,但无监督ASR框架的鲁棒性是未知的。在这项工作中,我们进一步分析了无监督ASR的训练鲁棒性的领域不匹配的情况下,不成对的语音和文本的领域是不同的。三种域失配场景包括:(1)使用来自不同数据集的语音和文本,(2)利用噪声/自发语音,以及(3)调整语音和文本数据的量。我们还通过计算语音和文本的转录之间的音素n-gram的JS-分歧来量化域不匹配的程度。该指标与性能高度相关。实验结果表明,域失配导致性能下降,但在目标语音域上预训练的自监督模型可以提取更好的表示,以减轻性能下降。
2022-04-26 eess.AS
LUPET: Incorporating Hierarchical Information Path into Multilingual ASR
The Chinese University of Hong Kong(香港中文大学);GVoice, Tencent(腾讯歌神(GVoice))
本文提出 LUPET 分层信息路径,按 LID、声学单元、音素共享和 MoE token 识别逐级融合信息,在 Common Voice 10 种语言上提升多语言 ASR,并缓解高资源语言性能折损。
2025-01-09 cs.SD eess.AS
A Bottom-up Framework with Language-universal Speech Attribute Modeling for Syllable-based ASR
提出一种底层ASR框架,通过语言通用发音属性建模与音节预测结合,在AISHELL-1上性能有竞争力且低资源鲁棒,跨语言日语错误率降低40%。
2025-09-09 eess.AS
Multilingual Speech Recognition for Low-Resource Indian Languages using Multi-Task conformer
Freshworks Inc.(Freshworks公司)
Transformers最近在序列到序列的应用中变得非常流行,例如机器翻译和语音识别。在这项工作中,我们提出了一个基于多任务学习的Transformer模型,用于印度语言的低资源多语言语音识别。我们提出的模型包括一个conformer [1]编码器和两个并行的Transformer解码器。我们使用音素解码器(PHN-DEC)的音素识别任务和字素解码器(GRP-DEC)预测字素序列。我们认为音素识别任务作为我们的多任务学习框架的辅助任务。我们使用联合CTC-Attention [2]训练来联合优化音素和字形识别任务的网络。我们使用一个条件解码方案,在预测字素序列之前将语言信息注入模型。我们的实验表明,我们提出的方法可以获得显着的改善比以前的方法[4]。我们还表明,我们的符合者为基础的双解码器的方法优于基于变换的双解码器的方法和单解码器的方法。最后,我们比较了单语ASR模型与我们提出的多语言ASR方法。
2021-09-10 cs.CL cs.SD eess.AS
FoundationTTS: Text-to-Speech for ASR Customization with Generative Language Model
Microsoft(微软)
神经文本转语音(TTS)通常包括具有单独优化的声学模型和声码器的级联架构,或者具有连续梅尔频谱图或自提取语音帧作为中间表示以桥接声学模型和声码器的端到端架构,其遭受两个限制:1)连续的声学帧很难仅用音素来预测,并且还需要诸如持续时间或音高的声学信息来解决一对多问题,其在大规模和噪声数据集上不容易缩放; 2)为了实现基于连续语音特征的多样化语音输出,通常需要复杂的VAE或基于流的模型。在本文中,我们提出了FoundationTTS,一个新的语音合成系统与神经音频编解码器的离散语音令牌提取和波形重建和一个大的语言模型的离散令牌生成语言(音素)令牌。具体而言,1)我们提出了一种基于矢量量化自编码器对抗训练(VQ-GAN)的分层编解码器网络,该网络首先使用细粒度编解码器提取连续帧级语音表示,然后使用粗粒度编解码器从每个连续语音帧中提取离散令牌; 2)将语音标记、语言标记、说话人标记与一个大的语言模型联合优化,并对离散的语音标记进行自回归预测。实验表明,与基线系统相比,FoundationTTS实现了+0.14的MOS增益。在ASR定制任务中,我们的方法在两个强定制ASR基线上分别获得了7.09%和10.35%的WERR。
2023-03-08 cs.SD eess.AS
Boosting End-to-End Multilingual Phoneme Recognition through Exploiting Universal Speech Attributes Constraints
Georgia Institute of Technology(佐治亚理工学院);Kore University of Enna(恩纳科雷大学);Norwegian University of Science and Technology(挪威科技大学)
本文提出利用通用发音方式和发音部位属性构建属性到音素映射约束,联合属性和音素信息进行多语言端到端音素识别,在6种语言上平均相对提升6.85%。
2023-09-16 cs.SD eess.AS
An Embarrassingly Simple Approach for LLM with Strong ASR Capacity
Alibaba Group(阿里巴巴集团)
本文提出SLAM-ASR,仅训练线性投影器来连接现成的语音编码器与LLM,在Librispeech基准上取得了基于LLM的ASR模型最佳性能。
2024-02-13 cs.AI cs.CL cs.MM
Syllable-Based Sequence-to-Sequence Speech Recognition with the Transformer in Mandarin Chinese
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
基于序列到序列注意力的模型最近在自动语音识别(ASR)任务上显示出非常有前途的结果,其将声学、发音和语言模型集成到单个神经网络中。在这些模型中,Transformer是一种新的基于序列到序列注意力的模型,完全依赖于自我注意力,而不使用RNN或卷积,在神经机器翻译(NMT)任务上实现了新的单模型最先进的BLEU。由于Transformer的出色性能,我们将其扩展到语音,并将其作为基于序列到序列注意力模型的基本架构,用于汉语普通话ASR任务。在此基础上,我们利用Transformer对基于音节的模型和基于上下文无关音素的模型进行了比较。此外,提出了一种基于Transformer的贪婪级联解码器,用于将CI音素序列和音节序列映射为单词序列。在HKUST数据集上的实验表明,基于音节的Transformer模型比基于CI音素的模型性能更好,并且实现了\emph{$28.77\%$}的字符错误率(CER),这与基于CTC-注意的联合编码器-解码器网络的最新CER $28.0\%$具有竞争力。
2018-06-04 cs.CL cs.SD eess.AS
ASDF: A Differential Testing Framework for Automatic Speech Recognition Systems
Monash University Malaysia(莫纳什大学马来西亚分校);Singapore Management University(新加坡管理大学)
近年来,自动语音识别(ASR)技术在各个领域得到了广泛的应用。因此,评估和提高ASR系统的质量是非常重要的。本文提出了ASDF,自动语音识别差分测试框架测试ASR系统。ASDF扩展了现有的ASR测试工具CrossASR ++,该工具从文本语料库中合成测试用例。然而,CrossASR ++未能有效地利用文本语料库,并提供了有限的信息,失败的测试用例,可以改善ASR系统。为了解决这些限制,我们的工具包含两个新功能:(1)文本转换模块,以增加生成的测试用例的数量,并发现ASR系统中的更多错误;(2)语音分析模块,以识别ASR系统倾向于产生错误的音素。ASDF通过应用各种文本转换方法(例如,改变时态)到失败的测试用例中的文本。通过这样做,ASDF可以利用一个小的文本语料库来生成大量的音频测试用例,这是CrossASR ++所不能做到的。此外,ASDF实现了更多的指标,从多个角度评估ASR系统的性能。ASDF对识别出的失败测试用例执行语音分析,以识别ASR系统倾向于错误转录的音素,为开发人员改进ASR系统提供有用的信息。我们的工具的演示视频在www.example.com上在线制作v = DzVwfc3h9As。该实现可在www.example.com上获得。
2023-02-11 cs.CL cs.SD cs.SE
Multi-task Learning with Cross Attention for Keyword Spotting
Apple(苹果公司);The University of Hong Kong(香港大学)
关键词定位(KWS)是语音应用中的一项重要技术,它使用户能够通过说出关键词短语来激活设备。虽然音素分类器可以用于KWS,利用大量的转录数据用于自动语音识别(ASR),但是在训练标准(音素识别)和目标任务(KWS)之间存在不匹配。最近,多任务学习已被应用于KWS,以利用ASR和KWS训练数据。在该方法中,声学模型的输出被分成用于两个任务的两个分支,一个用于用ASR数据训练的音素转录,一个用于用KWS数据训练的关键字分类。在本文中,我们介绍了一个交叉注意解码器的多任务学习框架。与具有输出层的简单分裂的常规多任务学习方法不同,交叉注意解码器通过在编码器输出和可训练查询序列之间执行交叉注意来总结来自语音编码器的信息,以预测KWS任务的置信度分数。KWS任务的实验结果表明,该方法实现了12%的相对减少的错误拒绝率相比,传统的多任务学习与分裂分支和双向长短队记忆解码器。
2021-09-22 cs.CL cs.LG cs.SD
DQ-Data2vec: Decoupling Quantization for Multilingual Speech Recognition
Northwestern Polytechnical University(西北工业大学);Bytedance Speech(字节跳动语音);Beijing Bytedance Technology Co Ltd(北京字节跳动科技有限公司)
针对多语言ASR中data2vec多层平均导致语言和音素特征耦合的问题,提出DQ-Data2vec,利用指定簇数的K-means量化器解耦浅层语言与中层音素信息,在CommonVoice上PER和WER分别相对降低9.51%和11.58%。
2025-01-23 cs.CL cs.SD eess.AS
Advancing LLM-based phoneme-to-grapheme for multilingual speech recognition
TasiTech Co., Ltd., China(塔斯科技股份有限公司,中国);Speech Processing and Machine Intelligence (SPMI) Lab, Tsinghua University, China(清华大学语音处理与机器智能(SPMI)实验室,中国);School of Computer Science and Technology, Xinjiang University, China(新疆大学计算机科学与技术学院,中国)
本文研究了基于大语言模型的多语言音素到字母转换,通过鲁棒训练和低资源过采样将平均识别错误率从10.56%降至7.66%。
2026-10-08 cs.CL cs.SD eess.AS
Frequency-Directional Attention Model for Multilingual Automatic Speech Recognition
提出了一种基于频率方向注意模型的语音特征转换模型,用于端到端(E2 E)自动语音识别。这个想法是基于这样一个假设,即在每种语言的音素系统中,说出它们时语音的频段的特征是不同的。通过用表征频率方向的注意力模型变换输入Mel滤波器组特征,可以预期适合于每种语言中的ASR的特征变换。本文介绍了一种转换器编码器作为频率方向的注意力模型。我们评估了所提出的方法在一个多语言E2 E ASR系统为6种不同的语言,发现所提出的方法可以实现,平均5.3分以上的准确性比ASR模型为每种语言,通过引入频率方向的注意力机制。此外,基于所提出的方法的注意力权重的可视化表明,考虑到每种语言的频率特性,可以变换声学特征。
2022-03-29 eess.AS
Robust Automatic Speech Recognition via WavAugment Guided Phoneme Adversarial Training
Alibaba Group(阿里巴巴集团);Chinese Academy of Sciences(中国科学院)
针对ASR模型需兼顾干净样本性能与抗扰动、抗域偏移能力的难题,提出WavAugment引导的音素对抗训练方法wapat,通过音素空间对抗增强与增强样本音素引导的对抗生成提升泛化性,在ESB基准上实现6.28%的WER降低,刷新SOTA。
2023-07-24 cs.CL cs.SD eess.AS
Predicting within and across language phoneme recognition performance of self-supervised learning speech pre-trained models
Delft University of Technology(代尔夫特理工大学)
在这项工作中,我们分析和比较了从不同的冻结自监督学习(SSL)语音预训练模型中提取的语音表示,这些模型捕获发音特征(AF)信息的能力以及随后对语言场景内和跨语言场景的电话识别性能的预测。具体来说,我们比较了CPC,wav2vec 2.0和HuBert。首先,实现帧级AF探测任务。随后,实现了音素识别任务的音素级端到端ASR系统,并将帧级AF探测任务的性能与音素准确性相关联。与传统的语音表示MFCC相比,所有SSL预训练的语音表示都捕获了更多的AF信息,并在语言内和跨语言实现了更好的音素识别性能,其中HuBert表现最好。帧级AF探测任务是音素识别性能的一个很好的预测器,显示了在语音表示中捕获AF信息的重要性。与MFCC相比,在语言内场景中,这些SSL语音预训练模型在AF探测任务上的性能实现了最大34.4%的相对提高,并导致最低的PER为10.2%。在跨语言情景中,26.7%的最大相对增长也导致了23.0%的最低PER。
2022-06-24 cs.SD eess.AS
r-G2P: Evaluating and Enhancing Robustness of Grapheme to Phoneme Conversion by Controlled noise introducing and Contextual information incorporation
Ping An Technology(平安科技)
形音转换是将单词的书面形式转换为它们的发音的过程。它在文语转换(TTS)合成和自动语音识别(ASR)系统中有着重要的作用。在本文中,我们的目标是评估和提高G2 P模型的鲁棒性。我们表明,神经G2 P模型是非常敏感的拼写错误等字形的拼写变化。为了解决这个问题,我们提出了三种受控噪声引入方法来合成噪声训练数据。此外,我们将背景信息与基线相结合,并提出了一个强大的训练策略,以稳定的训练过程。实验结果表明,我们提出的鲁棒G2 P模型(r-G2 P)的性能明显优于基线(-2.73\%WER对基于字典的基准和-9.09\%WER对真实世界的来源)。
2022-02-21 cs.LG cs.SD eess.AS
Reducing Spelling Inconsistencies in Code-Switching ASR using Contextualized CTC Loss
语码转换(CS)是自动语音识别(ASR)的一个难题,尤其是基于字符的模型。由于组合选择了多种语言中的字符,基于字符的模型的结果会受到音素重复的影响,从而导致语言不一致的拼写。我们提出了上下文连接时间分类(CCTC)的损失,以鼓励拼写错误的字符为基础的非自回归ASR,允许更快的推理。CCTC损失条件的主要预测的预测上下文,以确保语言的拼写一致性。与现有的基于CTC的方法相比,CCTC损失不需要帧级对齐,因为上下文地面真值是从模型的估计路径中获得的。与使用常规CTC损失训练的相同模型相比,我们的方法一致地提高了CS和单语语料库上的ASR性能。
2021-06-22 cs.CL cs.SD eess.AS
Phoneme-based speech recognition driven by large language models and sampling marginalization
本文提出SKM策略,通过随机采样替代束搜索,提升语音识别模型的训练效率和识别性能。
2025-12-20 cs.SD eess.AS
Whistle: Data-Efficient Multilingual and Crosslingual Speech Recognition via Weakly Phonetic Supervision
School of Computer Science and Technology, Xinjiang University(新疆大学计算机科学与技术学院);China Unicom (Guangdong) Industrial Internet Co., Ltd(中国联通(广东)工业互联网有限公司);Tsinghua University(清华大学)
本文提出Whistle,一种通过弱音素监督预训练实现数据高效的多语言和跨语言语音识别方法,实验表明其在已见语言识别、未见语言跨语言性能、抗遗忘和训练效率上优于其他方法。
2025-03-27 cs.CL cs.SD eess.AS
Reducing Prompt Sensitivity in LLM-based Speech Recognition Through Learnable Projection
Idiap Research Institute(Idiap研究 institute);EPFL(苏黎世联邦理工学院);Uniphore(Uniphore公司);University of Zurich(苏黎世大学);Brno University of Technology(布拉格技术大学)
本文提出一种可学习的提示投影模块,通过优化LLM输入空间提升语音识别性能,减少提示设计的不稳定性。
2026-01-28 cs.CL cs.LG eess.AS
LiteG2P: A fast, light and high accuracy model for grapheme-to-phoneme conversion
Bytedance AI-Lab(字节跳动人工智能实验室)
作为自动语音识别(ASR)的重要组成部分和文本到语音(TTS)的前端,字素到音素(G2 P)的作用是将字母转换成相应的发音。现有的方法要么速度慢,要么性能差,并且在应用场景中受到限制,特别是在设备上推理的过程中。本文综合了专家知识和基于连接主义时态分类(CTC)的神经网络的优点,提出了一种快速、轻便且理论上并行的新方法LiteG 2 P。LiteG 2 P采用精心设计的领先设计,既可以在云端应用,也可以在设备上应用。在CMU数据集上的实验结果表明,该方法的性能优于基于CTC的方法,其参数减少了10倍,甚至可以与基于Transformer的序列到序列模型相媲美,其参数减少了33倍,计算量减少了33倍。
2023-03-02 cs.CL cs.SD eess.AS
Investigating the Sensitivity of Automatic Speech Recognition Systems to Phonetic Variation in L2 Englishes
School of Computer Science(计算机科学学院);ADAPT SFI Research Centre(ADAPT SFI研究中心);University College Dublin(都柏林大学学院)
本研究通过探测ASR系统,分析其对第二语言英语中罕见语音变异的处理,发现音素级误识别导致高词错误率,并建议通过补充训练数据增强系统鲁棒性。
2023-05-12 cs.CL cs.SD eess.AS
Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment
Ministry of Defense, Saudi Arabia(沙特阿拉伯国防部);Ability Center, Saudi Arabia(沙特阿拉伯能力中心);University of Rochester, USA(罗切斯特大学)
提出Harf-Speech模块化系统,结合MSA音素化器、微调语音到音素模型、Levenshtein对齐及混合评分器,在阿拉伯语音素级发音评估中达到0.791 Pearson相关和0.659 ICC,优于现有端到端方法。
2026-06-23 cs.AI cs.CL cs.SD
Improving Speech Enhancement Performance by Leveraging Contextual Broad Phonetic Class Information
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);Chi Mei Hospital(奇美医院);National Chi Nan University(国立暨南国际大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出利用端到端语音识别模型预测的上下文宽泛音类信息作为额外损失,通过多目标训练提升语音增强性能,实验证明其优于基于音素的方法。
2023-06-18 cs.LG cs.SD eess.AS