Phoneme-Guided Initialization for LLM-based Speech Recognition
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
提出音素引导初始化方法，通过预训练音频编码器于S2P、大语言模型于P2G任务，再端到端微调，在低资源语音识别上匹配或超越级联及端到端基线。
2026-10-08 cs.CL cs.SD eess.AS
PM-MMUT: Boosted Phone-Mask Data Augmentation using Multi-Modeling Unit Training for Phonetic-Reduction-Robust E2E Speech Recognition
Xinjiang University（新疆大学）；Tencent Minority-Mandarin Translation（腾讯民族语言-普通话翻译团队）；Xinjiang Key Laboratory of Multi-lingual Information Technology（新疆多语种信息技术重点实验室）
在自动语音识别（ASR）中，辅音和元音的减少会导致识别性能下降。我们最近提出的基于掩蔽的学习策略，电话掩蔽训练（PMT），阐明了这种现象在维吾尔语ASR中的影响。虽然PMT取得了显着的改进，仍然存在进一步的增益空间，由于PMT的掩蔽单元（音素）和建模单元（词片）之间的粒度不匹配。为了提高PMT的性能，我们提出了多建模单元训练（MMUT）架构融合PMT（PM-MMUT）。MMUT框架的思想是将编码器分成两部分，包括声学特征序列到音素级表示（AF-to-PLR）和音素级表示到词段级表示（PLR-to-WPLR）。它允许AF-到-PLR通过基于中间音素的CTC损失来优化，以学习PMT带来的丰富的音素级上下文信息。在维吾尔语语音识别系统上的实验结果表明，该方法的识别性能明显优于纯PMT。我们还使用ESPnet 1在960小时的Libripeech基准上进行了实验，与最新的官方ESPnet 1预训练模型相比，在没有LM融合的情况下，所有测试集的相对WER降低了约10%。
2022-07-03 cs.CL cs.SD eess.AS
Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment
Ministry of Defense, Saudi Arabia（沙特阿拉伯国防部）；Ability Center, Saudi Arabia（沙特阿拉伯能力中心）；University of Rochester, USA（罗切斯特大学）
提出Harf-Speech模块化系统，结合MSA音素化器、微调语音到音素模型、Levenshtein对齐及混合评分器，在阿拉伯语音素级发音评估中达到0.791 Pearson相关和0.659 ICC，优于现有端到端方法。
2026-06-23 cs.AI cs.CL cs.SD
Language-Universal Phonetic Representation in Multilingual Speech Pretraining for Low-Resource Speech Recognition
ByteDance（字节跳动）
本文提出利用IPA多语言模型生成帧级伪标签，以音素信息指导方式引导HuBERT预训练，在低资源ASR任务中持续优于标准HuBERT，节省最多75%有监督数据并超越多数现有方法。
2023-05-19 cs.CL cs.SD eess.AS
(SimPhon Speech Test): A Data-Driven Method for In Silico Design and Validation of a Phonetically Balanced Speech Test
Institute of Sound and Vibration Research (ISVR), University of Southampton, UK（声学与振动研究所（ISVR），南安普顿大学）
本研究提出SimPhon言语测试方法学，利用ASR系统模拟听力损失的感知效应，通过多阶段计算流水线筛选出25个优化词对的测试集，可捕捉超出简单可听度的感知缺陷，提升听力学测试开发效率。
2025-06-13 cs.CL cs.SD eess.AS
Almost-unsupervised Speech Recognition with Close-to-zero Resource Based on Phonetic Structures Learned from Very Small Unpaired Speech and Text Data
National Taiwan University（国立台湾大学）
对于世界上95%以上的低资源语言来说，为训练ASR系统生成大量带注释的语音数据仍然很困难。然而，我们注意到，人类婴儿开始学习语言的声音，少量的范例词没有听到大量的数据。我们在本文中开始在这个方向上的一些初步工作。音频Word2Vec用于获得携带从信号中提取的语音信息的口语单词的嵌入。一个自动编码器被用来生成嵌入的文本单词的发音特征的基础上的音素序列。这两套嵌入口语和文本的话描述了相似的语音结构之间的话在各自的潜在空间。从音频嵌入到文本嵌入的映射关系实际上给出了单词级ASR。这可以通过在嵌入空间中对齐少量的口语单词和相应的文本单词来学习。在最初的实验中，只有200个注释的口语单词和一个小时的语音数据没有注释，给出了27.5%的单词准确率，这是一个很低的起点。
2018-10-30 cs.CL cs.SD eess.AS
Robust Automatic Speech Recognition via WavAugment Guided Phoneme Adversarial Training
Alibaba Group（阿里巴巴集团）；Chinese Academy of Sciences（中国科学院）
针对ASR模型需兼顾干净样本性能与抗扰动、抗域偏移能力的难题，提出WavAugment引导的音素对抗训练方法wapat，通过音素空间对抗增强与增强样本音素引导的对抗生成提升泛化性，在ESB基准上实现6.28%的WER降低，刷新SOTA。
2023-07-24 cs.CL cs.SD eess.AS
Multitask Learning for Grapheme-to-Phoneme Conversion of Anglicisms in German Speech Recognition
Fraunhofer Institute for Intelligent Analysis and Information Systems (IAIS)（弗劳恩霍夫智能分析与信息系统研究所）
本文提出多任务序列到序列方法，通过区分外来词与本土词提升德语外来词发音转换效果，减少识别错误率。
2022-01-18 cs.CL cs.SD eess.AS
Integrated Semantic and Phonetic Post-correction for Chinese Speech Recognition
E.SUN Financial Holding Co., Ltd.（玉山金融控股股份有限公司）；National Kaohsiung Normal University（国立高雄师范大学）
由于自然语言处理的最新进展，一些工作已经将BERT的预训练的掩蔽语言模型（MLM）应用于语音识别的后校正。然而，现有的预训练模型只考虑语义校正，而忽略了单词的语音特征。由于同音异义词错误在汉语自动语音识别中相当普遍，因此仅基于语义的后纠正会降低识别性能。在本文中，我们提出了一种新的方法，共同利用上下文表示和语音信息之间的错误和它的替代候选人，以减轻出错率的中文ASR。我们在真实世界语音识别数据集上的实验结果表明，我们提出的方法具有明显低于基线模型，其中使用预训练的BERT MLM作为校正器。
2021-11-16 cs.CL cs.SD eess.AS
Phonemic Representation and Transcription for Speech to Text Applications for Under-resourced Indigenous African Languages: The Case of Kiswahili
University of Nairobi（内罗毕大学）；Maseno University（马塞诺大学）；Africa Nazarene University（非洲拿撒勒大学）
构建自动语音识别（ASR）系统是一项具有挑战性的任务，特别是对于需要几乎从头开始构建语料库并且缺乏足够训练数据的资源不足的语言。已经出现的情况是，包括斯瓦希里语在内的几种非洲土著语言在技术上资源不足。ASR系统至关重要，特别是对听力受损的人来说，他们可以从母语的成绩单中受益。然而，转录语音数据集的缺乏使为这些土著语言开发ASR模型的努力变得复杂。本文探讨了斯瓦希里语语音语料库的转录过程和发展，其中包括读出文本和自发的斯瓦希里语母语者的语音数据。该研究还讨论了斯瓦希里语中的元音和辅音，并为使用CMU Sphinx语音识别工具箱（一个开源语音识别工具箱）创建的ASR模型提供了一个更新的斯瓦希里语音素词典。使用扩展语音集来训练ASR模型，其WER和SER分别为18.87%和49.5%，比之前针对资源不足语言的类似研究性能有所提高。
2022-10-29 cs.CL cs.SD eess.AS
The Performance Evaluation of Attention-Based Neural ASR under Mixed Speech Input
Stony Brook University（石溪大学）
为了评估基于注意力的神经ASR在噪声条件下的性能，当前的趋势是将数小时的各种噪声语音数据呈现给模型并测量整体单词/音素出错率（W/PER）。一般来说，当暴露于两个或更多个扬声器活跃的鸡尾酒会设置时，这些模型的表现如何尚不清楚。在本文中，我们提出的混合语音信号的一个流行的注意力为基础的神经ASR，被称为听，注意，拼写（LAS），在不同的目标干扰比（TIR）和测量音素出错率。特别是，我们调查的细节时，两个音素混合什么将是预测的音素，以这种方式，我们建立一个模型，其中最有可能的预测音素。我们发现，当LAS与TIR = 0 dB的混合语音信号一起呈现时，PER相对增加65%，并且性能接近TIR = 30 dB的未混合场景。我们的研究结果表明，该模型，当与混合音素信号，往往预测那些具有较高的准确性，在评估原始音素信号。
2021-08-03 cs.CL cs.SD eess.AS
From Semi-supervised to Almost-unsupervised Speech Recognition with Very-low Resource by Jointly Learning Phonetic Structures from Audio and Text Embeddings
National Taiwan University（台湾大学）
对于世界上95%以上的低资源语言来说，为训练ASR系统生成大量带注释的语音数据仍然很困难。然而，我们注意到人类婴儿开始通过少量范例词的声音（或语音结构）学习语言，并在没有听到大量数据的情况下将这些知识“概括”到其他单词。我们在这方面开展了一些初步工作。Audio Word2Vec用于从口语单词（信号段）中学习语音结构，而另一个自动编码器用于从文本单词中学习语音结构。两者之间的关系可以共同学习，也可以在训练好后单独学习。这种关系可以用在资源非常少的语音识别中。在TIMIT数据集上的初始实验中，仅2.1小时的语音数据（其中2500个口语单词被注释，其余未标记）给出了44.6%的单词出错率，并且如果给出4.1小时的语音数据（其中20000个口语单词被注释），则该数字可以降低到34.2%。这些结果并不令人满意，但却是一个很好的起点。
2019-04-10 cs.CL cs.SD eess.AS
Low-Resourced Speech Recognition for Iu Mien Language via Weakly-Supervised Phoneme-based Multilingual Pre-training
Guangxi Minzu University（广西民族大学）；Tsinghua University（清华大学）
针对勉语标注语音稀缺的低资源语音识别问题，研究对比三类低资源ASR方法，发现弱监督音素多语言预训练的Whistle模型效果最优、数据效率更高。
2024-09-16 cs.CL cs.SD eess.AS
Phoneme-Based Contextualization for Cross-Lingual Speech Recognition in End-to-End Models
Google, LLC（谷歌有限责任公司）
上下文自动语音识别，即，在端到端（E2E）模型中，将识别偏向给定的上下文（例如，用户的播放列表或联系人）是具有挑战性的。这种模型在波束搜索解码期间保持有限数量的候选者，并且已经发现识别罕见的命名实体很差。当偏向于外语中的专有名词时，这个问题会加剧，例如，地理位置名称，在训练中几乎看不到，因此是词汇表外（OOV）。虽然字素或词段E2E模型可能很难拼写OOV单词，但音素在声学上更突出，过去的工作表明E2E音素模型可以更好地预测这些单词。在这项工作中，我们提出了一个E2E模型，包含英语单词和音素的建模空间，并执行上下文偏置的外国单词在音素层面上的外国单词的发音映射到类似的英语音素。在实验评估中，我们发现，所提出的方法比一个纯字素偏置模型的性能好16%，比一个纯字段偏置模型在外国地名识别任务上的性能好8%，在常规英语任务上只有轻微的退化。
2019-07-22 cs.CL cs.SD eess.AS
Language-universal phonetic encoder for low-resource speech recognition
ByteDance（字节跳动）
本文首次在注意力编码器-解码器架构内利用基于国际音标的语言通用音素模型提升低资源ASR性能，并提出适应方法，在极端低资源及不匹配场景下优于基线与多数先进工作。
2023-05-19 cs.CL cs.SD eess.AS
Boosting Local Spectro-Temporal Features for Speech Analysis
University of Toronto（多伦多大学）
本文研究语音识别中的音素分类问题，探索将目标检测常用的Haar特征和SVM分类的HoG特征用于局部频谱-时间特征表示，并给出初步实验结果。
2023-08-04 cs.CL cs.SD eess.AS
T5lephone: Bridging Speech and Text Self-supervised Models for Spoken Language Understanding via Phoneme level T5
MediaTek Research（联发科研究院）；National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
在口语语言理解（SLU）中，一种自然的解决方案是将预训练的语音模型（例如HuBERT）和预训练的语言模型（PLM，例如T5）连接起来。大多数以前的作品使用预训练的语言模型与基于子词的标记。然而，输入设备的粒度影响语音模型输出和语言模型输入的对齐，并且具有基于字符的标记化的PLM未被充分探索。在这项工作中，我们进行了广泛的研究如何PLMs与不同的标记化策略影响口语语言理解任务，包括口语问答（SQA）和语音翻译（ST）。我们进一步扩展了这个想法，创建了T5lephone（发音为电话），这是T5的一个变体，使用音素化文本进行预训练。我们使用现有的PLM初始化T5lephone，使用相对轻量级的计算资源对其进行预训练。我们在NMSQA上达到了最先进的水平，T5lephone型号超过了T5，在端到端SQA和ST上有其他类型的设备。
2022-11-01 cs.CL cs.SD eess.AS
PEDBench: Can Speech Models Detect Phonetic Errors?
Harvard University（哈佛大学）；University of Southern California（南加州大学）；University of Michigan（密歇根大学）；Columbia University（哥伦比亚大学）
本文提出首个语音错误检测基准PEDBench，评估13种先进语音模型发现其检测语音错误能力不足，经合成数据微调的模型优于基线，将公开资源推动PED系统发展。
2026-10-16 cs.CL cs.SD
Advancing LLM-based phoneme-to-grapheme for multilingual speech recognition
TasiTech Co., Ltd., China（塔斯科技股份有限公司，中国）；Speech Processing and Machine Intelligence (SPMI) Lab, Tsinghua University, China（清华大学语音处理与机器智能（SPMI）实验室，中国）；School of Computer Science and Technology, Xinjiang University, China（新疆大学计算机科学与技术学院，中国）
本文研究了基于大语言模型的多语言音素到字母转换，通过鲁棒训练和低资源过采样将平均识别错误率从10.56%降至7.66%。
2026-10-08 cs.CL cs.SD eess.AS
Evolutionary optimization of contexts for phonetic correction in speech recognition systems
SoldAI Research（索尔德艾研究所）
自动语音识别（ASR）是学术界和商业界日益关注的一个领域，这是由于对使用它来提供自然通信方法的应用的高需求。通用ASR系统在使用特定领域语言的应用程序中失败是很常见的。已经使用了各种策略来减少错误，例如提供修改语言模型的上下文和后处理校正方法。本文探讨了如何使用演化过程为特定的应用程序领域生成优化的上下文，以及基于语音距离度量的不同校正技术。结果表明，遗传算法作为上下文优化的工具，其中，添加到基于语音表示的后处理校正，可以减少识别语音的错误的可行性。
2021-02-23 cs.CL cs.SD eess.AS
Improving grapheme-to-phoneme conversion by learning pronunciations from speech recordings
Amazon Alexa（亚马逊Alexa）
本文提出一种利用少量标注样本初始化G2P模型，并通过训练多语言音素识别系统解码语音录音，进而为未登录词学习发音词典以重训G2P系统的方法，有效降低了跨语言和不同数据量下的音素错误率。
2023-07-31 cs.CL eess.AS
An End-to-End Mispronunciation Detection System for L2 English Speech Leveraging Novel Anti-Phone Modeling
National Taiwan Normal University（台湾师范大学）；ASUS AICS（华硕人工智能与云计算中心）
发音错误检测与诊断（MDD）是计算机辅助发音训练（CAPT）的核心组成部分。大多数现有的MDD方法专注于处理分类错误（即，一个规范音素被另一个替代，除了那些由删除或插入引起的发音错误）。然而，准确检测和诊断非范畴或失真错误（即近似L2音素与L1（第一语言）音素，或两者之间的错误发音）似乎仍然遥不可及。鉴于此，我们提出了一种新的端到端的自动语音识别（E2 E-based ASR）的方法进行MDD。特别是，我们扩展了原来的L2音素集与其相应的反音素集，使基于E2 E的MDD方法有一个更好的能力，采取在分类和非分类的发音错误，旨在提供更好的发音错误检测和诊断反馈。此外，一个新的迁移学习范式的设计，以获得初始模型估计的E2 E为基础的MDD系统没有资源的任何语音规则。在L2-ARCTIC数据集上的大量实验结果表明，我们的最佳系统在F1分数方面分别比现有的E2 E基线系统和基于发音评分的方法（GOP）高出11.05%和27.71%。
2020-08-28 cs.CL cs.SD eess.AS
Grapheme-Coherent Phonemic and Prosodic Annotation of Speech by Implicit and Explicit Grapheme Conditioning
Nara Institute of Science and Technology（奈良科学技术大学）；LY Corporation（LY公司）
本文提出通过隐式BERT提示编码和显式推理剪枝两种字素条件化方法，生成字素一致的音素与韵律标注，并验证其在下游口音估计任务中的有效性。
2025-06-05 cs.CL cs.SD eess.AS
Discovering Phonetic Inventories with Crosslingual Automatic Speech Recognition
Center of Language and Speech Processing, The Johns Hopkins University（约翰斯·霍普金斯大学语言与语音处理中心）；Human Language Technology Center of Excellence, The Johns Hopkins University（约翰斯·霍普金斯大学人类语言技术卓越中心）；Multimedia Computing Group, Delft University of Technology（代尔夫特理工大学多媒体计算组）；Department of Electrical and Computer Engineering, University of Illinois（伊利诺伊大学电气与计算机工程系）
数据采集的高成本使得自动语音识别（ASR）模型训练对于大多数现有语言来说都是有问题的，包括甚至没有书面脚本的语言，或者电话库存仍然未知的语言。过去的工作探索了多语言培训，迁移学习以及零样本学习，以便为这些低资源语言构建ASR系统。虽然已经表明，从多种语言中汇集资源是有帮助的，但我们还没有看到ASR模型成功应用于训练过程中看不到的语言。将ASR从可见语言适应为不可见语言的关键一步是创建不可见语言的电话库存。我们工作的最终目标是在没有任何语言知识的情况下，以无监督的方式建立一种在训练过程中看不见的语言的电话库存。在本文中，我们1）调查不同因素的影响（即，模型架构、音素定位模型、语音表示类型）; 2）提供对哪些音素在语言间传递良好以及哪些音素在语言间传递不好的分析，以便理解自动音素清单创建的局限性和进一步改进的领域;以及3）呈现以无监督方式构建未见过语言的音素清单的不同方法。为此，我们对一组13种语音不同的语言和几种深入的分析进行了单，多和跨语言实验。我们发现了一些通用的电话令牌（IPA符号），它们在跨语言方面得到了很好的识别。通过对结果的详细分析，我们得出结论，独特的声音，相似的声音，和音调的语言仍然是一个主要的挑战，语音库存发现。
2022-01-28 cs.CL cs.SD eess.AS
On the Relevance of Phoneme Duration Variability of Synthesized Training Data for Automatic Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
本研究通过oracle实验和随机游走算法调整非自回归TTS合成数据的音素时长分布，使其更接近真实时长，从而提升半监督ASR系统的性能。
2023-10-12 cs.CL cs.SD eess.AS
PAST: Phonetic-Acoustic Speech Tokenizer
The School of Computer Science and Engineering（计算机科学与工程学院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文提出端到端语音分词器 PAST，通过有监督语音数据和辅助任务联合建模语音信息与信号重建，无需外部预训练模型，并引入可流式因果变体以支持实时应用，在语音表示、重建及语音语言模型任务中均优于现有基线。
2025-06-04 cs.CL cs.LG cs.SD
Similarity and Content-based Phonetic Self Attention for Speech Recognition
Seoul National University（首尔国立大学）
基于变换器的语音识别模型由于在特征提取过程中利用每一帧的自注意（SA）机制而取得了巨大的成功。特别地，在低层的SA头捕获各种语音特征的查询关键点积，这是设计来计算帧之间的成对关系。在本文中，我们提出了一个变体SA提取更具代表性的语音特征。语音自我注意（phSA）由两种不同类型的语音注意组成，一种是基于相似性的，另一种是基于内容的。简而言之，基于相似性的注意力捕捉帧之间的相关性，而基于内容的注意力只考虑每一帧，而不受其他帧的影响。我们确定了原始点积方程的哪些部分与两种不同的注意力模式有关，并通过简单的修改来改进每个部分。音素分类和语音识别的实验表明，在不增加延迟和参数大小的情况下，用phSA代替低层的SA提高了识别性能。
2022-07-12 cs.CL eess.AS
Incorporating L2 Phonemes Using Articulatory Features for Robust Speech Recognition
NAVER Cloud（NAVER云）
本文提出通过发音特征引入韩语 L2 音素，并以端到端 LF-MMI 训练声学模型建模发音变体，从而仅用 L1 数据提升非母语 ASR，L2 微调还能同时改善两类语音识别。
2023-06-05 cs.CL cs.LG cs.SD
Curriculum-Based Noise Adaptation for Phoneme-to-Text Reconstruction in Visual Speech Recognition
Kyushu Institute of Technology（九州工业大学）
针对视觉语音识别中音素到文本重建模型训练与推理不匹配的问题，提出渐进式错误课程训练（PECT），通过逐步引入真实音素错误提升鲁棒性，在LRS2和LRS3上显著降低词错误率。
2026-09-21 cs.CL cs.CV cs.SD
Phonetically-Oriented Word Error Alignment for Speech Recognition Error Analysis in Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
我们提出了一种用于语音识别评估的常用字错误率（WER）指标的变体，该指标在没有时间边界信息的情况下结合了音素的对齐。在计算参考和假设成绩单中的单词的Levenshtein对齐之后，相邻错误的跨度被转换成具有单词和音节边界的音素，并且执行语音Levenshtein对齐。对齐的音素被重新组合成对齐的单词，这些单词调整每个错误区域中的单词对齐标签。我们证明，我们的语音导向的单词错误率（POWER）产生类似的分数WER与更好的单词对齐的附加优势，并能够捕捉对应于语音识别假设中的同音错误的一对多单词对齐。这些改进的比对使我们能够更好地跟踪Levenshtein错误类型对语音翻译等下游任务的影响。
2019-04-24 cs.CL
Phoneme Based Neural Transducer for Large Vocabulary Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
为了结合经典的和端到端的语音识别方法的优点，我们提出了一个简单的，新颖的和有竞争力的基于音素的神经换能器建模方法。比较了不同的对齐标签拓扑结构，提出了基于词尾的音素标签增强算法。利用音素的局部依赖性，我们采用了一个简化的神经网络结构和一个简单的集成与外部词级语言模型，以保持seq到seq建模的一致性。我们还提出了一个简单，稳定和有效的训练过程中使用逐帧交叉熵损失。一个语音上下文大小为1被证明是足够的最佳性能。提出了一种简化的定时采样方法，并对不同的解码方法进行了简要的比较。我们最好的模型的整体性能与TED-LIUM Release 2和Switchboard语料库的最新（SOTA）结果相当。
2021-04-20 cs.CL eess.AS
The Role of Phonetic Units in Speech Emotion Recognition
Baidu Research（百度研究院）
我们提出了一种方法，通过情感相关的语音识别使用Wav2vec 2.0的情感识别。我们的方法取得了显着的改善，在IEMOCAP，一个基准的情绪数据集上的大多数以前报道的结果。采用不同类型的语音单元，并在数据集和语言内以及跨数据集和语言的情感识别的准确性和鲁棒性方面进行比较。音素，广泛的语音类和音节的模型都显着优于话语模型，表明语音单元是有帮助的，应该被纳入语音情感识别。最好的性能是使用广泛的语音类。需要进一步的研究，以调查的最佳设置的广泛的语音类的情感识别任务。最后，我们发现Wav2vec 2.0可以进行微调，以识别比音素更粗粒度或更大的语音单元，例如广泛的语音类别和音节。
2021-08-02 cs.CL
Using Phonemes in cascaded S2S translation pipeline
University of Liechtenstein（列支敦士登大学）
本文研究在级联语音到语音翻译流水线中使用音素作为文本表示，训练开源序列到序列模型于WMT17数据集，发现音素方法质量相当且资源需求更低，更适合低资源语言。
2025-04-22 cs.CL cs.LG cs.SD
Edge Phoneme Recognition for Children's Speech through Age-Aware Training
Occidental College（西方学院）
该研究针对儿童语音音素检测难题，提出年龄感知训练方法，构建轻量级模型，开发出可在手机运行的PhonemeTrainer，提升儿童语音ASR与发音辅助应用性能并保障隐私合规。
2026-08-12 cs.AI cs.CL cs.SD
Investigating the Impact of Cross-lingual Acoustic-Phonetic Similarities on Multilingual Speech Recognition
Liveperson Research Centre（Liveperson研究中心）
多语言自动语音识别（ASR）系统主要受益于低资源语言，但相对于其单语言对应物，在若干语言之间遭受性能降级。有限的研究集中在理解多语言语音识别设置中的语言行为。本文提出了一种新的数据驱动的方法来研究跨语言的声学语音相似性。该技术测量来自各种单语声学模型的后验分布与目标语音信号之间的相似性。深度神经网络被训练为映射网络，以将来自不同声学模型的分布转换为直接可比较的形式。分析发现，重叠音素集的数量不能真实地估计语言的接近程度。熵分析的建议映射网络显示，一种语言与较少的重叠，可以更适合跨语言迁移，因此更有益的多语种设置。最后，利用所提出的后验变换方法融合目标语言的单语模型。与单语对应相比，实现了~8%的相对改进。
2022-07-07 cs.CL eess.AS
Hybrid phonetic-neural model for correction in speech recognition systems
SoldAI Research（SoldAI研究院）
自动语音识别（ASR）是多种设置中的相关领域，因为它提供了应用程序和用户之间的自然通信机制。在使用特定于特定应用程序域的语言的环境中，ASR通常会失败。已经探索了一些策略，通过后处理，特别是自动拼写检查和深度学习方法来减少关闭ASR中的错误。在这篇文章中，我们探索使用深度神经网络来改进应用于语音音频数据库的语音校正算法的结果。结果显示，无论是在原始转录还是在语音纠正中，单词错误率（WER）都有所降低，这表明深度学习模型与后处理纠正策略一起减少特定语言领域中封闭式ASR所犯错误的可行性。
2021-02-12 cs.CL eess.AS
TSPC: A Two-Stage Phoneme-Centric Architecture for code-switching Vietnamese-English Speech Recognition
The University of Danang, Vietnam - Korea University of Information and Communication Technology, Danang,Vietnam（丹江大学 - 信息与通信技术大学）
本文提出TSPC模型，通过双阶段音素架构提升越南-英语语切换语音识别性能，实现更低的词错误率和更高效的资源利用。
2026-03-04 cs.AI cs.CL cs.SD
AP-GRPO: Anchor-Gated Phonetic Alignment with Policy Optimization for Pathological Speech Reconstruction
University of California Irvine（加州大学尔湾分校）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Kennesaw State University（肯尼索州立大学）
针对神经退行性和神经运动障碍患者的病理语音，提出AP-GRPO框架，通过锚定门控奖励和语音对齐奖励优化语音语言模型，实现忠实重建，并揭示疾病特异性模式。
2026-06-16 cs.AI cs.MM cs.SD
Strategies in Transfer Learning for Low-Resource Speech Synthesis: Phone Mapping, Features Input, and Source Language Selection
University of Groningen（格罗宁根大学）；Fryske Akademy/Mercator Research Centre（弗里斯兰学院/墨卡托研究中心）；ReadSpeaker（ReadSpeaker公司）
本研究比较了音素映射和音系特征输入在低资源TTS迁移学习中的效果，发现特征输入更优，且ASPF在选择源语言时有效，而语系距离无效。
2023-06-21 cs.CL eess.AS
ViSpeechFormer: A Phonemic Approach for Vietnamese Automatic Speech Recognition
Faculty of Information Science and Engineering（信息科学与工程学院）；University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh city（胡志明市越南国家大学）
ViSpeechFormer 是首个基于音素的越南语 ASR 框架，通过建模音素表示实现了更强的性能和更好的泛化能力。
2026-02-10 cs.CL
Phonemic and Graphemic Multilingual CTC Based Speech Recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
训练自动语音识别（ASR）系统需要目标语言的大量数据以实现良好的性能。虽然大型培训语料库是现成的语言，如英语，有一个长尾的语言，确实遭受缺乏资源。处理数据稀疏性的一种方法是使用来自其他源语言的数据并构建多语言系统。最近，基于连接主义时间分类（CTC）训练的递归神经网络（RNN）的ASR系统获得了大量的研究兴趣。在这项工作中，我们扩展了我们以前的方法对培训CTC为基础的系统多语言。我们的系统具有一个全球音素集，基于每种源语言的联合音素集。我们评估了不同语言组合的使用以及语言特征向量（LFV）的添加。作为对比实验，我们也建立了基于字素的系统。已知具有多语言音素集的系统与其单语言对应物相比在性能上受到影响。通过我们提出的方法，我们可以减少这些单语言和多语言设置之间的差距，使用字素或音素。
2017-11-13 cs.AI cs.CL eess.AS
MMSpeech: Multi-modal Multi-task Encoder-Decoder Pre-training for Speech Recognition
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）
针对汉语自动语音识别（ASR）提出了一种新的多模态多任务编码解码器预训练框架（MMSpeech），该框架同时使用了未标记的语音和文本数据。语音-文本联合预训练的主要困难来自语音和文本模态之间的显著差异，特别是对于普通话语音和文本。与英语和其他使用字母书写系统的语言不同，普通话使用表意书写系统，其中字符和声音并不紧密地相互映射。因此，我们建议将音素模态引入预训练，这可以帮助捕获汉语语音和文本之间的模态不变信息。具体来说，我们采用了一个多任务学习框架，包括五个自我监督和监督任务，语音和文本数据。对于端到端预训练，我们引入了利用未标记语音和文本数据的自监督语音到伪代码（S2 C）和音素到文本（P2 T）任务，其中语音伪代码对和音素文本对是对监督语音文本对的补充。为了训练编码器学习更好的语音表示，我们引入了自监督掩蔽语音预测（MSP）和监督音素预测（PP）任务来学习将语音映射到音素。此外，我们直接将下游有监督的语音到文本（S2 T）任务添加到预训练过程中，这可以进一步提高预训练性能，即使没有微调也能获得更好的识别结果。在AISHELL-1上的实验表明，该方法具有最佳的性能，与其他预训练方法相比，相对提高了40%以上。
2022-11-29 cs.CL cs.LG cs.MM
Corpus Phonetics Tutorial
语料库语音学已成为语言分析中一种日益流行的研究方法。随着语音技术和计算能力的进步，语音数据的大规模处理已经成为一种可行的技术。本教程向语音科学家和工程师介绍各种自动语音处理工具。这些包括使用Kaldi自动语音识别工具包（Povey等人，2011）、使用FAVE-align的强制对齐（Rosenfelder等人，2014），蒙特利尔强制对齐（McAuliffe等人，2017），和宾夕法尼亚语音实验室强制对齐器（Yuan & Liberman，2008），以及使用AutoVOT的塞音突发对齐（Keshet et al.，2014年）。本教程提供了每个程序的一般概述，运行程序的分步说明，以及一些提示和技巧。
2018-11-13 cs.CL
Estimating Phoneme Class Conditional Probabilities from Raw Speech Signal using Convolutional Neural Networks
Idiap Research Institute（IDIAP研究所）
在混合隐马尔可夫模型/人工神经网络（HMM/ANN）自动语音识别（ASR）系统中，首先基于诸如语音感知或/和语音产生知识的先验知识从语音信号中提取声学特征，然后用ANN对声学特征进行建模，从而估计音素类条件概率。更具体地说，在图像处理和文本处理领域中，已经表明这种分而治之的策略（即，分离特征提取和建模步骤）可能不是必需的。从这些研究的动机，在卷积神经网络（CNN）的框架下，本文研究了一种新的方法，其中输入到人工神经网络的原始语音信号和输出是音素类条件概率估计。在TIMIT音素识别任务中，我们研究了不同的ANN架构，以显示CNN的优势，并将所提出的方法与传统方法进行比较，其中，基于频谱的特征MFCC由多层感知器提取和建模。我们的研究表明，所提出的方法可以产生可比或更好的音素识别性能相比，传统的方法。这表明CNN可以从原始语音信号中自动学习与音素分类相关的特征。
2013-06-12 cs.CL cs.LG cs.NE
Evaluating Bias in Phoneme-Based Automatic Speech Recognition Systems: An Analysis of IPA Transcription Models
University of Utah（犹他大学）
研究评估WhisperIPA和ZIPA两个开源IPA转录ASR系统在不同口音和语言上的性能，通过标准音素错误率和软音素错误率分析，发现模型在性别、口音、种族和年龄等群体间存在持续性能差异。
2026-09-18 cs.CL
Goodness-of-pronunciation without phoneme time alignment
Institute for Infocomm Research (I2R), A STAR, Singapore jeremy
本文提出一种无需音素时间对齐的语音评估方法，通过映射ASR假设到音素混淆网络，结合词级说话速度和持续时间，使用交叉注意力架构融合音素和帧级特征，实现低资源语言的语音评估扩展。
2026-03-26 cs.AI cs.CL cs.HC
Which phoneme-to-viseme maps best improve visual-only computer lip-reading?
University of East Anglia（东英吉利大学）
所有当前视觉语音识别系统的关键假设是存在称为视位的视觉语音单元，其可以映射到声学语音单元，即音素。尽管有一些出版的地图，但很少看到这些测试的有效性，特别是在视觉唇读（许多作品使用视听语音）。在这里，我们检查了120个映射，并考虑是否有任何在谈话者之间是稳定的。我们展示了一种方法，用于设计从一个自动唇读系统的音素混淆的基础上的地图，我们提出了新的映射，显示个人谈话者的改进。
2017-10-03 cs.CL cs.CV eess.AS
Beyond Phones: Structured Phonemic Modeling for Vietnamese Automatic Speech Recognition
Faculty of Information Science and Engineering（信息科学与工程学院）；Faculty of Computer Science（计算机科学学院）；University of Information Technology（信息技术大学）；Vietnam National University, Ho Chi Minh city（越南国家大学，胡志明市）
针对越南语自动语音识别，提出基于音素级音节结构解码的方法，通过显式建模音节音系组成，在紧凑音素集上生成有效音节结构，显著减小词汇量并在两个基准上超越强基线。
2026-10-06 cs.CL
Blind phoneme segmentation with temporal prediction errors
Carnegie Mellon University（卡内基梅隆大学）；Aalto University（阿尔托大学）；LSCP / ENS / EHESS / CNRS（LSCP / 巴黎高等师范学院 / 法国社会科学高等研究院 / 法国国家科学研究中心）
语音的音素分割是语音识别系统的关键步骤。我们提出了一种新的无监督算法的基础上的序列预测模型，如马尔可夫链和递归神经网络。我们的方法包括在分析训练预测语音特征帧的模型的错误配置文件。具体来说，我们试图学习的动态语音在MFCC空间和假设的边界从局部最大值的预测误差。我们在TIMIT数据集上评估了我们的系统，并对类似方法进行了改进。
2017-05-27 cs.CL
Improving Speech Recognition of Named Entities in Classroom Speech with LLM Revision and Phonetic-Semantic Context
本文提出利用LLM修订和音义上下文提升课堂语音中命名实体的识别准确率，通过MIT课程数据集验证，实现30%的WER降低。
2026-04-19 cs.AI cs.CL
Phoneme-guided TTS augmentation for ASR: A unified pipeline and multilingual evaluation
Shanghai Qi Zhi Institute（上海期智研究院）；Megatronix (Beijing) Technology Co., Ltd.（美格创芯（北京）科技有限公司）
该研究提出基于音素的TTS到ASR增强统一流水线及PFGS方法，经多语言ASR实验验证，PFGS可显著降低词错误率，明确了合成规模等关键控制变量。
2026-09-18 cs.CL
Identifying and typifying demographic unfairness in phoneme-level embeddings of self-supervised speech recognition models
MILES Team, LAMSADE, Université Paris Dauphine-PSL（巴黎-萨克雷大学巴黎第四大学LAMSADE团队）；GETALP Team, LIG, Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学LIG团队）
本文研究了自监督语音识别模型中音素嵌入的不公平现象，提出两种误差类型：随机误差与系统误差，并发现音素嵌入中的偏差可能影响不同群体的性能。
2026-04-24 cs.CL
Phonological Tokenizer: Prosody-Aware Phonetic Token via Multi-Objective Fine-Tuning with Differentiable K-Means
The University of Tokyo（东京大学）；Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
本文提出Phonological Tokenizer，通过可微k-means和多任务目标微调，生成保留音系信息且剔除说话人身份的语音标记，用于提升语音语言模型的性能。
2026-01-27 cs.SD
On the Choice of Modeling Unit for Sequence-to-Sequence Speech Recognition
RWTH Aachen University（亚琛工业大学）；Google（谷歌）
在传统的语音识别中，对于诸如英语的非语音语言，基于音素的模型优于基于字素的模型。两者之间的性能差距通常随着训练数据量的增加而减小。在这项工作中，我们研究了基于注意力的编码器-解码器模型的建模单元的选择的影响。我们在LibriSpeech 100小时，460小时和960小时任务上进行实验，使用各种目标单位（音素，字素和词段）;在所有任务中，我们发现字素或词段模型始终优于基于音素的模型，即使它们在没有词典或外部语言模型的情况下进行评估。我们还研究了模型的互补性：我们发现，我们可以提高WERs由9%的相对由rescoring N-最好的列表从一个强大的词片为基础的基线与音素或字素模型。然而，对音素系统生成的N最佳列表重新评分提供了有限的改进。进一步的分析表明，基于词段的模型产生更多样化的N-最佳假设，从而降低甲骨文WER，比音素模型。
2019-07-23 cs.CL
