Phoneme-Guided Initialization for LLM-based Speech Recognition
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
提出音素引导初始化方法，通过预训练音频编码器于S2P、大语言模型于P2G任务，再端到端微调，在低资源语音识别上匹配或超越级联及端到端基线。
2026-10-08 cs.CL cs.SD eess.AS
Phoneme-Based Ratio Mask Estimation for Reverberant Speech Enhancement in Cochlear Implant Processors
Duke University（杜克大学）
耳蜗植入体（CI）用户在混响听音环境中理解语音有相当大的困难。时频（T-F）掩蔽是旨在通过将混响语音乘以增益值矩阵以抑制由混响主导的T-F仓来提高语音可懂度的常用技术。最近提出的掩模估计算法利用机器学习方法来区分目标语音和混响反射。然而，语音的频谱-时间结构是高度可变的，并且依赖于潜在的音素。潜在地克服这种可变性的单向式方法是在掩码估计期间利用音素信息的明确知识。本研究提出一种以音素为基础的遮罩估测演算法，针对每一音素分别训练遮罩估测模型。在正常听力的听众中进行句子识别测试，以确定基于音素的掩码估计算法在音素的完美知识可用的理想情况下是否有益。结果表明，与传统的音素无关的面具相比，基于音素的面具提高了声码语音的可懂度。研究结果表明，音素为基础的语音增强策略可能有利于CI用户在混响听环境。
2021-05-28 cs.SD eess.AS
XPhoneBERT: A Pre-trained Multilingual Model for Phoneme Representations for Text-to-Speech
VinAI Research（VinAI研究院）
本文提出首个多语言音素表示预训练模型XPhoneBERT，基于BERT架构和RoBERTa方法在近100种语言的3.3亿音素级句子上训练，可显著提升TTS模型的自然度与韵律表现。
2023-05-31 cs.CL cs.SD eess.AS
Robust Automatic Speech Recognition via WavAugment Guided Phoneme Adversarial Training
Alibaba Group（阿里巴巴集团）；Chinese Academy of Sciences（中国科学院）
针对ASR模型需兼顾干净样本性能与抗扰动、抗域偏移能力的难题，提出WavAugment引导的音素对抗训练方法wapat，通过音素空间对抗增强与增强样本音素引导的对抗生成提升泛化性，在ESB基准上实现6.28%的WER降低，刷新SOTA。
2023-07-24 cs.CL cs.SD eess.AS
DiscoPhon: Benchmarking the Unsupervised Discovery of Phoneme Inventories With Discrete Speech Units
LSCP, ENS, EHESS, CNRS, PSL University, France（法国国家科学研究中心（CNRS）、巴黎高等师范学院（ENS）、高等科学研究所（EHESS）、巴黎社会科学大学（PSL University）和LSCP实验室）
DiscoPhon通过评估无监督音素发现方法，测试在未知语言中从离散语音单元生成音素库存的能力，提供四个预训练多语言模型基准，展示当前模型能有效关联语音单元与音素。
2026-09-25 cs.CL cs.SD eess.AS
Phoneme-based Distribution Regularization for Speech Enhancement
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
现有的语音增强方法主要是在信号级或时频域将语音与噪声分离。他们很少注意损坏信号的语义信息。在本文中，我们的目标是弥合这一差距，提取音素身份，以帮助语音增强。具体来说，我们提出了一个基于音素的分布正则化（PbDr）的语音增强，它将逐帧音素信息纳入语音增强网络的条件方式。由于不同的音素往往会导致不同的频率特征分布，我们建议学习一个参数对，即规模和偏见，通过音素分类向量调制的语音增强网络。调制参数对不仅包括帧方面的条件，而且还包括频率方面的条件，其有效地将特征映射到音素相关分布。通过这种方式，我们明确规范的语音增强功能的识别向量。在公开数据集上的实验表明，该PbDr模块不仅可以提高语音增强的感知质量，而且可以提高ASR系统对增强后语音的识别准确率。该PbDr模块也可以容易地结合到其他语音增强网络中。
2021-04-08 cs.SD eess.AS
Towards Unsupervised Speech Recognition and Synthesis with Quantized Speech Representation Learning
College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）
在本文中，我们提出了一个顺序表示量化自动编码器（SeqRQ-AE）学习主要是不成对的音频数据，并产生序列的表示非常接近的语音发音的音素序列。这是通过适当的时间分割，使表示音素同步，和适当的语音聚类，有不同的表示接近音素的数量的总数。不同的表示和音素之间的映射是从少量的注释配对数据中学习的。在LJSpeech上的初步实验表明，学习到的元音表征在潜在空间中的相对位置与语言学专家定义的IPA元音图中所示的位置很好地平行。在不到20分钟的注释语音中，我们的方法在音素识别方面优于现有方法，并且能够合成击败我们的基线模型的可理解语音。
2020-02-05 cs.CL cs.SD eess.AS
Speech Rhythm-Based Speaker Embeddings Extraction from Phonemes and Phoneme Duration for Multi-Speaker Speech Synthesis
NTT Human Informatics Laboratories（NTT人类信息学研究所）；NTT Corporation（NTT公司）
本文提出一种基于语音节奏的说话人嵌入提取方法，通过音素及其时长建模目标说话人特征，实验表明其在仅用少量数据时即可提升多说话人语音合成中节奏还原的准确性。
2024-02-11 cs.CL cs.LG cs.SD
Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment
Ministry of Defense, Saudi Arabia（沙特阿拉伯国防部）；Ability Center, Saudi Arabia（沙特阿拉伯能力中心）；University of Rochester, USA（罗切斯特大学）
提出Harf-Speech模块化系统，结合MSA音素化器、微调语音到音素模型、Levenshtein对齐及混合评分器，在阿拉伯语音素级发音评估中达到0.791 Pearson相关和0.659 ICC，优于现有端到端方法。
2026-06-23 cs.AI cs.CL cs.SD
STRATA: Word Boundaries & Phoneme Recognition From Continuous Urdu Speech using Transfer Learning, Attention, & Data Augmentation
FAST-NUCES（巴基斯坦国家科技大学（FAST-NUCES））
音素识别是NLP中一个很大程度上尚未解决的问题，特别是对于像乌尔都语这样的低资源语言。试图从音频语音中提取音素的系统需要手工标记的音标。这就要求语言学家用语音数据的相关语音表示来注释语音数据，这是一项既昂贵又繁琐的任务。在本文中，我们提出了STRATA，监督音素识别的框架，克服了低资源语言的数据稀缺问题，使用集成了迁移学习，注意力机制和数据增强的seq2seq神经架构。STRATA采用迁移学习将网络损耗减少一半。它使用注意力机制进行词边界和帧对齐检测，进一步减少了4%的网络损耗，并且能够以92.2%的准确率识别词边界。STRATA使用各种数据增强技术，进一步将损失减少1.5%，并且在泛化和准确性方面对新信号更加稳健。STRATA能够实现16.5%的音素出错率，并在TIMIT数据集（英语）和CSaLT数据集（乌尔都语）的最新水平上分别提高了1.1%和11.5%。
2022-04-16 cs.CL cs.SD eess.AS
The Performance Evaluation of Attention-Based Neural ASR under Mixed Speech Input
Stony Brook University（石溪大学）
为了评估基于注意力的神经ASR在噪声条件下的性能，当前的趋势是将数小时的各种噪声语音数据呈现给模型并测量整体单词/音素出错率（W/PER）。一般来说，当暴露于两个或更多个扬声器活跃的鸡尾酒会设置时，这些模型的表现如何尚不清楚。在本文中，我们提出的混合语音信号的一个流行的注意力为基础的神经ASR，被称为听，注意，拼写（LAS），在不同的目标干扰比（TIR）和测量音素出错率。特别是，我们调查的细节时，两个音素混合什么将是预测的音素，以这种方式，我们建立一个模型，其中最有可能的预测音素。我们发现，当LAS与TIR = 0 dB的混合语音信号一起呈现时，PER相对增加65%，并且性能接近TIR = 30 dB的未混合场景。我们的研究结果表明，该模型，当与混合音素信号，往往预测那些具有较高的准确性，在评估原始音素信号。
2021-08-03 cs.CL cs.SD eess.AS
PRODIS -- a speech database and a phoneme-based language model for the study of predictability effects in Polish
KTH Royal Institute of Technology（皇家理工学院）；Adam Mickiewicz University（亚当·密茨凯维奇大学）
该研究构建了波兰语语音数据库PRODIS及音素级语言模型，用于分析韵律、话语因素与可预测性效应交互对声学参数的影响，并提供了高质量、可扩展的公开语料库。
2024-04-15 cs.CL cs.SD eess.AS
Improving Word Recognition in Speech Transcriptions by Decision-level Fusion of Stemming and Two-way Phoneme Pruning
Carnegie Mellon University（卡内基梅隆大学）
我们介绍了一种无监督的方法来纠正高度不完善的语音transmittance的基础上的决策级融合的词干和双向音素修剪。通过使用Ffmpeg框架提取音频并使用Google API进一步将音频转换为文本转录，从视频中获取转录。在基准LRW数据集中，有500个单词类别，每个类别有50个mp4格式的视频。所有视频都由29帧（每帧1.16秒长）组成，单词出现在视频中间。在我们的方法中，我们试图通过使用词干提取，音素提取，过滤和修剪来提高基线准确率从9.34%。在将词干提取算法应用于文本转录本并评估结果后，我们在单词识别中达到了23.34%的准确率。为了将单词转换为音素，我们使用了卡内基梅隆大学（CMU）的发音词典，该词典提供了英语单词到其发音的语音映射。提出了一种双向音素修剪方法，该方法包括两个非顺序的步骤：1）对含有元音和爆破音的音素进行过滤和修剪; 2）对含有元音和摩擦音的音素进行过滤和修剪。在得到词干提取和双向音素修剪的结果后，我们采用决策级融合，使单词识别率提高到32.96%。
2021-07-26 cs.CL cs.SD eess.AS
Multitask Learning for Grapheme-to-Phoneme Conversion of Anglicisms in German Speech Recognition
Fraunhofer Institute for Intelligent Analysis and Information Systems (IAIS)（弗劳恩霍夫智能分析与信息系统研究所）
本文提出多任务序列到序列方法，通过区分外来词与本土词提升德语外来词发音转换效果，减少识别错误率。
2022-01-18 cs.CL cs.SD eess.AS
Phoneme-Based Contextualization for Cross-Lingual Speech Recognition in End-to-End Models
Google, LLC（谷歌有限责任公司）
上下文自动语音识别，即，在端到端（E2E）模型中，将识别偏向给定的上下文（例如，用户的播放列表或联系人）是具有挑战性的。这种模型在波束搜索解码期间保持有限数量的候选者，并且已经发现识别罕见的命名实体很差。当偏向于外语中的专有名词时，这个问题会加剧，例如，地理位置名称，在训练中几乎看不到，因此是词汇表外（OOV）。虽然字素或词段E2E模型可能很难拼写OOV单词，但音素在声学上更突出，过去的工作表明E2E音素模型可以更好地预测这些单词。在这项工作中，我们提出了一个E2E模型，包含英语单词和音素的建模空间，并执行上下文偏置的外国单词在音素层面上的外国单词的发音映射到类似的英语音素。在实验评估中，我们发现，所提出的方法比一个纯字素偏置模型的性能好16%，比一个纯字段偏置模型在外国地名识别任务上的性能好8%，在常规英语任务上只有轻微的退化。
2019-07-22 cs.CL cs.SD eess.AS
Low-Resourced Speech Recognition for Iu Mien Language via Weakly-Supervised Phoneme-based Multilingual Pre-training
Guangxi Minzu University（广西民族大学）；Tsinghua University（清华大学）
针对勉语标注语音稀缺的低资源语音识别问题，研究对比三类低资源ASR方法，发现弱监督音素多语言预训练的Whistle模型效果最优、数据效率更高。
2024-09-16 cs.CL cs.SD eess.AS
Cross-Dialect Text-To-Speech in Pitch-Accent Language Incorporating Multi-Dialect Phoneme-Level BERT
The University of Tokyo（东京大学）
针对音高重音语言的跨方言文本转语音任务，提出融合多方言音素级BERT、含重音潜变量预测模块的三模块TTS模型，实验证明其提升了合成语音的方言自然度。
2024-09-11 cs.CL cs.SD eess.AS
Mixed-Phoneme BERT: Improving BERT with Mixed Phoneme and Sup-Phoneme Representations for Text to Speech
The Chinese University of Hong Kong（香港中文大学）；Microsoft Research Asia（微软亚洲研究院）；Tsinghua University（清华大学）；Microsoft Azure Speech（微软Azure语音部门）；Zhejiang University（浙江大学）
近年来，利用BERT预训练来改进文本转语音（TTS）中的音素编码器引起了越来越多的关注。然而，这些作品应用基于字符的单元的预训练来增强TTS音素编码器，这与将音素作为输入的TTS微调不一致。仅使用音素作为输入的预训练可以缓解输入失配，但由于音素词汇量有限，缺乏对丰富的表示和语义信息建模的能力。在本文中，我们提出了MixedPhoneme BERT，一个新的变体的BERT模型，使用混合音素和超音素表示，以提高学习能力。具体来说，我们合并相邻的音素到子音素，并结合音素序列和合并的子音素序列作为模型输入，这可以提高模型的能力，学习丰富的上下文表示。实验结果表明，我们提出的混合音素BERT显着提高TTS性能与0.30 CMOS增益相比，FastSpeech 2基线。混合音素BERT实现了3倍的推理加速和与之前的TTS预训练模型PnG BERT相似的语音质量
2022-07-19 cs.CL eess.AS
Advancing LLM-based phoneme-to-grapheme for multilingual speech recognition
TasiTech Co., Ltd., China（塔斯科技股份有限公司，中国）；Speech Processing and Machine Intelligence (SPMI) Lab, Tsinghua University, China（清华大学语音处理与机器智能（SPMI）实验室，中国）；School of Computer Science and Technology, Xinjiang University, China（新疆大学计算机科学与技术学院，中国）
本文研究了基于大语言模型的多语言音素到字母转换，通过鲁棒训练和低资源过采样将平均识别错误率从10.56%降至7.66%。
2026-10-08 cs.CL cs.SD eess.AS
Data-driven grapheme-to-phoneme representations for a lexicon-free text-to-speech
Samsung Research（三星研究院）
本文提出利用自监督学习获得数据驱动音素表示的无词典G2P方法，在无需语言词典和专家知识的情况下，MOS达到或略优于传统方法。
2024-01-19 cs.CL cs.SD eess.AS
Evaluating Multichannel Speech Enhancement Algorithms at the Phoneme Scale Across Genders
Université de Lorraine, CNRS, Inria, LORIA（卢瓦尔大学、法国国家科学研究中心、法国国家信息与自动化研究所、LORIA研究所）
本文在音素尺度上评估多通道语音增强算法，发现性别差异在语句级微小但在音素级显著，算法对女性语音（尤其塞音、擦音、元音）干扰抑制更好且伪影更少。
2025-06-23 cs.SD eess.AS
Phoneme-Level Feature Discrepancies: A Key to Detecting Sophisticated Speech Deepfakes
Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；Guilin University of Electronic Technology（桂林电子科技大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Alibaba Group（阿里巴巴集团）
本文提出一种基于音素级特征差异的语音深度伪造检测方法，利用自适应音素池化和图注意力网络建模时间依赖性，并在四个基准数据集上取得优于现有方法的性能。
2024-12-17 cs.AI cs.SD eess.AS
Prosodic Clustering for Phoneme-level Prosody Control in End-to-End Speech Synthesis
Innoetics, Samsung Electronics（三星电子 Innoetics）；Mobile Communications Business, Samsung Electronics（三星电子移动通信事业部）
本文提出了一种在基于注意力的自回归文语转换系统中，在音素层次上控制韵律的方法。而不是学习潜在的韵律特征的变分框架，因为通常做的，我们直接提取音素级的F0和持续时间的语音数据中的训练集的功能。使用无监督聚类对每个韵律特征进行离散化，以便为每个话语产生韵律标签序列。该序列与音素序列并行使用，以便利用韵律编码器和相应的注意力模块来调节解码器。实验结果表明，该方法在保持高质量语音的同时，允许音素级的F0和时长控制。通过用音符替换F0簇质心，该模型还可以提供对扬声器范围内的音符和八度音的控制。
2021-11-19 cs.CL cs.LG cs.SD
EMPHASIS: An Emotional Phoneme-based Acoustic Model for Speech Synthesis System
Baidu Inc.（百度公司）
提出了一种基于情感音素的语音合成声学模型EMPHASIS。EMPHASIS包括音素持续时间预测模型和声学参数预测模型。它使用基于CBHG的回归网络来建模语言特征和声学特征之间的依赖关系。我们修改了网络的输入和输出层结构，以提高性能。对于语言特征，我们采用特征分组策略来增强情感和韵律特征。声学参数被设计为适合于回归任务和波形重建。EMPHASIS可以实时合成语音，生成具有高音质的表达性的疑问和感叹语音。EMPHASIS是一个多语言模型，目前可以合成普通话和英语语音。在情感语音合成的实验中，取得了比其他实时语音合成系统更好的主观效果。
2018-06-26 cs.SD eess.AS
On the Relevance of Phoneme Duration Variability of Synthesized Training Data for Automatic Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
本研究通过oracle实验和随机游走算法调整非自回归TTS合成数据的音素时长分布，使其更接近真实时长，从而提升半监督ASR系统的性能。
2023-10-12 cs.CL cs.SD eess.AS
Processing Phoneme Specific Segments for Cleft Lip and Palate Speech Enhancement
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）；Indian Institute of Technology Dharwad（印度理工学院达尔瓦德分校）
唇腭裂患者由于发音系统的变形，导致语音清晰度失真。为了解决同样的问题，一些以前的作品在CLP语音中进行音素特定的修改。在CLP语音中，发音错误和鼻音化都扭曲了单词的可懂度。因此，特定音素的修改可能并不总是产生增强的整个词级可懂度。对于这种情况，重要的是基于声学事件的知识来识别和隔离音素特定错误。因此，音素特定的错误修改算法可以用于转换指定的错误，并提高单词级的可懂度。受此启发，在这项工作中，我们结合了一些突出的音素特定的增强方法，并证明其有效性，提高词级的可懂度的CLP语音。使用主观和客观评价度量来评价增强的语音样本。
2021-10-02 cs.SD eess.AS q-bio.QM
CraBERT: Efficient Phoneme Encoder Pre-Training via Cascade Fusion of Subword Representations for Text-to-Speech
The University of Tokyo（东京大学）
提出CraBERT音素编码器，通过级联融合架构和子词-音素对齐算法，利用预训练子词BERT减少音素编码器预训练量，一个epoch即可达到基线十个epoch的MOS值。
2026-06-16 cs.SD eess.AS
Improving Spoken Language Modeling with Phoneme Classification: A Simple Fine-tuning Approach
ENS - PSL（巴黎高等师范学院 - 巴黎文理研究大学）；EHESS（高等社会科学研究学院）；CNRS（法国国家科学研究中心）；Meta FAIR
针对纯语音语言建模需海量数据才能匹配文本模型语义能力的问题，提出通过音素分类微调语音表示模型的方法，所得上下文不变表示训练的语言模型词汇理解能力堪比百倍数据训练的模型。
2024-10-30 cs.CL cs.SD eess.AS
A Phoneme-Scale Assessment of Multichannel Speech Enhancement Algorithms
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Loria（洛林计算机科学及其应用研究所）
本文在真实噪声与空间场景下从音素尺度评估FasNet、MVDR和Tango三种多通道语音增强算法，发现不同音素增强效果差异显著，可为音素感知助听器提供依据。
2024-01-24 cs.SD eess.AS
A Dual-Decoder Conformer for Multilingual Speech Recognition
Freshworks Inc.（Freshworks公司）
基于转换器的模型最近在序列到序列的应用中变得非常流行，例如机器翻译和语音识别。这项工作提出了一个双解码器Transformer模型的低资源多语种语音识别的印度语言。我们提出的模型包括一个Conformer [1]编码器，两个并行的Transformer解码器和一个语言分类器。我们使用音素解码器（PHN-DEC）的音素识别任务和一个字素解码器（GRP-DEC）预测字素序列以及语言信息。我们认为音素识别和语言识别作为辅助任务的多任务学习框架。我们通过联合CTC-Attention [2]训练联合优化了音素识别，字形识别和语言识别任务的网络。我们的实验表明，我们可以获得一个显着减少WER的基线方法。我们还表明，我们的双解码器的方法比单解码器的方法获得显着的改善。
2021-08-22 cs.CL cs.SD eess.AS
Incorporating L2 Phonemes Using Articulatory Features for Robust Speech Recognition
NAVER Cloud（NAVER云）
本文提出通过发音特征引入韩语 L2 音素，并以端到端 LF-MMI 训练声学模型建模发音变体，从而仅用 L1 数据提升非母语 ASR，L2 微调还能同时改善两类语音识别。
2023-06-05 cs.CL cs.LG cs.SD
Predicting phoneme-level prosody latents using AR and flow-based Prior Networks for expressive speech synthesis
Innoetics, Samsung Electronics（Innoetics，三星电子）；Mobile eXperience Business, Samsung Electronics（移动体验业务部门，三星电子）
大部分表达性语音合成文献集中于学习语音信号的韵律表示，然后在推理期间通过先验分布对所述韵律表示进行建模。在本文中，我们比较了不同的先验架构在预测音素级的韵律表示提取的无监督FVAE模型的任务。我们使用主观和客观的指标来表明，规范化的流量为基础的先验网络可以导致更有表现力的语音在质量略有下降的成本。此外，我们表明，合成语音具有较高的变异性，对于一个给定的文本，由于规范化流的性质。我们还提出了一个动态的VAE模型，可以产生更高质量的语音，虽然与基于流的模型相比，降低了表达性和可变性。
2022-11-02 cs.CL cs.LG cs.SD
Phoneme-Level Analysis for Person-of-Interest Speech Deepfake Detection
本文提出一种基于音素级分析的POI语音深度伪造检测方法，通过分解参考音频构建说话人特征档案并逐一比对测试音素，在保持准确率的同时显著提升了鲁棒性与可解释性。
2025-07-11 cs.SD eess.AS
CUPE: Contextless Universal Phoneme Encoder for Language-Agnostic Speech Processing
Bournemouth University（博尔蒙德大学）
本文提出轻量级模型 CUPE，在约 120 毫秒的音素长度窗口内独立捕获无上下文的通用音素特征，以较少参数实现有竞争力的跨语言语音处理性能。
2025-08-21 cs.CL cs.LG eess.AS
Speaker- and Text-Independent Estimation of Articulatory Movements and Phoneme Alignments from Speech
Ludwig-Maximilians University（慕尼黑路德维希-马克西米利安大学）；Universidad de Antioquia（安蒂奥基亚大学）
本文提出联合任务APTAI，通过多任务学习从原始语音同时估计发音运动、音素序列与对齐，并比较帧分类和两阶段强制对齐两种方法，在AAI上达到0.73平均相关性，帧重叠率最高约87%。
2024-07-03 cs.AI cs.CL cs.LG
Boosting End-to-End Multilingual Phoneme Recognition through Exploiting Universal Speech Attributes Constraints
Georgia Institute of Technology（佐治亚理工学院）；Kore University of Enna（恩纳科雷大学）；Norwegian University of Science and Technology（挪威科技大学）
本文提出利用通用发音方式和发音部位属性构建属性到音素映射约束，联合属性和音素信息进行多语言端到端音素识别，在6种语言上平均相对提升6.85%。
2023-09-16 cs.SD eess.AS
Enhancing Listened Speech Decoding from EEG via Parallel Phoneme Sequence Prediction
University of Southern California（南加州大学）
本文提出在 EEG 所听语音解码中加入并行辅助音素预测器，使模型可同时输出语音波形与文本音素序列，并在两种模态上超越以往方法。
2025-01-08 cs.AI cs.CL eess.AS
Predicting within and across language phoneme recognition performance of self-supervised learning speech pre-trained models
Delft University of Technology（代尔夫特理工大学）
在这项工作中，我们分析和比较了从不同的冻结自监督学习（SSL）语音预训练模型中提取的语音表示，这些模型捕获发音特征（AF）信息的能力以及随后对语言场景内和跨语言场景的电话识别性能的预测。具体来说，我们比较了CPC，wav2vec 2.0和HuBert。首先，实现帧级AF探测任务。随后，实现了音素识别任务的音素级端到端ASR系统，并将帧级AF探测任务的性能与音素准确性相关联。与传统的语音表示MFCC相比，所有SSL预训练的语音表示都捕获了更多的AF信息，并在语言内和跨语言实现了更好的音素识别性能，其中HuBert表现最好。帧级AF探测任务是音素识别性能的一个很好的预测器，显示了在语音表示中捕获AF信息的重要性。与MFCC相比，在语言内场景中，这些SSL语音预训练模型在AF探测任务上的性能实现了最大34.4%的相对提高，并导致最低的PER为10.2%。在跨语言情景中，26.7%的最大相对增长也导致了23.0%的最低PER。
2022-06-24 cs.SD eess.AS
T5lephone: Bridging Speech and Text Self-supervised Models for Spoken Language Understanding via Phoneme level T5
MediaTek Research（联发科研究院）；National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
在口语语言理解（SLU）中，一种自然的解决方案是将预训练的语音模型（例如HuBERT）和预训练的语言模型（PLM，例如T5）连接起来。大多数以前的作品使用预训练的语言模型与基于子词的标记。然而，输入设备的粒度影响语音模型输出和语言模型输入的对齐，并且具有基于字符的标记化的PLM未被充分探索。在这项工作中，我们进行了广泛的研究如何PLMs与不同的标记化策略影响口语语言理解任务，包括口语问答（SQA）和语音翻译（ST）。我们进一步扩展了这个想法，创建了T5lephone（发音为电话），这是T5的一个变体，使用音素化文本进行预训练。我们使用现有的PLM初始化T5lephone，使用相对轻量级的计算资源对其进行预训练。我们在NMSQA上达到了最先进的水平，T5lephone型号超过了T5，在端到端SQA和ST上有其他类型的设备。
2022-11-01 cs.CL cs.SD eess.AS
Phoneme-First Prediction for LLM-Based Speech Recognition
KU Leuven（荷语鲁汶大学）
提出在LLM中集成音素预测步骤，先预测音素再生成转录，以提升低资源场景下的语音识别准确性和可解释性。
2026-06-09 eess.AS
Why Do You Say It Like That? A Phoneme-level Framework for Explainable Speech Deepfake Detection
Agence Nationale de la Recherche（法国国家科研机构）；COMPROMIS project（COMPROMIS项目）
针对语音深度伪造检测中理解分类原因的挑战，引入音素级分析框架，利用梯度加权类激活映射结合语音识别生成显著性图，该方法在ASVspoof 5实验中检测性能可比且能提供跨条件语言解释。
2026-09-29 cs.SD eess.AS
Phoneme Based Neural Transducer for Large Vocabulary Speech Recognition
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
为了结合经典的和端到端的语音识别方法的优点，我们提出了一个简单的，新颖的和有竞争力的基于音素的神经换能器建模方法。比较了不同的对齐标签拓扑结构，提出了基于词尾的音素标签增强算法。利用音素的局部依赖性，我们采用了一个简化的神经网络结构和一个简单的集成与外部词级语言模型，以保持seq到seq建模的一致性。我们还提出了一个简单，稳定和有效的训练过程中使用逐帧交叉熵损失。一个语音上下文大小为1被证明是足够的最佳性能。提出了一种简化的定时采样方法，并对不同的解码方法进行了简要的比较。我们最好的模型的整体性能与TED-LIUM Release 2和Switchboard语料库的最新（SOTA）结果相当。
2021-04-20 cs.CL eess.AS
Multilingual Dysarthric Speech Assessment Using Universal Phone Recognition and Language-Specific Phonemic Contrast Modeling
Arizona State University（亚利桑那州立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一种多语言口吃语音评估框架，结合通用音素识别与语言特定音素对比建模，提出三个新指标以评估语音可懂度。
2026-02-11 cs.CL cs.SD eess.AS
Speech Representations and Phoneme Classification for Preserving the Endangered Language of Ladin
University of Southern California（南加州大学）
据预测，世界上7,000种口语中的绝大多数将在本世纪内灭绝，包括意大利阿尔卑斯山的拉丁语。致力于保存一种语言的语音和音韵结构的语言学家可能会花费数小时来转录母语人士的每一分钟讲话。为了解决这个问题的上下文中的Ladin，我们的论文提出了第一次分析的语音表示和机器学习模型分类32音素的Ladin。我们实验了一个新的数据集的法西斯方言的拉丁语，从母语在意大利收集。我们创建了帧级和段级语音特征提取方法，并使用在9种不同语音表示上训练的8种不同分类器进行了广泛的实验。我们的语音表示范围从传统特征（MFCC，LPC）到使用深度神经网络模型学习的特征（自动编码器，LSTM自动编码器和WaveNet）。我们最高性能的分类器，在语音信号的MFCC表示上训练，在所有Ladin音素中达到了86%的平均准确率。我们还获得了77%以上的平均精度为所有Ladin音素分组检查。我们的研究结果为学习有区别的Ladin音素表示提供了见解，并展示了利用机器学习和语音信号处理来保护Ladin和其他濒危语言的潜力。
2021-08-27 cs.CL cs.LG eess.AS
Learning Explicit Prosody Models and Deep Speaker Embeddings for Atypical Voice Conversion
Human-Computer Communications Laboratory（人机通信实验室）；The Chinese University of Hong Kong（香港中文大学）；SpeechX Limited（SpeechX有限公司）；University of Cambridge（剑桥大学）
虽然典型语音的语音转换（VC）已经取得了显著的进展，但是对于非典型语音的VC，例如，构音障碍和第二语言（L2）语音仍然是一个挑战，因为它涉及在保持说话者身份的同时纠正非典型韵律。为了解决这个问题，我们提出了一个具有显式韵律建模和深度说话人嵌入（DSE）学习的VC系统。首先，语音编码器努力从非典型语音中提取鲁棒的音素嵌入。第二，韵律校正器接收音素嵌入以推断典型的音素持续时间和音高值。第三，转换模型将音素嵌入和典型韵律特征作为输入以生成转换后的语音，条件是通过扬声器编码器或扬声器自适应学习的目标DSE。大量的实验表明，说话人自适应可以实现更高的说话人相似度，和说话人编码器为基础的转换模型，可以大大减少构音障碍和非母语发音模式，提高语音可懂度。对构音障碍语音和转换语音的语音识别结果的比较表明，该方法可以实现47.6%的字符错误率（CER）和29.3%的单词错误率（WER）的绝对降低。
2021-06-17 cs.CL cs.SD eess.AS
Comparing phonemes and visemes with DNN-based lipreading
University of East Anglia（东英吉利大学）；University of East London（东伦敦大学）
对于唇读系统来说，音素或视位单位是否是最有效的还存在争议。一些研究使用音素单位，即使音素描述独特的短声音;其他研究试图提高唇读的准确性，专注于不同的结果视位。我们比较了唇读系统的性能建模视觉语音使用13视位或38音素单位。我们报告的准确性，我们的系统在两个字和单位的水平。评价任务是使用TCD-TIMIT语料库的大词汇量连续语音。我们完成了我们的视觉语音建模，通过混合DNN-Hyndrome和我们的视觉语音解码器是一个加权的双态转换器（WFST）。我们使用DCT和Eigenlips作为口部ROI图像的表示。音素唇读系统的准确率优于视位系统的准确率。然而，音素系统在单元级别上实现了较低的准确性，这表明了字典对于将分类输出解码成单词的重要性。
2018-05-08 cs.CL cs.CV cs.SD
Spanish and English Phoneme Recognition by Training on Simulated Classroom Audio Recordings of Collaborative Learning Environments
协作学习环境的音频记录包含持续存在的串扰和背景噪声。在这些环境中需要西班牙语和英语之间的动态语音识别。为了消除大规模地面实况的标准要求，本文开发了一个模拟数据集，通过将音频transanimation转换为音素，并使用3D扬声器几何和数据增强来生成西班牙语和英语语音的声学模拟。本文开发了一个低复杂度的神经网络，用于识别西班牙语和英语音素（可在github.com/muelitas/keywordRec获得）。当在41个英语音素上训练时，在语音命令上实现了0.099 PER。当训练36西班牙语音素和测试的协作学习环境的真实录音，0.7208 LER实现。比Google的Speech-to-text 0.7272 LER稍好，后者使用了15到1,635倍的参数，并在300到27,500小时的真实数据上进行了训练，而不是13小时的模拟音频。
2022-02-21 cs.SD eess.AS
Prosody Labeling with Phoneme-BERT and Speech Foundation Models
CyberAgent
本文提出结合语音基础模型声学特征与音素语言基础模型语言特征的韵律标签自动标注方法，在日语重音和间断指数预测上取得显著提升。
2025-07-05 cs.SD eess.AS
Phonemes vs. Projectors: An Investigation of Speech-Language Interfaces for LLM-based ASR
Tsinghua University（清华大学）；TasiTech Co., Ltd.（塔思科技）；Xinjiang University（新疆大学）
本文比较了基于音素和投影器的接口在英语和塔塔尔语ASR中的性能，提出BPE-音素接口提升生成效果。
2026-09-11 eess.AS
Controllable speech synthesis by learning discrete phoneme-level prosodic representations
Innoetics, Samsung Electronics（三星电子Innoetics）；University of West Attica（西阿提卡大学）；Samsung Electronics（三星电子）
在本文中，我们提出了一种新的方法音素级韵律控制的F0和持续时间使用直观的离散标签。我们提出了一个无监督的韵律聚类过程，用于离散化音素级F0和持续时间的功能，从多说话人的语音数据集。这些特征作为韵律标签的输入序列被馈送到韵律编码器模块，该韵律编码器模块增强基于自回归注意力的文本到语音模型。我们利用各种方法来提高韵律控制范围和覆盖率，例如增强、F0归一化、持续时间平衡聚类和与说话者无关的聚类。最终的模型使细粒度的音素级韵律控制包含在训练集中的所有扬声器，同时保持扬声器的身份。而不是依赖于参考话语的推理，我们引入了一个事先韵律编码器，学习每个扬声器的风格，使语音合成，而不需要参考音频。我们还微调的多说话人模型，以看不见的扬声器与有限的数据量，作为一个现实的应用场景，并显示韵律控制能力的维护，验证说话人无关的韵律聚类是有效的。实验结果表明，该模型具有较高的输出语音质量，所提出的方法允许有效的韵律控制在每个扬声器的范围内，尽管多扬声器设置引入的可变性。
2022-11-29 cs.CL cs.LG cs.SD
Persian Vowel recognition with MFCC and ANN on PCVC speech dataset
Vali-e-Asr University of Rafsanjan（拉夫桑詹瓦利埃阿斯尔大学）；University of Tabriz（大不里士大学）
本文提出了一种在新的波斯语语音数据集PCVC（Persian Consonant-Vowel Combination）上识别辅音-元音音素组合的新方法，并将其用于波斯语音素的识别。在PCVC数据集中，有来自10个说话人的20组音频样本，它们是波斯语的23个辅音和6个元音音素的组合。在每个样本中，有一个元音和一个辅音的组合。首先，辅音音素发音，紧接着元音音素发音。每个声音样本是一帧2秒的音频。在每2秒中，平均有0.5秒的讲话，其余的是沉默。在本文中，所提出的方法是MFCC（梅尔频率倒谱系数）的实现对每个分区的声音样本。然后，将MFCC矢量的每个训练样本送入多层感知器前馈神经网络（人工神经网络）进行训练。最后，对测试样本进行了音素识别的人工神经网络模型检验。经过训练和测试，给出了元音识别的结果。然后，计算元音音素的平均识别率。
2018-12-17 cs.CL cs.LG cs.SD
Improving grapheme-to-phoneme conversion by learning pronunciations from speech recordings
Amazon Alexa（亚马逊Alexa）
本文提出一种利用少量标注样本初始化G2P模型，并通过训练多语言音素识别系统解码语音录音，进而为未登录词学习发音词典以重训G2P系统的方法，有效降低了跨语言和不同数据量下的音素错误率。
2023-07-31 cs.CL eess.AS
TSPC: A Two-Stage Phoneme-Centric Architecture for code-switching Vietnamese-English Speech Recognition
The University of Danang, Vietnam - Korea University of Information and Communication Technology, Danang,Vietnam（丹江大学 - 信息与通信技术大学）
本文提出TSPC模型，通过双阶段音素架构提升越南-英语语切换语音识别性能，实现更低的词错误率和更高效的资源利用。
2026-03-04 cs.AI cs.CL cs.SD
PM-MMUT: Boosted Phone-Mask Data Augmentation using Multi-Modeling Unit Training for Phonetic-Reduction-Robust E2E Speech Recognition
Xinjiang University（新疆大学）；Tencent Minority-Mandarin Translation（腾讯民族语言-普通话翻译团队）；Xinjiang Key Laboratory of Multi-lingual Information Technology（新疆多语种信息技术重点实验室）
在自动语音识别（ASR）中，辅音和元音的减少会导致识别性能下降。我们最近提出的基于掩蔽的学习策略，电话掩蔽训练（PMT），阐明了这种现象在维吾尔语ASR中的影响。虽然PMT取得了显着的改进，仍然存在进一步的增益空间，由于PMT的掩蔽单元（音素）和建模单元（词片）之间的粒度不匹配。为了提高PMT的性能，我们提出了多建模单元训练（MMUT）架构融合PMT（PM-MMUT）。MMUT框架的思想是将编码器分成两部分，包括声学特征序列到音素级表示（AF-to-PLR）和音素级表示到词段级表示（PLR-to-WPLR）。它允许AF-到-PLR通过基于中间音素的CTC损失来优化，以学习PMT带来的丰富的音素级上下文信息。在维吾尔语语音识别系统上的实验结果表明，该方法的识别性能明显优于纯PMT。我们还使用ESPnet 1在960小时的Libripeech基准上进行了实验，与最新的官方ESPnet 1预训练模型相比，在没有LM融合的情况下，所有测试集的相对WER降低了约10%。
2022-07-03 cs.CL cs.SD eess.AS
