ReLMCodec: Designing Predictable Speech Tokens from Pre-Quantization Phoneme Structure
Peking University(北京大学);Tencent(腾讯)
ReLMCodec 基于预量化音素结构,通过保留-控制-细化原则设计低比特率单码本语音编解码器,提升了语音 token 的可预测性与重建性能,且利于下游 TTS 合成。
2026-08-11 cs.SD eess.AS
Predicting phoneme-level prosody latents using AR and flow-based Prior Networks for expressive speech synthesis
Innoetics, Samsung Electronics(Innoetics,三星电子);Mobile eXperience Business, Samsung Electronics(移动体验业务部门,三星电子)
大部分表达性语音合成文献集中于学习语音信号的韵律表示,然后在推理期间通过先验分布对所述韵律表示进行建模。在本文中,我们比较了不同的先验架构在预测音素级的韵律表示提取的无监督FVAE模型的任务。我们使用主观和客观的指标来表明,规范化的流量为基础的先验网络可以导致更有表现力的语音在质量略有下降的成本。此外,我们表明,合成语音具有较高的变异性,对于一个给定的文本,由于规范化流的性质。我们还提出了一个动态的VAE模型,可以产生更高质量的语音,虽然与基于流的模型相比,降低了表达性和可变性。
2022-11-02 cs.CL cs.LG cs.SD
Data-driven grapheme-to-phoneme representations for a lexicon-free text-to-speech
Samsung Research(三星研究院)
本文提出利用自监督学习获得数据驱动音素表示的无词典G2P方法,在无需语言词典和专家知识的情况下,MOS达到或略优于传统方法。
2024-01-19 cs.CL cs.SD eess.AS
KABURI-TTS: Phoneme-Keyed Activity-conditioned Bi-channel Utterance Rendering for Interaction
Nagoya University(名古屋大学);National Institute of Informatics(信息学研究所);Keio University(庆应义塾大学);Waseda University(早稻田大学)
针对全双工对话中重叠等同时现象,提出KABURI-TTS,以每说话人音素栅格为输入,在语音活动条件下双声道渲染语音,实现可控双人对话生成,提升自然度并产生更多重叠与轮换。
2026-09-09 cs.CL cs.SD
Controllable speech synthesis by learning discrete phoneme-level prosodic representations
Innoetics, Samsung Electronics(三星电子Innoetics);University of West Attica(西阿提卡大学);Samsung Electronics(三星电子)
在本文中,我们提出了一种新的方法音素级韵律控制的F0和持续时间使用直观的离散标签。我们提出了一个无监督的韵律聚类过程,用于离散化音素级F0和持续时间的功能,从多说话人的语音数据集。这些特征作为韵律标签的输入序列被馈送到韵律编码器模块,该韵律编码器模块增强基于自回归注意力的文本到语音模型。我们利用各种方法来提高韵律控制范围和覆盖率,例如增强、F0归一化、持续时间平衡聚类和与说话者无关的聚类。最终的模型使细粒度的音素级韵律控制包含在训练集中的所有扬声器,同时保持扬声器的身份。而不是依赖于参考话语的推理,我们引入了一个事先韵律编码器,学习每个扬声器的风格,使语音合成,而不需要参考音频。我们还微调的多说话人模型,以看不见的扬声器与有限的数据量,作为一个现实的应用场景,并显示韵律控制能力的维护,验证说话人无关的韵律聚类是有效的。实验结果表明,该模型具有较高的输出语音质量,所提出的方法允许有效的韵律控制在每个扬声器的范围内,尽管多扬声器设置引入的可变性。
2022-11-29 cs.CL cs.LG cs.SD
Investigating Disentanglement in a Phoneme-level Speech Codec for Prosody Modeling
Innoetics, Samsung Electronics(Innoetics,三星电子);Mobile eXperience Business, Samsung Electronics(移动体验业务部门,三星电子)
本研究修改RVQ-VAE模型使其在音素级运行,通过语言表征条件约束与全局说话人嵌入分离语音和说话人信息,验证了其离散潜在表征的高解耦度与韵律建模能力。
2024-09-13 cs.CL cs.LG cs.SD
Speaking Speed Control of End-to-End Speech Synthesis using Sentence-Level Conditioning
NCSOFT(NCSoft公司)
本文提出了一种可控的端到端的文本到语音(TTS)系统,以控制合成语音的语速(速度可控TTS; SCTTS)与作为一个额外的输入的语速水平值。该系统采用语速值(输入音素数量与输入语音长度之比)来控制语速。此外,所提出的SCTTS系统可以控制说话的速度,同时保留其他语音属性,如音高,通过采用全局风格令牌为基础的风格编码器。所提出的SCTTS不需要任何额外的训练有素的模型或外部语音数据库来提取音素级的持续时间信息,可以在一个端到端的方式进行训练。此外,我们对快速,正常和慢速语音的听力测试表明,SCTTS可以产生更自然的语音比其他音素持续时间控制方法,增加或减少持续时间在相同的速度为整个句子,特别是在慢速语音的情况下。
2020-08-13 cs.SD eess.AS
Empowering Global Voices: A Data-Efficient, Phoneme-Tone Adaptive Approach to High-Fidelity Speech Synthesis
Logic Intelligence Technology(逻辑智能科技);Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学);Peking University(北京大学)
本文提出一种数据高效、音素-声调自适应的低资源语音合成方法,以泰语为例验证其有效性,支持零样本语音克隆并达到最先进标准。
2025-04-10 cs.AI cs.SD
Fine-grained Emotion Strength Transfer, Control and Prediction for Emotional Speech Synthesis
Northwestern Polytechnical University(西北工业大学);School of Computer Science(计算机学院)
针对基于序列到序列的细粒度情感语音合成,提出了一种统一的情感传递、控制和预测模型。传统的情感语音合成往往需要人工标注或参考音频来确定合成语音的情感表达。这种粗糙的标签不能控制语音情感的细节,往往导致平均的情感表达交付,并且在推理过程中也很难选择合适的参考音频。为了进行细粒度的情感表达生成,我们引入音素级的情感强度表示,通过学习排名功能来描述本地的情感细节,并采用音素级的情感类别来渲染合成语音的全局情感。通过情感的全局渲染和局部描述符,我们可以通过其情感描述符(用于传输)或直接从音素级手动标签(用于控制)从参考音频中获得细粒度的情感表达。对于具有任意文本输入的情感语音合成,该模型也可以从文本中预测音素级的情感表达,不需要任何参考音频或人工标注。
2020-11-17 cs.SD eess.AS
Learning Explicit Prosody Models and Deep Speaker Embeddings for Atypical Voice Conversion
Human-Computer Communications Laboratory(人机通信实验室);The Chinese University of Hong Kong(香港中文大学);SpeechX Limited(SpeechX有限公司);University of Cambridge(剑桥大学)
虽然典型语音的语音转换(VC)已经取得了显著的进展,但是对于非典型语音的VC,例如,构音障碍和第二语言(L2)语音仍然是一个挑战,因为它涉及在保持说话者身份的同时纠正非典型韵律。为了解决这个问题,我们提出了一个具有显式韵律建模和深度说话人嵌入(DSE)学习的VC系统。首先,语音编码器努力从非典型语音中提取鲁棒的音素嵌入。第二,韵律校正器接收音素嵌入以推断典型的音素持续时间和音高值。第三,转换模型将音素嵌入和典型韵律特征作为输入以生成转换后的语音,条件是通过扬声器编码器或扬声器自适应学习的目标DSE。大量的实验表明,说话人自适应可以实现更高的说话人相似度,和说话人编码器为基础的转换模型,可以大大减少构音障碍和非母语发音模式,提高语音可懂度。对构音障碍语音和转换语音的语音识别结果的比较表明,该方法可以实现47.6%的字符错误率(CER)和29.3%的单词错误率(WER)的绝对降低。
2021-06-17 cs.CL cs.SD eess.AS
P2Flow: Phoneme-aware Progressive Flow Matching for Extreme Speech Super-Resolution
Stony Brook University(石溪大学);Northeastern University(东北大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);UIC(伊利诺伊大学芝加哥分校)
针对极端语音超分辨率中频谱输入严重受限的问题,提出音素感知渐进流匹配框架P2Flow,利用音素信息、渐进架构和声码器后训练,在TIMIT和VCTK上取得最先进结果。
2026-09-22 cs.LG cs.SD eess.AS
Accented Text-to-Speech Synthesis with Limited Data
本文提出一个有限数据下的带口音TTS框架,通过预训练加口音相关层微调,分别用前端处理语音变化、声学模型控制韵律变化,实验证明能有效提升口音相似度与语音质量。
2023-05-08 cs.SD eess.AS
Deep Voice: Real-time Neural Text-to-Speech
Baidu Silicon Valley Artificial Intelligence Lab(百度硅谷人工智能实验室)
我们介绍了Deep Voice,这是一个完全由深度神经网络构建的生产质量文本到语音系统。Deep Voice为真正的端到端神经语音合成奠定了基础。该系统包括五个主要的构建块:用于定位音素边界的分割模型、字素到音素转换模型、音素持续时间预测模型、基频预测模型和音频合成模型。对于分割模型,我们提出了一种新的方法,使用连接主义时间分类(CTC)损失与深度神经网络执行音素边界检测。对于音频合成模型,我们实现了WaveNet的一个变体,它需要的参数更少,训练速度比原来的更快。通过对每个组件使用神经网络,我们的系统比传统的文本到语音系统更简单,更灵活,其中每个组件都需要费力的特征工程和广泛的领域专业知识。最后,我们表明,我们的系统的推理可以比实时的更快地执行,并在CPU和GPU上描述优化的WaveNet推理内核,与现有的实现相比,其速度提高了400倍。
2017-03-07 cs.CL cs.LG cs.NE
Generalized Multilingual Text-to-Speech Generation with Language-Aware Style Adaptation
School of Computer Science and Engineering, UNSW Sydney(新南威尔士大学悉尼分校计算机科学与工程学院);School of Engineering, Institute of Science Tokyo(东京科学大学工程学院);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61部门)
本文提出LanStyleTTS,一种语言感知的风格自适应多语言TTS框架,通过标准化音素表示和音素级风格控制,在统一模型中实现高质量多语言语音生成,并证明潜在特征可降低模型规模与计算成本。
2025-04-11 cs.CL cs.SD eess.AS
Learning pronunciation from a foreign language in speech synthesis networks
Neosapience, Inc.(Neosapience公司);Massachusetts Institute of Technology(麻省理工学院)
虽然世界上有6,500多种语言,但许多音素的发音在不同语言中听起来都很相似。人们在学习外语时,其发音往往反映出本族语的特点。这促使我们研究语音合成网络如何从不同语言的数据集学习发音。在本研究中,我们有兴趣分析和利用多语言语音合成网络。首先,我们用英语和韩语对语音合成网络进行了双语训练,并分析了网络是如何学习两种语言之间的音素发音关系的。我们的实验结果表明,如果不同语言的发音相似,则学习到的音素嵌入向量的位置会更接近。因此,经过训练的网络可以合成说英语的人的韩语语音,反之亦然。利用这一结果,我们提出了一个培训框架,利用不同的语言的信息。具体来说,我们使用来自高资源语言和低资源语言的数据集预训练语音合成网络,然后使用低资源语言数据集微调网络。最后,我们在10种不同的语言上进行了更多的模拟,以证明它通常可以扩展到其他语言。
2020-06-24 cs.CL cs.LG cs.SD
JDI-T: Jointly trained Duration Informed Transformer for Text-To-Speech without Explicit Alignment
Kakao Corp.(卡考公司);Kakao Enterprise Corp.(卡考企业公司)
我们提出了联合训练的持续时间通知Transformer(JDI-T),前馈Transformer与持续时间预测器联合训练,没有明确的对齐,以产生一个声学特征序列从输入文本。在这项工作中,受FastSpeech和Durian等持续时间通知网络最近成功的启发,我们进一步将其顺序的两阶段训练管道简化为单阶段训练。具体来说,我们在联合训练期间从自回归Transformer中实时提取音素持续时间,而不是预先训练自回归模型并将其用作音素持续时间提取器。据我们所知,这是第一个联合训练前馈Transformer而不依赖于单个训练管道中的预训练音素持续时间提取器的实现。我们评估所提出的模型的有效性公开可用的韩国单说话人语音(KSS)数据集相比,基线文本转语音(TTS)模型训练ESPnet-TTS。
2020-10-05 cs.CL cs.LG cs.SD
A Hybrid Approach for Speech Enhancement Using MoG Model and Neural Network Phoneme Classifier
Bar-Ilan University(巴伊兰大学)
本文提出了一种单麦克风语音增强算法。提出了一种混合生成混合高斯模型(MoG)和判别式神经网络(NN)的混合方法。所提出的算法分两个阶段执行,训练阶段,不重复,和测试阶段。首先,将无噪声语音功率谱密度(PSD)建模为MoG,表示语音信号中基于音素的多样性。然后用音素标记数据库训练神经网络,以梅尔频率倒谱系数(MFCC)作为输入特征进行音素分类。给定音素分类结果,使用生成模型和判别模型两者获得语音存在概率(SPP)。然后执行软谱减法,同时更新噪声估计。判别式神经网络保持了语音的连续性,而基于生成音素的MoG保持了语音的频谱结构。使用真实的语音和噪声信号进行了广泛的实验研究。我们还比较了所提出的算法与其他语音增强算法。我们表明,我们获得了显着的改善,在语音质量的措施和语音识别的结果比以前的方法。
2015-10-25 cs.SD
PhonemeDF: A Synthetic Speech Dataset for Audio Deepfake Detection and Naturalness Evaluation
本文提出PhonemeDF数据集,通过平行真实与合成语音的音素级分割,评估语音合成的自然度与深度伪造检测性能,利用KL散度量化音素分布相似性。
2026-03-16 cs.SD
Phoneme-Based Ratio Mask Estimation for Reverberant Speech Enhancement in Cochlear Implant Processors
Duke University(杜克大学)
耳蜗植入体(CI)用户在混响听音环境中理解语音有相当大的困难。时频(T-F)掩蔽是旨在通过将混响语音乘以增益值矩阵以抑制由混响主导的T-F仓来提高语音可懂度的常用技术。最近提出的掩模估计算法利用机器学习方法来区分目标语音和混响反射。然而,语音的频谱-时间结构是高度可变的,并且依赖于潜在的音素。潜在地克服这种可变性的单向式方法是在掩码估计期间利用音素信息的明确知识。本研究提出一种以音素为基础的遮罩估测演算法,针对每一音素分别训练遮罩估测模型。在正常听力的听众中进行句子识别测试,以确定基于音素的掩码估计算法在音素的完美知识可用的理想情况下是否有益。结果表明,与传统的音素无关的面具相比,基于音素的面具提高了声码语音的可懂度。研究结果表明,音素为基础的语音增强策略可能有利于CI用户在混响听环境。
2021-05-28 cs.SD eess.AS
Phoneme-based Distribution Regularization for Speech Enhancement
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
现有的语音增强方法主要是在信号级或时频域将语音与噪声分离。他们很少注意损坏信号的语义信息。在本文中,我们的目标是弥合这一差距,提取音素身份,以帮助语音增强。具体来说,我们提出了一个基于音素的分布正则化(PbDr)的语音增强,它将逐帧音素信息纳入语音增强网络的条件方式。由于不同的音素往往会导致不同的频率特征分布,我们建议学习一个参数对,即规模和偏见,通过音素分类向量调制的语音增强网络。调制参数对不仅包括帧方面的条件,而且还包括频率方面的条件,其有效地将特征映射到音素相关分布。通过这种方式,我们明确规范的语音增强功能的识别向量。在公开数据集上的实验表明,该PbDr模块不仅可以提高语音增强的感知质量,而且可以提高ASR系统对增强后语音的识别准确率。该PbDr模块也可以容易地结合到其他语音增强网络中。
2021-04-08 cs.SD eess.AS
ASR ensembling for phoneme intelligibility evaluation of speech anonymizers
Technische Universität Berlin(柏林工业大学);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Loria(洛林计算机科学实验室)
本文首次对语音匿名化器进行音素级可懂度评估,提出基于ASR集成的硬投票指标,在组合多个模型时与人类评分相关性超0.9,并开源所有资源。
2026-09-25 cs.SD
Improving Speech Representation Learning via Speech-level and Phoneme-level Masking Approach
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);School of Software, Fudan University(复旦大学软件学院)
恢复被掩蔽语音帧在语音表示学习中有着广泛的应用。然而,这些模型中的大多数在预训练中使用随机掩蔽。在这项工作中,我们提出了两种掩蔽方法:(1)语音级掩蔽,使模型掩蔽更多的语音段比沉默段,(2)音素级掩蔽,迫使模型掩蔽整个帧的音素,而不是音素片。我们通过这两种方法对模型进行了预训练,并对两个下游任务进行了评估,即音素分类和说话人识别。实验结果表明,所提出的掩蔽方法有利于提高语音表示的性能。
2022-10-25 cs.CL cs.SD eess.AS
Speech Enhancement using a Deep Mixture of Experts
Bar-Ilan University(巴伊兰大学)
在这项研究中,我们提出了一个深度混合专家模型(DMoE)神经网络架构的单麦克风语音增强。与大多数忽略主要由音素结构引起的语音变化的语音增强算法相比,我们的框架包括一组深度神经网络(DNN),其中每一个都是增强与音素对应的给定语音类型的“专家”。门控DNN确定哪个专家被分配给给定的语音段。然后获得语音存在概率(SPP)作为专家SPP决策的加权平均,其中权重由门控DNN确定。然后,基于SPP的软谱衰减被应用于增强有噪语音信号。DMoE网络的专家和门控组件是联合训练的。作为训练的一部分,以无监督的方式执行语音聚类到不同子集。因此,与以前的方法不同,训练过程不需要音素标记的数据库。通过一系列不同噪声类型的实验,验证了该算法在语音增强中的适用性。所提出的方案优于其他方案,无论是不考虑音素结构或使用一个更简单的训练方法。
2017-03-27 cs.SD
Evaluating Multichannel Speech Enhancement Algorithms at the Phoneme Scale Across Genders
Université de Lorraine, CNRS, Inria, LORIA(卢瓦尔大学、法国国家科学研究中心、法国国家信息与自动化研究所、LORIA研究所)
本文在音素尺度上评估多通道语音增强算法,发现性别差异在语句级微小但在音素级显著,算法对女性语音(尤其塞音、擦音、元音)干扰抑制更好且伪影更少。
2025-06-23 cs.SD eess.AS
Phoneme-Level Feature Discrepancies: A Key to Detecting Sophisticated Speech Deepfakes
Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));Guilin University of Electronic Technology(桂林电子科技大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Alibaba Group(阿里巴巴集团)
本文提出一种基于音素级特征差异的语音深度伪造检测方法,利用自适应音素池化和图注意力网络建模时间依赖性,并在四个基准数据集上取得优于现有方法的性能。
2024-12-17 cs.AI cs.SD eess.AS
EMPHASIS: An Emotional Phoneme-based Acoustic Model for Speech Synthesis System
Baidu Inc.(百度公司)
提出了一种基于情感音素的语音合成声学模型EMPHASIS。EMPHASIS包括音素持续时间预测模型和声学参数预测模型。它使用基于CBHG的回归网络来建模语言特征和声学特征之间的依赖关系。我们修改了网络的输入和输出层结构,以提高性能。对于语言特征,我们采用特征分组策略来增强情感和韵律特征。声学参数被设计为适合于回归任务和波形重建。EMPHASIS可以实时合成语音,生成具有高音质的表达性的疑问和感叹语音。EMPHASIS是一个多语言模型,目前可以合成普通话和英语语音。在情感语音合成的实验中,取得了比其他实时语音合成系统更好的主观效果。
2018-06-26 cs.SD eess.AS
Few-Shot Synthetic Accented Speech for ASR Fine-Tuning: What Helps and When?
University of Washington(华盛顿大学)
研究比较了合成方言语音在ASR微调中的有效性,发现随机音素扰动比目标方言音素编辑更有效,且真实语音与合成语音混合可稳定低资源微调。
2026-06-26 cs.SD
Processing Phoneme Specific Segments for Cleft Lip and Palate Speech Enhancement
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校);Indian Institute of Technology Dharwad(印度理工学院达尔瓦德分校)
唇腭裂患者由于发音系统的变形,导致语音清晰度失真。为了解决同样的问题,一些以前的作品在CLP语音中进行音素特定的修改。在CLP语音中,发音错误和鼻音化都扭曲了单词的可懂度。因此,特定音素的修改可能并不总是产生增强的整个词级可懂度。对于这种情况,重要的是基于声学事件的知识来识别和隔离音素特定错误。因此,音素特定的错误修改算法可以用于转换指定的错误,并提高单词级的可懂度。受此启发,在这项工作中,我们结合了一些突出的音素特定的增强方法,并证明其有效性,提高词级的可懂度的CLP语音。使用主观和客观评价度量来评价增强的语音样本。
2021-10-02 cs.SD eess.AS q-bio.QM
Exploring Phoneme-Level Speech Representations for End-to-End Speech Translation
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
以前的语音端到端翻译工作主要使用帧级特征作为语音表示,这会创建比文本更长、更稀疏的序列。我们表明,一个天真的方法来创建压缩音素的语音表示是更有效和高效的翻译比传统的帧级语音功能。具体来说,我们为语音帧生成音素标签,并对具有相同标签的连续帧进行平均,以创建更短,更高级别的源序列进行翻译。我们在高资源和低资源语言对上都看到了高达5个BLEU的改进,训练时间减少了60%。我们的改进适用于多种数据大小和两种语言对。
2019-06-04 cs.CL cs.SD eess.AS
Multi-Task Learning for Non-Canonical Phoneme Recognition via Articulatory Feature Decomposition
Kaliber AI(卡利伯人工智能公司)
该研究提出分层多任务学习结合交叉注意力融合模块与半监督学习的方法,在L2-ARCTIC数据集上显著提升非标准音素识别性能,为病理语音等非标准语音的鲁棒可解释识别提供新策略。
2026-08-25 cs.AI cs.SD
A Phoneme-Scale Assessment of Multichannel Speech Enhancement Algorithms
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Loria(洛林计算机科学及其应用研究所)
本文在真实噪声与空间场景下从音素尺度评估FasNet、MVDR和Tango三种多通道语音增强算法,发现不同音素增强效果差异显著,可为音素感知助听器提供依据。
2024-01-24 cs.SD eess.AS
Curriculum-Based Noise Adaptation for Phoneme-to-Text Reconstruction in Visual Speech Recognition
Kyushu Institute of Technology(九州工业大学)
针对视觉语音识别中音素到文本重建模型训练与推理不匹配的问题,提出渐进式错误课程训练(PECT),通过逐步引入真实音素错误提升鲁棒性,在LRS2和LRS3上显著降低词错误率。
2026-09-21 cs.CL cs.CV cs.SD
Time-Frequency Weighted Losses for Phoneme Reconstruction in DNN-Based Speech Enhancement
CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学及其应用实验室)
提出一种时频加权框架,通过调制SDR目标以强调高语音-噪声竞争和瞬态线索,改善音素重建,尤其提高辅音识别准确率。
2026-06-23 cs.CL cs.SD
Phoneme-Level Analysis for Person-of-Interest Speech Deepfake Detection
本文提出一种基于音素级分析的POI语音深度伪造检测方法,通过分解参考音频构建说话人特征档案并逐一比对测试音素,在保持准确率的同时显著提升了鲁棒性与可解释性。
2025-07-11 cs.SD eess.AS
Boosting End-to-End Multilingual Phoneme Recognition through Exploiting Universal Speech Attributes Constraints
Georgia Institute of Technology(佐治亚理工学院);Kore University of Enna(恩纳科雷大学);Norwegian University of Science and Technology(挪威科技大学)
本文提出利用通用发音方式和发音部位属性构建属性到音素映射约束,联合属性和音素信息进行多语言端到端音素识别,在6种语言上平均相对提升6.85%。
2023-09-16 cs.SD eess.AS
Comparison of sEMG Encoding Accuracy Across Speech Modes Using Articulatory and Phoneme Features
New York University(纽约大学)
研究比较了SPARC和音素特征在不同说话模式下的sEMG预测精度,发现SPARC在多数电极和所有说话模式中表现更优,且亚 vocal说话仍能检测到发声活动。
2026-04-27 cs.CL cs.SD
ProLombard: Structured Multi-Scale Modeling for Normal-to-Lombard Speech Conversion
National Engineering Research Center for Multimedia Software(国家多媒体软件工程技术研究中心);School of Computer Science, Wuhan University(武汉大学计算机学院);Hubei Key Laboratory of Multimedia and Network Communication Engineering(多媒体网络通信工程湖北省重点实验室);Guangdong OPPO Mobile Telecommunications Corp.(广东欧珀移动通信有限公司)
该研究针对普通语音到伦巴第语音转换的现有方法存在的缺陷,提出结构化多尺度框架ProLombard,引入相关模块抑制伦巴第泄漏、实现内容解纠缠,经实验验证可提升转换性能并保留说话人身份。
2026-10-09 cs.SD
LLM-based phoneme-to-grapheme for phoneme-based speech recognition
Xinjiang University(新疆大学);Tsinghua University(清华大学);School of Computer Science and Technology(计算机科学与技术学院);Guangxi Radio and Television Monitoring Center(广西广播电视监测中心)
本文提出LLM-P2G解码方法,通过DANP和TKM两种训练策略缓解级联信息损失,在波兰语和德语跨语言ASR中相比WFST系统分别降低3.6%和6.9%的相对WER。
2025-06-05 cs.CL cs.SD eess.AS
Predicting within and across language phoneme recognition performance of self-supervised learning speech pre-trained models
Delft University of Technology(代尔夫特理工大学)
在这项工作中,我们分析和比较了从不同的冻结自监督学习(SSL)语音预训练模型中提取的语音表示,这些模型捕获发音特征(AF)信息的能力以及随后对语言场景内和跨语言场景的电话识别性能的预测。具体来说,我们比较了CPC,wav2vec 2.0和HuBert。首先,实现帧级AF探测任务。随后,实现了音素识别任务的音素级端到端ASR系统,并将帧级AF探测任务的性能与音素准确性相关联。与传统的语音表示MFCC相比,所有SSL预训练的语音表示都捕获了更多的AF信息,并在语言内和跨语言实现了更好的音素识别性能,其中HuBert表现最好。帧级AF探测任务是音素识别性能的一个很好的预测器,显示了在语音表示中捕获AF信息的重要性。与MFCC相比,在语言内场景中,这些SSL语音预训练模型在AF探测任务上的性能实现了最大34.4%的相对提高,并导致最低的PER为10.2%。在跨语言情景中,26.7%的最大相对增长也导致了23.0%的最低PER。
2022-06-24 cs.SD eess.AS
Speech Rhythm-Based Speaker Embeddings Extraction from Phonemes and Phoneme Duration for Multi-Speaker Speech Synthesis
NTT Human Informatics Laboratories(NTT人类信息学研究所);NTT Corporation(NTT公司)
本文提出一种基于语音节奏的说话人嵌入提取方法,通过音素及其时长建模目标说话人特征,实验表明其在仅用少量数据时即可提升多说话人语音合成中节奏还原的准确性。
2024-02-11 cs.CL cs.LG cs.SD
PTC-Bias: Phoneme-Level Temporal Competition for Bias Retrieval and Post-Decoding Correction in Speech LLMs
Shanghai University(上海大学)
提出PTC-Bias,通过音素级时间竞争的两阶段框架(检索与解码后校正),有效利用大规模偏置列表,在LibriSpeech上显著降低B-WER且不损害U-WER。
2026-09-25 cs.CL cs.SD
Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment
Ministry of Defense, Saudi Arabia(沙特阿拉伯国防部);Ability Center, Saudi Arabia(沙特阿拉伯能力中心);University of Rochester, USA(罗切斯特大学)
提出Harf-Speech模块化系统,结合MSA音素化器、微调语音到音素模型、Levenshtein对齐及混合评分器,在阿拉伯语音素级发音评估中达到0.791 Pearson相关和0.659 ICC,优于现有端到端方法。
2026-06-23 cs.AI cs.CL cs.SD
Why Do You Say It Like That? A Phoneme-level Framework for Explainable Speech Deepfake Detection
Agence Nationale de la Recherche(法国国家科研机构);COMPROMIS project(COMPROMIS项目)
针对语音深度伪造检测中理解分类原因的挑战,引入音素级分析框架,利用梯度加权类激活映射结合语音识别生成显著性图,该方法在ASVspoof 5实验中检测性能可比且能提供跨条件语言解释。
2026-09-29 cs.SD eess.AS
Speech-to-Text Translation with Phoneme-Augmented CoT: Enhancing Cross-Lingual Transfer in Low-Resource Scenarios
Barcelona Supercomputing CenterSpain(巴塞罗那超级计算中心西班牙);Universitat Politècnica de CatalunyaSpain(巴塞罗那理工大学西班牙)
本研究提出将音素表示融入思维链框架的语音转文本翻译方法,通过课程学习训练扩展后的多语种大语言模型,提升低资源场景翻译质量并实现零资源翻译,为多语言S2TT普及提供新思路。
2025-05-30 cs.CL cs.SD eess.AS
Profiling the Voice: Speaker-Specific Phoneme Fingerprinting for Speech Deepfake Detection
Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education(航空航天信息安全与可信计算重点实验室,教育部);School of Cyber Science and Engineering, Wuhan University(武汉大学计算机科学与工程学院)
本文提出了一种基于音素的语音分析框架PVP,通过微音学建模捕捉说话者特有的发音模式,实现对语音深度伪造的高效检测,并提供细粒度的音素级可解释性。
2026-05-18 cs.SD
DyPCL: Dynamic Phoneme-level Contrastive Learning for Dysarthric Speech Recognition
POSTECH(浦项科技大学);aiXplain Inc.(aiXplain公司)
本文提出动态音素级对比学习方法DyPCL,通过音素片段对比学习和基于语音相似性的动态课程学习缓解构音障碍说话人变异性,在UASpeech上实现平均22.10%的WER相对降低。
2025-02-03 cs.CL cs.SD eess.AS
Phoneme-Guided Initialization for LLM-based Speech Recognition
Graduate School of Informatics, Kyoto University(京都大学信息学研究科)
提出音素引导初始化方法,通过预训练音频编码器于S2P、大语言模型于P2G任务,再端到端微调,在低资源语音识别上匹配或超越级联及端到端基线。
2026-10-08 cs.CL cs.SD eess.AS
Evaluating Speech Articulation Synthesis with Articulatory Phoneme Recognition
Université de Lorraine, CNRS, Inria, LORIA(洛林大学、国家科学研究中心、法国国家信息与自动化研究所、LORIA)
本文通过发声学音素识别作为代理来评估语音发声合成的质量,提出利用发声学特征进行音素识别以更准确捕捉发音细节,从而改进生成模型的评估方法。
2026-05-20 cs.CL cs.SD
Spanish and English Phoneme Recognition by Training on Simulated Classroom Audio Recordings of Collaborative Learning Environments
协作学习环境的音频记录包含持续存在的串扰和背景噪声。在这些环境中需要西班牙语和英语之间的动态语音识别。为了消除大规模地面实况的标准要求,本文开发了一个模拟数据集,通过将音频transanimation转换为音素,并使用3D扬声器几何和数据增强来生成西班牙语和英语语音的声学模拟。本文开发了一个低复杂度的神经网络,用于识别西班牙语和英语音素(可在github.com/muelitas/keywordRec获得)。当在41个英语音素上训练时,在语音命令上实现了0.099 PER。当训练36西班牙语音素和测试的协作学习环境的真实录音,0.7208 LER实现。比Google的Speech-to-text 0.7272 LER稍好,后者使用了15到1,635倍的参数,并在300到27,500小时的真实数据上进行了训练,而不是13小时的模拟音频。
2022-02-21 cs.SD eess.AS
Edge Phoneme Recognition for Children's Speech through Age-Aware Training
Occidental College(西方学院)
该研究针对儿童语音音素检测难题,提出年龄感知训练方法,构建轻量级模型,开发出可在手机运行的PhonemeTrainer,提升儿童语音ASR与发音辅助应用性能并保障隐私合规。
2026-08-12 cs.AI cs.CL cs.SD
Robust Automatic Speech Recognition via WavAugment Guided Phoneme Adversarial Training
Alibaba Group(阿里巴巴集团);Chinese Academy of Sciences(中国科学院)
针对ASR模型需兼顾干净样本性能与抗扰动、抗域偏移能力的难题,提出WavAugment引导的音素对抗训练方法wapat,通过音素空间对抗增强与增强样本音素引导的对抗生成提升泛化性,在ESB基准上实现6.28%的WER降低,刷新SOTA。
2023-07-24 cs.CL cs.SD eess.AS
DiscoPhon: Benchmarking the Unsupervised Discovery of Phoneme Inventories With Discrete Speech Units
LSCP, ENS, EHESS, CNRS, PSL University, France(法国国家科学研究中心(CNRS)、巴黎高等师范学院(ENS)、高等科学研究所(EHESS)、巴黎社会科学大学(PSL University)和LSCP实验室)
DiscoPhon通过评估无监督音素发现方法,测试在未知语言中从离散语音单元生成音素库存的能力,提供四个预训练多语言模型基准,展示当前模型能有效关联语音单元与音素。
2026-09-25 cs.CL cs.SD eess.AS
Towards Unsupervised Speech Recognition and Synthesis with Quantized Speech Representation Learning
College of Electrical Engineering and Computer Science, National Taiwan University(台湾大学电机资讯学院)
在本文中,我们提出了一个顺序表示量化自动编码器(SeqRQ-AE)学习主要是不成对的音频数据,并产生序列的表示非常接近的语音发音的音素序列。这是通过适当的时间分割,使表示音素同步,和适当的语音聚类,有不同的表示接近音素的数量的总数。不同的表示和音素之间的映射是从少量的注释配对数据中学习的。在LJSpeech上的初步实验表明,学习到的元音表征在潜在空间中的相对位置与语言学专家定义的IPA元音图中所示的位置很好地平行。在不到20分钟的注释语音中,我们的方法在音素识别方面优于现有方法,并且能够合成击败我们的基线模型的可理解语音。
2020-02-05 cs.CL cs.SD eess.AS
Phoneme-based speech recognition driven by large language models and sampling marginalization
本文提出SKM策略,通过随机采样替代束搜索,提升语音识别模型的训练效率和识别性能。
2025-12-20 cs.SD eess.AS