Improving Speech Representation Learning via Speech-level and Phoneme-level Masking Approach
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；School of Software, Fudan University（复旦大学软件学院）
恢复被掩蔽语音帧在语音表示学习中有着广泛的应用。然而，这些模型中的大多数在预训练中使用随机掩蔽。在这项工作中，我们提出了两种掩蔽方法：（1）语音级掩蔽，使模型掩蔽更多的语音段比沉默段，（2）音素级掩蔽，迫使模型掩蔽整个帧的音素，而不是音素片。我们通过这两种方法对模型进行了预训练，并对两个下游任务进行了评估，即音素分类和说话人识别。实验结果表明，所提出的掩蔽方法有利于提高语音表示的性能。
2022-10-25 cs.CL cs.SD eess.AS
ProLombard: Structured Multi-Scale Modeling for Normal-to-Lombard Speech Conversion
National Engineering Research Center for Multimedia Software（国家多媒体软件工程技术研究中心）；School of Computer Science, Wuhan University（武汉大学计算机学院）；Hubei Key Laboratory of Multimedia and Network Communication Engineering（多媒体网络通信工程湖北省重点实验室）；Guangdong OPPO Mobile Telecommunications Corp.（广东欧珀移动通信有限公司）
该研究针对普通语音到伦巴第语音转换的现有方法存在的缺陷，提出结构化多尺度框架ProLombard，引入相关模块抑制伦巴第泄漏、实现内容解纠缠，经实验验证可提升转换性能并保留说话人身份。
2026-10-09 cs.SD
Automatic Detection of Speech Sound Disorder in Child Speech Using Posterior-based Speaker Representations
The Chinese University of Hong Kong（香港中文大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出了一种宏观的方法来自动检测语音的声音障碍（SSD）在儿童的讲话。通常，SSD表现为语言中特定音素的持续发音和语音错误。这种障碍可以通过集中分析儿童受试者引出的音素或单词来检测。在本研究中，而不是试图检测个人的电话和单词级的错误，我们建议提取一个主题级的表示，从一个长的话语，是由连接多个测试词。说话人验证方法和由深度神经网络模型生成的后验特征被应用于导出各种类型的整体表示。训练一个线性分类器来区分正常语音和无序语音。实验结果表明，该方法在检测粤语儿童SSD的任务中，比以往需要融合音素级检测结果的方法具有更好的检测性能。使用发音后特征从多词话语中导出i向量，实现了78.2%的未加权平均召回率和78.0%的宏观F1分数。
2022-06-29 cs.SD eess.AS
BERTphone: Phonetically-Aware Encoder Representations for Utterance-Level Speaker and Language Recognition
Amazon AWS AI（亚马逊 AWS 人工智能）
我们介绍BERTphone，一个Transformer编码器训练的大型语音语料库，输出语音感知的上下文表示向量，可用于扬声器和语言识别。这是通过对两个目标的训练来实现的：第一个目标，受BERT适应连续域的启发，涉及掩蔽输入帧的跨度并重建整个序列用于声学表示学习;第二个目标，受ASR瓶颈特征的成功启发，是应用于音素标签的序列级CTC损失，用于语音表示学习。我们预训练了两个BERTphone模型（一个在Fisher上，一个在TED-LIUM上），并将它们作为特征提取器用于这两个任务的x向量风格DNN。在具有挑战性的LRE 07 3秒闭集语言识别任务中，我们获得了最先进的$C_{\text{avg}}$ 6.16。在Fisher和VoxCeleb说话人识别任务中，我们看到在BERTphone向量而不是MFCC上训练时，说话人EER相对降低了18%。一般来说，BERTphone在相同数据上的表现优于以前的语音预训练方法。我们在https://github.com/awslabs/speech-representations上发布我们的代码和模型。
2021-12-29 cs.CL cs.LG cs.SD
Rhythm-Flexible Voice Conversion without Parallel Data Using Cycle-GAN over Phoneme Posteriorgram Sequences
National Taiwan University（台湾大学）
语速是指单位时间内音素的平均数量，而节奏模式是指不同音素在不同语音结构中实现的持续时间分布。它们都是语音韵律的重要组成部分，但不同的说话人的语音韵律不同。像循环一致对抗网络（Cycle-GAN）和变分自动编码器（VAE）这样的模型已经成功地应用于没有并行数据的语音转换任务。然而，由于这些方法所选择的神经网络架构和特征向量，预测话语的长度必须固定到输入话语的长度，这限制了模仿目标说话者的说话速率和节奏模式的灵活性。另一方面，序列到序列学习模型被用来去除上述长度约束，但需要并行的训练数据。在本文中，我们提出了一种方法，利用序列到序列模型训练与无监督Cycle-GAN执行之间的转换音素后验序列不同的发言人。通过这种方式，去除了上述长度约束，以提供节奏灵活的语音转换，而不需要并行数据。对两个数据集的初步评估显示了非常令人鼓舞的结果。
2018-08-09 cs.SD eess.AS
Improved Prosodic Clustering for Multispeaker and Speaker-independent Phoneme-level Prosody Control
Innoetics, Samsung Electronics（Innoetics，三星电子）；Samsung Electronics（三星电子）
本文提出了一种基于韵律聚类的多说话人文语转换系统中音素级韵律控制的方法。一个自回归注意力为基础的模型，将多扬声器架构模块并行的韵律编码器。对基本的单说话人方法提出了几点改进，增加了韵律控制的范围和覆盖率。更具体地说，我们采用数据增强，F0归一化，平衡聚类的持续时间，和说话人无关的韵律聚类。这些修改使细粒度的音素级韵律控制包含在训练集中的所有扬声器，同时保持扬声器的身份。该模型也微调到看不见的扬声器与有限的数据量，它被证明保持其韵律控制能力，验证了说话人独立的韵律聚类是有效的。实验结果表明，该模型保持高输出语音质量，所提出的方法允许有效的韵律控制在每个扬声器的范围内，尽管多扬声器设置引入的变化。
2021-11-19 cs.CL cs.LG cs.SD
Exploiting Context-dependent Duration Features for Voice Anonymization Attack Systems
Université de Lorraine, CNRS, Inria, LORIA（洛林大学、法国国家科学研究中心、法国国家信息与自动化研究所、LORIA）
本文提出利用上下文相关时长嵌入表示说话人特征并构建攻击模型，实验证明该方法在原始和匿名化语音上均显著提升说话人验证性能，揭示了现有语音匿名化系统的脆弱性。
2025-07-21 cs.CL cs.CR cs.SD
Decomposed Temporal Dynamic CNN: Efficient Time-Adaptive Network for Text-Independent Speaker Verification Explained with Speaker Activation Map
Korea Advanced Institute of Science and Technology（韩国科学技术院）
为了在与文本无关的说话人确认中提取准确的说话人信息，提出了一种基于时间窗自适应核函数的时域动态神经网络（TDY-CNN）。然而TDY-CNN的模型尺寸太大，自适应核的自由度有限。为了解决这些限制，我们提出了分解的时间动态CNN（DTDY-CNN），它通过将静态内核与基于矩阵分解的动态残差相结合来形成时间自适应内核。使用无数据增强的精心统计合并的拟议DTDY-ResNet-34（x0.50）显示EER为0.96%，优于其他最先进的方法。DTDY-CNN是TDY-CNN的成功升级，将模型大小减少了64%，并提高了性能。我们发现，与TDY-CNN相比，DTDY-CNN也提取了更准确的帧级说话人嵌入。使用由用于说话人确认的改进的梯度加权类激活映射（Grad-CAM）产生的说话人激活映射（SAM）来分析DTDY-ResNet-34（x 0. 50）在说话人信息提取上的详细行为。DTDY-ResNet-34（x0.50）不仅有效地从共振峰频率中提取说话人信息，而且还有效地从清音音素的高频信息中提取说话人信息，从而解释了其在与文本无关的说话人确认方面的出色性能。
2022-10-27 cs.SD eess.AS
Speech2Phone: A Novel and Efficient Method for Training Speaker Recognition Models
University of São Paulo（圣保罗大学）；Federal University of Technology - Paraná（巴拉那联邦理工大学）；DefinedCrowd Corp.（DefinedCrowd公司）；Federal University of Goias（戈亚斯联邦大学）
在本文中，我们提出了一种有效的方法，训练模型的说话人识别使用小或资源不足的数据集。该方法比其他SOTA（最新技术水平）方法（例如Angular Prototypic和GE 2 E损失函数）需要更少的数据，同时实现与那些方法类似的结果。这是利用说话者声音中音素的重建知识来完成的。为此，建立了一个新的数据集，由40名男性说话者组成，他们用葡萄牙语阅读句子，总计约3小时。我们比较了使用我们的方法训练的三个最佳架构，以选择最佳架构，即具有浅架构的架构。然后，我们将此模型与SOTA方法进行了比较，用于说话人识别任务：使用损失函数Angular Prototypic和GE 2 E训练了大约2,000小时的Fast ResNet-34。用不同语言的数据集进行了三个实验。在这三个实验中，我们的模型在两个实验中取得了第二好的结果，在其中一个实验中取得了最好的结果。这突出了我们方法的重要性，它被证明是SOTA说话人识别模型的有力竞争者，数据少500倍，方法更简单。
2021-06-18 cs.CL cs.SD eess.AS
Human-in-the-loop Speaker Adaptation for DNN-based Multi-speaker TTS
The University of Tokyo（东京大学）
提出了一种适用于多说话人文本到语音转换的人在回路说话人自适应方法。与传统的说话人自适应方法，目标说话人的嵌入向量提取他/她的参考语音使用的说话人编码器上训练的说话人判别任务。然而，当参考语音不可用时，该方法不能获得目标说话人的嵌入向量。我们的方法是基于一个人在回路优化框架，其中包括用户探索说话人嵌入空间，以找到目标说话人的嵌入。所提出的方法使用顺序线搜索算法，反复要求用户在嵌入空间中的线段上选择一个点。为了有效地从多个刺激中选择最佳语音样本，我们还开发了一个系统，在该系统中，用户可以在循环话语时为每个音素在多个扬声器的声音之间切换。实验结果表明，即使参考语音不直接作为说话人编码器的输入，该方法在客观评价和主观评价方面都能达到与传统方法相当的性能。
2022-06-21 cs.HC cs.NE cs.SD
Stabilizing Short Duration Speaker Verification through Neural Re-scoring with Hybrid Enrollment
Shanghai University, China（上海大学）；Xi’an Jiaotong-Liverpool University, China（西安交通大学利物浦大学）；Hithink RoyalFlush AI Research Institute, China（Hithink皇家Flush人工智能研究院）
针对短时说话人验证中语音时长不足导致性能下降的问题，提出混合注册神经重打分框架，结合文本相关与文本无关注册，通过并行交叉注意力进行帧级比较，在VoxPhrase语料库上取得一致提升。
2026-06-16 cs.SD eess.AS
Phoneme Hallucinator: One-shot Voice Conversion via Set Expansion
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
针对语音转换中可懂度与说话人相似度难以兼得的问题，提出音素幻觉器，通过幻觉目标说话人音素并基于邻居转换，实现一次性、无文本、任意到任意的语音转换，在可懂度和相似度上均优于现有方法。
2023-12-30 cs.LG cs.SD eess.AS
MGFF-TDNN: A Multi-Granularity Feature Fusion TDNN Model with Depth-Wise Separable Module for Speaker Verification
College of Computer Science（计算机科学学院）；South-Central Minzu University（西南民族大学）；Wuhan Dongxin Tongbang Information Technology Co., Ltd.（武汉东信通 bang信息技术有限公司）
本文提出MGFF-TDNN模型，通过二维深度可分离卷积与M-TDNN结构融合全局上下文和音素级细粒度特征，在VoxCeleb上以较低参数和计算成本实现高效说话人验证。
2025-05-06 cs.SD eess.AS
Controllable speech synthesis by learning discrete phoneme-level prosodic representations
Innoetics, Samsung Electronics（三星电子Innoetics）；University of West Attica（西阿提卡大学）；Samsung Electronics（三星电子）
在本文中，我们提出了一种新的方法音素级韵律控制的F0和持续时间使用直观的离散标签。我们提出了一个无监督的韵律聚类过程，用于离散化音素级F0和持续时间的功能，从多说话人的语音数据集。这些特征作为韵律标签的输入序列被馈送到韵律编码器模块，该韵律编码器模块增强基于自回归注意力的文本到语音模型。我们利用各种方法来提高韵律控制范围和覆盖率，例如增强、F0归一化、持续时间平衡聚类和与说话者无关的聚类。最终的模型使细粒度的音素级韵律控制包含在训练集中的所有扬声器，同时保持扬声器的身份。而不是依赖于参考话语的推理，我们引入了一个事先韵律编码器，学习每个扬声器的风格，使语音合成，而不需要参考音频。我们还微调的多说话人模型，以看不见的扬声器与有限的数据量，作为一个现实的应用场景，并显示韵律控制能力的维护，验证说话人无关的韵律聚类是有效的。实验结果表明，该模型具有较高的输出语音质量，所提出的方法允许有效的韵律控制在每个扬声器的范围内，尽管多扬声器设置引入的可变性。
2022-11-29 cs.CL cs.LG cs.SD
Speaker- and Text-Independent Estimation of Articulatory Movements and Phoneme Alignments from Speech
Ludwig-Maximilians University（慕尼黑路德维希-马克西米利安大学）；Universidad de Antioquia（安蒂奥基亚大学）
本文提出联合任务APTAI，通过多任务学习从原始语音同时估计发音运动、音素序列与对齐，并比较帧分类和两阶段强制对齐两种方法，在AAI上达到0.73平均相关性，帧重叠率最高约87%。
2024-07-03 cs.AI cs.CL cs.LG
The SYSU System for the Interspeech 2015 Automatic Speaker Verification Spoofing and Countermeasures Challenge
SYSU（中山大学）
许多现有的说话人验证系统被报道容易受到不同的欺骗攻击，例如说话人自适应语音合成，语音转换，播放等，为了检测这些欺骗语音信号作为对策，我们提出了一个分数级融合方法与几个不同的i-向量子系统。我们表明，声学水平梅尔频率倒谱系数（MFCC）的功能，相位水平修改的群延迟倒谱系数（MGDCC）和语音水平音素后验概率（PPP）串联功能是有效的对策。此外，在i向量建模之前对这些特征进行特征级融合也提高了性能。采用多项式核支持向量机作为监督分类器。为了提高对策的泛化能力，还采用余弦相似度和PLDA评分作为一类分类方法。通过将所提出的i向量子系统与覆盖声学和韵律信息的OpenSMILE基线相结合，进一步提高了最终性能。所提出的融合系统在INTERSPEECH 2015自动说话人验证欺骗和对策挑战提供的数据库的开发和测试集上实现了0.29%和3.26%的EER。
2015-07-29 cs.CL cs.SD
DiffV2S: Diffusion-based Video-to-Speech Synthesis with Vision-guided Speaker Embedding
KAIST（韩国科学技术院）
本文提出 DiffV2S，利用自监督模型与提示微调从视频中提取视觉引导说话人嵌入，并结合扩散模型完成无需参考音频的视频转语音合成，实现音素与身份保持的最优效果。
2023-08-15 cs.CV cs.LG cs.SD
A framework of text-dependent speaker verification for chinese numerical string corpus
University of Chinese Academy of Sciences（中国科学院大学）
针对文本相关说话人验证易受朗读节奏干扰的问题，提出解耦说话人与文本信息的端到端系统，结合新数据集与增强技术，在两个数据集上实现显著EER降低。
2024-05-21 cs.SD eess.AS
Learning Explicit Prosody Models and Deep Speaker Embeddings for Atypical Voice Conversion
Human-Computer Communications Laboratory（人机通信实验室）；The Chinese University of Hong Kong（香港中文大学）；SpeechX Limited（SpeechX有限公司）；University of Cambridge（剑桥大学）
虽然典型语音的语音转换（VC）已经取得了显著的进展，但是对于非典型语音的VC，例如，构音障碍和第二语言（L2）语音仍然是一个挑战，因为它涉及在保持说话者身份的同时纠正非典型韵律。为了解决这个问题，我们提出了一个具有显式韵律建模和深度说话人嵌入（DSE）学习的VC系统。首先，语音编码器努力从非典型语音中提取鲁棒的音素嵌入。第二，韵律校正器接收音素嵌入以推断典型的音素持续时间和音高值。第三，转换模型将音素嵌入和典型韵律特征作为输入以生成转换后的语音，条件是通过扬声器编码器或扬声器自适应学习的目标DSE。大量的实验表明，说话人自适应可以实现更高的说话人相似度，和说话人编码器为基础的转换模型，可以大大减少构音障碍和非母语发音模式，提高语音可懂度。对构音障碍语音和转换语音的语音识别结果的比较表明，该方法可以实现47.6%的字符错误率（CER）和29.3%的单词错误率（WER）的绝对降低。
2021-06-17 cs.CL cs.SD eess.AS
Rapping-Singing Voice Synthesis based on Phoneme-level Prosody Control
Innoetics, Samsung Electronics（三星电子 Innoetics）；Mobile Communications Business, Samsung Electronics（三星电子移动通信业务）
本文介绍了一个文本到说唱/唱歌系统，它可以适应任何说话人的声音。它利用了一个基于Tacotron的多扬声器声学模型训练的只读语音数据，并提供在音素级的韵律控制。基于传统的DSP算法的数据集增强和额外的韵律操纵也进行了研究。神经TTS模型被微调到一个看不见的扬声器的有限录音，允许说唱/唱歌与目标的扬声器的声音合成。该系统的详细流水线进行了描述，其中包括提取的目标音高和持续时间值从一个无伴奏合唱歌曲和它们的转换成目标扬声器的有效范围的音符合成之前。通过WSOLA输出的韵律操纵的一个额外的阶段也被调查，以更好地匹配目标持续时间值。合成的话语可以与乐器伴奏音轨混合以产生完整的歌曲。所提出的系统进行评估，通过主观听力测试，以及在一个可用的替代系统，其目的也是从只读训练数据产生合成歌声比较。实验结果表明，该方法可以产生高质量的说唱/唱歌的声音与增加的自然度。
2021-11-17 cs.CL cs.LG cs.SD
SPARCLE: SPeaker-aware Aligned Representations via Contrastive Language Embeddings
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；National Center for Supercomputing Applications（国家超级计算应用中心）
提出SPARCLE模型，通过对比学习将字素与Wav2Vec2声学表示对齐并融入说话人身份，替代G2P系统，在低资源TTS中将词错误率降低一半。
2026-07-03 cs.AI cs.CL cs.SD
UniSAE: Unified Speech Attribute Editing on Speaker, Emotion and Low-Level Content via Discrete Phonetic Posteriorgram Modelling
China Mobile Science and Technology（中国移动科学技术）；Beijing Institute of Technology（北京理工大学）
提出UniSAE统一框架，通过离散音素后验图（DPPG）表示语音内容，支持从子音素到词级的说话人、情感和内容编辑，并采用扩散解码器生成语音。
2026-07-01 cs.AI cs.CL cs.SD
KABURI-TTS: Phoneme-Keyed Activity-conditioned Bi-channel Utterance Rendering for Interaction
Nagoya University（名古屋大学）；National Institute of Informatics（信息学研究所）；Keio University（庆应义塾大学）；Waseda University（早稻田大学）
针对全双工对话中重叠等同时现象，提出KABURI-TTS，以每说话人音素栅格为输入，在语音活动条件下双声道渲染语音，实现可控双人对话生成，提升自然度并产生更多重叠与轮换。
2026-09-09 cs.CL cs.SD
Investigating Disentanglement in a Phoneme-level Speech Codec for Prosody Modeling
Innoetics, Samsung Electronics（Innoetics，三星电子）；Mobile eXperience Business, Samsung Electronics（移动体验业务部门，三星电子）
本研究修改RVQ-VAE模型使其在音素级运行，通过语言表征条件约束与全局说话人嵌入分离语音和说话人信息，验证了其离散潜在表征的高解耦度与韵律建模能力。
2024-09-13 cs.CL cs.LG cs.SD
DyPCL: Dynamic Phoneme-level Contrastive Learning for Dysarthric Speech Recognition
POSTECH（浦项科技大学）；aiXplain Inc.（aiXplain公司）
本文提出动态音素级对比学习方法DyPCL，通过音素片段对比学习和基于语音相似性的动态课程学习缓解构音障碍说话人变异性，在UASpeech上实现平均22.10%的WER相对降低。
2025-02-03 cs.CL cs.SD eess.AS
A unified one-shot prosody and speaker conversion system with self-supervised discrete speech units
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个统一的系统来实现单次语音转换（VC）的音高，节奏和扬声器属性。现有的研究普遍忽视了韵律与语言内容的相关性，导致转换语音的自然度下降。此外，缺乏适当的语言功能阻止了这些系统在转换后准确地保留语言内容。为了解决这些问题，我们设计了一个级联的模块化系统，利用自我监督的离散语音单元作为语言表示。这些离散单元提供了节奏建模所必需的持续时间信息。我们的系统首先从原始波形中提取话语级韵律和说话人表示。给定韵律表示，韵律预测器估计话语中每个离散单元的音高、能量和持续时间。合成器还基于预测的韵律、说话者表示和离散单元来重构语音。实验结果表明，我们的系统优于以前的方法在自然度，可懂度，说话人可转移性，韵律可转移性。代码和示例是公开的。
2022-11-12 cs.CL cs.LG cs.SD
Analyzing and Improving Speaker Similarity Assessment for Speech Synthesis
Ubisoft La Forge（育碧La Forge）；Stellenbosch University（斯坦福大学）
本文分析ASV嵌入在说话人相似度评估中的局限，指出其偏重静态特征而忽略动态节奏，并提出U3D指标以改进语音克隆中的身份一致性评估。
2025-07-02 cs.CL cs.LG cs.SD
Two-Stream Joint-Training for Speaker Independent Acoustic-to-Articulatory Inversion
Tianjin University（天津大学）；Tianjin International Engineering Institute, Tianjin University（天津大学天津国际工程学院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Institute of Linguistics, Chinese Academy of Social Sciences（中国社会科学院语言研究所）
声学发音反演（AAI）的目的是从语音音频中估计发音器官的参数。AAI面临两个共同的挑战，即有限的数据和说话人无关场景下的性能不理想。目前的研究大多集中在直接从语音中提取特征，而忽略了音素信息的重要性，这可能会限制AAI的性能。为此，我们提出了一种名为SPN的新型网络，它使用两个不同的流来执行AAI任务。首先，为了提高非特定人实验的性能，我们提出了一种新的音素流网络来估计发音参数作为音素特征。据我们所知，这是第一个工作，提取非特定人特征的音素，以提高AAI的性能。其次，为了更好地表示语音信息，我们训练了一个语音流网络，将局部特征和全局特征结合起来。在非特定人实验中，与最新的SOTA方法相比，该方法的均方根误差降低了0.18mm，皮尔逊相关系数提高了6.0%。该代码已在https://github.com/liujinyu123/AAINetwork-SPN上发布。
2023-02-26 cs.MM cs.SD eess.AS
Profiling the Voice: Speaker-Specific Phoneme Fingerprinting for Speech Deepfake Detection
Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education（航空航天信息安全与可信计算重点实验室，教育部）；School of Cyber Science and Engineering, Wuhan University（武汉大学计算机科学与工程学院）
本文提出了一种基于音素的语音分析框架PVP，通过微音学建模捕捉说话者特有的发音模式，实现对语音深度伪造的高效检测，并提供细粒度的音素级可解释性。
2026-05-18 cs.SD
Audio ALBERT: A Lite BERT for Self-supervised Learning of Audio Representation
Amazon（亚马逊）
对于自监督语音处理，使用预训练模型作为语音表示提取器至关重要。在最近的工作中，增加模型的大小已被用于声学模型训练，以实现更好的性能。在本文中，我们提出了音频ALBERT，一个精简版的自监督语音表示模型。我们使用的表示与两个下游的任务，说话人识别和音素分类。我们表明，音频ALBERT是能够实现具有竞争力的性能与这些巨大的模型在下游的任务，同时利用91%的参数少。此外，我们使用一些简单的探测模型来衡量有多少说话人和音素的信息被编码在潜在的表征。在探测实验中，我们发现潜在表征比最后一层包含了更丰富的音素和说话人信息。
2021-05-03 cs.CL cs.SD eess.AS
Speaker- and Age-Invariant Training for Child Acoustic Modeling Using Adversarial Multi-Task Learning
University of New South Wales（新南威尔士大学）
儿童语音声学建模的主要挑战之一是随着儿童的成长，他们的发音发生快速变化，他们不同的增长速度以及随后在同一年龄组中的高变异性。这些高声学变化以及儿童语音语料库的稀缺阻碍了可靠的儿童语音识别系统的发展。本文提出了一种基于对抗性多任务学习的说话人和年龄不变训练方法。该系统由一个生成器共享网络组成，该网络学习生成与音素、年龄和说话者三个识别网络相连的说话者和年龄不变特征。生成器网络被训练成在对抗性多任务学习方式中最小化音素辨别损失并最大化说话者和年龄辨别损失。发生器网络是一个时间延迟神经网络（TDNN）结构，而三个鉴别器是前馈网络。该系统被应用到OGI语音语料库，并取得了13%的减少WER的ASR。
2022-11-07 cs.CL cs.SD eess.AS
Prosodic Clustering for Phoneme-level Prosody Control in End-to-End Speech Synthesis
Innoetics, Samsung Electronics（三星电子 Innoetics）；Mobile Communications Business, Samsung Electronics（三星电子移动通信事业部）
本文提出了一种在基于注意力的自回归文语转换系统中，在音素层次上控制韵律的方法。而不是学习潜在的韵律特征的变分框架，因为通常做的，我们直接提取音素级的F0和持续时间的语音数据中的训练集的功能。使用无监督聚类对每个韵律特征进行离散化，以便为每个话语产生韵律标签序列。该序列与音素序列并行使用，以便利用韵律编码器和相应的注意力模块来调节解码器。实验结果表明，该方法在保持高质量语音的同时，允许音素级的F0和时长控制。通过用音符替换F0簇质心，该模型还可以提供对扬声器范围内的音符和八度音的控制。
2021-11-19 cs.CL cs.LG cs.SD
Content-Dependent Fine-Grained Speaker Embedding for Zero-Shot Speaker Adaptation in Text-to-Speech Synthesis
Tencent（腾讯）
Zero-shot说话人自适应的目的是克隆一个看不见的说话人的声音，没有任何适应时间和参数。以前的研究通常使用说话人编码器从参考语音中提取全局固定说话人嵌入，并且有几次尝试尝试了可变长度的说话人嵌入。然而，他们忽略了转移个人的发音特征相关的音素内容，导致穷人的说话人的相似性方面的详细发言风格和发音习惯。为了提高说话人编码器对个人发音特征建模的能力，我们提出了基于内容的细粒度说话人嵌入的zero-shot说话人自适应算法。分别从参考语音中提取相应的本地内容嵌入和说话人嵌入。而不是建模的时间关系，一个参考注意模块被引入到参考语音和输入文本之间的内容相关性建模，并生成细粒度的扬声器嵌入每个音素编码器的输出。实验结果表明，该方法可以提高合成语音的说话人相似度，特别是对未知说话人。
2022-11-11 cs.SD eess.AS
Duration-aware pause insertion using pre-trained language model for multi-speaker text-to-speech
The University of Tokyo（东京大学）；CyberAgent, Inc.（赛博艾坚特公司）
插入停顿，也称为短语中断预测和短语化，是TTS系统的重要组成部分，因为具有自然持续时间的适当停顿显著增强合成语音的节奏和可懂度。然而，传统的短语模型忽略了不同说话人插入无声停顿的不同风格，这会降低在多说话人语音语料库上训练的模型的性能。为此，我们提出了基于预训练语言模型的更强大的暂停插入框架。我们的方法使用双向编码器表示从Transformers（BERT）预先训练的大规模文本语料库，注入扬声器嵌入捕捉各种扬声器的特点。我们还利用持续时间感知的暂停插入来实现更自然的多扬声器TTS。我们开发和评估两种类型的模型。第一个改进了关于呼吸暂停（RP）的位置预测的常规措辞模型，即，在没有标点符号的词转换处无声停顿。它执行说话人条件RP预测考虑上下文信息，并用于演示说话人信息对预测的影响。第二个模型进一步设计为基于音素的TTS模型，并执行持续时间感知的停顿插入，预测RP和标点指示的停顿（PIP），按持续时间分类。实验结果表明，该模型提高了停顿插入的准确率和召回率，并改善了合成语音的节奏感。
2023-02-27 cs.CL cs.LG cs.SD
Phoneme-Level Analysis for Person-of-Interest Speech Deepfake Detection
本文提出一种基于音素级分析的POI语音深度伪造检测方法，通过分解参考音频构建说话人特征档案并逐一比对测试音素，在保持准确率的同时显著提升了鲁棒性与可解释性。
2025-07-11 cs.SD eess.AS
Multi-Scale Accent Modeling and Disentangling for Multi-Speaker Multi-Accent Text-to-Speech Synthesis
National University of Singapore（新加坡国立大学）；Hong Kong Generative AI Research and Development Centre, The Hong Kong University of Science and Technology（香港科技大学香港生成式人工智能研发中心）
本文提出多尺度口音建模与说话人解耦方法，结合全局和局部口音建模及局部口音预测模型，实现多说话人多口音TTS合成，并在语音质量和口音呈现上优于基线系统。
2025-01-01 cs.SD eess.AS
Combining Masked Language Modeling and Cross-Modal Contrastive Learning for Prosody-Aware TTS
MTUCI（莫斯科电信与信息技术大学）
本文研究了基于扩散模型的语音合成中多阶段预训练对语调建模的影响，通过掩码语言建模与混合音素对比学习相结合，提升了生成质量与感知指标。
2026-10-23 cs.SD eess.AS
Probing phoneme, language and speaker information in unsupervised speech representations
Cognitive Machine Learning (ENS–CNRS–EHESS–INRIA–PSL Research University)（认知机器学习实验室（巴黎高等师范学院-法国国家科学研究中心-法国高等社会科学研究院-法国国家信息与自动化研究所-巴黎文理研究大学））；Université de Paris Cité（巴黎西岱大学）；CNRS（法国国家科学研究中心）；Meta AI Research（Meta人工智能研究院）
本文通过比较单语和双语CPC语音表征，发现性别和音素信息普遍存在，语言信息在双语模型中更显著，且聚类数增加会编码更多性别信息，但双语训练对下游音素区分任务有一定代价。
2022-03-30 cs.SD eess.AS
Why Do You Say It Like That? A Phoneme-level Framework for Explainable Speech Deepfake Detection
Agence Nationale de la Recherche（法国国家科研机构）；COMPROMIS project（COMPROMIS项目）
针对语音深度伪造检测中理解分类原因的挑战，引入音素级分析框架，利用梯度加权类激活映射结合语音识别生成显著性图，该方法在ASVspoof 5实验中检测性能可比且能提供跨条件语言解释。
2026-09-29 cs.SD eess.AS
FabasedVC: Enhancing Voice Conversion with Text Modality Fusion and Phoneme-Level SSL Features
School of Software Engineering, Xi'an Jiaotong University（西安交通大学软件工程学院）；AI Platform Department, bilibili（bilibili人工智能平台部）；School of Software Engineering, East China Normal University（华东师范大学软件工程学院）；School of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院）；Division of Music and Audio, Union Wheatland Culture and Media Ltd.（Union Wheatland Culture and Media Ltd.音乐与音频部）
针对语音转换需兼顾目标说话人音色韵律建模与语义信息保留的问题，提出端到端VITS基系统FabasedVC，融合文本模态、音素级SSL特征与时长预测器，在自然度、相似度及内容完整性上优于现有对比系统。
2025-11-13 cs.SD
Unsupervised Rhythm and Voice Conversion of Dysarthric to Healthy Speech for ASR
Idiap Research Institute（伊迪亚普研究所）；EPFL, École polytechnique fédérale de Lausanne（洛桑联邦理工学院）
针对ASR系统处理构音障碍语音效果差且现有语速调整方法依赖转录数据的问题，提出结合自监督表示的无监督节奏与音色转换方法，可显著提升重度构音障碍说话者的ASR性能。
2025-01-17 cs.AI cs.LG cs.SD
Exploring Timbre Disentanglement in Non-Autoregressive Cross-Lingual Text-to-Speech
NetEase Games AI Lab（网易游戏人工智能实验室）
本文从多个方面研究了非自回归跨语言TTS模型中说话人和语言表征的分离问题。我们提出了一个音素长度调节器，解决了IPA输入序列和单语对齐结果之间的长度不匹配问题。使用音素长度调节器，我们提出了一个基于FastPitch的跨语言模型，IPA符号作为输入表示。我们的实验表明，语言独立的输入表示（如IPA符号），越来越多的训练扬声器，语音方差信息的显式建模都鼓励非自回归跨语言TTS模型解开扬声器和语言表示。主观评价表明，我们提出的模型可以实现体面的自然度和说话人的相似性在跨语言的语音克隆。
2022-08-31 cs.SD eess.AS
Rhythm Zone Theory: Speech Rhythms are Physical after all
Jinan University（暨南大学）
语音节奏主要有三种方式：从语言学和应用语言学中对节奏作为音节和音步计时的相关性的内省分析，通过对与辅音和元音特性、音节、音步和单词相关的话语段的持续时间的分析，到语音产生和感知中的节奏模型作为物理振荡。本研究避免了内省和人类过滤注释方法，并通过添加额外的分析步骤的边缘检测，并假设在可识别的边缘标记的节奏区（节奏区理论，RZT）的多个语音节奏共存的幅度包络谱分析的信号处理范例。RZT的效用进行了探索性的调查，表明本族语和非本族语阅读相同的文本是不同的子类型的阅读讲话：一个阅读由美国母语和非本族语阅读相对低性能的广东成人英语学习者。该研究的结论是，使用所使用的方法，RZT可以区分母语阅读与非母语学习者阅读的定义明确的子类型的语音节奏，但需要进一步完善，以适用于矛盾的更复杂的语音低性能语言学习者，他们的言语节奏除了受语法、词汇和语篇制约等语言因素的影响外，还受非流利性和非流利性因素的共同影响。
2019-03-12 cs.CL cs.SD q-bio.NC
XiaoiceSing: A High-Quality and Integrated Singing Voice Synthesis System
Xiaoice, Microsoft Software Technology Center Asia（微软亚洲软件技术中心小冰）；Microsoft Research Asia（微软亚洲研究院）
本文介绍了一个高质量的歌唱声音合成系统，它采用了一个集成的网络的频谱，F0和持续时间建模。我们遵循FastSpeech的主要架构，同时提出了一些特定于唱歌的设计：1）除了音素ID和位置编码，还增加了乐谱特征（例如音符音高和长度）。2)为了减少走调问题，我们在F0预测中添加了残差连接。3)除了每个音素的持续时间损失之外，还将音符中所有音素的持续时间累积以计算用于节奏增强的音节持续时间损失。实验结果表明，XiaoceSing在音质、发音准确率和自然度方面分别比卷积神经网络基线系统高1.44 MOS、1.18 MOS和1.38 MOS。在两个A/B测试中，所提出的F0和持续时间建模方法分别获得了97.3%和84.3%的偏好率，这表明了XiaoceSing的压倒性优势。
2020-06-11 cs.CL cs.LG cs.SD
Any-to-Many Voice Conversion with Location-Relative Sequence-to-Sequence Modeling
The Chinese University of Hong Kong（香港中文大学）；Cambridge University（剑桥大学）
本文提出了一种任意到多位置相关的序列到序列（seq 2seq）非并行语音转换方法，该方法在训练过程中利用文本监督。在这种方法中，我们将瓶颈特征提取器（BNE）与seq 2seq合成模块相结合。在训练阶段，训练了一个基于编码器-解码器的混合连接-时间-分类-注意（CTC-注意）音素识别器，其编码器具有瓶颈层。从音素识别器获得BNE，并利用BNE从频谱特征中提取与说话者无关的、密集的和丰富的口语内容表示。然后训练一个基于多说话人位置相关注意力的seq 2seq合成模型，从瓶颈特征中重建频谱特征，在生成的语音中以说话人表示为条件进行说话人身份控制。为了减轻使用seq 2seq模型来比对长序列的困难，我们沿着时间维度对输入光谱特征进行下采样，并为合成模型配备离散化混合逻辑（MoL）注意机制。由于音素识别器是用大量的语音识别数据库训练的，因此该方法可以进行任意对多的语音转换。客观和主观评价表明，所提出的任何到多的方法具有优越的语音转换性能的自然度和说话人相似性。烧蚀研究进行，以确认在所提出的方法的特征选择和模型设计策略的有效性。所提出的VC方法可以很容易地扩展到支持任何到任何VC（也称为一个/Few-Shot VC），并根据客观和主观评价实现高性能。
2021-05-23 cs.CL cs.SD eess.AS
Phoneme Boundary Detection using Learnable Segmental Features
Bar-Ilan University（巴伊兰大学）
音素边界检测起着至关重要的第一步，为各种语音处理应用程序，如扬声器diarization，语音科学，关键字定位等，在这项工作中，我们提出了一个神经架构加上一个参数化的结构化损失函数学习音素边界检测任务的分段表示。首先，我们评估了我们的模型时，口语音素不作为输入。TIMIT和七叶树语料库的结果表明，该模型优于基线模型，并达到最先进的性能方面的F1和R值。我们进一步探讨了使用音标作为额外的监督，并表明这会产生轻微的性能改善，但更好的收敛速度。我们还评估了模型的希伯来语语料库，并证明这样的语音监督可以在多语言环境中是有益的。
2020-02-16 cs.LG cs.SD eess.AS
Persian Vowel recognition with MFCC and ANN on PCVC speech dataset
Vali-e-Asr University of Rafsanjan（拉夫桑詹瓦利埃阿斯尔大学）；University of Tabriz（大不里士大学）
本文提出了一种在新的波斯语语音数据集PCVC（Persian Consonant-Vowel Combination）上识别辅音-元音音素组合的新方法，并将其用于波斯语音素的识别。在PCVC数据集中，有来自10个说话人的20组音频样本，它们是波斯语的23个辅音和6个元音音素的组合。在每个样本中，有一个元音和一个辅音的组合。首先，辅音音素发音，紧接着元音音素发音。每个声音样本是一帧2秒的音频。在每2秒中，平均有0.5秒的讲话，其余的是沉默。在本文中，所提出的方法是MFCC（梅尔频率倒谱系数）的实现对每个分区的声音样本。然后，将MFCC矢量的每个训练样本送入多层感知器前馈神经网络（人工神经网络）进行训练。最后，对测试样本进行了音素识别的人工神经网络模型检验。经过训练和测试，给出了元音识别的结果。然后，计算元音音素的平均识别率。
2018-12-17 cs.CL cs.LG cs.SD
Zero-shot text-to-speech synthesis conditioned using self-supervised speech representation model
NTT Corporation（日本电信电话公司）
针对零样本 TTS 中未见说话人特征复现不足的问题，提出直接利用 SSL 语音表示并分离声学特征与时长条件，提升说话人相似度并实现语音节奏迁移。
2023-04-24 cs.LG cs.SD eess.AS
Mispronunciation Detection in Non-native (L2) English with Uncertainty Modeling
Amazon Speech（亚马逊语音）；Gdansk University of Technology（格但斯克工业大学）
在语言学习中自动检测发音错误的一种常见方法是识别学生产生的音素，并将其与母语者的预期发音进行比较。这种方法有两个简单的假设：a）音素可以从语音中高精度地识别出来，b）一个句子的发音只有一种正确的方式。这些假设并不总是成立，这可能导致大量的错误发音警报。我们提出了一种新的方法来克服这个问题的基础上两个原则：a）考虑到不确定性的自动音素识别步骤，b）占的事实，可能有多个有效的发音。我们评估的非母语（L2）的德语，意大利语和波兰语的英语语音模型，在那里它被证明可以增加高达18%（相对）的常见方法相比，检测发音错误的精度。
2021-02-08 cs.LG cs.SD eess.AS
Incorporating L2 Phonemes Using Articulatory Features for Robust Speech Recognition
NAVER Cloud（NAVER云）
本文提出通过发音特征引入韩语 L2 音素，并以端到端 LF-MMI 训练声学模型建模发音变体，从而仅用 L1 数据提升非母语 ASR，L2 微调还能同时改善两类语音识别。
2023-06-05 cs.CL cs.LG cs.SD
Enhancing the vocal range of single-speaker singing voice synthesis with melody-unsupervised pre-training
Tencent PCG（腾讯平台与内容事业群）
提出旋律无监督多说话人预训练方法，利用多歌手数据增强单说话人歌声合成音域，并引入可微分时长调节器与双向流模型提升节奏自然度和音质。
2023-09-01 cs.CL cs.SD eess.AS
speechocean762: An Open-Source Non-native English Speech Corpus For Pronunciation Assessment
Xiaomi Corporation（小米公司）；SpeechOcean Ltd.（海天瑞声科技股份有限公司）
本文介绍了一个名为“speechocean 762”的新开源语音语料库，旨在用于发音评估，由来自250名非母语人士的5000句英语话语组成，其中一半的说话者是儿童。五位专家分别从词、词和音素三个层面对每一段话语进行了注释。一个基线系统是在开放源代码中发布的，以说明在这个语料库上的音素级发音评估工作流程。本语料库允许自由用于商业和非商业目的。它可以从OpenSLR免费下载，相应的基线系统发布在Kaldi语音识别工具包中。
2021-06-02 cs.CL cs.SD eess.AS
Improved Mispronunciation detection system using a hybrid CTC-ATT based approach for L2 English speakers
UpGrad（UpGrad 教育科技公司）
这份报告提出了计算机辅助语言学习（CALL）领域的最新研究。发音错误检测是计算机辅助语音训练系统（CAPT）的核心部分之一，CAPT是CALL的一个子集。关于自动发音错误检测的研究始于20世纪90年代，但由于计算能力的提高和用于记录发音分析所需语音的移动设备的可用性，在过去十年中，全面的CAPT的发展才加速。发音错误的检测是一个很难解决的问题，因为没有正式的定义正确和不正确的发音。结果，通常检测到诸如音素替换、插入和删除的韵律和音素错误。此外，人们已经同意，学习发音应侧重于说话者的可理解性，而不是听起来像一个L1英语发言者。最初，使用高斯混合模型-隐马尔可夫模型和深度神经网络-隐马尔可夫模型方法开发了称为良好发音的后验似然方法。与最近提出的基于ASR的端到端错误发音检测系统相比，这些是复杂的系统。本研究的目的是建立端到端（E2 E）模型使用连接主义时间分类（CTC）和基于注意的序列解码器。最近，E2 E模型在错误发音检测准确性方面已经显示出相当大的改进。本研究将比较基线模型CNN-RNN-CTC、基于字符序列的注意力解码器的CNN-RNN-CTC和基于音素的解码器系统的CNN-RNN-CTC。这项研究将有助于我们在决定一个更好的方法来开发一个有效的发音错误检测系统。
2022-01-25 cs.SD eess.AS
Exploiting Audio-Visual Features with Pretrained AV-HuBERT for Multi-Modal Dysarthric Speech Reconstruction
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；Vocal Engineering Technologies Limited
针对重度构音障碍语音在复杂噪声环境下重建难度大的问题，提出融合唇部视觉信息、基于AV-HuBERT的多模态DSR框架，经UASpeech语料库验证，可显著提升语音可懂度与自然度，重度患者词错率绝对下降42.1%。
2024-01-31 cs.SD eess.AS
