Speaker Adaption with Intuitive Prosodic Features for Statistical Parametric Speech Synthesis
University of Science and Technology of China(中国科学技术大学)
在本文中,我们提出了一种统计参数语音合成的说话人自适应方法与直观的韵律特征。该方法采用的直观韵律特征包括音高、音高范围、语速和能量,因为它们直接关系到不同说话人的整体韵律特征。该方法在说话人和说话人两个层次上提取韵律特征,并将其分别集成到现有的基于说话人编码和基于说话人嵌入的自适应框架中。声学模型是基于Tacotron 2的序列到序列模型。实验结果表明,本文提出的方法可以获得比没有直观韵律特征的基准方法更好的客观和主观性能。此外,本文提出的基于话语级韵律特征的说话人自适应方法在所有比较方法中获得了最好的合成语音相似度。
2022-03-02 cs.AI cs.SD eess.AS
EmphAssess : a Prosodic Benchmark on Assessing Emphasis Transfer in Speech-to-Speech Models
Apple(苹果公司);Meta AI Research(Meta AI研究院);ENS, EHESS, CNRS, PSL University(巴黎高等师范学院、法国社会科学高等研究院、法国国家科学研究中心、巴黎文理研究大学)
本文提出EmphAssess韵律基准,用于评估语音到语音模型在语音重合成和语音到语音翻译任务中编码并重现重音的能力,并引入了EmphaClass模型在帧或词级别进行重音分类。
2024-10-14 cs.CL cs.SD eess.AS
Cross-linguistic Prosodic Analysis of Autistic and Non-autistic Child Speech in Finnish, French and Slovak
University of Helsinki(赫尔辛基大学);Tampere University(坦佩雷大学)
本研究通过分析芬兰、法语和斯洛伐克语中自闭症和非自闭症儿童的语音特征,发现自闭症患者在语音质量和强度动态上存在语言无关的差异,挑战了传统的缺陷模型。
2026-03-06 eess.AS
Modeling Sarcastic Speech: Semantic and Prosodic Cues in a Speech Synthesis Framework
Speech Technology Lab, University of Groningen, Campus Fryslân, The Netherlands(格罗宁根大学弗里赛兰校区语音技术实验室,荷兰);Center for Language and Cognition, University of Groningen, The Netherlands(格罗宁根大学语言与认知中心,荷兰)
提出一个计算框架,通过整合语义和韵律线索建模讽刺,使用微调LLaMA 3模型提取语义线索,从讽刺语音数据库提取韵律线索,语音合成测试表明两者结合能增强讽刺感知。
2026-06-16 cs.CL cs.SD eess.AS
Applying the Information Bottleneck Principle to Prosodic Representation Learning
The Chinese University of Hong Kong(香港中文大学);Beijing Jiaotong University(北京交通大学)
提出了一种基于神经网络的语音生成模型,该模型用于学习韵律表征,表征学习问题根据信息瓶颈原理进行了描述。改进的VQ-VAE量化层被引入到语音生成模型中,以控制IB容量并调整学习表示的重构能力和解纠缠能力之间的平衡。该模型能够从语音数据中学习单词级的韵律表示。通过优化的IB容量,学习的表示不仅足以重建原始语音,而且可以用于将韵律转移到不同的文本内容上。广泛的客观和主观评价的结果,展示了IB容量控制的效果,有效性,和潜在的使用学习的韵律表示在可控的神经语音生成。
2021-08-05 cs.SD eess.AS
Prosodic ABX: A Language-Agnostic Method for Measuring Prosodic Contrast in Speech Representations
The University of Tokyo(东京大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出语调ABX方法,用于评估语音表示中的语调对比度,通过少量示例和无显式标签进行测试,展示了其在英语重音、日语声调和汉语声调中的有效性。
2026-09-29 cs.CL cs.LG cs.SD
Controllable neural text-to-speech synthesis using intuitive prosodic features
Apple(苹果公司)
现代神经文本转语音(TTS)合成可以生成与自然语音难以区分的语音。然而,生成的话语的韵律往往代表的平均韵律风格的数据库,而不是有广泛的韵律变化。此外,生成的韵律仅由输入文本定义,这不允许同一句子具有不同的风格。在这项工作中,我们训练一个序列到序列的神经网络的声学语音功能的条件下,学习一个潜在的韵律空间直观和有意义的尺寸。实验表明,一个模型的条件下,在韵律方面的音高,音高范围,电话持续时间,能量和频谱倾斜可以有效地控制每个韵律维度,并产生各种各样的说话风格,同时保持类似的平均意见得分(4.23),我们的Tacotron基线(4.26)。
2020-09-14 cs.CL cs.LG cs.SD
Unsupervised Approaches for Global Prosodic Embedding Extraction
Universidad de Buenos Aires (UBA)(布宜诺斯艾利斯大学)
提出基于音高和能量的自编码器模型生成全局韵律嵌入,在挑战性条件下相比其他方法表现更优或相当。
2026-06-15 eess.AS
A Study on Prosodic Entrainment in Relation to Therapist Empathy in Counseling Conversation
本研究探讨心理咨询对话中语音韵律顺应与主观评分的治疗师共情之间的关系,发现强度顺应对共情感知影响最大,且观察者与来访者对共情的感知存在差异。
2023-10-22 eess.AS
Disentangling segmental and prosodic factors to non-native speech comprehensibility
Texas A&M University(德克萨斯农工大学)
本研究提出一种口音转换系统,分离音段与韵律特征,发现音段特征对非母语语音可理解性影响更大,可用于研究社会态度。
2024-08-20 cs.CL eess.AS
Style Description based Text-to-Speech with Conditional Prosodic Layer Normalization based Diffusion GAN
IIT Delhi(印度理工学院德里分校)
本文提出Prosodic Diff-TTS,通过条件韵律层归一化将风格描述嵌入扩散GAN,在仅4步去噪内实现高保真语音合成,并在多说话人数据集上验证了效果。
2023-10-27 cs.CL cs.SD eess.AS
On granularity of prosodic representations in expressive text-to-speech
Amazon Text-to-Speech Research(亚马逊语音合成研究部)
在表达性语音合成中,广泛采用潜在韵律表示来处理训练过程中数据的变化。相同的文本可以对应于不同的声学实现,这被称为文本转语音中的一对多映射问题。在自动编码设置中从目标信号中提取话语、单词或音素级表示,以补充语音输入并简化该映射。本文比较了韵律嵌入在不同的粒度级别,并检查其预测文本。我们发现,话语级嵌入有不足的容量和音素级倾向于引入不稳定性时,从文本预测。词级表示在容量和可预测性之间施加平衡。因此,我们将LibriTTS数据集上的合成语音和录音之间的自然度差距缩小了90%,而不会牺牲清晰度。
2023-01-26 cs.SD eess.AS
A Discourse-level Multi-scale Prosodic Model for Fine-grained Emotion Analysis
Tsinghua University(清华大学)
本文提出话语级多尺度文本韵律模型D-MPM,通过预测音素级局部韵律嵌入和全局风格嵌入来改进细粒度情感语音合成,并构建了超1.3万条语句的中文有声书数据集DCA进行验证。
2023-09-21 cs.CL cs.SD eess.AS
Investigating Prosodic Signatures via Speech Pre-Trained Models for Audio Deepfake Source Attribution
IIIT-Delhi(德里印度信息技术学院);University of Tartu(塔尔图大学)
本研究探究多种SOTA语音预训练模型捕获韵律特征以用于音频深度伪造源归因的能力,发现x-vector表现最佳,并提出FINDER融合框架融合Whisper和x-vector表示,实现了SOTA性能。
2024-12-23 cs.SD eess.AS
DPP-TTS: Diversifying prosodic features of speech via determinantal point processes
Seoul National University(首尔国立大学)
针对现有TTS模型在韵律多样性上的局限,提出基于行列式点过程的DPP-TTS模型,通过韵律多样化模块同时考虑单样本内与多样本间的感知多样性,在保持自然度的前提下生成更具韵律多样性的语音。
2023-10-23 cs.CL eess.AS
Prosodic Clustering for Phoneme-level Prosody Control in End-to-End Speech Synthesis
Innoetics, Samsung Electronics(三星电子 Innoetics);Mobile Communications Business, Samsung Electronics(三星电子移动通信事业部)
本文提出了一种在基于注意力的自回归文语转换系统中,在音素层次上控制韵律的方法。而不是学习潜在的韵律特征的变分框架,因为通常做的,我们直接提取音素级的F0和持续时间的语音数据中的训练集的功能。使用无监督聚类对每个韵律特征进行离散化,以便为每个话语产生韵律标签序列。该序列与音素序列并行使用,以便利用韵律编码器和相应的注意力模块来调节解码器。实验结果表明,该方法在保持高质量语音的同时,允许音素级的F0和时长控制。通过用音符替换F0簇质心,该模型还可以提供对扬声器范围内的音符和八度音的控制。
2021-11-19 cs.CL cs.LG cs.SD
Respiratory Distress Detection from Telephone Speech using Acoustic and Prosodic Features
BUET(孟加拉国工程技术大学);Digital Healthcare Solutions(数字医疗解决方案公司);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
随着远程医疗服务的广泛使用,通过电话语音自动评估健康状况可以对公共卫生产生重大影响。这项工作总结了我们的初步研究结果呼吸窘迫自动检测使用著名的声学和韵律功能。语音样本收集从去识别的远程医疗电话从医疗保健提供者在孟加拉国。这些录音包括患者与医生交谈的对话语音样本,这些患者表现出轻微或严重的呼吸窘迫或哮喘症状。我们假设呼吸窘迫可能会改变语音特征,如语音质量,说话模式,响度和语音停顿时间。为了捕捉这些变化,我们利用一组众所周知的声学和韵律特征与支持向量机(SVM)分类器检测呼吸窘迫的存在。使用3重交叉验证方案进行实验评估,确保独立于患者的数据分割。我们获得了86.4%的整体准确性检测呼吸窘迫的语音录音使用的声学特征集。相关性分析表明,表现最好的特征包括响度,语速,语音持续时间,和停顿时间。
2020-11-15 cs.LG cs.SD eess.AS
Prosodic Representation Learning and Contextual Sampling for Neural Text-to-Speech
Amazon Research(亚马逊研究院)
在本文中,我们介绍了Kathaka,一个新的两阶段训练过程的神经语音合成与上下文适当的韵律训练模型。在第一阶段,我们从训练过程中可用的梅尔频谱图中学习句子级别的韵律分布。在第二阶段,我们提出了一种新的方法,从这个学习的韵律分布使用文本中的上下文信息进行采样。为此,我们在文本上使用BERT,在从文本中提取的解析树上使用图形注意力网络。与录音相比,我们显示出$13.2\%$在强基线上自然度的统计学显著相对改善。我们还对我们的采样技术的变化进行了消融研究,并显示在每种情况下,在基线上有统计学意义的改善。
2020-11-04 cs.CL cs.SD eess.AS
DrawSpeech: Expressive Speech Synthesis Using Prosodic Sketches as Control Conditions
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯AI实验室)
针对参考语音难获取、自然语言难以细粒度控制韵律的问题,提出DrawSpeech扩散模型,依据用户绘制的韵律草图恢复音高与能量轮廓并合成语音,实现友好且精确的细粒度韵律控制。
2025-01-08 cs.SD eess.AS
How Much Does Prosody Help Turn-taking? Investigations using Voice Activity Projection Models
话轮转换是人类交流的一个基本方面,可以被描述为在整个对话过程中轮流、预测即将到来的话轮转换以及在适当位置提供反向通道的能力。在这项工作中,我们调查的角色,韵律在话轮转换使用最近提出的语音活动投影模型,增量模型即将到来的讲话活动的对话者在一个自我监督的方式,而不依赖于明确的注释话轮转换事件,或明确的韵律特征建模。通过操纵的语音信号,我们研究这些模型如何隐含地利用韵律信息。我们发现,这些系统学习利用各种韵律方面的语音都聚合定量指标的长形式的对话和专门设计的依赖于韵律的单个话语。
2022-09-12 eess.AS
What Makes Synthetic Speech Sound Sarcastic? A Prosody-Controlled Perception Study
University of Groningen(格罗宁根大学)
通过可控神经TTS系统操纵语速、音高变化和响度,发现响度主要驱动人类对讽刺的感知,而模型更依赖语速,揭示了韵律线索权重差异。
2026-06-23 cs.SD eess.AS
Controllable speech synthesis by learning discrete phoneme-level prosodic representations
Innoetics, Samsung Electronics(三星电子Innoetics);University of West Attica(西阿提卡大学);Samsung Electronics(三星电子)
在本文中,我们提出了一种新的方法音素级韵律控制的F0和持续时间使用直观的离散标签。我们提出了一个无监督的韵律聚类过程,用于离散化音素级F0和持续时间的功能,从多说话人的语音数据集。这些特征作为韵律标签的输入序列被馈送到韵律编码器模块,该韵律编码器模块增强基于自回归注意力的文本到语音模型。我们利用各种方法来提高韵律控制范围和覆盖率,例如增强、F0归一化、持续时间平衡聚类和与说话者无关的聚类。最终的模型使细粒度的音素级韵律控制包含在训练集中的所有扬声器,同时保持扬声器的身份。而不是依赖于参考话语的推理,我们引入了一个事先韵律编码器,学习每个扬声器的风格,使语音合成,而不需要参考音频。我们还微调的多说话人模型,以看不见的扬声器与有限的数据量,作为一个现实的应用场景,并显示韵律控制能力的维护,验证说话人无关的韵律聚类是有效的。实验结果表明,该模型具有较高的输出语音质量,所提出的方法允许有效的韵律控制在每个扬声器的范围内,尽管多扬声器设置引入的可变性。
2022-11-29 cs.CL cs.LG cs.SD
Investigating Human-Model Discrepancies in Speech Quality Assessment via Acoustic and Prosodic Perturbations
Nagoya Institute of Technology, Japan(名古屋技术大学,日本);LY Corporation, Japan(LY公司,日本)
通过声学退化、韵律错误和说话人特征扰动,发现MOS预测模型对声学退化敏感,但对韵律错误不敏感,且对基频有偏见,而对语速和基频变化不敏感。
2026-06-19 cs.CL cs.LG cs.SD
Modeling Prosodic Phrasing with Multi-Task Learning in Tacotron-based TTS
Inner Mongolia University(内蒙古大学);National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学)
基于Tacotron的端到端语音合成已经显示出卓越的语音质量。然而,合成语音中韵律的呈现仍有待改进,特别是对于长句,韵律短语错误可能会经常发生。在本文中,我们扩展了基于Tacotron的语音合成框架,明确建模的韵律短语休息。我们提出了一个多任务的学习计划Tacotron培训,优化系统预测梅尔频谱和短语休息。据我们所知,这是第一次实现多任务学习的Tacotron为基础的TTS与韵律短语模型。实验表明,我们提出的训练方案一致提高语音质量的汉语和蒙古语系统。
2020-08-11 cs.CL cs.SD eess.AS
Automatic Prosody Annotation with Pre-Trained Text-Speech Model
Tencent AI Lab(腾讯人工智能实验室);Peking University(北京大学)
韵律边界在文本到语音合成(TTS)的自然度和可读性方面起着重要的作用。然而,韵律边界标签的获取依赖于人工标注,这是昂贵的和耗时的。在本文中,我们提出了自动提取韵律边界标签的文本音频数据通过神经文本语音模型与预先训练的音频编码器。该模型分别在文本和语音数据上进行预训练,并以三元组格式对TTS数据进行联合微调:{语音,文本,韵律}。自动评测和人工评测的实验结果表明:1)本文提出的文本-语音韵律标注框架显著优于纯文本基线; 2)自动韵律边界标注的质量与人工标注相当; 3)使用模型标注边界训练的TTS系统略优于使用人工边界的系统。
2022-06-16 cs.CL cs.SD eess.AS
Grapheme-Coherent Phonemic and Prosodic Annotation of Speech by Implicit and Explicit Grapheme Conditioning
Nara Institute of Science and Technology(奈良科学技术大学);LY Corporation(LY公司)
本文提出通过隐式BERT提示编码和显式推理剪枝两种字素条件化方法,生成字素一致的音素与韵律标注,并验证其在下游口音估计任务中的有效性。
2025-06-05 cs.CL cs.SD eess.AS
Investigating Content-Aware Neural Text-To-Speech MOS Prediction Using Prosodic and Linguistic Features
Innoetics(伊诺提克斯公司);Samsung Electronics(三星电子);Mobile eXperience Business, Samsung Electronics(三星电子移动体验业务部门)
本研究提出在MOS预测系统中引入韵律和语言特征作为额外输入,并在SOMOS数据集上验证其有效性,结果表明该方法能提升预测分数与真实值的相关性。
2023-05-07 cs.CL cs.LG cs.SD
Prosodically Enhanced Foreign Accent Simulation by Discrete Token-based Resynthesis Only with Native Speech Corpora
The University of Tokyo(东京大学);Japan National Institute of Advanced Industrial Science and Technology (AIST)(日本国家先进工业科学与技术研究院);Japan Kyoto University(京都大学)
针对仅用母语数据合成外语口音语音的现有方法无法再现时长口音的问题,本文整合时长修改,提出韵律增强方法,实验证明能成功复现真实L2语音中的时长口音。
2025-05-22 cs.SD eess.AS
Improving Mandarin Prosodic Structure Prediction with Multi-level Contextual Information
Huya Inc.(虎牙公司)
本文提出利用包含语句间与语句内信息的多层级上下文,通过层级编码器和多任务学习解码器改进普通话韵律结构预测,实验证明其有效提升韵律边界预测F1分数及合成语音自然度。
2023-08-31 cs.CL cs.SD eess.AS
PSST! Prosodic Speech Segmentation with Transformers
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);University of Cambridge(剑桥大学)
本文微调Whisper模型,利用低频标记标注语调单位边界,达到95.8%准确率,无需大规模数据,并发现3.2kHz低通滤波器提升泛化性能。
2023-02-03 cs.CL cs.SD eess.AS
Acoustic Modeling for End-to-End Empathetic Dialogue Speech Synthesis Using Linguistic and Prosodic Contexts of Dialogue History
The University of Tokyo(东京大学);LINE Corp.(LINE公司)
我们提出了一个端到端的移情对话语音合成(DSS)模型,同时考虑了语言和韵律的对话历史背景。移情是人类在对话中主动尝试进入对话者内部的行为,而移情决策支持系统就是在口语对话系统中实现这一行为的一种技术。我们的模型是由语言和韵律特征的历史预测适当的对话上下文的条件。因此,它可以被视为传统的基于语言特征的对话历史建模的扩展。为了有效地训练移情DSS模型,我们研究了1)用大型语音语料库预训练的自监督学习模型,2)使用要通过对话上下文嵌入预测的当前话语的韵律嵌入的风格引导训练,3)结合文本和语音模态的跨模态注意,以及4)逐段嵌入以实现细粒度韵律建模而不是逐段建模。评价结果表明:1)单纯考虑对话历史的韵律语境并不能提高移情DSS的语音质量; 2)引入风格引导训练和逐行嵌入建模,语音质量比传统方法更高。
2022-06-16 cs.CL cs.LG cs.SD
Prosodic Alignment for off-screen automatic dubbing
Amazon AI(亚马逊人工智能(Amazon AI))
自动配音的目标是在实现视听连贯的同时执行语音到语音的翻译。这需要等时性,即,通过将其韵律结构匹配成短语和停顿来翻译原始语音,特别是当说话者的嘴可见时。在以前的工作中,我们引入了一个韵律对齐模型来解决等时线或屏幕上的配音。在这项工作中,我们扩展了韵律对齐模型,也解决了屏幕外配音,需要不太严格的同步约束。我们在四个配音方向上进行实验-英语到法语,意大利语,德语和西班牙语-在公开的TED演讲集和公开的YouTube视频上。实验结果表明,与我们以前的工作相比,扩展的韵律对齐模型提供了显着更好的主观观看体验的视频中,屏幕上和屏幕外的自动配音应用于说话人嘴可见和不可见的句子,分别。
2022-04-06 cs.CL cs.LG cs.SD
Non-verbal information in spontaneous speech -- towards a new framework of analysis
Weizmann Institute of Science(魏茨曼科学研究所)
本文提出一种分析框架和概念验证,通过微调预训练语音识别模型,对自发语音中的多层韵律信号进行分类,实现与人工标注相当或更优的性能,并促进语音相关技术发展。
2024-03-13 cs.CL cs.LG cs.SD
Applying Syntax$\unicode{x2013}$Prosody Mapping Hypothesis and Prosodic Well-Formedness Constraints to Neural Sequence-to-Sequence Speech Synthesis
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Graduate School of Arts and Sciences, The University of Tokyo(东京大学综合文化研究科)
端到端的文本到语音合成(TTS)直接从文本或音素的字符串生成语音声音,与传统的TTS相比提高了语音合成的质量。然而,大多数以前的研究都是基于主观的自然性进行评估,并没有客观地检查他们是否可以再现语音现象的音高模式,如降阶,节奏提升,并初步降低,反映了日语的句法结构。这些现象可以用语音制约和句法$\unicode{x2013}$韵律映射假说(SPMH)来解释。虽然心理语言学的一些实验已经证实了SPMH的有效性,但它是否能在TTS中实现仍然是一个关键问题。为了综合涉及句法或语音约束的语言现象,我们提出了一个基于SPMH和韵律良构性约束的语音符号模型。实验结果表明,所提出的方法合成的音高模式类似的语言学实验中报告的现象,初始降低和节奏提升。所提出的模型有效地合成语音现象的测试数据中,没有明确包括在训练数据。
2022-03-29 cs.CL cs.SD eess.AS
Exploiting Deep Sentential Context for Expressive End-to-End Speech Synthesis
Xiaomi(小米)
基于注意力的seq 2seq文本到语音系统,特别是那些使用自注意力网络(SAN)的系统,已经达到了最先进的性能。但是,具有丰富韵律的表达性语料库仍然具有挑战性,因为1)韵律方面,跨越不同的语义粒度并主要决定声学表达性,难以分类和标记; 2)当前的seq 2seq框架仅从文本编码器中提取韵律信息,这很容易被折叠为表达内容的平均表达。在本文中,我们提出了一个上下文提取器,这是建立在基于SAN的文本编码器,充分利用表达语料库的seq 2seq为基础的TTS的原始上下文。我们的上下文提取器首先收集韵律相关的原始上下文信息从不同的SAN层,然后聚合它们来学习一个全面的句子表示,以提高最终生成的语音的表达能力。具体来说,我们研究了两种上下文聚合方法:1)直接聚合,直接连接不同SAN层的输出,2)加权聚合,使用多头注意力自动学习不同SAN层的贡献。在两个表达性语料库上的实验表明,该方法能产生更自然、韵律变化更丰富的语音,并且加权聚合在表达性建模方面更有优势。
2020-08-03 cs.SD eess.AS
ProsAudit, a prosodic benchmark for self-supervised speech models
PSL Research University(巴黎文理研究大学);ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心);EHESS(法国高等社会科学研究院);INRIA(法国国家信息与自动化研究所);Université Paris Cité(巴黎西岱大学);Bielefeld University(比勒费尔德大学);INRAE(法国国家农业、食品与环境研究院);Institut Agro(农业研究院);Meta AI Research(Meta人工智能研究院)
本文提出 ProsAudit 基准,通过原型句法和词汇两个子任务评估自监督语音模型的韵律知识,发现模型均优于随机水平,且数据规模和词汇知识对性能有显著影响。
2023-06-01 cs.CL cs.SD eess.AS
Adaptive Oscillatory Inductive Bias for Modeling Sharp Prosodic Dynamics in Diffusion-Based TTS
Media Analysis, Sony Research India(索尼印度研究所在媒体分析部门)
提出自适应振荡非线性激活函数(OscillaTTS),通过线性旁路保持信号稳定,增强扩散TTS解码器对尖锐韵律变化的建模能力,在LJSpeech和情感语音数据集上客观和主观评估均一致提升。
2026-06-25 cs.AI cs.CL cs.SD
MagpieTTS-LF: Inference-Time Long-Form Speech Generation Without Training on Long-Form data
NVIDIA Corporation(英伟达公司)
提出MagpieTTS-LF推理时方法,通过软注意力先验、有状态推理和历史感知文本编码,在不重新训练模型的情况下实现连贯的长语音生成。
2026-06-18 cs.AI cs.SD eess.AS
Segmentation-Variant Codebooks for Preservation of Paralinguistic and Prosodic Information
University of Edinburgh(爱丁堡大学);The Centre for Speech Technology Research(语音技术研究中心)
针对自监督语音模型量化易丢失韵律及副语言信息的问题,提出分段可变码本方法,在多语言单元层级量化分解语音,实验证明其在信息保留、风格还原及音质上均有提升。
2025-05-21 cs.CL cs.SD eess.AS
Fine-Tuning Whisper for Inclusive Prosodic Stress Analysis
Rutgers University – New Brunswick(罗格斯大学新不伦瑞克分校)
本研究通过微调Whisper large-v2模型识别语音中的三种韵律重音,实现了接近人类的准确率,并在性别与神经类型分类上达到近乎完美的精确度,推动了面向多样人群的公平且稳健的转录技术发展。
2025-03-03 cs.LG cs.SD eess.AS
Indic-CodecFake meets SATYAM: Towards Detecting Neural Audio Codec Synthesized Speech Deepfakes in Indic Languages
UPES, India(乌塔拉克德联合教育研究所);Veer Bahadur Singh Purvanchal University, India(维尔·巴哈杜尔·辛格普尔万恰尔大学);IIIT-Delhi, India(德里印度信息技术学院)
本文提出Indic-CodecFake数据集,用于检测印度语言中神经音频编解码器合成语音深度伪造,发现现有检测器在印度语音上表现不佳,并提出SATYAM模型以提升性能。
2026-04-21 eess.AS
Remap, warp and attend: Non-parallel many-to-many accent conversion with Normalizing Flows
同一语言的地区口音不仅影响单词的发音(即,语音内容),而且还影响语音的韵律方面,例如说话速率和语调。本文研究了一种新的基于流的口音转换方法,使用规范化流。所提出的方法围绕三个步骤:重新映射的语音条件,以更好地匹配目标口音,翘曲的转换语音的持续时间,以更好地适应目标音素,和注意力机制,隐式对齐源和目标语音序列。所提出的重映射-翘曲-出席系统使得能够适应语音的语音和韵律方面,同时允许源和转换后的语音信号具有不同的长度。客观和主观的评价表明,该方法显着优于竞争力的CopyCat基线模型的目标口音,自然度和可理解性方面的相似性。
2022-11-10 eess.AS
CHiVE: Varying Prosody in Speech Synthesis with a Linguistically Driven Dynamic Hierarchical Conditional Variational Network
Google UK(谷歌英国);University of West Bohemia(西波西米亚大学)
由当前文本到语音系统产生的语音信号的韵律方面通常在训练材料上平均,并且因此缺乏在自然语音中发现的多样性和生动性。为了避免单调性和平均韵律轮廓,期望具有对语音的韵律方面的变化进行建模的方式,因此可以针对给定文本以多种方式合成音频信号。我们提出了一个新的,分层结构的条件变分自编码器生成韵律功能(基频,能量和持续时间)适合使用的声码器或生成模型,如WaveNet。在推理时,可以从变化层采样表示句子的韵律的嵌入,以允许韵律变化。为了有效地捕获语言输入(单词、音节和音素)的分层性质,自动编码器的编码器和解码器部分都是分层的,与语言结构一致,其中层以各自的速率动态地计时。我们在我们的实验中表明,我们的动态分层网络优于一个非分层的最先进的基线,此外,跨句子的韵律传输是可能的,通过采用一个句子的韵律嵌入生成另一个的语音信号。
2019-06-04 cs.CL cs.SD eess.AS
AutoProsody: A Prosodic Feature Extraction Tool for Indian Languages
AutoProsody通过SIToBI工具为印度语言提供自动化声学特征提取,支持音节级标注并适用于多种音节时制语言。
2026-02-19 cs.SD eess.AS
ADEPT: A Dataset for Evaluating Prosody Transfer
文本到语音现在能够实现接近人类的自然性,研究重点已经转移到增加表达能力。一种流行的方法是从参考语音样本中转移韵律。有相当大的进步,使用韵律转移,以产生更有表现力的讲话,但该领域缺乏一个明确的定义是什么成功的韵律转移的手段和测量方法it.We介绍了一个数据集的韵律变化的参考自然语音样本评估韵律转移。样本包括反映情感和人际态度的整体变异,以及反映主题强调、命题态度、句法措辞和标记性的局部变异。语料库只包括韵律的变化,听众能够区分合理的准确性,我们报告这些数字作为一个基准,对文本到语音的韵律传输可以进行比较。最后,我们提出的评估方法,使用语料库来评估两个文本到语音模型,执行韵律转移的演示文件。
2021-07-21 eess.AS
Ctrl-P: Temporal Control of Prosodic Variation for Speech Synthesis
Papercup Technologies Ltd.(Papercup科技有限公司);University of Edinburgh(爱丁堡大学)
文本并不完全指定口语形式,因此文本到语音模型必须能够从语音数据中学习,这些语音数据以相应文本无法解释的方式变化。减少训练数据中无法解释的变化量的单向式方法之一是提供声学信息作为附加学习信号。当生成语音时,修改该声学信息使得能够产生文本的多个不同的再现。由于许多原因不明的变化是在韵律,我们提出了一个模型,生成语音明确的韵律的三个主要声学相关条件:$F_{0}$,能量和持续时间。该模型在如何指定这些特征的值方面是灵活的:它们可以由外部提供,或者从文本中预测,或者预测然后进行修改。与采用变分自动编码器来学习无监督潜在特征的模型相比,我们的模型提供了更可解释的,时间精确的和分离的控制。当从文本中自动预测声学特征时,它生成的语音比带参考编码器的Tacotron 2模型更自然。预测的声学特征的后续人在回路修改可以显著地进一步增加自然度。
2021-06-15 cs.LG cs.SD eess.AS
Prosody Labeling with Phoneme-BERT and Speech Foundation Models
CyberAgent
本文提出结合语音基础模型声学特征与音素语言基础模型语言特征的韵律标签自动标注方法,在日语重音和间断指数预测上取得显著提升。
2025-07-05 cs.SD eess.AS
Hierarchical prosody modeling and control in non-autoregressive parallel neural TTS
Apple(苹果公司)
神经文本到语音(TTS)合成可以生成与自然语音无法区分的语音。然而,合成语音通常代表数据库的平均韵律风格,而不是具有更通用的韵律变化。此外,许多模型缺乏控制输出韵律的能力,这不允许对相同的文本输入使用不同的风格。在这项工作中,我们训练一个非自回归并行神经TTS前端模型分层条件下的粗粒度和细粒度的声学语音功能,学习一个潜在的韵律空间直观和有意义的尺寸。实验表明,一个非自回归TTS模型分层条件的话语明智的音高,音高范围,持续时间,能量和频谱倾斜可以有效地控制每个韵律维度,产生各种各样的说话风格,并提供字明智的重点控制,同时保持相等或更好的质量的基线模型。
2022-03-22 cs.CL eess.AS
HuLA: Prosody-Aware Anti-Spoofing with Multi-Task Learning for Expressive and Emotional Synthetic Speech
Department of Electrical and Computer Engineering, Johns Hopkins University(电气与计算机工程系,约翰霍普金斯大学)
本文提出HuLA,一种两阶段韵律感知多任务学习框架,通过SSL骨干网络和韵律辅助任务提升防欺骗系统对表现力与情感合成语音的检测鲁棒性,实验证明其在跨域攻击上优于强基线。
2025-09-25 cs.LG cs.SD eess.AS
Multi-Modal Automatic Prosody Annotation with Contrastive Pretraining of SSWP
The Centre for Speech Technology Research, University of Edinburgh(爱丁堡大学言语技术研究中心);Transsion(传音控股)
本文提出两阶段自动韵律标注方法,通过SSWP对比预训练增强韵律表示,并结合多模态标注器在英语韵律边界上取得SOTA性能,且对数据稀缺具有鲁棒性。
2024-06-11 cs.AI cs.CL cs.SD
Recovering implicit pitch contours from formants in whispered speech
本文提出一种两步机器学习方法,利用去噪自编码器将耳语共振峰转换为正常发声形式,并据此预测隐式音高轮廓,证明耳语共振峰中保留了语调信息。
2023-07-06 eess.AS
DiffStyleTTS: Diffusion-based Hierarchical Prosody Modeling for Text-to-Speech with Diverse and Controllable Styles
University of Science and Technology of China(中国科学技术大学);iFLYTEK CO.LTD.(科大讯飞股份有限公司);China Mobile Research Institute(中国移动研究院)
针对文本到韵律的一对多映射问题,提出 DiffStyleTTS,利用条件扩散、改进无分类器引导和分层韵律建模实现风格可控的语音合成,并在自然度与速度上优于基线。
2024-12-04 cs.AI cs.CL cs.SD
A Character-level Span-based Model for Mandarin Prosodic Structure Prediction
Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems(清华-港中文媒体科学、技术与系统联合研究中心);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);The Chinese University of Hong Kong(香港中文大学);TAL Education Group(好未来教育集团)
韵律结构预测的准确性对汉语文语转换系统中合成语音的自然度至关重要,但目前普遍采用的序列到序列框架和以往分词结果的误差积累限制了韵律结构预测的准确性。本文提出了一种基于跨度的汉语韵律结构预测模型,以获得最优的韵律结构树,并将其转换为相应的韵律标签序列。该方法不需要分词的前提条件,而是由汉字级BERT提供丰富的语言特征,并将其发送给具有自注意结构的编码器。在此基础上,使用跨度表示和标签评分来描述所有可能的韵律结构树,其中每棵树都有其对应的分数。为了找到给定句子的最佳树,进一步使用自底向上的CKY风格算法。该方法可以同时预测不同层次的韵律标签,并以端到端的方式直接从汉字中完成这一过程。两个真实世界的数据集上的实验结果表明,我们的基于跨度的方法在所有序列到序列的基线方法的优异性能。
2022-03-31 cs.CL cs.SD eess.AS
Measuring Prosody Diversity in Zero-Shot TTS: A New Metric, Benchmark, and Exploration
Tencent Hunyuan(腾讯混元)
本文提出ProsodyEval数据集和DS-WED度量标准,用于评估零样本TTS的语调多样性,实验显示DS-WED在人类判断上表现更优,揭示影响语调多样性的因素。
2026-04-01 eess.AS