SPICE: Self-supervised Pitch Estimation
Google Research（谷歌研究院）
我们提出了一个模型来估计单声道音频中的基频，通常被称为音高估计。我们承认，在所需的时间和频率分辨率获得地面实况注释是一项特别艰巨的任务。因此，我们建议采用一种自监督学习技术，该技术能够在没有任何形式的监督的情况下估计音高。关键的观察是，当通过恒定Q变换（CQT）的透镜分析音频信号时，音高偏移映射到简单的平移。我们通过将CQT的两个移位切片馈送到同一个卷积编码器来设计一个自监督任务，并要求输出中的差异与相应的音高差异成比例。此外，我们在编码器的顶部引入了一个小的模型头，它能够确定音调估计的置信度，从而区分有声和无声音频。我们的研究结果表明，所提出的方法能够在干净和有噪声的音频样本上以与完全监督模型相当的精度水平估计音高，尽管它不需要访问大型标记数据集。
2020-09-04 cs.LG cs.SD eess.AS
Prosody Transfer in Neural Text to Speech Using Global Pitch and Loudness Features
Electronic Arts（美国艺电）
本文提出了一种简单而有效的方法来实现从参考语音信号到合成语音的韵律转换。主要思想是将韵律的众所周知的声学相关性（例如参考语音的音高和响度轮廓）并入现代神经文本到语音（TTS）合成器（例如Tacotron 2（TC2））中。更具体地，从参考音频中提取一小组声学特征，然后用于调节TC2合成器。训练后的模型使用主观听力测试进行评估，并提出了一种新的韵律迁移的客观评估。听力测试表明，合成的语音被评为高度自然的，韵律是成功地从参考语音信号的合成信号。
2020-05-15 cs.CL cs.LG cs.SD
Tempo vs. Pitch: understanding self-supervised tempo estimation
SiriusXM（天狼星卫星广播公司）；New York University（纽约大学）
本文通过合成数据实验，剖析了自监督音高估计模型在速度估计中的应用，重点研究了输入表示与数据分布之间的关系，揭示了模型对不同数据分布的脆弱性。
2023-04-14 cs.LG cs.SD eess.AS
CoMelSinger: Discrete Token-Based Zero-Shot Singing Synthesis With Structured Melody Control and Guidance
School of Computing, National University of Singapore（新加坡国立大学计算机学院）
CoMelSinger通过离散编码器模型实现零样本歌唱合成，采用结构化旋律控制与对比学习策略，提升旋律准确性与音色一致性。
2026-04-11 cs.AI cs.SD
PESTO: Pitch Estimation with Self-supervised Transposition-equivariant Objective
本文提出PESTO，一种基于自监督移调等变目标函数的轻量级音高估计方法，通过孪生网络和可学习Toeplitz矩阵，在小型无标注数据集上训练，实现跨任务泛化并缩小与监督方法的性能差距。
2025-10-27 cs.SD eess.AS
HuLA: Prosody-Aware Anti-Spoofing with Multi-Task Learning for Expressive and Emotional Synthetic Speech
Department of Electrical and Computer Engineering, Johns Hopkins University（电气与计算机工程系，约翰霍普金斯大学）
本文提出HuLA，一种两阶段韵律感知多任务学习框架，通过SSL骨干网络和韵律辅助任务提升防欺骗系统对表现力与情感合成语音的检测鲁棒性，实验证明其在跨域攻击上优于强基线。
2025-09-25 cs.LG cs.SD eess.AS
PESTO: Real-Time Pitch Estimation with Self-supervised Transposition-equivariant Objective
PESTO提出一种基于孪生架构和转置等变目标的自监督音高估计方法，以13万参数实现低延迟实时处理，并在多个数据集上超越自监督基线、媲美监督方法。
2025-10-27 cs.AI cs.LG cs.SD
Cross-domain Neural Pitch and Periodicity Estimation
Northwestern University（西北大学）
本文提出改进神经音高与周期性估计的技术及基于熵的周期性提取方法，实现语音与音乐跨域最先进估计，并开源高速 penn 工具包。
2024-08-12 cs.SD eess.AS
Improved singing voice separation with chromagram-based pitch-aware remixing
Amazon Web Services（亚马逊云科技）；Stanford University（斯坦福大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
声乐声部分离的目的是将音乐分为人声和伴奏成分。该任务的主要限制之一是具有分离人声的训练数据量有限。数据增强技术，如随机源混合，已被证明可以更好地利用现有数据，并温和地提高模型的性能。我们提出了一种新的数据增强技术，chromagram为基础的音高感知混音，音乐片段与高音调对齐混合。通过在监督和半监督设置下进行对照实验，我们证明了具有音高感知混音的训练模型显着提高了测试信号失真比（SDR）
2022-03-28 cs.LG cs.SD eess.AS
Causal Prosody Mediation for Text-to-Speech:Counterfactual Training of Duration, Pitch, and Energy in FastSpeech2
本文提出一种因果语调中介框架，通过反事实训练分离情绪与语言内容，提升文本到语音的表达性和可控性。
2026-03-12 cs.AI cs.LG cs.SD
Self-supervised restoration of singing voice degraded by pitch shifting using shallow diffusion
University of Sydney, Electrical and Computer Engineering（悉尼大学电气与计算机工程学院）；Sony Computer Science Laboratories, Tokyo, Japan（索尼计算机科学实验室（日本东京））
本文提出基于浅层扩散模型的自监督方法，用于修复因音高转换而降质的歌唱声音，通过保留旋律和时间，减少伪影并提升音质。
2026-01-15 cs.SD
Pitchtron: Towards audiobook generation from ordinary people's voices
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
在本文中，我们探讨了韵律传输的有声读物生成在相当现实的条件下，训练数据库是普通的音频主要来自多个普通人和参考音频推理过程中给出的专业和更丰富的韵律比训练数据库。具体来说，我们探索了即使训练集主要由标准和中性韩语组成，也能迁移韩语方言和情感语音。我们发现，在这种设置下，原始的全局风格标记方法在音高、能量和停顿长度方面产生了不希望的毛刺。为了解决这个问题，我们提出了两个模型，硬和软pitchtron和发布的工具包和语料库，我们已经开发。硬pitchtron使用音高作为解码器的输入，而软pitchtron使用音高作为韵律编码器的输入。我们验证了所提出的模型的有效性与客观和主观的测试。硬pitchtron和软pitchtron在GST上的AXY评分分别为2.01和1.14。
2020-05-21 cs.SD eess.AS
A unified one-shot prosody and speaker conversion system with self-supervised discrete speech units
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个统一的系统来实现单次语音转换（VC）的音高，节奏和扬声器属性。现有的研究普遍忽视了韵律与语言内容的相关性，导致转换语音的自然度下降。此外，缺乏适当的语言功能阻止了这些系统在转换后准确地保留语言内容。为了解决这些问题，我们设计了一个级联的模块化系统，利用自我监督的离散语音单元作为语言表示。这些离散单元提供了节奏建模所必需的持续时间信息。我们的系统首先从原始波形中提取话语级韵律和说话人表示。给定韵律表示，韵律预测器估计话语中每个离散单元的音高、能量和持续时间。合成器还基于预测的韵律、说话者表示和离散单元来重构语音。实验结果表明，我们的系统优于以前的方法在自然度，可懂度，说话人可转移性，韵律可转移性。代码和示例是公开的。
2022-11-12 cs.CL cs.LG cs.SD
Finding Tori: Self-supervised Learning for Analyzing Korean Folk Song
Sogang University（西江大学）；Kunstuniversität Graz（格拉茨艺术大学）
本文针对约700小时韩国民歌实地录音数据集，提出基于音高轮廓的卷积神经网络自监督学习方法，以更好地捕捉由音阶、装饰音和旋律轮廓定义的音乐概念tori的特征，并验证了现有学术讨论在实际录音中的体现。
2023-08-04 cs.IR cs.LG cs.SD
ACE-VC: Adaptive and Controllable Voice Conversion using Explicitly Disentangled Self-supervised Speech Representations
NVIDIA（英伟达）
在这项工作中，我们提出了一种使用经过自监督学习训练的语音表示的零射击（zero-shot）语音转换方法。首先，我们开发了一个多任务模型，将语音话语分解为语言内容，说话人特征和说话风格等特征。为了理清内容和扬声器表示，我们提出了一种基于Siamese网络的训练策略，该策略鼓励原始音频和音高偏移音频的内容表示之间的相似性。接下来，我们开发了一个合成模型与音高和持续时间预测，可以有效地重建语音信号从其分解表示。我们的框架允许可控和扬声器自适应合成，以执行zero-shot任何到任何语音转换，实现最先进的结果的度量评估扬声器的相似性，可理解性和自然性。对于目标说话者，仅使用10秒的数据，我们的框架就可以执行语音交换，并实现了5.5%的说话者验证EER，对于看不见的说话者，EER为8.4%。
2023-02-16 cs.LG cs.SD eess.AS
Masked Contrastive Pre-Training Improves Music Audio Key Detection
Department of Computer Science；Engineering, Texas A\&M University
本文通过掩码对比预训练提升音乐音频键检测性能，发现其能有效增强音高敏感性，并在监督学习中实现SOTA表现。
2026-04-11 cs.LG cs.SD
Acoustic Modeling for End-to-End Empathetic Dialogue Speech Synthesis Using Linguistic and Prosodic Contexts of Dialogue History
The University of Tokyo（东京大学）；LINE Corp.（LINE公司）
我们提出了一个端到端的移情对话语音合成（DSS）模型，同时考虑了语言和韵律的对话历史背景。移情是人类在对话中主动尝试进入对话者内部的行为，而移情决策支持系统就是在口语对话系统中实现这一行为的一种技术。我们的模型是由语言和韵律特征的历史预测适当的对话上下文的条件。因此，它可以被视为传统的基于语言特征的对话历史建模的扩展。为了有效地训练移情DSS模型，我们研究了1）用大型语音语料库预训练的自监督学习模型，2）使用要通过对话上下文嵌入预测的当前话语的韵律嵌入的风格引导训练，3）结合文本和语音模态的跨模态注意，以及4）逐段嵌入以实现细粒度韵律建模而不是逐段建模。评价结果表明：1）单纯考虑对话历史的韵律语境并不能提高移情DSS的语音质量; 2）引入风格引导训练和逐行嵌入建模，语音质量比传统方法更高。
2022-06-16 cs.CL cs.LG cs.SD
Zero-shot Voice Conversion via Self-supervised Prosody Representation Learning
University of St. Gallen（圣加仑大学）
针对未见过说话者的语音转换（VC），也称为zero-shot VC，是一个有吸引力的研究课题，因为它可以实现语音定制，动画制作等一系列应用。最近的工作在这一领域取得了进展，分离的话语内容和说话人的特征，从语音录音的方法。然而，这些方法中的许多方法都受到韵律泄漏的影响（例如，音调、音量），从而导致合成语音中的说话者语音不同于期望的目标说话者。为了防止这个问题，我们提出了一种新的自我监督的方法，有效地学习解开音高和音量表示，可以代表不同的扬声器的韵律风格。然后，我们使用学习到的韵律表示作为条件信息来训练和增强我们的VC模型以进行zero-shot转换。在我们的实验中，我们表明，我们的韵律表示是解开和丰富的韵律信息。此外，我们证明，除了我们的韵律表示提高了我们的VC性能和超越国家的最先进的zero-shot VC性能。
2022-05-31 cs.AI cs.SD eess.AS
Highly Controllable Diffusion-based Any-to-Any Voice Conversion Model with Frame-level Prosody Feature
Qualcomm Technologies, Inc.（高通技术公司）
提出一种基于扩散模型的任意到任意语音转换系统，通过引入帧级韵律条件模块和自监督后处理步骤，实现对音高、能量和语速的精细控制，在保持语音质量的同时提升了清晰度。
2023-09-06 cs.SD eess.AS
IQDUBBING: Prosody modeling based on discrete self-supervised speech representation for expressive voice conversion
IQIYI Inc（爱奇艺公司）
韵律建模在表达性语音转换中很重要，但仍然具有挑战性。由于韵律很难建模，以及其他因素，例如，在语音韵律建模中，说话人、环境和内容都与韵律有着千丝万缕的联系。在本文中，我们提出了IQDubbing来解决这个问题的表达语音转换。为了对韵律进行建模，我们利用了离散自监督语音表示（DSSR）的最新进展。首先从预先训练好的VQ-Wav 2 Vec模型中提取韵律向量，通过量化有效去除说话人和环境信息，同时嵌入丰富的韵律信息。为了进一步滤除韵律之外的冗余信息，如内容和部分说话人信息，我们提出了两种韵律滤波器来从韵律向量中采样韵律。实验表明，IQDubbing在语音质量方面优于基线和比较系统，同时保持韵律一致性和说话者相似性。
2022-01-02 cs.SD eess.AS
Self-Supervised Singing Voice Pre-Training towards Speech-to-Singing Conversion
Zhejiang University（浙江大学）
本文提出SVPT，一种由自监督歌声预训练模型增强的语音到歌声转换方法，利用口语语言模型技术、离散单元随机重采样和音高破坏策略，实现零样本转换并缓解数据稀缺问题，在STS和SVS任务中均取得显著改进。
2024-06-04 cs.SD eess.AS
Musical Training, but not Mere Exposure to Music, Drives the Emergence of Chroma Equivalence in Artificial Neural Networks
Canadian Centre for Behavioural Neuroscience（加拿大行为神经科学中心）；Department of Neuroscience（神经科学系）；University of Lethbridge（莱斯布里奇大学）
音乐训练而非单纯音乐接触驱动人工神经网络中音高等价性的发展，表明音乐感知任务需要更高阶的认知计算。
2026-02-20 cs.NE cs.SD
MERTech: Instrument Playing Technique Detection Using Self-Supervised Pretrained Model With Multi-Task Finetuning
Fudan University（复旦大学）；Queen Mary University of London（伦敦玛丽女王大学）；The Chinese University of Hong Kong（香港中文大学）；Sichuan Conservatory of Music（四川音乐学院）
本文提出利用自监督预训练模型结合音高与起始检测的多任务微调，并采用后处理进行事件级预测，在多个基准上显著提升乐器演奏技巧检测性能。
2023-10-15 cs.AI cs.LG cs.MM
The Future of Prosody: It's about Time
Bielefeld University（比勒费尔德大学）；Jinan University（暨南大学）
韵律通常被定义为音高、强度和持续时间模式这三个不同但相互作用的领域，或者更一般地说，作为“超音段”的语音和语音特性，比辅音和元音更大的语音片段。而不是采取这种方法，韵律处理的多个时间域的概念，并讨论了时间域分析的方法：注释挖掘与时间分散措施，时间树诱导，振荡器模型在音韵学和语音学，最后使用的幅度包络调制频谱（AEMS）。虽然频率解调（以音高跟踪的形式）是韵律分析中的中心问题，但在本上下文中，关注的是幅度包络解调和解调包络的长时域频谱中的频率区。概括地说，振荡是抽象韵律模型中的迭代，也是语音信号中各种节奏的调制和解调。
2018-05-15 cs.CL cs.SD
MIDI-RAE-JEPA: Hierarchical Representation Learning and Generation for Symbolic Music
研究针对符号音乐表示自监督方法探索不足的问题，提出MIDI-RAE-JEPA，结合音高和时间移位等方差目标、LeJEPA及Swin Transformer V2编码器学习分层表示，经实验验证该方法在多方面表现良好，为符号音乐表示提供了可行途径。
2026-07-17 cs.LG cs.SD eess.AS
Adversarially learning disentangled speech representations for robust multi-factor voice conversion
Huya Inc.（虎牙公司）
将语音分解为分离的语音表示是实现语音转换（VC）中高度可控的风格转换的关键。传统的语音表示学习方法只将语音分解为说话人和内容，缺乏对其他韵律相关因素的控制。现有的语音表征学习方法主要采用随机重排序和ad-hoc瓶颈层大小调整等解纠缠算法，但难以保证鲁棒的语音表征解纠缠。为了提高VC中高度可控的风格迁移对多个因素的鲁棒性，我们提出了一个基于对抗学习的分离式语音表示学习框架。四个语音表示特征的内容，音色，节奏和音高提取，并进一步解开对抗掩码和预测（MAP）网络启发BERT。对抗性网络通过随机掩蔽和预测其中一个表示来最小化语音表示之间的相关性。实验结果表明，该框架显著提高了VC对多种因素的鲁棒性，语音质量MOS从2.79提高到3.30，MCD从3.89降低到3.58.
2021-08-20 cs.LG cs.SD eess.AS
Context-Aware Prosody Correction for Text-Based Speech Editing
Adobe Research（奥多比研究院）
基于文本的语音编辑器通过允许经由对语音转录的直观剪切、复制和粘贴操作进行编辑来加快编辑语音记录的过程。然而，当前系统的一个主要缺点是，由于编辑区域周围的韵律不匹配，编辑的录音通常听起来不自然。在我们的工作中，我们提出了一个新的上下文感知的方法，更自然的声音基于文本的语音编辑。为此，我们1）使用一系列神经网络来生成显著的韵律特征，这些特征取决于编辑周围的语音韵律，并且可以进行细粒度的用户控制2）使用生成的特征来控制标准的音高偏移和时间拉伸方法3）应用去噪神经网络来去除由信号操纵引起的伪影，以产生高保真结果。我们使用主观听力测试来评估我们的方法，提供详细的比较分析，并得出一些有趣的见解。
2021-02-16 cs.LG cs.SD eess.AS
Invariances and Data Augmentation for Supervised Music Transcription
University of Washington（华盛顿大学）；Amazon（亚马逊）
本文探讨了基于帧的音乐转录的各种模型，重点是在人类录音上达到最先进水平所需的方法。本文讨论的不变性网络将传统滤波器组与卷积神经网络相结合，是2017年MIREX多基频估计评估中表现最好的模型。这类模型在对数频率域中共享参数，这利用了音乐的频率不变性来减少模型参数的数量并避免对训练数据的过拟合。本文中的所有模型都是通过来自MusicNet数据集的标记数据进行监督训练的，并通过随机标签保持音高转换进行增强。
2017-11-13 cs.LG cs.SD eess.AS
Improving Prosody for Cross-Speaker Style Transfer by Semi-Supervised Style Extractor and Hierarchical Modeling in Speech Synthesis
Kwai（快手）
语音合成中的跨说话人风格转换是指将源说话人的风格转换为目标说话人的音色。在大多数先前的方法中，合成的细粒度韵律特征通常表示源说话者的平均风格，类似于一对多问题（即，多个韵律变化对应于同一文本）。针对这一问题，提出了一种强度控制的半监督风格提取器，将风格与内容和音色分离，提高了全局风格嵌入的表示性和可解释性，缓解了韵律预测中的一对多映射和数据不平衡问题。提出了一种层次韵律预测器来改进韵律建模。我们发现，更好的风格转移可以通过使用源说话人的韵律特征，很容易预测。此外，扬声器转移明智的周期一致性损失，提出了在训练阶段学习看不见的风格音色组合，以协助模型。实验结果表明，该方法优于基线。我们提供了一个网站与音频样本。
2023-03-14 cs.AI cs.CL cs.SD
Lexical Tone is Hard to Quantize: Probing Discrete Speech Units in Mandarin and Yorùbá
The Centre for Speech Technology Research, University of Edinburgh, UK（英国爱丁堡大学语音技术研究中心）
研究发现离散语音单元在编码超段落信息时可靠性较低，尤其在词调方面，提出通过两次聚类方法改进词调编码。
2026-04-08 cs.CL cs.LG
A Unified Model For Voice and Accent Conversion In Speech and Singing using Self-Supervised Learning and Feature Extraction
BVRIT Hyderabad College of Engineering for Women（BVRIT海德拉巴女子工程学院）
本研究提出一种基于HuBERT编码器与HiFi-GAN解码器的统一嗓音转换模型，融合基频与歌手嵌入，可实现语音与歌唱的嗓音及口音转换，提升转换自然度与灵活性，适用于配音、内容创作等多场景。
2024-12-11 cs.LG cs.MM cs.SD
Representation of perceived prosodic similarity of conversational feedback
KTH Royal Institute of Technology（皇家理工学院）
本研究探究词汇形式相同的语音反馈的感知韵律相似性及现有语音表征的反映程度，通过三元比较任务实验发现频谱和自监督语音表征的韵律编码效果优于基频特征，且可通过对比学习优化表征与人类感知的对齐。
2025-05-19 cs.AI cs.CL cs.LG
Multilingual Prosody Transfer: Comparing Supervised & Transfer Learning
Indraprastha Institute of Information Technology（因德拉普拉斯信息技术学院）
本研究对比监督微调与迁移学习两种适配预训练单语TTS模型至多语言场景的方法，通过MOS、RA、MCD三项指标验证，发现迁移学习性能更优，可为低资源语言TTS模型构建提供支撑。
2024-06-18 cs.CL cs.SD eess.AS
Eigentriads and Eigenprogressions on the Tonnetz
New York University（纽约大学）
我们引入了一个新的多维表示，命名为特征级数变换，西方的音调和谐的一些基本模式的特点，同时是等变的时移和音高换位。这种表示在钢琴滚动域中是深度的、多尺度的和卷积的，但不需要事先训练，因此适用于监督和无监督的MIR任务。特征级数变换结合了螺旋散射变换、谱图理论和小波收缩去噪的思想。我们报告国家的最先进的结果，监督作曲家识别（海顿与莫扎特）的任务，从复调音乐作品的MP3格式。
2018-10-01 cs.SD eess.AS
Investigating Disentanglement in a Phoneme-level Speech Codec for Prosody Modeling
Innoetics, Samsung Electronics（Innoetics，三星电子）；Mobile eXperience Business, Samsung Electronics（移动体验业务部门，三星电子）
本研究修改RVQ-VAE模型使其在音素级运行，通过语言表征条件约束与全局说话人嵌入分离语音和说话人信息，验证了其离散潜在表征的高解耦度与韵律建模能力。
2024-09-13 cs.CL cs.LG cs.SD
Learning De-identified Representations of Prosody from Raw Audio
Novoic
我们提出了一种使用对比自监督信号从原始音频学习去识别韵律表示的方法。鉴于以前的工作依赖于瓶颈条件模型，我们引入了一组归纳偏见，利用韵律的自然结构，以尽量减少音色信息和解耦韵律从扬声器表示。尽管对输入进行了积极的下采样并且无法访问语言信息，但我们的模型在DAMMP上执行了最先进的语音表示，DAMMP是我们为口语语言理解引入的新基准。我们使用最小描述长度探测表明，我们的表示有选择地学习了非音色韵律的子成分，并且产品量化器自然地解开它们而不使用瓶颈。我们推导出一个信息理论的定义，语音可识别性，并使用它来证明我们的韵律表示比其他语音表示识别。
2021-07-17 cs.CL cs.LG cs.SD
Adapitch: Adaption Multi-Speaker Text-to-Speech Conditioned on Pitch Disentangling with Untranscribed Data
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
在本文中，我们提出了Adapitch，一个多说话人的TTS方法，使自适应的监督模块与未转录的数据。我们设计了两个自监督模块，分别用未转录的数据对文本编码器和梅尔解码器进行训练，以增强文本和梅尔的表现力。为了更好地处理合成语音中的韵律信息，设计了一个有监督的TTS模块，该模块以音高、文本和说话人的内容分解为条件。训练阶段分为两个部分，先用无监督模式对文本编码器和梅尔解码器进行预训练和固定，然后用有监督模式对TTS进行解缠。实验结果表明，自适应算法在图像质量上明显优于基线算法.
2022-10-25 cs.CL cs.SD eess.AS
Pitch Imperfect: Detecting Audio Deepfakes Through Acoustic Prosodic Analysis
本文提出基于六种经典韵律特征的音频深度伪造检测器，在达到93%准确率的同时，借助注意力解释关键特征并显著增强对$L_{\infty}$攻击的鲁棒性。
2025-02-20 cs.CR cs.SD eess.AS
Learning Multilingual Expressive Speech Representation for Prosody Prediction without Parallel Data
LIA - Avignon Universite（阿维尼翁大学LIA实验室）；University of Cambridge（剑桥大学）
提出基于离散语音单元的多语言情感嵌入方法，通过预测音高和时长实现跨语言情感保持的语音重合成，无需并行数据且优于基线。
2023-06-29 cs.CL cs.SD eess.AS
The role of context in neural pitch accent detection in English
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）
韵律是自然语言中丰富的信息源，是对比等现象的标记。为了使这些信息可用于下游任务，我们需要一种方法来检测语音中的韵律事件。我们提出了一种新的音调重音检测模型，灵感来自Stehwien等人的工作。（2018），他们提出了一种基于CNN的模型来完成这项任务。我们的模型通过使用完整的话语作为输入并添加LSTM层来更好地利用上下文。我们发现，这些创新导致提高从87.5%到88.7%的准确性音调口音检测美国英语语音在波士顿大学广播新闻语料库，一个国家的最先进的结果。我们还发现，一个简单的基线，只是预测每个内容词的音高重音产生82.2%的准确率，我们建议这是这个任务的适当基线。最后，我们进行消融测试，表明音高是最重要的声学特征，这项任务和本语料库。
2020-10-12 cs.CL cs.SD eess.AS
SCIC: Scope- and Codebook-Aware Instruction Conditioning for Speaker-Adapted Expressive TTS
针对长直播TTS缺乏从句级韵律控制的问题，提出SCIC方法，结合时间指令路由与码本加权，并采用多奖励GDPO后训练，提升说话人相对音高能量控制及段落表现力层次。
2026-10-01 cs.AI cs.SD
Lightweight and perceptually-guided voice conversion for electro-laryngeal speech
本文提出一种轻量级语音转换方法，通过结合自监督预训练与监督微调，提升电声式语音的自然度和可懂度，验证了轻量级架构在语音康复中的可行性。
2026-01-22 cs.LG cs.SD
MCDubber: Multimodal Context-Aware Expressive Video Dubbing
Inner Mongolia University（内蒙古大学）
MCDubber提出多模态上下文感知的视频配音模型，通过上下文时长对齐、韵律预测和声学解码三个组件，将单句建模扩展为全局上下文序列建模，在Chem数据集上显著提升配音韵律表现力。
2024-09-04 cs.CV cs.MM cs.SD
Semi-supervised music emotion recognition using noisy student training and harmonic pitch class profiles
我们提出了Mirable提交给2021年情感和主题音乐挑战。在这项工作中，我们打算解决的问题：我们可以利用半监督学习技术对音乐情感识别？有了这个，我们用带噪声的学生训练进行了实验，这提高了模型在图像分类领域的性能。由于嘈杂的学生方法需要一个强大的教师模型，我们进一步深入研究了包括（i）输入训练长度和（ii）互补音乐表示在内的因素，以进一步提高教师模型的性能。对于（i），我们发现用短输入长度训练的模型在PR-AUC中表现更好，而用长输入长度训练的模型在ROC-AUC中表现更好。对于（ii），我们发现，使用谐波音高类配置文件（HPCP）一贯提高标记性能，这表明谐波表示是有用的音乐情感标记。最后，我们发现，噪声学生的方法只提高了标记的结果的情况下，长的训练长度。此外，我们发现，用不同的训练长度训练的集合表示可以显着改善标记结果，这为将来的工作提供了一个可能的方向，可以探索在网络架构中引入多个时间分辨率。
2021-12-09 cs.LG cs.SD eess.AS
SPA-SVC: Self-supervised Pitch Augmentation for Singing Voice Conversion
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）
本文提出SPA-SVC方法，通过循环音高偏移训练策略和SSIM损失，在不增加数据和参数的情况下提升歌声转换质量，尤其在跨领域音高差异大的场景中效果显著。
2024-06-09 cs.AI cs.SD eess.AS
Disentangling the Prosody and Semantic Information with Pre-trained Model for In-Context Learning based Zero-Shot Voice Conversion
Shanghai Jiao Tong University（上海交通大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National Institute of Informatics（信息学研究所）
本文提出ICL-VC零样本语音转换系统，结合流匹配、掩码重构与语义token提升说话人相似度，并引入预训练情感模型的韵律嵌入以保留源语音韵律。
2024-09-10 cs.SD eess.AS
Improving Neural Pitch Estimation with SWIPE Kernels
本研究提出将 SWIPE 核作为音频前端，使神经音高估计器在精度、抗噪性和参数效率上均获提升，可缩减网络规模且不降性能，且 SWIPE 算法本身优于自监督神经估计器。
2025-07-15 cs.SD eess.AS
Disentangling Prosody Representations with Unsupervised Speech Reconstruction
Zhejiang Lab（之江实验室）；University of Hamburg（汉堡大学）；University of Electronic Science and Technology of China（电子科技大学）
本文提出无监督语音重构模型Prosody2Vec，通过离散语义单元、说话人嵌入和可训练韵律编码器解耦情感韵律，并在EVC与IEMOCAP的SER任务上验证其迁移性和性能提升。
2023-09-26 cs.CL cs.SD eess.AS
Deep Supervised Contrastive Learning of Pitch Contours for Robust Pitch Accent Classification in Seoul Korean
Department of Linguistics, Rutgers University（鲁特大学语言学系）；Department of Smart Factory, Gachon University（加荣大学智能工厂系）；Hanyang Institute for Phonetics and Cognitive Sciences of Language (HIPCS)（翰阳语言语音与认知科学研究所）
本文提出Dual-Glob框架，通过对比学习捕捉首尔韩语连续音高轮廓的结构特征，提升音调重音分类性能，实验表明其准确率和F1分数优于现有方法。
2026-04-21 cs.CL cs.SD
Hierarchical Representation of Prosody for Statistical Speech Synthesis
Institute of Behavioural Sciences, University of Helsinki（赫尔辛基大学行为科学研究所）；Aalto University（阿尔托大学）；University of Alberta（阿尔伯塔大学）；Institute for Reconstructive Sciences in Medicine (iRSM), Misericordia Hospital（misericordia 医院医学重建科学研究所（iRSM））
重音和边界是语音韵律结构的重要组成部分。它们提供了将语音流分块成语言相关单元的方法，通过为它们提供相对显著性并在连贯的话语结构内划分它们。在韵律学的基础研究和文本到语音合成中，突出和边界都得到了广泛的应用。然而，目前还没有一种表示方法能够以统一的方式对它们进行估计和建模。在这里，我们提出了一个无监督的统一帐户，估计和表示韵律连续性和边界使用的尺度空间分析的基础上连续小波变换。使用波士顿大学广播新闻语料库的方法进行评估和早期的工作进行比较。实验结果表明，该方法与目前最好的有监督标注方法具有可比性。
2015-10-07 cs.CL cs.SD
Discl-VC: Disentangled Discrete Tokens and In-Context Learning for Controllable Zero-Shot Voice Conversion
School of Informatics（信息学院）；School of Electronic Science and Engineering（电子科学与工程学院）
提出Discl-VC框架，通过解耦自监督语音表示中的内容与韵律信息，结合流匹配变换器上下文学习和掩码生成变换器预测离散韵律标记，实现了高精度的零样本语音转换与韵律控制。
2025-05-30 cs.AI cs.SD eess.AS
Self-Supervised Disentanglement of Harmonic and Rhythmic Features in Music Audio Signals
AlphaTheta Corporation（AlphaTheta公司）
提出一种基于深度神经网络的自监督学习方法，通过训练变分自编码器在音高偏移条件下重建梅尔频谱图，实现音乐音频中节奏与谐波特征的解耦，并验证了其解耦效果及在自动音乐混音生成中的应用。
2023-09-06 cs.SD eess.AS
Neural Analysis and Synthesis: Reconstructing Speech from Self-Supervised Representations
Supertone Inc.（Supertone公司）；Seoul National University（首尔大学）
我们提出了一个神经分析和合成（NANSY）框架，可以操纵语音，音高和速度的任意语音信号。以往的研究主要集中在利用信息瓶颈来分解分析特征，这通常会导致重构质量不高。我们解决这个问题，提出了一种新的训练策略的基础上信息扰动。其思想是扰动原始输入信号中的信息（例如，共振峰、音调和频率响应），从而让合成网络选择性地采用基本属性来重构输入信号。由于NANSY不需要任何瓶颈结构，因此具有高重建质量和可控性。此外，NANSY不需要与语音数据（诸如文本和说话者信息）相关联的任何标签，而是使用一组新的分析特征，即，wav2vec特征和新提出的音高特征Yingram，允许完全自我监督训练。利用完全自我监督的训练，NANSY可以通过简单地使用多语言数据集进行训练而轻松地扩展到多语言环境。实验结果表明，NANSY在zero-shot语音转换、音高变换和时间尺度修改等应用中，性能都有显著提高。
2021-10-28 cs.AI cs.SD eess.AS
Don't speak too fast: The impact of data bias on self-supervised speech models
National Taiwan University（台湾大学）
自监督语音模型（S3M）已被证明在许多语音下游任务中是成功的，如ASR。然而，预训练数据如何影响S3M的下游行为仍然是一个未探索的问题。在本文中，我们研究了预训练数据如何影响S3M，通过针对不同语音因素（包括性别，内容和韵律）的偏见数据集上的预训练模型，并在SUPERB Benchmark中选择的下游任务上评估这些预训练的S3M。我们的实验表明，S3Ms对性别偏见具有容忍性。此外，我们发现，语音的内容对S3Ms在下游任务中的性能影响不大，但S3Ms确实表现出对较慢的语音速率的偏好。
2022-04-26 cs.CL cs.SD eess.AS
