VISinger 2: High-Fidelity End-to-End Singing Voice Synthesis Enhanced by Digital Signal Processing Synthesizer
Northwestern Polytechnical University（西北工业大学）；DiDi Chuxing（滴滴出行）
端到端的歌唱声合成（SVS）模型VISinger可以实现更好的性能比典型的两阶段模型与较少的参数。但VISinger存在以下问题：文本到相位问题，端到端模型学习文本到相位的无意义映射;毛刺问题，浊音段周期信号对应的谐波分量发生突变，出现可听伪迹;低采样率，24 KHz的采样率不能满足全频段（44.1KHz以上）高保真产生的应用需求。在本文中，我们提出了VISinger 2来解决这些问题，通过集成数字信号处理（DSP）的方法与VISinger。具体来说，受可微数字信号处理（DDSP）的最新进展的启发，我们将DSP合成器的解码器，以解决上述问题。DSP合成器由谐波合成器和噪声合成器组成，分别从VISinger中的潜在表示z生成周期和非周期信号。它监督后验编码器提取没有相位信息的潜在表示，避免了前验编码器建模文本到相位映射。为了避免毛刺伪影，HiFi-GAN被修改为接受DSP合成器生成的波形作为产生歌声的条件。此外，通过改进的波形解码器，VISinger 2能够生成44.1kHz的歌唱音频，具有更丰富的表达和更好的质量。在OpenCpop语料库上的实验表明，VISinger 2在主观和客观指标上均优于VISinger、CpopSing和RefineSinger。
2022-11-05 cs.SD eess.AS
Maximum Voiced Frequency Estimation: Exploiting Amplitude and Phase Spectra
Toshiba Cambridge Research Laboratory（东芝剑桥研究实验室）
最大浊音频率（MVF）在各种语音模型中用作浊音产生期间分离周期性和非周期性分量的频谱边界。最近的研究表明，其适当的估计和建模提高了统计参数语音合成器的质量。相比之下，这些相同的MVF估计方法已经被报道降低了歌唱声音合成器的性能。本文提出了一种新的MVF估计方法，利用幅度和相位谱。结果表明，相位传达有关的语音信号的谐波的相关信息，它可以与来自幅度谱的功能联合使用。该信息被进一步整合到最大似然准则中，该准则提供关于MVF估计的决定。所提出的技术相比，两个国家的最先进的方法，并显示出优越的性能，在客观和主观评价。感知测试表明，在高音的声音有了很大的改善。
2020-05-31 cs.CL cs.SD eess.AS
Harmonic-aligned Frame Mask Based on Non-stationary Gabor Transform with Application to Content-dependent Speaker Comparison
Acoustic Research Institute, Austrian Academy of Sciences（奥地利科学院声学研究所）
提出了一种基于非平稳Gabor变换的语音信号谐波对齐帧掩码算法。帧掩码对信号的传输系数进行操作，并因此将信号转换为对应信号。它描述了两个信号之间的差异。在以前的研究中，基于正则Gabor变换的帧模板被应用于单音符乐器声音分析。本研究将框架屏蔽方法扩展到语音信号。对于有声语音，基频通常随时间连续变化。我们采用NSGT与音高相关，因此随时间变化的频率分辨率，以达到谐波对齐的变换域，从而产生谐波对齐的帧掩码的语音信号。我们建议将谐波对齐的帧掩码应用于内容相关的说话人比较。该算法利用不同说话人的同一元音的浊音信号计算出的帧掩码作为相似性度量，对说话人身份进行比较和区分。使用深度神经网络获得的结果表明，所提出的帧掩码在表示说话人特征方面是有效的，并且在有限的数据场景中显示出SID应用的潜力。
2019-04-23 cs.SD eess.AS math.SP
Objective measurement of pitch extractors' responses to frequency modulated sounds and two reference pitch extraction methods for analyzing voice pitch responses to auditory stimulation
提出了一种客观测量基音提取器对调频信号响应的方法。该方法同时测量线性和非线性时不变响应以及随机和时变响应。它使用由二进制正交序列组合的扩展时间拉伸脉冲。我们最近的发现，无意识的声音音高反应听觉刺激，而发声动机这一建议。无意识的语音音高反应提供了单独和客观地调查语音链子系统的手段。这种响应分析需要可靠且精确的音调提取。我们发现，现有的音高提取器未能正确地分析用于听觉刺激的信号，通过使用所提出的方法。因此，我们提出了两种基于瞬时频率分析和多分辨率功率谱分析的参考基音提取器。所提出的提取器正确地分析测试信号。我们开源了MATLAB代码来测量音高提取器，并在GitHub存储库上进行语音音高响应实验。
2022-06-28 cs.HC cs.SD eess.AS
A Data-Driven Approach to Smooth Pitch Correction for Singing Voice in Pop Music
Indiana University（印第安纳大学）
在本文中，我们提出了一种机器学习的方法来纠正语音在卡拉OK设置，其中的人声和伴奏是在单独的轨道和时间对齐的音高。该网络将两个音轨的时频表示作为输入，并预测使语音与伴奏一致所需的音高偏移量。它是训练的例子半专业歌唱。所提出的方法不同于现有的实时音高校正方法，通过取代音高跟踪和映射到一组离散的音符-例如，12类的等温和的规模-学习校正，这是连续的频率和时间直接从声乐和伴奏曲目的谐波。递归神经网络（RNN）模型提供了一个考虑上下文的校正，保留了富有表现力的音高弯曲和颤音。这种方法可以扩展到声乐表演的无监督音高校正-通常被称为自动调音。
2018-05-07 cs.SD eess.AS
Comparison of fundamental frequency estimators with subharmonic voice signals
Louisiana State University Health Sciences Center（路易斯安那州立大学健康科学中心）；Louisiana State University（路易斯安那州立大学）
本文在持续元音数据集上比较 Praat、YAAPT、Harvest、CREPE 与 FCN-F0 五种基频估计器，利用估计质量分类和 SHR 评估次谐波处理能力，发现 FCN-F0 总体及次谐波场景表现最优。
2025-01-08 cs.SD eess.AS
Karaoker: Alignment-free singing voice synthesis with speech training data
Innoetics, Samsung Electronics（三星电子Innoetics）；Mobile Communications Business, Samsung Electronics（三星电子移动通信事业部）
现有的歌唱声音合成模型（SVS）通常是在歌唱数据上训练的，并且依赖于容易出错的时间对齐和持续时间特征或明确的乐谱信息。在本文中，我们提出了Karaoker，一个多扬声器Tacotron为基础的模型条件的语音特征，专门训练口语数据，而不需要时间对齐。Karaoker根据从看不见的歌手/扬声器的源波形中提取的多维模板合成歌声并传递风格。该模型与单个深度卷积编码器联合调节连续数据，包括音高，强度，谐波，共振峰，倒谱峰值突出和八度。我们通过特征重建、分类和说话人识别任务扩展了文本到语音的训练目标，这些任务可以指导模型获得准确的结果。除了多任务处理之外，我们还采用了Wasserstein GAN训练方案以及声学模型输出的新损失，以进一步改进模型的质量。
2022-08-31 cs.LG cs.SD eess.AS
Deepfake Detection of Singing Voices With Whisper Encodings
The LNM Institute of Information Technology（LNM信息技术学院）
本文提出使用Whisper模型的噪声变体编码作为特征表示，构建歌声Deepfake检测系统，并在不同模型尺寸和分类器下验证其有效性。
2025-01-31 cs.AI cs.SD eess.AS
On Feature Importance and Interpretability of Speaker Representations
本文利用 Shapley 值研究说话人嵌入向量的特征重要性与可解释性，发现特定声学-语音学属性可从嵌入中预测，而抽象音质特征则无法预测。
2023-10-19 eess.AS
A Universally-Deployable ASR Frontend for Joint Acoustic Echo Cancellation, Speech Enhancement, and Voice Separation
Google LLC（谷歌有限责任公司）
最近的工作表明，可以训练单个模型来执行联合声学回声消除（AEC）、语音增强和语音分离，从而用作鲁棒自动语音识别（ASR）的统一前端。联合模型使用上下文信息，诸如回放音频的参考、噪声上下文和扬声器嵌入。在这项工作中，我们提出了一些新的改进这样一个模型。首先，我们改进了用于将噪声上下文摄取到模型中的交叉注意一致性器的架构。其次，我们推广的模型能够处理不同长度的噪声上下文。第三，我们提出了Signal Dropout，这是一种新的策略，可以模拟缺失的上下文信息。在没有一个或多个信号的情况下，所提出的模型的性能几乎与没有这些信号训练的特定任务模型一样好;当存在这些信号时，我们的系统与需要所有上下文信号的系统相比表现良好。在基线上，当没有说话者嵌入时，最终模型在背景语音上保留了25.0%的相对单词错误率降低，当没有设备播放时，在AEC上保留了61.2%的相对单词错误率降低。
2022-09-14 cs.SD eess.AS
SingNet: A Real-time Singing Voice Beat and Downbeat Tracking System
本文提出首个实时歌声拍点与强拍跟踪系统SingNet，采用结合离线历史数据、可变粒子数的动态粒子滤波修正在线推理，并在GTZAN和内部人声数据集上较基线提升3-5%。
2023-06-04 eess.AS
Fast Time-Varying Exponentiated Convolution Methods for Generative Direction Dependent Reverberation
NuSpace Audio
本文提出时变指数卷积方法，将高斯噪声和脉冲响应转换为混响及修正频谱衰减场，推导两种快速递归算法并扩展到球谐域，以生成方向相关混响，实验验证了计算性能和分布外生成效果。
2026-09-22 cs.SD eess.AS eess.SP
EEG-Derived Voice Signature for Attended Speaker Detection
National University of Singapore（新加坡国立大学）；University of New South Wales（新南威尔士大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Kriston AI Lab（科斯顿人工智能实验室）；University of Bremen（不来梅大学）
本文提出基于脑电的注意说话人检测（E-ASD）任务，通过比较音频与脑电语音特征，在0.5秒窗口内实现高精度检测，为智能助听器提供新思路。
2023-08-28 cs.SD eess.AS eess.SP
Unsupervised Instantaneous Phase and Frequency Tracking by Inverse Voice Synthesis
Queen Mary University of London（伦敦玛丽女王大学）
针对神经声码器难以端到端学习基频的问题，提出无混叠加性声源的源-滤波器模型，显式建模瞬时相位并求导得瞬时频率，无需外部跟踪器即可实现高精度无监督基频跟踪，在多个数据集上优于神经基线。
2026-10-05 cs.SD eess.AS
Adaptive Turn-Taking for Real-time Multi-Party Voice Agents
Amazon AGI（亚马逊人工智能研究院）；IIT Kharagpur, India（印度克里ш格布尔理工学院）
提出ModeratorLM，一种基于角色条件的语音大模型，通过分块流式处理和链式推理，在多方对话中实现自适应轮流发言，显著提升轮流精度和召回率。
2026-06-29 cs.AI cs.CL eess.AS
A Universal Harmonic Discriminator for High-quality GAN-based Vocoder
Alibaba Digital Media \& Entertainment Group Beijing, China
本文提出了一种通用的谐波判别器，通过动态频率分辨率建模和谐波跟踪提升基于GAN的高质量语音编码器性能。
2025-12-03 eess.AS
PHASEN: A Phase-and-Harmonics-Aware Speech Enhancement Network
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
时频域掩蔽是单通道语音增强的主流方法。近年来，除了幅度预测之外，相位预测也受到关注。在本文中，我们提出了一个相位和谐波感知的深度神经网络（DNN），名为PHASEN，用于此任务。与以前直接使用复理想比率掩码来监督DNN学习的方法不同，我们设计了一个双流网络，其中幅度流和相位流专用于幅度和相位预测。我们发现，这两个流应该相互沟通，这是至关重要的相位预测。此外，我们提出了频率变换块来捕捉沿频率轴的长程相关性。可视化显示，学习的变换矩阵自发地捕获谐波相关性，这已被证明有助于T-F谱图重建。通过这两项创新，PHASEN获得了处理详细相位模式和利用谐波模式的能力，在AVSpeech + AudioSet数据集上获得了1.76dB的SDR改进。它还在此数据集上实现了Google网络的显着收益。在Voice Bank + DEMAND数据集上，PHASEN在四个指标上都大大优于以前的方法。
2019-11-12 cs.SD eess.AS
DS-TTS: Zero-Shot Speaker Style Adaptation from Voice Clips via Dynamic Dual-Style Feature Modulation
School of Data Science and Media Intelligence, Communication University of China（数据科学与媒体智能学院，中国传媒大学）；Psyche AI Inc. Beijing, China（北京Psyche AI公司，中国）；Hainan International College, Communication University of China（海南国际学院，中国传媒大学）；Hangzhou International Innovation Institute, Beihang University（杭州国际创新研究院，北京理工大学）
DS-TTS 提出双风格编码网络与动态生成器网络，通过风格门控-电影机制融合互补风格特征并动态适应输入长度，在 VCTK 上显著提升零样本语音克隆的词错误率与说话人相似度。
2025-06-01 cs.SD eess.AS
DDSP-based Singing Vocoders: A New Subtractive-based Synthesizer and A Comprehensive Evaluation
Academia Sinica（中央研究院）；Taiwan AI Labs（台湾人工智能实验室）；National Tsing Hua Univ.（国立清华大学）；Music Group（470音乐集团）；PARC（帕洛阿尔托研究中心）
声码器是一种有条件的音频生成模型，它将诸如梅尔频谱图之类的声学特征转换成波形。从可微分数字信号处理（DDSP）的启发，我们提出了一种新的声码器命名为SawSing唱歌。SawSing通过用线性时变有限脉冲响应滤波器对原始信号进行滤波来合成歌唱声的谐波部分，该滤波器的系数由神经网络从输入的梅尔频谱图中估计。由于这种方法强制相位连续性，SawSing可以生成唱歌的声音，而没有许多现有声码器的相位不连续故障。此外，源滤波器假设提供了一个电感偏置，允许SawSing在少量数据上进行训练。我们的实验表明，SawSing收敛速度更快，在资源有限的情况下，只有3个训练记录和3小时的训练时间，性能优于最先进的生成对抗网络和基于扩散的声码器。
2022-08-19 cs.SD eess.AS
hf0: A hybrid pitch extraction method for multimodal voice
基音或基频（f0）提取是一个基本的问题，广泛研究其潜在的应用在语音和临床应用。在文献中，开发了显式模式特定（模态语音或歌声或情绪/表达语音或噪声语音）信号处理和深度学习f0提取方法，其利用信号在时间上的准周期性质、频谱或组合形式的谐波性质来提取音高。因此，不存在可以从声学信号的各种模式中可靠地提取音高的单一统一方法。在这项工作中，我们提出了一种混合的f0提取方法，无缝提取跨语音生产模式的音高，具有非常高的精度，许多应用程序所需的。该混合模型充分利用了深度学习和信号处理方法的优势，能够最大限度地减少基音检测误差，并适用于各种声学信号模式。具体来说，我们提出了一种有序回归卷积神经网络来映射周期性丰富的输入表示，以获得标称音高类，这与其他深度学习方法不同，大大减少了音高检测所需的类的数量。此外，通过滤波和自相关从标称音高类别标签估计准确的f0。我们表明，该方法推广到大规模数据集的语音生产和各种噪声看不见的模式。此外，与其他方法相比，所提出的混合模型显著减少了训练深度模型所需的学习参数。此外，评估措施表明，所提出的方法明显优于最先进的信号处理和深度学习方法。
2019-04-22 cs.LG cs.SD eess.AS
Differentiable Time-Varying Linear Prediction in the Context of End-to-End Analysis-by-Synthesis
Queen Mary University of London（伦敦玛丽女王大学）
本文提出将GOLF声码器的高效时不变线性预测推广到时变情形，实现逐样本可微分LP端到端训练，并在语音重建质量和听音测试中优于逐帧方法及可微分WORLD声码器。
2024-10-18 cs.SD eess.AS
Bayesian Pitch Tracking Based on the Harmonic Model
Aalborg University（奥尔堡大学）；Aston University（阿斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）
基频是语音和音频信号最重要的特征之一。基于谐波模型的基频估计器比广泛使用的基于自相关的方法提供更高的估计精度和对噪声的鲁棒性。然而，传统的基于谐波模型的估计器不考虑基频的时间平滑性、模型阶数和浊音，因为它们独立地处理每个数据段。提出了一种基于谐波模型和一阶马尔可夫过程模型的完全贝叶斯基频跟踪算法。平滑先验施加在基频上，模型阶数，和使用一阶马尔可夫过程模型的发声。使用这些马尔可夫模型，基频估计和浊音检测误差可以减少。利用谐波模型，所提出的基频跟踪器具有改善的噪声鲁棒性。推导出一种可有效计算的似然函数的解析形式。与最先进的神经网络和非参数方法相比，所提出的基频跟踪算法在Keele音高数据库上的平均绝对误差和粗差分别减少了15%和20%，在0 dB高斯白噪声下，在帕金森病语音数据库中的持续/a/声音上的平均绝对误差和粗差分别减少了36%和26%。所提出的算法的MATLAB版本可自由地用于再现结果\footnote {使用MATLAB的所提出的算法的实现可在\url{https://tinyurl.com/yxn4a543}中找到
2019-05-21 cs.LG cs.SD eess.AS
AI Harmonizer: Expanding Vocal Expression with a Generative Neurosymbolic Music AI System
MIT Media Lab（MIT媒体实验室）；Massachusetts Institute of Technology（麻省理工学院）
AI Harmonizer利用生成式神经符号音乐AI系统，自动为独唱旋律生成四声部和声，无需用户音乐专业知识，扩展人声表达，并已开源实现。
2025-06-22 cs.AI cs.HC cs.SD
Speaker Tracking: Segment-online Multi-talker Organization with a Varying Number of Speakers
Ohio State University（俄亥俄州立大学）；Meta Reality Labs（Meta现实实验室）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对说话人跟踪中重叠语音和说话人数变化问题，提出分段在线模块化框架，采用分离、VAD及两阶段组织策略，在LibriCSS和AMI上达到最优性能，显著降低DER和cpWER。
2026-10-06 eess.AS
