Self-Supervised Disentangled Representation Learning for Robust Target Speech Extraction
Du Xiaoman(度小满)
针对目标语音提取中的说话人混淆问题,提出自监督解耦表示学习方法,通过两阶段网络分离说话人身份信息,并引入自适应调制Transformer进行条件指导,有效降低了说话人混淆率。
2024-08-24 cs.AI cs.LG cs.SD
Multi-Singer: Fast Multi-Singer Singing Voice Vocoder With A Large-Scale Corpus
Zhejiang University(浙江大学)
由于歌唱声数据量少、歌唱者泛化能力有限、计算量大等原因,高保真多歌唱者歌唱声合成对神经声码器来说是一个挑战。现有的开放式语料库由于规模和质量上的不足,无法满足高保真歌唱声音合成的要求。以前的声码器在多歌手建模方面有困难,并且在进行看不见的歌手演唱声音生成时出现明显的退化。为了加速社区对歌唱声音的研究,我们发布了一个大规模的,多歌手的中国歌唱声音数据集OpenSinger。为了解决看不见的歌手建模的困难,我们提出了多歌手,一个快速的多歌手声码器与生成对抗网络。具体来说,1)Multi-Singer使用多波段发生器来加速训练和推理过程。2)为了从声学特征捕获并重建演唱者身份(即,Mel-spectrogram),Multi-Singer采用了Singer条件对抗和条件对抗训练目标。3)为了监督在频域中的频谱包络中的歌手身份的重建,我们提出了一个辅助的歌手感知损失。联合训练方法有效地在GANs中用于多歌手语音建模。实验结果验证了OpenSinger的有效性,并表明Multi-Singer在速度和质量上都优于以前的方法。进一步的实验证明,结合FastSpeech 2作为声学模型,Multi-Singer在多歌手歌唱声合成流水线中实现了较强的鲁棒性。样品可在https://Multi-Singer.github.io/上获得
2021-12-20 cs.MM cs.SD eess.AS
SPADE: Self-supervised Pretraining for Acoustic DisEntanglement
Amazon Alexa AI(亚马逊Alexa人工智能部门);Google Research(谷歌研究院)
自监督表示学习方法由于能够在大量未标记的数据上训练模型而变得越来越流行,并且在诸如自然语言处理、计算机视觉和语音的不同领域中已经证明了成功。以前在语音领域的自我监督工作已经解开了语音的多个属性,如语言内容,说话者身份和节奏。在这项工作中,我们引入了一个自我监督的方法来解开房间声学语音,并使用设备仲裁的下游任务的声学表示。我们的结果表明,当标记的训练数据稀缺时,我们提出的方法比基线显着提高了性能,这表明我们的预训练方案学会了对房间声学信息进行编码,同时保持对语音信号的其他属性的不变。
2023-02-03 cs.LG cs.SD eess.AS
Supervised Speech Representation Learning for Parkinson's Disease Classification
Idiap Research Institute(伊迪亚普研究所);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
最近提出的自动病理语音分类技术使用无监督的自动编码器,以获得一个高层次的抽象表示的语音。由于这些表示是基于重建输入来学习的,因此不能保证它们对诸如说话者身份信息之类的与病理无关的线索是鲁棒的。此外,这些表示对于病理检测不一定是有区别的。在本文中,我们利用监督自动编码器提取强大的和歧视性的语音表示帕金森氏病分类。为了减少与病理学无关的说话人变量的影响,我们建议通过对抗训练自动编码器和说话人识别任务来获得说话人身份不变的表示。为了获得有区别的表示,我们建议联合训练自动编码器和病理语音分类器。在西班牙语数据库上的实验结果表明,所提出的监督表示学习方法产生更强大的和歧视性的表示自动分类帕金森氏病的语音,优于基线无监督表示学习系统。
2021-07-21 cs.SD eess.AS
Speaker-Aware Mixture of Mixtures Training for Weakly Supervised Speaker Extraction
Peking University(北京大学)
主流的说话人提取研究多采用有监督的训练方法,很少考虑理想纯净语料的缺乏和通道失配问题。为此,我们提出了说话人感知混合训练(SAMoM),利用目标源,注册话语和目标估计之间的说话人身份的一致性来弱监督深度说话人提取器的训练。在SAMoM中,输入是通过混合不同的说话者感知混合物(SAM)来构建的,每个SAM包含多个说话者,其身份已知并且可以注册话语。通过注册话语通知,从输入中逐个提取目标语音,使得估计的目标能够根据身份一致性在混音后近似于原始SAM。此外,在具有一定量的清洁源的半监督设置中使用SAMoM使得能够在噪声场景中应用。在Libri 2 Mix上的大量实验表明,该方法在不访问任何干净源的情况下取得了令人满意的结果(11.06dB SI-SDRi)。通过域自适应,我们的方法在AISHELL-1的跨域评估中甚至优于监督框架。
2022-04-15 cs.SD eess.AS
Cross-Lingual Speaker Verification with Self-Supervised Pre-Trained Models
Ant Group(蚂蚁集团)
针对跨语言说话人验证的语言不匹配性能下降问题,利用自监督预训练模型提取通用声学特征训练解耦说话人嵌入网络,在TidyVoice2026基准上取得2.21%和2.99%的等错误率。
2026-10-09 cs.SD eess.AS
A Unified Model For Voice and Accent Conversion In Speech and Singing using Self-Supervised Learning and Feature Extraction
BVRIT Hyderabad College of Engineering for Women(BVRIT海德拉巴女子工程学院)
本研究提出一种基于HuBERT编码器与HiFi-GAN解码器的统一嗓音转换模型,融合基频与歌手嵌入,可实现语音与歌唱的嗓音及口音转换,提升转换自然度与灵活性,适用于配音、内容创作等多场景。
2024-12-11 cs.LG cs.MM cs.SD
VAW-GAN for Singing Voice Conversion with Non-parallel Training Data
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学)
歌唱声音转换是指在不改变演唱内容的前提下,将演唱者的声音从源声转换为目标声。并行训练数据通常需要用于训练歌唱声音转换系统,然而这在现实生活中的应用中是不实际的。最近的编码器-解码器结构,如变分自编码Wasserstein生成对抗网络(VAW-GAN),提供了一种通过非并行训练数据学习映射的有效方法。在本文中,我们提出了一个歌唱的声音转换框架,是基于VAW-GAN。我们训练一个编码器,以解开歌手身份和歌唱韵律(F0轮廓)从语音内容。通过以歌手身份和F0为条件,解码器生成具有不可见目标歌手身份的输出频谱特征,并改进F0渲染。实验结果表明,该框架实现了更好的性能比基线框架。
2020-11-03 cs.CL cs.SD eess.AS
Speech Resynthesis from Discrete Disentangled Self-Supervised Representations
Tel Aviv University(特拉维夫大学)
我们建议使用自监督离散表示的语音再合成的任务。为了生成解纠缠表示,我们分别提取语音内容,韵律信息和扬声器身份的低比特率表示。这允许以可控的方式合成语音。我们分析了各种最先进的,自我监督的表示学习方法,并阐明了每种方法的优点,同时考虑重建质量和解纠缠属性。具体来说,我们评估的F0重建,说话人辨识性能(重新合成和语音转换),录音的可懂度,和整体质量使用主观的人的评价。最后,我们演示了如何将这些表示用于超轻量语音编解码器。使用获得的表示,我们可以得到每秒365比特的速率,同时提供比基线方法更好的语音质量。音频样本可以在以下链接中找到:speechbot.github.io/resynthesis。
2021-07-27 cs.LG cs.SD eess.AS
A Comparative Study of Voice Conversion Models with Large-Scale Speech and Singing Data: The T13 Systems for the Singing Voice Conversion Challenge 2023
Nagoya University(名古屋大学);LINE Corp.(LINE公司)
本研究面向2023年歌唱语音转换挑战赛,提出基于扩散模型的任意到任意语音转换T13系统,先利用750小时大规模语音歌唱数据预训练再针对目标对象微调,在跨域任务中取得有竞争力的效果,验证了大数据对跨域SVC的增益。
2023-10-08 cs.CL cs.LG cs.SD
Speaker attribution with voice profiles by graph-based semi-supervised learning
Microsoft(微软)
在许多实际应用中,如会议转录,需要说话人属性,其中说话人身份根据说话人语音配置文件分配给每个话语。在本文中,我们提出了解决说话人归属问题,使用基于图的半监督学习方法。为每个会话构建语音段的图,在该图上,来自语音简档的段由标记的节点表示,而来自测试话语的段是未标记的节点。节点之间的边的权重通过语音段的预训练的说话人嵌入之间的相似性来评估。说话人属性则成为图上的半监督学习问题,在图上应用两种基于图的方法:标签传播(LP)和图神经网络(GNNs)。所提出的方法能够利用图的结构信息来提高说话人归属性能。在真实会议数据上的实验结果表明,与独立处理每个话语的基线说话人识别方法相比,基于图的方法将说话人归因错误减少了68%。
2021-02-06 cs.LG cs.SD eess.AS
CrossSinger: A Cross-Lingual Multi-Singer High-Fidelity Singing Voice Synthesizer Trained on Monolingual Singers
Beijing Bombax XiaoIce Technology Co., Ltd(北京木棉小冰科技有限公司);National Institute of Informatics(国立信息学研究所);SOKENDAI(综合研究大学院大学);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
本文提出基于XiaoiceSing2的跨语言歌声合成器CrossSinger,通过IPA统一表示、条件层归一化融入语言信息及梯度反转层去除歌手偏差,在单语歌手数据上实现多歌手高保真跨语言歌声合成。
2023-09-22 cs.SD eess.AS
Semi-supervised Learning for Singing Synthesis Timbre
Music Technology Group, Universitat Pompeu Fabra(庞培法布拉大学音乐技术组)
我们提出了一个半监督的歌唱合成器,它能够学习新的声音,从音频数据,没有任何注释,如语音分割。我们的系统是一个编码器解码器模型,有两个编码器,语言和声学,和一个(声学)解码器。在第一步中,使用标记的多歌手数据集以监督的方式训练系统。在这里,我们确保两个编码器产生的嵌入是相似的,这样我们以后就可以使用具有声学或语言输入特征的模型。为了以无监督的方式学习新的语音,使用预训练的声学编码器来训练目标歌手的解码器。最后,在推理时,预先训练的语言编码器与新语音的解码器一起使用,以从语言输入中产生声学特征。我们评估我们的系统与听力测试,并表明,结果是相当的监督的方法所获得的。
2020-11-05 cs.LG cs.SD eess.AS
Self-supervised learning for robust voice cloning
Innoetics, Samsung Electronics(Innoetics,三星电子);Mobile Communications Business, Samsung Electronics(三星电子移动通信业务部)
语音克隆是一项困难的任务,它需要在高质量的TTS系统中加入强大的和信息丰富的功能,以便有效地复制一个看不见的扬声器的声音。在我们的工作中,我们利用通过Bootstrap Your Own Latent(BYOL)方法在自监督框架中学习的功能,当特定的音频增强应用于香草算法时,该方法可以产生高质量的语音表示。我们进一步扩展了训练过程中的增强,以帮助产生的功能,以捕捉扬声器的身份,并使他们强大的噪声和声学条件。学习到的特征被用作预先训练的话语级嵌入和作为基于非注意Tacotron架构的输入,旨在实现多扬声器语音合成而不利用额外的扬声器特征。这种方法使我们能够在未标记的多说话者数据集中训练我们的模型,并使用看不见的说话者嵌入来复制说话者的声音。主观和客观的评价被用来验证所提出的模型,以及目标话语的声学条件的鲁棒性。
2022-11-02 cs.LG cs.SD eess.AS
SSPS: Self-Supervised Positive Sampling for Robust Self-Supervised Speaker Verification
EPITA Research Laboratory (LRE)(EPITA研究实验室)
本文提出自监督正样本采样(SSPS),通过聚类和记忆队列为锚点寻找同说话人不同录音条件的正样本,缓解标准SSL框架主要编码信道信息的问题,在VoxCeleb1-O上显著降低EER并优于现有方法。
2025-06-24 cs.AI cs.LG cs.SD
Learning Time-Invariant Representations for Individual Neurons from Population Dynamics
Allen Institute for Brain Science(艾伦脑科学研究所);University of Washington(华盛顿大学)
该研究提出基于自监督学习的方法,结合单个及邻近群体神经元活动拟合动力学模型,为神经元学习时间不变表示,在小鼠皮层多模态数据集上,转录组亚类和类别身份预测性能较现有方法分别提升超35%和20%。
2023-11-03 cs.LG q-bio.NC
Contrastive Learning and the Emergence of Attributes Associations
本文提出对比学习中的身份保持变换同时保留对象语义属性,使输出表示可用于属性存在性判断,并通过仿真验证该推测。
2024-09-30 cs.CV cs.LG cs.NE
A Large-Scale Probing Analysis of Speaker-Specific Attributes in Self-Supervised Speech Representations
Department of Electronic Engineering, The Chinese University of Hong Kong, Hong Kong(香港中文大学电子工程系);Independent Researcher(独立研究者);School of Data Science, The Chinese University of Hong Kong, Shenzhen, China(香港中文大学深圳学校数据科学系)
本研究通过大规模分析揭示了自监督语音表示中说话人特定属性的编码机制,发现大模型在深层结构中能恢复说话人身份,且中间表示更擅长捕捉动态语调。
2026-09-09 cs.SD eess.AS
The Mechanism of Prediction Head in Non-contrastive Self-supervised Learning
Carnegie Mellon University(卡内基梅隆大学)
最近,Grill等人令人惊讶地发现了Bootstrap Your Own Latent(BYOL)方法,该方法表明,如果我们向网络中添加所谓的预测头,则可以去除对比损失中的负项。这开创了非对比自监督学习的研究。令人费解的是,即使存在平凡的崩溃全局最优解,由(随机)梯度下降训练的神经网络仍然可以学习竞争表示。这种现象是深度学习中内隐偏见的典型例子,并且仍然很少有人了解。在这项工作中,我们提出了我们的经验和理论发现的非对比自监督学习。从经验上讲,我们发现,当预测头被初始化为一个单位矩阵,只有其非对角项是可训练的,网络可以学习竞争表示,即使平凡的最优仍然存在于训练目标。从理论上讲,我们提出了一个框架来理解可训练的,但身份初始化的预测头的行为。在一个简单的设置下,我们表征了预测头的替代效应和加速效应。当学习某些神经元中的较强特征可以通过更新预测头来替代学习其他神经元中的这些特征时,就会发生替代效应。当替代特征可以加速其他较弱特征的学习,以防止它们被忽略时,就会发生加速效应。这两种效应使神经网络能够学习所有的特征,而不是只专注于学习更强的特征,这可能是维度崩溃现象的原因。据我们所知,这也是使用具有可训练预测头和归一化的非线性神经网络的非对比方法的第一个端到端优化保证。
2023-01-15 cs.LG stat.ML
Self-supervised Learning on Camera Trap Footage Yields a Strong Universal Face Embedder
Visual Geometry Group (VGG), Department of Engineering Science, University of Oxford(视觉几何组(VGG),工程科学系,牛津大学)
本研究提出一种基于DINOv2框架的完全自监督方法,利用无标签相机陷阱录像训练Vision Transformers学习黑猩猩面部嵌入,无需身份标签即在Bossou等基准上超越监督基线,为非侵入性种群研究提供可扩展方案。
2025-07-14 cs.AI cs.CV cs.LG
A Comparative Analysis Of Latent Regressor Losses For Singing Voice Conversion
Queen Mary University of London(伦敦玛丽女王大学)
先前的研究表明,已建立的口语语音转换(VC)的技术不执行以及应用于唱歌的声音转换(SVC)时。我们提出了一个替代的损失分量的损失函数,否则是建立在VC任务,这已被证明可以提高我们的模型的SVC性能。我们首先在歌手录音的梅尔频谱图上训练歌手身份嵌入(SIE)网络,以使用对比学习产生歌手特定的方差编码。随后,我们训练了一个以这些SIE为条件的知名自动编码器框架(AutoVC),并测量了使用不同潜在回归损失分量时SVC性能的差异。我们发现,利用这种损失w.r.t. SIE导致比w.r.t.更好的性能。瓶颈嵌入,其中转换的音频对目标歌手更自然和具体。包含这种损失分量的优点是显式地迫使网络以音色相似性进行重建,并且还消除了AutoVC的瓶颈嵌入中的不良解纠缠的影响。我们表现出特殊的计算和人类之间的差异评价歌手转换的音频剪辑,这突出了两者的必要性。我们还提出了一个源和目标歌手之间的音高匹配机制,以确保这些评价不受音高寄存器的差异。
2023-02-27 cs.AI cs.SD eess.AS
Self-Supervised Learning of Face Representations for Video Face Clustering
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Toronto(多伦多大学)
分析电视剧和电影背后的故事通常需要了解角色是谁以及他们在做什么。随着深度人脸模型的改进,这似乎是一个已经解决的问题。然而,随着人脸检测器变得越来越好,聚类/识别需要重新审视,以解决面部外观日益增加的多样性。在本文中,我们解决视频人脸聚类使用无监督的方法。我们的重点是从使用深度预训练的人脸网络获得的表示中提取基本信息,即身份。我们提出了一个自我监督的暹罗网络,可以训练,而不需要基于视频/跟踪的监督,因此也可以应用于图像采集。我们在三个视频人脸聚类数据集上评估了我们提出的方法。实验表明,我们的方法在所有数据集上都优于当前最先进的方法。视频人脸聚类缺乏一个共同的基准,因为目前的作品往往是用不同的指标和/或不同的人脸轨迹集进行评估。
2019-03-03 cs.CV cs.LG
Self-Supervised Learning with Kernel Dependence Maximization
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);DeepMind;UCL(伦敦大学学院);UBC(英属哥伦比亚大学);Amii(阿尔伯塔机器智能研究所)
我们从统计依赖的角度来研究图像表示的自监督学习,提出了基于希尔伯特-施密特独立准则的自监督学习(SSL-HSIC)。SSL-HSIC最大化图像变换的表示与图像身份之间的依赖性,同时最小化这些表示的核化方差。这个框架产生了一个新的理解InfoNCE,不同的转换之间的互信息(MI)的变分下界。虽然MI本身是已知的病理学,可以导致学习无意义的表示,它的界限是更好的表现:我们表明,它隐式近似SSL-HSIC(与略有不同的正则化)。我们的方法还让我们深入了解BYOL,一种无负SSL方法,因为SSL-HSIC类似地学习样本的局部邻域。SSL-HSIC允许我们直接优化批量大小中时间线性的统计相关性,而无需限制性数据假设或间接互信息估计。无论是否使用目标网络进行训练,SSL-HSIC都可以匹配ImageNet上的标准线性评估、半监督学习以及转移到其他分类和视觉任务(如语义分割、深度估计和对象识别)的最新技术水平。代码可在https://github.com/deepmind/ssl_hsic上获得。
2021-12-02 cs.AI cs.CV cs.LG
A Study of the Generalizability of Self-Supervised Representations
University of Nebraska-Lincoln(内布拉斯加大学林肯分校)
自监督学习(SSL)的最新进展使得从未标记的数据中学习可推广的视觉表示成为可能。在预训练的SSL表示上微调的深度学习模型的性能与在最先进的监督学习(SL)表示上微调的模型相当。尽管SSL取得了进展,但其普遍性尚未得到广泛研究。在本文中,我们通过对迁移学习分类任务进行基于域的研究,对预训练的SSL和SL表示的泛化能力进行了更深入的分析。这些表示是从ImageNet源数据中学习的,然后使用两种类型的目标数据集进行微调:与源数据集相似,与源数据集显著不同。我们研究的SSL和SL为基础的模型,通过其预测精度以及预测置信度的泛化能力。除此之外,我们还分析了这些模型的最终卷积层的属性,以了解它们如何推理数据的语义身份。我们表明,SSL表示是更普遍的SL表示相比。我们解释的SSL表示的普遍性,通过调查其不变性,这是优于SL表示中观察到的。
2021-09-19 cs.CV cs.LG
Unsupervised Cross-Domain Singing Voice Conversion
Tel Aviv University(特拉维夫大学)
我们提出了一个wav-to-wav生成模型的任务歌唱声音转换从任何身份。我们的方法利用声学模型,训练任务的自动语音识别,连同旋律提取的功能来驱动基于波形的发生器。所提出的生成架构是不变的扬声器的身份,可以训练生成目标歌手从未标记的训练数据,使用语音或歌唱源。该模型以端到端的方式进行优化,无需任何手动监督,例如歌词,音符或平行样本。所提出的方法是完全卷积的,可以实时生成音频。实验表明,我们的方法显着优于基线方法,同时产生令人信服的更好的音频样本比其他尝试。
2020-08-06 cs.LG cs.SD eess.AS
Barlow Twins: Self-Supervised Learning via Redundancy Reduction
Facebook AI Research(脸书人工智能研究院);New York University(纽约大学)
在大型计算机视觉基准测试中,自监督学习(SSL)正在迅速缩小与监督方法的差距。SSL的一个成功方法是学习对输入样本的失真不变性的嵌入。然而,这种方法经常出现的问题是平凡常数解的存在性。大多数当前的方法通过仔细的实现细节来避免这样的解决方案。我们提出了一个目标函数,通过测量两个相同网络的输出之间的互相关矩阵,并使其尽可能接近单位矩阵,从而自然避免崩溃。这使得样本的失真版本的嵌入向量相似,同时最小化这些向量的分量之间的冗余。这种方法被称为巴洛双胞胎,是由神经科学家H。巴洛的冗余减少原理应用于一对相同的网络。Barlow Twins不需要大批量,也不需要网络孪生之间的不对称性,例如预测网络,梯度停止或权重更新的移动平均值。有趣的是,它受益于非常高维的输出向量。Barlow Twins在低数据状态下的半监督分类方面优于ImageNet上以前的方法,并且与使用线性分类器头的ImageNet分类以及分类和目标检测的传输任务的最新技术水平相当。
2021-06-14 cs.AI cs.CV cs.LG
Learn to Sing by Listening: Building Controllable Virtual Singer by Unsupervised Learning from Voice Recordings
Hong Kong University of Science and Technology(香港科技大学);Hong Kong Chu Hai College(香港珠海学院);Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences(中国科学院香港创新研究院)
本文提出一种基于VAE的无监督框架,通过聆听语音录音即可数字化声音并预测歌唱,实现可控虚拟歌手生成,并成功应用于2022年香港AI合唱团。
2023-05-09 cs.SD eess.AS
Masked Particle Modeling on Sets: Towards Self-Supervised High Energy Physics Foundation Models
University of Geneva(日内瓦大学);Technical University of Munich(慕尼黑工业大学);SLAC National Accelerator Laboratory(SLAC国家加速器实验室);University of Haifa(海法大学)
本研究提出掩码粒子建模这一自监督方法,通过掩码预训练学习无序粒子集合的置换不变表征,在高能喷注任务中验证了其有效性与高效迁移能力,为构建高能物理基础模型提供了新路径。
2024-07-11 cs.LG hep-ex hep-ph
An Extensive Analysis of the Singing Voice Conversion Challenge 2025 Evaluation Results
Graduate School of Informatics, Nagoya University, Japan(名古屋大学信息学研究科,日本);Chinese University of Hong Kong, Shenzhen, China(香港中文大学(深圳));Carnegie Mellon University, USA(卡内基梅隆大学,美国);National Institute of Informatics, Japan(日本信息处理学会);Information Technology Center, Nagoya University, Japan(名古屋大学信息技术中心,日本)
本文对2025年歌唱声音转换挑战赛的评估结果进行了深入分析,通过新数据库、两个任务、开源基线和大规模众包测试,比较了33个系统在歌手身份和歌唱风格转换上的表现,发现顶级系统在身份相似性上接近真实样本,但风格建模(如气息、滑音、颤音)仍具挑战,且现有客观指标无法完全替代主观评分。
2026-05-28 cs.SD eess.AS
Controllable and Interpretable Singing Voice Decomposition via Assem-VC
MINDsLab Inc.(MINDsLab公司);Seoul National University(首尔大学)
我们提出了一个歌唱分解系统,编码时间对齐的语言内容,音高,和源扬声器身份通过汇编VC。利用分解后的非特定人信息和目标说话人的信息嵌入,合成目标说话人的歌声。总之,我们用用户的歌声和目标歌手的转换后的歌声制作了一个完美同步的二重唱。
2021-10-25 cs.SD eess.AS
Zero-Shot Duet Singing Voices Separation with Diffusion Models
Queen Mary University of London(伦敦玛丽女王大学);Sapienza University of Rome(罗马大学)
本文针对二重唱歌声分离中歌手身份不一致的问题,提出基于扩散模型的自回归重叠片段后验采样方法,在MedleyVox数据集上验证其优于朴素后验采样基线。
2024-10-20 cs.SD eess.AS
Eta-WavLM: Efficient Speaker Identity Removal in Self-Supervised Speech Representations Using a Simple Linear Equation
Università degli studi di Torino(托斯纳大学);Cerence Inc(Cerence公司)
本文提出Eta-WavLM,通过线性分解自监督语音表示中的说话人特定与无关成分,实现高效说话人身份去除,在语音转换等任务上优于现有方法。
2025-05-25 cs.AI cs.SD eess.AS
Effects of Convolutional Autoencoder Bottleneck Width on StarGAN-based Singing Technique Conversion
National Tsing Hua University(国立清华大学)
本文构建基于 GAN、WORLD 声码器和 CAE 的多域演唱技巧转换系统,通过改变 CAE 瓶颈宽度并进行主观评价,揭示其对清晰度与目标技巧相似度的影响。
2023-08-19 cs.LG cs.SD eess.AS
A Comprehensive Study of Content Representations for Speech Synthesis
STMS Lab(STMS实验室);IRCAM(声学/音乐研究和协作学院);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学)
本研究通过仅以各内容表征为条件的生成模型,在通用框架下比较SSL特征、监督式token等表征,发现解耦取决于训练目标与信息容量的交互,监督式表征仅在容量受限时才能解耦说话人身份。
2026-09-28 cs.LG cs.SD eess.AS
Audiovisual Singing Voice Separation
University of Rochester(罗切斯特大学);ByteDance Inc.(字节跳动公司)
将歌曲分离为声乐和伴奏成分是一个活跃的研究课题,近年来,使用深度学习技术进行监督训练的性能有所提高。我们建议应用与歌唱者的发声活动相对应的视觉信息,以进一步提高分离的发声信号的质量。视频前端模型接受嘴部运动的输入,并将其融合到基于音频的分离框架的特征嵌入中。为了便于网络学习歌唱活动的视听相关性,我们在训练期间向音频混合物中添加与嘴部运动无关的额外声音信号。我们创建了两个视听歌唱表演数据集,分别用于训练和评估,一个来自互联网上的试听录音,另一个来自内部录音。在大多数测试录音的分离质量方面,所提出的方法优于基于音频的方法。当伴奏中有伴唱时,这种优势尤其明显,这对纯音频方法提出了很大的挑战。
2021-07-01 cs.LG cs.SD eess.AS
Iterative refinement, not training objective, makes HuBERT behave differently from wav2vec 2.0
Department of Linguistics(语言学系);Department of Computer Science(计算机科学系);Department of French(法语系)
本研究比较了HuBERT和wav2vec 2.0的架构差异,发现隐藏表征与词、音素及说话人身份的典型相关性差异由训练迭代而非训练目标决定,建议未来研究迭代细化的有效性。
2025-08-11 cs.CL cs.SD eess.AS
Learning Problem-agnostic Speech Representations from Multiple Self-supervised Tasks
Amazon Research(亚马逊研究院)
在没有监督的情况下学习良好的表示仍然是机器学习中的一个开放问题,并且对于语音信号尤其具有挑战性,语音信号通常以具有复杂分层结构的长序列为特征。然而,最近的一些工作表明,它是可能的,以获得有用的语音表示,采用自监督编码器-解码器的方法。本文提出了一种改进的自监督方法,其中单个神经编码器后面跟着多个工人,共同解决不同的自监督任务。不同任务之间所需的共识自然会对编码器施加有意义的约束,有助于发现一般表征并最大限度地减少学习肤浅表征的风险。实验表明,该方法可以学习可转移的,鲁棒的,和问题不可知的功能,进行相关信息的语音信号,如说话人身份,音素,甚至更高级别的功能,如情感线索。此外,许多设计选择使编码器易于出口,便于直接使用或适应不同的问题。
2019-04-06 cs.LG cs.SD eess.AS
CLASVS: Continuous-Latent Autoregression for Melody-Preserving Lyric Editing in Singing Voice Synthesis
CLASVS是用于歌声合成的连续潜变量自回归模型,通过SCT路由与PSCG方法实现保留旋律的歌词编辑,在普通话基准上优于离散自回归Vevo2,降低46.2%的宏观音素错误率。
2026-08-31 cs.SD
Neurodyne: Neural Pitch Manipulation with Representation Learning and Cycle-Consistency GAN
Acoustic Lab(声学实验室);School of Data Science(数据科学学院)
针对现有神经基音操控系统特征解耦不准确、缺乏成对训练数据的问题,提出Neurodyne,通过对抗表示学习和循环一致性训练提升基音操控性能,合成质量更高且保留歌手身份。
2025-08-15 cs.SD eess.AS
Accent Normalization Using Self-Supervised Discrete Tokens with Non-Parallel Data
School of Intelligence Science and Technology(智能科学与技术学院);Tencent Ethereal Audio Lab(腾讯虚音频实验室);Department of ECE(电子工程系)
本文提出利用自监督离散令牌、非平行数据与 flow matching 的口音归一化流程,在多口音英语语音上提升自然度、口音减弱和音色保持效果。
2025-07-23 cs.SD eess.AS
WGANSing: A Multi-Voice Singing Voice Synthesizer Based on the Wasserstein-GAN
Universitat Pompeu Fabra(庞培法布拉大学);Joint Research Centre, European Commission(欧盟联合研究中心)
我们提出了一种基于深度神经网络的歌唱语音合成器,其灵感来自深度卷积生成对抗网络(DCGAN)架构,并使用Wasserstein-GAN算法进行了优化。我们使用声码器参数进行声学建模,以分离音高和音色的影响。这有助于对歌唱声音中音高的大变化进行建模。我们的网络将一组连续的逐帧语言和基频特征以及全球歌手身份作为输入,并输出与特征块相对应的声码器特征。这种分块方法以及训练方法允许我们对输入块的特征内的时间依赖性进行建模。对于推理,使用一个加法过程将顺序块连接起来。我们表明,我们的模型的性能是有竞争力的关于国家的最先进的和原始样本使用客观指标和主观的听力测试。我们还通过GitHub在补充网站和源代码上展示了合成的示例。
2019-06-19 cs.SD eess.AS
deHuBERT: Disentangling Noise in a Self-supervised Model for Robust Speech Recognition
Alibaba Group(阿里巴巴集团);Nanyang Technological University(南洋理工大学);Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-新加坡南洋理工大学联合研究院)
现有的自监督预训练语音模型提供了一种有效的方法来利用大量未注释的语料库来构建良好的自动语音识别(ASR)。然而,许多当前的模型都是在来自单一来源的干净语料库上训练的,当测试过程中存在噪声时,这往往会表现不佳。然而,克服噪声对实际应用的不利影响至关重要。在这项工作中,我们提出了一个新的训练框架,称为deHuBERT,降噪编码的灵感来自H。Barlow的redundancy-reduction原则新框架通过引入辅助损失来改进HuBERT训练算法,该辅助损失将成对噪声失真嵌入之间的自相关矩阵和互相关矩阵驱动到单位矩阵。这鼓励模型产生与噪声无关的语音表示。通过这种方法,我们报告在嘈杂的环境中,包括看不见的噪声,提高了鲁棒性,而不会损害性能的清洁集。
2023-02-28 cs.SD eess.AS
Disentangled Speech Embeddings using Cross-modal Self-supervision
University of Oxford(牛津大学);Naver Corporation(Naver公司)
本文的目的是在不访问手动注释数据的情况下学习说话者身份的表示。为此,我们开发了一个自监督学习目标,该目标利用了视频中人脸和音频之间的自然跨模态同步。我们的方法背后的关键思想是梳理分开-没有注释-语言内容和说话者身份的表征。我们构建了一个双流体系结构:(1)共享两种表示共有的低级特征;(2)提供了一种自然的机制,用于明确地解开这些因素,为内容和身份的新组合提供更大的概括潜力,并最终产生更强大的扬声器身份表示。我们训练我们的方法在一个大规模的音频-视频数据集说话的头“在野外”,并证明其有效性,通过评估标准的说话人识别性能的发言人表示。
2020-05-04 cs.CV cs.SD eess.AS
Feature Learning and Ensemble Pre-Tasks Based Self-Supervised Speech Denoising and Dereverberation
Newcastle University(纽卡斯尔大学);University of Oxford(牛津大学)
自监督学习(SSL)在单声道语音增强中取得了巨大的成功,但在现有的预处理任务下,目标语音估计的准确性,特别是对未看见的说话人的准确性仍然不足。由于语音信号包含说话人身份、语言特征和说话内容等多方面信息,因此语音增强的潜在表征成为一项艰巨的任务。在本文中,我们研究了语音增强中常用的每个特征的有效性,并在SSL的情况下开发了特征组合。此外,我们还提出了一种集成训练策略。该算法学习纯净语音信号的潜在表示,同时利用去混响模板和估计比率模板对混合语音信号进行去噪和去混响。潜在表示学习和模板估计被认为是训练阶段的两个前任务。此外,为了研究预任务之间的有效性,我们比较了不同的训练例程来训练模型并进一步改进性能。NOISEX和DAPS语料库被用来评估所提出的方法的有效性,这也优于国家的最先进的方法。
2022-06-10 cs.SD eess.AS
SSDPT: Self-Supervised Dual-Path Transformer for Anomalous Sound Detection in Machine Condition Monitoring
Northwestern Polytechnical University(西北工业大学);LianFeng Acoustic Technologies Co., Ltd.(联丰声学技术有限公司);Xi’an University of Posts and Telecommunications(西安邮电大学)
用于机器状态监测的异常声音检测在工业4.0的发展中具有巨大的潜力。然而,这些机器的异常声音在正常情况下通常是不可用的。因此,所采用的模型必须学习正常声音的声学表示进行训练,并在测试时检测异常声音。在这篇文章中,我们提出了一个自我监督的双路Transformer(SSDPT)网络来检测机器监控中的异常声音。SSDPT网络将声学特征分成多个段,并使用多个DPT块进行时间和频率建模。DPT块使用注意模块来交替地对关于分段声学特征的频率和时间分量的交互信息进行建模。为了解决异常声音缺乏的问题,我们采用了一种自监督学习的方法来训练网络与正常的声音。具体而言,该方法随机掩蔽和重建的声学特征,并联合分类机器身份信息,以提高异常声音检测的性能。我们在DCASE2021 task2数据集上评估了我们的方法。实验结果表明,SSDPT网络实现了显着增加的谐波平均AUC分数,在目前的国家的最先进的异常声音检测方法相比。
2022-08-06 cs.SD eess.AS
DiEmo-TTS: Disentangled Emotion Representations via Self-Supervised Distillation for Cross-Speaker Emotion Transfer in Text-to-Speech
Department of Artificial Intelligence(人工智能系)
提出DiEmo-TTS,通过自监督蒸馏和聚类匹配学习说话人无关的情感嵌入,实现跨说话人情感迁移,减少说话人泄漏并提升合成质量。
2025-10-17 cs.AI cs.SD eess.AS
Accent conversion using discrete units with parallel data synthesized from controllable accented TTS
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本研究提出一种基于离散单元的多口音转换模型,以母语语音自监督聚类得到的离散单元为中间目标,结合多说话人TTS还原母语口音,还提出高效数据增强法降低非母语数据需求,可在保留说话人身份的同时将多种非母语音色转为母语口音、提升流利度。
2024-09-30 cs.CL cs.SD eess.AS
Self-Supervised Syllable Discovery Based on Speaker-Disentangled HuBERT
Tokyo Institute of Technology(东京工业大学)
针对SD-HuBERT中CLS token聚合的信息更偏向说话人身份而非语言内容的问题,提出引入说话人扰动增强、采用帧级目标的自监督微调方法,在Librispeech上多数音节相关指标优于SOTA。
2024-09-16 cs.CL cs.SD eess.AS
How Should We Extract Discrete Audio Tokens from Self-Supervised Models?
Concordia University(康考迪亚大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Avignon Université(阿维尼翁大学);Telecom Paris(巴黎电信学院);Université de Montréal(蒙特利尔大学);Université Laval(拉瓦尔大学)
本文研究从自监督模型中提取离散音频令牌的最佳配置,提出跨多层SSL训练通用声码器,并利用注意力机制识别任务关键层,以提升语义令牌在判别与生成任务中的适应性和性能。
2024-06-15 cs.AI cs.CL cs.SD
InsideSSL: Understanding Self-Supervised Speech Representations using a Model-Centric Perspective
Inria, Université Grenoble Alpes CNRS, LJK(法国国家信息与自动化研究所、格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、法国国家科学研究中心计算机图形学实验室)
研究旨在理解自监督语音表示模型内部动态,提出InsideSSL框架,从压缩、几何等视角分析,引入GCM评估,通过线性探测连接到下游任务,展示层拓扑对语音相关编码的作用。
2026-07-08 cs.SD