Detection and Evaluation of human and machine generated speech in spoofing attacks on automatic speaker verification systems
Carnegie Mellon University（卡内基梅隆大学）
自动说话人确认系统利用人类语音中的生物特征信息来确认说话人的身份。用于执行说话人验证的技术通常容易受到恶意攻击，这些攻击试图诱使ASV系统返回错误的结果，从而允许冒名顶替者绕过系统并获得访问权限。攻击者为此使用了多种欺骗技术，例如语音转换、音频重放、语音合成等。近年来，生成深度伪造音频的容易获得的工具增加了对ASV系统的潜在威胁。在本文中，我们比较了潜在的人类模仿（语音伪装）基于攻击的基础上，机器生成的语音，黑盒和白盒ASV系统。我们还研究对策，通过使用功能，捕捉人类语音生产的独特方面，假设机器不能模仿许多精细的人类语音生产机制的复杂性。我们表明，基频序列相关熵，频谱包络和非周期性参数是有前途的候选人的鲁棒检测未知方法产生的deepfaked语音。
2020-11-25 cs.SD eess.AS
Privacy-Utility Balanced Voice De-Identification Using Adversarial Examples
Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）；Rutgers University（罗格斯大学）
面对语音数据发布过程中身份泄露的威胁，用户在享受便捷语音服务的同时，陷入了隐私-效用的两难境地。现有的研究采用直接修改或基于文本的重新合成来去识别用户的声音，但在人类参与者在场的情况下导致不一致的可听度。在本文中，我们提出了一个语音去识别系统，它使用对抗性的例子来平衡语音服务的隐私性和实用性。我们设计了一个新的卷积对抗性例子，将扰动调制成现实世界的房间脉冲响应，而不是典型的诱导可感知失真的加法例子。受益于此，我们的系统可以通过自动说话人辨识（ASI）保护用户身份不被暴露，同时保持语音感知质量以用于非侵入式去识别。此外，我们的系统通过条件变分自动编码器学习紧凑的扬声器分布，以根据需要对不同的目标嵌入进行采样。结合不同的目标生成和特定于输入的扰动构造，我们的系统使任何到任何识别转换的自适应去识别。实验结果表明，我们的系统可以达到98%和79%的成功去识别主流的ASI和商业系统的客观梅尔倒谱失真为4.31 dB和主观平均意见得分为4.48。
2022-11-10 cs.CR cs.LG cs.SD
QvTAD: Differential Relative Attribute Learning for Voice Timbre Attribute Detection
Qifu Technology（启福科技）
针对语音音色属性检测中标签不平衡和主观性问题，本文提出基于差分注意力的QvTAD框架，通过图增强策略和相对音色偏移感知模块提升跨说话人泛化性能。
2025-08-21 cs.SD eess.AS
PerMod: Perceptually Grounded Voice Modification with Latent Diffusion Models
University of California, Berkeley（加州大学伯克利分校）；Brown University（布朗大学）
为解决语音感知修改可控性不足的问题，提出条件潜在扩散模型PerMod，可根据输入语音和感知特质向量生成匹配语音，在典型语音上效果良好。
2023-12-13 cs.LG cs.SD eess.AS
Singer Identification for Metaverse with Timbral and Middle-Level Perceptual Features
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
Metaverse是一个结合现实和虚拟的互动世界，参与者可以成为虚拟化身。任何人都可以在虚拟音乐厅举办演唱会，用户可以通过歌手识别快速识别虚拟偶像背后的真实歌手。大多数歌手识别方法使用帧级特征进行处理。然而，除了歌手的音色之外，音乐帧还包括音乐信息，例如旋律、节奏和音调。这意味着音乐信息是噪声，使用帧级特征来识别歌手。在本文中，而不是只有帧级功能，我们建议使用另外两个功能，解决这个问题。中层特征，代表音乐的旋律性、节奏稳定性、调性稳定性，能够捕捉音乐的感性特征。音色特征代表了演唱者的声音特征，用于说话人辨识。此外，我们提出了一个卷积递归神经网络（CRNN）结合三个特征的歌手识别。该模型首先融合帧级特征和音色特征，然后将中间层特征融合到混合特征中。实验结果表明，该方法在Artist20的基准数据集上取得了相当的性能，平均F1分数为0.81，显著提高了相关工作的效率。
2022-05-24 cs.SD eess.AS
Child-Centric Voice Anonymization in Single and Multi-Speaker Speech via Domain-Adapted SSL Models
通过将自监督学习（SSL）语音匿名化流水线适应儿童语音领域，在单说话人和两说话人混合场景下提升可懂度和感知质量，同时保持强隐私保护，并扩展至多说话人场景以保护对话结构。
2026-06-29 cs.AI cs.SD eess.SP
A text-independent speaker verification model: A comparative analysis
语音生物识别领域最紧迫的挑战是选择最有效的说话人识别技术。每个人的声音都是独特的，像发音器官，口音和发音的物理差异等因素导致了问题的复杂性。在本文中，我们探讨了说话人识别过程中每个块中可用的各种方法，目的是确定可用于获得精确结果的最佳技术。我们在文本无关语料库上研究了这一结果。我们使用MFCC（梅尔频率倒谱系数），LPCC（线性预测倒谱系数）和PLP用于特征提取的感知线性预测算法（主成分分析）和tSNE进行降维和SVM（支持向量机），前馈，最近邻法和决策树算法对说话人识别系统中的分类块进行分类，并对每个分类块进行比较分析，技术
2017-12-04 cs.SD eess.AS
Playing a Part: Speaker Verification at the Movies
Google Research（谷歌研究院）
这项工作的目标是研究流行的说话人识别模型在电影语音片段上的性能，其中演员经常故意伪装自己的声音来扮演角色。我们做了以下三个贡献：（i）我们收集了一个新颖的，具有挑战性的说话人识别数据集称为VoxMovies，语音856身份从近4000个电影剪辑。VoxMovies包含不同的情感，口音和背景噪声的话语，因此包括一个完全不同的域的采访风格，情绪平静的话语，在当前的说话人识别数据集，如VoxCeleb;（ii）我们提供了一些领域自适应评估集，并基准性能的国家的最先进的说话人识别模型对这些评估。我们表明，这两个扬声器验证和识别性能急剧下降，在这个新的数据，显示在跨域传输模型的挑战;最后（iii）我们表明，简单的领域自适应范例提高性能，但仍然有很大的改进空间。
2021-02-11 cs.SD eess.AS
An Effective Energy Mask-based Adversarial Evasion Attacks against Misclassification in Speaker Recognition Systems
Department of Artificial Intelligence, Korea University, Seoul, Republic of Korea（人工智能系，韩国大学，首尔，大韩民国）
本研究提出了一种基于能量掩码的对抗性逃避攻击方法，旨在提高语音识别系统中对抗攻击的有效性和音频质量。
2026-01-29 cs.CR cs.SD eess.AS
Speech Synthesis along Perceptual Voice Quality Dimensions
Paderborn University（帕德博恩大学）；Bielefeld University（比勒费尔德大学）
本研究针对低抽象层级的感知语音质量控制需求，将条件连续归一化流方法集成到文本转语音系统中，通过样本学习实现连续尺度的语音属性修改，经语音学专家评估验证了系统在四种语音质量操纵上的效果与改进空间。
2025-01-15 cs.SD eess.AS
Toward Expressive Singing Voice Correction: On Perceptual Validity of Evaluation Metrics for Vocal Melody Extraction
Academia Sinica（中央研究院）；Queen Mary University of London（伦敦玛丽女王大学）；Rayark Inc.（雷亚游戏有限公司）
歌唱声音校正（SVC）是一个吸引业余歌手的应用。商业产品通过将音高轮廓捕捉到等温和的音阶来自动化SVC，这可能导致面无表情的修改。再加上忽视节奏错误，大量的人工纠正仍然是必要的。在本文中，我们提出了一个精简的系统来自动表达SVC的音高和节奏的错误。特别是，我们扩展了以前的工作，集成了先进的技术，歌声分离（SVS）和声乐旋律提取。SVC是通过在时间上对齐源-目标对，然后用目标的音调和节奏替换源的音调和节奏来实现的。我们评估的框架进行比较研究旋律提取，其中涉及主观和客观的评价，从而我们调查的感知有效性的标准指标，通过SVC的镜头。结果表明，高音调的准确性所获得的指标并不意味着良好的感知分数。
2020-10-23 cs.SD eess.AS
Sequence-to-sequence Singing Voice Synthesis with Perceptual Entropy Loss
Johns Hopkins University（约翰霍普金斯大学）；Renmin University of China（中国人民大学）
基于神经网络（NN）的歌唱声合成（SVS）系统需要足够的数据来进行良好的训练，并且由于数据稀缺而易于过拟合。然而，我们经常遇到的数据限制问题，在建立SVS系统，因为高数据采集和注释成本。在这项工作中，我们提出了一个感知熵（PE）损失来自心理声学听力模型来正则化网络。通过一个一小时的开源歌声数据库，我们探索了PE损失对各种主流序列到序列模型的影响，包括基于RNN的模型，基于transformer的模型和基于conformer的模型。实验结果表明，PE损失可以缓解过拟合问题，并显着提高客观和主观评价中反映的合成歌唱质量。
2021-02-26 cs.LG cs.SD eess.AS
Towards an Interpretable Representation of Speaker Identity via Perceptual Voice Qualities
University of California, Berkeley（加州大学伯克利分校）；Brown University（布朗大学）
本文提出基于感知声音品质（PQs）的可解释说话人身份表征，扩展 CAPE-V 协议构建连接人口统计属性与低层语音特征的感知潜空间，并验证非专家可听辨、多种语音表征可预测其中信息。
2023-10-04 cs.LG cs.SD eess.AS
Automatic Evaluation of Speaker Similarity
Warsaw University of Technology（华沙理工大学）；Amazon Research（亚马逊研究院）
我们介绍了一种新的自动评估方法的说话人相似性评估，这是符合人类的感知分数。现代神经文本到语音模型需要大量干净的训练数据，这就是为什么许多解决方案从单个说话者模型切换到基于许多不同说话者的示例训练的解决方案。多说话者模型带来了新的可能性，例如更快地创建新的声音，但也带来了新的问题-说话者泄漏，其中合成示例的说话者身份可能与目标说话者的身份不匹配。目前，发现这个问题的唯一方法是通过昂贵的感知评估。在这项工作中，我们提出了一个自动的方法来评估说话人的相似性。为此，我们扩展了最近的工作，说话人验证系统和评估不同的指标和说话人嵌入模型如何反映多个刺激与隐藏的参考和锚（MUSHRA）分数。我们的实验表明，我们可以训练一个模型来预测说话人相似度MUSHRA分数从说话人嵌入0.96的准确性和显着的相关性高达0.78皮尔逊分数在话语水平。
2022-07-01 cs.LG cs.SD eess.AS
Single and Multi-Speaker Cloned Voice Detection: From Perceptual to Learned Features
University of California, Berkeley（加州大学伯克利分校）
针对真实语音与冒充特定人物的克隆语音鉴别问题，本文比较感知、频谱和端到端学习三类特征，并证明学习特征在单、多说话人设置下均达到0%至4%等错误率且具鲁棒性。
2023-09-27 cs.CL cs.SD eess.AS
ImagineNET: Target Speaker Extraction with Intermittent Visual Cue through Embedding Inpainting
National University of Singapore（新加坡国立大学）；University of Bremen（不来梅大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
说话人提取技术试图从语音混合中的干扰语音中挑出目标说话人的语音。通常，目标说话人的辅助参考用于形成自愿注意。预先录制的话语或视频剪辑中的同步嘴唇运动可以用作辅助参考。视觉提示的使用不仅可行，而且由于其对噪声的鲁棒性而有效，并且越来越流行。然而，很难保证这种并行视觉提示在可能发生视觉遮挡或间歇性通信的现实世界应用中总是可用的。本文研究了具有间歇性视觉提示的视听说话人提取算法。我们提出了一个联合的说话人提取和视觉嵌入修复框架，以探索双方的利益。为了鼓励两个任务之间的交互，它们以交错结构交替执行并联合优化。我们还提出了两种类型的视觉修复损失和研究我们提出的方法与两种类型的常用的视觉嵌入。实验结果表明，我们优于基线的信号质量，感知质量和可懂度。
2023-03-09 cs.SD eess.AS
STCTS: Generative Semantic Compression for Ultra-Low Bitrate Speech via Explicit Text-Prosody-Timbre Decomposition
Fudan University（复旦大学）；Tsinghua University（清华大学）
STCTS通过显式分解语音为语言内容、语调和音色，实现80bps下的高质量超低比特率语音压缩，兼顾效率与质量。
2025-12-03 cs.MM cs.SD
Improving Voice Conversion for Dissimilar Speakers Using Perceptual Losses
Otto-von-Guericke-University Magdeburg（马格德堡奥托·冯·格里克大学）
本文研究利用感知损失改进不同说话人之间的语音转换，以实现语音匿名化，在保留语言内容的同时改变说话人特征，从而保护用户隐私和数据安全。
2023-09-18 cs.SD eess.AS
An Exploratory Study on Perceptual Spaces of the Singing Voice
Queen Mary University of London（伦敦玛丽女王大学）
60名参与者提供了不同的评级之间的各种歌唱技术。多维尺度，类平均和聚类技术被用来分析音色空间，以及它们如何在不同的歌手，性别和寄存器之间的变化。聚类分析表明，地面实况相似性和轮廓分数，性别或注册条件之间没有显着差异，而相似性分数与参与者的工具能力和任务理解呈正相关。参与者的反馈显示了修改后的研究设计如何减轻我们数据中的噪音，从而获得更详细的统计结果。音色图和类距离分析显示，我们的歌唱技术仍然是类似的，在性别和注册条件。这项研究提供了如何唱歌的音色空间在不同的条件下变化的洞察力，突出了参与者之间的感知的主观性，并提供了一般化的音色地图规则化机器学习。
2021-11-16 cs.SD eess.AS
Do speech foundation models perceive speaker similarity as humans do?
Keio University, Japan（庆应大学，日本）；The University of Tokyo, Japan（东京大学，日本）
本研究通过比较40多个语音基础模型的说话人嵌入与人类主观相似性评分，探究模型距离是否与人类感知一致，并识别影响模型与人类感知一致性的关键配置因素。
2026-06-18 cs.SD eess.AS
Acoustic and perceptual differences between standard and accented speech and their voice clones
Department of Linguistics, University at Buffalo, United States（语言学系，布法罗大学，美国）；Department of Computer Science and Engineering, University at Buffalo, United States（计算机科学与工程系，布法罗大学，美国）；Emeritus Faculty, Australian National University, Australia（澳大利亚国立大学荣誉教职）
通过计算和感知实验，比较标准口音与带口音普通话及其语音克隆，发现口音影响感知身份匹配和可懂度，且标准口音克隆更接近原声，带口音克隆可懂度提升更大。
2026-09-16 cs.AI cs.CL cs.CY
SoloSpeech: Enhancing Intelligibility and Quality in Target Speech Extraction through a Cascaded Generative Pipeline
Johns Hopkins University（约翰霍普金斯大学）；Chinese University of Hong Kong（香港中文大学）；NVIDIA；Tsinghua University（清华大学）；Brno University of Technology（布拉格技术大学）
SoloSpeech提出级联生成式流程，集成压缩、提取、重建与校正，采用免说话人嵌入的对齐潜在空间提取器，在Libri2Mix上达到SOTA可懂度与质量，并具强泛化性。
2025-09-06 cs.AI cs.SD eess.AS
Lightly Weighted Automatic Audio Parameter Extraction for the Quality Assessment of Consensus Auditory-Perceptual Evaluation of Voice
National Taiwan University（台湾大学）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Taiwan University Hospital（台湾大学医院）；National Taiwan University College of Medicine（台湾大学医学院）；National Taiwan University Hospital Hsin-Chu Branch（台湾大学医院新竹分院）
针对临床嗓音评估依赖经验导致难以标准化的问题，提出一种轻量级自动音频参数提取方法，利用五个音频参数与经典机器学习，其表现媲美SOTA且优于预训练模型，提升了评估的可解释性与精确度。
2023-11-27 cs.LG cs.SD eess.AS
PS4: Proxy-Supervised Joint Training for Real Target Speaker Extraction
针对真实对话混合语音中目标说话人提取模型训练难题，提出PS4框架。构建大规模语料库，采用代理监督联合训练策略，用四个互补目标微调基于BSRNN的模型，在REAL-T挑战中总体排名第二，取得良好效果。
2026-07-10 cs.AI cs.SD
Investigation for Relative Voice Impression Estimation
NTT, Inc., Japan（日本NTT公司）
本研究探讨了相对语音印象估计方法，发现自监督语音模型在捕捉复杂感知差异方面表现更优，而多模态大语言模型在此任务中效果不佳。
2026-02-18 cs.CL cs.LG cs.SD
Towards Robust Assessment of Pathological Voices via Combined Low-Level Descriptors and Foundation Model Representations
Department of Computer Science and Information Engineering, National Taiwan University of Science and Technology（国家交通大学科学与信息工程系）；Research Center for Information Technology Innovation, Academia Sinica（学术院资讯科技创新研究中心）；University of Palermo（巴勒莫大学）；Institute of Information Science, Academia Sinica（学术院资讯科学研究所）；Department of Electrical Engineering, Chung Yuan Christian University（Chung Yuan Christian University电子工程系）
本文提出VOQANet和VOQANet+，结合基础模型嵌入与低级声学特征，提升病理声音评估的准确性和鲁棒性。
2025-12-11 cs.LG cs.SD eess.AS
I-vector Based Within Speaker Voice Quality Identification on connected speech
Georgia Institute of Technology（佐治亚理工学院）；Georgia State University（佐治亚州立大学）
语音障碍影响了很大一部分人口，特别是像教师或呼叫中心工作人员这样的重度语音用户。大多数语音障碍可以通过行为语音疗法有效治疗，该疗法教导患者用最佳的语音产生技术取代有问题的习惯性语音产生机制，从而改善语音质量。然而，治疗通常失败，因为患者难以独立地区分他们的习惯性声音与目标技术，当临床医生反馈在治疗会话之间不可用时。因此，为了将临床医生的反馈扩展到临床外环境，我们建立了两个系统，可以自动区分同一个人产生的各种语音质量。我们假设：1）基于i向量的系统可以将这些质量分类，就好像它们代表不同的说话者一样; 2）这样的系统将优于基于传统语音信号处理算法的系统。训练录音由13名业余演员提供，每个演员在连接语音中产生5种感知不同的声音质量：正常，呼吸，油炸，鼻音和鼻下。正如假设的那样，i-向量系统在分类准确性方面优于声学测量系统（即，分别为97.5%和77.2%）。调查结果是预期的，因为i向量系统映射功能到一个集成的空间，更好地代表每个语音质量比基线系统的22个特征空间。因此，基于i向量的系统具有在语音治疗和语音训练中的临床应用的潜力。
2021-02-15 cs.LG cs.SD eess.AS
Improving Perceptual Quality, Intelligibility, and Acoustics on VoIP Platforms
KonanAI；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一种方法，用于微调在深度噪声抑制（DNS）2020挑战赛上训练的模型，以提高其在互联网语音协议（VoIP）应用中的性能。我们的方法涉及使DNS 2020模型适应VoIP通信的特定声学特征，其中包括压缩，传输和特定于平台的处理引起的失真和伪影。为此，我们提出了一个多任务学习框架的VoIP-DNS，共同优化噪声抑制和语音增强VoIP特定的声学。我们评估了我们的方法在不同的VoIP场景，并表明它优于行业性能和最先进的语音增强VoIP应用程序的方法。我们的研究结果表明，在DNS-2020上训练的模型有可能使用VoIP-DNS进行改进和定制，以适应不同的VoIP平台，其研究结果在语音识别，语音助理和电信等领域具有重要的应用。
2023-03-16 cs.AI cs.LG cs.MM
Delivering Speaking Style in Low-resource Voice Conversion with Multi-factor Constraints
Northwestern Polytechnical University（西北工业大学）；ByteDance（字节跳动）
在语音转换中，语言内容的传达和源语语调、情感等说话风格的保持是至关重要的。然而，在低资源的情况下，只有有限的话语从目标说话人是可访问的，现有的VC方法很难满足这一要求，并捕捉目标说话人的木材。在这项工作中，一种新的VC模型，被称为MFC-StyleVC，提出了低资源VC任务。具体而言，新提出的聚类方法产生的说话人音色约束，指导目标说话人音色学习的不同阶段。同时，为了防止过度拟合目标说话人的有限数据，感知正则化约束显式地保持模型在特定方面的性能，包括说话风格，语言内容和语音质量。此外，引入了一种模拟模式来模拟推理过程，以缓解训练和推理之间的不匹配。大量的实验表现出高度的语音证明了该方法在低资源VC的优越性。
2023-03-14 cs.SD eess.AS
Voice Passing : a Non-Binary Voice Gender Prediction System for evaluating Transgender voice transition
Institut National de l'Audiovisuel (INA)（法国国家视听研究院）；Hôpital Tenon, AP-HP（Tenon医院，巴黎公共医疗集团）；Université Paris Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；Universidade Federal do Rio de Janeiro（里约热内卢联邦大学）
本文提出一种基于连续语音女性化百分比（VFP）的非二元语音性别预测系统，用于评估跨性别者的声音转换，通过校准二元分类模型预测VFP，发现其准确率优于基频或声道长度模型，并受风格、年龄及性别二元化概念影响。
2024-04-23 cs.HC cs.LG cs.SD
Perceptual Contrast Stretching on Target Feature for Speech Enhancement
Academia Sinica（中央研究院）；Microsoft Corporation（微软公司）
由于使用深度学习模型作为基础函数，语音增强（SE）性能得到了显著改善。在这里，我们提出了一个感知对比度拉伸（PCS）的方法，以进一步提高SE性能。PCS是基于临界频带重要性函数推导出来的，并应用于修正SE模型的目标。具体而言，目标特征的对比度基于感知重要性被拉伸，从而提高整体SE性能。与基于后处理的实现相比，将PCS并入训练阶段保留了性能并减少了在线计算。值得注意的是，PCS可以与不同的SE模型架构和训练标准相结合。此外，PCS不影响SE模型训练的因果关系或收敛性。在VoiceBank-DEMAND数据集上的实验结果表明，该方法在因果（PESQ得分= 3.07）和非因果（PESQ得分= 3.35）SE任务上都能达到最先进的性能。
2022-07-15 cs.CL cs.SD eess.AS
Self Voice Conversion as an Attack against Neural Audio Watermarking
研究提出自我语音转换作为对抗神经音频水印的攻击方法，展示了其对现有水印技术可靠性的破坏性影响。
2026-03-16 cs.AI cs.SD
Fast-VGAN: Lightweight Voice Conversion with Explicit Control of F0 and Duration Parameters
STMS Lab（STMS实验室）
本文提出 Fast-VGAN，一种基于卷积神经网络的轻量级语音转换方法，通过显式条件控制 F0、音素序列、强度和说话人身份，在保持高可懂度和说话人相似度的同时实现灵活的语音变换。
2025-07-07 cs.AI cs.SD eess.AS
REWIND: Speech Time Reversal for Enhancing Speaker Representations in Diffusion-based Voice Conversion
Indraprastha Institute of Information Technology (IIIT)（印度普拉斯塔信息技术学院）
本研究提出REWIND方法，将语音时间反转后的说话人表征作为增强策略，应用于基于扩散的语音转换模型，在保持语音质量的同时显著提升了说话人相似度指标。
2025-05-27 cs.MM cs.SD eess.AS
When Fine-Tuning Fails and when it Generalises: Role of Data Diversity and Mixed Training in LLM-based TTS
Sprinklr AI
本文研究了LoRA微调在语音克隆任务中的有效性，发现其在语音质量和信噪比提升方面优于基模型，尤其在数据多样性支持下表现更佳。
2026-03-11 cs.AI cs.ET cs.SD
V-Cloak: Intelligibility-, Naturalness- & Timbre-Preserving Real-Time Voice Anonymization
Zhejiang University（浙江大学）；Wuhan University（武汉大学）
在即时消息或社交媒体应用程序上生成的语音数据包含唯一的用户声纹，这些声纹可能会被恶意攻击者滥用，用于身份推断或身份盗窃。现有的语音匿名化技术，例如，信号处理和语音转换/合成遭受感知质量的降级。在本文中，我们开发了一个语音匿名化系统，命名为V-Cloak，它实现了实时的【形】语音匿名化，同时保持可懂度，自然度和音质的音频。我们设计的匿名器具有一个一次性生成模型，可以在不同的频率水平上调制原始音频的特征。我们用精心设计的损失函数来训练匿名者。除了匿名性损失，我们进一步纳入可懂度损失和基于心理声学的自然性损失。匿名器可以实现无目标和有目标的匿名，以达到不可识别和不可链接的匿名目标。我们在四个数据集上进行了广泛的实验，即，LibriSpeech（英语）、AISHELL（中文）、CommonVoice（法语）和CommonVoice（意大利语），五个自动说话人验证（ASV）系统（包括两个基于DNN的ASV、两个统计ASV和一个商业ASV），以及十一个自动语音识别（ASR）系统（针对不同语言）。实验结果表明，V-Cloak在匿名性能方面优于五个基线。我们还证明了仅在VoxCeleb 1数据集上训练的V-Cloak对ECAPA-TDNN ASV和DeepSpeech 2 ASR具有针对其他ASV的可转移匿名性和其他ASR的跨语言可理解性。此外，我们验证了V-Cloak对各种去噪技术和自适应攻击的…
2022-10-27 cs.AI cs.CR cs.SD
The Voice Conversion Challenge 2018: Promoting Development of Parallel and Nonparallel Methods
National Institute of Informatics（国立信息学研究所）；University of Edinburgh（爱丁堡大学）；Nagoya University（名古屋大学）；University of Tokyo（东京大学）；ObEN（ObEN公司）；University of Eastern Finland（东芬兰大学）；University of Science and Technology of China（中国科学技术大学）
我们推出了2018年语音转换挑战赛，旨在为评估和比较不同的最先进的语音转换（VC）系统提供一个通用框架。该挑战的目的是执行说话人转换（即转换的声音身份）的源说话人到目标说话人，同时保持语言信息。作为对上一个挑战的更新，我们分别考虑了并行和非并行数据来形成Hub和Spoke任务。共有来自世界各地的23个团队提交了他们的系统，其中11个团队还参加了可选的Spoke任务。然后进行大规模众包感知评估，以根据自然度和与目标说话人身份的相似性对提交的转换语音进行评级。在本文中，我们简要总结了VC的最新技术，然后详细解释了挑战任务和所获得的结果。
2018-04-12 cs.CL cs.SD eess.AS
Musical Voice Separation as Link Prediction: Modeling a Musical Perception Task as a Multi-Trajectory Tracking Problem
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；Linz Institute of Technology（林茨技术研究所）
该研究将复调音乐的声部分离任务建模为多轨迹跟踪问题，通过异构图神经网络预测音符间链路实现分离，提出新正则化损失约束轨迹结构，在多风格古典音乐任务中达到新的最优水平。
2023-04-28 cs.AI cs.LG cs.SD
MeanVoiceFlow2: Joint Optimization of Mean Flow and Content Encoder for Fast One-Step Zero-Shot Voice Conversion
NTT, Inc.（日本电信电话株式会社）
提出MeanVoiceFlow2，联合优化均值流与高效内容编码器，通过蒸馏和扩散GAN训练，实现零样本语音转换中更高质量和约9倍加速。
2026-10-01 cs.AI cs.LG cs.SD
Voice Signal Processing for Machine Learning. The Case of Speaker Isolation
Sofia University “St. Kliment Ohridski”（索非亚大学）
本文面向机器学习工程师，比较傅里叶变换与小波变换在语音信号分解中的应用，并介绍SI-SDR、PESQ、STOI等语音可懂度评估指标，以帮助其为特定模型选择、微调和评估预处理方法。
2024-03-29 cs.LG cs.SD eess.AS
Content Anonymization for Privacy in Long-form Audio
本文提出了一种基于内容的语音匿名化方法，通过上下文重写转录文本以消除说话者特定风格，从而保护长音频中的隐私。
2026-07-24 cs.CL cs.SD
Time-domain speaker extraction network
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
说话人提取是指从多说话人的语音中提取出目标说话人的声音。它模拟了人类的鸡尾酒会效应或选择性倾听能力。以往的工作主要是在频域进行说话人提取，然后用一定的相位近似进行信号重构。相位估计的不准确性是频域处理所固有的，影响了信号重构的质量。在本文中，我们提出了一个时域说话人提取网络（TseNet），不分解的语音信号的幅度和相位谱，因此，不需要相位估计。TseNet由一堆膨胀的dependency可分离卷积网络组成，这些网络通过可管理的参数数量捕获语音信号的长程依赖性。它还以来自目标说话人的参考语音为条件，该参考语音由说话人i向量表征，以执行对目标说话人的选择性收听。实验结果表明，在开放评价条件下，TseNet在信失真比（SDR）和语音质量感知评价（PESQ）方面比基线分别提高了16.3%和7.0%.
2020-04-29 cs.SD eess.AS
Bio-Inspired Modality Fusion for Active Speaker Detection
University of Coimbra（科英布拉大学）；Institute of Systems and Robotics（系统与机器人研究所）
人类已经发展出奇妙的能力，可以整合来自各种感官来源的信息，探索它们内在的互补性。因此，感知能力得到提高，例如，实现了众所周知的“鸡尾酒会”和麦格克效应，即，从一整套声音信号中消除语音歧义。这种融合能力也是改善声源位置感知的关键，例如在群体对话中区分谁的声音。此外，神经科学已经成功地将大脑中的上丘区域确定为负责这种模态融合的区域，已经提出了一些生物模型来接近其潜在的神经生理过程。从这些模型之一的灵感，本文提出了一种方法，有效地融合相关的听觉和视觉信息的主动说话人检测。这种能力可以有广泛的应用，从电话会议系统到社交机器人。检测方法最初通过两个专门的神经网络结构路由听觉和视觉信息。由此产生的嵌入融合通过一个新的层的基础上上丘，其拓扑结构模拟空间神经元交叉映射的单峰感知领域。验证过程采用了两个公开的数据集，所取得的结果证实并大大超过了最初的预期。
2021-04-13 cs.CV cs.LG cs.NE
