Voice Anonymization for All -- Bias Evaluation of the Voice Privacy Challenge Baseline System
本研究在Voice Privacy Challenge背景下评估语音匿名化系统中的子群体偏差,构建基准数据集分析三种匿名化系统与攻击模型的影响,揭示性能差异及包容性评估需求。
2023-11-27 cs.CY eess.AS
The VOiCES from a Distance Challenge 2019 Evaluation Plan
SRI International(斯坦福国际研究院);In-Q-Tel Laboratories(因-Q-泰尔实验室)
“VOiCES from a Distance Challenge 2019”旨在促进说话人识别和自动语音识别(ASR)领域的研究,特别关注噪声条件下的单通道远场/远场音频。这一挑战的主要目标是:(i)在说话人识别和自动语音识别(ASR)领域中对最先进的技术进行基准测试,(ii)支持在说话人识别和ASR中的新思想和技术的开发,(iii)支持进入远场/远场语音处理领域的新研究小组,以及(iv)提供新的,公开可用的数据集,展示现实的距离特征的社区。
2019-02-27 cs.SD eess.AS
Voice conversion using coefficient mapping and neural network
提出了一种基于系数映射和神经网络的语音转换模型。大多数以前的工作参数语音合成没有考虑到损失的频谱细节,造成过度平滑和不变的,一个明显的偏差,从目标扬声器的转换语音。本文提出了一种改进的模型,该模型使用线性预测编码(LPC)和线性谱频率(LSF)系数来参数化源语音信号,以揭示过平滑的影响。利用神经网络的非线性映射能力,将源语音矢量映射到目标语音矢量空间。由于LPC滤波器极点的不稳定性,用神经网络训练LPC系数的效果很差。LPC系数转换为线性频谱频率系数,然后用三层神经网络进行训练。该算法进行了测试与噪声数据的结果进行评估,使用梅尔倒谱距离测量。倒谱距离评估显示,目标和转换后的语音之间的频谱距离减少了35.7%。
2020-03-11 eess.AS
The 2020 Personalized Voice Trigger Challenge: Open Database, Evaluation Metrics and the Baseline Systems
2020年个性化语音触发挑战赛(PVTC 2020)解决了两个不同的研究问题,一个统一的设置:联合唤醒词检测与说话人验证对近距离说话的单麦克风数据和远场多通道麦克风阵列数据。特别地,第二个任务在远场条件之上提出了额外的跨信道匹配挑战。为了模拟现实生活中的应用场景,注册话语只记录从近距离通话的手机,而测试话语记录从近距离通话的手机和远场麦克风阵列。本文介绍了我们的挑战设置和发布的数据库以及评估指标。此外,我们提出了一个联合端到端的神经网络基线系统训练与建议的数据库说话人相关的唤醒词检测。实验结果表明,在近距离单麦克风任务中,由漏警率和虚警率计算的代价可以达到0.37,在远场麦克风阵列任务中可以达到0.31。官方网站和开源基线系统已经发布。
2021-01-06 eess.AS
The Voice Timbre Attribute Detection 2025 Challenge Evaluation Plan
University of Science and Technology of China(中国科学技术大学);The Hong Kong Polytechnic University(香港理工大学)
该挑战赛旨在通过感官描述词比较两声音强度,解释音色属性,于2025年5月启动,10月在NCMMSC2025会议发布成果。
2025-06-22 cs.AI cs.SD eess.AS
The Third VoicePrivacy Challenge: Preserving Emotional Expressiveness and Linguistic Content in Voice Anonymization
organization= Universit\'e de Lorraine, CNRS, Inria, LORIA, F-54000 , city= Nancy , country= France;organization= Duke Kunshan University , city= Kunshan , postcode= 215316 , country= China;organization= Mission Défense et Sécurité, Inria , city= Grenoble , country= France;organization= Institute for Natural Language Processing, University of Stuttgart , country= Germany;organization= National Institute of Informatics , addressline= Chiyoda-ku , city= Tokyo , postcode= 101-8340 , country= Japan
本文介绍了2024年第三版语音隐私挑战,旨在通过匿名化技术在保护隐私的同时保留语音内容和情感表达。
2026-01-17 cs.CL cs.SD eess.AS
An Overview of Voice Conversion and its Challenges: From Statistical Modeling to Deep Learning
Singapore University of Technology and Design(新加坡科技设计大学);National Institute of Informatics(国立信息学研究所);University of Edinburgh(爱丁堡大学);National University of Singapore(新加坡国立大学)
说话人身份是人类言语的重要特征之一。在语音转换中,我们将说话者身份从一个转换为另一个,同时保持语言内容不变。语音转换涉及多种语音处理技术,例如语音分析、频谱转换、韵律转换、说话人特征化和声码。随着理论和实践的发展,我们现在能够产生具有高说话人相似度的人一样的语音质量。在本文中,我们全面概述了最先进的语音转换技术及其性能评估方法,从统计方法到深度学习,并讨论了它们的前景和局限性。我们还将报告最近的语音转换挑战(VCC),当前技术状态的性能,并提供语音转换研究可用资源的摘要。
2020-11-17 cs.SD eess.AS
The Sillwood Technologies System for the VoiceMOS Challenge 2022
Sillwood Technologies(西尔伍德科技公司)
在本文中,我们描述了我们参加2022年VoiceMOS挑战赛的主要和域外(OOD)赛道。我们的系统基于微调预训练的自监督波形预测模型,同时通过随机加权平均提高其泛化能力。此外,我们使用影响函数来识别训练集中可能的低质量数据,以进一步提高我们的模型在OOD轨道上的性能。我们的系统在主赛道和OOD赛道分别排名第5和第7。
2022-04-08 cs.SD eess.AS
SVDD Challenge 2024: A Singing Voice Deepfake Detection Challenge Evaluation Plan
University of Rochester(罗切斯特大学);Carnegie Mellon University(卡内基梅隆大学);Nagoya University(名古屋大学);Renmin University of China(中国人民大学)
针对AI生成歌声带来的伪造风险,论文介绍首个歌声深度伪造检测挑战赛SVDD Challenge的评估计划,并说明其数据范围及与SLT 2024合办。
2024-05-08 cs.AI cs.MM cs.SD
The NU Voice Conversion System for the Voice Conversion Challenge 2020: On the Effectiveness of Sequence-to-sequence Models and Autoregressive Neural Vocoders
Nagoya University(名古屋大学)
在本文中,我们介绍了名古屋大学(NU)为2020年语音转换挑战赛(VCC 2020)开发的语音转换(VC)系统。我们的目标是确定VC中最近两种重要技术的有效性:序列到序列(seq 2seq)模型和自回归(AR)神经声码器。针对挑战中的两个任务开发了两个相应的系统:对于任务1,我们采用了语音Transformer网络,这是一种基于transformer的seq 2seq VC模型,并使用合成并行数据对其进行扩展以处理非并行数据;对于任务2,我们使用基于帧的循环变分自编码器(CycleVAE)来模拟语音波形的频谱特征,并使用AR WaveNet声码器进行额外的微调。通过与基线系统的比较,我们证实了seq 2seq建模可以提高转换的相似性,并且使用AR声码器可以提高转换语音的自然度。
2020-10-09 cs.CL cs.SD eess.AS
CUHK-EE Voice Cloning System for ICASSP 2021 M2VoC Challenge
CUHK-EE(香港中文大学电子工程系)
本文介绍了用于ICASSP 2021 M2 VoC挑战的CUHK-EE语音克隆系统。该挑战提供了两个普通话语音语料库:AIShell-3语料库的218个扬声器的噪声和混响和MST语料库,包括一个男性和一个女性扬声器的高质量的语音。音轨1和音轨2分别提供3个目标说话人的100个和5个不同语音和风格的话语,要求参与者按照目标说话人的语音和风格合成语音。我们参加了音轨1,并根据目标说话人的100个话语进行语音克隆。为了完成这一任务,本文设计并实现了一个端到端的语音克隆系统。一个文本和语音前端模块的帮助下,强制对齐,2.结合Tacotron 2和DuRIAN的声学模型来预测melspectrogram,3. Hifigan声码器用于波形生成。我们的系统包括三个阶段:多说话人训练阶段,目标说话人自适应阶段和目标说话人合成阶段。我们的团队被确定为T17。由挑战赛组织者提供的主观评价结果证明了我们的系统的有效性。音频样本可以在我们的演示页面上找到:https://daxintan-cuhk.github.io/CUHK-EE-system-M2VoC-challenge/。
2021-07-05 cs.SD eess.AS
The IQIYI System for Voice Conversion Challenge 2020
IQIYI Inc.(爱奇艺公司)
本文介绍了用于语音转换2020的IQIYI语音转换系统(T24)。在比赛中,每个目标说话人有70个句子。我们已经建立了一个基于PPG的端到端语音转换系统。首先,ASR声学模型计算BN特征,其表示语音中的内容相关信息。然后通过改进的韵律tacotron模型计算Mel特征。最后,通过改进的LPCNet将Mel谱转换为wav。评测结果表明,该系统能够达到较好的语音转换效果。在使用16 k而不是24 k采样率音频的情况下,转换结果在自然度和相似性方面相对较好。其中,我们最好的结果是在任务2的相似性评价,第2次在基于ASV的客观评价和第5次在主观评价。
2020-10-29 cs.SD eess.AS
Voice Conversion Challenge 2020: Intra-lingual semi-parallel and cross-lingual voice conversion
National Institute of Informatics(国立信息学研究所);Nagoya University(名古屋大学);National University of Singapore(新加坡国立大学);University of Eastern Finland(东芬兰大学);University of Science and Technology of China(中国科学技术大学)
语音转换挑战赛是一项每两年举办一次的科学活动,旨在比较和了解基于通用数据集构建的不同语音转换(VC)系统。2020年,我们组织了第三届挑战赛,并为两个任务构建和分发了一个新的数据库,即语言内半并行和跨语言VC。经过两个月的挑战期,我们收到了33份提交,包括3个基于数据库的基线。从众包听力测试的结果中,我们观察到,由于先进的深度学习方法,VC方法进展迅速。特别是,扬声器相似性分数的几个系统被证明是一样高的目标扬声器在语言内半并行VC任务。然而,我们证实,对于相同的任务,它们中没有一个达到人类水平的自然性。跨语言转换任务,正如预期的那样,是一个更困难的任务,和整体的自然度和相似性分数低于那些内语言转换任务。然而,我们观察到令人鼓舞的结果,最好的系统的MOS得分高于4.0。我们还展示了一些额外的分析结果,以帮助更好地理解跨语言VC。
2020-08-28 cs.SD eess.AS
The VoiceMOS Challenge 2022
Nagoya University(名古屋大学);National Institute of Informatics(国立信息学研究所);Academia Sinica(中央研究院)
我们提出了第一版的VoiceMOS挑战赛,一个科学的事件,旨在促进自动预测的平均意见得分(MOS)的合成语音的研究。这项挑战吸引了来自学术界和工业界的22个参与团队,他们尝试了各种方法来解决预测人工合成语音评级的问题。挑战赛主赛道的听力测试数据由来自187个不同的文本到语音和语音转换系统的样本组成,这些系统跨越了十年的研究,域外赛道由来自最近的系统的数据组成,这些系统在单独的听力测试中进行了评级。挑战的结果显示了微调自监督语音模型对MOS预测任务的有效性,以及预测看不见的扬声器和听众的MOS评级的困难,以及在域外设置中看不见的系统。
2022-07-04 cs.SD eess.AS
The DKU-DukeECE Diarization System for the VoxCeleb Speaker Recognition Challenge 2022
本文描述了DKU-DukeECE提交给VoxCeleb说话人识别挑战赛2022(VoxSRC-22)的第四轨道。我们的系统包含一个融合的语音活动检测模型,基于聚类的日记模型,和目标说话人的语音活动检测为基础的重叠检测模型。总体而言,提交的系统与我们去年在VoxSRC-21中的系统相似。不同的是,我们使用了更好的说话人嵌入和融合的语音活动检测,这显着提高了性能。最后,我们使用DOVER-lap融合4个不同的系统,并实现了4.75的日志错误率,排名第一位的轨道4。
2022-10-04 eess.AS
NPU-NTU System for Voice Privacy 2024 Challenge
本文提出用于 VPC 2024 的说话人匿名化系统,采用解耦神经编解码器与多种蒸馏方法分离语言内容、说话人身份和情感,并通过候选身份加权和随机身份实现匿名化,取得隐私保护与情感保留的最佳平衡。
2025-02-04 eess.AS
HLTCOE JHU Submission to the Voice Privacy Challenge 2024
HLTCOE(语言技术与中心卓越中心)
本研究针对语音隐私挑战赛,提出了语音转换类与 TTS 类两类隐私保护系统,对比了二者在情感保留与身份匿名化上的优劣,并设计随机混合系统平衡两类系统的性能,取得了不错的效果。
2024-09-17 cs.LG eess.AS
Multi-Stage Face-Voice Association Learning with Keynote Speaker Diarization
本文提出MFV-KSD框架,通过主旨说话人分离前端解决噪声输入,并采用三阶段训练策略平衡模态特征学习与关联理解,在2024 FAME挑战赛中以19.9%的EER获第一名。
2024-07-25 eess.AS
Speech Foundation Model Ensembles for the Controlled Singing Voice Deepfake Detection (CtrSVDD) Challenge 2024
Vellore Institute of Technology(韦洛尔理工大学)
本文针对2024年歌声深度伪造检测挑战赛,提出基于语音基础模型集成与新颖压缩激励聚合(SEA)方法的反欺骗系统,在CtrSVDD评估集上取得1.79%的领先等错误率。
2024-09-03 cs.AI cs.SD eess.AS
The Singing Voice Conversion Challenge 2023
Nagoya University(名古屋大学);Tencent AI Lab(腾讯人工智能实验室);Carnegie Mellon University(卡内基梅隆大学)
本文介绍2023年歌声转换挑战赛(SVCC),通过域内与跨域任务和众包听测评估26个系统,发现自然度可达人类水平但相似度仍不足,且现有客观指标大多无法预测感知性能。
2023-07-06 cs.CL cs.SD eess.AS
How do Voices from Past Speech Synthesis Challenges Compare Today?
National Institute of Informatics(国立情报学研究所)
共同的挑战为使用标准化评价比较接受过共同数据培训的系统提供了一个场所,当数据和评价结果公开发布时,它们也为研究人员提供了宝贵的资源。暴雪挑战赛和语音转换挑战赛分别是文本到语音合成和扬声器转换的两个挑战赛,它们公开的系统样本和听力测试结果构成了多年来最先进的合成方法的历史记录。在本文中,我们重新审视了这些过去的挑战,并进行了大规模的听力测试与样本从许多挑战相结合。我们的目标是分析和比较大量系统的意见,以确定意见是否以及如何随着时间的推移而变化,并收集各种各样的合成样本及其评级的大规模数据集,以供进一步研究。我们发现,在系统层面上,原始结果与我们新的听力测试之间存在很强的相关性。我们还观察到扬声器的选择对合成质量的重要性。
2021-06-30 cs.SD eess.AS
Individualized Conditioning and Negative Distances for Speaker Separation
Ohio University(俄亥俄大学);University of Kentucky(肯塔基大学);Massachusetts General Hospital(麻省总医院)
说话人分离的目的是从混合信号中提取多个语音。在本文中,我们提出了两个说话人感知的设计,以改善现有的说话人分离的解决方案。第一个模型是一个扬声器条件网络,它集成语音样本,以生成个性化的扬声器条件,然后提供明智的指导分离模块,以产生良好的分离输出。第二种设计旨在减少分离语音中的非目标语音。为此,我们提出了负距离来惩罚通道输出中任何非目标声音的出现,以及正距离来驱动分离的声音更接近干净的目标。我们探索了两种不同的设置,加权和和三重态,整合这两个距离,形成一个组合的辅助损失的分离网络。在LibriMix上进行的实验证明了我们提出的模型的有效性。
2022-10-12 cs.AI cs.SD eess.AS
The VoiceMOS Challenge 2024: Beyond Speech Quality Prediction
Nagoya University(名古屋大学);NVIDIA(英伟达);National Institute Of Information And Communications Technology(日本信息通信研究机构);Academia Sinica(中央研究院);National Institute of Informatics(情报信息学研究所)
2024年VoiceMOS挑战赛设三个不同场景的语音评分预测赛道,吸引产学研队伍参赛,验证了检索类方法、非自监督表示的有效性,推动了主观语音评分预测领域发展。
2024-09-11 cs.SD eess.AS
Face-voice Association in Multilingual Environments (FAME) Challenge 2024 Evaluation Plan
University of Engineering and Technology Taxila(拉合尔工程技术大学塔克西拉分校);Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校);Fortemedia Singapore(Fortemedia新加坡公司);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
该挑战赛旨在多语言场景下探索人脸与声音的关联,使用MAV-Celeb数据集,并提供基线及任务细节,以推动多模态研究。
2024-07-22 cs.CV cs.SD eess.AS
The VoicePrivacy 2020 Challenge: Results and findings
University of Avignon(阿维尼翁大学);National Institute of Informatics (NII)(国立信息学研究所);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);EURECOM(欧洲通信学院);University of Edinburgh(爱丁堡大学);Aix-Marseille University(艾克斯-马赛大学)
本文介绍了第一届VoicePrivacy 2020挑战赛的结果和分析,该挑战赛的重点是开发语音技术的匿名化解决方案。我们提供了挑战设计的系统概述,并对提交的系统和评估结果进行了分析。特别是,我们描述了用于系统开发和评估的语音匿名化任务和数据集。此外,我们提出了不同的攻击模型和相关的客观和主观的评价指标。我们介绍了两个匿名化基线,并提供了一个由挑战参与者开发的匿名化系统的摘要描述。我们报告基线和提交的系统的客观和主观的评价结果。此外,我们目前的实验结果替代隐私指标和攻击模型开发的后评估分析的一部分。最后,我们总结了我们的见解和观察,这将影响下一个VoicePrivacy挑战版的设计和未来语音匿名化研究的一些方向。
2022-09-26 cs.CL cs.SD eess.AS
VoiceDesigner: Text-to-Voice Generation and Editing via Unified Diffusion Modeling and Data Augmentation
Johns Hopkins University(约翰斯·霍普金斯大学);Adobe Research(奥多比研究院)
VoiceDesigner是基于统一扩散建模与数据增强的文本到语音生成编辑框架,通过构建多样化语音数据集和改进的扩散Transformer,实现语音生成与编辑,对齐性与感知质量优于现有模型。
2026-08-17 cs.LG eess.AS
SVDD 2024: The Inaugural Singing Voice Deepfake Detection Challenge
University of Rochester(罗切斯特大学);Carnegie Mellon University(卡内基梅隆大学);Nagoya University(名古屋大学)
SVDD 2024挑战通过两个赛道推动AI生成歌唱声音的检测研究,评估了多种方法在受控和真实场景下的性能。
2024-09-23 cs.MM cs.SD eess.AS
The VoiceMOS Challenge 2026: Evaluating Speech Enhancement, Emotional TTS and Accented TTS Systems
Nagoya University(名古屋大学);Shanghai Jiao Tong University(上海交通大学);Technische Universität Braunschweig(布伦瑞克工业大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Edinburgh(爱丁堡大学);National Institute of Information and Communications Technology(日本国立信息通信技术研究所)
VoiceMOS挑战赛2026评估语音增强、情感TTS和带口音TTS系统,设三个赛道,吸引18支队伍,多数超越基线,并总结结果与未来方向。
2026-09-15 cs.SD eess.AS
NTU-NPU System for Voice Privacy 2024 Challenge
NTU(南洋理工大学);NPU(西北工业大学)
本研究针对Voice Privacy 2024挑战赛,通过优化基线系统、引入情感嵌入与均值回归F0、测试多种嵌入器及解耦模型,在保障效用的同时提升语音隐私保护效果。
2024-10-03 cs.AI eess.AS
Parameterization of Sequence of MFCCs for DNN-based voice disorder detection
StethoMe(StethoMe公司)
在这篇文章中,提出了一个基于DNN的系统,用于检测三种常见的语音疾病(声带小结,息肉和囊肿;喉肿瘤;单侧声带麻痹)。算法的输入是持续元音/a:/的音频记录(至少3秒长)。该算法是作为远东纪念医院组织的“2018年FEMH语音数据挑战赛”的一部分开发的,并获得了77.44的得分值(在挑战规范中定义)。这是最终提交前的第二个最佳结果。在本文件编写期间,最终挑战结果尚不清楚。该文件还报告了最终提交的变更,将交叉验证的评分值提高了0.6%。
2018-12-14 cs.SD eess.AS
The Sequence-to-Sequence Baseline for the Voice Conversion Challenge 2020: Cascading ASR and TTS
Nagoya University(名古屋大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文介绍了2020年语音转换挑战赛(VCC)的序列到序列(seq2seq)基线系统。我们考虑了一种简单的语音转换(VC)方法,即首先使用自动语音识别(ASR)模型对输入语音进行转录,然后使用转录器使用文本到语音(TTS)模型生成目标的语音。我们利用ESPnet(一个开源的端到端语音处理工具包)和社区提供的许多配置良好的预训练模型,在序列到序列(seq2seq)框架下重新审视这种方法。官方评估结果表明,我们的系统在参与系统中的转换相似性,展示了seq2seq模型转换说话人身份的能力。该实现在https://github.com/espnet/espnet/tree/master/egs/vcc20上开源。
2020-10-06 cs.CL cs.SD eess.AS
The Academia Sinica Systems of Voice Conversion for VCC2020
The Academia Sinica(中央研究院)
本文介绍了中央研究院为2020年语音转换挑战赛的两个任务所设计的系统,即同一语言内的语音转换(任务1)和跨语言语音转换(任务2)。对于这两个任务,我们遵循级联ASR+TTS结构,使用语音标记作为TTS输入,而不是文本或字符。对于任务1,我们使用国际音标(IPA)作为TTS模型的输入。对于任务2,我们使用由矢量量化变分自动编码器(VQVAE)提取的无监督语音符号。在评估中,听力测试表明我们的系统在VCC 2020挑战赛中表现良好。
2020-10-06 cs.SD eess.AS
STC Speaker Recognition Systems for the VOiCES From a Distance Challenge
STC-Innovations Ltd.(STC创新有限公司);ITMO University(圣彼得堡国立信息技术机械与光学大学)
本文介绍了语音技术中心(STC)的说话人识别(SR)系统提交给VOiCES From a Distance Challenge 2019。挑战的SR任务集中在嘈杂条件下的单通道远场/远场音频中的说话人识别问题。在这项工作中,我们研究了不同的深度神经网络架构的说话人嵌入提取,以解决这个问题。我们发现,具有残留帧级连接的深度网络优于更浅的架构。本文研究了简单的基于能量的语音活动检测器(SAD)和基于SAD的自动语音识别(ASR)。我们还解决了鲁棒嵌入提取器训练的数据准备问题。使用自动房间脉冲响应发生器进行数据增强的混响。在我们的系统中,我们使用区分训练的余弦相似性度量学习模型作为嵌入后端。对我们使用的每个单独子系统应用评分标准化程序。我们最终提交的系统是基于不同子系统的融合。在VOiCES开发和评估集上获得的结果证明了所提出的系统在噪声条件下处理远场/远场音频时的有效性和鲁棒性。
2019-04-12 cs.CL cs.LG cs.SD
One Voice, Many Tongues: Cross-Lingual Voice Cloning for Scientific Speech
Shaggar Institute of Technology(谢加尔技术学院);Trinity College Dublin(都柏林三一学院)
本文针对跨语言科学演讲语音生成中的声音身份保持问题,提出基于OmniVoice基础模型的语音克隆系统,通过多模型集成蒸馏提升生成语音的可懂度和说话人相似性。
2026-06-26 cs.CL eess.AS
Cross-Channel Attention-Based Target Speaker Voice Activity Detection: Experimental Results for M2MeT Challenge
Duke University(杜克大学);Duke Kunshan University(昆山杜克大学)
在本文中,我们提出了发言人日记系统的多通道多方会议转录挑战(M2MeT)的团队DKU_DukeECE。由于数据集中存在高度重叠的语音,我们采用基于x向量的目标说话人语音活动检测(TS-VAD)来找到说话人之间的重叠。对于单通道场景,我们分别为8个通道中的每个通道训练模型并融合结果。我们还采用跨通道自注意来进一步提高性能,其中不同通道之间的非线性空间相关性被学习和融合。在评估集上的实验结果表明,单通道TS-VAD将DER从12.68%降低到3.14%,降低了75%以上。多通道TS-VAD进一步将DER降低了28%,并实现了2.26%的DER。我们最终提交的系统在AliMeeting测试集上达到了2.98%的DER,在M2MET挑战中排名第一。
2022-02-06 cs.SD eess.AS
A Comparative Study of Voice Conversion Models with Large-Scale Speech and Singing Data: The T13 Systems for the Singing Voice Conversion Challenge 2023
Nagoya University(名古屋大学);LINE Corp.(LINE公司)
本研究面向2023年歌唱语音转换挑战赛,提出基于扩散模型的任意到任意语音转换T13系统,先利用750小时大规模语音歌唱数据预训练再针对目标对象微调,在跨域任务中取得有竞争力的效果,验证了大数据对跨域SVC的增益。
2023-10-08 cs.CL cs.LG cs.SD
Evaluation of the Speech Resynthesis Capabilities of the VoicePrivacy Challenge Baseline B1
International Audio Laboratories Erlangen(埃尔朗根国际音频实验室);Friedrich-Alexander-Universität Erlangen-Nürnberg(弗里德里希-亚历山大-埃尔朗根-纽伦堡大学);University of Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
该研究评估VoicePrivacy Challenge基线B1的语音再合成能力,通过客观指标和听力测试发现其语音表示与声码器均会引入伪影导致语音不自然,为相关组件优化提供依据。
2023-08-22 cs.SD eess.AS
Synthetic Voice Spoofing Detection Based On Online Hard Example Mining
自动说话人验证欺骗(ASVspoof)挑战系列对于提高欺骗考虑和对策增长至关重要。尽管最近的ASVspoof 2019验证结果表明,该模型具有识别大多数攻击的显著能力,但对某些攻击的识别效果仍然很差。提出了一种检测未知语音欺骗攻击的在线硬样本挖掘算法。OHEM用于克服数据集中简单样本和硬样本之间的不平衡。所呈现的系统在ASVspoof 2019 Challenge逻辑访问场景的评估集上提供了0.77%的相等出错率(EER)。
2022-09-26 cs.SD eess.AS
Predictions of Subjective Ratings and Spoofing Assessments of Voice Conversion Challenge 2020 Submissions
National University of Singapore(新加坡国立大学);University of Eastern Finland(东芬兰大学);Nagoya University(名古屋大学);University of Science and Technology of China(中国科学技术大学);National Institute of Informatics(国立信息学研究所)
2020年语音转换挑战赛是其旗舰下的第三版,旨在促进语言内半平行和跨语言语音转换(VC)。虽然对挑战提交的初步评估是通过众包听力测试完成的,但我们也对提交的系统进行了客观评估。客观评估的目的是提供补充性的性能分析,这可能比耗时的听力测试更有益。在这项研究中,我们研究了五种类型的客观评估,使用自动说话人验证(ASV),神经说话人嵌入,欺骗对策,预测平均意见分数(MOS),和自动语音识别(ASR)。这些客观的衡量标准中的每一个都从不同的方面评估了风险投资的产出。我们观察到,这些客观评估与主观结果的相关性对于ASV,神经扬声器嵌入和ASR来说都很高,这使得它们对预测主观测试结果更有影响力。此外,我们对提交的系统进行了欺骗评估,并确定了一些显示潜在高安全风险的VC方法。
2020-09-08 cs.SD eess.AS
The VoicePrivacy 2022 Challenge Evaluation Plan
Avignon Université(阿维尼翁大学);National Institute of Informatics(国立信息学研究所);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Le Mans Université(勒芒大学);EURECOM(欧洲通信学院);University of Edinburgh(爱丁堡大学)
(1)任务是为语音数据开发一个语音匿名化系统,该系统隐藏说话者的语音身份,同时保护语言内容、非语言属性、可理解性和自然性。(2)除了3种不同的基线匿名化系统、评估脚本和指标外,还提供了培训、开发和评估数据集。参与者应用他们开发的匿名化系统,运行评估脚本,并向组织者提交客观的评估结果和匿名语音数据。(3)结果将在与INTERSPEECH 2022一起举办的研讨会上展示,所有参与者都被邀请介绍他们的挑战系统并提交额外的研讨会论文。对于熟悉语音隐私挑战的读者-更改w.r.t.二零二零年:(1)一个更强大的,半知情的攻击模型,以自动说话人验证(ASV)系统的形式,对匿名(每话语)语音数据进行训练。(2)补充度量包括作为隐私度量的等错误率(EER)、作为主要效用度量的单词错误率(WER)以及作为次要效用度量的音调相关性和语音独特性的增益。(3)基于一组最低目标隐私要求的新排名策略。
2022-09-28 cs.CL cs.CR eess.AS
The VoicePrivacy 2024 Challenge Evaluation Plan
Inria(法国国家信息与自动化研究所);Singapore Institute of Technology(新加坡理工学院);Institute for Natural Language Processing, University of Stuttgart(斯图加特大学自然语言处理研究所);National Institute of Informatics(情报信息学研究所);EURECOM(欧洲通信学院)
本文介绍 VoicePrivacy 2024 挑战赛计划,要求构建在保护语言内容与情绪状态的同时隐藏说话人身份的语音匿名化系统,并由组织者提供数据、脚本、基线和训练资源。
2024-06-12 cs.CL cs.CR eess.AS
The NeteaseGames System for Voice Conversion Challenge 2020 with Vector-quantization Variational Autoencoder and WaveNet
NeteaseGames(网易游戏)
本文介绍了我们提交的语音转换挑战赛(VCC)2020系统的描述与矢量量化变分自编码器(VQ-VAE)与WaveNet作为解码器,即,VQ-VAE-WaveNet。VQ-VAE-WaveNet是一种非并行的基于VAE的语音转换,它重建了声学特征,并将语言信息与说话人身份分离。由于WaveNet作为一种自回归神经声码器,已经达到了SoTA的波形生成效果,因此,利用WaveNet循环作为解码器,对模型进行了进一步的改进,生成了高质量的语音波形。在实践中,我们的系统可以使用VCC 2020数据集开发任务1(语言内)和任务2(跨语言)。然而,我们只提交了我们的系统用于语言内语音转换任务。VCC 2020的结果表明,我们的系统VQ-VAE-WaveNet实现了:3.04的平均意见得分(MOS)的自然性和3.28的平均得分相似性(说话人相似性百分比(Sim)为75.99%)的任务1。主观评价也表明,我们的系统在没有监督学习的情况下表现最好。此外,我们的系统在一些客观评价中表现良好。具体来说,我们的系统在自动自然度预测中的自然度平均得分为3.95,在基于ASV的说话人相似度和欺骗对策中分别排名第6和第8。
2020-10-15 cs.SD eess.AS
The NPU System for the 2020 Personalized Voice Trigger Challenge
NPU(西北工业大学)
本文介绍了NPU团队为2020年个性化语音触发挑战赛开发的系统。我们提交的系统包括两个独立训练的子系统:一个小足迹关键字定位(KWS)系统和扬声器验证(SV)系统。对于KWS系统,提出了一种多尺度扩展时间卷积(MDTC)网络来检测唤醒字(WuW)。对于SV系统,在这里写点东西。KWS预测音频话语是否包含WuW的后验概率,同时估计WuW的位置。当WuW的后验概率达到一个预定义的阈值时,SV系统确定被触发段的身份信息。在评估数据集上,我们提交的系统在近距离谈话和远场任务中分别获得了0.081和0.091的检测成本。
2021-02-26 cs.LG cs.SD eess.AS
NWPU-ASLP System for the VoicePrivacy 2022 Challenge
Northwestern Polytechnical University(西北工业大学)
本文介绍了用于VoicePrivacy 2022挑战赛的NWPU-ASLP说话人匿名系统。我们的提交不涉及额外的自动说话人验证(ASV)模型或x向量池。我们的系统包括四个模块,包括特征提取器,声学模型,匿名化模块,和神经声码器。首先,特征提取器从输入语音信号中提取语音后验图(PPG)和音高。然后,我们从扬声器查找表(LUT)中保留一个伪扬声器ID,该ID随后被馈送到扬声器编码器中以生成不对应于任何真实扬声器的伪扬声器嵌入。为了确保伪说话人是可区分的,我们进一步平均随机选择的说话人嵌入,并将其与伪说话人嵌入加权连接,以生成匿名说话人嵌入。最后,声学模型从匿名说话者嵌入输出匿名化的梅尔频谱图,并且HifiGAN的修改版本将梅尔频谱图转换为匿名化的语音波形。实验结果表明,我们提出的匿名系统的有效性。
2022-09-24 cs.SD eess.AS
The THU-HCSI Multi-Speaker Multi-Lingual Few-Shot Voice Cloning System for LIMMITS'24 Challenge
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);ByteDance(字节跳动)
本文提出THU-HCSI团队面向LIMMITS'24挑战赛的语音克隆系统,基于YourTTS引入说话人感知编码器与流解码器,结合去噪和平衡采样微调,在track 1取得最佳4.25说话人相似度MOS。
2024-04-25 cs.SD eess.AS
DiffVQE: Hybrid Diffusion Voice Quality Enhancement Under Acoustic Echo and Noise
Technische Universität Braunschweig(不伦瑞克工业大学);GN Advanced Science(GN高级科学)
提出首个基于扩散的声学回声控制模型DiffVQE,在回声和噪声控制性能、计算复杂度和模型大小上均优于判别式DeepVQE模型。
2026-06-18 eess.AS
Evaluating voice anonymisation using similarity rank disclosure
EURECOM(欧雷康);Aalto University(阿尔托大学);Technische Universität Berlin(柏林工业大学);Ruhr-Universität Bochum(波鸿鲁尔大学);Omilia(奥米利亚);Athens University of Economics and Business(雅典经济与商业大学);Orange(法国电信)
本文提出相似性排名披露作为评估语音匿名化的指标,揭示了EER评估无法发现的隐私泄露问题,并展示了其在语音嵌入、基频和电话嵌入中的应用效果。
2026-05-08 eess.AS
Speech Coding, Speech Interfaces and IoT - Opportunities and Challenges
当使用当前的传输基础设施和应用时,诸如3GPP增强语音服务的最近的语音和音频编码标准匹配语音和音频传输中的可预见的需求和要求。然而,物联网技术的趋势和个人数字助理(PDA)的发展要求我们考虑语音和音频编解码器的未来需求。在这里,机遇和挑战被概括为三个概念:协作、统一和隐私。首先,未来越来越多的设备将是语音操作的,因此将语音命令集中到特定设备的能力变得至关重要。因此,我们需要允许设备之间的协作的方法,使得可以解决歧义。其次,这种协作可以通过语音操作设备之间的统一和标准化的通信协议来实现。为了实现这样的协作协议,我们需要为ad-hoc物联网网络开发分布式语音编码技术。然而,最后,合作将增加语音接口中隐私保护的需求,因此,支持隐私和产生信任的技术可能会有很高的需求。
2018-11-14 eess.AS
Converting Anyone's Voice: End-to-End Expressive Voice Conversion with a Conditional Diffusion Model
The University of Texas at Dallas(德克萨斯大学达拉斯分校);National University of Singapore(新加坡国立大学);Sony Interactive Entertainment(索尼互动娱乐)
本文提出基于条件去噪扩散概率模型的端到端表现力语音转换框架,利用自监督语音单元、情感识别和说话人验证特征联合建模内容、情感风格与说话人身份,并通过主客观评估验证其有效性。
2024-05-02 cs.SD eess.AS
The sound of my voice: speaker representation loss for target voice separation
Naver Corporation(Naver公司)
内容表征和风格表征是风格迁移领域的研究热点。在本文中,我们提出了一个新的损失函数,使用说话人内容表示的音频声源分离,我们称之为说话人表示损失。目标是从噪声输入中提取目标说话人语音,并将其从残留分量中去除。与传统的频谱重建相比,我们提出的框架最大限度地利用目标说话人的信息,通过最小化参考和声源分离输出的说话人表示之间的距离。我们还提出了三重说话人表示损失作为一个额外的标准,以消除目标说话人的信息,从残留的声谱图输出。在VCTK数据库上,采用VoiceFilter框架对声源分离性能进行了评估,在不增加任何网络参数的情况下,与基线损失函数相比,我们获得了更好的性能。
2020-02-27 cs.SD eess.AS
Voice Spoofing Countermeasures: Taxonomy, State-of-the-art, experimental analysis of generalizability, open challenges, and the way forward
Oakland University(奥克兰大学)
恶意行为者可能会试图使用不同的语音欺骗攻击来欺骗ASV系统,甚至利用它们来传播错误信息。已经提出了各种对策来检测这些欺骗攻击。由于在过去的6-7年里,在自动说话人确认(ASV)系统中的欺骗检测方面做了大量的工作,有必要对研究进行分类,并对最先进的对策进行定性和定量的比较。此外,没有现有的调查报告审查了语音欺骗评估和说话人验证的集成解决方案,对抗/反取证攻击欺骗对策,以及ASV本身,或使用单一模型检测多种攻击的统一解决方案。此外,还没有做任何工作来提供一个苹果到苹果的比较公布的对策,以评估其普遍性,通过评估他们跨语料库。在这项工作中,我们对使用手工制作的功能,深度学习,端到端和通用欺骗对策解决方案来检测语音合成(SS),语音转换(VC)和重放攻击的欺骗检测文献进行了回顾。此外,我们还审查了语音欺骗评估和说话人验证,对抗性和反取证攻击的语音对策,以及ASV的综合解决方案。现有的电子欺骗对抗的局限性和挑战。我们报告了这些对策在几个数据集上的性能,并在语料库中对其进行了评估。在实验中,我们使用ASVspoof 2019和VSDC数据集以及GMM、SVM、CNN和CNN-GRU分类器。(For测试结果的复制,测试床的代码可以在我们的GitHub仓库中找到。
2022-11-21 cs.CY cs.SD eess.AS
Benchmarking and challenges in security and privacy for voice biometrics
VoicePrivacy organising committees
几十年来,语音技术的研究一直集中在提高可靠性上。随着这一点现在满足用户对各种应用的期望,语音技术今天无处不在。因此,对安全和隐私的关注现在已经成为当务之急。在这里,研究工作处于相对初期阶段,需要与安全,隐私,法律和道德专家等进行更多的多学科合作。这种合作目前正在进行中。为了帮助促进这些努力,本文提供了一些相关研究的高层次概述。它针对非语音受众,并描述了基准测试方法,该方法引领了传统研究的进展,现在推动了与语音生物识别相关的最新安全和隐私举措。我们描述:ASVspoof挑战与欺骗对策的发展有关;语音隐私倡议,促进隐私保护匿名化的研究。
2021-09-01 cs.CR cs.SD eess.AS
Applying wav2vec2 for Speech Recognition on Bengali Common Voices Dataset
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
语音本质上是连续的,其中离散的单词、音素和其他单元没有被清楚地分割,因此语音识别几十年来一直是一个活跃的研究问题。在这项工作中,我们对wav 2 vec 2.0进行了微调,以识别和转录孟加拉语语音-在孟加拉语通用语音语音数据集上对其进行训练。在训练了71个epoch之后,在由36919个mp3文件组成的训练集上,我们在大小为7,747的验证集上实现了0.3172的训练损失和0.2524的WER。使用5-gram语言模型,Levenshtein距离在大小为7,747的测试集上为2.6446。然后将训练集和验证集合并,改组并分成85-15的比例。在这个组合数据集上再训练7个时期,在测试集上产生了2.60753的改进的Levenshtein距离。我们的模型是性能最好的模型,在隐藏数据集上实现了6.234的Levenshtein距离,比其他竞争提交的模型低1.1049个单位。
2022-09-11 cs.AI cs.LG eess.AS
The Voice Conversion Challenge 2018: Promoting Development of Parallel and Nonparallel Methods
National Institute of Informatics(国立信息学研究所);University of Edinburgh(爱丁堡大学);Nagoya University(名古屋大学);University of Tokyo(东京大学);ObEN(ObEN公司);University of Eastern Finland(东芬兰大学);University of Science and Technology of China(中国科学技术大学)
我们推出了2018年语音转换挑战赛,旨在为评估和比较不同的最先进的语音转换(VC)系统提供一个通用框架。该挑战的目的是执行说话人转换(即转换的声音身份)的源说话人到目标说话人,同时保持语言信息。作为对上一个挑战的更新,我们分别考虑了并行和非并行数据来形成Hub和Spoke任务。共有来自世界各地的23个团队提交了他们的系统,其中11个团队还参加了可选的Spoke任务。然后进行大规模众包感知评估,以根据自然度和与目标说话人身份的相似性对提交的转换语音进行评级。在本文中,我们简要总结了VC的最新技术,然后详细解释了挑战任务和所获得的结果。
2018-04-12 cs.CL cs.SD eess.AS