Anonymizing Speech with Generative Adversarial Networks to Preserve Speaker Privacy
University of Stuttgart(斯图加特大学)
为了保护语音数据的隐私,说话人匿名化的目的是通过改变语音记录中的声音来隐藏说话人的身份。这通常伴随着个人保护和下游应用程序数据可用性之间的隐私实用性权衡。这方面的挑战之一是创造出听起来尽可能自然的不存在的声音。在这项工作中,我们建议通过使用Wasserstein距离作为成本函数的生成对抗网络生成说话人嵌入来解决这个问题。通过将这些人工嵌入到语音到文本到语音的管道中,我们在隐私和实用性方面优于以前的方法。根据标准的客观指标和人工评估,我们的方法生成了原始录音的可理解和内容保护但隐私保护的版本。
2022-10-20 cs.CL cs.SD eess.AS
The DKU System for the Speaker Recognition Task of the 2019 VOiCES from a Distance Challenge
在本文中,我们介绍了DKU系统,用于2019年VOiCES远程挑战赛的说话人识别任务。我们研究了远场说话人确认的整个系统流程,包括数据预处理、短时谱特征表示、话语级说话人建模、后端评分和评分归一化。我们最好的单个系统采用了一个用角度softmax损失训练的残差神经网络。此外,加权预测误差算法可以进一步提高性能。它实现了0.3668 minDCF和5.58%EER的评价集上使用一个简单的余弦相似性评分。最后,提交的主要系统在评估集上获得0.3532 minDCF和4.96% EER。
2019-07-04 eess.AS
The Voice Timbre Attribute Detection 2025 Challenge Evaluation Plan
University of Science and Technology of China(中国科学技术大学);The Hong Kong Polytechnic University(香港理工大学)
该挑战赛旨在通过感官描述词比较两声音强度,解释音色属性,于2025年5月启动,10月在NCMMSC2025会议发布成果。
2025-06-22 cs.AI cs.SD eess.AS
CoSE-E: A Benchmark for Code-switched Speech Evaluation in Enterprise Settings
ServiceNow AI Research(ServiceNow AI研究院);Qualcomm Technologies, Inc.(高通技术公司)
本文提出CoSE-E基准,用于企业场景下语码转换语音识别评估,涵盖多维度框架、5种语言对的系统评测及错误诊断分析,以支持多语言语音代理部署。
2026-09-29 cs.CL cs.LG cs.SD
Individualized Conditioning and Negative Distances for Speaker Separation
Ohio University(俄亥俄大学);University of Kentucky(肯塔基大学);Massachusetts General Hospital(麻省总医院)
说话人分离的目的是从混合信号中提取多个语音。在本文中,我们提出了两个说话人感知的设计,以改善现有的说话人分离的解决方案。第一个模型是一个扬声器条件网络,它集成语音样本,以生成个性化的扬声器条件,然后提供明智的指导分离模块,以产生良好的分离输出。第二种设计旨在减少分离语音中的非目标语音。为此,我们提出了负距离来惩罚通道输出中任何非目标声音的出现,以及正距离来驱动分离的声音更接近干净的目标。我们探索了两种不同的设置,加权和和三重态,整合这两个距离,形成一个组合的辅助损失的分离网络。在LibriMix上进行的实验证明了我们提出的模型的有效性。
2022-10-12 cs.AI cs.SD eess.AS
The sound of my voice: speaker representation loss for target voice separation
Naver Corporation(Naver公司)
内容表征和风格表征是风格迁移领域的研究热点。在本文中,我们提出了一个新的损失函数,使用说话人内容表示的音频声源分离,我们称之为说话人表示损失。目标是从噪声输入中提取目标说话人语音,并将其从残留分量中去除。与传统的频谱重建相比,我们提出的框架最大限度地利用目标说话人的信息,通过最小化参考和声源分离输出的说话人表示之间的距离。我们还提出了三重说话人表示损失作为一个额外的标准,以消除目标说话人的信息,从残留的声谱图输出。在VCTK数据库上,采用VoiceFilter框架对声源分离性能进行了评估,在不增加任何网络参数的情况下,与基线损失函数相比,我们获得了更好的性能。
2020-02-27 cs.SD eess.AS
STC Speaker Recognition Systems for the VOiCES From a Distance Challenge
STC-Innovations Ltd.(STC创新有限公司);ITMO University(圣彼得堡国立信息技术机械与光学大学)
本文介绍了语音技术中心(STC)的说话人识别(SR)系统提交给VOiCES From a Distance Challenge 2019。挑战的SR任务集中在嘈杂条件下的单通道远场/远场音频中的说话人识别问题。在这项工作中,我们研究了不同的深度神经网络架构的说话人嵌入提取,以解决这个问题。我们发现,具有残留帧级连接的深度网络优于更浅的架构。本文研究了简单的基于能量的语音活动检测器(SAD)和基于SAD的自动语音识别(ASR)。我们还解决了鲁棒嵌入提取器训练的数据准备问题。使用自动房间脉冲响应发生器进行数据增强的混响。在我们的系统中,我们使用区分训练的余弦相似性度量学习模型作为嵌入后端。对我们使用的每个单独子系统应用评分标准化程序。我们最终提交的系统是基于不同子系统的融合。在VOiCES开发和评估集上获得的结果证明了所提出的系统在噪声条件下处理远场/远场音频时的有效性和鲁棒性。
2019-04-12 cs.CL cs.LG cs.SD
SVDD Challenge 2024: A Singing Voice Deepfake Detection Challenge Evaluation Plan
University of Rochester(罗切斯特大学);Carnegie Mellon University(卡内基梅隆大学);Nagoya University(名古屋大学);Renmin University of China(中国人民大学)
针对AI生成歌声带来的伪造风险,论文介绍首个歌声深度伪造检测挑战赛SVDD Challenge的评估计划,并说明其数据范围及与SLT 2024合办。
2024-05-08 cs.AI cs.MM cs.SD
Face-voice Association in Multilingual Environments (FAME) Challenge 2024 Evaluation Plan
University of Engineering and Technology Taxila(拉合尔工程技术大学塔克西拉分校);Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校);Fortemedia Singapore(Fortemedia新加坡公司);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
该挑战赛旨在多语言场景下探索人脸与声音的关联,使用MAV-Celeb数据集,并提供基线及任务细节,以推动多模态研究。
2024-07-22 cs.CV cs.SD eess.AS
Speak Like a Professional: Increasing Speech Intelligibility by Mimicking Professional Announcer Voice with Voice Conversion
Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学);Waseda University(早稻田大学)
在大多数实际应用中,广播系统必须在噪声环境中传递语音信息,而在这种环境中,背景噪声是无法消除的。本地噪声降低了语音的可懂度,增加了收听者的收听努力,从而影响了广播系统的有效性。有报道指出,在嘈杂的环境中,专业播音员的声音比非专业播音员的声音更清晰和全面。这一发现表明,语音清晰度可能与专业播音员的说话风格有关,可以通过语音转换方法进行调整。基于这一思想,本文提出了一种在噪声环境下对非专业人员语音进行语音转换的方法来增强语音的可懂度。我们发现专业播音员和非专业播音员在说话人嵌入平面上被分成不同的簇。这意味着语音可懂度可以作为说话人个性的独立特征来控制。为了检验转换语音在噪声环境中的优势,我们在不同信噪比水平下使用粉红噪声掩蔽的测试词进行实验。客观和主观评价结果证实,在低信噪比条件下,转换语音的语音可懂度高于原始语音。
2022-06-27 cs.SD eess.AS
Voice conversion using coefficient mapping and neural network
提出了一种基于系数映射和神经网络的语音转换模型。大多数以前的工作参数语音合成没有考虑到损失的频谱细节,造成过度平滑和不变的,一个明显的偏差,从目标扬声器的转换语音。本文提出了一种改进的模型,该模型使用线性预测编码(LPC)和线性谱频率(LSF)系数来参数化源语音信号,以揭示过平滑的影响。利用神经网络的非线性映射能力,将源语音矢量映射到目标语音矢量空间。由于LPC滤波器极点的不稳定性,用神经网络训练LPC系数的效果很差。LPC系数转换为线性频谱频率系数,然后用三层神经网络进行训练。该算法进行了测试与噪声数据的结果进行评估,使用梅尔倒谱距离测量。倒谱距离评估显示,目标和转换后的语音之间的频谱距离减少了35.7%。
2020-03-11 eess.AS
UniSyn: An End-to-End Unified Model for Text-to-Speech and Singing Voice Synthesis
Northwestern Polytechnical University(西北工业大学);Tencent AI Lab(腾讯AI实验室)
文语转换(TTS)和歌声合成(SVS)的目标是分别根据文本输入和乐谱生成高质量的说话声和歌声。将TTS和SVS统一到一个系统中对于需要两者的应用至关重要。现有的方法通常受到一些限制,这依赖于唱歌和说话的数据从同一个人或级联模型的多个任务。为了解决这些问题,本文提出了一个简化的优雅的TTS和SVS框架,命名为UniSyn。它是一个端到端的统一模型,可以让一个声音说话和唱歌,只需要这个人的唱歌或说话数据。具体而言,UniSyn提出了一种多条件变分自编码器变分自编码器(MC-VAE),它利用说话人和风格相关(即说话或唱歌)条件构造两个独立的潜在子空间,以实现灵活的控制。此外,利用具有Wasserstein距离约束的监督引导VAE和音色扰动来进一步解开扬声器音色和风格。在两个说话人和两个歌唱者身上的实验表明,UniSyn可以在没有相应的训练数据的情况下生成自然的说话声和歌唱声。所提出的方法优于最先进的端到端的语音生成工作,这证明了UniSyn的有效性和优势。
2022-12-06 cs.SD eess.AS
SVSNet: An End-to-end Speaker Voice Similarity Assessment Model
神经评价指标,为众多的语音生成任务,最近引起了极大的关注。在本文中,我们提出了SVSNet,第一个端到端的神经网络模型来评估转换语音和自然语音之间的说话人语音相似性的语音转换任务。与大多数使用手工特征的神经评估指标不同,SVSNet直接将原始波形作为输入,以更完整地利用语音信息进行预测。SVSNet由编码器、共同注意力、距离计算和预测模块组成,并以端到端的方式进行训练。在2018年和2020年语音转换挑战赛(VCC2018和VCC2020)数据集上的实验结果表明,SVSNet在话语和系统级别的说话人相似性评估方面优于已知的基线系统。
2022-02-17 cs.LG cs.SD eess.AS
The VoicePrivacy 2020 Challenge Evaluation Plan
Avignon Université(阿维尼翁大学);Inria(法国国家信息与自动化研究所);National Institute of Informatics(国立信息学研究所);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);LORIA(洛林信息学及其应用研究实验室);EURECOM(法国通信系统工程师学校);University of Edinburgh(爱丁堡大学)
VoicePrivacy Challenge旨在通过聚集一个新的社区来定义感兴趣的任务和评估方法,并通过一系列挑战对解决方案进行基准测试,从而促进语音技术隐私保护工具的开发。在本文档中,我们制定了为VoicePrivacy 2020挑战赛选择的语音匿名化任务,并描述了用于系统开发和评估的数据集。我们还提出了攻击模型和相关的客观和主观的评价指标。我们引入了两个匿名化基线,并报告了客观的评估结果。
2022-05-14 cs.CL cs.CR eess.AS
Multi-speaker Recognition in Cocktail Party Problem
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出了一种新颖的统计决策理论来实现鸡尾酒会问题中的多说话人识别任务。该理论假设说话人的不同频率服从高斯分布,并且他们之间的声纹关系可以用欧氏距离向量来表示。本文利用梅尔倒谱系数提取语音的特征,用于判断多说话人环境中是否包含说话人,并区分说话人是谁。最后,为了全面考虑总体影响因素,通过对说话人曼哈顿距离的映射,建立了一个13维星座图。
2017-12-05 cs.SD eess.AS
Time Alignment using Lip Images for Frame-based Electrolaryngeal Voice Conversion
Academia Sinica(中央研究院);Nagoya University(名古屋大学);National Cheng Kung University Hospital(国立成功大学医学院附设医院)
语音转换(VC)是一种有效的电子喉(EL)语音增强方法,旨在提高电子喉设备发出的人工语音的质量。在基于帧的VC方法中,需要在模型训练之前执行时间对齐,并且动态时间规整(DTW)算法被广泛采用来计算每个话语对之间的最佳时间对齐。有效性是基于这样的假设,即说话人的相同音素具有相似的特征,并且可以通过测量源和目标的语音帧之间的预定义距离来映射。然而,EL语音的特殊特性可以打破该假设,导致次优DTW对准。在这项工作中,我们建议使用嘴唇图像的时间对齐,因为我们假设,与健康人相比,喉切除者的嘴唇运动保持正常。我们研究了两个天真的嘴唇表示和距离度量,实验结果表明,该方法可以显着优于音频唯一对齐的客观和主观评价。
2021-09-08 cs.CL cs.CV cs.SD
Applying wav2vec2 for Speech Recognition on Bengali Common Voices Dataset
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
语音本质上是连续的,其中离散的单词、音素和其他单元没有被清楚地分割,因此语音识别几十年来一直是一个活跃的研究问题。在这项工作中,我们对wav 2 vec 2.0进行了微调,以识别和转录孟加拉语语音-在孟加拉语通用语音语音数据集上对其进行训练。在训练了71个epoch之后,在由36919个mp3文件组成的训练集上,我们在大小为7,747的验证集上实现了0.3172的训练损失和0.2524的WER。使用5-gram语言模型,Levenshtein距离在大小为7,747的测试集上为2.6446。然后将训练集和验证集合并,改组并分成85-15的比例。在这个组合数据集上再训练7个时期,在测试集上产生了2.60753的改进的Levenshtein距离。我们的模型是性能最好的模型,在隐藏数据集上实现了6.234的Levenshtein距离,比其他竞争提交的模型低1.1049个单位。
2022-09-11 cs.AI cs.LG eess.AS
The First VoicePrivacy Attacker Challenge Evaluation Plan
Inria(法国国家信息与自动化研究所);Singapore Institute of Technology(新加坡理工学院);National Institute of Informatics(信息学研究所)
首届 VoicePrivacy 攻击者挑战赛旨在开发针对语音匿名化的自动说话人验证攻击系统,以等错误率(EER)为评估指标,结果将在 ICASSP 2025 特别分会展示。
2024-10-21 cs.CL cs.CR eess.AS
Fixing Errors of the Google Voice Recognizer through Phonetic Distance Metrics
SoldAI Research(索尔德艾研究机构);Facultad de Matemáticas, Universidad Autónoma de Yucatán(尤卡坦自治大学数学学院)
用于西班牙语的语音识别系统,例如Google的系统,当用于特定领域的应用时,非常频繁地产生错误。这些错误大多发生在识别对识别器的语言模型来说是新的单词或对域来说是特别的单词时。本文提出了一种利用音素Levenshtein距离来减少语音识别器错误的算法。初步结果表明,它是可能的,以纠正识别器的错误显着使用此度量标准,并使用字典的特定短语从域的应用程序。尽管被设计为特定的领域,这里提出的算法是一般的应用。可以为每个应用明确定义必须识别的短语,而不必修改算法。这足以向算法指出它必须处理的句子集。该算法的复杂度为$O(tn)$,其中$t$是要更正的文本中的单词数量,而$n$是特定于该领域的短语数量。
2021-02-18 cs.CL eess.AS
The VoicePrivacy 2024 Challenge Evaluation Plan
Inria(法国国家信息与自动化研究所);Singapore Institute of Technology(新加坡理工学院);Institute for Natural Language Processing, University of Stuttgart(斯图加特大学自然语言处理研究所);National Institute of Informatics(情报信息学研究所);EURECOM(欧洲通信学院)
本文介绍 VoicePrivacy 2024 挑战赛计划,要求构建在保护语言内容与情绪状态的同时隐藏说话人身份的语音匿名化系统,并由组织者提供数据、脚本、基线和训练资源。
2024-06-12 cs.CL cs.CR eess.AS
The VoicePrivacy 2022 Challenge Evaluation Plan
Avignon Université(阿维尼翁大学);National Institute of Informatics(国立信息学研究所);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Le Mans Université(勒芒大学);EURECOM(欧洲通信学院);University of Edinburgh(爱丁堡大学)
(1)任务是为语音数据开发一个语音匿名化系统,该系统隐藏说话者的语音身份,同时保护语言内容、非语言属性、可理解性和自然性。(2)除了3种不同的基线匿名化系统、评估脚本和指标外,还提供了培训、开发和评估数据集。参与者应用他们开发的匿名化系统,运行评估脚本,并向组织者提交客观的评估结果和匿名语音数据。(3)结果将在与INTERSPEECH 2022一起举办的研讨会上展示,所有参与者都被邀请介绍他们的挑战系统并提交额外的研讨会论文。对于熟悉语音隐私挑战的读者-更改w.r.t.二零二零年:(1)一个更强大的,半知情的攻击模型,以自动说话人验证(ASV)系统的形式,对匿名(每话语)语音数据进行训练。(2)补充度量包括作为隐私度量的等错误率(EER)、作为主要效用度量的单词错误率(WER)以及作为次要效用度量的音调相关性和语音独特性的增益。(3)基于一组最低目标隐私要求的新排名策略。
2022-09-28 cs.CL cs.CR eess.AS
Voice2Mesh: Cross-Modal 3D Face Model Generation from Voices
University of Southern California(南加州大学)
本文主要分析了能否仅从说话人的语音输入中学习三维人脸模型。以前的作品跨模态人脸合成研究图像生成的声音。然而,图像合成包括发型、背景和面部纹理等变化,这些变化可以说与语音无关,或者没有直接的研究来显示相关性。相反,我们研究的能力,重建3D人脸只集中在几何,这是更生理基础。我们提出了监督学习和无监督学习两种框架。特别是,我们展示了如何无监督学习是可能的,在没有直接的语音到3D人脸数据集下,有限的可用性的3D人脸扫描时,模型配备了知识蒸馏。为了评估性能,我们还提出了几个指标来衡量两个3D人脸的几何适应性的基础上点,线,和区域。我们发现,3D人脸形状可以从声音重建。实验结果表明,3D人脸可以从语音重建,我们的方法可以提高性能超过基线。耳-耳距离比度量(ER)的最佳性能增益(15% - 20%)与人们的直觉相一致,即人们可以仅从人的声音粗略地想象说话者的脸是整体更宽还是更薄。查看我们的项目页面获取代码和数据。
2021-04-21 cs.CV cs.GR cs.LG
A New Perspective on Speaker Verification: Joint Modeling with DFSMN and Transformer
Harbin Engineering University(哈尔滨工程大学)
本文提出融合多尺度并行 Transformer、DFSMN、注意力统计池化与 AAMF 损失的 VOT 模型,用于提升开放集说话人验证性能,并在 VoxCeleb1 和 CN-Celeb2 上验证其优于多数主流模型。
2024-09-08 cs.SD eess.AS
Revival with Voice: Multi-modal Controllable Text-to-Speech Synthesis
Meta AIUK(Meta AI英国分公司);Imperial College London(伦敦帝国学院)
本文提出一种多模态可控TTS方法,从人脸图像生成声音,并通过文本控制语音特征,解决音频质量、艺术肖像和一对多映射三个挑战。
2025-05-25 cs.AI eess.AS
A Transversal Study of Fundamental Frequency Contours in Parkinsonian Voices
Centro de Investigación en Tecnologías Software y Sistemas Multimedia para la Sostenibilidad(可持续性软件技术与多媒体系统研究中心);Universidad Politécnica de Madrid(马德里理工大学);Hospital de Sagunto(萨贡托医院);Universidad CEU Cardenal Herrera(CEU卡德纳尔·埃雷拉大学)
本文横断面研究帕金森病语音基频轮廓,发现相对基频范围与疾病阶段相关,但调制频谱参数因个体差异对早期诊断价值有限。
2024-02-09 cs.SD eess.AS
A Comparative Study of Machine Learning Models for Tabular Data Through Challenge of Monitoring Parkinson's Disease Progression Using Voice Recordings
University of Georgia(佐治亚大学)
帕金森病患者必须定期接受医生的监测,以观察疾病的进展情况,并可能调整治疗计划以减轻症状。通过患者在自己家中捕获的语音记录来监测疾病的进展可以使过程更快,压力更小。我们使用42名早期帕金森病患者在6个月内的语音记录数据集,应用多种机器学习技术来寻找语音记录与患者运动UPDRS评分之间的相关性。我们使用大量的回归和分类技术来解决这个问题。本文的大部分内容都致力于使用回归技术将语音数据映射到运动神经元分数,以便获得未知情况下更精确的值。通过对各种机器学习方法的比较研究,我们意识到一些旧的机器学习方法,如树,在许多表格数据集上的表现优于尖端的深度学习模型。
2020-05-27 cs.LG cs.SD eess.AS
Practical Speech Re-use Prevention in Voice-driven Services
Texas A&M University(德州农工大学);Visa Research(Visa研究院)
语音驱动服务(VDS)被用于从灵巧家庭控制到使用数字助理的支付的各种应用中。对这样的服务的输入通常经由开放的语音信道来捕获,在无人监督的情况下使用麦克风。在这种设置中的关键操作安全要求之一是输入语音的新鲜度。我们提出了AEOLUS,一个安全覆盖,主动嵌入一个动态的声学nonce在用户交互的时间,并检测嵌入的nonce在录制的语音中的存在,以确保新鲜度。我们证明了声学随机数可以(i)可靠地嵌入和检索,以及(ii)对VDS用户来说是非破坏性的(甚至是不可察觉的)。从实际的角度确定(i)和(ii)的最佳参数(声学随机数的工作频率、幅度和比特率)。实验结果表明,AEOLUS产生0.5%FRR在0%FAR的语音重用预防高达4米的距离在三个现实世界的环境中,不同的背景噪声水平。我们还进行了一项用户研究,120名参与者,这表明,声学随机数不会降低整体用户体验的语音样本,平均94.16%,在这些环境中。因此,AEOLUS可以在实践中用于防止语音重复使用,并确保语音输入的新鲜度。
2021-01-12 cs.AI cs.CR cs.SD
Detecting English Speech in the Air Traffic Control Voice Communication
我们在ATCO2项目中推出了一个社区平台,用于收集全球范围内的ATC语音。过滤掉看不见的非英语语音是数据处理管道中的主要组件之一。提出的英语语言检测(ELD)系统是基于贝叶斯子空间多项式模型的嵌入。它是在ASR系统的单词混淆网络上训练的。它坚固耐用,易于训练,重量轻。我们实现了0.0439的等错误率(EER),50%的相对减少相比,最先进的声学ELD系统的基础上,在域的情况下,x向量。此外,在看不见的语言(域外)条件下,我们实现了0.1352的EER,与声学ELD相比相对降低了33%。我们计划发布ATCO2项目的评估数据集。
2021-04-06 eess.AS
Discrete Optimal Transport and Voice Conversion
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California, Berkeley(加州大学伯克利分校)
本文提出kDOT框架,利用预训练语音嵌入空间进行语音转换,通过离散最优传输计划的质心投影改进分布对齐,提升WER、MOS和FAD性能。
2026-06-15 cs.LG cs.SD eess.AS
CycleGAN-VC2: Improved CycleGAN-based Non-parallel Voice Conversion
NTT Communication Science Laboratories, NTT Corporation(NTT集团NTT通信科学实验室)
非并行语音转换(VC)是一种不依赖于并行数据学习从源语音到目标语音的映射的技术。这是一项重要的任务,但由于训练条件的不利因素,这项任务一直具有挑战性。最近,CycleGAN-VC提供了一个突破,并在不依赖任何额外数据、模块或时间对齐过程的情况下,对并行VC方法进行了改进。然而,在真实目标和转换后的语音之间仍然存在很大的差距,弥合这一差距仍然是一个挑战。为了缩小这一差距,我们提出了CycleGAN-VC 2,它是CycleGAN-VC的改进版本,结合了三种新技术:改进的目标(两步对抗损失),改进的生成器(2-1-2D CNN)和改进的神经网络(PatchGAN)。我们评估了我们的方法上的非并行VC任务,并详细分析了每种技术的效果。一个客观的评价表明,这些技术有助于使转换后的特征序列更接近目标的全局和局部结构,我们评估使用梅尔倒谱失真和调制谱距离,分别。主观评估表明,CycleGAN-VC 2在自然度和相似度方面优于CycleGAN-VC,包括性别内和性别间对。
2019-04-09 cs.LG cs.SD eess.AS
Efficient Streaming Voice Steganalysis in Challenging Detection Scenarios
Beijing University of Posts and Telecommunications(北京邮电大学)
针对低嵌入率和短时长下VoIP流隐写检测困难的问题,本文提出双视图VoIP隐写分析框架DVSF,通过特征混淆、细粒度局部特征提取和三元组特征距离调整,显著提升检测准确率并实现近实时性能。
2024-11-20 cs.CR cs.LG cs.SD
NPU-NTU System for Voice Privacy 2024 Challenge
本文提出用于 VPC 2024 的说话人匿名化系统,采用解耦神经编解码器与多种蒸馏方法分离语言内容、说话人身份和情感,并通过候选身份加权和随机身份实现匿名化,取得隐私保护与情感保留的最佳平衡。
2025-02-04 eess.AS
Improving Perceptual Quality by Phone-Fortified Perceptual Loss using Wasserstein Distance for Speech Enhancement
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);National Institute of Information and Communications Technology(日本信息通信研究机构)
语音增强(SE)旨在提高语音质量和可懂度,这两者都与可能携带语言信息的语音片段(例如音素和音节)的平滑过渡有关。在这项研究中,我们提出了一种新的电话强化知觉损失(PFPL),考虑到语音信息的训练SE模型。为了有效地结合语音信息,PFPL是基于wav 2 vec模型的潜在表示来计算的,wav 2 vec模型是一种强大的自监督编码器,可以呈现丰富的语音信息。为了更准确地度量潜在表征的分布距离,PFPL采用Wasserstein距离作为距离度量。我们的实验结果首先揭示了PFPL是更相关的感知评估指标,相比信号电平损失。此外,结果表明,PFPL可以使深度复杂的U-Net SE模型在Voice Bank-DEMAND数据集的标准化质量和可懂度评估方面实现极具竞争力的性能。
2021-04-27 cs.LG cs.SD eess.AS
An objective evaluation of the effects of recording conditions and speaker characteristics in multi-speaker deep neural speech synthesis
Technical University(技术大学)
多说话者口语数据集使得能够创建可以输出多个语音身份的文本到语音合成(TTS)系统。多说话者(MSPK)场景还允许每个说话者使用更少的训练样本。然而,在所得到的声学模型中,并非所有说话者都表现出相同的合成质量,并且一些语音身份根本无法使用。在本文中,我们评估了录音条件、说话者性别和说话者特殊性对深度神经TTS架构(即Tacotron 2)合成输出质量的影响。评估是可能的,因为使用了一个大型的罗马尼亚平行口语语料库,包含超过81小时的数据。在此设置中,我们还评估了不同类型的文本表示的影响:正字法,语音和语音扩展与音节边界和词汇重音标记。我们使用等错误率(EER)和单词错误率(WER)的客观措施来评估MSPK系统的结果,并且还研究了由精确的说话人验证网络计算的嵌入的自然和合成t-SNE投影之间的距离。结果表明,录音条件和说话人的合成语音质量之间确实存在很大的相关性。说话者性别不影响输出,并且用音节边界和词汇重音信息扩展输入文本表示并不能同等地增强跨所有说话者身份生成的音频。自然和合成扬声器嵌入的t-SNE投影的可视化显示,声学模型改变了一些扬声器的神经表示,但不是所有的。结果,这些扬声器具有较低的输出语音性能。
2021-06-03 cs.SD eess.AS
Do Audio LLMs Listen Before They Act? Diagnosing Acoustic-Context Gating in Voice Agents
本文提出VGBench基准,诊断语音代理在声学上下文中的门控能力,发现原始模型常不弃权,而VoxGate监督训练显著提升切换静默率至91.3%。
2026-09-29 cs.AI cs.CL cs.MM
Small footprint Text-Independent Speaker Verification for Embedded Systems
Sonos Inc.(Sonos公司)
说话人验证的深度神经网络方法已被证明是成功的,但最先进的(SOTA)系统的典型计算要求使其不适合嵌入式应用。在这项工作中,我们提出了一个两阶段的模型架构的数量级小于常见的解决方案(237.5K的学习参数,11.5MFLOPS),达到了3.31%的竞争力的结果,平等的出错率(EER),以及建立VoxCeleb1验证测试集。我们展示了在物联网系统的典型小型设备上运行我们的解决方案的可能性,例如Raspberry Pi 3B,在5s长的话语上的延迟小于200ms。此外,我们评估我们的模型在声学上具有挑战性的VOiCES语料库。我们报告说,相对于2019年VOiCES远程挑战赛的最佳评分模型,EER仅增加了2.6个百分点,而学习参数的数量减少了25.6倍。
2021-04-21 cs.CL cs.LG cs.SD
Evaluating Speaker Identity Coding in Self-supervised Models and Humans
本文比较多类自监督语音模型与人类的说话人身份编码,发现自监督表征优于传统声学特征,并能在多层表征、感知相似性及脑响应预测上揭示其与人类加工机制的联系。
2024-06-14 cs.AI cs.SD eess.AS
SASV Challenge 2022: A Spoofing Aware Speaker Verification Challenge Evaluation Plan
ASV(自动说话者验证)系统本质上需要拒绝非目标(例如,由不同说话者发出的语音)和欺骗(例如,合成的或转换的)输入。然而,很少考虑ASV系统本身应该如何适应时,他们预计会遇到欺骗攻击,也不是当他们与CM(欺骗对策)协同工作,更不用说两个系统应该如何联合优化。第一个SASV(spoofing-aware speaker verification)挑战赛是ISCA INTERSPEECH 2022的一个特别会议,其目标是促进可以同时执行ASV和CM的集成系统的开发。
2022-03-02 cs.CR cs.SD eess.AS