Time-Contrastive Learning Based Deep Bottleneck Features for Text-Dependent Speaker Verification
VIT-AP University（VIT-AP大学）；Aalborg University（奥尔堡大学）；Massachusetts Institute of Technology（麻省理工学院）
为了提高文本相关说话人确认（TD-SV）的性能，从训练用于区分说话人、口令短语和三音子状态的深度神经网络（DNN）中提取瓶颈（BN）特征已经有了很多研究。然而，已经取得了一定的成功。最近的一项研究[1]提出了时间对比学习（TCL）的概念，以探索脑信号的非平稳性，用于脑状态的分类。语音信号具有类似的非平稳特性，TCL还具有不需要标记数据的优点。因此，我们提出了一种基于TCL的BN特征提取方法。该方法将训练数据集中的每个语音发音均匀地划分为预定义数量的多帧段。话语中的每个片段对应于一个类，并且类标签在话语之间共享。然后，DNN被训练来区分类别中的所有语音帧，以利用语音的时间结构。此外，我们提出了一个基于段的无监督聚类算法重新分配类标签的段。TD-SV实验在RedDots挑战数据库上进行。TCL-DNN使用从TD-SV评估集中排除的固定密码短语的语音数据进行训练，因此学习的特征可以被认为是与短语无关的。我们比较了建议TCL瓶颈（BN）功能的性能与短时倒谱特征和BN特征提取的DNN区分扬声器，密码短语，扬声器+密码短语，以及单声道的标签和边界产生的三个不同的自动语音识别（ASR）系统。实验结果表明，TCL-BN的性能优于倒谱特征和说话人+口令鉴别BN特征，与ASR派生BN特征的性能相当。而且，……
2019-05-11 cs.CL cs.LG cs.SD
The Conversational Short-phrase Speaker Diarization (CSSD) Task: Dataset, Evaluation Metric and Baselines
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
会话场景是语音处理技术中最重要和最具挑战性的场景之一，因为人们在会话中以随意的方式相互响应。检测会话中每个人的语音活动对于后续任务（如自然语言处理、机器翻译等）至关重要。传统上，日志出错率（DER）一直被用作SD系统的标准评价指标。然而，DER未能给予足够的重视，短会话短语，这是短，但在语义层面上的重要性。此外，一个仔细和准确的手动注释的测试数据集适合于评估会话SD技术仍然是不可用的语音社区。在本文中，我们设计和描述会话短句说话人日记（CSSD）任务，它包括训练和测试数据集，评估指标和基线。在数据集方面，尽管之前开源了180小时的对话MagicData-RAMC数据集，但我们为CSSD任务准备了一个单独的20小时对话语音测试数据集，其中包含仔细和人工验证的扬声器时间戳注释。在度量方面，我们设计了新的会话DER（CDER）评估度量，它在话语级别上计算SD准确度。在基线方面，我们采用了一种常用的方法：变分贝叶斯HMM x向量系统，作为CSSD任务的基线。我们的评估指标可在https://github.com/SpeechClub/CDER_Metric上公开获取。
2022-08-17 cs.CL cs.SD eess.AS
Robust Text-Dependent Speaker Verification via Character-Level Information Preservation for the SdSV Challenge 2020
Seoul National University（首尔大学）
本文介绍了我们提交的短期扬声器验证（SdSV）挑战2020的任务1。任务1是文本相关的说话人确认任务，其中说话人和短语都需要被确认。提交的系统由基于TDNN和基于ResNet的前端架构组成，其中帧级特征通过各种池化方法（例如，统计、自我关注、ghostVLAD池化）。虽然传统的池化方法提供了足够数量的说话人相关信息的嵌入，我们的实验表明，这些嵌入往往缺乏短语相关的信息。为了缓解这个问题，我们提出了一个新的池和分数补偿方法，利用基于CTC的自动语音识别（ASR）模型，考虑到词汇内容。这两种方法都比传统技术有所改进，最佳性能是通过融合所有实验系统实现的，在挑战的评估子集上显示出0.0785%MinDCF和2.23%EER。
2020-10-22 cs.SD eess.AS
Personalized Keyphrase Detection using Speaker and Environment Information
Google LLC（谷歌有限责任公司）
在本文中，我们介绍了一个流关键短语检测系统，可以很容易地定制，以准确地检测任何短语组成的单词从一个大的词汇。该系统实现了一个端到端的训练自动语音识别（ASR）模型和文本无关的说话人验证模型。为了解决在各种噪声条件下检测这些关键词的挑战，将说话人分离模型添加到说话人验证模型的特征前端，并包括自适应噪声消除（ANC）算法以利用跨麦克风噪声相干性。我们的实验表明，文本无关的说话人确认模型大大降低了错误触发率的关键词检测，而说话人分离模型和自适应噪声消除大大减少了错误拒绝。
2021-06-15 cs.LG cs.SD eess.AS
Comparison of Multiple Features and Modeling Methods for Text-dependent Speaker Verification
Tsinghua University（清华大学）；University of Kentucky（肯塔基大学）
文本相关的说话人确认是说话人识别领域的研究热点。然而，已经成功用于说话人辨识和其他类似任务的常规i向量框架在该任务中相对较差地工作。研究人员已经提出了几种新的方法来提高性能，但目前还不清楚哪种模型是最好的选择，特别是当在注册和测试过程中提示密码短语时。在本文中，我们介绍了四种建模方法，并在新发布的RedDots数据集上比较了它们的性能。为了进一步研究不同帧对齐方式对图像质量的影响，在HMM模型中采用了Viterbi算法和前向-后向算法。几个瓶颈功能也进行了研究。实验表明，通过对词汇内容进行显式建模，基于HMM的建模在固定短语条件下取得了良好的效果。在短语重叠条件下，GMM-HMM和i-vector/HMM并不成功。在这两种情况下，前向-后向算法都能给i-vector/HMM系统带来更多的好处。此外，我们还发现，即使瓶颈特征在文本无关的说话人验证中表现良好，但在RedDots上最具挑战性的Imposter-Correct试验中，它们的表现并不优于MFCC。
2017-09-09 cs.AI cs.SD
Universal speaker recognition encoders for different speech segments duration
ITMO University（ITMO大学）；STC Ltd.（STC有限公司）
创建对不同声学和语音持续时间条件具有鲁棒性的通用扬声器编码器是当今的一大挑战。根据我们的观察，在短语音段上训练的系统对于短短语说话人验证是最佳的，而在长语音段上训练的系统对于长语音段验证是最优的。一个系统同时训练池的短和长的语音段不会给出最佳的验证结果，通常会降低短和长段。针对不同语音段时长的通用说话人编码器的设计问题进行了研究。我们描述了我们的简单配方，用于训练任何类型的选定神经网络架构的通用扬声器编码器。根据我们对NIST SRE和VoxCeleb 1基准测试获得的基于wav 2 vec-TDNN的系统的评估结果，所提出的通用编码器在不同的注册和测试语音段持续时间的情况下提供了说话人验证改进。所提出的编码器的关键特征是，它具有相同的推理时间所选择的神经网络架构。
2022-10-28 cs.LG cs.SD eess.AS
Optimization of the Area Under the ROC Curve using Neural Network Supervectors for Text-Dependent Speaker Verification
Aragón Institute for Engineering Research (I3A)（阿拉贡工程研究所（I3A））；University of Zaragoza（萨拉戈萨大学）
本文探讨了两种提高基于深度神经网络的文本相关说话人确认系统性能的技术。首先，我们提出了一个通用的对齐机制，以保持每个短语的时间结构，并获得一个超向量的扬声器和短语的信息，因为这两者都是相关的文本相关的验证。正如我们所展示的，可以使用不同的对齐技术来取代全局平均池化，从而显著提高性能。此外，我们还提出了一种新的后端方法来训练一个神经网络的检测任务，通过优化曲线下面积（AUC）作为替代通常的三重损失函数，所以系统是端到端的，与成本函数接近我们所需的性能指标。正如我们在实验部分所看到的，这种方法提高了系统性能，因为我们基于AUC（aAUC）近似的三元组神经网络学习如何区分来自相同身份的成对样本和不同身份的成对样本。除了新的后端方法之外，还在RSR 2015-Part I数据库上测试了用于文本相关说话者验证的不同对齐技术，与使用全局平均池提取超向量并使用类似规模的网络相比，提供了具有竞争力的结果。简单的后端或三重丢失训练。
2019-04-30 cs.LG cs.SD eess.AS
Phoneme-aware and Channel-wise Attentive Learning for Text DependentSpeaker Verification
Xiamen University（厦门大学）
本文提出了一个多任务学习网络与音素意识和通道的注意学习策略的文本相关的说话人确认（SV）。该结构采用帧级多任务学习和分段级对抗学习相结合的方法进行说话人嵌入提取。在主网络中的帧级特征上利用音素感知注意池用于说话人分类器，在辅助子网中具有对应的音素分布的后验概率。此外，挤压和激励（SE块）的引入执行动态通道特征重新校准，这提高了表示能力。该方法利用了说话人与密码短语的特性，并分别从时间和通道两个方面通过音素感知集中和SE块来进一步改进。在RSR2015 Part 1数据库上进行的实验证实，所提出的系统在文本相关SV上取得了出色的效果。
2021-06-25 cs.LG cs.SD eess.AS
Investigation of Frame Alignments for GMM-based Digit-prompted Speaker Verification
Tsinghua University（清华大学）；University of Kentucky（肯塔基大学）
在基于GMM的说话人确认中，帧对齐可以通过不同的方法来计算。通过结合语音高斯混合模型（PGMM），我们能够比较使用从深度神经网络（DNN）和传统的隐马尔可夫模型（HMM）在数字提示的说话人验证中提取的对齐的性能。基于这两种对齐的不同特点，我们提出了一种新的内容验证方法，以提高系统的安全性，而不需要太多的计算开销。我们在RSR 2015 Part-3数字提示任务上的实验表明，基于DNN的对齐与HMM对齐表现相当。实验结果也证明了所提出的基于Kullback-Leibler（KL）散度的评分方法在拒绝带有错误密码短语的语音时的有效性。
2018-09-02 cs.SD eess.AS
Improving on-device speaker verification using federated learning with privacy
Apple（苹果公司）
关于说话人特征的信息可以作为辅助信息用于提高说话人识别准确度。然而，这些信息往往是私人的。本文研究如何隐私保护学习可以提高说话人确认系统，使使用隐私敏感的说话人数据训练一个辅助分类模型，预测说话人的声音特征。特别是，本文探讨了不同的联邦学习和差分隐私机制相结合的方法所实现的效用。这些方法使得在保护用户隐私的同时训练中心模型成为可能，用户的数据保留在他们的设备上。此外，它们使学习大量说话者成为可能，确保在训练模型时良好地覆盖说话者特征。这里描述的辅助模型使用从触发说话人验证系统的短语中提取的特征。从这些功能，该模型预测扬声器特性标签被认为是有用的边信息。辅助模型的知识被提取到说话人确认系统中，使用多任务学习，由该辅助模型预测的边信息标签是额外的任务。这种方法的结果是在一个6%的相对改善等误差率超过基线系统。
2020-08-06 cs.LG cs.SD eess.AS
Automatic Evaluation of Speaker Similarity
Warsaw University of Technology（华沙理工大学）；Amazon Research（亚马逊研究院）
我们介绍了一种新的自动评估方法的说话人相似性评估，这是符合人类的感知分数。现代神经文本到语音模型需要大量干净的训练数据，这就是为什么许多解决方案从单个说话者模型切换到基于许多不同说话者的示例训练的解决方案。多说话者模型带来了新的可能性，例如更快地创建新的声音，但也带来了新的问题-说话者泄漏，其中合成示例的说话者身份可能与目标说话者的身份不匹配。目前，发现这个问题的唯一方法是通过昂贵的感知评估。在这项工作中，我们提出了一个自动的方法来评估说话人的相似性。为此，我们扩展了最近的工作，说话人验证系统和评估不同的指标和说话人嵌入模型如何反映多个刺激与隐藏的参考和锚（MUSHRA）分数。我们的实验表明，我们可以训练一个模型来预测说话人相似度MUSHRA分数从说话人嵌入0.96的准确性和显着的相关性高达0.78皮尔逊分数在话语水平。
2022-07-01 cs.LG cs.SD eess.AS
Tied Hidden Factors in Neural Networks for End-to-End Speaker Recognition
University of Zaragoza（萨拉戈萨大学）；Aragon Institute for Engineering Research (I3A)（阿拉贡工程研究所（I3A））
在本文中，我们提出了一种方法来建模说话人和会话的可变性，并能够生成似然比，使用神经网络在端到端的短语相关的说话人确认系统。如在联合因子分析中，该模型使用绑定的隐变量来对说话者和会话可变性以及模型的一些参数的MAP自适应进行建模。在训练过程中，我们的方法联合估计网络参数和扬声器和信道隐变量的值。这是在两步反向传播算法中完成的，首先更新网络权重和因子加载矩阵，然后更新隐变量，由于这些隐变量是绑定的，因此隐变量的梯度是通过聚合相应的扬声器或会话帧来计算的。网络的最后一层被定义为一个线性回归概率模型，其输入是前一层的输出。这种选择具有的优点是，它产生了似然性，并且另外，它可以在注册期间使用MAP进行调整，而不需要梯度优化。决策是基于两个神经网络模型，说话人适应和通用背景模型的输出似然比。在RSR2015数据库上对该方法进行了评价。
2018-12-27 cs.LG cs.SD eess.AS
Text-Dependent Speaker Verification (TdSV) Challenge 2024: Team Naive System Report
Self-Organized and Independent Participants（自组织和独立参与者）
本文提出了一种2024年TdSV挑战的系统，通过适应现有先进神经网络并设计轻量模型，实现了MinDCF 0.0461和EER 1.3%的性能，展示了多模型集成学习的有效性。
2026-05-14 cs.LG cs.SD
Adaptive Rotary Steering with Joint Autoregression for Robust Extraction of Closely Moving Speakers in Dynamic Scenarios
Signal Processing (SP), University of Hamburg, Germany（信号处理系，汉堡大学）
本文提出一种自适应旋转定向联合自回归框架，通过引入处理后的录音作为指导，提高动态场景中紧密移动说话人跟踪和增强效果。
2026-01-21 cs.LG cs.SD eess.AS
UIAI System for Short-Duration Speaker Verification Challenge 2020
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）；Indian Institute of Information Technology, Sri City（斯里城印度信息技术学院）；University of Eastern Finland（东芬兰大学）；Aalborg University（奥尔堡大学）
在这项工作中，我们提出了短时间说话人验证（SdSV）挑战2020的UIAI条目的系统描述。我们的重点是任务1致力于文本相关的说话人确认。我们研究不同的特征提取和建模方法的自动说话人确认（ASV）和话语验证（UV）。我们还研究了结合UV和ASV模块的不同融合策略。我们主要提交的挑战是7个子系统的融合，产生一个归一化的最小检测代价函数（minDCF）为0.072和2.14%的等错误率（EER）的评估集。由基于密码短语识别的模型和语音区分瓶颈特征组成的单个系统给出了0.118的归一化minDCF，并在最先进的挑战基线上实现了19%的相对改进。
2020-07-26 cs.CV cs.SD eess.AS
Contrastive Predictive Coding Based Feature for Automatic Speaker Verification
The Johns Hopkins University（约翰斯·霍普金斯大学）
本文介绍了我们正在进行的对比预测编码（CPC）特征用于说话人确认的工作。CPC是最近提出的一种基于预测编码和噪声对比估计的表示学习框架。我们专注于将CPC功能纳入标准的自动说话人确认系统，我们提出了我们的方法，实验和分析。本文还详细介绍了自动说话人确认系统的必要背景知识，传统的语音特征，以及CPC背后的动机和技术。
2019-04-01 cs.CL cs.LG cs.SD
Adversarial Speaker Distillation for Countermeasure Model on Automatic Speaker Verification
National Taiwan University（台湾大学）；Department of Computer Science（计算机科学系）
针对边缘设备部署 CM 模型时大小与性能的权衡问题，提出结合 GE2E 预训练和对抗性微调的对抗性说话人蒸馏方法，所提 ASD-ResNetSE 模型在 ASVspoof 2021 任务中取得优异性能且参数和计算量大幅减少。
2022-10-02 cs.LG cs.SD eess.AS
Bias in Automated Speaker Recognition
Delft University of Technology（代尔夫特理工大学）
自动说话人识别使用数据处理来通过语音识别说话人。如今，自动说话人识别已部署在数十亿台智能设备和呼叫中心等服务中。尽管它们在人脸识别和自然语言处理等相关领域中得到了广泛的应用，并且已知偏见的来源，但自动说话人识别中的偏见尚未得到系统的研究。我们提出了一个深入的经验和分析研究的偏见，在机器学习开发工作流程的说话人验证，语音生物特征和自动说话人识别的核心任务。利用一个既定的框架来理解机器学习中的危害来源，我们表明偏见存在于著名的VoxCeleb说话人识别挑战赛的每个开发阶段，包括数据生成，模型构建和实施。受影响最大的是女性演讲者和非美国国籍的人，他们的表现明显下降。利用我们的研究结果的见解，我们为减轻自动说话人识别中的偏见提出了实用的建议，并概述了未来的研究方向。
2022-06-20 cs.CL cs.CY cs.LG
Emphasized Non-Target Speaker Knowledge in Knowledge Distillation for Automatic Speaker Verification
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）；The Hong Kong Polytechnic University（香港理工大学）
本文提出在自动说话人验证的知识蒸馏中解耦并强调非目标说话人的分类概率，该方法在VoxCeleb数据集上使EER平均提升13.67%。
2024-01-15 cs.SD eess.AS
Impact of Phonetics on Speaker Identity in Adversarial Voice Attack
Department of Computer Science and Engineering, Michigan State University, USA（计算机科学与工程系，密歇根州立大学）
本文研究对抗性语音攻击中语音学特征对说话人身份的影响，通过分析对抗性音频揭示其对转录和说话人验证的破坏作用，并提出语音学意识的防御措施。
2026-01-29 cs.AI cs.CR cs.SD
End-to-end Recurrent Denoising Autoencoder Embeddings for Speaker Identification
University Carlos III of Madrid（马德里卡洛斯三世大学）
由于诸如环境噪声和说话人的情绪状态之类的真实生活条件引起的可变性，“野外”语音是说话人识别系统的障碍。利用表示学习的原理，我们的目标是设计一个经常性的去噪自动编码器，从嘈杂的频谱图中提取鲁棒的说话人嵌入来执行说话人识别。端到端的建议架构使用一个反馈回路来编码的信息，有关扬声器到低维表示提取的频谱图去噪自动编码器。我们采用数据增强技术添加腐败干净的语音与现实生活中的环境噪声在一个数据库中包含真正的强调语音。我们的研究表明，联合优化的降噪和扬声器识别模块优于压力和噪声失真以及手工制作的功能下的两个组件的独立优化。
2022-05-16 cs.SD eess.AS
Modeling Overlapped Speech with Shuffles
Johns Hopkins University（约翰霍普金斯大学）；LISN, CNRS（LISN-CNRS）；Carnegie Mellon University（卡内基梅隆大学）；Brno University of Technology（布拉格技术大学）
本文提出用洗牌操作建模重叠语音，通过洗牌积和偏序有限状态自动机实现对重叠语音的对齐和说话人标注。采用总分值作为损失函数进行训练，并通过偏序FSAs减少图规模。通过直接建模（token, speaker）元组实现说话人标注，Viterbi对齐通过洗牌积FSA实现单次对齐。
2026-03-18 cs.CL cs.LG cs.SD
Sum-Product Networks for Robust Automatic Speaker Identification
Griffith University（格里菲斯大学）
我们引入和积网络（SPN）的强大的语音处理，通过一个简单的强大的自动说话人识别（ASI）的任务。SPN是能够回答多个概率查询的深度概率图模型。我们表明，SPN能够保持强大的边缘概率密度函数（PDF）的频谱特征，可靠地代表语音。虽然目前的SPN工具包和学习算法还处于起步阶段，我们的目标是表明，SPN有潜力成为一个有用的工具，强大的语音处理在未来。SPN扬声器模型在这里评估现实世界的非平稳和有色噪声源在多个信噪比（SNR）水平。在ASI准确性方面，我们发现SPN说话人模型比两个最近的基于卷积神经网络（CNN）的ASI系统更鲁棒。此外，SPN扬声器模型比基于CNN的扬声器模型包含的参数少得多。结果表明，SPN说话人模型可以是一个强大的，参数有效的替代ASI。此外，这项工作表明，SPN在相关的任务，如强大的自动语音识别（ASR）和自动说话人验证（ASV）的潜力。可用性：SPN ASI系统可在https://github.com/anicolson/SPN-ASI上获得。
2020-08-13 cs.SD eess.AS
A Semi-Automatic Approach to Create Large Gender- and Age-Balanced Speaker Corpora: Usefulness of Speaker Diarization & Identification
French National Institute of Audiovisual (INA)（法国国家视听研究院）；CNRS（法国国家科学研究中心）；LISN（计算机科学与数字技术交叉科学实验室）；Universidade Federal do Rio de Janeiro（里约热内卢联邦大学）
本文提出一种半自动流水线方法，结合语音检测、去噪与说话人日志技术，高效构建性别、年龄与时期均衡的大规模说话人语料库，将人工处理量减少十倍并保证高输出质量。
2024-04-26 cs.CL cs.DL cs.LG
On the use of DNN Autoencoder for Robust Speaker Recognition
Brno University of Technology（布尔诺理工大学）；IT4I Center of Excellence（IT4I卓越中心）
在本文中，我们分析了用于语音增强、去混响和去噪的基于DNN的自动编码器。目标应用是一个鲁棒的说话人识别系统。我们首先使用人工噪声和混响数据来增强Fisher数据库，然后训练自动编码器将噪声和混响语音映射到其干净版本。我们使用自动编码器作为一个国家的最先进的文本无关的说话人识别系统的预处理步骤。我们比较了纯自动编码器增强，多条件PLDA训练及其同时使用所取得的结果。我们提出了一个详细的分析与各种条件下的NIST SRE 2010，PRISM和人为损坏的NIST SRE 2010电话条件。我们的结论是，建议的预处理显着优于基线，这种技术可以用来建立一个强大的说话人识别系统的混响和噪声数据。
2018-11-07 cs.SD eess.AS
Content-Aware Speaker Embeddings for Speaker Diarisation
Cambridge University Engineering Dept.（剑桥大学工程系）
最近的说话人diarisation系统通常将可变长度的语音段转换为固定长度的向量表示用于说话人聚类，这被称为说话人嵌入。在本文中，内容感知的说话人嵌入（CASE）的方法，它扩展了说话人分类器的输入，不仅包括声学特征，但也包括其相应的语音内容，通过电话，字符，和词嵌入。与利用类似信息的替代方法（如多任务或对抗训练）相比，CASE将自动语音识别（ASR）从说话人识别中分解出来，专注于对说话人特征和与相应内容单元的相关性进行建模，以获得更具表现力的表示。使用AMI会议转录数据集，使用现实的扬声器diarisation设置评估CASE用于扬声器重新聚类，其中内容信息是通过基于自动分割执行ASR获得的。实验结果表明，与传统方法相比，CASE方法的相对说话人出错率降低了17.8%。
2021-02-12 cs.LG cs.SD eess.AS
Joint Speaker Encoder and Neural Back-end Model for Fully End-to-End Automatic Speaker Verification with Multiple Enrollment Utterances
National Institute of Informatics（国立信息学研究所）
传统的自动说话人确认系统通常可以被分解成用于提取说话人嵌入的前端模型（诸如时间延迟神经网络（TDNN））和用于相似性评分的后端模型（诸如基于概率线性判别分析（PLDA）或基于神经网络的神经PLDA（NPLDA））。然而，前端和后端模型的顺序优化可能会导致局部最小值，这在理论上阻止了整个系统实现最佳优化。虽然已经提出了一些方法来联合优化这两个模型，如广义端到端（GE2E）模型和NPLDA E2E模型，所有这些方法都是设计用于单个注册话语。在本文中，我们提出了一个新的E2E联合方法的说话人确认特别是针对实际情况下的多个注册话语。为了利用多个注册话语之间的内部关系，我们的模型配备了帧级和话语级的注意机制。我们还利用了几种数据增强技术，包括使用MUSAN和RIR数据集的传统噪声增强以及独特的扬声器嵌入级混合策略，以实现更好的优化。
2022-09-01 cs.SD eess.AS
ASVspoof 2021: Automatic Speaker Verification Spoofing and Countermeasures Challenge Evaluation Plan
ASVspoof consortium（ASVspoof联盟）
自动说话人验证欺骗和对策（ASVspoof）挑战系列是一项由社区主导的倡议，旨在促进对欺骗的考虑和对策的制定。ASVspoof 2021是一系列两年一次的竞争性挑战中的第四个，其目标是制定能够区分真实和欺骗或深度伪造语音的对策。本文档提供了ASVspoof 2021挑战赛的技术描述，包括培训、开发和评估数据、指标、基线、评估规则、提交程序和时间表的详细信息。
2021-09-01 cs.CR cs.LG cs.SD
Phonetic Richness for Improved Automatic Speaker Verification
Pindrop（品卓科技）
该研究提出基于语音直方图的语音丰富度度量指标，结合净语音时长校准说话人验证得分，在Voxceleb1基准上实现5.8%的EER相对提升，对短话语效果更优。
2024-07-10 cs.SD eess.AS
Frame-wise streaming end-to-end speaker diarization with non-autoregressive self-attention-based attractors
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
提出逐帧流式端到端说话人日志分离方法 FS-EEND，通过因果嵌入编码器、非自回归自注意力吸引子解码器和有限前瞻实现实时说话人检测与吸引子更新，并在低延迟、低成本下达到最先进性能。
2023-09-25 cs.SD eess.AS
Exploiting spatial information with the informed complex-valued spatial autoencoder for target speaker extraction
本研究针对传统多通道音频增强分步滤波的局限，扩展复值空间自编码器COSPA为iCOSPA，通过注入目标说话人位置信息实现联合频谱-空间滤波，可有效提取目标说话人并学习空间选择性模式。
2023-03-14 cs.SD eess.AS
Attention Back-end for Automatic Speaker Verification with Multiple Enrollment Utterances
National Institute of Informatics（国立信息学研究所）；SOKENDAI（综合研究大学院大学）
概率线性判别分析（PLDA）或余弦相似度已被广泛用于传统的说话人确认系统作为后端技术来衡量成对的相似度。为了更好地利用多个注册话语，我们提出了一种新的注意后端模型，它可以用于文本无关（TI）和文本相关（TD）的说话人验证，并采用缩放点自注意和前馈自注意网络作为架构，学习注册话语的内部关系。为了验证所提出的注意力后端，我们在CNCeleb和VoxCeleb数据集上进行了一系列实验，将其与几种最先进的说话人编码器（包括TDNN和ResNet）相结合。实验结果表明，使用多个注册话语CNCeleb的建议注意力后端模型导致较低的EER和minDCF分数比PLDA和余弦相似度对应的每个扬声器编码器和VoxCeleb上的实验表明，我们的模型甚至可以用于单个注册情况。
2021-10-06 cs.SD eess.AS
DSARSR: Deep Stacked Auto-encoders Enhanced Robust Speaker Recognition
Central China Normal University（华中师范大学）；Hubei University of Technology（湖北工业大学）
本文提出DSARSR方法，用深度堆叠自编码器替代PLDA对i-vector进行低维重构，以增强跨信道鲁棒性，实验表明其性能优于现有最优方法。
2023-07-06 cs.CR cs.SD eess.AS
Speaker De-identification System using Autoencoders and Adversarial Training
Sigma Technologies S.L.U.（西格玛技术有限公司）；Universidad Politécnica de Madrid（马德里理工大学）
收集用户个人数据的网络服务和移动应用程序的快速增长，增加了他们的隐私可能受到严重损害的风险。特别是，深度学习令人眩晕的突破所带来的口语界面和语音助手的种类越来越多，这促使欧盟对保护语音数据隐私产生了重要的担忧。例如，攻击者可以记录用户的语音并模仿他们来访问需要语音识别的系统。从用户窃取说话者简档也可以通过现有技术来提取说话者、语言（例如，方言）和非语言学特征（例如，年龄）从语音信号。为了减轻这些弱点，在本文中，我们提出了一种基于对抗训练和自动编码器的说话人去识别系统，以抑制语音中的说话人，性别和口音信息。实验结果表明，结合对抗性学习和自动编码器增加了说话人验证系统的相等出错率，同时保持匿名口语内容的可理解性。
2020-11-09 cs.CL cs.SD eess.AS
Evolutionary Algorithm Enhanced Neural Architecture Search for Text-Independent Speaker Verification
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
最先进的说话人验证模型基于深度学习技术，这在很大程度上依赖于专家或工程师手工设计的神经架构。我们借用神经结构搜索（NAS）的思想，文本无关的说话人确认任务。由于NAS可以自动学习深度网络结构，我们将NAS概念引入到著名的x向量网络中。此外，本文提出了一种进化算法增强的神经结构搜索方法，称为自动向量自动发现有前途的网络的说话人确认任务。实验结果表明，我们的基于NAS的模型优于国家的最先进的说话人确认模型。
2020-08-13 cs.NE cs.SD eess.AS
Speaker Recognition with Random Digit Strings Using Uncertainty Normalized HMM-based i-vectors
Sharif University of Technology（谢里夫理工大学）；Brno University of Technology（布尔诺理工大学）；University of Nottingham（诺丁汉大学）
在本文中，我们结合隐马尔可夫模型（HMM）的i-向量提取器，以解决问题的文本相关的说话人识别与随机数字串。我们采用特定于数字的HALTH分割成数字的话语，HMM状态进行帧对齐，并提取Baum-Welch统计。通过利用输入特征到数字的自然分区，我们训练数字特定的i-向量提取器在每个HMM的顶部，我们提取本地化良好的i-向量，每个模型仅仅对应于一个数字的语音内容。然后，我们研究如何执行通道和不确定性补偿，我们提出了一种新的方法，使用的i-向量估计的不确定性。在RSR 2015第三部分上的实验表明，该方法对男性和女性分别达到了1.52%和1.77%的等误率（EER），优于在大量数据上训练的最先进的方法，如x向量。此外，这些结果是通过完全在RSR 2015上训练的单个系统以及简单的分数归一化余弦距离获得的。此外，我们表明，省略通道补偿只产生轻微的性能下降，这意味着该系统达到最先进的结果，即使没有录音从多个手机每个扬声器的训练或注册。从我们在RedDots语料库上的实验中得出了类似的结论，其中对短语进行了相同的方法评估。最后，我们报告的结果与瓶颈功能，并表明进一步改善时，融合光谱特征。
2019-07-13 cs.CL cs.SD eess.AS
Multi-task Learning Based Spoofing-Robust Automatic Speaker Verification System
The University of Western Australia（西澳大学）
通过生成人工语音而构成的欺骗攻击会严重降低说话人确认系统的性能。最近，许多反欺骗对策已被提出用于检测从合成语音到重放演示的各种类型的攻击。虽然有许多关于独立反欺骗解决方案的有效防御报告，但扬声器验证和欺骗检测系统的集成具有明显的优势。在本文中，我们提出了一个欺骗鲁棒的自动说话人确认（SR-ASV）系统的多种攻击的基础上的多任务学习架构。这个基于深度学习的模型与来自话语的时频表示联合训练，以同时为两个任务提供识别决策。与ASVspoof 2017和2019语料库上的其他最先进的系统相比，可以在不同的欺骗条件下获得组合系统的实质性改进。
2020-12-06 cs.CR cs.SD eess.AS
A Study on Replay Attack and Anti-Spoofing for Automatic Speaker Verification
Tsinghua University（清华大学）
在实际的自动说话人确认系统中，重放攻击是一个真正的风险。通过重放真实说话者的预先记录的语音信号，ASV系统往往容易被愚弄。因此，非常需要一种有效的重放检测方法。在这项研究中，我们研究了重放检测中的一个主要困难：由语音信号中的可变因素引起的过拟合问题。提出了一种F比探测工具，并使用该工具研究了三个可变性因素：说话人身份，语音内容和回放和记录设备。分析表明，设备是最有影响力的因素，贡献了最高的过拟合风险。研究了一种频率弯曲方法来缓解过拟合问题，并在ASV-spoof 2017数据库上进行了验证。
2017-06-07 cs.SD
Efficient Attention Branch Network with Combined Loss Function for Automatic Speaker Verification Spoof Detection
Amirkabir University of Technology（阿米尔卡比尔理工大学）
许多努力已经寻求开发对策技术作为对自动说话人验证（ASV）系统的增强，以便使它们对欺骗攻击更鲁棒。正如最新的ASVspoof 2019对策挑战所证明的那样，目前为ASV任务部署的模型在最好的情况下，对看不见的攻击缺乏适当程度的泛化。在对所提议的方法进行进一步调查后，似乎可以对所提议的系统进行更广泛的三层视图。包括分类器、特征提取阶段和模型损失函数，可以在某种程度上减轻该问题。因此，本研究提出了有效的注意分支网络（EABN）的模块化架构与组合损失函数，以解决泛化问题。
2021-09-19 cs.CL cs.CR cs.SD
Autoencoder based Domain Adaptation for Speaker Recognition under Insufficient Channel Information
Korea University（高丽大学）；Incheon National University（仁川大学）
在现实条件下，开发域和测试域之间的不匹配会降低说话人识别性能。为了解决这一问题，许多研究者探索了利用领域内匹配数据集进行领域自适应的方法。然而，如果数据集不足以估计域的信道可变性，则自适应将是无效的。在本文中，我们探讨的问题下，这种情况下的信道信息不足的性能下降。为了有效地利用有限的域内数据集，提出了一种基于自动编码器的领域自适应（AEDA）的无监督领域自适应方法。所提出的方法结合了自动编码器和去噪自动编码器，以适应资源丰富的开发数据集测试域。该技术被评估的领域自适应挑战13实验协议，广泛用于说话人识别领域不匹配的条件。结果显示，与基线和其他先前研究的结果相比，有了显着改善。
2017-08-28 cs.SD
Multi-speaker Emotion Conversion via Latent Variable Regularization and a Chained Encoder-Decoder-Predictor Network
Johns Hopkins University（约翰斯·霍普金斯大学）
提出了一种基于链式编码-解码-预测神经网络结构的语音情感转换方法。编码器构建了一个潜在的嵌入的基频（F0）的轮廓和频谱，我们正则化使用大尺度映射（LDDMM）注册框架。解码器使用该嵌入来预测目标情感类中的修改的F0轮廓。最后，预测器使用原始谱和修改的F0轮廓来生成对应的目标谱。我们的联合目标函数同时优化三个模型块的参数。我们表明，我们的方法在情感转换的显着性和重新合成语音的质量方面都优于现有的最先进方法。此外，LDDMM正则化允许我们的模型转换训练中不存在的短语，从而为样本外泛化提供证据。
2020-08-10 cs.LG cs.SD eess.AS
Improving Voice Trigger Detection with Metric Learning
Apple（苹果公司）；The University of Hong Kong（香港大学）
语音触发检测是一项重要的任务，其使得能够在目标用户说出关键词短语时激活语音助理。检测器通常在独立于说话者信息的语音数据上进行训练，并用于语音触发检测任务。然而，这样的说话者无关语音触发检测器通常遭受来自代表性不足的组（诸如带口音的说话者）的语音的性能降级。在这项工作中，我们提出了一种新的语音触发检测器，可以使用少量的话语从目标扬声器，以提高检测精度。我们提出的模型采用编码器-解码器架构。虽然编码器执行与说话人无关的语音触发检测，类似于传统的检测器，解码器预测每个话语的个性化嵌入。然后获得个性化语音触发分数作为登记话语和测试话语的嵌入之间的相似性分数。个性化的嵌入允许在计算语音触发分数时适应目标说话者的语音，从而提高语音触发检测的准确性。实验结果表明，所提出的方法实现了38%的相对减少的错误拒绝率（FRR）相比，基线说话人无关的语音触发模型。
2022-09-13 cs.LG cs.SD eess.AS
An investigation of phrase break prediction in an End-to-End TTS system
International Institute of Information Technology, Hyderabad（印度信息技术国际学院）
本研究探索在端到端TTS系统中引入外部短语停顿预测模型（双向LSTM和微调BERT）以提升听者理解度，主观听力测试表明听者明显偏好带有预测短语停顿的合成语音。
2025-01-01 cs.CL cs.SD eess.AS
Duration-aware pause insertion using pre-trained language model for multi-speaker text-to-speech
The University of Tokyo（东京大学）；CyberAgent, Inc.（赛博艾坚特公司）
插入停顿，也称为短语中断预测和短语化，是TTS系统的重要组成部分，因为具有自然持续时间的适当停顿显著增强合成语音的节奏和可懂度。然而，传统的短语模型忽略了不同说话人插入无声停顿的不同风格，这会降低在多说话人语音语料库上训练的模型的性能。为此，我们提出了基于预训练语言模型的更强大的暂停插入框架。我们的方法使用双向编码器表示从Transformers（BERT）预先训练的大规模文本语料库，注入扬声器嵌入捕捉各种扬声器的特点。我们还利用持续时间感知的暂停插入来实现更自然的多扬声器TTS。我们开发和评估两种类型的模型。第一个改进了关于呼吸暂停（RP）的位置预测的常规措辞模型，即，在没有标点符号的词转换处无声停顿。它执行说话人条件RP预测考虑上下文信息，并用于演示说话人信息对预测的影响。第二个模型进一步设计为基于音素的TTS模型，并执行持续时间感知的停顿插入，预测RP和标点指示的停顿（PIP），按持续时间分类。实验结果表明，该模型提高了停顿插入的准确率和召回率，并改善了合成语音的节奏感。
2023-02-27 cs.CL cs.LG cs.SD
Many-to-Many Voice Conversion based Feature Disentanglement using Variational Autoencoder
Vinai Research（维奈研究院）；Deezer Research and Development（迪泽研发中心）
语音转换是一项具有挑战性的任务，它将源说话人的语音特征转换为目标说话人，而不改变语言内容。近年来，基于变分自编码器（VAE）的多对多语音转换（VC）取得了很好的效果，但这些方法缺乏区分说话人身份和语言内容的能力，无法在说话人不存在的情况下取得良好的性能。本文提出了一种基于特征分解的多对多语音转换方法。该方法具有从话语中分离出说话人身份和语言内容的能力，它可以通过单个自编码器网络从多个源说话人转换为多个目标说话人。此外，它自然地处理看不见的目标说话者场景。我们进行客观和主观的评价，以显示我们提出的方法与其他国家的最先进的模型相比，在自然度和目标说话人相似性的竞争力表现。
2021-07-11 cs.LG cs.SD eess.AS
Building a mixed-lingual neural TTS system with only monolingual data
在部署中文神经文本到语音（TTS）合成系统时，挑战之一是合成嵌入有英语短语或单词的中文话语。本文探讨的问题，在编码器-解码器框架时，只有单语数据从目标扬声器。具体来说，我们从两个方面来看待这个问题：说话人在话语中的一致性和自然性。我们从一个平均语音模型开始研究，该模型是由多说话人的单语数据，即普通话和英语数据建立的。在此基础上，我们研究了说话人嵌入的说话人一致性和音素嵌入的自然度和可理解性，并研究了模型训练的数据选择。我们报告的结果，并讨论了挑战，建立一个混合语言的TTS系统，只有单语数据。
2019-08-22 cs.CL cs.SD eess.AS
End-to-End Target Speaker Speech Recognition Using Context-Aware Attention Mechanisms for Challenging Enrollment Scenario
Part Artificial Intelligence Research Center（Part人工智能研究中心）；Aalto University（阿尔托大学）
本文提出一种具备双重注意力机制的鲁棒流式 TS-RNNT 模型，有效解决了嘈杂和重叠注册音频场景下的目标说话人语音识别问题，在5dB SIR下WER保持16.44%，显著优于传统方法。
2025-01-26 cs.SD eess.AS
Adversarially Trained Autoencoders for Parallel-Data-Free Voice Conversion
University of California at Berkeley（加州大学伯克利分校）；Intel AI Lab（英特尔人工智能实验室）
我们提出了一种方法，用于转换一组扬声器之间的声音。我们的方法是基于训练多个自编码器路径，其中有一个扬声器独立的编码器和多个扬声器相关的解码器。自动编码器通过添加由辅助分类器提供的对抗性损失来训练，以引导编码器的输出独立于说话者。模型的训练是无监督的，因为它不需要从说话者收集相同的话语，也不需要在音素上进行时间对齐。由于使用了单个编码器，我们的方法可以推广到将训练之外的说话者的声音转换为训练数据集中的说话者。我们提出了主观测试证实我们的方法的性能。
2019-05-09 cs.LG cs.SD eess.AS
Phrase-Localized Language-Contrastive Guidance: Training-Free Localized Accent Control for Code-Switching Text-to-Speech
Seoul National University（首尔大学）；University of Seoul（首尔市立大学）
该研究针对代码切换文本到语音的重音偏差问题，提出无训练的短语定位语言对比引导框架，通过自注意力探测定位短语边界，实现各语言区域重音的准确控制，提升代码切换语音的原生度与自然度。
2026-09-02 cs.CL cs.SD
Contextualized Automatic Speech Recognition with Attention-Based Bias Phrase Boosted Beam Search
Honda Research Institute Japan Co., Ltd.（本田日本研究所株式会社）；Carnegie Mellon University（卡内基梅隆大学）
针对端到端ASR难以适配未见上下文的问题，提出基于注意力的可编辑短语偏置方法及BPB束搜索算法，在英语和日语数据集上降低目标短语错误率。
2024-01-19 cs.CL cs.SD eess.AS
nnSpeech: Speaker-Guided Conditional Variational Autoencoder for Zero-shot Multi-speaker Text-to-Speech
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Auckland（奥克兰大学）；Institute of Science and Technology for Brain-inspired Intelligence, Fudan University（复旦大学脑启发智能科学与技术研究院）
利用少量自适应数据实现多说话人的文语转换是实际应用中的一个挑战。为了解决这个问题，我们提出了一个zero-shot多说话人TTS，命名为nnSpeech，它可以合成一个新的说话人的声音，而无需微调，只使用一个自适应话语。与使用说话人表示模块提取新说话人特征相比，该方法基于说话人引导的条件变分自编码器，可以生成一个既包含说话人特征又包含内容信息的变量Z。潜变量Z分布近似为另一个变量的参考梅尔声谱图和音素的条件。在英语语料库、普通话语料库和跨语料库上的实验证明，该模型可以生成自然、相似的语音，只需要一个自适应语音。
2022-02-22 cs.SD eess.AS
VoiceGuider: Enhancing Out-of-Domain Performance in Parameter-Efficient Speaker-Adaptive Text-to-Speech via Autoguidance
Seoul National University（首尔大学）；Samsung Electronics Co., Ltd（三星电子株式会社）
提出VoiceGuider，通过自引导机制强化基于LoRA的参数高效说话人自适应文本转语音系统，有效缩小与全量微调模型的性能差距，显著提升极端域外说话人的自适应表现。
2024-12-20 cs.SD eess.AS
Comparison of Speech Representations for Automatic Quality Estimation in Multi-Speaker Text-to-Speech Synthesis
University of Edinburgh（爱丁堡大学）
我们的目标是表征不同的扬声器有助于感知输出质量的多扬声器文本到语音（TTS）合成。我们使用一个神经网络（NN）训练人类平均意见评分（MOS）评级的TTS的质量自动率。首先，我们在ASVSpoof 2019逻辑访问（LA）数据集的13个不同的TTS和语音转换（VC）系统上训练和评估我们的NN模型。由于目前还不知道如何最好地表示语音的这项任务，我们比较了8种不同的表示方式，以及MOSNet基于帧的功能。我们的表示包括基于图像的频谱图特征和x向量嵌入，这些特征明确地对不同类型的噪声（如T60混响时间）进行建模。我们的NN预测MOS与人类判断高度相关。我们报告预测相关性和误差。一个关键的发现是，无论TTS或VC系统如何，某些扬声器所达到的质量似乎是一致的。人们普遍认为，一些扬声器提供更高的质量比其他人建立一个TTS系统：我们的方法提供了一个自动的方式来识别这样的扬声器。最后，为了看看我们的质量预测模型是否具有普遍性，我们使用一个单独的多扬声器TTS系统来预测合成语音的质量分数，该系统是在LibriTTS数据上训练的，并进行我们自己的MOS听力测试来比较人类的评级与我们的NN预测。
2020-04-27 cs.CL cs.LG cs.SD
Melodic Phrase Segmentation By Deep Neural Networks
New York University Shanghai（上海纽约大学）
旋律乐句的自动检测与切分是基于内容的音乐信息检索中的一项经典任务，也是实现音乐结构自动分析的关键。然而，传统的方法仍然不能满足实际需要。在本文中，我们探索和适应各种神经网络架构，看看它们是否可以推广到音乐的符号表示，并产生令人满意的旋律短语分割。将深度学习方法应用于短语检测的主要问题是训练集的稀疏标记问题。我们提出了两个定制的标签工程与相应的训练技术，为不同的神经网络，以作出决定，在一个顺序的水平。实验结果表明，CNN-CRF架构表现最好，能够提供更精细的分割和更快的训练，而CNN，Bi-LSTM-CNN和Bi-LSTM-CRF是可接受的替代方案。
2018-11-14 cs.LG cs.SD stat.ML
