Collaborative Learning for Language and Speaker Recognition
Tsinghua University(清华大学);Xi'An Jiaotong Liverpool-University(西交利物浦大学)
本文提出了一个统一的模型,同时进行语言和说话人识别。该模型基于多任务递归神经网络,其中一个任务的输出作为另一个任务的输入,从而形成一个协作学习框架,可以通过相互借用信息来提高语言和说话人识别。我们的实验表明,多任务模型优于任务特定的模型在这两个任务。
2017-05-23 cs.CL cs.SD
SISER: Speaker-Invariant Speech Emotion Recognition with Entropy-Based Adversarial Training
本文针对语音情感识别的标注数据稀缺与说话人差异性问题,提出基于熵对抗训练的SISER方法,采用wav2vec 2.0与ECAPA-TDNN,在IEMOCAP数据集上取得优于基线及无说话人抑制的wav2vec 2.0的性能。
2026-09-04 cs.CL cs.SD
Streaming Multi-talker Speech Recognition with Joint Speaker Identification
Microsoft Corp.(微软公司)
在会议和对话等多人场景中,语音处理系统通常需要转录音频以及识别下游应用的发言者。由于在这种情况下重叠语音是常见的,因此常规方法通常以级联方式解决该问题,该级联方式涉及独立训练的语音分离、语音识别和说话人辨识。在本文中,我们提出了流式解混,识别和识别传感器(SURIT)-一个新的框架,处理这个问题,在一个端到端的流式方式。SURIT采用递归神经网络转换器(RNN-T)作为语音识别和说话人辨识的骨干。我们在LibrispeechMix数据集上验证了我们的想法-一个来自Librispeech的多人数据集,并给出了令人鼓舞的结果。
2021-04-05 cs.CL cs.SD
Why does Self-Supervised Learning for Speech Recognition Benefit Speaker Recognition?
Harbin Institute of Technology(哈尔滨工业大学);Microsoft Corporation(微软公司)
最近,自监督学习(SSL)在说话人识别中表现出了很强的性能,即使预训练目标是为语音识别设计的。本文通过一系列精心设计的实验,研究了自监督学习在说话人相关任务(如说话人确认)中的成功因素。我们在Voxceleb-1数据集上的实证结果表明,SSL到SV任务的好处是来自掩码语音预测损失、数据规模和模型大小的组合,而SSL量化器的影响很小。我们进一步采用集成梯度属性方法和损失景观可视化来了解自监督学习对说话人识别性能的有效性。
2022-06-27 cs.CL cs.SD eess.AS
Bias in Automated Speaker Recognition
Delft University of Technology(代尔夫特理工大学)
自动说话人识别使用数据处理来通过语音识别说话人。如今,自动说话人识别已部署在数十亿台智能设备和呼叫中心等服务中。尽管它们在人脸识别和自然语言处理等相关领域中得到了广泛的应用,并且已知偏见的来源,但自动说话人识别中的偏见尚未得到系统的研究。我们提出了一个深入的经验和分析研究的偏见,在机器学习开发工作流程的说话人验证,语音生物特征和自动说话人识别的核心任务。利用一个既定的框架来理解机器学习中的危害来源,我们表明偏见存在于著名的VoxCeleb说话人识别挑战赛的每个开发阶段,包括数据生成,模型构建和实施。受影响最大的是女性演讲者和非美国国籍的人,他们的表现明显下降。利用我们的研究结果的见解,我们为减轻自动说话人识别中的偏见提出了实用的建议,并概述了未来的研究方向。
2022-06-20 cs.CL cs.CY cs.LG
Improved Deep Speaker Feature Learning for Text-Dependent Speaker Recognition
Tsinghua National Laboratory for Information Science and Technology(清华信息科学与技术国家实验室);Tsinghua University(清华大学)
最近已经提出了一种深度学习方法来通过深度神经网络(DNN)来导出说话人标识(d向量)。这种方法已被应用到文本相关的说话人识别任务,并显示出合理的性能增益时,与传统的i向量的方法相结合。虽然有前途,现有的d矢量实现仍然不能与i矢量基线竞争。本文提出了对深度学习方法的两项改进:用于规范化音素变化的音素相关DNN结构,以及基于动态时间扭曲(DTW)的新评分方法。文本相关的说话人识别任务的实验表明,所提出的方法可以提供相当大的性能改善现有的d-向量实现。
2015-06-28 cs.CL cs.LG cs.NE
End-to-End Multi-Speaker Speech Recognition using Speaker Embeddings and Transfer Learning
Institute for Natural Language Processing (IMS), University of Stuttgart(斯图加特大学自然语言处理研究所(IMS))
本文介绍了我们在重叠语音的端到端自动语音识别(ASR)方面的最新研究。我们建议以说话者嵌入为条件来训练端到端系统,并通过从干净语音中进行迁移学习来进一步改进。该框架不需要任何平行的非重叠语音材料,并且与说话人的数量无关。我们在重叠语音数据集上的实验结果表明,对说话人嵌入和迁移学习的联合调节显着提高了ASR性能。
2019-08-13 cs.CL cs.LG cs.SD
Query Expansion System for the VoxCeleb Speaker Recognition Challenge 2020
National Taiwan Normal University(国立台湾师范大学)
在本报告中,我们描述了我们提交给VoxCeleb Speaker Recognition Challenge(VoxSRC)2020的申请。采取了两种办法。一种是将查询扩展应用于说话人确认,与本研究的基线相比,取得了显著的进步。另一种是使用Kaldi提取x向量,并将其概率线性判别分析(PLDA)得分与ResNet得分相结合。
2020-11-04 cs.CL cs.SD eess.AS
Multi-Task Learning with Auxiliary Speaker Identification for Conversational Emotion Recognition
Wuhan University(武汉大学);Tianjin University(天津大学)
会话情感识别在自然语言处理领域引起了越来越多的关注。与普通的情感识别不同,有效的说话人敏感话语表示是CER的一个主要挑战。在本文中,我们利用说话人辨识(SI)作为一个辅助任务,以提高在会话中的话语表示。通过这种方法,我们可以从额外的SI语料库中学习更好的说话人感知的上下文表示。两个基准数据集上的实验表明,该架构是非常有效的CER,获得新的国家的最先进的结果在两个数据集上。
2020-03-05 cs.CL cs.SD eess.AS
Speaker Recognition with Cough, Laugh and "Wei"
Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出了一个说话人识别(SRE)任务与琐碎的语音事件,如咳嗽和笑。这些琐碎的事件在对话中无处不在,很少受到有意的变化,因此提供了宝贵的特殊性,以发现真正的发言者从伪装的讲话。然而,微不足道的事件往往是短暂的和独特的光谱模式,使SRE非常困难。幸运的是,我们发现了一个非常强大的深度特征学习结构,可以提取对说话者高度敏感的特征。利用该工具,我们研究了咳嗽、大笑和"你好"三种小事件的SRE表现。结果表明,有丰富的扬声器信息内这些琐碎的事件,即使是咳嗽,是直观的扬声器区分。使用深度特征方法,尽管三个微不足道的事件持续时间极短(0.2 - 1.0秒),但EER可以达到10%-14%。
2017-06-22 cs.CL cs.SD
Incorporation of Speech Duration Information in Score Fusion of Speaker Recognition Systems
Özyeğin University(奥兹耶金大学);TUBITAK BILGEM(土耳其科学技术研究理事会信息与通信技术研究所)
近年来,基于身份向量(i-vector)的说话人确认(SV)系统已经变得非常成功。然而,环境噪声和语音持续时间的变化仍然有显着的影响,降低这些系统的性能。在许多现实生活中的应用中,录音的持续时间非常短;因此,提取的i向量不能可靠地表示说话者的属性。在这里,我们研究了语音持续时间对三种最先进的说话人识别系统性能的影响。此外,使用各种可用的分数融合方法,我们调查分数融合的效果,这些说话人确认技术受益于不同的方法在不同的注册和测试语音持续时间条件下的性能差异。该技术的表现明显优于基线评分融合方法。
2016-08-07 cs.CL cs.SD
Real-time, Universal, and Robust Adversarial Attacks Against Speaker Recognition Systems
Rutgers University(罗格斯大学);The University of Tennessee(田纳西大学)
近年来,随着语音用户界面(VUI)的迅速普及,说话人识别系统已经成为许多安全应用和服务中识别说话人的重要手段。在本文中,我们提出了针对最先进的基于深度神经网络(DNN)的说话人识别系统的第一个实时、通用和鲁棒的对抗性攻击。通过在任意登记的说话者的语音输入上添加音频不可知的通用扰动,基于DNN的说话人识别系统将把说话者识别为任何目标(即,对手期望的)扬声器标签。此外,我们通过估计房间脉冲响应(RIR)对物理空中传播引起的声音失真进行建模,提高了攻击的鲁棒性。使用109名英语使用者的公共数据集的实验表明,我们提出的攻击的有效性和鲁棒性与高攻击成功率超过90%。攻击启动时间也比当代非通用攻击快100倍。
2020-05-01 cs.CL cs.SD eess.AS
Simultaneous Speech Recognition and Speaker Diarization for Monaural Dialogue Recordings with Target-Speaker Acoustic Models
本文研究了使用目标说话人自动语音识别(TS-ASR)的同时语音识别和说话人日记的单通道对话录音。TS-ASR是一种在给定目标说话人的短样本话语的情况下仅自动提取和识别该说话人的语音的技术。TS-ASR的一个明显缺点是,当录音中的扬声器未知时,它不能使用,因为它需要在解码之前对目标扬声器进行采样。为了消除这种限制,我们提出了一种迭代法,其中(i)说话人嵌入的估计和(ii)基于估计的说话人嵌入的TS-ASR交替执行。我们使用非常具有挑战性的对话录音,其中扬声器重叠率超过20%,评估所提出的方法。我们证实,所提出的方法显着降低了字出错率(WER)和日记出错率(DER)。我们提出的方法结合i-向量说话人嵌入最终实现了WER,其与给定Oracle说话人嵌入的TS-ASR的WER仅相差2.1%。此外,我们的方法可以同时解决说话人日记作为一个副产品,并取得了更好的DER比传统的基于聚类的说话人日记方法的基础上的i-向量。
2019-09-17 cs.CL cs.SD eess.AS
Speaker Style-Aware Phoneme Anchoring for Improved Cross-Lingual Speech Emotion Recognition
Department of Electrical Engineering, National Tsing Hua University, Taiwan(National Tsing Hua University电子工程系);Language Technologies Institute, Carnegie Mellon University, USA(卡内基梅隆大学语言技术研究所)
针对跨语言语音情感识别中语音差异和说话人风格差异的挑战,提出说话人风格感知的音素锚定框架,通过图聚类和双空间锚定提升跨语言情感迁移,并在英语和台湾普通话语料库上验证了其优越性。
2025-09-19 cs.CL cs.LG
A Unified Deep Neural Network for Speaker and Language Recognition
MIT Lincoln Laboratory(麻省理工学院林肯实验室);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
从深度神经网络(DNN)学习的特征表示和子音素后验子已被分别用于为说话者和语言识别任务产生显著的性能增益。在这项工作中,我们展示了如何使用单个DNN进行说话人和语言识别。统一DNN方法在2013年领域自适应挑战赛说话人识别任务(域外条件下EER降低55%)和NIST 2011年语言识别评估(30 s测试条件下EER降低48%)上显示出显著的性能改进。
2015-04-03 cs.CL cs.CV cs.LG
CN-CELEB: a challenging Chinese speaker recognition dataset
Tsinghua University(清华大学)
最近,研究人员设定了一个雄心勃勃的目标,即在不受环境、通道和情绪变化的约束条件下进行说话人识别。然而,大多数公开可用的数据集是在受限环境下收集的,即,具有很小的噪声和有限的信道变化。这些数据集往往提供过于乐观的性能,不符合无约束条件下说话人识别研究的要求。在本文中,我们提出了CN Celeb,一个大规模的说话人识别数据集收集“在野外”。该数据集包含来自1,000位中国名人的超过130,000句话语,涵盖了现实世界中的11种不同类型。用两种最先进的说话人识别方法(i-vector和x-vector)进行的实验表明,CN-Celeb上的性能远不如在VoxCeleb上获得的性能,VoxCeleb是一种广泛使用的说话人识别数据集。这一结果表明,在现实生活中,现有技术的性能可能比想象的要差得多。我们的数据库对研究人员是免费的,可以从http://project.cslt.org下载。
2019-10-31 cs.CL cs.SD eess.AS
Comparison of Speaker Role Recognition and Speaker Enrollment Protocol for conversational Clinical Interviews
PSL Research University(巴黎文理研究大学);ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心);EHESS(法国高等社会科学研究院);INRIA(法国国家信息与自动化研究所);INSERM(法国国家健康与医学研究院);UPEC(巴黎第十二大学);Henri-Mondor Hospital, APHP(巴黎公共医疗集团亨利·蒙多尔医院);Huntington's Disease National Reference Center(亨廷顿病国家参考中心)
在自然条件下,临床医生和患者之间的对话是医疗随访的宝贵信息来源。对这些对话的自动分析可以帮助提取新的语言标记并加快临床医生的报告。然而,目前还不清楚哪种语音处理管道在检测和识别说话者转向方面表现最好,特别是对于有语音和语言障碍的人。在这里,我们提出了一个分裂的数据,允许进行比较评估的扬声器角色识别和扬声器注册方法来解决这个任务。我们训练了端到端神经网络架构,以适应每项任务,并在相同的指标下评估每种方法。实验结果报告神经心理学家和受访者之间的自然临床对话,在亨廷顿舞蹈症的不同阶段。我们发现,我们的扬声器角色识别模型给出了最好的性能。此外,我们的研究强调了使用域内数据重新训练模型的重要性。最后,我们观察到结果不取决于受访者的人口统计数据,这凸显了我们方法的临床相关性。
2020-11-05 cs.CL eess.AS
On deep speaker embeddings for text-independent speaker recognition
ITMO University(ITMO大学);STC-innovations Ltd.(STC创新有限公司)
我们研究了深度神经网络在与文本无关的说话人识别任务中的性能。我们证明,在分类神经网络的最后一个分类层使用角softmax激活,而不是一个简单的softmax激活允许训练一个更广义的判别扬声器嵌入提取器。余弦相似度是在该嵌入空间中进行说话人确认的有效度量。我们还解决了选择一个架构的提取器的问题。我们发现,具有残留帧级连接的深度网络优于宽但相对较浅的架构。本文还提出了一些改进以前的基于DNN的提取器系统,以提高说话人识别的准确性。我们表明,区别训练的相似性度量学习方法优于标准的LDA-PLDA方法作为嵌入后端。在Speakers in the Wild和NIST SRE 2016评估集上获得的结果证明了所提出的系统在处理接近现实生活条件时的鲁棒性。
2018-04-26 cs.CL cs.SD eess.AS
Factorised Speaker-environment Adaptive Training of Conformer Speech Recognition Systems
The Chinese University of Hong Kong(香港中文大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
本文为Conformer ASR模型提出一种贝叶斯分解式说话人-环境自适应训练方法,通过分离与组合特征并建模参数不确定性,在噪声数据上显著降低词错率并具备快速适应能力。
2023-06-26 cs.CL eess.AS
The Intelligent Voice 2016 Speaker Recognition System
Intelligent Voice Limited(智能语音有限公司)
本文介绍了提交给NIST 2016年说话人识别评估(SRE)的智能语音(IV)系统。今年SRE的主要重点是开发说话人识别技术,该技术对于比当前最先进技术中使用的语言更加异构的新语言具有鲁棒性,使用明显更少的训练数据,不包含来自这些语言的元数据。该系统基于在固定训练条件下开发的最先进的i-vector/PLDA,并在挑战开发集上定义的方案上报告结果。
2016-11-02 cs.CL cs.SD stat.ML
Speaker-Distinguishable CTC: Learning Speaker Distinction Using CTC for Multi-Talker Speech Recognition
NHK Science and Technology Research Laboratories(日本国立放送理事会科学技术研究所);Waseda University(早稻田大学)
本文提出 SD-CTC 并将其集成到 SOT 框架中,使多人语音识别无需时间戳等辅助信息即可学习说话人区分性,错误率降低 26%。
2025-06-09 cs.CL cs.SD eess.AS
Auxiliary Interference Speaker Loss for Target-Speaker Speech Recognition
Hitachi Ltd.(日立有限公司);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出了一种新的辅助损失函数用于目标-说话人自动语音识别。我们的方法自动提取和转录目标扬声器的话语从单声道混合多个扬声器语音给定的目标扬声器的短样本。所提出的辅助损失函数试图在训练期间额外最大化干扰扬声器ASR准确性。这将正则化网络,以实现更好的说话人分离表示,从而实现更好的目标说话人ASR准确性。我们评估了我们提出的方法,使用两个扬声器混合语音在各种信号干扰比条件。我们首先建立了一个强大的目标说话人的ASR基线的基础上,最先进的无格最大互信息。该基线在测试集上实现了18.06%的单词出错率(WER),而使用干净数据训练的正常ASR产生了完全损坏的结果(WER为84.71%)。然后,我们提出的损失进一步降低了6.6%的WER相对于这个强大的基线,实现WER为16.87%。除了准确性的提高,我们还表明,所提出的损失的辅助输出分支,甚至可以用于二次ASR干扰扬声器的语音。
2019-06-26 cs.CL cs.SD eess.AS
Speaker Re-identification with Speaker Dependent Speech Enhancement
University of Sheffield(谢菲尔德大学)
虽然深度神经网络的使用显著提高了说话人识别性能,但在声学环境较差的情况下分离说话人仍然具有挑战性。这里,语音增强方法传统上允许改进的性能。最近的工作表明,适应语音增强可以导致进一步的增益。提出了一种将语音增强和说话人识别相结合的新方法。在第一步中,生成说话人嵌入向量,在第二步中使用该向量来增强语音质量并重新识别说话人。模型在具有联合优化的集成框架中进行训练。该方法使用Voxceleb1数据集进行评估,该数据集旨在评估现实世界中的说话人识别。此外,在这项工作中加入了三种不同信噪比的噪声。实验结果表明,在各种噪声条件下,与两个基线相比,基于说话人的语音增强方法具有更好的说话人识别和语音增强性能。
2020-08-27 cs.CL cs.SD eess.AS
The IBM 2016 Speaker Recognition System
IBM(国际商业机器公司)
在本文中,我们描述了最近取得的进展,在IBM的i矢量说话人识别系统的会话语音。特别是,我们确定的关键技术,有助于显着改善我们的系统的性能,并量化他们的贡献。这些技术包括:1)最近邻判别分析(NDA)方法,其被公式化以减轻与假定高斯类条件分布的常规线性判别分析(LDA)相关联的一些限制,2)将从自动语音识别(ASR)系统导出的说话人和信道自适应特征应用于说话人识别,以及3)使用具有大量输出单元(~ 10 k个senone)的深度神经网络(DNN)声学模型来计算i向量估计过程中所需的帧级软对准。我们评估这些技术在NIST 2010年的扬声器识别评估(SRE)扩展的核心条件,涉及电话和麦克风试验。实验结果表明:1)NDA比用于说话人识别的传统参数LDA更有效(在EER方面高达35%的相对改进),2)当与原始声学特征(例如,MFCC),ASR说话者自适应特征提供说话者识别性能的增益,以及3)增加DNN声学模型中的输出单元的数量(即,将聚类状态集合大小从2k增加到10 k)提供了性能的一致改进(例如,相对于我们的基线GMM i-向量系统,从37%到57%的相对EER增益)。据我们所知,本文报告的结果代表了迄今为止NIST SRE 2010扩展核心任务的最佳性能。
2016-02-23 cs.CL cs.SD stat.ML
Speaker-Guided Encoder-Decoder Framework for Emotion Recognition in Conversation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
会话中的情感识别(ERC)任务旨在预测会话中话语的情感标签。由于说话人之间的依赖关系是复杂的、动态的,包括说话人内部和说话人之间的依赖关系,因此说话人特定信息的建模在ERC中起着至关重要的作用。尽管已有的研究者提出了多种说话人交互建模方法,但他们不能同时研究说话人内和说话人间的动态依赖关系,导致对语境的理解不足,进一步阻碍了情感预测。为此,我们设计了一种新的扬声器建模方案,探讨内和扬声器间的依赖关系,以动态的方式共同。此外,我们提出了一个演讲者引导的编码器-解码器(SGED)框架ERC,充分利用说话者信息的情感解码。我们使用不同的现有方法作为我们的框架的会话上下文编码器,显示出所提出的框架的高可扩展性和灵活性。实验结果证明了SGED的优越性和有效性。
2022-06-07 cs.CL cs.SD eess.AS
VieSpeaker: A Large-Scale Vietnamese Speaker Recognition Dataset Beyond Visual Dependency
Hanoi University of Science and Technology(河内科技大学)
提出无需面部线索的数据集构建流程,利用文本元数据和大型语言模型推理说话人身份,构建包含4715名说话人约902小时语音的越南语数据集VieSpeaker,实验证明其提升模型鲁棒性和泛化能力。
2026-06-24 cs.CL cs.SD eess.AS
Speaker-Targeted Audio-Visual Models for Speech Recognition in Cocktail-Party Environments
Carnegie Mellon University(卡内基梅隆大学)
鸡尾酒会环境中的语音识别对于现有技术的语音识别系统来说仍然是一个重大的挑战,因为从具有相似频率和时间特性的重叠语音的背景中提取单个说话者的声学信号是极其困难的。我们建议使用扬声器为目标的声学和视听模型为这项任务。我们补充的声学特征的混合DNN-HMM模型与信息的目标扬声器的身份,以及从目标扬声器的嘴部区域的视觉特征。实验进行了使用模拟鸡尾酒会数据产生的GRID视听语料库重叠两个扬声器的语音在一个单一的声学通道。我们的纯音频基线达到了26.3%的WER。视听模型将WER提高到4.4%。引入说话人身份信息的效果更明显,将WER提高到3.6%。然而,结合这两种方法并没有进一步显着提高性能。我们的工作表明,以说话人为目标的模型可以显着提高鸡尾酒会环境中的语音识别。
2019-06-13 cs.CL cs.CV cs.SD
Robust Speaker Recognition Using Speech Enhancement And Attention Model
University of Sheffield(谢菲尔德大学)
本文提出了一种将语音增强和说话人处理相结合的说话人识别系统结构。它的目的是提高说话人识别性能时,语音信号被噪声污染。这两个模块不是单独处理语音增强和说话人识别,而是通过使用深度神经网络的联合优化集成到一个框架中。此外,为了提高对噪声的鲁棒性,采用多级注意力机制来突出从时域和频域的上下文信息中学习到的说话人相关特征。为了评估所提出的方法的说话人辨识和验证性能,我们测试它的数据集VoxCeleb1,最常用的基准数据集之一。此外,我们所提出的方法的鲁棒性也测试VoxCeleb1数据时,被破坏的三种类型的干扰,一般的噪声,音乐,和串音,在不同的信噪比(SNR)水平。所得到的结果表明,在我们的实验中,使用语音增强和多阶段注意力模型的方法优于两个强基线,在大多数声学条件下不使用它们。
2020-05-22 cs.CL cs.LG cs.SD
Speaker Recognition in Bengali Language from Nonlinear Features
Jadavpur University(贾达普大学);Sir C.V. Raman Centre for Physics and Music(塞尔夫·C·V·拉曼物理与音乐中心)
说话人自动识别系统由于其广泛的应用而成为当前研究的一个重要课题。因此,获得考虑到人的说话风格、声道信息、他的声音的音色质量和关于他的声音的其他先天信息的模型是绝对必要的。孟加拉语语音识别和说话人辨识的研究在文献中很少。因此,需要涉及孟加拉科目建模我们的说话人辨识引擎。在这项工作中,我们已经提取了一些语音的声学特征,使用非线性多重分形分析。多重分形去趋势波动分析本质上揭示了与所取语音信号相关的复杂性。的源特性已被量化的帮助下,不同的技术,如相关矩阵,偏度的MFDFA频谱等。从这项研究中得到的结果给出了一个很好的识别率为孟加拉语扬声器。
2020-04-15 cs.CL cs.SD eess.AS
VoxVietnam: a Large-Scale Multi-Genre Dataset for Vietnamese Speaker Recognition
Hanoi University of Science and Technology(河内理工大学)
本文提出首个越南语多体裁说话人识别数据集VoxVietnam,含1406人超18.7万条语音,并验证多体裁训练可显著提升模型性能。
2024-12-31 cs.CL cs.SD eess.AS
Hypothesis Clustering and Merging: Novel MultiTalker Speech Recognition with Speaker Tokens
Sony Group Corporation(索尼集团公司);Carnegie Mellon University(卡内基梅隆大学)
针对未知人数且语音重叠的多说话人识别问题,提出基于说话人聚类token的编码器-解码器方法,通过AHC合并假设,在LibriMix 3-mix环境中相比传统方法显著降低错误率。
2024-09-24 cs.CL cs.SD eess.AS
A Multi Purpose and Large Scale Speech Corpus in Persian and English for Speaker and Speech Recognition: the DeepMine Database
Brno University of Technology(布尔诺理工大学);Sharif DeepMine Ltd.(谢里夫DeepMine有限公司)
DeepMine是波斯语和英语的语音数据库,旨在构建和评估文本相关,文本提示和文本无关的说话人验证以及波斯语语音识别系统。它包含了超过1850个演讲者和54万个录音,超过480小时的演讲被转录。它是第一个公开的波斯语大规模说话人确认数据库,最大的英语文本相关和文本提示的说话人确认数据库,以及最大的文本无关说话人确认的公共评估数据集。它有一个很好的覆盖年龄,性别和口音。我们为数据库的每个部分提供了几个评估协议,以便对说话人验证的不同方面进行研究。我们还提供了几个实验的结果,这些实验可以被视为基线:基于HMM的i向量用于文本相关的说话人验证,以及基于HMM和最先进的基于深度神经网络的ASR。我们证明,该数据库可以用于训练强大的ASR模型。
2019-12-08 cs.CL cs.SD eess.AS
A Fine-tuned Wav2vec 2.0/HuBERT Benchmark For Speech Emotion Recognition, Speaker Verification and Spoken Language Understanding
Zaion(Zaion公司);Zaion Lab(Zaion实验室)
语音自监督模型如wav 2 vec 2.0和HuBERT在自动语音识别(ASR)中取得了革命性的进展。然而,它们还没有被完全证明在ASR以外的任务上产生更好的性能。在这项工作中,我们探索了wav 2 vec 2.0和HuBERT预训练模型的部分微调和整体微调,用于三个非ASR语音任务:语音情感识别,说话人验证和口语语言理解。在简单的下游框架下,IEMOCAP上的语音情感识别在说话者相关设置上的加权准确率达到79.58%,在说话者无关设置上的加权准确率达到73.01%,VoxCeleb 1上的说话者验证的平均出错率达到2.36%,SLURP上的意图分类的准确率达到89.38%,时隙填充的F1达到78.92%,显示了微调wav 2 vec 2.0和HuBERT在学习韵律、声纹和语义表征方面的优势。
2022-10-03 cs.CL cs.NE cs.SD
The Newsbridge -Telecom SudParis VoxCeleb Speaker Recognition Challenge 2022 System Description
SAMOVAR, Telecom SudParis, Institut Polytechnique de Paris(巴黎高等电信学校,巴黎综合理工学院,SAMOVAR实验室);Newsbridge(Newsbridge公司)
我们描述了我们的团队在VoxCeleb Speaker Recognition Challenge 2022(VoxSRC 2022)中使用的系统。我们的解决方案是围绕一种新的语音活动检测算法组合而设计的,该算法利用了多个系统的优势。我们介绍了一种新的多流方法与决策协议的基础上分类熵。我们称这种方法为多流语音活动检测,并将其与标准基线日志嵌入,聚类和重新分割一起使用。通过这项工作,我们成功地证明了使用强大的基线并仅在语音活动检测上工作,可以实现接近最先进的结果。
2023-01-17 cs.CL cs.SD eess.AS
Multi-task Recurrent Model for Speech and Speaker Recognition
Center for Speech and Language Technologies, Research Institute of Information Technology, Tsinghua University(清华大学信息技术研究院语音与语言技术中心);Tsinghua National Laboratory for Information Science and Technology(清华信息科学与技术国家实验室);Chengdu Institute of Computer Applications, Chinese Academy of Sciences(中国科学院成都计算机应用研究所)
虽然语音和说话人识别高度相关,但它们一直被视为两个独立的任务,并由两个社区进行研究。这当然不是人们的行为方式:我们同时解读语音内容和说话者的特征。本文提出了一个统一的模型,同时进行语音和说话人识别。该模型基于一个统一的神经网络,其中一个任务的输出被馈送到另一个任务的输入,从而导致多任务递归网络。实验表明,联合模型在两个任务上都优于特定任务模型。
2016-09-27 cs.CL cs.LG cs.NE
Data augmentation versus noise compensation for x- vector speaker recognition systems in noisy environments
Avignon University(阿维尼翁大学)
可用语音数据的爆炸式增长和基于深度神经网络(DNN)的新说话人建模方法已经赋予了开发更鲁棒的说话人识别系统的能力。在DNN说话人建模技术中,x向量系统在噪声环境中表现出一定程度的鲁棒性。先前的研究表明,通过增加训练数据中说话人的数量和使用数据增强,可以在噪声环境中实现更鲁棒的说话人识别系统。在这项工作中,我们想知道,如果显式噪声补偿技术继续有效,尽管这些系统的一般噪声鲁棒性。在这项研究中,我们将使用两个不同的x向量网络:第一个在Voxceleb1(协议1)上训练,第二个在Voxceleb1 + Voxveleb2(协议2)上训练。我们建议在评分之前添加一个去噪x向量子系统。实验结果表明,在协议2中使用的x-向量系统是更强大的比另一个使用协议1。尽管有这种观察,我们将表明,显式噪声补偿在两个协议中几乎相同的EER相对增益。例如,在Protocol2中,我们使用去噪技术将EER提高了21%到66%。
2020-06-29 cs.CL cs.SD eess.AS
The xx205 System for the VoxCeleb Speaker Recognition Challenge 2020
AISpeech Ltd(思必驰有限公司)
本报告描述了提交给VoxCeleb Speaker Recognition Challenge(VoxSRC)2020第一和第二轨道的系统,该系统在两个轨道中均排名第二。探讨了系统流水线的三个关键点:(1)研究多个CNN架构,包括ResNet,Res 2Net和双路径网络(DPN)来提取x向量,(2)使用复合角裕度softmax损失来训练说话人模型,以及(3)应用分数归一化和系统融合来提高性能。在VoxSRC-20 Eval集上进行测量,提交的最佳系统在闭合条件轨道1中实现了$3.808\%$的EER和$0.1958$的MinDCF,在开放条件轨道2中分别实现了$3.798\%$的EER和$0.1942$的MinDCF。
2020-10-31 cs.CL cs.SD eess.AS
Margin Matters: Towards More Discriminative Deep Neural Network Embeddings for Speaker Recognition
AISpeech Co., Ltd.(思必驰有限公司)
最近,从说话人区分深度神经网络(DNN)中提取的说话人嵌入比传统方法(如i-vector)具有更好的性能。在大多数情况下,DNN说话人分类器使用softmax的交叉熵损失进行训练。然而,这种损失函数并没有明确地鼓励类间的可分性和类内的紧凑性。因此,嵌入对于说话人识别任务不是最佳的。为了解决这个问题,本文将三种不同的基于间隔的损失引入到深度说话人嵌入学习中,这些损失不仅分离了类,而且要求类之间有固定的间隔。可以证明,裕度是获得更具区分性的说话人嵌入的关键。实验在两个与文本无关的公共任务VoxCeleb 1和Speaker in The Wild(SITW)上进行。该方法在VoxCeleb 1测试集和SITW核心-核心测试集上分别获得了2.238%EER和2.761%EER。
2019-06-18 cs.CL cs.SD eess.AS
One model to rule them all ? Towards End-to-End Joint Speaker Diarization and Speech Recognition
Università Politecnica delle Marche(马尔凯理工大学);Carnegie Mellon University(卡内基梅隆大学)
本研究提出名为SLIDAR的联合说话人日记化与语音识别框架,采用滑动窗口和端到端日记化增强转录模型,经说话人嵌入聚类得到全局结果,在AMI语料库的近讲和远场场景中均有效。
2023-10-02 cs.CL cs.SD eess.AS
Can We Use Speaker Recognition Technology to Attack Itself? Enhancing Mimicry Attacks Using Automatic Target Speaker Selection
School of Computing(计算学院);University of Eastern Finland(东芬兰大学);MULTISPEECH(多语音实验室);Inria(法国国家信息与自动化研究所)
我们认为技术辅助模仿攻击的背景下,自动说话人验证(ASV)。我们使用ASV本身来选择要被基于人类的模仿攻击的目标扬声器。我们记录了6个天真的模仿者,我们使用i-vector系统从VoxCeleb 1和VoxCeleb 2语料库(7,365个潜在目标)中选择目标名人。攻击者试图模仿选定的目标,使用独立开发的x向量系统对话语进行ASV测试。我们的主要发现是负面的:即使攻击者针对目标说话者的一些分数稍微增加,我们的模仿也没有成功地欺骗x向量系统。然而,有趣的是,所选目标的相对顺序(最近、最远、中位数)在系统之间是一致的,这表明系统之间存在某种程度的可转移性。
2018-11-09 cs.CL eess.AS stat.ML
Human and Machine Speaker Recognition Based on Short Trivial Events
Tsinghua University(清华大学);Tsinghua National Laboratory for Information Science and Technology(清华大学信息科学技术国家实验室);JD AI Research(京东人工智能研究院)
琐碎的事件在人与人的对话中无处不在,例如,咳嗽、大笑和嗅闻。与常规语音相比,这些琐碎事件通常简短且不清楚,因此通常被认为是不具有说话人区分性的,因此在很大程度上被当前的说话人识别研究所忽视。然而,这些琐碎的事件在某些特定的情况下,如法医检查,是非常有价值的,因为他们很少受到故意的变化,所以可以用来发现真正的发言者伪装的语音。在本文中,我们收集了一个平凡的事件语音数据库,涉及75个扬声器和6种类型的事件,并报告初步的说话人识别结果在这个数据库中,由人类听众和机器。特别是,我们小组最近提出的深度特征学习技术被用来分析和识别微不足道的事件,这导致了可接受的等出错率(EER),尽管这些事件的持续时间非常短(0.2-0.5秒)。比较不同类型的事件,“嗯”似乎更具有说话者的区分力。
2018-02-06 cs.CL cs.NE cs.SD
Enhancing Dysarthric Speech Recognition for Unseen Speakers via Prototype-Based Adaptation
Nankai University(南开大学)
针对构音障碍语音识别中因说话人差异导致新用户性能下降且传统微调成本高的问题,提出一种基于原型的方法,利用HuBERT训练的特征提取器生成逐词原型并结合监督对比学习,无需额外微调即可显著提升未见说话人的识别性能,实现有效个性化DSR。
2024-07-26 cs.CL cs.SD eess.AS
Deep Speaker Embeddings for Far-Field Speaker Recognition on Short Utterances
ITMO University(ITMO大学);STC-innovations Ltd.(STC-创新有限公司)
根据早期NIST SRE(说话人识别评估)数据集获得的结果,基于深度说话人嵌入的说话人识别系统在受控条件下取得了显著的性能。从实用的角度来看,考虑到人们对虚拟助手(如亚马逊Alexa、谷歌Home、AppleSiri等)的兴趣增加,在不受控制的噪声环境条件下对短话语的说话人确认是最具挑战性和高度要求的任务之一。本文提出了旨在实现两个目标的方法:a)在存在环境噪声、混响的情况下提高远场说话人确认系统的质量; b)减少短话语的系统质量下降。出于这些目的,我们考虑了基于TDNN(时延神经网络)和ResNet(残差神经网络)块的深度神经网络架构。我们试验了最先进的嵌入提取器及其训练程序。得到的结果证实,ResNet架构优于标准的x向量方法的说话人验证质量的长时间和短时间的话语。我们还研究了语音活动检测器,不同的评分模型,自适应和得分归一化技术的影响。实验结果公开提供的数据和验证协议的VoxCeleb1,VoxCeleb2和VOiCES数据集。
2020-02-14 cs.CL cs.SD eess.AS
IITK at SemEval-2024 Task 10: Who is the speaker? Improving Emotion Recognition and Flip Reasoning in Conversations via Speaker Embeddings
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
本文针对 SemEval-2024 任务 10,提出基于说话者嵌入的掩码记忆网络用于对话情绪识别,并设计以说话者为中心的 Transformer 模型及可能触发区域进行情绪翻转推理,在子任务 3 上较基线提升 5.9 F1。
2024-04-06 cs.AI cs.CL cs.LG
Blind score normalization method for PLDA based speaker recognition
Stel - Computer Systems Ltd.(Stel计算机系统有限公司)
概率线性判别分析(PLDA)已成为说话人识别中$i$ -向量空间建模的最新方法。然而,如果注册数据大小从一个扬声器到另一个不同,则观察到性能下降。本文提出了一种解决这个问题,通过引入新的PLDA评分归一化技术。归一化参数是以盲法导出的,因此,与传统的\textit{ZT-norm}不同,不需要额外的开发数据。此外,所提出的方法已被证明是最佳的检测成本函数。在NIST SRE 2014数据库上进行的实验表明,在混合入组数量条件下的准确性有所提高。
2016-02-22 cs.CL cs.LG cs.SD
SC-SOT: Conditioning the Decoder on Diarized Speaker Information for End-to-End Overlapped Speech Recognition
Nara Institute of Science and Technology(奈良科学技术大学)
针对重叠语音中SOT隐式说话人分离不足的问题,提出SC-SOT方法,通过引入联合训练的说话人分离模型得到的说话人嵌入和活动信息作为解码器条件,提升端到端多说话人ASR的重叠语音识别效果。
2025-06-15 cs.CL cs.SD eess.AS
S+PAGE: A Speaker and Position-Aware Graph Neural Network Model for Emotion Recognition in Conversation
会话中的情感识别由于其广泛应用的必要性,近年来引起了人们的广泛关注。现有的ERC方法大多将自我语境和说话人间语境分别建模,这使得它们之间缺乏足够的交互作用。在本文中,我们提出了一种新的ERC(S+PAGE),它包含三个阶段,结合Transformer和关系图卷积网络(R-GCN)的优点,更好地上下文建模的扬声器和位置感知图神经网络模型。首先,提出了一个双流会话Transformer,用于提取每个话语的粗略的自身和说话人间上下文特征。然后,一个说话人和位置感知的会话图的构建,我们提出了一个增强的R-GCN模型,称为PAG,细化的相对位置编码指导下的粗糙特征。最后,前两个阶段的特征都被输入到一个条件随机场层来模拟情感转移。
2021-12-23 cs.CL cs.SD eess.AS
Adapting Diarization-Conditioned Whisper for End-to-End Multi-Talker Speech Recognition
本文提出一种基于Whisper的多说话人语音识别模型,通过联合解码和序列化输出提升多说话人场景下的识别性能。
2026-02-03 cs.CL cs.SD eess.AS
Speaker Recognition in the Wild
Thoughtworks;Ekstep Foundation(Ekstep基金会)
在本文中,我们提出了一个管道来找到扬声器的数量,以及属于音频数据源中的每个扬声器的音频,其中扬声器或扬声器标签的数量先验未知。我们使用这种方法作为印度语言语音识别的数据准备管道的一部分(https://github.com/Open-Speech-EkStep/vakyansh-wav2vec2-experimentary)。为了理解和评估我们提出的管道的准确性,我们引入了两个指标:集群纯度和集群均匀性。聚类纯度量化聚类的“纯”程度。另一方面,聚类均匀度量化了仅属于单个主导说话者的聚类的百分比。我们将在\ref{sec:metrics}一节中详细讨论这些指标。由于我们开发这个实用程序是为了帮助我们在训练自动语音识别(ASR)模型之前根据说话者ID识别数据,并且由于大多数数据需要相当大的努力才能抓取,我们还得出结论,98%的数据被映射到前80%的集群(通过去除具有少于固定数量的话语的任何聚类来计算--我们这样做是为了去除一些非常小的聚类,并使用该阈值为30)。
2022-05-05 cs.CL cs.SD eess.AS
Personalized Automatic Speech Recognition for a Dysarthric and Tracheostomic Speaker using Artificial Conversations
针对一位捷克语气管造口及严重构音障碍说话人,本文提出基于Whisper Base的多阶段微调ASR系统,利用人工对话协议收集的33小时数据,实现字符错误率相对降低50%,证明严重受损语音也可获得有效识别。
2026-10-05 cs.AI cs.CL cs.HC