A Speaker Diarization System for Studying Peer-Led Team Learning Groups
University of Texas at Dallas(德克萨斯大学达拉斯分校)
同伴领导的团队学习(PLTL)是一种STEM课程教学模式,小型学生团体定期会面,共同讨论课程。对PLTL会话的自动分析将有助于教育研究人员深入了解学习成果如何受到个人参与,群体行为,团队动力等的影响。为此,语音和语言技术可以提供帮助,而说话人日记技术将为分析奠定基础。在这项研究中,一个新的语料库被称为CRSS-PLTL,包含语音数据从5个PLTL团队在一个学期(10个会话,每个团队5至8名参与者)。在CRSS-PLTL中,每个参与者都佩戴一个LENA设备(便携式录音机),该设备提供事件的多个音频记录。我们提出的解决方案是无监督的,并包含一个新的在线说话人变化检测算法,称为G 3算法结合Hausdorff距离为基础的聚类,以提供更高的检测精度。此外,我们还利用跨渠道的信息来完善我们的日记化假设。所提出的系统提供了良好的改善,在日志出错率(DER)的基线LIUM系统。我们还提出了更高层次的分析,如会话中的会话轮数,以及每个发言者的发言时间(参与)。
2016-06-22 cs.SD
Rethinking Automated Voice Similarity by Shifting from EER to Embedding Geometry
National Taiwan University(国立台湾大学);NVIDIA(英伟达);Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(人工智能卓越研究中心(台大AI-CoRE))
本研究通过人类感知对齐度量发现,说话人验证模型的感知对齐度主要由学习目标而非EER决定,并揭示嵌入几何中有效维度与感知对齐的强负相关,通过维度瓶颈可显著提升对齐度,为语音相似性评估提供几何标准。
2026-09-29 cs.SD eess.AS
A study of semi-supervised speaker diarization system using gan mixture model
University of Southern California(南加州大学)
我们提出了一个新的发言人日记系统的基础上最近推出的无监督聚类技术,即生成对抗网络混合模型(GANMM)。所提出的系统使用x向量作为前端表示。频谱嵌入用于降维,然后在GANMM预训练期间进行k均值初始化。GANMM通过有效地捕获复杂的数据分布来执行无监督的说话人聚类。在AMI会议语料库上的实验结果表明,本文提出的半监督日志化系统的性能达到或超过了竞争基线。在包含50个具有不同持续时间的会话的评估集上,最佳实现的平均日志化错误率(DER)为17.11%,比信息瓶颈基线相对改善了33%,与xvector基线相当。
2019-10-24 cs.SD eess.AS
Speaker verification in mismatch training and testing conditions
Escola Universitària Politècnica de Mataró(马塔罗理工学院);University of Saarland(萨尔大学)
本文提出了一个详尽的研究几个参数化的鲁棒性,一个新的数据库专门收购的目的,说话人识别应用。该数据库包括以下变化:不同的录音会话(包括电话和麦克风录音),录音室和语言(它是从一组双语扬声器中获得的)。这项研究已经进行了协方差矩阵在文本无关的说话人确认应用程序。结果表明,多种参数的组合可以提高所有场景下的鲁棒性。
2022-04-01 cs.SD eess.AS
A comparative study of several parameterizations for speaker recognition
Escola Universitària Politècnica de Mataró(马塔罗理工学院);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本文详细研究了几种参数化方法在说话人确认和识别中的鲁棒性。我们研究了几种不匹配条件:不同的录音会话、麦克风和不同的语言(它是从一组双语扬声器中获得的)。本研究揭示了几个参数化的组合可以提高在所有情况下的鲁棒性的任务,识别和验证。此外,两种不同的方法进行了评估:矢量量化,和协方差矩阵的算术谐波球度测量。
2022-02-24 cs.LG cs.SD eess.AS
Training speaker recognition systems with limited data
Radboud University(拉德堡德大学)
这项工作考虑训练神经网络的说话人识别与一个更小的数据集大小相比,当代的工作。我们通过提出流行的VoxCeleb 2数据集的三个子集来人为地限制数据量。这些子集被限制为50,k音频文件(相对于可用的超过1,M文件),并且在扬声器数量和会话可变性的轴上变化。我们在这些子集上训练了三个说话人识别系统:X-vector、ECAPA-TDNN和wav 2 vec 2网络架构。我们表明,自我监督,wav 2 vec 2的预训练的权重大大提高性能时,训练数据是有限的。代码和数据子集可在https://github.com/nikvaessen/w2v2-speaker-few-samples上获得。
2023-02-27 cs.LG cs.SD eess.AS
Speaker attribution with voice profiles by graph-based semi-supervised learning
Microsoft(微软)
在许多实际应用中,如会议转录,需要说话人属性,其中说话人身份根据说话人语音配置文件分配给每个话语。在本文中,我们提出了解决说话人归属问题,使用基于图的半监督学习方法。为每个会话构建语音段的图,在该图上,来自语音简档的段由标记的节点表示,而来自测试话语的段是未标记的节点。节点之间的边的权重通过语音段的预训练的说话人嵌入之间的相似性来评估。说话人属性则成为图上的半监督学习问题,在图上应用两种基于图的方法:标签传播(LP)和图神经网络(GNNs)。所提出的方法能够利用图的结构信息来提高说话人归属性能。在真实会议数据上的实验结果表明,与独立处理每个话语的基线说话人识别方法相比,基于图的方法将说话人归因错误减少了68%。
2021-02-06 cs.LG cs.SD eess.AS
Sub-vector Extraction and Cascade Post-Processing for Speaker Verification Using MLLR Super-vectors
LIMSI-CNRS(法国国家科学研究中心计算机科学与自动化实验室);Université Paris-Sud(巴黎南大学);Vocapia Research(Vocapia研究公司);Université d’Avignon(阿维尼翁大学)
在本文中,我们提出了一个说话人确认系统的基础上最大似然线性回归(MLLR)的超向量,说话人的特征由m-向量。这些矢量是通过使用重叠滑动窗口的扬声器MLLR超矢量的均匀分割而获得的。我们考虑三种方法MLLR转换,基于传统的$1$最佳自动转录,格字转录,或一个简单的全球通用背景模型(UBM)。会话可变性补偿在后处理模块中使用概率线性判别分析(PLDA)或特征因子径向(EFR)来执行。或者,我们为基于MLLR超向量的说话者验证系统提出了级联后处理。在这种情况下,首先将m向量或MLLR超向量投影到通过线性判别分析(LDA)生成的低维向量空间上。接下来,将PLDA会话可变性补偿和评分应用于降维向量。这种方法结合了两种技术的优点,使PLDA参数的估计更容易。在NIST 2008和2010说话人识别评测(SRE)的电话会话上的实验结果表明,所提出的m向量系统的性能明显优于基于全MLLR超向量的传统系统。级联后处理进一步降低了所有情况下的出错率。最后,我们提出了融合的结果与标准的i-向量系统的功能,以及在得分域,证明了m-向量系统是既有竞争力又有互补性。
2016-05-12 cs.SD
CN-Celeb: multi-genre speaker recognition
Tsinghua University(清华大学);China University of Mining and Technology-Beijing(中国矿业大学(北京));Chinese University of Hong Kong(香港中文大学);Samsung AI Center(三星AI中心);Nanjing University of Science and Technology(南京理工大学)
说话人识别的研究正在扩展到解决野外条件下的脆弱性,其中流派不匹配可能是最具挑战性的,例如,在使用会话或唱歌音频进行测试时,使用阅读语音进行注册。这种不匹配导致复杂的和复合的会话间变化,这两者都是内在的(即,说话风格,生理状态)和外在的(即,记录设备、背景噪声)。遗憾的是,现有的几个多体裁语料库不仅在规模上受到限制,而且在受控条件下记录,这不能支持对多体裁问题的结论性研究。在这项工作中,我们首先发布了CN-Celeb,这是一个大规模的多体裁语料库,包括11种不同体裁的3,000个说话者的野外语音。其次,使用该数据集,我们对多体裁现象进行了全面的研究,特别是多体裁挑战对说话人识别的影响以及使用新数据集进行多体裁训练时的性能增益。
2021-11-24 cs.SD eess.AS
AISHELL-4: An Open Source Dataset for Speech Enhancement, Separation, Recognition and Speaker Diarization in Conference Scenario
Northwestern Polytechnical University(西北工业大学);Microsoft Corporation(微软公司);Beijing Shell Shell Technology Co., Ltd.(北京贝壳科技有限公司);University of Science and Technology of China(中国科学技术大学)
在本文中,我们提出了AISHELL-4,一个相当大的真实记录的普通话语音数据集收集的8通道圆形麦克风阵列在会议场景中的语音处理。该数据集包括211个记录的会议,每个会议有4至8名发言者,总时长为120小时。该数据集旨在从三个方面搭建多说话人处理前沿研究与实际应用场景的桥梁。AISHELL-4通过真实的录音会议,在对话中提供逼真的声学效果和丰富的自然语音特征,如短暂的停顿,语音重叠,快速的发言者转向,噪音等。同时,AISHELL-4为每个会议提供准确的转录和发言者语音活动。这使得研究人员能够探索会议处理的不同方面,从语音前端处理,语音识别和扬声器日记等单个任务,到多模态建模和相关任务的联合优化。鉴于大多数用于多说话者任务的开源数据集都是英语的,AISHELL-4是唯一用于会话语音的普通话数据集,为语音社区的数据多样性提供了额外的价值。我们还发布了基于PyTorch的培训和评估框架作为基线系统,以促进该领域的可重复研究。
2021-08-10 cs.SD eess.AS
Speaker diarization using latent space clustering in generative adversarial network
University of Southern California(南加州大学);Weill Cornell Medicine(威尔康奈尔医学院);University of California Los Angeles(加州大学洛杉矶分校);University of California, San Francisco(加州大学旧金山分校)
在这项工作中,我们提出了深潜空间聚类的发言人日记使用生成对抗网络(GAN)的反投影与编码器网络的帮助下。建议的日志化系统与GAN损失、潜在变量恢复损失和聚类特定损失一起训练。它在输入端使用x向量扬声器嵌入,而潜变量是使用原始扬声器标签从连续随机变量和离散独热编码变量的组合中采样的。我们基准我们提出的系统上的AMI会议语料库,和两个儿童-临床医生互动语料库(ADOS和BOSCC)从自闭症诊断域。ADOS和BOSCC包含诊断和治疗结果的会议,分别在临床环境中获得的语言儿童和青少年自闭症。实验结果表明,我们提出的系统显着优于国家的最先进的x向量为基础的日记系统对这些数据库。此外,我们执行嵌入融合与x向量,以实现31%,36%和49%的相对DER分别提高AMI评估,ADOS和BOSCC语料库相比,使用Oracle语音分割的x向量基线。
2019-10-24 cs.SD eess.AS
NTT speaker diarization system for CHiME-7: multi-domain, multi-microphone End-to-end and vector clustering diarization
NTT Corporation(日本电报电话公司)
本文提出一种面向CHiME-7的多域多麦克风说话人分离系统,结合WPE去混响、逐通道EEND-VC、DOVER-LAP整合及基于伪标签的自监督自适应,在开发集和评估集上分别相对基线提升65%和62%,获得第三名。
2023-09-22 cs.SD eess.AS
Rethinking the visual cues in audio-visual speaker extraction
Tianjin University(天津大学);National University of Singapore(新加坡国立大学);Shenzhen Research Institute of Big Data(深圳大数据研究院)
针对AVSE中说话人身份与同步性两类视觉线索作用不明的问题,提出解耦学习策略,并构建可解释的DAVSE模型,证实同步性线索贡献更高。
2023-06-05 cs.SD eess.AS
Weakly Supervised PLDA Training
Tsinghua University(清华大学);Pachira(帕奇拉)
PLDA是一种流行的i向量模型归一化方法,它在说话人确认中具有最先进的性能。然而,PLDA训练需要大量标记的开发数据,这在大多数情况下非常昂贵。我们提出了一种廉价的PLDA训练方法,它假设同一会话中的扬声器可以很容易地分离,并且不同会话中的扬声器只是不同的。这导致“弱标签”,不完全准确但便宜,导致PLDA培训薄弱。我们在现实生活中的大规模电话客户服务上的实验结果表明,当人类标记的数据有限时,弱训练可以提供良好的性能。更有趣的是,弱训练可以作为一种判别式自适应方法,当人类标记的数据不足时,这种方法比普遍的无监督方法更有效。
2017-05-23 cs.AI cs.CL cs.LG
Improving Short Utterance PLDA Speaker Verification using SUV Modelling and Utterance Partitioning Approach
Queensland University of Technology(昆士兰科技大学);University of Jaffna(贾夫纳大学)
本文分析了基于话语分割和短话语方差建模的概率线性判别分析(PLDA)说话人确认方法。实验研究发现,如果将长注册话语划分为多个短话语并将短话语i向量的平均值用作注册数据,而不是使用单个长话语作为注册数据,则改善了高斯PLDA(GPLDA)说话人确认。这是因为短话语i向量具有说话者、会话和话语变化,并且话语划分方法补偿了话语变化。随后,本文还采用话语划分方法对SUV-PLDA进行了研究,基于话语分割的SUV-GPLDA系统在NIST 2008和NIST 2010截断的10秒-10秒评估条件下的EER相对提高了9%和16%,因为话语分割方法补偿了话语变化,SUV建模方法补偿了全长开发数据和短-长度评估数据。
2016-10-17 cs.SD
DNN based Speaker Recognition on Short Utterances
Queensland University of Technology(昆士兰科技大学);University of Jaffna(贾夫纳大学)
本文研究了有限语音数据在使用深度神经网络(DNN)方法进行说话人确认的背景下的影响。能够减少所需的语音数据的长度是非常重要的说话人确认系统在现实世界中的应用。实验研究发现,基于DNN-senone的高斯概率线性判别分析(GPLDA)系统在NIST 2010 coreext-coreext和截断15 sec-15 sec评估条件下,EER值分别比GMM-UBM GPLDA系统提高了50%和18%以上。此外,当GPLDA模型在短长度话语(30秒)而不是全长话语(2分钟)上训练时,DNN-senone GPLDA系统在截断的15秒-15秒条件下实现了EER值的7%以上的改善。这是因为短长度发展i向量具有说话者、会话和语音变化,并且GPLDA能够稳健地对这些变化进行建模。对于几个现实世界的应用,较长的话语(2分钟)可以用于注册,而较短的话语(15秒)需要用于验证,并且在这些条件下,DNN-senone GPLDA系统实现了超过GMM-UBM GPLDA系统的EER值的26%的改善。
2016-10-11 cs.SD
Listening to Multi-talker Conversations: Modular and End-to-end Perspectives
Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究说话人归属的多说话人语音识别问题,提出模块化(基于说话人日志、目标说话人提取与ASR的流水线)与端到端(SURT模型联合训练)两种视角,有效解决了多方自由对话的识别与转录。
2024-02-14 cs.SD eess.AS
Generation of Speaker Representations Using Heterogeneous Training Batch Assembly
Academia Sinica(中央研究院)
在传统的说话人日志化系统中,一个经过良好训练的说话人模型是从长语音会话中连续和部分重叠的片段中提取表示的关键组件。为了与后端分割和聚类更加一致,我们提出了一种新的基于CNN的说话人建模方案,该方案考虑了每个训练段和批次中说话人的异质性。我们将训练数据随机合成地扩充为一组片段,每个片段包含多个说话者和一些重叠部分。该方法根据说话人占用率对每段语音进行软标记,并在模型训练中采用标准交叉熵损失。通过这种方式,说话人模型应该能够为每个多说话人段生成几何上有意义的嵌入。实验结果表明,我们的系统是优于基线系统使用x向量在两个说话人日记任务。在NIST SRE和Switchboard数据集上训练的CALLHOME任务中,我们的系统实现了DER的相对减少12.93%。在CHiME-6的轨道2中,我们的系统分别提供了DER、JER和WER的13.24%、12.60%和5.65%的相对降低。
2022-03-30 cs.AI cs.CL cs.LG
All-neural online source separation, counting, and diarization for meeting analysis
NTT Communication Science Laboratories, NTT Corporation(NTT集团NTT通信科学实验室);Paderborn University(帕德博恩大学)
自动会议分析包括说话人计数、说话人日志化、重叠语音的分离以及随后的自动语音识别。这一切都必须在任意长的会话上进行,理想情况下,以在线或块在线的方式进行。虽然在个别任务上取得了重大进展,但本文首次提出了一种全神经方法来同时进行说话人计数,日记化和源分离。基于NN的估计器以块在线方式操作并跟踪扬声器,即使他们在许多时间块内保持沉默,从而为分离的源学习稳定的输出顺序。神经网络随着时间以及源的数量而循环。仿真实验表明,该算法在实现最佳分离性能的同时,还能获得良好的日志化和源计数结果。它甚至可以很好地推广到看不见的大量块。
2019-02-21 cs.LG cs.SD eess.AS
Using Speech Technology for Quantifying Behavioral Characteristics in Peer-Led Team Learning Sessions
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
同伴领导的团队学习(PLTL)是一种学习方法,在这种方法中,同伴领导者协调一小组学生合作解决技术问题。PLTL已被美国几所大学的各种科学,工程,技术和数学课程采用。本文提出并评估了一个用于PLTL群体行为分析的语音系统。它可以帮助确定PLTL的最佳做法。CRSS-PLTL语料库用于评估开发的算法。在本文中,我们开发了一个强大的语音活动检测(SAD)融合的输出的DNN为基础的基音提取器和一个无监督的SAD的基础上发声措施。鲁棒的说话人日志化系统由瓶颈特征(来自堆叠式自动编码器)和基于HMM的联合分割和聚类系统组成。行为特征,如参与,优势,重点,好奇心和参与属于所有学生的语音段的声学分析提取。提出了一种新的问句转折检测方法,并对PLTL语料进行了等出错率分析。此外,还提出了一种鲁棒的语音强调区域检测方法。此外,我们进行了探索性的数据分析,以了解目前在CRSS-PLTL语料库中的失真,因为它是在自然的情况下收集。地面真理李克特量表评级被用来捕捉团队的动态方面的学生的各种评价问题的反应。结果表明,所提出的系统的适用性,如PLTL,工作场所的会议等小群体的对话行为分析。关键词-行为语音处理,瓶颈特征,Curvature,深度神经网络,优势,自动编码器,强调,参与,同伴领导的团队学习,扬声器日记,小组对话
2017-04-24 cs.SD
Learning Domain Invariant Representations for Child-Adult Classification from Speech
University of Southern California(南加州大学);University of California, San Francisco(加州大学旧金山分校)
ASD(自闭症谱系障碍)的诊断程序涉及儿童和临床医生之间的半自然互动。分析这些会话的计算方法需要一个端到端的语音和语言处理管道,从原始音频到具有临床意义的行为特征。该流水线的一个重要组成部分是自动检测谁在说话的能力,执行儿童-成人说话者分类。由于与参与者的语音和背景条件相关联的可变性,这种二元分类任务经常被混淆。此外,训练数据的稀缺往往限制了传统深度学习方法的直接应用。在这项工作中,我们使用不需要标记目标域数据的域对抗学习来解决两个主要的可变性来源-孩子的年龄和数据源收集位置。我们使用两种方法,生成对抗训练与反向标签损失和梯度反转层学习扬声器嵌入不变的上述可变性来源,并分析不同的条件下,所提出的技术改进传统的学习方法。使用大型语料库的ADOS-2(自闭症诊断观察时间表,第2版)会议,我们表现出高达13.45%和6.44%的相对改善比传统的学习方法。
2019-10-25 cs.LG cs.SD eess.AS
pTSE-T: Presentation Target Speaker Extraction using Unaligned Text Cues
University of Science and Technology Beijing (USTB), China(科学技术大学(USTB));Tongyi Lab, Alibaba Group, Singapore(通义实验室,阿里巴巴集团,新加坡);Hong Kong University of Science and Technology (HKUST), China(香港科技大学(HKUST))
本文提出pTSE-T方法,利用非对齐文本内容中的语义提示提取目标说话人语音,通过融合音频特征与内容语义生成时间-频率掩码,提升噪声抑制效果,实验结果显示在SI-SDRi、SDRi、PESQi和STOIi指标上均优于现有方法。
2026-04-25 cs.MM cs.SD eess.AS
Rethinking Speaker Embeddings for Speech Generation: Sub-Center Modeling for Capturing Intra-Speaker Diversity
Center for Language and Speech Processing (CLSP), Johns Hopkins University, USA(语言与语音处理中心(CLSP),约翰霍普金斯大学,美国);Center for Robust Speech Systems (CRSS), The University of Texas at Dallas, USA(稳健语音系统中心(CRSS),德克萨斯大学达拉斯分校,美国);Language Technologies Institute (LTI), Carnegie Mellon University, USA(语言技术研究所(LTI),卡内基梅隆大学,美国)
该研究针对语音生成中说话人嵌入的设计缺陷,提出子中心建模框架,在零样本语音转换任务中提升了可懂度、音高变异性与自然度,同时保留了说话人验证性能。
2026-08-31 cs.LG eess.AS
Rethinking Audio-visual Synchronization for Active Speaker Detection
Tsinghua University(清华大学);Institute for Artificial Intelligence, Tsinghua University (THUAI)(清华大学人工智能研究院);Beijing National Research Center for Information Science and Technology (BNRist)(北京信息科学与技术国家研究中心);University of Rochester(罗切斯特大学)
主动说话人检测(ASD)系统是分析多人会话的重要模块。它们的目标是检测在任何给定时间,哪些说话者或没有人在视觉场景中说话。现有的ASD研究对主动说话者的定义并不一致。我们在这项工作中澄清的定义,并要求同步之间的音频和视觉说话活动。这种定义的澄清是由我们广泛的实验,通过这些实验,我们发现,现有的ASD方法无法建模的视听同步,往往分类为主动说话不同步的视频。为了解决这个问题,我们提出了一个跨模态的对比学习策略,并应用位置编码在注意力模块的监督ASD模型,以利用同步线索。实验结果表明,我们的模型可以成功地检测不同步的说话不说话,解决了现有模型的局限性。
2022-07-10 cs.AI cs.CV cs.MM
VoxAnon: A balanced dataset for a fair evaluation of speech anonymization
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学与应用实验室);LIA(阿维尼翁语言与声学实验室);Avignon University(阿维尼翁大学)
针对语音匿名化评估中存在的属性分布偏差问题,本文构建了平衡属性的VoxAnon数据集,通过对比实验揭示了属性不平衡对隐私估计的影响,为语音匿名化的公平评估提供了基准资源。
2026-10-12 cs.SD eess.AS
Brainprint-Modulated Target Speaker Extraction
1 College of Electronic;Optical Engineering \& College of Flexible Electronics (Future Technology), Nanjing University of Posts;Telecommunications, Nanjing, China 2 School of Artificial Intelligence, School of Data Science, SRIBD, The Chinese University of Hong Kong, Shenzhen, China
针对神经引导目标说话人提取中EEG非平稳性和个体差异问题,提出BM-TSE框架,通过联合说话人识别与听觉注意力解码学习个性化脑图嵌入,动态调制音频分离,在KUL和Cocktail Party数据集上取得最优性能。
2025-09-22 cs.LG cs.SD
Rethinking Discrete Speech Representation Tokens for Accent Generation
本文重新思考离散语音表示标记在口音生成中的作用,提出统一评估框架,发现层选择对保留口音信息影响最大,ASR监督会减少口音信息,且简单代码书缩减无法有效分离口音信息。
2026-03-09 cs.CL cs.SD eess.AS
A Geometry-Limited Identification Floor and Its Consequences for Voice-Clone Attribution in Professional Voice Actors
independent researcher(独立研究者)
研究配音演员语音克隆归因问题,指出自然防御在声音嵌入空间拥挤时失败,存在错误识别下限和错误归因,通用编码器不公平,提出需扩展防欺骗感知说话者验证到开放集1:N来实现稳健归因。
2026-08-04 cs.SD eess.AS
Neural Concatenative Singing Voice Conversion: Rethinking Concatenation-Based Approach for One-Shot Singing Voice Conversion
ARC Lab, Tencent PCG(腾讯PCG ARC实验室)
针对任意到任意歌声转换中的“音色泄漏”问题,提出NeuCoSVC框架,利用自监督学习特征替换和保留源音频谐波与响度实现一次性转换,有效解决音色泄漏并在多场景下优于传统解耦方法。
2024-01-08 cs.SD eess.AS
Adaptation of Tongue Ultrasound-Based Silent Speech Interfaces Using Spatial Transformer Networks
University of Szeged(塞格德大学);ELRN-SZTE Research Group on Artificial Intelligence(ELRN-塞格德大学人工智能研究组);Budapest University of Technology and Economics(布达佩斯技术与经济大学)
本研究通过为舌部超声静默语音接口添加空间变换网络模块,实现仅调整该模块即可大幅降低均方误差,实现快速跨说话人与跨会话自适应。
2023-10-17 cs.LG cs.SD eess.AS
Absolute decision corrupts absolutely: conservative online speaker diarisation
Naver Corporation(NAVER公司)
我们的重点在于开发一个在线演讲者diarisation框架,该框架在不同的领域表现出强大的性能。在在线演讲者日记中,实时生成的输出是不可逆的,并且在输入会话的早期阶段的一些误判可能导致灾难性的结果。我们假设,谨慎地增加估计扬声器的数量是至关重要的许多其他因素。因此,我们提出的框架包括当系统判断过去增加发言者人数是错误的时,减少一名发言者。我们还采用了双缓冲区,检查点和质心,其中检查点与轮廓系数相结合,以估计说话人的数量和质心代表说话人。同样,我们认为,可以从一个扬声器产生一个以上的质心。因此,我们设计了一个基于聚类的标签匹配技术,实时分配标签。由此产生的系统是轻量级的,但令人惊讶的有效。该系统在DIHARD 2和3数据集上展示了最先进的性能,在AMI和VoxConverse测试集上也具有竞争力。
2022-11-09 cs.SD eess.AS
Study on Inter and Intra Speaker Variability in Speaker Recognition
本文利用VoxTube数据集分析了基于神经网络的说话人识别系统中说话人间与说话人内变异性的依赖关系,并发布了语音上传日期元数据,为从媒体平台收集和过滤数据提供最佳实践指南。
2024-11-12 eess.AS
Using the enrollment gallery as evidence: affine-invariant score calibration for target speaker tagging
该研究针对目标说话人标注问题,提出声纹库亲和度验证的无 cohort 仿射不变分数校准方法,在合成基准和会议语料库上提升了标注准确率,结合传统归一化后效果更佳。
2026-10-09 eess.AS
Multi-scale speaker embedding-based graph attention networks for speaker diarisation
Naver Corporation(NAVER 公司)
这项工作的目标是有效的扬声器diarisation使用多尺度扬声器嵌入。通常,根据用于嵌入提取的段长度,在识别短说话者段的能力和嵌入的辨别能力之间存在权衡。为此,最近的工作提出了使用多尺度嵌入,其中使用具有不同长度的段。然而,分数是使用加权求和方案组合的,其中权重在训练阶段后固定,而片段长度的重要性在单个会话中可能会有所不同。为了解决这个问题,我们在本文中提出了三个关键贡献:(1)我们提出了用于多尺度说话人diarisation的图形注意力网络;(2)我们设计了尺度指标,以利用每个嵌入的尺度信息;(3)我们调整了基于注意力的聚合,以利用来自多尺度嵌入的预先计算的亲和矩阵。我们证明了我们的方法在各种数据集中的有效性,其中构成主要指标的说话人混淆平均相对于基线下降超过10%。
2021-10-07 cs.AI eess.AS
VoxMem: Benchmarking Multimodal Memory in Large Audio Language Models
University of Melbourne(墨尔本大学);University of New South Wales(新南威尔士大学)
VoxMem提出一个多模态记忆基准,通过声学证据与记忆操作分类法,在34,743个口语会话上评估15个大型音频语言模型,发现模型在保留说话内容上远优于其他声学信息,且复杂操作下性能显著下降。
2026-09-29 cs.SD eess.AS