Multi-Label Training for Text-Independent Speaker Identification
University of Nanjing(南京大学)
本研究提出文本无关说话人识别的多标签训练策略,通过为说话人语音子组分设多标签实现识别,兼具集成学习优势且不显著增加负担,在纯净和含噪环境下均优于常规方法,可广泛适配现有模型提升性能。
2024-08-16 cs.SD eess.AS
Lightweight Speaker Verification for Online Identification of New Speakers with Short Segments
Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas (IIMAS), Universidad Nacional Autónoma de México (UNAM)(墨西哥国立自治大学应用数学与系统研究所(IIMAS))
最近提出了一种灵活的说话人识别方法,即两个音频片段是否属于同一说话人,因为当新的说话人出现在听觉场景中时,它不需要重新训练。尽管许多当前技术已经实现了高性能,但是它们需要相当高的存储量,并且对于它们的输入音频段需要特定的最小长度。这些要求限制了这些技术在服务机器人、物联网和虚拟助手等场景中的适用性,在这些场景中,计算资源有限,用户往往会在短时间内发言。在这项工作中,我们提出了一个基于BLSTM的模型,达到了性能水平的当前状态的最先进的使用短输入音频段时,同时需要一个相当少的内存量。此外,据我们所知,一个完整的说话人识别系统还没有报告使用这种验证范式。因此,我们提出了一个完整的在线扬声器标识符,一个简单的投票系统的基础上,这表明,所提出的基于BLSTM的模型实现了类似的性能在识别扬声器在线相比,目前的最新技术水平。
2020-10-23 cs.SD eess.AS
DDPO-VC: Speaker De-Identification via Diffusion Denoising Policy Optimization
University of California, Berkeley(加州大学伯克利分校)
提出DDPO-VC框架,通过强化学习后训练扩散模型,利用隐私与效用教师奖励信号,在说话人去识别中平衡隐私保护与下游任务效用,优于多种强基线方法。
2026-07-03 cs.SD eess.AS
Few-Shot Speaker Identification Using Depthwise Separable Convolutional Network with Channel Attention
South China University of Technology(华南理工大学);Guangdong Polytechnic of Science and Technology(广东科学技术职业学院)
虽然Few-Shot学习在图像和音频分类领域引起了广泛的关注,但很少有人在Few-Shot说话人识别方面做出努力。在Few-Shot学习任务中,过拟合是一个棘手的问题,主要是由于训练和测试条件之间的不匹配。在本文中,我们提出了一个Few-Shot说话人识别方法,可以减轻过拟合问题。在所提出的方法中,使用原型损失函数来训练具有信道注意力的深度可分离卷积网络的模型。实验数据集是从三个公开的语音语料库:Aishell-2,VoxCeleb 1和TORGO。实验结果表明,该方法优于国家的最先进的方法Few-Shot说话人识别的准确性和F值。
2022-04-24 cs.SD eess.AS
Enhancing Open-Set Speaker Identification through Rapid Tuning with Speaker Reciprocal Points and Negative Sample
School of Communication and Information Engineering, Shanghai University(上海大学通信与信息工程学院);School of Communication(通信学院);Information Engineering, Shanghai University(上海大学信息工程学院)
本文提出一种用于家庭环境的开集说话人识别框架,结合预训练WavLM、少样本快速调优及SRPL+负样本学习,使开集性能较直接使用WavLM base+提升达27%。
2024-09-24 cs.SD eess.AS
Joint Speaker Counting, Speech Recognition, and Speaker Identification for Overlapped Speech of Any Number of Speakers
Microsoft Corp.(微软公司)
本文提出了一个端到端的说话人属性自动语音识别模型,该模型将说话人计数、语音识别和说话人识别统一在单声道重叠语音上。我们的模型是建立在序列化输出训练(SOT)与基于注意力的编码器-解码器,最近提出的方法,用于识别重叠的语音,包括任意数量的扬声器。我们通过引入一个扬声器库存作为辅助输入,以产生扬声器标签以及多扬声器transmittance扩展SOT。所有模型参数均采用说话人属性最大互信息准则进行优化,该准则代表了重叠语音识别和说话人识别的联合概率。在LibriSpeech语料库上的实验表明,该方法在说话人属性的误识率上明显优于分别进行重叠语音识别和说话人识别的基线方法。
2020-08-08 cs.CL cs.SD eess.AS
Pretraining Multi-Speaker Identification for Neural Speaker Diarization
NTT Corporation(日本电信电话公司)
本文提出预训练多说话人识别模型作为替代方案,利用大规模说话人识别数据集,无需模拟对话数据即可实现高精度轻量级的局部说话人日志模型。
2025-05-30 cs.SD eess.AS
A Study of Acoustic Features in Arabic Speaker Identification under Noisy Environmental Conditions
USTHB(阿尔及尔科技大学)
语音识别领域的主要部分之一是选择声学特征,这些特征必须对语音信号的变化、失配条件和噪声环境具有鲁棒性。因此,已经开发了不同的语音特征提取技术。在本文中,我们研究了几个前端技术在阿拉伯语说话人识别的鲁棒性。我们评估了五个不同的功能,在不同的信号噪声比(SNR)的串音,工厂和地铁条件。实验结果表明,两种听觉特征,即伽玛频率倒谱系数(GFCC)和功率归一化倒谱系数(PNCC),与它们的组合不同,其性能明显优于传统的说话人特征,即梅尔频率倒谱系数(MFCC)。
2021-10-23 cs.SD eess.AS
Speaker Diarization and Identification from Single-Channel Classroom Audio Recording Using Virtual Microphones
University of New Mexico(新墨西哥大学)
在嘈杂的音频记录中,特别是那些来自协作学习环境的音频记录中,说话人识别可能极具挑战性。有必要从同时说话的其他学生中识别出在小组中说话的个别学生。为了解决这个问题,我们假设每个学生组使用单个麦克风,而不访问以前的大型数据集进行训练。本文提出了一种基于互相关模式的说话人识别方法。通过使用从视频记录中观察到的近似扬声器几何形状来模拟虚拟麦克风。基于每个虚拟麦克风的房间脉冲响应的估计来构造模式。然后使用相关模式来识别说话者。所提出的方法通过课堂音频进行了验证,并显示出大大优于Google Cloud和Amazon AWS提供的日志服务。
2022-07-01 cs.SD eess.AS
A New Nonlinear speaker parameterization algorithm for speaker identification
Escola Universitària Politècnica de Mataró(马塔罗理工学院)
本文提出了一种新的基于非线性预测的参数化算法,它是对经典LPC参数的扩展。通过两种不同的方法估计参数性能:算术调和球度(AHS)和自回归向量模型(ARVM)。提出了两种基于神经预测编码的参数化方法:经典神经网络初始化和线性初始化。我们将这两个参数应用到说话人辨识中。第一个参数获得较小的速率。我们展示了第一个参数如何与经典参数(LPCC,MFCC等)相结合。为了改善仅一种经典参数化的结果(MFCC提供97.55%,MFCC+NPC提供98.78%)。对于线性初始化,我们获得了100%,这是一个很大的改进。这项研究开辟了一条新的途径,不同的参数化方案,提供更好的准确性说话人识别任务。
2022-04-06 cs.SD eess.AS
Emotional Speaker Identification using a Novel Capsule Nets Model
University of Sharjah(沙迦大学);Prince Sattam bin Abdulaziz University(萨塔姆·本·阿卜杜勒-阿齐兹亲王大学);Bolu Abant Izzet Baysal University(博卢阿班特伊泽特贝萨尔大学)
说话人识别系统广泛用于各种应用中以通过其语音来识别人;然而,语音信号的高度可变性使其成为具有挑战性的任务。处理情绪变化是非常困难的,因为情绪会改变人的声音特征;因此,声学特征不同于在中性环境中用于训练模型的声学特征。因此,在中性语音上训练的说话人识别模型无法正确识别情绪压力下的说话人。虽然使用卷积神经网络(CNN)在说话人辨识方面取得了相当大的进步,但CNN无法利用低级特征之间的空间关联。受最近引入的基于深度学习的胶囊网络(CapsNets)的启发,该网络克服了CNN在通过池化技术保留低级特征之间的姿势关系方面的不足,本研究调查了使用CapsNets从情感语音记录中识别说话者的性能。提出了一种基于CapsNet的说话人辨识模型,并使用三个不同的语音数据库进行评估,阿联酋语音数据库、SUSAS数据集和RAVDESS(开放获取)。所提出的模型也比较基线系统。实验结果表明,新提出的CapsNet模型的训练速度更快,并提供了更好的结果比目前最先进的计划。路由算法对说话人辨识性能的影响也进行了研究,通过改变迭代次数,有和没有解码器网络。
2022-01-09 cs.SD eess.AS
Emirati-Accented Speaker Identification in each of Neutral and Shouted Talking Environments
University of Sharjah(沙迦大学)
本工作致力于采集印尼口音语音数据库(Arabic United Arab Emirates数据库)在中性和大声说话环境中的每一个中,以研究和增强基于每一个一阶循环超分段隐马尔可夫模型的大声说话环境中的文本无关的阿拉伯语口音说话人辨识性能(CSPHMM1)、二阶循环超分段隐马尔可夫模型(CSPHMM2)和三阶循环超分段隐马尔可夫模型(CSPHMM3)作为分类器。在这项研究中,我们的数据库收集了50个阿联酋母语者(每种性别25个)在每个中性和大声说话环境中说出8个常见的阿联酋句子。我们收集的数据库中提取的特征被称为梅尔频率倒谱系数(MFCC)。我们的研究结果表明,在中性环境中,平均的阿拉伯口音说话人辨识性能分别为94.0%,95.2%和95.9%的CSPHMM1,CSPHMM2和CSPHMM3的基础上。另一方面,基于CSPHMM1、CSPHMM2和CSPHMM3,在受噪环境中的平均性能分别为51.3%、55.5%和59.3%。基于CSPHMM 3 s的说话人识别系统在大噪声环境下的平均说话人辨识性能与人类听者的主观评价结果非常接近。
2018-03-31 cs.SD eess.AS
Timbre-reserved Adversarial Attack in Speaker Identification
Northwestern Polytechnical University(西北工业大学)
针对说话人识别系统,提出一种音色保留对抗攻击方法,通过在语音转换模型训练中引入对抗约束,生成既保留目标音色又能欺骗SID系统的伪造音频。
2023-09-02 cs.SD eess.AS
Sum-Product Networks for Robust Automatic Speaker Identification
Griffith University(格里菲斯大学)
我们引入和积网络(SPN)的强大的语音处理,通过一个简单的强大的自动说话人识别(ASI)的任务。SPN是能够回答多个概率查询的深度概率图模型。我们表明,SPN能够保持强大的边缘概率密度函数(PDF)的频谱特征,可靠地代表语音。虽然目前的SPN工具包和学习算法还处于起步阶段,我们的目标是表明,SPN有潜力成为一个有用的工具,强大的语音处理在未来。SPN扬声器模型在这里评估现实世界的非平稳和有色噪声源在多个信噪比(SNR)水平。在ASI准确性方面,我们发现SPN说话人模型比两个最近的基于卷积神经网络(CNN)的ASI系统更鲁棒。此外,SPN扬声器模型比基于CNN的扬声器模型包含的参数少得多。结果表明,SPN说话人模型可以是一个强大的,参数有效的替代ASI。此外,这项工作表明,SPN在相关的任务,如强大的自动语音识别(ASR)和自动说话人验证(ASV)的潜力。可用性:SPN ASI系统可在https://github.com/anicolson/SPN-ASI上获得。
2020-08-13 cs.SD eess.AS
Quantifying Cochlear Implant Users' Ability for Speaker Identification using CI Auditory Stimuli
University of Texas at Dallas(德克萨斯大学达拉斯分校)
说话人识别是一种生物识别方式,它使用潜在的语音信息来确定说话人的身份。噪声条件下的说话人辨识(SID)是语音处理领域中具有挑战性的课题之一,特别是当涉及到人工耳蜗(CI)个体时。本研究分析并量化了CI用户基于直接电听觉刺激进行说话人辨识的能力。CI用户使用有限数量的频带(8至22),并使用电极直接刺激基底膜/耳蜗,以便识别语音信号。CI频率范围内的电刺激的稀疏性是人类语音识别以及SID性能损失的主要原因。因此,假设CI用户可能无法识别和区分给定相关信息(例如共振峰频率、音高等)的扬声器,这些信息会丢失给未模拟的电极。为了量化该假设,使用CI高级组合编码器(ACE)信号处理策略来处理输入语音信号以构建CI听觉电描记图。建议的研究使用50扬声器从三个不同的数据库中的每一个使用两个不同的分类器在安静的情况下训练系统,并在安静和嘈杂的条件下进行测试。客观结果表明,CI用户可以有效地识别有限数量的说话人。然而,当系统中添加更多扬声器以及引入噪声条件时,它们的性能会降低。因此,该信息可以用于改进CI用户信号处理技术以改进人类SID。
2019-07-31 cs.SD eess.AS
Speaker-Independent Microphone Identification in Noisy Conditions
Politecnico di Milano(米兰理工大学);Fraunhofer Institute for Digital Media Technology(弗劳恩霍夫数字媒体技术研究所);TU Ilmenau(伊尔梅瑙工业大学)
这项工作提出了一种从语音记录中识别源设备的方法,该方法应用基于神经网络的去噪,以减轻使用噪声注入的反取证攻击的影响。通过比较去噪对麦克风分类的三个最先进特征的影响,确定其在应用和不应用去噪的情况下的辨别能力,来评估该方法。所提出的框架实现了显着的性能提高嘈杂的材料,更一般地说,验证了有用的应用去噪之前的设备识别嘈杂的录音。
2023-01-26 cs.SD eess.AS
Speaker Identification from emotional and noisy speech data using learned voice segregation and Speech VGG
Khalifa University(哈利法大学);Mohammed VI Polytechnic University(穆罕默德六世理工大学);University of Sharjah(沙迦大学)
语音信号比其他信号受到更多的声学干扰和情感因素的影响。含噪语音数据是实时语音处理应用的一个挑战。必须找到一种有效的方法,将主导信号与其他外部影响隔离开来。一个理想的系统应该有能力准确地识别所需的听觉事件,从一个复杂的场景中采取了不利的情况。本文提出了一种新的方法,使用预先训练的深度神经网络掩码和语音VGG,在情感和干扰等不利条件下进行说话人识别。该模型在英语和阿拉伯语的情感语音数据上取得了优于现有文献的性能,在瑞尔森视听数据集(RAVDESS)、模拟和实际压力下的语音数据集(SUSAS)和阿拉伯口音语音数据集(ESD)上的平均说话人识别率分别为85.2%、87.0%和86.6%。
2022-10-23 cs.SD eess.AS
Improved Relation Networks for End-to-End Speaker Verification and Identification
LG Ads Solutions(LG广告解决方案公司)
现实世界场景中的说话者识别系统的任务是在一组登记的说话者中识别说话者,对于每个登记的说话者仅给出几个样本。本文展示了元学习和关系网络在此用例中的有效性。我们提出了改进的关系网络的说话人确认和Few-Shot(看不见的)说话人识别。关系网络的使用有助于前端扬声器编码器和后端模型的联合训练。受说话人验证中使用原型网络的启发,为了提高说话人嵌入的可辨别性,我们训练模型,以在训练集中存在的所有说话人中对当前集的样本进行分类。此外,我们提出了一种新的训练机制,通过从给定的元学习事件中提取更多的信息来加快模型收敛,而额外的计算可以忽略不计。我们评估VoxCeleb,SITW和VCTK数据集上的说话人验证和看不见的说话人识别的任务所提出的技术。所提出的方法优于现有的方法一致的任务。
2022-07-21 cs.LG cs.SD eess.AS
Attention-based multi-task learning for speech-enhancement and speaker-identification in multi-speaker dialogue scenario
National Chiao Tung University(国立交通大学);Academia Sinica(中央研究院);Yuan Ze University(元智大学)
多任务学习(MTL)和注意机制已被证明可以有效地提取鲁棒的声学特征,用于噪声环境中的各种语音相关任务。在这项研究中,我们提出了一个基于注意力的MTL(ATM)的方法,集成MTL和注意力加权机制,同时实现多模型学习结构,执行语音增强(SE)和说话人识别(SI)。ATM系统由三部分组成:SE、SI和Attention-Net(AttNet)。SE部分由长短期记忆(LSTM)模型组成,深度神经网络(DNN)模型用于开发SI和AttNet部分。整个ATM系统首先提取代表性特征,然后在LSTM-SE中增强语音信号,并在DNN-SI中指定说话人身份。AttNet基于DNN-SI计算权重,为LSTM-SE准备更好的代表性特征。我们在噪音测试句子中测试了所提出的ATM系统对台湾普通话听力的影响。实验结果表明,该系统能够有效地提高语音质量和可懂度。此外,通过使用所提出的ATM系统,SI的准确性也可以显著提高。
2021-02-21 cs.SD eess.AS
Target Speech Extraction: Independent Vector Extraction Guided by Supervised Speaker Identification
Technical University of Liberec(利贝雷茨工业大学)
该手稿提出了一种新的鲁棒性的程序,用于从混合音频源中提取感兴趣的扬声器(SOI)。SOI的估计通过独立向量提取(IVE)来执行。由于盲IVE本身无法区分目标源,因此通过基于深度学习的逐帧说话人识别将其引导到SOI。尽管如此,由于引导失败,特别是在处理具有挑战性的数据时,可能会提取不正确的说话者。为了识别这种情况下,我们提出了一个标准,非侵入性地评估估计扬声器。它使用与说话人识别相同的模型,因此不需要额外的训练。当检测到不正确的提取时,我们提出了一个“放气”步骤,其中从混合物中减去不正确的来源,随后,进行另一次提取SOI的尝试。重复该过程直到实现成功提取。所提出的程序进行实验测试,人工和现实世界的数据集包含具有挑战性的现象:源运动,混响,瞬态噪声,或麦克风故障。该方法与最先进的盲算法以及当前基于全监督深度学习的方法进行了比较。
2022-07-08 cs.SD eess.AS
Improving speaker de-identification with functional data analysis of f0 trajectories
University of Eastern Finland(东芬兰大学);National University of Singapore(新加坡国立大学)
由于存储在不同类型数据库中的语音数据量不断增加,语音隐私已成为一个主要问题。为了回应这种关注,语音研究者已经开发了各种说话人去识别的方法。最先进的解决方案利用深度学习解决方案,这些解决方案可能有效,但对于例如资源不足的语言来说可能不可用或不切实际。Forcenter修正是一种简单而有效的说话人去识别方法,它不需要训练数据。尽管如此,共振峰匿名语音中剩余的语调模式可能包含说话者相关的线索。本研究提出一种新的说话人去辨识方法,除了简单的共振峰位移外,还基于功能性数据分析来操纵f0轨迹。所提出的说话人去识别方法将以语音可控的方式隐藏可识别的音高特征,并将基于共振峰的说话人去识别提高到25%。
2022-03-31 cs.CL cs.SD eess.AS
Compositional embedding models for speaker identification and diarization with simultaneous speech from 2+ speakers
Worcester Polytechnic Institute (WPI)(伍斯特理工学院(WPI))
我们提出了一种新的说话人日志化方法,可以处理重叠语音与2+人。我们的方法是基于合成嵌入[1]:像标准的说话人嵌入方法,如x向量[2],合成嵌入模型包含一个函数f,它将语音从不同的说话人中分离出来。此外,它们包括合成函数g以计算嵌入空间中的集合并运算,以便推断输入音频内的扬声器集合。在使用合成LibriSpeech数据进行多人说话人辨识的实验中,所提出的方法优于传统的嵌入方法,传统的嵌入方法只训练分离单个说话人(而不是说话人集)。在AMI Headset Mix语料库上的扬声器日志化实验中,我们实现了最先进的准确率(DER=22.93%),略高于之前的最佳结果(来自[3]的23.82%)。
2021-02-10 cs.CL cs.SD eess.AS
One-Shot Speaker Identification for a Service Robot using a CNN-based Generic Verifier
Instituto de Investigaciones en Matemáticas Aplicadas y en Sistemas (IIMAS)(应用数学与系统研究所(IIMAS));Universidad Nacional Autónoma de México (UNAM)(墨西哥国立自治大学(UNAM))
在服务机器人技术中,有兴趣仅通过语音识别用户。然而,在服务机器人充当服务员或商店店员的应用场景中,预计新用户会频繁地进入环境。通常情况下,说话人识别模型需要重新训练时,这可能需要不切实际的时间量。在本文中,通过验证的说话人识别的一种新方法已经开发使用暹罗卷积神经网络架构(SCNN),它学习一般验证两个音频信号是否来自同一个扬声器。通过具有用户的记录音频的外部数据库,通过用其每个条目验证语音输入来执行识别。如果遇到新用户,只需将其录制的音频添加到外部数据库中即可识别,无需重新培训。该系统在四个不同方面进行了评估:验证器的性能,系统作为使用干净音频的分类器的性能,其速度以及在现实生活中的准确性。它的性能结合其一次性学习能力,使所提出的系统成为服务机器人说话人识别的可行替代方案。
2018-09-11 cs.SD eess.AS
Text Independent Speaker Identification System for Access Control
University of Ibadan(伊巴丹大学)
即使是人类智能系统也无法100%准确地识别特定个人的讲话。机器智能试图通过各种语音特征提取和语音建模技术来模拟说话人识别问题。本文提出了一个与文本无关的说话人识别系统,采用梅尔频率倒谱系数(MFCC)的特征提取和k-最近邻(kNN)的分类。交叉验证的最大准确度为60%。这将在后续研究中得到改进。
2022-09-26 cs.LG cs.SD eess.AS
Robust Acoustic Domain Identification with its Application to Speaker Diarization
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);GITAM (Deemed to be University)(甘地技术与管理大学(认定大学));Université de Lorraine(洛林大学)
随着多年来多媒体内容的增加,在音频的记录环境中观察到更多的变化。当音频处理系统在其前端具有识别声学域的模块时,音频处理系统可能会受益。在本文中,我们展示了\emph{acoustic domain identification}(ADI)的思想,为\emph{speaker diarization}。为此,我们首先对第三个DIHARD挑战的各个领域进行了详细的研究,突出了将它们彼此区分开来的因素。我们的主要贡献是为ADI公司开发简单高效的解决方案。在目前的工作中,我们探讨这个任务的发言人嵌入。接下来,我们将ADI模块与DIHARD III挑战赛的演讲者日记框架集成。当凝聚层次聚类的阈值根据各自的域进行优化时,性能大大提高。在DIHARD III评估集的轨道1上,我们分别在核心和完全条件下实现了DER的$5\%$和$8\%$以上的相对改善。
2022-08-08 cs.SD eess.AS
Improving Speaker Identification for Shared Devices by Adapting Embeddings to Speaker Subsets
Amazon Alexa AI(亚马逊Alexa AI)
说话人识别通常包括三个阶段。首先,训练前端说话人嵌入模型以嵌入话语和说话人简档。其次,在运行时话语和每个说话者简档之间应用评分函数。最后,根据评分指标,使用最近邻进行说话人识别。为了更好地区分扬声器共享同一个家庭内的设备,我们提出了一个家庭适应的非线性映射到一个低维空间,以补充全球评分指标。组合评分函数在标记或伪标记的说话者话语上被优化。与输入辍学,建议的评分模型减少EER的45-71%,在模拟家庭2至7个难以区分的扬声器每户。在真实世界的内部数据上,EER降低了49.2%。从t-SNE可视化,我们还表明,由家庭适应的扬声器嵌入形成的集群更紧凑,分布均匀,相比,由全球嵌入前适应形成的集群。
2021-09-06 cs.CR cs.SD eess.AS
Meta-Learning Framework for End-to-End Imposter Identification in Unseen Speaker Recognition
LG Ad Solutions(LG广告解决方案)
针对未见说话人识别中固定阈值冒名者识别泛化差的问题,提出说话人专属阈值技术与解耦检测的端到端元学习框架,在多数据集上较基线最高提升10%。
2023-09-30 cs.LG cs.SD eess.AS
FoolHD: Fooling speaker identification by Highly imperceptible adversarial Disturbances
Alan Turing Institute(阿兰·图灵研究所)
说话人辨识模型容易受到精心设计的输入信号的对抗性扰动的影响,从而导致误分类。在这项工作中,我们提出了一个白盒隐写启发的对抗攻击,对说话人辨识模型产生不可感知的对抗性扰动。我们的方法,FoolHD,使用门控卷积自动编码器,在DCT域中操作,并使用多目标损失函数进行训练,以生成和隐藏原始音频文件中的对抗性扰动。除了阻碍说话人辨识性能之外,这种多目标损失通过从原始音频文件和对抗音频文件中提取的MFCC特征向量之间的逐帧余弦相似性来考虑人类感知。我们使用VoxCeleb训练的250-说话人辨识x向量网络验证了FoolHD在准确性、成功率和不可感知性方面的有效性。我们的研究结果表明,FoolHD生成高度不可感知的对抗性音频文件(平均PESQ分数高于4.30),同时在非目标和目标设置下分别实现了99.6%和99.2%的误导说话人辨识模型的成功率。
2021-02-20 cs.LG cs.SD eess.AS
Multi-Task Learning with Auxiliary Speaker Identification for Conversational Emotion Recognition
Wuhan University(武汉大学);Tianjin University(天津大学)
会话情感识别在自然语言处理领域引起了越来越多的关注。与普通的情感识别不同,有效的说话人敏感话语表示是CER的一个主要挑战。在本文中,我们利用说话人辨识(SI)作为一个辅助任务,以提高在会话中的话语表示。通过这种方法,我们可以从额外的SI语料库中学习更好的说话人感知的上下文表示。两个基准数据集上的实验表明,该架构是非常有效的CER,获得新的国家的最先进的结果在两个数据集上。
2020-03-05 cs.CL cs.SD eess.AS
DiffAttack: Diffusion-based Timbre-reserved Adversarial Attack in Speaker Identification
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Northwestern Polytechnical University(西北工业大学)
提出 DiffAttack,将对抗约束注入 DiffVC 的反向扩散过程,在保留音色与语音质量的同时生成可误导 SID 系统的目标说话人音频。
2025-01-09 cs.SD eess.AS
Whisper Speaker Identification: Leveraging Pre-Trained Multilingual Transformers for Robust Speaker Embeddings
Hokkaido Denshikiki Co., Ltd.(北海道电気器株式会社);Barisal Information Technology College (BITC)(巴里萨尔信息技术学院(BITC))
本文提出WSI框架,将多语言预训练Whisper编码器与在线难例三元组挖掘及自监督NT-Xent损失相结合,在多语种语料上显著降低等错误率并提升AUC。
2025-03-13 cs.AI cs.SD eess.AS
Emirati-Accented Speaker Identification in Stressful Talking Conditions
University of Sharjah(沙迦大学)
本研究致力于提高文本无关的印尼口音说话人辨识的性能,在紧张的谈话条件下使用三个不同的分类器:一阶隐马尔可夫模型(HMM1),二阶隐马尔可夫模型(HMM2),和三阶隐马尔可夫模型(HMM3)。这项工作中使用的数据库是从25个性别的阿联酋语母语者中收集的,他们在每个中立,大声,缓慢,大声,柔和和快速的谈话条件下说出8个广泛的阿联酋语句子。所捕获的数据库的提取的特征被称为梅尔频率倒谱系数(MFCC)。基于HMM1、HMM2和HMM3,在压力条件下的平均阿拉伯语口音说话人辨识准确率分别为58.6%、61.1%和65.0%。基于HMM3在压力条件下实现的平均说话人辨识准确度与人类听者在主观评估中实现的准确度非常相似。
2019-10-29 cs.CL cs.SD eess.AS
Speaker Re-identification with Speaker Dependent Speech Enhancement
University of Sheffield(谢菲尔德大学)
虽然深度神经网络的使用显著提高了说话人识别性能,但在声学环境较差的情况下分离说话人仍然具有挑战性。这里,语音增强方法传统上允许改进的性能。最近的工作表明,适应语音增强可以导致进一步的增益。提出了一种将语音增强和说话人识别相结合的新方法。在第一步中,生成说话人嵌入向量,在第二步中使用该向量来增强语音质量并重新识别说话人。模型在具有联合优化的集成框架中进行训练。该方法使用Voxceleb1数据集进行评估,该数据集旨在评估现实世界中的说话人识别。此外,在这项工作中加入了三种不同信噪比的噪声。实验结果表明,在各种噪声条件下,与两个基线相比,基于说话人的语音增强方法具有更好的说话人识别和语音增强性能。
2020-08-27 cs.CL cs.SD eess.AS
Weakly Supervised Training of Speaker Identification Models
Tallinn University of Technology(塔林理工大学)
我们提出了一种弱监督方式训练说话人辨识模型的方法。我们集中在训练数据由一组音频记录组成的设置上,并且仅在记录级别提供说话者注释。该方法使用说话人日志化来找到每个记录中的唯一说话人,并且使用i向量来将每个说话人的语音投影到固定维向量。然后训练神经网络以使用特殊目标函数将i向量映射到扬声器,该特殊目标函数允许使用记录级扬声器标签来优化模型。我们在两个不同的真实世界的数据集上报告实验。在VoxCeleb数据集上,该方法在闭集说话人辨识任务上提供了94.6%的准确率,大大超过了基线性能。在爱沙尼亚广播新闻数据集上,该方法提供了66%的时间加权说话人辨识召回率,93%的准确率。
2018-06-22 cs.CL cs.HC cs.SD
Adaptive blind audio source extraction supervised by dominant speaker identification using x-vectors
Technical University of Liberec(利贝雷茨技术大学)
提出了一种新的自适应盲音频源提取算法。该方法基于独立向量分析,并利用辅助函数优化,以实现高收敛速度。该算法部分地由与感兴趣的源(SOI)相关的导频信号监督,这确保该方法正确地提取期望说话者的话语。导频是基于使用x向量的混合中的主导扬声器的识别。实验分析了在存在串扰的情况下计算的x向量的性质。所提出的方法是在一个场景中与移动SOI,静态干扰扬声器,和环境噪声进行验证。
2019-10-25 cs.SD eess.AS eess.SP
Weakly Supervised Training of Hierarchical Attention Networks for Speaker Identification
University of Sheffield(谢菲尔德大学)
在不知道说话者的声音在录音中的位置的情况下识别多个说话者是一项具有挑战性的任务。本文提出了一种层次化的注意力网络来解决弱标记说话人识别问题。使用的分层结构,包括一个帧级编码器和一个段级编码器,旨在学习本地和全球的扬声器相关的信息。语音流被分割成片段。具有注意力的帧级编码器学习特征并局部突出目标相关帧,并输出基于片段的嵌入。片段级编码器与第二关注层一起工作,以强调可能与目标说话者相关的片段。最后,从分段级模块中收集全局信息,通过分类器进行说话人预测。为了评估所提出的方法的有效性,基于Switchboard Cellular part1(SWBC)和Voxceleb1的人工数据集构造在两种情况下,其中说话人的声音重叠和不重叠。通过与两个基线的比较,结果表明该方法可以获得更好的性能。此外,进一步的实验进行评估的影响,话语分割。结果表明,合理的分割可以略微提高识别性能。
2020-08-27 cs.CL cs.SD eess.AS
Speaker Identification using EEG
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们探讨说话人识别使用脑电信号(EEG)。说话人识别系统在有背景噪声的情况下性能会下降,本文证明了脑电特征可以用来提高说话人识别系统在有和没有背景噪声的情况下的性能。本文进一步证明了在高背景噪声下,仅使用脑电特征作为输入的说话人识别系统比仅使用声学特征作为输入的系统具有更好的识别性能。
2020-03-07 cs.LG cs.SD eess.AS
CASA-Based Speaker Identification Using Cascaded GMM-CNN Classifier in Noisy and Emotional Talking Conditions
University of Sharjah(沙迦大学);The University of Tokyo(东京大学)
本文的工作旨在提高文本无关的说话人辨识在实际应用中的性能,如嘈杂和情绪化的谈话条件。这是通过合并两个不同的模块来实现的:用于降噪的基于计算听觉景物分析CASA的预处理模块和用于说话人辨识的级联高斯混合模型卷积神经网络GMM-CNN分类器,然后是情感识别。本研究提出并评估了一种新的算法,以提高说话人辨识的准确性,在情绪和高噪声敏感条件。实验表明,该模型产生有前途的结果与其他分类器相比,语音在模拟和实际压力SUSAS数据库,阿联酋语音数据库ESD,瑞尔森视听数据库的情感语音和歌曲RAVDESS数据库和流利的语音命令数据库在嘈杂的环境中使用。
2021-02-11 cs.AI cs.SD eess.AS
openFEAT: Improving Speaker Identification by Open-set Few-shot Embedding Adaptation with Transformer
针对家庭场景中少样本开放集说话人识别难题,提出基于Transformer的嵌入自适应框架openFEAT,将通用嵌入空间映射至家庭特定空间,使等错误率相对降低23%-31%。
2022-02-24 eess.AS
Pseudo-Siamese Network based Timbre-reserved Black-box Adversarial Attack in Speaker Identification
Northwestern Polytechnical University(西北工业大学)
本文提出一种基于伪孪生网络的音色保留黑盒对抗攻击方法,通过语音转换模型添加对抗约束生成保留音色的伪造音频,并利用替代模型逼近黑盒说话人识别模型的决策边界,在ADD数据集上白盒和黑盒攻击成功率分别达60.58%和55.38%。
2023-05-30 cs.SD eess.AS
Latent space representation for multi-target speaker detection and identification with a sparse dataset using Triplet neural networks
Singapore University of Technology and Design(新加坡科技设计大学);Institute of High Performance Computing, A*STAR(A*STAR高性能计算研究所)
本文提出了一种基于三元组神经网络的说话人识别方法。目前,$i$ -向量表示与概率线性判别分析(PLDA)是最常用的技术来解决这个问题,由于具有较高的分类精度与相对较短的计算时间。在本文中,我们探索了一种神经网络方法,即三重神经网络(TNNs),为不同的分类器构建潜在空间,以解决多目标说话人检测和识别挑战评估2018(MCE 2018)数据集。该训练集包含来自3,631个说话者的$i$ -向量,每个说话者只有3个样本,因此使说话者识别成为一项具有挑战性的任务。当使用训练和开发集来训练TNN和基线模型(即,直接在$i$ -矢量表示上进行相似性评估),我们提出的模型比基线高出23%。当减少训练数据仅使用训练集时,我们的方法在多目标说话人辨识任务中产生309个混淆,比基线模型好46%。这些结果表明,TNN的代表性能力在对每个类可用实例很少的小数据集进行训练时尤为明显。
2019-10-04 cs.LG cs.SD eess.AS
Speaker De-identification System using Autoencoders and Adversarial Training
Sigma Technologies S.L.U.(西格玛技术有限公司);Universidad Politécnica de Madrid(马德里理工大学)
收集用户个人数据的网络服务和移动应用程序的快速增长,增加了他们的隐私可能受到严重损害的风险。特别是,深度学习令人眩晕的突破所带来的口语界面和语音助手的种类越来越多,这促使欧盟对保护语音数据隐私产生了重要的担忧。例如,攻击者可以记录用户的语音并模仿他们来访问需要语音识别的系统。从用户窃取说话者简档也可以通过现有技术来提取说话者、语言(例如,方言)和非语言学特征(例如,年龄)从语音信号。为了减轻这些弱点,在本文中,我们提出了一种基于对抗训练和自动编码器的说话人去识别系统,以抑制语音中的说话人,性别和口音信息。实验结果表明,结合对抗性学习和自动编码器增加了说话人验证系统的相等出错率,同时保持匿名口语内容的可理解性。
2020-11-09 cs.CL cs.SD eess.AS
Experiments on Open-Set Speaker Identification with Discriminatively Trained Neural Networks
Ericsson Research(爱立信研究院)
本文研究了开集说话人辨识中的判别式人工神经网络分类器。两个类和多类架构进行了测试,对传统的高斯混合模型为基础的分类器上注册的扬声器集的不同大小。性能评估表明,多类神经网络系统具有优越的性能,为大的人口规模。
2019-04-02 cs.LG cs.SD eess.AS
Symmetric Saliency-based Adversarial Attack To Speaker Identification
Northwestern Polytechnical University(西北工业大学);Tsinghua University(清华大学)
据我们所知,对抗性攻击的说话人辨识方法要么需要很高的计算成本,要么不是很有效。为了解决这个问题,在本文中,我们提出了一种新的生成网络为基础的方法,称为对称显着性为基础的编码器-解码器(SSED),生成对抗性的语音样本说话人辨识。它包含两个新的组成部分。首先,利用一种新的显著图解码器来学习语音样本对目标说话人辨识系统决策的重要性,从而使攻击者集中精力对重要样本产生人工噪声。提出了一种角度损失函数,使说话人嵌入远离源说话人。我们的实验结果表明,所提出的SSED产生的最先进的性能,即超过97%的目标攻击成功率和超过39 dB的信噪比水平的开集和闭集说话人辨识任务,具有较低的计算成本。
2022-10-30 cs.CR cs.LG cs.SD
Speaker Identification using Speech Recognition
Bahria University(巴赫里亚大学)
随着电话交谈、视频会议和语音信息的增加,全球音频数据日益增加。本研究提供了一种机制,用于确定一个扬声器在音频文件中,基于人类语音的生物特征,如音高,幅度,频率等,我们提出了一个无监督学习模型,该模型可以学习语音表示有限的数据集。Librispeech数据集被用于这项研究,我们能够达到1.8的单词出错率。
2022-05-29 cs.LG cs.SD eess.AS
Unmixing The Crowd: Learning Persistent Speaker Representations from Mixture-Derived Multi-Speaker Embeddings
University of Michigan Ann Arbor, MI, USA;Oregon Health \& Science University Portland, OR, USA
提出教师-学生框架,仅使用短重叠片段和置换不变潜在监督学习混合衍生多说话人嵌入,结合轻量在线记忆机制实现长时说话人重识别。
2026-06-23 cs.SD eess.AS
Speaker Identification Experiments Under Gender De-Identification
TecnoCampus Mataró-Maresme(特诺坎普斯马塔罗-马雷斯梅);Università Politecnica delle Marche(马尔凯理工大学)
目前的工作是基于成本行动IC 1206去识别多媒体内容。在一个语音性别识别器上测试了四种语音修改算法,以确定当语音识别器的成功概率等于失败概率时,音调的修改程度。该分析的目的是评估语音语调改变的强度、质量、所做改变的可逆性和不可逆性。关键词去识别;语音算法
2022-03-09 cs.LG cs.SD eess.AS
On the relevance of bandwidth extension for speaker identification
Escola Universitària Politècnica de Mataró (UPC)(马塔罗理工学院(加泰罗尼亚理工大学))
在本文中,我们讨论了相关的带宽扩展说话人辨识任务。我们主要想研究是否有可能识别已经扩展了带宽的声音。为此,我们创建了两个不同的语音信号数据库(麦克风和ISDN),这些语音信号的带宽从电话带宽([300,3400] Hz)扩展到全带宽([100,8000] Hz)。我们已经评估了不同的参数化,我们已经发现,MELCEPST参数化可以利用带宽扩展算法在几种情况下。
2022-02-24 cs.LG cs.SD eess.AS
Partial AUC optimization based deep speaker embeddings with class-center learning for text-independent speaker verification
Northwestern Polytechnical University(西北工业大学)
基于深度嵌入的文本无关说话人确认在许多具有挑战性的场景中表现出优于传统方法的性能。其损失函数一般可分为两类,即,核查和识别。验证损失函数与说话人验证的流水线相匹配,但其实现比较困难。因此,大多数最先进的深度嵌入方法使用具有softmax输出单元或其变体的识别损失函数。在本文中,我们提出了一个验证损失函数,命名为最大化的接收机操作特征(ROC)曲线下的部分面积(pAUC),基于深度嵌入文本无关的说话人验证。我们还提出了一种基于类中心的训练试验构建方法,以提高训练效率,这是关键的建议损失函数是可比的识别损失的性能。在Speaker in the Wild(SITW)和NIST SRE 2016数据集上的实验表明,所提出的pAUC损失函数与最先进的识别损失函数具有很强的竞争力。
2019-11-19 cs.LG cs.SD eess.AS
Histogram Transform-based Speaker Identification
Pattern Recognition and Intelligent System Lab., Beijing University of Posts and Telecommunications(北京邮电大学模式识别与智能系统实验室,北京邮电大学)
提出了一种与文本无关的说话人辨识方法。该方法利用梅尔倒谱系数(MFCC)和相邻帧间的动态信息作为特征集来提取说话人特征。为了利用动态信息,我们设计了超级MFCC功能级联三个相邻的MFCC帧在一起。该方法通过随机变换产生更多的训练数据,实现了多变量直方图的概率密度函数(PDF)估计,解决了多变量直方图计算中经常出现的不连续性问题。与传统的概率密度函数估计方法(如高斯混合模型)相比,HT模型在信号完整性方面有很大的改善。
2020-02-02 cs.SD eess.AS stat.ML
The exploitation of Multiple Feature Extraction Techniques for Speaker Identification in Emotional States under Disguised Voices
University of Sharjah(沙迦大学)
由于人工智能的进步,说话人辨识(SI)技术带来了一个很大的方向,现在被广泛应用于各个部门。特征提取是语音识别的重要组成部分,它对语音识别的过程和性能有着重要的影响。因此,许多特征提取策略进行了深入的研究,对比和分析。本文利用五种不同的特征提取方法对情感环境下的伪装语音进行说话人辨识。为了评估这项工作显着,三个效果使用:高音,低音和电子语音转换(EVC)。实验结果表明,级联的梅尔频率倒谱系数(MFCC),MFCC的增量,和MFCC的增量是最好的特征提取方法。
2021-12-15 cs.CL cs.SD eess.AS
Graph2Speak: Improving Speaker Identification using Network Knowledge in Criminal Conversational Data
Idiap Research Institute(伊迪亚普研究院);Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
刑事调查主要依靠收集语音对话数据,以确定说话人并建立或丰富现有的犯罪网络。然后应用社会网络分析工具来识别网络中最核心的人物和不同的社区。我们介绍了两个候选数据集的犯罪会话数据,犯罪现场调查(CSI),电视节目,和ROXANNE模拟数据。我们还介绍了在刑事调查的背景下,对话的准确性的度量。通过基于先前交互的频率对候选说话人进行重新排序,我们在CSI数据上将说话人辨识基线提高了1.2%的绝对值(1.3%的相对值),并且将会话准确率提高了2.6%的绝对值(3.4%的相对值),并且在ROXANNE模拟数据上分别提高了1.1%的绝对值(1.2%的相对值)和2%的绝对值(2.5%的相对值)。
2020-09-21 cs.SD cs.SI eess.AS
Digital Speech Algorithms for Speaker De-Identification
目前的工作是基于成本行动IC1206去识别多媒体内容。在一个语音性别识别器上测试了四种语音修改算法,以确定当语音识别器的成功概率等于失败概率时,音调的修改程度。该分析的目的是评估语音语调改变的强度、质量、所做改变的可逆性和不可逆性。
2022-03-08 cs.LG cs.SD eess.AS
Speaker identification from the sound of the human breath
Carnegie Mellon University(卡内基梅隆大学)
本文研究了连续语音中呼吸音的说话人辨识潜力。语言主要是在呼气时产生的。为了补充肺部的空气,扬声器必须定期吸气。当吸气发生在连续讲话的中间时,它通常是通过嘴。语音呼吸行为已经成为许多研究的主题,包括模式,节奏和能量水平的变化。然而,一个经常被忽略的特征是在该循环的吸入阶段期间产生的{ \em声音}。言语内吸气是快速和充满活力的,张开嘴和声门进行,有效地暴露整个声道,使空气的最大摄入量。这导致由湍流引起的声道共振,这是说话者的语音产生装置的特征。因此,吸气的声音被期望携带关于说话者身份的信息。此外,与受到主动控制的其他口语声音不同,吸气声音通常更自然并且较少受到自愿影响的影响。本文的目的是证明呼吸声确实是可以用来识别说话者的生物特征。我们表明,这些声音本身可以产生非常准确的说话人识别与适当的特征表示和分类框架。
2017-12-04 cs.SD eess.AS stat.ML