A Fine-tuned Wav2vec 2.0/HuBERT Benchmark For Speech Emotion Recognition, Speaker Verification and Spoken Language Understanding
Zaion(Zaion公司);Zaion Lab(Zaion实验室)
语音自监督模型如wav 2 vec 2.0和HuBERT在自动语音识别(ASR)中取得了革命性的进展。然而,它们还没有被完全证明在ASR以外的任务上产生更好的性能。在这项工作中,我们探索了wav 2 vec 2.0和HuBERT预训练模型的部分微调和整体微调,用于三个非ASR语音任务:语音情感识别,说话人验证和口语语言理解。在简单的下游框架下,IEMOCAP上的语音情感识别在说话者相关设置上的加权准确率达到79.58%,在说话者无关设置上的加权准确率达到73.01%,VoxCeleb 1上的说话者验证的平均出错率达到2.36%,SLURP上的意图分类的准确率达到89.38%,时隙填充的F1达到78.92%,显示了微调wav 2 vec 2.0和HuBERT在学习韵律、声纹和语义表征方面的优势。
2022-10-03 cs.CL cs.NE cs.SD
MCE 2018: The 1st Multi-target Speaker Detection and Identification Challenge Evaluation
Johns Hopkins University(约翰斯·霍普金斯大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
多目标挑战赛旨在评估当前语音技术在多大程度上能够确定记录的话语是否是由大量黑名单中的一个人说出的。它是一种基于真实世界电话对话的多目标说话人检测形式。数据记录是从呼叫中心客户-代理对话中生成的。这项任务是测量一个人能多准确地检测到1)测试录音是否是由黑名单上的说话者说的,以及2)哪个特定的黑名单上的说话者在说话。本文概述了挑战,并提供了其基线,结果和讨论。
2019-04-07 cs.SD eess.AS
MCE 2018: The 1st Multi-target Speaker Detection and Identification Challenge Evaluation (MCE) Plan, Dataset and Baseline System
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Johns Hopkins University(约翰斯·霍普金斯大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
多目标挑战赛旨在评估当前语音技术在多大程度上能够确定记录的话语是否是由大量“黑名单”发言者之一所说的。它是一种基于真实世界电话对话的多目标说话人检测形式。数据记录是从呼叫中心客户-代理对话中生成的。每个会话由单个i向量表示。给定来自非黑名单和黑名单扬声器的训练和开发数据池,任务是测量人们可以多准确地检测1)测试录音是否由黑名单扬声器说出,以及2)哪个特定的黑名单扬声器正在说话。
2018-07-17 cs.SD eess.AS
Subjective and objective experiments on the influence of speaker's gender on the unvoiced segments
Indian Institute of Science(印度科学学院);Voice and Speech Systems(语音与言语系统公司)
本文通过主观和客观实验,研究了说话人性别对清音声学特性的影响。用异性说话者的相应段替换话语的U段,以准备修改的话语。人类被要求判断修改后的话语是由一个还是两个说话者说的。实验表明,人类受试者无法区分修改后的内容和原始内容。因此,收听者能够识别U段,而不管性别如何,这可以基于一些说话者无关的不变声学线索。为了检验这一发现是否纯粹是一种知觉现象,还进行了客观实验。使用TIMIT训练集来训练基于性别特定HMM的音素识别系统,并对(a)由相同性别说出的话语(b)由相反性别说出的话语和(c)测试集的修改的话语进行测试。如所预期的,情况(a)的性能最高,情况(b)的性能最低。对于情况(c),性能仅略微降低。这一结果表明,说话人的性别对U音的声学效果的影响并不像对浊音那样强烈。
2018-07-16 cs.SD eess.AS
GOAT-SLM: A Spoken Language Model with Paralinguistic and Speaker Characteristic Awareness
Institute of Artificial Intelligence (TeleAI), China Telecom, China(人工智能研究所(TeleAI),中国电信,中国)
针对现有SLM忽视副语言与说话人特征的问题,本文提出GOAT-SLM双模态头模型及分阶段训练策略,在TELEVAL上实现语义与非语义任务的均衡优势。
2025-07-25 cs.AI cs.CL cs.SD
SIGTYP 2021 Shared Task: Robust Spoken Language Identification
Johns Hopkins University(约翰斯·霍普金斯大学);Saarland University(萨尔兰大学);Higher School of Economics(高等经济学院);The Institute of Linguistics RAS(俄罗斯科学院语言学研究所);Mila/McGill University Montreal(米拉/蒙特利尔麦吉尔大学);Bhim Rao Ambedkar University(比姆·拉奥·安贝德卡尔大学);ETH Zürich(苏黎世联邦理工学院);University of Melbourne(墨尔本大学)
虽然语言识别是一项基本的语音和语言处理任务,但对于许多语言和语系来说,它仍然是一项具有挑战性的任务。对于许多低资源和濒危语言,这部分是由于资源可用性:在存在较大数据集的情况下,它们可能是单一说话者或具有与所需应用场景不同的域,需要域和说话者不变的语言识别系统。今年关于强大的口语识别的共享任务试图调查这种情况:系统将在一个领域的主要单说话者语音上进行训练,但在不同记录环境下从说话者记录的其他领域的数据上进行评估,模仿现实的低资源场景。我们看到,域和说话人的不匹配证明是非常具有挑战性的,目前的方法,可以执行超过95%的准确度域,这领域自适应可以在一定程度上解决,但这些条件值得进一步调查,使口语识别在许多情况下。
2021-06-07 cs.CL cs.SD eess.AS
Grounding Spoken LLMs in Multi-Speaker Audio via Diarization Conditioning
Brno University of Technology(布尔诺理工大学);Carnegie Mellon University(卡内基梅隆大学)
提出基于说话人日志条件的口语语言模型,通过条件化声学编码器提取目标说话人表示,避免序列化输出训练导致的灾难性遗忘,在多个数据集上显著提升说话人属性转录性能。
2026-06-17 eess.AS
Spoken Pass-Phrase Verification in the i-vector Space
Sharif University of Technology(谢里夫理工大学);Brno University of Technology(布尔诺理工大学);Sharif DeepMine Ltd.(谢里夫DeepMine有限公司);IT4I Center of Excellence(IT4I卓越中心)
口语密码短语验证的任务是确定测试话语是否包含与给定注册话语相同的短语。除了其他应用外,密码短语验证可以补充文本相关说话人验证中的独立说话人验证子系统。它还可以通过验证用户能够正确地响应随机提示的短语来用于活性检测。在本文中,我们建立在我们以前的工作基于i向量的文本相关的说话人验证,在那里我们已经表明,i向量提取使用短语特定的隐马尔可夫模型(HALTH)或使用深度神经网络(DNN)的瓶颈(BN)功能有助于拒绝错误的通行短语的话语。我们将相同的i向量提取技术应用于独立于说话者的口语密码短语分类和验证的独立任务。在RSR2015和RedDots数据库上的实验表明,应用于此类i向量的非常简单的评分技术(例如余弦距离评分)可以提供优于先前在相同数据上发表的结果。
2018-09-28 cs.CL cs.SD eess.AS
DC-Spin: A Speaker-invariant Speech Tokenizer for Spoken Language Models
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Meta AI
本文提出面向口语语言模型的双码本说话人不变聚类语音分词器DC-Spin,可提取鲁棒的说话人不变词元,结合分块方法实现无重训练流式处理,实验验证了词元特性对性能的影响,为相关分词器设计提供参考。
2024-10-31 cs.CL cs.LG cs.SD
Listening for "You": Enhancing Speech Image Retrieval via Target Speaker Extraction
提出目标说话人语音-图像检索任务及TSRE框架,通过目标说话人感知对比学习提取并对齐语音与图像,在SpokenCOCO2Mix/3Mix上显著提升检索性能。
2025-09-11 eess.AS eess.IV
Who Spoke What When? Evaluating Spoken Language Models for Conversational ASR with Semantic and Overlap-Aware Metrics
NTT, Inc.(日本NTT公司);CMU(卡内基梅隆大学);BUT(捷克但尼奇技术大学)
本文通过语义和重叠感知指标评估对话ASR模型,发现基于LLM的系统在双人对话中表现良好,但随着说话人数和重叠增加而下降,而模块化流水线方法更稳健。
2026-03-24 cs.CL eess.AS
Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models
National Taiwan University(台湾大学)
本研究针对语音大语言模型的社会偏见问题,推出专用评估数据集Spoken Stereoset,通过测试模型对不同人口群体语音的回应识别偏见,发现多数模型偏见极低但部分仍有轻微刻板或反刻板倾向。
2024-08-14 cs.CL eess.AS
Just ASR + LLM? A Study on Speech Large Language Models' Ability to Identify and Understand Speaker in Spoken Dialogue
University of Washington(华盛顿大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Columbia University(哥伦比亚大学)
本文通过 Gaokao 与自建“What Do You Like?”数据集评估 Qwen-Audio 和 WavLLM,发现当前 SpeechLLM 主要依赖对话文本而非说话人识别,并提出身份关键型 SQA 评估框架。
2024-10-02 cs.CL eess.AS
IRAF: Interference-Resilient Adaptive Fusion for Noise-Robust End-to-End Full-Duplex Spoken Dialogue Systems
The Chinese University of Hong Kong(香港中文大学);AudioLab Hong Kong, Huawei Leibniz Research Center(香港AudioLab,华为Leibniz研究中心);Nanyang Technological University(南洋理工大学)
提出IRAF模块,通过逐帧预测可靠性门控来调节用户音频对LLM的贡献,提升全双工对话系统在干扰说话人环境下的响应质量和交互稳定性。
2026-06-04 cs.AI cs.SD eess.AS
Speaker De-identification System using Autoencoders and Adversarial Training
Sigma Technologies S.L.U.(西格玛技术有限公司);Universidad Politécnica de Madrid(马德里理工大学)
收集用户个人数据的网络服务和移动应用程序的快速增长,增加了他们的隐私可能受到严重损害的风险。特别是,深度学习令人眩晕的突破所带来的口语界面和语音助手的种类越来越多,这促使欧盟对保护语音数据隐私产生了重要的担忧。例如,攻击者可以记录用户的语音并模仿他们来访问需要语音识别的系统。从用户窃取说话者简档也可以通过现有技术来提取说话者、语言(例如,方言)和非语言学特征(例如,年龄)从语音信号。为了减轻这些弱点,在本文中,我们提出了一种基于对抗训练和自动编码器的说话人去识别系统,以抑制语音中的说话人,性别和口音信息。实验结果表明,结合对抗性学习和自动编码器增加了说话人验证系统的相等出错率,同时保持匿名口语内容的可理解性。
2020-11-09 cs.CL cs.SD eess.AS
Cocktail-Talker: Multi-Speaker Dialog Modeling in Noisy Social Environments with Turn Action GRPO
本文提出Cocktail-Talker框架,结合Turn Action GRPO,通过动作令牌建模助手行为,利用Cocktail-DialogGen生成数据,实现嘈杂社交环境下的多说话人口语对话建模,推动更自然的对话系统发展。
2026-07-31 cs.CL cs.MM cs.SD
Kanade: A Simple Disentangled Tokenizer for Spoken Language Modeling
The University of Tokyo(东京大学)
Kanade是一种单层解耦语音分词器,通过分离声学常量实现高质量语音建模,达到最先进的说话人解耦和词汇可用性。
2026-01-31 cs.CL cs.SD eess.AS
End-to-End Spoken Language Translation
Stanford University(斯坦福大学)
在本文中,我们解决的任务口语语言理解。我们提出了一种将一种语言的口语句子翻译成另一种语言的口语句子的方法。给定频谱图-频谱图对,我们的模型可以完全从头开始训练,以翻译看不见的句子。我们的方法包括一个双向递归网络与卷积网络相结合,输出目标语言的高级语谱图。从经验上讲,我们的模型在多种语言上使用最先进的方法实现了具有竞争力的性能,并且可以推广到看不见的说话者。
2019-04-23 cs.CL cs.SD eess.AS
ZipVoice-Dialog: Non-Autoregressive Spoken Dialogue Generation with Flow Matching
Xiaomi Corp.(小米公司)
本文提出ZipVoice-Dialog模型,通过流匹配和课程学习策略提升语音对话生成的推理速度和准确性,同时发布OpenDialog数据集以促进研究发展。
2026-04-14 cs.CL eess.AS
Investigating the Effects of Large-Scale Pseudo-Stereo Data and Different Speech Foundation Model on Dialogue Generative Spoken Language Model
NVIDIA(英伟达);National Taiwan University(台湾大学)
本文提出将单声道对话转换为伪立体声数据的流程,把训练数据扩展至17,600小时,并比较不同语音基础模型的离散单元,以提升口语对话生成模型性能。
2024-07-02 cs.CL cs.HC cs.SD
Automatic Speaker Independent Dysarthric Speech Intelligibility Assessment System
Tata Consultancy Services Limited(塔塔咨询服务公司);TCS Research and Innovation(TCS研究与创新部门)
构音障碍是一种妨碍个体控制在言语传递中起主要作用的肌肉的能力的病症。失去对帮助嘴唇、声带、舌头和隔膜运动的肌肉的精细控制会导致异常的语言表达。人们可以通过分析个体说话的清晰度来评估构音障碍的严重程度。连续清晰度评估不仅可以帮助语言病理学家研究药物的影响,还可以帮助他们制定个性化的治疗方案。如果可懂度评估系统可靠、自动化、简单(a)患者接受和(b)临床医生解释,则其极大地帮助临床医生。构音障碍数据的可用性的缺乏导致了依赖于说话者的自动可懂度评估系统的发展,该系统要求患者说出大量的话语。在本文中,我们提出了(a)一个成本最小化的程序,以选择一个最佳的(小)数量的话语,需要由构音障碍患者,(b)四个不同的扬声器独立的可理解性评估系统,需要患者说少量的话,和(c)的评估分数是接近的感知分数,语音语言病理学家(SLP)可以涉及。从可用性的角度来看,患者需要说出少量的话语,并且评分与SLP相关,这对构音障碍患者和临床医生都有好处。
2021-03-10 cs.AI cs.SD eess.AS
Language-Independent Speaker Anonymization Approach using Self-Supervised Pre-Trained Models
National Institute of Informatics(国立信息学研究所);University of Avignon(阿维尼翁大学)
说话人匿名化的目的是保护说话人的隐私,同时保留语音中的口语信息。目前主流的神经网络说话人匿名系统结构复杂,包括F0提取器、说话人编码器、自动语音识别声学模型(ASR AM)、语音合成声学模型和语音波形生成模型。此外,由于ASR AM依赖于语言,在英语数据上进行训练,因此很难将其适应为另一种语言。在本文中,我们提出了一个更简单的自监督学习(SSL)为语言无关的说话人匿名方法,没有任何显式的语言相关的模型,可以很容易地用于其他语言。在VoicePrivacy Challenge 2020英文数据集和AISHELL-3中文数据集上进行了大量实验,以证明我们提出的基于SSL的语言无关说话人匿名方法的有效性。
2022-04-27 cs.SD eess.AS
Exploring Spoken Language Identification Strategies for Automatic Transcription of Multilingual Broadcast and Institutional Speech
Almawave S.p.A.(阿尔马威公司)
本文针对多语言广播与机构语音中语言切换多伴随说话人切换的特点,提出说话人分离与语言识别级联系统,相比传统方法显著降低语言分离错误和词错误率,且对单语识别影响很小。
2024-06-13 cs.CL cs.SD eess.AS
Implicit spoken language diarization
Indian Institute of Technology (IIT) Dharwad(印度理工学院达瓦德分校)
本文探索利用说话人日志化框架隐式建模语言信息以完成口语语言日志化任务,使用端到端x-vector方法在合成和实际数据上评估,并利用预训练wave2vec嵌入缓解数据不平衡,实现JER相对改进30.74%。
2023-06-22 cs.CL cs.SD eess.AS
Improving fairness for spoken language understanding in atypical speech with Text-to-Speech
提出Aty-TTS数据增强方法,通过微调TTS模型生成非典型语音,提升SLU系统对非典型语音的公平性。
2023-11-16 eess.AS
BiEAR: A Human Auditory-Inspired Adaptive Binaural Front-end for Multi-Speaker Localisation and Distance Estimation
The University of New South Wales(新南威尔士大学);Tongyi Speech Lab, Alibaba Group(通义语音实验室,阿里巴巴集团);School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen(人工智能学院,香港中文大学(深圳))
提出受人类听觉启发的自适应双耳前端BiEAR,通过神经控制器动态调整滤波器组频率选择性,提升多说话人定位和距离估计的准确性与鲁棒性。
2026-06-05 cs.SD eess.AS
Detecting the terminality of speech-turn boundary for spoken interactions in French TV and Radio content
French National Institute of Audiovisual (INA)(法国国家视听研究院);Université Paris Saclay(巴黎萨克雷大学);LIUM, Le Mans Université(勒芒大学LIUM实验室)
本文针对法语电视与广播多说话者语料,基于预训练自监督表征比较音频、文本及融合模型,以检测话轮边界是否终结,并分析融合策略、上下文长度和随机初始化对性能的影响。
2024-06-14 cs.CL cs.HC cs.SD
Towards Word-Level End-to-End Neural Speaker Diarization with Auxiliary Network
Google LLC(谷歌公司)
提出带辅助网络的词级端到端神经日志(WEEND),通过多任务学习在同一架构中同时进行语音识别和说话人标签预测,在2说话人短场景优于基线并可泛化至5分钟音频。
2023-09-15 cs.LG cs.SD eess.AS
Joint Modelling of Spoken Language Understanding Tasks with Integrated Dialog History
Carnegie Mellon University(卡内基梅隆大学);Sony Group Corporation(索尼集团公司)
针对现有SLU任务独立建模导致推理成本高的问题,提出融合对话历史的自回归联合模型及顺序无关训练方法,实现与单任务模型相当的性能并可借助上下文提升效果。
2023-05-01 cs.CL cs.SD eess.AS
What BERT Based Language Models Learn in Spoken Transcripts: An Empirical Study
语言模型(LM)已经普遍地用于包括口语语言理解(SLU)的各种任务中。口语需要仔细理解说话人的交互,对话状态和语音诱导的多模态行为,以生成有意义的会话表示。在这项工作中,我们建议解剖SLU分为三个代表性的属性:会话(不流利,停顿,overtalk),通道(扬声器类型,轮任务)和ASR(插入,删除,替换)。我们探测基于BERT的语言模型(BERT,RoBERTa)训练的口语成绩单,以调查其能力,理解多种属性,在没有任何语音提示。实验结果表明,LM是令人惊讶的好捕捉会话属性,如暂停预测和overtalk检测词汇标记。在缺点方面,LM在回合任务和ASR错误预测方面得分较低。此外,对LM进行口头成绩单的预训练抑制了其语言理解。最后,我们在两个基准数据集上建立了上述属性的有效性和可移植性:Switchboard Dialog Act和Disfluency数据集。
2021-09-21 cs.AI cs.CL cs.LG
Cross-modal Speaker Verification and Recognition: A Multilingual Perspective
Istituto Italiano di Tecnologia (IIT)(意大利技术研究院);University of Insubria(因苏布里亚大学);University of Engineering and Technology Taxila(塔克西拉工程技术大学);Information Technology University(信息技术大学)
近年来,在跨模态生物识别应用程序中发现人脸和声音之间的关联以及说话人识别的情况激增。受此启发,我们引入了一项具有挑战性的任务,即在同一组人所说的多种语言中建立面孔和声音之间的关联。本文的目的是回答两个密切相关的问题:“脸声联想语言是独立的吗?和“说话者是否可以被识别而不管其所讲的语言?".这两个问题对于理解多语言生物识别系统的有效性和促进其发展非常重要。为了回答这些问题,我们收集了一个多语言视听数据集,其中包含$154$身份的人类语音片段,并带有从在线上传的各种视频中提取的$3$语言注释。对所提出的数据集的三个分割进行了广泛的实验,以调查和回答这些新的研究问题,这些问题清楚地指出了多语言问题的相关性。
2021-04-22 cs.CL cs.CV cs.SD
End-to-end DNN Based Speaker Recognition Inspired by i-vector and PLDA
Brno University of Technology(布尔诺理工大学)
最近,已经提出了几种基于深度神经网络(DNN)的端到端说话人验证系统。这些系统已被证明是有竞争力的文本相关的任务,以及文本独立的任务与短话语。然而,对于具有较长话语的文本独立任务,端到端系统仍然优于标准i-vector + PLDA系统。在这项工作中,我们开发了一个端到端的说话人验证系统,该系统被初始化为模仿i-vector + PLDA基线。然后,系统将以端到端的方式进行进一步训练,但会进行正则化,以便不会偏离初始系统太远。通过这种方式,我们减轻了通常限制端到端系统性能的过拟合。所提出的系统优于i向量+ PLDA基线上的长和短持续时间的话语。
2018-01-08 cs.SD eess.AS
Can Audio Large Language Models Verify Speaker Identity?
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Nanjing University(南京大学)
本文通过将说话人验证重构为音频问答任务,并采用困难样本对采样策略进行轻量级微调,显著提升了音频大语言模型的验证性能,同时保持了通用音频理解能力。
2025-09-24 cs.SD eess.AS
RUSLAN: Russian Spoken Language Corpus for Speech Synthesis
Institute of Computational Mathematics and Information Technologies(计算数学与信息技术研究所);Kazan Federal University(喀山联邦大学)
我们提出了RUSLAN -一个新的开放式俄语口语语料库的文本到语音的任务。RUSLAN包含22200个带有文本注释的音频样本-一个人超过31小时的高质量语音-就单个说话者的语音持续时间而言,是最大的注释俄语语料库。我们在我们的语料库上训练了一个端到端的神经网络来完成文本到语音的任务,并使用平均意见得分测试来评估合成语音的质量。合成语音达到4.05分的自然度和3.78分的可懂度的5点MOS量表。
2019-06-26 cs.LG cs.SD eess.AS
MSU-Bench: Towards Understanding the Conversational Multi-talker Scenarios
MSU(密歇根州立大学)
本文提出MSU-Bench,一个以说话人为中心的多说话人对话理解综合基准,通过四个递进层级评估模型,发现随着任务复杂度增加模型性能显著下降,且开源与闭源模型在多说话人交互推理上存在持续差距。
2025-08-11 cs.SD eess.AS
Acoustic Word Embedding System for Code-Switching Query-by-example Spoken Term Detection
Duke Kunshan University(昆山杜克大学);Wuhan University(武汉大学);Lenovo Research(联想研究院);Sun Yat-sen University(中山大学)
在本文中,我们通过示例口语词检测提出了一种基于深度卷积神经网络的语码切换查询声学词嵌入系统。与以前的配置不同,我们将两种语言的音频数据结合起来进行训练,而不是只使用一种语言。我们将关键词模板和搜索内容的声学特征转换为固定维向量,并计算关键词片段和搜索内容片段之间的距离,以滑动的方式获得。一个辅助的可变不变损失也适用于同一个词,但不同的扬声器内的训练数据。该策略用于防止提取器将不期望的说话者或口音相关信息编码到声学词嵌入中。实验结果表明,我们提出的系统产生有前途的搜索结果在代码切换测试场景。随着模板数目的增加和可变不变损失的引入,搜索性能得到了进一步的提高。
2020-05-24 cs.CL cs.LG eess.AS
Recent Advances in End-to-End Spoken Language Understanding
University of Avignon(阿维尼翁大学);University of Le Mans(勒芒大学);University of Nantes(南特大学)
本文研究了直接从语音信号中提取语义信息的单端到端神经网络模型下的口语语言理解(SLU)系统。两个SLU任务被认为是:命名实体识别(NER)和语义槽填充(SF)。对于这些任务,为了提高模型的性能,我们探索了各种技术,包括说话人自适应,修改的连接主义时间分类(CTC)的训练标准,和顺序预训练。
2019-09-29 cs.CL eess.AS
Using Speech Synthesis to Train End-to-End Spoken Language Understanding Models
端到端模型是口语理解(SLU)的一种有吸引力的新方法,其中直接从原始音频推断话语的含义,而不采用由单独训练的语音识别器和自然语言理解模块组成的标准流水线。端到端SLU的缺点是必须记录域内语音数据来训练模型。在本文中,我们提出了一种策略,克服这一要求,其中语音合成是用来产生一个大的合成训练数据集,从几个人工扬声器。在两个开源SLU数据集上的实验证实了我们方法的有效性,无论是作为训练数据的唯一来源还是作为数据增强的一种形式。
2019-10-21 eess.AS
Speaker Tagging Correction With Non-Autoregressive Language Models
Institute of Mathematics of NAS RA(亚美尼亚国家科学院数学研究所);YSU(埃里温国立大学)
本文提出基于非自回归语言模型的第二遍说话人标签校正系统,用于修正不同说话人句子边界处的词语错误,在TAL和Fisher数据集上降低了WDER,并在Post-ASR挑战赛中显著改善了cpWER。
2024-08-30 cs.AI cs.CL cs.LG
Improving Speaker Diarization using Semantic Information: Joint Pairwise Constraints Propagation
Alibaba Group(阿里巴巴集团)
本文提出一种利用语义信息改进基于聚类的说话人日志系统的新方法,通过口语理解模块提取语义并构建成对约束,实验证明其性能优于仅用声学特征的系统。
2024-02-04 cs.CL cs.SD eess.AS
SpokeN-100: A Cross-Lingual Benchmarking Dataset for The Classification of Spoken Numbers in Different Languages
Department Artificial Intelligence in Biomedical Engineering(生物医学工程人工智能系)
该研究提出SpokeN-100,一个包含四种语言、32位说话者、12,800个音频样本的跨语言口语数字基准数据集,并设计了语言和数字分类任务,通过进化神经架构搜索在微控制器上实现了首个基准结果。
2024-03-14 cs.AI cs.SD eess.AS
"Alexa, can you forget me?" Machine Unlearning Benchmark in Spoken Language Understanding
Politecnico di Torino(托斯卡纳理工学院)
本文提出UnSLU-BENCH基准,首次针对语音语言理解中的机器卸学进行评估,通过八种技术对比揭示卸学方法的有效性和计算可行性差异。
2025-05-26 cs.CL cs.SD eess.AS
textless-lib: a Library for Textless Spoken Language Processing
Meta AI Research(Meta AI 研究院);EHESS(法国社会科学高等研究院);Outreach(外展(可能指外展团队,但按要求提取到机构级别,这里Outreach可能是团队名,非独立机构,故不提取))
无文本口语处理研究旨在将标准NLP工具集的适用性扩展到口语和几乎没有文本资源的语言。在本文中,我们介绍了textless-lib,一个基于PyTorch的库,旨在促进这一研究领域的研究。我们描述了该库提供的构建块,并通过讨论三个不同的用例示例来展示其可用性:(i)扬声器探测,(ii)语音再合成和压缩,以及(iii)语音延续。我们相信,textless-lib大大简化了无文本环境下的研究,不仅对语音研究人员,而且对整个NLP社区来说都是少数。代码、文档和预训练模型可在https://github.com/facebookresearch/textlesslib/上获得。
2022-02-15 cs.CL cs.LG cs.SD
VoxLingua107: a Dataset for Spoken Language Recognition
本文研究了使用自动收集的网络音频数据的口语识别任务。我们从特定语言的维基百科数据中生成半随机搜索短语,然后用于从YouTube检索107种语言的视频。语音活动检测和说话人日记用于从包含语音的视频中提取片段。后过滤用于从数据库中删除可能不是给定语言的片段,基于众包验证,将正确标记的片段的比例提高到98%。所得到的训练集(VoxLingua107)的大小为6628小时(平均每种语言62小时),并且它伴随着1609个经验证的话语的评估集。我们使用这些数据来建立几个口语识别任务的语言识别模型。实验表明,使用自动检索的训练数据提供了竞争力的结果,使用手工标记的专有数据集。数据集是公开的。
2020-11-25 eess.AS
JoyTTS: LLM-based Spoken Chatbot With Voice Cloning
JD Health International Inc.(京东健康国际有限公司)
JoyTTS 结合 LLM 与 TTS 技术构建端到端语音聊天机器人,基于 MiniCPM-o 和 CosyVoice2 在 2000 小时对话数据上训练,支持语音克隆,并开源全部代码与模型。
2025-07-03 cs.CL cs.SD eess.AS
BEST-STD: Bidirectional Mamba-Enhanced Speech Tokenization for Spoken Term Detection
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
提出 BEST-STD 方法,利用 Mamba 编码器的双向状态空间建模和自监督学习,将语音编码为离散的说话人无关语义 token,实现基于文本的快速检索,在 LibriSpeech 和 TIMIT 上优于现有 STD 基线且效率更高。
2024-12-21 cs.CL cs.IR eess.AS
EEG-Derived Voice Signature for Attended Speaker Detection
National University of Singapore(新加坡国立大学);University of New South Wales(新南威尔士大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Kriston AI Lab(科斯顿人工智能实验室);University of Bremen(不来梅大学)
本文提出基于脑电的注意说话人检测(E-ASD)任务,通过比较音频与脑电语音特征,在0.5秒窗口内实现高精度检测,为智能助听器提供新思路。
2023-08-28 cs.SD eess.AS eess.SP
Spoken Language Intent Detection using Confusion2Vec
University of Southern California(南加州大学)
解读说话人的意图是口语语言理解的重要组成部分。在现实生活中,文本传输中存在的噪声或错误使任务更具挑战性。在本文中,我们解决了口语意图检测的自动语音识别(ASR)系统施加的噪声条件下。我们建议采用confusion2vec字特征表示来补偿ASR所造成的错误,并增加SLU系统的鲁棒性。由人类语音产生和感知激发的混淆向量,除了模拟人类语言中单词的语义和句法关系外,还模拟单词之间的声学关系。我们假设,ASR经常犯错误的声学相似的话,和confusion2vec与固有模型的声学关系的话是能够补偿的错误。我们通过在ATIS基准数据集上的实验证明了所提出的模型在噪声ASR条件下实现最先进结果的鲁棒性。我们的系统将分类出错率(CER)降低了20.84%,并相对于以前的最先进的从干净到嘈杂的成绩单,提高了37.48%(较低的CER退化)的鲁棒性。在嘈杂的成绩单上训练意图检测模型时也证明了改进。
2019-07-02 cs.CL cs.SD eess.AS
Teach me with a Whisper: Enhancing Large Language Models for Analyzing Spoken Transcripts using Speech Embeddings
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校);IBM Research AI(IBM研究院人工智能部门)
提出一种音频-语言知识蒸馏方法,利用Whisper语音嵌入增强语言模型分析口语转录文本,无需测试时音频输入,性能优于传统模型。
2023-11-13 cs.CL cs.SD eess.AS
Analysing Discrete Self Supervised Speech Representation for Spoken Language Modeling
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
该研究从GSLM视角分析离散自监督语音表示,发现其与音素高度相关且存在上下文导致的冗余,提出无监督冗余度量指标及聚类改进方法,在零资源语音任务上效果显著提升。
2023-03-01 cs.CL cs.SD eess.AS
KazakhTTS: An Open-Source Kazakh Text-to-Speech Synthesis Dataset
Institute of Smart Systems;Artificial Intelligence (ISSAI),\ University, Nur-Sultan, Kazakhstan
本文介绍了一个高质量的哈萨克语开源语音合成数据集,哈萨克语是一种全球超过1300万人使用的低资源语言。该数据集由两名专业演讲者(女性和男性)讲的大约93小时的转录音频记录组成。这是第一个公开的大规模数据集,旨在促进学术界和工业界的哈萨克语文本转语音(TTS)应用。在本文中,我们通过描述数据集开发过程和面临的挑战来分享我们的经验,并讨论未来的重要方向。为了证明我们数据集的可靠性,我们建立了基线端到端TTS模型,并使用主观平均意见评分(MOS)指标对其进行评估。评估结果表明,在我们的数据集上训练的最佳TTS模型对于两个说话者都达到了4以上的MOS,这使得它们适用于实际使用。数据集、训练配方和预训练的TTS模型都是免费提供的。
2021-06-16 cs.CL cs.SD eess.AS
Disentangling Speaker and Language Effects in Cross-Lingual Speaker Verification for Iberian Languages
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya (UPC)(加泰罗尼亚理工大学)
针对跨语言说话人验证中语言不匹配与说话人变异性混淆的问题,引入双语同说话人评估集,基于HuBERT系统分析发现语言不匹配是性能下降主因。
2026-07-02 cs.CL eess.AS
Spoken Question Answering and Speech Continuation Using Spectrogram-Powered LLM
Google Research(谷歌研究院);Tel-Aviv Univeristy(特拉维夫大学);Verily AI(Verily人工智能公司)
本文提出 Spectron,通过预训练语音编码器适配 LLM 直接处理频谱图,利用联合监督语音识别、文本续写与合成的训练目标实现单次解码的跨模态思维链,在口语问答与语音续写任务中提升了说话人保留与语义连贯性。
2024-05-31 cs.CL cs.LG cs.SD
Language vs Speaker Change: A Comparative Study
本研究对比口语语言变化检测(LCD)与说话人变化检测(SCD)任务,发现LCD需更长时频谱信息,进而探索两类自动LCD方法,验证了增加时频谱时长可提升LCD性能。
2023-10-06 cs.SD eess.AS eess.SP