JukeBox: A Multilingual Singer Recognition Dataset
Michigan State University(密歇根州立大学)
文本无关的说话人识别系统依赖于成功地编码语音因素,如音高,强度和音色,以实现良好的性能。大多数这样的系统都是使用口语或日常对话语音数据进行训练和评估的。然而,口语,表现出有限的范围内可能的扬声器动态,从而限制了效用的派生说话人识别模型。另一方面,歌唱声音涵盖了更广泛的声音和环境因素,因此可以用来评估说话人识别系统的鲁棒性。然而,大多数现有的说话人识别数据集只关注口语语音。相比之下,适合于说话人识别研究的带标签歌声数据明显不足。为了解决这个问题,我们组装\textit{JukeBox} -一个说话人识别数据集,多语言歌唱声音音频注释歌手身份,性别和语言标签。我们使用当前最先进的方法来证明使用单独训练口语的模型对唱歌的声音进行说话人识别的困难。我们还评估了性别和语言对说话人识别性能的影响,无论是在口语和唱歌的声音数据。完整的\textit{JukeBox}数据集可访问http://iprobe.cse.msu.edu/datasets/jukebox.html。
2020-08-08 cs.LG cs.SD eess.AS
A Quantum Kernel Learning Approach to Acoustic Modeling for Spoken Command Recognition
Google(谷歌)
针对低资源场景下语音命令识别声学模型训练的数据稀疏问题,提出基于经典-量子特征编码的量子核学习框架,在多种低资源语言任务上优于现有经典和量子方案。
2022-11-02 cs.LG cs.SD eess.AS
A Fine-tuned Wav2vec 2.0/HuBERT Benchmark For Speech Emotion Recognition, Speaker Verification and Spoken Language Understanding
Zaion(Zaion公司);Zaion Lab(Zaion实验室)
语音自监督模型如wav 2 vec 2.0和HuBERT在自动语音识别(ASR)中取得了革命性的进展。然而,它们还没有被完全证明在ASR以外的任务上产生更好的性能。在这项工作中,我们探索了wav 2 vec 2.0和HuBERT预训练模型的部分微调和整体微调,用于三个非ASR语音任务:语音情感识别,说话人验证和口语语言理解。在简单的下游框架下,IEMOCAP上的语音情感识别在说话者相关设置上的加权准确率达到79.58%,在说话者无关设置上的加权准确率达到73.01%,VoxCeleb 1上的说话者验证的平均出错率达到2.36%,SLURP上的意图分类的准确率达到89.38%,时隙填充的F1达到78.92%,显示了微调wav 2 vec 2.0和HuBERT在学习韵律、声纹和语义表征方面的优势。
2022-10-03 cs.CL cs.NE cs.SD
Language-Universal Speech Attributes Modeling for Zero-Shot Multilingual Spoken Keyword Recognition
Georgia Institute of Technology(佐治亚理工学院);Università degli Studi di Palermo(巴勒莫大学);Norwegian University of Science and Technology(挪威科技大学)
提出基于Wav2Vec2.0和通用语音属性的语言通用端到端SKR方法,结合领域对抗训练,在已见和零样本未见语言中均显著降低词错误率,优于传统字符与音素方法。
2024-06-04 cs.CL cs.SD eess.AS
End-to-end architectures for ASR-free spoken language understanding
口语理解是从言语中提取意义的问题。它通常作为两步问题来解决,其中采用自动语音识别(ASR)模型将语音转换为文本,然后采用自然语言理解(NLU)模型从解码的文本中提取含义。最近,出现了端到端的方法,旨在将ASR和NLU统一到单个SLU深度神经架构中,使用ASR和NLU级识别单元的组合进行训练。在本文中,我们探索了一组用于意图分类的递归架构,该架构针对最近引入的流利语音命令(FSC)数据集进行了定制,其中意图形成为三个插槽(动作,对象和位置)的组合。我们表明,通过将深度循环架构与标准数据增强相结合,可以获得最先进的结果,而无需使用ASR级别目标或预训练的ASR模型。我们还研究了它对新词语的泛化能力,我们表明该模型可以在训练过程中看不见的词语上表现得相当好。
2020-05-01 eess.AS
Using Speech Synthesis to Train End-to-End Spoken Language Understanding Models
端到端模型是口语理解(SLU)的一种有吸引力的新方法,其中直接从原始音频推断话语的含义,而不采用由单独训练的语音识别器和自然语言理解模块组成的标准流水线。端到端SLU的缺点是必须记录域内语音数据来训练模型。在本文中,我们提出了一种策略,克服这一要求,其中语音合成是用来产生一个大的合成训练数据集,从几个人工扬声器。在两个开源SLU数据集上的实验证实了我们方法的有效性,无论是作为训练数据的唯一来源还是作为数据增强的一种形式。
2019-10-21 eess.AS
Do We Still Need Automatic Speech Recognition for Spoken Language Understanding?
University of Copenhagen(哥本哈根大学);Technical University of Denmark(丹麦技术大学);Corti(Corti公司)
口语理解(SLU)任务通常通过首先用自动语音识别(ASR)转录话语,然后将输出馈送到基于文本的模型来解决。语音数据的自监督表示学习的最新进展集中在改进ASR组件上。我们调查是否表示学习语音已经成熟到足以取代ASR SLU。我们比较了从wav2vec 2.0,最先进的ASR成绩单和地面真实文本中学习到的语音特征,作为一种新的基于语音的命名实体识别任务,一种真实世界紧急呼叫的心脏骤停检测任务和两种现有SLU基准的输入。我们发现,学习语音功能优于ASR成绩单上的三个分类任务。对于机器翻译,ASR成绩单仍然是更好的选择。我们强调了wav2vec 2.0表示的内在鲁棒性,以词汇表外的单词作为提高性能的关键。
2021-11-29 cs.CL cs.LG eess.AS
Spoken Language Corpora Augmentation with Domain-Specific Voice-Cloned Speech
本文研究领域特定合成样本增强口语语料库对语音识别系统的影响,对比传统神经TTS与零样本语音克隆生成的不同语音数量合成数据,发现高多语音性的语音克隆数据更有效,且高可变性数据能持续提升ASR质量。
2024-07-29 eess.AS
Non-autoregressive End-to-end Approaches for Joint Automatic Speech Recognition and Spoken Language Understanding
Toshiba Europe Ltd(东芝欧洲有限公司)
提出面向联合ASR与SLU的SC-Mask-CTC非自回归端到端框架,在SLURP上提升SLU性能并保持ASR准确率,同时实现6倍解码加速。
2023-04-21 cs.SD eess.AS
Adaptive Axonal Delays in feedforward spiking neural networks for accurate spoken word recognition
CNAEIT
脉冲神经网络(SNN)是建立准确、高效的自动语音识别系统的一种很有前途的研究途径。音频到尖峰编码和训练算法的最新进展使SNN能够应用于实际任务。受生物启发的SNN使用稀疏异步事件进行通信。因此,尖峰定时对SNN性能至关重要。在这方面,大多数工作集中在训练突触权重,很少考虑事件传输的延迟,即轴突延迟。在这项工作中,我们考虑了一个可学习的轴突延迟上限在一个最大值,它可以适应根据轴突延迟分布在每个网络层。我们表明,我们提出的方法实现了最好的分类结果报告的SHD数据集(92.45%)和NTIDIGITS数据集(95.09%)。我们的工作说明了具有复杂时间结构的任务的训练轴突延迟的潜力。
2023-02-16 cs.NE cs.SD eess.AS
Investigating the Effect of Music and Lyrics on Spoken-Word Recognition
Radboud University Nijmegen(奈梅亨拉德堡德大学);Delft University of Technology(代尔夫特理工大学)
社交场合的背景音乐会妨碍谈话。然而,很少有人知道音乐的具体属性如何影响语音处理。本文通过调查1)有歌词的背景音乐的掩蔽效应是否大于没有歌词的音乐,以及2)掩蔽效应是否对于更复杂的音乐更大来解决这个知识缺口。为了回答这些问题,进行了一项单词识别实验,其中荷兰参与者在两种条件下(有和没有歌词)和三种SNR下听嵌入背景音乐中的荷兰CVC单词。三首歌曲被用于不同的风格和复杂性。从同一首歌中采样有歌词和没有歌词的音乐片段,以控制歌词存在以外的因素。结果表明,背景音乐中歌词的存在对口语词识别有明显的负面影响。这种影响与复杂性无关。结果表明,社交空间(例如,餐馆、咖啡馆和酒吧)应谨慎选择音乐,以促进对话,并为今后的工作开辟道路。
2018-03-13 cs.CL cs.SD eess.AS
Enhancing Neural Spoken Language Recognition: An Exploration with Multilingual Datasets
Faculty of Computer Science, College of Management(管理学院计算机科学学院);Ariel University(阿里尔大学);Ariel Cyber Innovation Center(阿里尔网络创新中心)
本研究通过优化时间延迟神经网络结构,利用多语言数据集训练,实现了97%准确率的口语语言识别系统,显著提升了语言处理效率。
2025-01-19 cs.AI cs.LG cs.SD
Word-Free Spoken Language Understanding for Mandarin-Chinese
Carnegie Mellon University(卡内基梅隆大学)
语音对话系统,如Siri和Alexa,为人们的日常生活提供了极大的便利。然而,当前口语语言理解(SLU)流水线很大程度上依赖于自动语音识别(ASR)模块,其需要大量语言特定的训练数据。在本文中,我们提出了一个基于变压器的SLU系统,直接在手机上工作。这种基于声学的SLU系统仅由两个模块组成,并且不需要ASR模块的存在。第一块是通用的电话识别系统,第二块是用于电话的基于transformer的语言模型。我们验证了该系统的有效性在普通话的意图分类数据集。
2021-07-01 cs.CL cs.SD eess.AS
Exploiting Hybrid Models of Tensor-Train Networks for Spoken Command Recognition
Georgia Institute of Technology(佐治亚理工学院);Universidad San Pablo-CEU, CEU Universities(CEU大学圣巴布罗-CEU大学)
本工作的目的是设计一个低复杂度的口述命令识别(SCR)系统,考虑不同的权衡模型参数的数量和分类精度。更具体地说,我们利用张量列车(TT)网络的深度混合架构来构建端到端SRC管道。我们的命令识别系统,即CNN+(TT-DNN),由底部的卷积层和顶部的TT层组成,卷积层用于光谱特征提取,TT层用于命令分类。与传统的端到端CNN SCR基线相比,我们提出的CNN+(TT-DNN)模型用TT层取代了完全连接(FC)层,并且它可以在保持CNN模型的基线性能的同时大幅减少模型参数的数量。我们以随机方式或基于经过良好训练的CNN+DNN初始化CNN+(TT-DNN)模型,并在Google语音命令数据集上评估CNN+(TT-DNN)模型。我们的实验结果表明,所提出的CNN+(TT-DNN)模型达到了96.31%的竞争力的准确性与4倍的模型参数比CNN模型。此外,当参数数量增加时,CNN+(TT-DNN)模型可以获得97.2%的准确率。
2022-01-11 cs.LG cs.SD eess.AS
On the Use of External Data for Spoken Named Entity Recognition
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);ASAPP(ASAPP公司)
口语语言理解(SLU)任务涉及从语音音频信号到语义标签的映射。考虑到这些任务的复杂性,良好的性能可能需要大量的标记数据集,而这些数据集很难为每个新任务和领域收集。然而,自监督语音表示的最新进展使得考虑使用有限的标记数据学习SLU模型变得可行。在这项工作中,我们专注于低资源口语命名实体识别(NER)和解决的问题:除了自我监督的预训练,我们如何使用外部语音和/或文本数据,没有注释的任务?我们借鉴了各种方法,包括自我训练,知识蒸馏和迁移学习,并考虑其适用于端到端模型和管道(语音识别,然后是文本NER模型)的方法。我们发现,这些方法中的几种方法在资源受限的环境中提高了性能,超出了单独使用预先训练的表示的好处。与之前的工作相比,我们发现F1分数提高了16%。虽然最佳基线模型是管道方法,但使用外部数据时的最佳性能最终是通过端到端模型实现的。我们提供了详细的比较和分析,例如,端到端模型能够专注于更具体的词。
2022-07-09 cs.CL cs.LG cs.SD
Medical Spoken Named Entity Recognition
University of Toronto(多伦多大学);University Health Network(大学健康网络);Hanoi University of Science and Technology(河内科技大学);RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek公司);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);University of Cincinnati(辛辛那提大学);College of William and Mary(威廉玛丽学院)
提出医疗领域首个语音命名实体识别数据集VietMed-NER,含18种实体类型,为全球最大;通过多模型基线实验发现多语言模型与编码器表现更优,且数据集可跨语言用于文本NER。
2025-04-02 cs.CL cs.LG cs.SD
An Overview of Indian Spoken Language Recognition from Machine Learning Perspective
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林信息学及其应用实验室)
口语自动识别是多语言人机交互时代的一个重要研究领域。前端LID模块有助于提高多语言场景中许多基于语音的应用程序的性能。印度是一个人口众多的国家,拥有多种文化和语言。大多数印度人需要使用各自的母语与机器进行口头交互。因此,开发高效的印度口语识别系统对于在印度社会的各个领域采用智能技术非常有用。在过去的二十年里,印度LID领域开始获得发展势头,主要是由于印度语言的几个标准多语言语音语料库的开发。尽管在这一领域已经取得了重大的研究进展,但据我们所知,没有多少人试图对它们进行分析性审查。在这项工作中,我们进行了第一次尝试,提出一个全面的审查印度口语识别研究领域。深入的分析已经提出,以强调在印度背景下开发LID系统的低资源和相互影响的独特挑战。印度LID研究的几个重要方面,如可用的语音语料库的详细描述,主要的研究贡献,包括早期的尝试基于统计建模的最新方法基于不同的神经网络架构,以及未来的研究趋势进行了讨论。这项审查工作将有助于评估任何活跃的研究人员或相关领域的任何研究爱好者目前印度LID研究的状况。
2022-11-30 cs.CL cs.SD eess.AS
Content-Context Factorized Representations for Automated Speech Recognition
Amazon Alexa AI(亚马逊Alexa人工智能部门)
深度神经网络已经在很大程度上证明了它们通过从输入音频帧中提取有意义的特征来执行自动语音识别(ASR)的能力。然而,这样的特征可以不仅包括关于口语内容的信息,而且还可以包含关于不必要的上下文的信息,诸如背景噪声和声音或说话者身份、口音或受保护的属性。这样的信息可以直接损害泛化性能,通过在说出的单词和说出这些单词的上下文之间引入虚假的相关性。在这项工作中,我们引入了一个无监督的,编码器不可知的方法,将语音编码器表示分解为明确的内容编码表示和虚假的上下文编码表示。通过这样做,我们证明了在标准ASR基准测试中的性能提高,以及在现实世界和人为噪声ASR场景中的性能提高。
2022-09-15 cs.LG cs.SD eess.AS
End-to-End Spoken Language Translation
Stanford University(斯坦福大学)
在本文中,我们解决的任务口语语言理解。我们提出了一种将一种语言的口语句子翻译成另一种语言的口语句子的方法。给定频谱图-频谱图对,我们的模型可以完全从头开始训练,以翻译看不见的句子。我们的方法包括一个双向递归网络与卷积网络相结合,输出目标语言的高级语谱图。从经验上讲,我们的模型在多种语言上使用最先进的方法实现了具有竞争力的性能,并且可以推广到看不见的说话者。
2019-04-23 cs.CL cs.SD eess.AS
Multimodal Speech Recognition for Language-Guided Embodied Agents
University of Southern California(南加州大学)
针对语言引导具身智能体面临语音指令的场景,提出利用视觉上下文的多模态ASR模型,在ALFRED合成数据集上训练,可多恢复30%掩蔽单词,并提升下游任务成功率。
2023-10-09 cs.CL cs.SD eess.AS
Scaling Spoken Language Models with Syllabic Speech Tokenization
本研究通过音节语音分词技术,显著提升了语音语言模型的效率,训练时间和FLOPs减少达2倍和5倍。
2026-02-04 cs.CL eess.AS
Timers and Such: A Practical Benchmark for Spoken Language Understanding with Numbers
McGill University(麦吉尔大学);Mila(米拉);Université de Montréal(蒙特利尔大学);Université Paul Sabatier(保罗·萨巴蒂埃大学);IRIT(图卢兹计算机研究所);CNRS(法国国家科学研究中心);Avignon Université(阿维尼翁大学)
本文介绍了Timers and Such,这是一个新的开源英语口语命令数据集,用于涉及数字的常见话音控制用例。我们描述了Timers and Such填补的现有口语语言理解数据集的空白,数据集的设计和创建,以及一些基于ASR和端到端基线模型的实验,其代码已作为SpeechBrain工具包的一部分提供。
2021-09-30 cs.CL eess.AS
How Generative Spoken Language Modeling Encodes Noisy Speech: Investigation from Phonetics to Syntactics
National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所)
本文通过语音再合成实验研究GSLM在口语与语音层面的编解码效果,发现其错误覆盖音系到句法层,并常生成自然但内容改变的语音。
2023-06-01 cs.AI cs.CL eess.AS
DUAL: Discrete Spoken Unit Adaptive Learning for Textless Spoken Question Answering
National Taiwan University(国立台湾大学);Massachusetts Institute of Technology(麻省理工学院);Meta AI
口语问答(SQA)是从给定问题的口语文档中找到答案,这对于个人助理回答用户的查询至关重要。现有的SQA方法都依赖于自动语音识别(ASR)转录。ASR不仅需要使用大量注释数据进行训练,这些数据对于低资源语言来说是时间和成本高昂的,而且更重要的是,问题的答案通常包括无法正确识别的名称实体或词汇表外的单词。此外,ASR的目标是最大限度地减少所有单词的识别错误,包括许多与SQA任务无关的功能词。因此,尽管已知非常困难,但没有ASR转录本(无文本)的SQA总是非常理想的。这项工作提出了离散口语单元自适应学习(DUAL),利用未标记的数据进行预训练,并由SQA下游任务进行微调。口语回答的时间间隔可以直接从口语文档中预测。我们还发布了一个新的SQA基准语料库,NMSQA,用于更现实的场景数据。我们的经验表明,DUAL产生的结果与通过级联ASR和文本QA模型获得的结果相当,并且对真实世界的数据具有鲁棒性。我们的代码和模型将是开源的。
2022-06-21 cs.CL cs.SD eess.AS
Confusion2vec 2.0: Enriching Ambiguous Spoken Language Representations with Subwords
University of Southern California(南加州大学)
词向量表示使机器能够对人类语言进行编码以用于口语语言理解和处理。Confusion 2 vec是一种词向量表示方法,它从人类的语音产生和感知出发,除了语义和句法信息外,还对人类口语中存在的歧义进行编码。Confusion 2 vec通过考虑固有的人类语言歧义来提供鲁棒的口语表示。在本文中,我们提出了一种新的词向量空间估计的无监督学习的格子输出的自动语音识别(ASR)系统。我们在confusion 2 vec向量空间中通过其组成子字字符n-gram对每个字进行编码。我们表明,子字编码有助于更好地代表人类口语中的声学感知模糊性,通过网格结构的ASR输出建模的信息。使用语义,句法和声学类比和单词相似性任务的有用性进行评估,建议的Confusion 2 vec表示。我们还展示了子词建模的好处,声学歧义表示的任务,口语意图检测。当对错误的ASR输出进行评估时,结果显着优于现有的词向量表示。我们证明了Confusion 2 vec子词建模消除了对ASR成绩单上的自然语言理解模型进行再训练/调整的需要。
2021-02-19 cs.CL cs.SD eess.AS
J-CHAT: Japanese Large-scale Spoken Dialogue Corpus for Spoken Dialogue Language Modeling
The University of Tokyo(东京大学);Keio University(庆应义塾大学)
本文提出 J-CHAT,一个76000小时的日本口语对话语料库,用于改进 spoken dialogue 语言模型,通过自动化方法确保高质量和自然性,推动人机对话研究。
2026-04-02 cs.CL cs.SD eess.AS
Recent Advances in End-to-End Spoken Language Understanding
University of Avignon(阿维尼翁大学);University of Le Mans(勒芒大学);University of Nantes(南特大学)
本文研究了直接从语音信号中提取语义信息的单端到端神经网络模型下的口语语言理解(SLU)系统。两个SLU任务被认为是:命名实体识别(NER)和语义槽填充(SF)。对于这些任务,为了提高模型的性能,我们探索了各种技术,包括说话人自适应,修改的连接主义时间分类(CTC)的训练标准,和顺序预训练。
2019-09-29 cs.CL eess.AS
Pretrained Semantic Speech Embeddings for End-to-End Spoken Language Understanding via Cross-Modal Teacher-Student Learning
University of Stuttgart(斯图加特大学)
口语理解通常基于包括语音识别和自然语言理解步骤的流水线架构。这些组件被独立地优化以允许使用可用数据,但是整个系统遭受错误传播。在本文中,我们提出了一种新的训练方法,使预训练的上下文嵌入处理声学特征。特别是,我们扩展它与编码器的预训练语音识别系统,以构建端到端的口语理解系统。我们所提出的方法是基于教师-学生的框架,跨越语音和文本形式,对齐的声学和语义的潜在空间。在三个基准测试中的实验结果表明,我们的系统达到了与流水线架构相当的性能,而不使用任何训练数据,并在三个基准测试中的两个上进行了每类十个示例的微调后,性能优于流水线架构。
2020-08-11 cs.CL cs.LG cs.SD
Finetuning End-to-End Models for Estonian Conversational Spoken Language Translation
Tallinn University of Technology(塔林理工大学)
本文针对爱沙尼亚语会话语音翻译数据稀缺问题,通过合成数据微调 Whisper、OWSM 3.1 和 SeamlessM4T 三种端到端模型,其中 SeamlessM4T 性能达到或超过级联系统。
2024-07-04 cs.CL eess.AS
Weak-Supervised Dysarthria-invariant Features for Spoken Language Understanding using an FHVAE and Adversarial Training
KULeuven(鲁汶大学)
构音障碍语音中训练数据的稀缺性和说话人的差异性导致构音障碍语音口语理解系统的准确性和说话人泛化能力较差。通过对语音特征的研究,我们致力于在有限的构音障碍数据下提高模型的泛化能力。无监督训练的因子化分层变分自动编码器(FHVAE)在分离内容和说话人表征方面显示出其优势。早期的工作表明,构音障碍显示在两个特征向量。在这里,我们添加了对抗性训练来弥合控制和构音障碍语音数据域之间的差距。我们使用弱监督提取构音障碍和说话人不变特征。提取的功能进行评估的口语理解任务,并产生更高的准确性看不见的扬声器与更严重的构音障碍相比,从基本的FHVAE模型或平原滤波器组的功能。
2022-10-24 cs.SD eess.AS
Neural domain alignment for spoken language recognition based on optimal transport
National Institute of Information and Communications Technology(日本国立信息通信研究机构);Research Center for Information Technology Innovation, Academic Sinica(中央研究院信息科技创新研究中心)
针对跨域口语语言识别中的领域偏移和过度对齐导致的负迁移问题,提出基于最优传输的无监督领域自适应算法,通过引入耦合加权部分最优传输自适应调整对齐权重,显著提升了跨通道识别性能。
2023-10-20 cs.SD eess.AS
SpeechDPR: End-to-End Spoken Passage Retrieval for Open-Domain Spoken Question Answering
National Taiwan University(台湾大学);Massachusetts Institute of Technology(麻省理工学院);Meta AI;Rembrand(伦勃朗)
本文提出首个面向开放域口语问答检索组件的端到端框架SpeechDPR,通过从无监督ASR和文本密集检索器的级联模型蒸馏知识学习句子级语义表示,无需人工转录数据,在ASR效果差时表现更鲁棒。
2024-08-24 cs.CL cs.IR cs.SD
A Discriminative Hierarchical PLDA-based Model for Spoken Language Recognition
Instituto de Investigación en Ciencias de la Computación (ICC), CONICET-UBA(CONICET-布宜诺斯艾利斯大学计算机科学研究所(ICC));SRI International(斯坦福国际研究院)
口语识别(SLR)是指用于确定语音样本中存在的语言的自动过程。SLR本身就是一项重要的任务,例如,作为分析或分类大量多语言数据的工具。此外,它也是在工作流中选择下游应用的必要工具,例如,选择适当的语音识别或机器翻译模型。SLR系统通常由两个阶段组成,一个是提取代表音频样本的嵌入,第二个是计算每种语言的最终分数。在这项工作中,我们接近SLR任务作为一个检测问题,并实现第二阶段作为一个概率线性判别分析(PLDA)模型。我们发现,PLDA参数的判别式训练相对于通常的生成训练提供了很大的增益。此外,我们提出了一种新的分层方法,其中训练两个PLDA模型,一个用于生成高度相关语言的聚类的分数,第二个用于生成每个聚类的分数条件。最终的语言检测分数被计算为这两组分数的组合。完整的模型是有区别地训练的,以优化交叉熵目标。我们表明,这种层次化的方法始终优于非层次化的高度相关的语言检测,在许多情况下,大幅度。我们训练我们的系统上收集的数据集,包括超过100种语言,并测试他们的匹配和不匹配的条件下,显示的收益是强大的条件不匹配。
2022-08-11 cs.CL cs.SD eess.AS
Cross-Domain Adaptation of Spoken Language Identification for Related Languages: The Curious Case of Slavic Languages
Saarland University(萨尔大学)
基于端到端深度神经网络的最先进的口语识别(LID)系统不仅在区分遥远的语言方面取得了显着的成功,而且在区分密切相关的语言甚至同一语言的不同口语变体方面也取得了显着的成功。然而,目前还不清楚神经LID模型在多大程度上推广到不同的声学条件下,由于域转移的语音样本。在本文中,我们提出了一组实验来研究域不匹配对神经LID系统的性能的影响,为两个域(阅读语音和无线电广播)的六种斯拉夫语言的子集,并检查两个低级别的信号描述符(频谱和倒谱特征)这项任务。我们的实验表明,(1)域外语音样本严重阻碍了神经LID模型的性能,(2)虽然频谱和倒谱特征在域内表现出相当的性能,但频谱特征在域失配下表现出更强的鲁棒性。此外,我们采用无监督的域适应,以尽量减少在我们的研究中的两个域之间的差异。我们实现了相对精度的提高,范围从9%到77%,这取决于源域中的声学条件的多样性。
2020-08-07 cs.CL eess.AS
Where are we in semantic concept extraction for Spoken Language Understanding?
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);Avignon Université(阿维尼翁大学)
口语语言理解(SLU)主题在过去三年中取得了很大的进展,端到端神经方法的出现。口语语言理解是指与从语音信号中提取语义相关的自然语言处理任务,如从语音中识别命名实体识别或人机对话环境中的槽填充任务。传统上,SLU任务是通过级联方法处理的,该方法包括首先应用自动语音识别过程,然后应用自然语言处理模块进行自动翻译。最近三年,已经提出了基于深度神经网络的端到端神经方法,以便通过使用单个神经模型直接从语音信号中提取语义。最近关于使用未标记数据的自监督训练的工作在自动语音识别和自然语言处理的性能方面开辟了新的前景。在本文中,我们提出了一个简短的概述法国媒体基准数据集SLU的最新进展,有或没有使用额外的数据。我们还提出了我们的最后结果,显着优于目前的最先进的概念出错率(CER)为11.2%,而不是13.6%的最后一个国家的最先进的系统,今年提出的。
2022-10-11 cs.CL cs.SD eess.AS
BanglaNum -- A Public Dataset for Bengali Digit Recognition from Speech
针对孟加拉语语音识别研究匮乏的问题,本研究构建了用于识别孟加拉数字的公开数据集BanglaNum,并验证了SqueezeNet等参数高效的CNN模型在频谱图上可达98.23%的测试准确率。
2024-03-20 eess.AS eess.SP
On the difficulty of a distributional semantics of spoken language
Tilburg University(蒂尔堡大学)
在无监督学习领域,大多数关于语音的工作都集中在发现低层次的结构,如音素库存或单词样单位。相比之下,对于书面语言,有大量的工作是关于单词、整句和较长文本的语义表示的无监督归纳。在这项研究中,我们研究的挑战,适应这些方法从书面到口头语言。我们推测,如果我们从表面的变化抽象,口语语义的无监督学习是可行的。我们用一个真实但统一的合成声音所讲的话语数据集来模拟这种设置。我们评估两个简单的无监督模型,在不同程度的成功,学习语音片段的语义表示。最后,我们对人类语音提出了不确定的结果,并讨论了在不受限制的自然口语中学习分布式语义表示所面临的挑战。
2018-10-26 cs.CL cs.LG cs.SD
T5lephone: Bridging Speech and Text Self-supervised Models for Spoken Language Understanding via Phoneme level T5
MediaTek Research(联发科研究院);National Taiwan University(台湾大学);Academia Sinica(中央研究院)
在口语语言理解(SLU)中,一种自然的解决方案是将预训练的语音模型(例如HuBERT)和预训练的语言模型(PLM,例如T5)连接起来。大多数以前的作品使用预训练的语言模型与基于子词的标记。然而,输入设备的粒度影响语音模型输出和语言模型输入的对齐,并且具有基于字符的标记化的PLM未被充分探索。在这项工作中,我们进行了广泛的研究如何PLMs与不同的标记化策略影响口语语言理解任务,包括口语问答(SQA)和语音翻译(ST)。我们进一步扩展了这个想法,创建了T5lephone(发音为电话),这是T5的一个变体,使用音素化文本进行预训练。我们使用现有的PLM初始化T5lephone,使用相对轻量级的计算资源对其进行预训练。我们在NMSQA上达到了最先进的水平,T5lephone型号超过了T5,在端到端SQA和ST上有其他类型的设备。
2022-11-01 cs.CL cs.SD eess.AS
SpokeN-100: A Cross-Lingual Benchmarking Dataset for The Classification of Spoken Numbers in Different Languages
Department Artificial Intelligence in Biomedical Engineering(生物医学工程人工智能系)
该研究提出SpokeN-100,一个包含四种语言、32位说话者、12,800个音频样本的跨语言口语数字基准数据集,并设计了语言和数字分类任务,通过进化神经架构搜索在微控制器上实现了首个基准结果。
2024-03-14 cs.AI cs.SD eess.AS
Neural Model Reprogramming with Similarity Based Mapping for Low-Resource Spoken Command Recognition
Georgia Institute of Technology(佐治亚理工学院);Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心);Kore University of Enna(恩纳科雷大学);IBM Research(IBM研究院)
本文提出一种基于相似性标签映射的对抗性重编程方法,结合迁移学习构建AR-SCR系统,在阿拉伯语、立陶宛语和构音障碍普通话三个低资源语音命令数据集上以少量训练数据超越了现有最优结果。
2023-10-30 cs.AI cs.LG cs.NE
Multimodal Modeling For Spoken Language Identification
Google(谷歌公司)
本文提出多模态口语识别方法MuSeLI,利用视频标题、描述和地理位置等元数据增强语言识别,在YouTube数据集上取得最先进结果,并通过消融研究验证各模态的贡献。
2023-09-19 cs.CL cs.LG cs.SD
Advancing Large Language Models to Capture Varied Speaking Styles and Respond Properly in Spoken Conversations
National Taiwan University(台湾大学)
本文提出Spoken-LLM框架,通过构建语音到语音数据集StyleTalk并采用两阶段训练流程,使大语言模型能够理解说话风格并做出恰当响应,实验证明其优于纯文本基线和现有语音LLM方法。
2024-05-30 cs.CL eess.AS
Exploiting Spectral Augmentation for Code-Switched Spoken Language Identification
Swiggy (Bundl Technologies India Limited)(Swiggy(印度邦德尔科技有限公司))
需要口语识别(LID)系统来识别给定音频样本中存在的语言,并且通常可以是许多语音处理相关任务(诸如自动语音识别(ASR))中的第一步。自动识别语音信号中的语言不仅在科学上是有趣的,而且在印度这样的多语言国家中具有实际重要性。在许多印度城市,当人们相互交流时,可能会混合多达三种语言。这些可能包括该省的官方语言,印地语和英语(有时邻近省份的语言也可能在这些互动中混合)。这使得口语LID任务在印度背景下极具挑战性。虽然在印度语言的背景下已经实现了相当多的LID系统,但大多数这样的系统使用的是组织内部收集的小规模语音数据。在目前的工作中,我们对三种印度语言(古吉拉特语,泰卢固语和泰米尔语)与英语混合的代码进行口语LID。这项任务是由微软研究团队组织的,作为一个口头LID挑战。在我们的工作中,我们修改了通常的频谱增强方法,并提出了一个语言掩码,区分语言ID对,这导致了噪声鲁棒的口语LID系统。所提出的方法相对于微软提出的基线系统,在挑战中建议的两个共享任务的三种语言对上,LID准确性相对提高了约3-5%。
2020-10-14 cs.CL cs.SD eess.AS
What BERT Based Language Models Learn in Spoken Transcripts: An Empirical Study
语言模型(LM)已经普遍地用于包括口语语言理解(SLU)的各种任务中。口语需要仔细理解说话人的交互,对话状态和语音诱导的多模态行为,以生成有意义的会话表示。在这项工作中,我们建议解剖SLU分为三个代表性的属性:会话(不流利,停顿,overtalk),通道(扬声器类型,轮任务)和ASR(插入,删除,替换)。我们探测基于BERT的语言模型(BERT,RoBERTa)训练的口语成绩单,以调查其能力,理解多种属性,在没有任何语音提示。实验结果表明,LM是令人惊讶的好捕捉会话属性,如暂停预测和overtalk检测词汇标记。在缺点方面,LM在回合任务和ASR错误预测方面得分较低。此外,对LM进行口头成绩单的预训练抑制了其语言理解。最后,我们在两个基准数据集上建立了上述属性的有效性和可移植性:Switchboard Dialog Act和Disfluency数据集。
2021-09-21 cs.AI cs.CL cs.LG
Robust Open-Set Spoken Language Identification and the CU MultiLang Dataset
Recognition Technologies, Inc.(识别技术公司)
本文提出一种基于MFCC、音高特征、TDNN嵌入、置信度阈值及LDA/pLDA的开放集口语语言识别方法,在训练语言上达91.76%准确率,并构建了CU MultiLang数据集以支持未知语言的实时适应。
2023-08-29 cs.AI cs.CL cs.LG
Finding Task-specific Subnetworks in Multi-task Spoken Language Understanding Model
Sony Group Corporation(索尼集团公司);Carnegie Mellon University(卡内基梅隆大学)
针对多任务口语理解模型参数量大、适配新任务易出现灾难性遗忘的问题,提出通过神经网络剪枝寻找任务特定子网络的方法,在UniverSLU模型上验证了其可在极小性能损失下适配新任务数据。
2024-06-18 cs.CL eess.AS
Almost-unsupervised Speech Recognition with Close-to-zero Resource Based on Phonetic Structures Learned from Very Small Unpaired Speech and Text Data
National Taiwan University(国立台湾大学)
对于世界上95%以上的低资源语言来说,为训练ASR系统生成大量带注释的语音数据仍然很困难。然而,我们注意到,人类婴儿开始学习语言的声音,少量的范例词没有听到大量的数据。我们在本文中开始在这个方向上的一些初步工作。音频Word2Vec用于获得携带从信号中提取的语音信息的口语单词的嵌入。一个自动编码器被用来生成嵌入的文本单词的发音特征的基础上的音素序列。这两套嵌入口语和文本的话描述了相似的语音结构之间的话在各自的潜在空间。从音频嵌入到文本嵌入的映射关系实际上给出了单词级ASR。这可以通过在嵌入空间中对齐少量的口语单词和相应的文本单词来学习。在最初的实验中,只有200个注释的口语单词和一个小时的语音数据没有注释,给出了27.5%的单词准确率,这是一个很低的起点。
2018-10-30 cs.CL cs.SD eess.AS
Predictive Speech Recognition and End-of-Utterance Detection Towards Spoken Dialog Systems
Waseda University(早稻田大学);Karlsruhe Institute for Technology(卡尔斯鲁厄理工学院)
本文提出一种模拟人类预测行为的对话系统方法,通过掩蔽未来音频片段训练ASR预测后续词语,并结合声学与语言学信息的交叉注意力算法检测话语结束,可在实际EOU前300ms进行预测并提升ASR性能。
2024-09-30 cs.CL cs.SD eess.AS
Learning ASR-Robust Contextualized Embeddings for Spoken Language Understanding
National Taiwan University(台湾大学)
使用预训练的语言模型(LM)来提取上下文化的单词表示,在各种NLP任务上取得了最先进的性能。然而,将该技术应用于自动语音识别器(ASR)生成的带噪转录本是令人关注的。因此,本文的重点是使上下文表示更具ASR鲁棒性。我们提出了一种新的混淆感知微调方法,以减轻ASR错误对预训练LM的影响。具体来说,我们微调LM产生类似的表示声学混淆的话,从词混淆网络(WCN)产生的ASR。在基准ATIS数据集上的实验表明,该方法在ASR成绩单上的口语语言理解性能得到显著提高。我们的源代码可以在https://github.com/MiuLab/SpokenVec上找到
2020-11-02 cs.CL cs.LG eess.AS
Contrastive Learning for Improving ASR Robustness in Spoken Language Understanding
National Taiwan University(国立台湾大学)
口语语言理解(Spoken language understanding,SLU)是机器理解人类语音以实现更好交互的重要任务。然而,来自自动语音识别器(ASR)的错误通常会损害理解性能。实际上,ASR系统可能不容易针对目标场景进行调整。因此,本文采用对比目标学习对ASR错误具有鲁棒性的话语表征,并在模型微调中结合监督对比学习和自升华进一步增强泛化能力。在三个基准数据集上的实验证明了该方法的有效性。
2022-06-27 cs.CL cs.SD eess.AS
Spoken Term Detection Methods for Sparse Transcription in Very Low-resource Settings
Charles Darwin University(查尔斯达尔文大学)
我们调查的效率,两个非常不同的口语术语检测方法的转录时,可用的数据是不够的训练一个强大的ASR系统。这项工作是在非常低的资源的语言文档的情况下,只有几分钟的记录已被转录为一个给定的language.Experiments两种口头语言的基础上表明,一个预先训练的通用电话识别器,微调只有几分钟的目标语言的讲话,可以用于口语术语检测具有更好的整体性能比动态时间规整方法。此外,我们表明,在图结构中表示音素识别歧义可以进一步提高召回率,同时保持低资源口语术语检测任务的高精度。
2021-06-11 cs.CL cs.SD eess.AS
Symbolic inductive bias for visually grounded learning of spoken language
Tilburg University(蒂尔堡大学)
本文提出在端到端口语视觉学习中引入多任务学习,通过三任务架构联合匹配语音、文本与图像,利用转写语音提供强归纳偏置,显著提升图像检索性能。
2019-06-05 cs.CL cs.LG cs.SD
A Study on the Integration of Pre-trained SSL, ASR, LM and SLU Models for Spoken Language Understanding
Carnegie Mellon University(卡内基梅隆大学)
为口语语言理解(SLU)收集足够的标记数据是昂贵且耗时的。最近的研究通过在低资源场景中使用预先训练的模型取得了令人鼓舞的结果。受此启发,我们的目标是问:哪些(如果有的话)预训练策略可以提高SLU基准的性能?为了回答这个问题,我们采用了四种类型的预训练模型及其组合用于SLU。我们利用在大量未配对数据上预训练的自监督语音和语言模型(LM)来提取强语音和文本表示。我们还探索使用在较大的外部自动语音识别(ASR)或SLU语料库上预训练的监督模型。我们对SLU评估(SLUE)基准进行了广泛的实验,并观察到自监督预训练模型更强大,预训练LM和语音模型分别对情感分析和命名实体识别任务最有益。
2022-11-10 cs.CL cs.SD eess.AS
Transducer-based language embedding for spoken language identification
National Institute of Information and Communications Technology (NICT)(国立信息与通信技术研究所)
声学特征和语言特征是口语识别任务的重要线索。目前先进的LID系统主要使用声学特征,缺乏显式语言特征编码的使用。在本文中,我们提出了一种新的基于转换器的语言嵌入方法,通过将RNN转换器模型集成到语言嵌入框架中来实现LID任务。受益于RNN换能器的语言表示能力的优点,所提出的方法可以利用语音感知的声学特征和显式语言特征用于LID任务。实验在大规模多语言LibriSpeech和VoxLingua107数据集上进行。实验结果表明,该方法显着提高了LID任务的性能,在域内和跨域数据集上的相对改善分别为12%至59%和16%至24%。
2022-07-29 cs.CL cs.SD eess.AS