End-to-end spoken language understanding using joint CTC loss and self-supervised, pretrained acoustic encoders
Amazon Alexa AI(亚马逊Alexa人工智能部门)
提出以 CTC 微调的自监督声学编码器提取文本嵌入,并用 CTC 与 SLU 联合损失训练端到端 SLU 模型,在 DSTC2 和 SLURP 上分别超过 SOTA 4% 和 1.3%。
2023-06-02 cs.CL cs.SD eess.AS
Leveraging Multilingual Self-Supervised Pretrained Models for Sequence-to-Sequence End-to-End Spoken Language Understanding
University of Stuttgart(斯图加特大学)
本文提出一种整合多语言预训练语音和文本模型的统一方法,以生成方式在四种语言的六个数据集上执行端到端口语语言理解,通过7000小时多语言数据预训练,在多个数据集上超越最先进水平,并在PortMEDIA-Language数据集上显著提升性能。
2023-10-09 cs.CL cs.SD eess.AS
A Study on the Integration of Pre-trained SSL, ASR, LM and SLU Models for Spoken Language Understanding
Carnegie Mellon University(卡内基梅隆大学)
为口语语言理解(SLU)收集足够的标记数据是昂贵且耗时的。最近的研究通过在低资源场景中使用预先训练的模型取得了令人鼓舞的结果。受此启发,我们的目标是问:哪些(如果有的话)预训练策略可以提高SLU基准的性能?为了回答这个问题,我们采用了四种类型的预训练模型及其组合用于SLU。我们利用在大量未配对数据上预训练的自监督语音和语言模型(LM)来提取强语音和文本表示。我们还探索使用在较大的外部自动语音识别(ASR)或SLU语料库上预训练的监督模型。我们对SLU评估(SLUE)基准进行了广泛的实验,并观察到自监督预训练模型更强大,预训练LM和语音模型分别对情感分析和命名实体识别任务最有益。
2022-11-10 cs.CL cs.SD eess.AS
Adapting Pretrained Transformer to Lattices for Spoken Language Understanding
National Taiwan University(国立台湾大学)
格是对多个假设进行编码的紧凑表示,例如语音识别结果或不同的分词。结果表明,与自动语音识别器(ASR)产生的1-最佳结果相比,编码格提高了口语语言理解(SLU)的性能。近年来,基于Transformer结构的预训练语言模型在自然语言理解方面取得了令人瞩目的成果,但其对格的编码能力尚未得到充分的研究。因此,本文旨在将预训练的Transformers适应于格输入,以便执行专门针对口语的理解任务。我们在基准ATIS数据集上的实验表明,使用lattice输入微调预训练的Transformers比使用1-best结果进行微调有明显的改善。进一步的评估表明,我们的方法在不同的声学条件下的有效性。我们的代码可在https://github.com/MiuLab/Lattice-SLU上获得
2020-11-02 cs.AI cs.CL
Benchmarking Transformers-based models on French Spoken Language Understanding tasks
CNRS(法国国家科学研究中心);LISN(跨学科数字科学实验室);QWANT(QWANT公司)
在过去的五年中,基于自注意力transformer的架构的兴起导致了许多自然语言任务的最先进性能。虽然这些方法越来越受欢迎,但它们需要大量的数据和计算资源。在数据稀缺的应用条件下,仍然非常需要对资源不足的语言进行基准测试。大多数预先训练的语言模型都是使用英语进行大规模研究的,只有少数是用法语进行评估的。在本文中,我们提出了一个统一的基准,侧重于评估模型的质量和生态影响两个著名的法语口语语言理解任务。特别是,我们基准十三个完善的基于变压器的模型上的两个可用的口语语言理解任务的法语:媒体和ATIS-FR。在这个框架内,我们表明,紧凑的模型可以达到可比的结果,而他们的生态影响是相当低的。然而,这种假设是微妙的,并取决于所考虑的压缩方法。
2022-07-19 cs.AI cs.CL
Semi-Supervised Spoken Language Understanding via Self-Supervised Speech and Language Model Pretraining
Amazon(亚马逊)
最近关于口语语言理解(SLU)的许多工作至少在以下三种方式中的一种上受到限制:模型在Oracle文本输入上进行训练并忽略ASR错误,模型被训练为仅预测意图而没有槽值,或者模型在大量内部数据上进行训练。在本文中,我们提出了一个干净的和一般的框架来学习语义直接从语音半监督从转录或未转录的语音来解决这些问题。我们的框架建立在预训练的端到端(E2E)ASR和自监督语言模型(如BERT)基础上,并在有限的目标SLU数据上进行了微调。我们研究了ASR组件的两个半监督设置:对转录语音进行监督预训练,以及通过用自监督语音表示(如wav2vec)替换ASR编码器进行无监督预训练。同时,我们确定了两个基本标准评估SLU模型:环境噪声鲁棒性和E2E语义评估。ATIS上的实验表明,我们的SLU框架与语音作为输入可以执行等同于使用甲骨文文本作为输入的语义理解,即使环境噪声是存在的,有限数量的标记语义数据可用于训练。
2020-10-26 cs.CL
Contrastive Learning for Improving ASR Robustness in Spoken Language Understanding
National Taiwan University(国立台湾大学)
口语语言理解(Spoken language understanding,SLU)是机器理解人类语音以实现更好交互的重要任务。然而,来自自动语音识别器(ASR)的错误通常会损害理解性能。实际上,ASR系统可能不容易针对目标场景进行调整。因此,本文采用对比目标学习对ASR错误具有鲁棒性的话语表征,并在模型微调中结合监督对比学习和自升华进一步增强泛化能力。在三个基准数据集上的实验证明了该方法的有效性。
2022-06-27 cs.CL cs.SD eess.AS
On the Evaluation of Speech Foundation Models for Spoken Language Understanding
Carnegie Mellon University(卡内基梅隆大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);ASAPP(ASAPP公司);National Taiwan University(台湾大学)
本文通过冻结/微调与不同预测头协议系统评估多种监督式和自监督语音基础模型,发现自监督模型在 SLUE 任务上常具竞争力,并发布 SLUE-PERB 开源工具包与排行榜。
2024-06-14 cs.CL cs.SD eess.AS
Jointly Trained Transformers models for Spoken Language Translation
传统的口语翻译(spoken language translation,缩写为AI)系统是基于流水线的系统,其中我们具有自动语音识别(Automatic Speech Recognition,缩写为ASR)系统以将源的模态从语音转换成文本,以及机器翻译(Machine Translation,缩写为MT)系统以将源文本翻译成目标语言的文本。序列-序列架构的最新进展已经减少了基于流水线的并行处理系统(级联ASR-MT)和端到端方法之间的性能差距。虽然端到端和级联ASR-MT系统达到了相当的性能水平,但我们可以使用ASR假设和oracle text w.r.t MT模型看到很大的性能差距。这种性能差距表明,由于噪声ASR假设,而不是甲骨文文本转录的MT系统容易大的性能下降。在这项工作中,通过在ASR和MT系统之间创建端到端的可区分管道来降低性能的这种退化。在这项工作中,我们训练的ASR目标作为辅助损失和两个网络连接通过神经隐藏表示的系统。该训练将具有到最终目标函数的端到端可微分路径,并且利用ASR目标以获得更好的性能。此架构已从BLEU从36.8改进到44.5。由于多任务训练,该模型还生成由预训练的MT模型使用的ASR假设。将所提出的系统与MT模型相结合,BLEU分数增加了1。所有的实验都是在How2语料库上进行的。最终的BLEU分数与How2数据集上的最佳语音翻译系统相当,没有额外的…
2020-04-25 cs.CL cs.SD eess.AS
Generative Spoken Dialogue Language Modeling
Meta AI Research(元人工智能研究院);EHESS(法国高等社会科学研究院);Inria(法国国家信息与自动化研究所)
我们介绍dGSLM,第一个“无文本”模型能够生成自然主义口语对话的音频样本。它使用了最近在无监督口语单元发现方面的工作,再加上一个双塔Transformer架构,该架构具有在2000小时的双通道原始会话音频(Fisher数据集)上训练的交叉注意力,没有任何文本或标签。我们表明,我们的模型能够在两个通道中同时生成语音,笑声和其他非语言信号,并且与基于文本的级联模型相比,再现了更自然和流畅的话轮转换。
2022-11-22 cs.CL cs.LG cs.SD
Dialogue history integration into end-to-end signal-to-concept spoken language understanding systems
INSA Rennes(雷恩国立应用科学学院);IRISA(法国国家信息与自动化研究所雷恩分所);McGill University(麦吉尔大学)
本文研究了口语语言理解系统中用于表示对话历史的嵌入方法。我们专注于当语义信息直接从语音信号中提取通过一个单一的端到端的神经网络模型的情况。我们建议将对话历史集成到端到端的信号到概念SLU系统中。对话历史以对话历史嵌入向量(所谓的h向量)的形式表示,并且作为附加信息提供给端到端SLU模型,以便提高系统性能。本文提出了以下三种类型的h向量,并进行了实验评估:(1)监督所有嵌入,预测用户从最后一个对话系统响应的答案中预期的概念袋;(2)监督频率嵌入,专注于预测仅选定的一组语义概念(对应于我们实验中最常见的错误);以及(3)无监督嵌入。在MEDIA语料库上进行的语义槽填充实验表明,所提出的h向量提高了模型的性能。
2020-02-14 cs.CL cs.SD eess.AS
Toward Low-Cost End-to-End Spoken Language Understanding
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)
口语语言理解的最新进展得益于在大型语音语料库上训练的自监督模型。对于法语,LeBenchmark项目已经提供了这样的模型,并在包括口语语言理解在内的几项任务上取得了令人印象深刻的进展。这些进步在计算时间和能源消耗方面具有不可忽视的成本。在本文中,我们比较了几种学习策略,试图减少这种成本,同时保持竞争力的表现。与此同时,我们提出了一个广泛的分析,我们衡量我们的模型在训练时间和电能消耗方面的成本,希望促进全面的评估程序。在FSC和MEDIA语料库上进行的实验表明,在保持最先进性能的同时,使用SSL模型可以降低学习成本。
2022-07-01 cs.CL cs.SD eess.AS
From Semi-supervised to Almost-unsupervised Speech Recognition with Very-low Resource by Jointly Learning Phonetic Structures from Audio and Text Embeddings
National Taiwan University(台湾大学)
对于世界上95%以上的低资源语言来说,为训练ASR系统生成大量带注释的语音数据仍然很困难。然而,我们注意到人类婴儿开始通过少量范例词的声音(或语音结构)学习语言,并在没有听到大量数据的情况下将这些知识“概括”到其他单词。我们在这方面开展了一些初步工作。Audio Word2Vec用于从口语单词(信号段)中学习语音结构,而另一个自动编码器用于从文本单词中学习语音结构。两者之间的关系可以共同学习,也可以在训练好后单独学习。这种关系可以用在资源非常少的语音识别中。在TIMIT数据集上的初始实验中,仅2.1小时的语音数据(其中2500个口语单词被注释,其余未标记)给出了44.6%的单词出错率,并且如果给出4.1小时的语音数据(其中20000个口语单词被注释),则该数字可以降低到34.2%。这些结果并不令人满意,但却是一个很好的起点。
2019-04-10 cs.CL cs.SD eess.AS
Reflecting Twice before Speaking with Empathy: Self-Reflective Alternating Inference for Empathy-Aware End-to-End Spoken Dialogue
College of Computer Science, Nankai University(南开大学计算机科学学院);Meituan LongCat Interaction Team(美团LongCat交互团队)
ReEmpathy通过自我反思交替推理机制提升语音对话的同理心表现,实现更情感智能的人机交互。
2026-01-26 cs.CL cs.SD
Minimally Supervised Written-to-Spoken Text Normalization
Google(谷歌)
在诸如文本到语音(TTS)或自动语音识别(ASR)的语音应用中,\emph{text normalization}指的是从\emph{written}表示转换成文本将如何是\emph{spoken}的表示的任务。在所有真实世界的语音应用程序中,文本规范化引擎都是手工开发的。例如,可以使用手工构建的语法来列举在给定语言中说出给定标记的可能方式,并且使用统计模型来选择上下文中最适当的发音。在这项研究中,我们研究了在文本规范化引擎中使用或多或少特定于语言的领域知识的权衡。在数据最丰富的场景中,我们可以访问精心构建的手工构建的规范化语法,对于任何给定的token,该语法都会为该token生成一组所有可能的动词化。我们还假设了一个语料库对齐的书面-口语话语,从中我们可以训练一个排名模型,选择适当的动词化为给定的上下文。作为精心构造的语法的替代品,我们还考虑了一种具有语言通用规范化\emph{covering grammar}的场景,其中开发人员只需要提供一组特定于该语言的词汇项。作为对齐语料库的替代,我们还考虑了一种情况,其中只有口语侧,并且通过用反向规范化语法组成口语侧来“幻觉化”相应的书面侧。我们调查的准确性的文本规范化引擎在这些情况下。我们报告的实验结果英语和俄语。
2016-09-21 cs.CL
SLIDE: Integrating Speech Language Model with LLM for Spontaneous Spoken Dialogue Generation
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学);Guangdong Provincial Public Security Department(广东省公安厅);Shanghai Jiao Tong University(上海交通大学)
本文提出 SLIDE 框架,通过 LLM 生成对话文本、双塔 Transformer 预测音素时长、SLM 发声化,在 Fisher 数据集上实现语义连贯的自然口语对话生成。
2025-01-01 cs.CL cs.SD eess.AS
Large-scale Transfer Learning for Low-resource Spoken Language Understanding
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
端到端口语理解(SLU)模型变得越来越大和复杂,以实现最先进的准确性。然而,模型复杂性的增加也会引入过度拟合的高风险,由于可用数据的限制,这是SLU任务中的一个主要挑战。在本文中,我们提出了一种基于注意力的SLU模型以及三种编码器增强策略来克服数据稀疏性挑战。第一种策略侧重于迁移学习方法,以提高编码器的特征提取能力。它是通过依赖于标准Transformer架构的大量自动语音识别注释数据预训练编码器组件,然后用少量目标标记数据微调SLU模型来实现的。第二种策略采用多任务学习策略,SLU模型通过共享底层编码器将语音识别模型集成在一起,提高了鲁棒性和泛化能力。第三种策略,从组件融合(CF)的想法,涉及双向编码器表示从Transformer(BERT)模型,旨在提高解码器的能力与辅助网络的学习。因此,它降低了过拟合的风险,并间接地增强了底层编码器的能力。在FluentAI数据集上的实验表明,与基线相比,跨语言迁移学习和多任务策略分别提高了4:52%和3:89%。
2020-08-13 cs.CL cs.SD eess.AS
Introducing Semantics into Speech Encoders
University of California, Los Angeles(加州大学洛杉矶分校);Meta AI;National Taiwan University(国立台湾大学)
最近的研究发现,现有的自监督语音编码器主要包含声学信息,而不是语义信息。因此,流水线监督自动语音识别(ASR)到大语言模型(LLM)系统通过利用来自LLM的丰富语义表示来实现语义口语任务的最新结果。这些系统的代价是标记的音频传输,这是昂贵和耗时的获得。我们提出了一个任务不可知的无监督的方式,将语义信息从LLM到自监督语音编码器没有标记的音频transmitting。通过引入语义,我们将现有的语音编码器口语语言理解性能在意图分类上提高了10%以上,在命名实体分辨率和槽填充方面有适度的增益,口语问答FF1得分提高了2%以上。我们的无监督方法实现了与在超过100小时的标记音频转录上训练的监督方法相似的性能,证明了现有语音编码器的无监督语义增强的可行性。
2022-11-15 cs.CL cs.LG cs.SD
HebDB: a Weakly Supervised Dataset for Hebrew Speech Processing
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Technion, Israel Institute of Technology(以色列理工学院)
本研究提出用于希伯来语语音处理的弱监督数据集HebDB,含约2500小时多说话人多主题语音及预处理版本,配套两种ASR基线,实验显示其优化后性能优于同规模多语言基线,相关资源已公开。
2024-07-10 cs.CL cs.SD eess.AS
Speech-language Pre-training for End-to-end Spoken Language Understanding
Microsoft(微软)
端到端(E2 E)口语语言理解(SLU)可以直接从语音信号中推断语义,而无需将自动语音识别器(ASR)与自然语言理解(NLU)模块级联。然而,成对的话语记录和对应的语义可能并不总是可用的或不足以在真实的生产环境中训练E2 E SLU模型。在本文中,我们提出将优化的E2 E ASR编码器(语音)和预训练的语言模型编码器(语言)统一到Transformer解码器中。通过使用条件掩蔽语言模型(MLM)目标,统一的语音-语言预训练模型(SLP)在来自目标域的有限标记数据上不断增强,并且因此可以有效地生成用于推理中的给定输入语音的意图、槽类型和槽值的序列。在两个公开语料库上的实验结果表明,该方法在E2 E SLU上的性能优于传统的级联方法。它还优于目前最先进的E2 E SLU方法,配对数据少得多。
2021-02-11 cs.CL cs.SD eess.AS
"KAN you hear me?" Exploring Kolmogorov-Arnold Networks for Spoken Language Understanding
Politecnico di Torino(托斯卡纳理工学院);Kore University of Enna(恩纳大学);Università degli Studi di Palermo(巴勒莫大学)
本研究首次将Kolmogorov-Arnold网络应用于口语语言理解,通过五种配置集成KAN层,发现其可替代线性层并在多数数据集上达到相当或更优性能,同时揭示了KAN与线性层对原始波形关注区域的差异。
2025-05-26 cs.CL cs.LG eess.AS
Long-Form Speech Generation with Spoken Language Models
Google DeepMind(谷歌DeepMind);Language Lab, KAIST(语言实验室,韩国科学技术院)
针对无文本口语模型难以生成超过几十秒语音的问题,提出SpeechSSM模型家族,利用线性时间序列建模在单次会话中生成多分钟连贯语音,并引入LibriSpeech-Long基准及新评估指标。
2025-07-10 cs.CL cs.SD eess.AS
A Scope Sensitive and Result Attentive Model for Multi-Intent Spoken Language Understanding
Shanghai Jiao Tong University(上海交通大学);Nanyang Technological University(南洋理工大学);BNU-UIC Institute of Artificial Intelligence and Future Networks(北师港浸大人工智能与未来网络研究院);Beijing Normal University (Zhuhai)(北京师范大学(珠海));BNU-HKBU United International College(北京师范大学-香港浸会大学联合国际学院)
多意图口语语言理解(SLU)作为一种新的、更为复杂的口语理解场景,正受到越来越多的关注。与传统SLU不同,此场景中的每个Intent都有其特定的范围。范围之外的语义信息甚至会阻碍预测,这极大地增加了意图检测的难度。更严重的是,用这些不准确的意图标签填充引导槽会遇到错误传播问题,导致整体性能不令人满意。为了解决这些问题,本文提出了一种基于Transformer的范围敏感结果注意力网络(SSRAN),它包含范围识别器(SR)和结果注意力网络(RAN)。范围识别器将范围信息分配给每个标记,减少了范围外标记的干扰。结果注意力网络有效地利用了槽填充和意图检测结果之间的双向交互,减轻了错误传播问题。在两个公共数据集上的实验表明,我们的模型显着提高了SLU性能(5.4%和2.1%的总体准确率)超过最先进的基线。
2022-11-22 cs.CL cs.SD eess.AS
HC$^2$L: Hybrid and Cooperative Contrastive Learning for Cross-lingual Spoken Language Understanding
University of Science and Technology Beijing(北京科技大学);Agency for Science, Technology and Research(新加坡科技研究局);Nanyang Technological University(南洋理工大学);University of Technology Sydney(悉尼科技大学)
针对零样本跨语言口语理解中标签信息未被利用的问题,提出融合无监督与三类有监督对比学习的协作框架,在9种语言上取得新SOTA。
2024-05-10 cs.AI cs.CL
Deep LSTM Spoken Term Detection using Wav2Vec 2.0 Recognizer
University of West Bohemia(西波西米亚大学)
近年来,端到端语音识别系统的性能远远超过标准的混合DNN-HMM语音识别器。其中一个非常有前途的方法是字素Wav 2 Vec 2.0模型,它使用自监督预训练方法结合微调语音识别器的迁移学习。由于它缺乏发音词汇和语言模型,该方法适用于获得这样的模型是不容易或几乎不可能的任务。在本文中,我们使用的Wav 2 Vec语音识别器在一个大的口语文档集的口语术语检测的任务。该方法采用深度LSTM网络,将识别的假设和搜索的术语映射到共享的发音嵌入空间中,在该空间中,术语出现和分配的分数很容易计算。本文描述了一种自举方法,允许将DNN-HMM混合ASR的传统发音词汇中包含的知识转移到基于图素的Wav 2 Vec的上下文中。所提出的方法优于先前公布的系统的基础上的组合的DNN-HMM混合ASR和音素识别器的大幅度的MALACH数据在英语和捷克语。
2022-10-21 cs.CL cs.SD eess.AS
Bridging Speech and Textual Pre-trained Models with Unsupervised ASR
Carnegie Mellon University(卡内基梅隆大学);National Taiwan University(台湾大学);Johns Hopkins University(约翰斯·霍普金斯大学);Meta AI
口语语言理解是从口语中提取高级语义的任务。以前的工作已经研究了语音自监督模型和文本预训练模型的使用,这些模型对各种SLU任务都有合理的改进。然而,由于语音信号和文本标记之间的不匹配模态,以前的方法通常需要复杂的框架设计。这项工作提出了一个简单而有效的无监督范式,它连接语音和文本预训练模型,从而为SLU中的各种任务提供了一个无监督的语音到语义预训练模型。具体来说,我们建议使用无监督自动语音识别(ASR)作为连接器,连接语音和文本预训练模型中使用的不同模态。我们的实验表明,无监督ASR本身可以改善语音自监督模型的表示。更重要的是,它被证明是语音和文本预训练模型之间的有效连接器,提高了五种不同SLU任务的性能。值得注意的是,在口语问答方面,我们在具有挑战性的NMSQA基准测试中达到了最先进的结果。
2022-11-06 cs.CL cs.SD eess.AS
A dual task learning approach to fine-tune a multilingual semantic speech encoder for Spoken Language Understanding
LIA - Avignon Université(阿维尼翁大学LIA实验室);LISN - CNRS/Université Paris-Saclay(巴黎萨克雷大学LISN实验室)
针对SAMU-XLSR框架专门化训练导致多语言性能下降、单独SLU微调丧失跨语言能力的问题,本文提出双任务学习方法,结合远距离语言实验提升其语义增强效果与语言可移植性。
2024-06-17 cs.CL cs.SD eess.AS
Where are we in semantic concept extraction for Spoken Language Understanding?
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);Avignon Université(阿维尼翁大学)
口语语言理解(SLU)主题在过去三年中取得了很大的进展,端到端神经方法的出现。口语语言理解是指与从语音信号中提取语义相关的自然语言处理任务,如从语音中识别命名实体识别或人机对话环境中的槽填充任务。传统上,SLU任务是通过级联方法处理的,该方法包括首先应用自动语音识别过程,然后应用自然语言处理模块进行自动翻译。最近三年,已经提出了基于深度神经网络的端到端神经方法,以便通过使用单个神经模型直接从语音信号中提取语义。最近关于使用未标记数据的自监督训练的工作在自动语音识别和自然语言处理的性能方面开辟了新的前景。在本文中,我们提出了一个简短的概述法国媒体基准数据集SLU的最新进展,有或没有使用额外的数据。我们还提出了我们的最后结果,显着优于目前的最先进的概念出错率(CER)为11.2%,而不是13.6%的最后一个国家的最先进的系统,今年提出的。
2022-10-11 cs.CL cs.SD eess.AS
A Fine-tuned Wav2vec 2.0/HuBERT Benchmark For Speech Emotion Recognition, Speaker Verification and Spoken Language Understanding
Zaion(Zaion公司);Zaion Lab(Zaion实验室)
语音自监督模型如wav 2 vec 2.0和HuBERT在自动语音识别(ASR)中取得了革命性的进展。然而,它们还没有被完全证明在ASR以外的任务上产生更好的性能。在这项工作中,我们探索了wav 2 vec 2.0和HuBERT预训练模型的部分微调和整体微调,用于三个非ASR语音任务:语音情感识别,说话人验证和口语语言理解。在简单的下游框架下,IEMOCAP上的语音情感识别在说话者相关设置上的加权准确率达到79.58%,在说话者无关设置上的加权准确率达到73.01%,VoxCeleb 1上的说话者验证的平均出错率达到2.36%,SLURP上的意图分类的准确率达到89.38%,时隙填充的F1达到78.92%,显示了微调wav 2 vec 2.0和HuBERT在学习韵律、声纹和语义表征方面的优势。
2022-10-03 cs.CL cs.NE cs.SD
SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Microsoft Cognitive Services Group(微软认知服务组)
口语语言理解(SLU)需要一个模型来分析输入的声学信号,以理解其语言内容并做出预测。为了提高模型的性能,已经提出了各种预训练方法来从大规模未注释的语音和文本中学习丰富的表示。然而,这两种模式之间的内在差异需要相互分析。在本文中,我们提出了一种新的半监督学习框架,SPLAT,联合预训练的语音和语言模块。除了使用未配对的语音和文本对两个单独的模块进行自我监督的掩蔽语言建模任务外,SPLAT还使用少量配对的语音和文本在共享的潜在空间中对齐来自两个模块的表示。因此,在微调期间,语音模块可以单独产生携带输入声学信号的声学信息和上下文语义知识的表示。实验结果验证了我们的方法对各种SLU任务的有效性。例如,SPLAT将Spoken SQuAD数据集的性能提高了10%以上。
2021-03-15 cs.CL
Unsupervised Spoken Utterance Classification
Interactions Corp.(Interactions公司)
智能虚拟助理(IVA)通过口语发音分类(SUC)实现呼叫路由中的轻松对话,口语发音分类(SUC)是口语语言理解(SLU)的一种特殊形式。构建SUC系统需要大量受监督的域内数据,而这些数据并不总是可用的。在本文中,我们介绍了一种无监督的口语分类方法(USUC),不需要任何域内的数据,除了意图标签和一些para-phrases每个意图。USUC由KNN分类器(K=1)和在大量无监督客户服务语料库上训练的复杂嵌入模型组成。在所有的嵌入模型中,我们证明了Elmo最适合USUC。然而,Elmo模型太慢,无法在运行时用于呼叫路由。为了解决这个问题,首先,我们离线计算uni-gram和bi-gram嵌入向量,并构建n-gram及其相应嵌入向量的查找表。然后,我们使用这个表在运行时计算句子嵌入向量,以及用于不可见n-gram的回退技术。实验表明,USUC在不需要监督数据的情况下,将分类出错率从32.9%降低到27.0%,优于传统的话语分类方法。此外,我们的查找和回退技术提高了处理速度从每秒16话语到每秒118话语。
2021-07-02 cs.CL cs.HC
Unsupervised Transfer Learning for Spoken Language Understanding in Intelligent Agents
Carnegie Mellon University(卡内基梅隆大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
用户与语音驱动代理的交互会产生大量未标记的话语。在本文中,我们探索的技术,有效地转移这些未标记的话语知识,以提高口语语言理解(SLU)任务的模型性能。我们使用嵌入从语言模型(ELMo),以利用未标记的数据,通过学习上下文的单词表示。此外,我们还提出了ELMo-Light(ELMoL),这是一种更快,更简单的SLU无监督预训练方法。我们的研究结果表明,与从头开始训练相比,在大型未标记话语语料库上进行无监督预训练可以显著提高SLU性能,甚至可以优于传统的监督传输。此外,我们表明,从无监督转移技术的收益可以进一步提高监督转移。这些改进在低资源设置中更加明显,并且当仅使用1000个标记的域内样本时,我们的技术与从头开始训练10- 15倍标记的域内数据的性能相匹配。
2018-11-13 cs.AI cs.CL cs.LG
Improving Textless Spoken Language Understanding with Discrete Units as Intermediate Target
National Taiwan University(台湾大学);Meta AI
本文提出以自监督语音模型中的离散单元作为中间指导来改进无文本口语理解,在五个SLU基准上超越基线,并提升少样本学习和抗噪能力。
2023-07-08 cs.CL eess.AS
Low Resource Pipeline for Spoken Language Understanding via Weak Supervision
在弱监督学习(WSL)中,模型是在从语义规则和特定于任务的预训练模型中获得的噪声标签上训练的。规则对任务的泛化能力有限,需要大量的手动工作,而预训练的模型仅适用于有限的任务。在这项工作中,我们建议利用基于提示的方法作为弱源来获取未注释数据上的噪声标签。我们发现,任务不可知的提示是可推广的,并可用于获得不同的口语语言理解(SLU)任务,如情感分类,不流利检测和情感分类的嘈杂标签。这些提示还可以更新以添加特定于任务的上下文,从而为设计特定于任务的提示提供灵活性。我们证明了基于神经网络的方法为上述SLU任务生成可靠的标签,因此可以作为一个通用的弱源来训练弱监督模型(WSM)在没有标记的数据。我们提出的WSL流水线在所有三个基准SLU数据集上的Macro-F1上,在零和少样本学习上训练的弱源上优于其他竞争性低资源基准超过4%。所提出的方法也优于传统的基于规则的WSL管道超过5%的宏F1。
2022-06-21 cs.CL
An Effective Non-Autoregressive Model for Spoken Language Understanding
Shanghai Jiao Tong University(上海交通大学);Beijing Normal University (BNU Zhuhai)(北京师范大学(珠海校区));BNU-HKBU United International College(北京师范大学-香港浸会大学联合国际学院);Guangdong Key Lab of AI and Multi-Modal Data Processing(广东省人工智能与多模态数据处理重点实验室)
口语语言理解是面向任务的对话系统的核心组成部分,由于人类的不耐烦,口语理解需要更短的推理延迟。非自回归SLU模型明显提高了推理速度,但由于每个槽块之间缺乏顺序依赖信息而导致不协调的槽问题。为了弥补这一缺陷,本文提出了一种新的非自回归SLU模型分层细化Transformer,它包含一个插槽标签生成(SLG)任务和一个分层细化机制(LRM)。SLG被定义为用令牌序列和生成的槽标签生成下一个槽标签。使用SLG,非自回归模型可以在训练过程中有效地获得依赖信息,并且不需要花费额外的时间进行推理。LRM从Transformer的中间状态预测初步SLU结果,并利用它们来指导最终预测。在两个公共数据集上的实验表明,我们的模型显着提高了SLU性能(整体准确率为1.5%),同时大大加快了推理过程(超过10倍)。
2021-08-16 cs.AI cs.CL
End-to-End Spoken Language Understanding for Generalized Voice Assistants
Amazon(亚马逊);Google Cloud AI(谷歌云人工智能)
端到端(E2E)口语语言理解(SLU)系统使用单个模型直接从语音预测话语语义。以前在这方面的工作集中在固定领域的目标任务,其中输出的语义结构是假定先验和输入语音是有限的复杂性。在这项工作中,我们提出了我们的方法来开发一个E2E模型的广义SLU在商业语音助理(VA)。我们提出了一个完全可区分的,基于transformer的分层系统,可以在ASR和NLU级别进行预训练。然后对转录和语义分类损失进行微调,以处理不同的意图和参数组合。这导致SLU系统在复杂的内部广义VA数据集上实现了比基线显著的改进,准确度提高了43%,同时仍然满足流行的Fluent Speech Commands数据集上99%的准确度基准。我们进一步在硬测试集上评估了我们的模型,该测试集只包含训练中看不到的插槽参数,并展示了近20%的改进,显示了我们的方法在真正苛刻的VA场景中的有效性。
2021-07-19 cs.AI cs.CL cs.SD
Speech Discrete Tokens or Continuous Features? A Comparative Analysis for Spoken Language Understanding in SpeechLLMs
The Chinese University of Hong Kong(香港中文大学)
针对SpeechLLMs中语音处理的离散tokens与连续特征两种主流方法,通过在相同实验设置下对比基于SSL的两者性能,结合不同规模LLM在多任务上的评估,发现连续特征总体更优,为相关研究提供参考。
2025-08-25 cs.CL cs.SD
Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model
National Taiwan University(国立台湾大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出PW-HuBERT框架,利用视觉基础语音模型生成伪词级目标,无需语音-文本配对数据,在四个SLU基准上提升语义理解性能。
2024-02-08 cs.CL cs.LG eess.AS
Spoken Function Calling: A New Perspective on Spoken Language Understanding for Large Audio Language Models
Shanghai Jiao Tong University(上海交通大学);Token Foundry, Alibaba Group(阿里巴巴集团Token Foundry);Shanghai Innovation Institute(上海创新研究院)
该研究提出语音函数调用(SFC)这一新型语义理解视角,构建SFC-Bench数据集并评估LLMs与LALMs性能,经后训练提升LALMs的SFC能力,实验显示SFC优于传统SLU,可大幅提升语义提取准确率。
2026-09-29 cs.CL cs.MM
Voice of Reason: Reinforcement Learning for Spoken Math
Kyutai;Gradium
本研究将强化学习应用于GLM-4-Voice语音模型,通过监督微调和可验证奖励的RL,无需额外推理标记即可提升口语数学推理准确性,结合流式推理达到74.8%的自由形式准确率,创下语音原生模型的新纪录。
2026-09-17 cs.CL
CLASH: Counterfactual Auditing of Lexical and Prosodic Reliance in Spoken Sarcasm Detection
Imperial College London(伦敦帝国理工学院);New York University(纽约大学);Technical University of Munich(慕尼黑工业大学);Tencent Inc.(腾讯公司);Wuhan University(武汉大学);Nankai University(南开大学)
CLASH提出双语反事实诊断框架,审计口语讽刺检测中词汇与韵律的依赖,揭示模型主要依赖词汇线索,区分声学敏感性与讽刺判别。
2026-09-16 cs.CL cs.SD
Do We Still Need Automatic Speech Recognition for Spoken Language Understanding?
University of Copenhagen(哥本哈根大学);Technical University of Denmark(丹麦技术大学);Corti(Corti公司)
口语理解(SLU)任务通常通过首先用自动语音识别(ASR)转录话语,然后将输出馈送到基于文本的模型来解决。语音数据的自监督表示学习的最新进展集中在改进ASR组件上。我们调查是否表示学习语音已经成熟到足以取代ASR SLU。我们比较了从wav2vec 2.0,最先进的ASR成绩单和地面真实文本中学习到的语音特征,作为一种新的基于语音的命名实体识别任务,一种真实世界紧急呼叫的心脏骤停检测任务和两种现有SLU基准的输入。我们发现,学习语音功能优于ASR成绩单上的三个分类任务。对于机器翻译,ASR成绩单仍然是更好的选择。我们强调了wav2vec 2.0表示的内在鲁棒性,以词汇表外的单词作为提高性能的关键。
2021-11-29 cs.CL cs.LG eess.AS
Paralinguistics-Enhanced Large Language Modeling of Spoken Dialogue
Amazon Alexa AI(亚马逊Alexa AI)
本文提出ParalinGPT,通过序列化多任务多模态框架融合文本、语音嵌入和副语言属性,在Switchboard-1上显著提升口语对话的情感预测与响应生成性能。
2024-01-17 cs.CL eess.AS
ZeroSyl: Simple Zero-Resource Syllable Tokenization for Spoken Language Modeling
Electrical and Electronic Engineering, Stellenbosch University, South Africa(斯瓦兹堡大学电子与电气工程系,南非)
提出ZeroSyl,一种无需训练的方法,直接从冻结的WavLM模型中提取音节边界和嵌入,实现竞争性的音节分割性能,并在词汇、句法和叙事基准上优于先前方法。
2026-06-17 cs.CL eess.AS
Transformer-based encoder-encoder architecture for Spoken Term Detection
University of West Bohemia(西波西米亚大学)
提出了一种基于Transformer结构的口语词检测方法。我们提出的编码器编码器架构采用两个BERT类编码器与额外的修改,包括卷积和上采样层,注意力掩蔽,和共享参数。编码器将识别的假设和搜索的术语投影到共享的嵌入空间中,其中使用校准的点积计算推定命中的分数。在实验中,我们使用了Wav2Vec 2.0语音识别器,所提出的系统在基于USC Shoah Foundation Visual History Archive(MALACH)的英语和捷克STD数据集上优于基于深度LSTM的基线方法。
2022-11-02 cs.CL cs.SD eess.AS
A Stack-Propagation Framework with Token-Level Intent Detection for Spoken Language Understanding
Harbin Institute of Technology(哈尔滨工业大学)
意图检测和槽填充是构建口语语言理解(SLU)系统的两个主要任务。这两个任务紧密相连,插槽通常高度依赖于意图。在本文中,我们提出了一个新的框架SLU更好地纳入意图信息,进一步指导槽填充。在我们的框架中,我们采用了一个联合模型与堆栈传播,可以直接使用的意图信息作为输入槽填充,从而捕捉意图语义知识。此外,为了进一步减轻错误传播,我们执行堆栈传播框架的令牌级意图检测。在两个公开数据集上的实验表明,我们的模型达到了最先进的性能,并大大优于其他以前的方法。最后,我们使用双向编码器表示从Transformer(BERT)模型在我们的框架中,这进一步提高了我们在SLU任务的性能。
2019-09-05 cs.CL
Homophone Disambiguation Reveals Patterns of Context Mixing in Speech Transformers
Tilburg University(蒂尔堡大学);University of Amsterdam(阿姆斯特丹大学)
本研究通过法语同音词消解任务,探究了语音Transformer中上下文混合模式,发现仅编码器模型能有效利用句法线索,而编码器-解码器模型依赖解码器处理上下文依赖。
2023-10-15 cs.AI cs.CL cs.LG
Augmentation Invariant Discrete Representation for Generative Spoken Language Modeling
Meta AI Research(Meta人工智能研究院);ENS(巴黎高等师范学院);INRIA(法国国家信息与自动化研究所);INSERM(法国国家健康与医学研究院);UPEC(巴黎东克雷泰伊大学);PSL Research University(巴黎文理研究大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文针对生成式口语语言建模中离散语音表示对时间拉伸等信号变化鲁棒性不足的问题,提出基于信号变换与迭代伪标签的鲁棒离散表示学习方法,并在编码、建模及语音到语音翻译任务上验证其优于现有基线。
2023-05-29 cs.CL cs.LG eess.AS
Multi-Domain Spoken Language Understanding Using Domain- and Task-Aware Parameterization
Harbin Institute of Technology(哈尔滨工业大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
口语语言理解已经被解决为监督学习问题,其中每个域都有一组训练数据。然而,为每个域注释数据既经济上昂贵又不可扩展,因此我们应该充分利用所有域的信息。一种现有的方法通过进行多域学习来解决这个问题,使用共享参数进行跨域的联合训练。我们建议通过使用特定于领域和特定于任务的模型参数来改进该方法的参数化,以改善知识学习和转移。在5个领域上的实验表明,该模型对多领域SLU具有更好的效果。此外,我们通过在适应一个新的领域时,以12.4\%的优势优于先验最佳模型来展示其可移植性。
2021-11-28 cs.CL
Capture Salient Historical Information: A Fast and Accurate Non-Autoregressive Model for Multi-turn Spoken Language Understanding
Shanghai Jiao Tong University(上海交通大学);Beijing Normal University (Zhuhai)(北京师范大学(珠海));BNU-HKBU United International College(北京师范大学-香港浸会大学联合国际学院);Nanyang Technological University(南洋理工大学)
口语语言理解是面向任务的对话系统的核心组成部分,面对人类用户的不耐烦,它需要更短的推理时间。现有的工作提高推理速度,通过设计非自回归模型单轮SLU任务,但未能适用于多轮SLU面对的对话历史。直观的想法是连接所有的历史话语,并直接利用非自回归模型。然而,这种方法严重错过了显着的历史信息,并遭受不协调槽问题。为了克服这些缺点,我们提出了一种新的多轮SLU模型命名为显着的历史注意与层细化Transformer(SHA-LRT),它由一个SHA模块,一个层细化机制(LRM),和一个槽标签生成(SLG)任务。SHA通过设计良好的历史-注意力机制从历史话语和结果中捕获当前对话的突出历史信息。LRM从Transformer的中间状态预测初步SLU结果,并利用它们来指导最终预测,SLG获得用于非自回归编码器的顺序依赖性信息。在公共数据集上的实验表明,我们的模型显着提高了多轮SLU性能(总体上提高了17.5%),在最先进的基线上加速了(近15倍)推理过程,并且对单轮SLU任务有效。
2022-06-24 cs.AI cs.CL
Marrying up Regular Expressions with Neural Networks: A Case Study for Spoken Language Understanding
ICST, Peking University, China(北京大学ICST(中国信息科学技术研究所));MetaLab, Lancaster University, UK(兰卡斯特大学MetaLab(元实验室));IBM China Research Lab, China(IBM中国研究实验室)
许多自然语言处理(NLP)任务的成功受到注释数据的数量和质量的约束,但通常缺乏这种训练数据。在本文中,我们提出了这样一个问题:“我们能否将神经网络(NN)与正则表达式(RE)结合起来,以改进NLP的监督学习?".在回答中,我们开发了新的方法来利用丰富的表现力的RE在不同级别的NN,显示出的组合显着提高了学习效率时,少量的训练样本。我们评估我们的方法,将其应用到口语语言理解的意图检测和插槽填充。实验结果表明,我们的方法是非常有效的利用现有的训练数据,给了一个明确的推动RE不知道神经网络。
2018-05-15 cs.CL
ReNikud: Audio-Supervised Hebrew Grapheme-to-Phoneme Conversion
Reichman University(雷奇曼大学);Carnegie Mellon University(卡内基梅隆大学)
提出ReNikud方法,利用音频监督和伪元音化架构,通过无标注音频的ASR伪标签和字符级对齐,解决希伯来语G2P转换中的元音缺失和发音歧义问题,在多个基准上达到最优。
2026-10-02 cs.CL
Attentive Contextual Carryover for Multi-Turn End-to-End Spoken Language Understanding
Alexa Speech, Amazon(亚马逊Alexa语音部门)
近年来,在端到端(E2E)口语语言理解(SLU)系统中已经看到了显著的进步,该系统直接从口语音频预测意图和时隙。虽然已经利用对话历史来改进传统的基于文本的自然语言理解系统,但是当前的E2E SLU方法还没有在多轮和面向任务的对话中结合这样的关键上下文信号。在这项工作中,我们提出了一个上下文E2E SLU模型架构,它使用了一个多头注意力机制,编码以前的话语和对话行为(由语音助手采取的行动)的多轮对话。我们详细介绍了替代方法,以将这些背景整合到最先进的经常性和基于transformer的模型中。当应用于语音助手收集的大量去识别的话语数据集时,我们的方法分别将平均单词和语义出错率降低了10.8%和12.6%。我们还提出了一个公开的数据集上的结果,并表明我们的方法显着提高了非上下文基线的性能
2021-12-13 cs.AI cs.CL
Integrating Facial Generation into Full-Duplex Spoken Dialogue Systems
Graduate School of Informatics, Nagoya University, Japan(名古屋大学信息学研究科)
提出Moshi-Face,首个联合处理用户音频和面部输入并同时生成语音和面部运动的全双工对话模型,通过VQ-VAE面部编解码器和非自回归面部变换器实现实时视听对齐。
2026-06-23 cs.CL cs.CV cs.HC