Joint Online Spoken Language Understanding and Language Modeling with Recurrent Neural Networks
Carnegie Mellon University（卡内基梅隆大学）
说话人意图检测和语义槽填充是对话系统口语语言理解的两个关键任务。在本文中，我们描述了一个循环神经网络（RNN）模型，共同执行意图检测，插槽填充和语言建模。神经网络模型在转录话语中的单词到达时不断更新意图估计，并将其用作联合模型中的上下文特征。在ATIS基准测试数据集上对语言模型和在线SLU模型进行了评估。在语言建模任务上，与独立训练的语言模型相比，我们的联合模型实现了11.8%的困惑相对减少。在SLU任务上，我们的联合模型在意图检测出错率上比独立任务训练模型高出22.3%，在插槽填充F1得分上略有下降。联合模型也显示出有利的性能，在现实的ASR设置与嘈杂的语音输入。
2016-09-06 cs.CL
Pre-training for Spoken Language Understanding with Joint Textual and Phonetic Representation Learning
Alibaba Group（阿里巴巴集团）
在用于口语语言理解（SLU）的传统级联架构中，已经观察到自动语音识别错误可能对自然语言理解的性能有害。已经提出了端到端（E2E）SLU模型，以利用单个模型将语音输入直接映射到期望的语义框架，从而减轻ASR错误传播。最近，已经探索了这些E2E模型的预训练技术。在本文中，我们提出了一种新的联合文本语音预训练方法学习口语表示，旨在探索语音信息的全部潜力，以提高SLU的鲁棒性ASR错误。我们探索音素标签作为高级语音特征，并设计和比较基于条件掩蔽语言模型目标和句间关系目标的预训练任务。我们还研究了在微调过程中结合文本和语音信息的功效。在口语语言理解基准测试Fluent Speech Commands和SNIPS上的实验结果表明，该方法的性能明显优于强基线模型，提高了口语语言理解对ASR错误的鲁棒性。
2021-09-01 cs.CL
Snips Voice Platform: an embedded Spoken Language Understanding system for private-by-design voice interfaces
Snips（Snips公司）
本文介绍了Snips语音平台的机器学习架构，这是一种在物联网设备的微处理器上执行口语语言理解的软件解决方案。嵌入式推理是快速和准确的，同时通过设计来加强隐私，因为没有收集个人用户数据。我们专注于自动语音识别和自然语言理解，详细介绍了我们训练高性能机器学习模型的方法，这些模型足够小，可以在小型设备上实时运行。此外，我们描述了一个数据生成过程，提供足够的，高质量的训练数据，而不损害用户的隐私。
2018-12-06 cs.CL cs.NE
A Joint and Domain-Adaptive Approach to Spoken Language Understanding
Peking University（北京大学）；Microsoft（微软）
口语语言理解（SLU）由两个子任务组成：意图检测（ID）和槽填充（SF）。关于SLU的研究有两条路线。一个联合处理这两个子任务，以提高其预测精度，另一个侧重于其中一个子任务的域适应能力。在本文中，我们试图弥合这两条线的研究，并提出了一个联合和域自适应的方法SLU。我们制定SLU作为一个受约束的生成任务，并利用基于特定领域的本体的动态词汇。我们在ASMixed和MTOD数据集上进行了实验，并与以前最先进的联合模型实现了竞争性能。此外，结果表明，我们的联合模型可以有效地适应一个新的领域。
2021-07-25 cs.AI cs.CL
Non-autoregressive End-to-end Approaches for Joint Automatic Speech Recognition and Spoken Language Understanding
Toshiba Europe Ltd（东芝欧洲有限公司）
提出面向联合ASR与SLU的SC-Mask-CTC非自回归端到端框架，在SLURP上提升SLU性能并保持ASR准确率，同时实现6倍解码加速。
2023-04-21 cs.SD eess.AS
ESPnet-SDS: Unified Toolkit and Demo for Spoken Dialogue Systems
Carnegie Mellon University（卡内基梅隆大学）；Sony Group Corporation（索尼集团公司）；Kyoto University（京都大学）；Hugging Face
本文提出开源工具包ESPnet-SDS，为级联和端到端口语对话系统构建统一网页界面，并提供延迟、理解能力、响应质量及音频质量等自动化评估指标，通过对比实验揭示当前端到端系统在音频质量和响应多样性上的不足。
2025-03-11 cs.CL cs.SD eess.AS
Integration of Pre-trained Networks with Continuous Token Interface for End-to-End Spoken Language Understanding
Clova AI, NAVER Corp.（NAVER公司Clova AI）；Inha University（仁荷大学）
大多数端到端（E2 E）SLU网络利用预先训练的ASR网络，但仍然缺乏理解话语语义的能力，这对于SLU任务至关重要。为了解决这个问题，最近提出的研究使用预训练的NLU网络。然而，充分利用两个预先训练的网络并不是一件小事;人们提出了许多解决方案，例如知识蒸馏，跨模态共享嵌入以及与接口的网络集成。我们提出了一种简单而强大的集成方法，E2 E SLU网络与新的接口，连续令牌接口（CTI），连接表示的ASR和NLU网络时，这两个网络是预先训练相同的词汇。因为唯一的区别是噪声水平，所以我们直接将ASR网络的输出馈送到NLU网络。因此，我们可以以E2 E方式训练我们的SLU网络，而无需额外的模块，如Gumbel-Softmax。我们使用SLURP（一个具有挑战性的SLU数据集）评估我们的模型，并在意图分类和插槽填充任务上获得最先进的分数。我们还验证了NLU网络，预先训练与掩蔽语言模型，可以利用CTI的嘈杂的文本表示。此外，我们表明，即使在与CTI集成后，我们的模型也可以通过从异构数据中进行多任务学习来训练。
2022-02-17 cs.AI cs.CL cs.LG
Joint Learning of Word and Label Embeddings for Sequence Labelling in Spoken Language Understanding
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Intapp Inc.（Intapp公司）
我们提出了一个架构，共同学习单词和标签嵌入槽填充口语语言理解。所提出的方法使用组合的词嵌入和直接的词标签关联从训练数据的标签编码。与最先进的方法相比，我们的方法不需要将标签嵌入作为输入的一部分，因此可以很好地适用于各种模型架构。此外，我们的架构计算单词和标签之间的上下文距离，以避免添加上下文窗口，从而减少内存占用。我们在已建立的口语对话数据集上验证了该方法，并表明它可以用更少的可训练参数实现最先进的性能。
2019-10-16 cs.AI cs.CL cs.LG
Data Augmentation for Spoken Language Understanding via Joint Variational Generation
Seoul National University（首尔国立大学）
口语语言理解（SLU）领域自适应的主要障碍之一是数据稀缺，这是由于手工标记SLU数据集的成本很高。神经文本生成模型，特别是潜在变量模型，如变分自编码器（VAE），最近的工作已经显示出有前途的结果，在生成合理的和自然的句子。在本文中，我们提出了一种新的生成架构，利用潜变量模型的生成能力，共同合成完全注释的话语。我们的实验表明，现有的SLU模型训练的额外的合成的例子实现性能增益。我们的方法不仅有助于缓解许多数据集的SLU任务中的数据稀缺问题，而且通过大量的实验和严格的统计测试，不加区别地提高了各种SLU模型的语言理解性能。
2018-11-06 cs.CL
OneNet: Joint Domain, Intent, Slot Prediction for Spoken Language Understanding
Amazon Alexa Brain（亚马逊Alexa智能大脑部门）；Microsoft Research（微软研究院）；Toyota Technological Institute（丰田理工学院）
在实践中，大多数口语语言理解系统以流水线方式处理用户输入;首先预测域，然后根据预测域的语义框架推断意图和语义槽。然而，流水线方法有一些缺点：错误传播和缺乏信息共享。为了解决这些问题，我们提出了一个统一的神经网络，共同执行域，意图和插槽预测。我们的方法采用多任务学习的原则架构，为每个任务折叠最先进的模型。再加上一些成分，例如对拼写敏感的输入编码和课程培训，我们的模型在所有领域的所有三个任务中都有了显著的改进，包括使用Oracle预测进行领域检测，对商业个人助理的真实用户数据。
2018-01-16 cs.CL
Zero-Shot Joint Modeling of Multiple Spoken-Text-Style Conversion Tasks using Switching Tokens
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话株式会社媒体智能研究所）
在本文中，我们提出了一种新的口语文本风格转换方法，可以同时执行多个风格转换模块，如标点符号恢复和不流利删除，而无需准备匹配的数据集。在实践中，由自动语音识别系统生成的译文不是高度可读的，因为它们经常包括许多不流利的部分并且不包括标点符号。为了提高其可读性，单独建模单个转换任务的多个口语文本样式转换模块被级联，因为同时处理多个转换任务的匹配数据集通常不可用。但是，由于转换错误链的存在，级联对于任务的顺序是不稳定的。此外，级联的计算成本必须高于单个转换。为了在不准备匹配数据集的情况下同时执行多个转换任务，我们的关键思想是使用开关区分各个转换任务。在我们提出的zero-shot联合建模中，我们使用多个切换令牌切换各个任务，使我们能够利用零样本学习方法来执行同时转换。通过对不流利音删除和标点符号恢复的联合建模实验，验证了该方法的有效性。
2021-06-23 cs.CL
Jointly Encoding Word Confusion Network and Dialogue Context with BERT for Spoken Language Understanding
Shanghai Jiao Tong University（上海交通大学）
口语语言理解（SLU）是将自动语音识别器（ASR）中的假设转换为结构化的语义表示。ASR识别错误会严重降低后续SLU模块的性能。为了解决这个问题，单词混淆网络（WCN）已被用来编码的输入SLU，它包含比1-最好或n-最好的假设列表更丰富的信息。为了进一步消除歧义，对话上下文的最后一个系统动作也被用作附加输入。本文提出了一种基于BERT的SLU模型（WCN-BERT SLU），用于对WCN和对话上下文进行联合编码。它可以在BERT架构中集成WCN的结构信息和ASR后验概率。在DSTC 2上的实验结果表明，该方法是有效的，可以显着优于以前的最先进的模型。
2020-09-08 cs.CL cs.LG
SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Microsoft Cognitive Services Group（微软认知服务组）
口语语言理解（SLU）需要一个模型来分析输入的声学信号，以理解其语言内容并做出预测。为了提高模型的性能，已经提出了各种预训练方法来从大规模未注释的语音和文本中学习丰富的表示。然而，这两种模式之间的内在差异需要相互分析。在本文中，我们提出了一种新的半监督学习框架，SPLAT，联合预训练的语音和语言模块。除了使用未配对的语音和文本对两个单独的模块进行自我监督的掩蔽语言建模任务外，SPLAT还使用少量配对的语音和文本在共享的潜在空间中对齐来自两个模块的表示。因此，在微调期间，语音模块可以单独产生携带输入声学信号的声学信息和上下文语义知识的表示。实验结果验证了我们的方法对各种SLU任务的有效性。例如，SPLAT将Spoken SQuAD数据集的性能提高了10%以上。
2021-03-15 cs.CL
Jointly Trained Transformers models for Spoken Language Translation
传统的口语翻译（spoken language translation，缩写为AI）系统是基于流水线的系统，其中我们具有自动语音识别（Automatic Speech Recognition，缩写为ASR）系统以将源的模态从语音转换成文本，以及机器翻译（Machine Translation，缩写为MT）系统以将源文本翻译成目标语言的文本。序列-序列架构的最新进展已经减少了基于流水线的并行处理系统（级联ASR-MT）和端到端方法之间的性能差距。虽然端到端和级联ASR-MT系统达到了相当的性能水平，但我们可以使用ASR假设和oracle text w.r.t MT模型看到很大的性能差距。这种性能差距表明，由于噪声ASR假设，而不是甲骨文文本转录的MT系统容易大的性能下降。在这项工作中，通过在ASR和MT系统之间创建端到端的可区分管道来降低性能的这种退化。在这项工作中，我们训练的ASR目标作为辅助损失和两个网络连接通过神经隐藏表示的系统。该训练将具有到最终目标函数的端到端可微分路径，并且利用ASR目标以获得更好的性能。此架构已从BLEU从36.8改进到44.5。由于多任务训练，该模型还生成由预训练的MT模型使用的ASR假设。将所提出的系统与MT模型相结合，BLEU分数增加了1。所有的实验都是在How2语料库上进行的。最终的BLEU分数与How2数据集上的最佳语音翻译系统相当，没有额外的…
2020-04-25 cs.CL cs.SD eess.AS
Reducing the Output-Mode Gap in Speech Language Models via Joint-Output On-Policy Distillation
Leibniz Research Center, Huawei（华为莱布尼茨研究中心）；The Chinese University of Hong Kong（香港中文大学）；City University of Hong Kong（香港城市大学）
针对语音语言模型中S2TS模式与S2T模式间的输出模式差距，提出联合输出在策略蒸馏方法，利用教师软目标显著降低准确率差距，实验验证其有效性。
2026-09-15 cs.CL cs.SD eess.AS
From Semi-supervised to Almost-unsupervised Speech Recognition with Very-low Resource by Jointly Learning Phonetic Structures from Audio and Text Embeddings
National Taiwan University（台湾大学）
对于世界上95%以上的低资源语言来说，为训练ASR系统生成大量带注释的语音数据仍然很困难。然而，我们注意到人类婴儿开始通过少量范例词的声音（或语音结构）学习语言，并在没有听到大量数据的情况下将这些知识“概括”到其他单词。我们在这方面开展了一些初步工作。Audio Word2Vec用于从口语单词（信号段）中学习语音结构，而另一个自动编码器用于从文本单词中学习语音结构。两者之间的关系可以共同学习，也可以在训练好后单独学习。这种关系可以用在资源非常少的语音识别中。在TIMIT数据集上的初始实验中，仅2.1小时的语音数据（其中2500个口语单词被注释，其余未标记）给出了44.6%的单词出错率，并且如果给出4.1小时的语音数据（其中20000个口语单词被注释），则该数字可以降低到34.2%。这些结果并不令人满意，但却是一个很好的起点。
2019-04-10 cs.CL cs.SD eess.AS
A Self-Attention Joint Model for Spoken Language Understanding in Situational Dialog Applications
ByteDance Corporation（字节跳动公司）
口语语言理解（SLU）是面向目标的对话系统的一个重要组成部分。它通常涉及识别说话者意图并从用户话语中提取语义槽，这被称为意图检测（ID）和槽填充（SF）。SLU问题是近年来研究的热点问题。然而，这些方法只是语法约束SF结果，独立解决ID和SF，或没有充分利用两个任务的相互影响。提出了一种具有条件随机场层和先验掩码的多头自注意联合模型。实验表明，我们的模型的有效性，与国家的最先进的模型相比。与此同时，中国的在线教育在过去几年取得了长足的进步。但是很少有智能教育对话应用程序供学生学习外语。因此，我们设计了一个智能对话机器人配备了不同的场景设置，以帮助学生学习沟通技巧。
2019-05-27 cs.AI cs.CL cs.HC
Motion-Omni: End-to-End Joint Speech and Full-Body Motion for Spoken Dialogue
Peking University（北京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
Motion-Omni是端到端联合语音与全身动作生成框架，基于Qwen2.5-7B-Instruct实现，在动作指标接近教师级联的同时速度提升5.4倍，词错误率为全模态系统最低，还发布了相关数据集与评估协议。
2026-09-28 cs.CV cs.SD eess.AS
Joint Learning of Context and Feedback Embeddings in Spoken Dialogue
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出使用对比学习目标将简短对话上下文与反馈回应嵌入同一表示空间，该方法在美式英语对话的反馈排序任务中优于人类，且学到的嵌入包含了会话功能信息。
2024-06-11 cs.AI cs.CL cs.LG
Joint On-line Learning of a Zero-shot Spoken Semantic Parser and a Reinforcement Learning Dialogue Manager
University of Avignon（阿维尼翁大学）
尽管最近在对话系统的设计方面取得了许多进展，但真正的瓶颈仍然是获取训练其组件所需的数据。与许多其他语言处理应用程序不同，对话系统需要与用户进行交互，因此使用预先记录的数据开发它们是复杂的。在以前的作品的基础上，在线学习是追求在这里作为一个最方便的方式来解决这个问题。数据汇集、注释和在学习算法中的使用在单个过程中执行。主要的困难是：引导一个初始的基本系统，并控制用户端的额外成本水平。考虑到性能良好的解决方案可以直接用于语音识别和合成，本研究仅侧重于学习口语语言理解和对话管理模块。联合学习的几个变种进行了调查和测试与用户试验，以确认整体在线学习后，只需几百个训练对话，可以超越基于专家的系统。
2018-10-01 cs.CL cs.LG
Joint Multimodal Contrastive Learning for Robust Spoken Term Detection and Keyword Spotting
Electrical Engineering（电子工程）；Artificial Intelligence（人工智能）
本文提出一种联合多模态对比学习框架，通过统一音频和跨模态监督提升语音术语检测和关键词 spotting 的鲁棒性。
2025-12-16 cs.LG cs.SD
UniSLU: Unified Spoken Language Understanding from Heterogeneous Cross-Task Datasets
Institute of Artificial Intelligence, School of Computer Science and Technology, Soochow University（人工智能学院、计算机科学与技术学院、苏州大学）
UniSLU 提出统一表示和生成式方法，在单一架构中联合建模 ASR、口语 NER 和 SA 任务，以充分利用异构跨任务数据集并提升口语语言理解性能。
2025-07-17 cs.AI cs.CL cs.MM
Meta Auxiliary Learning for Low-resource Spoken Language Understanding
China Mobile Research Institute（中国移动研究院）
口语理解（SLU）将自动语音识别（ASR）和自然语言理解（NLU）视为统一的任务，并且通常遭受数据稀缺。我们开发了一种基于Meta辅助学习的ASR和NLU联合训练方法，仅利用大量的语音数据的人工翻译来提高低资源SLU任务的性能。这种方法的一个明显优点是，它提供了一个灵活的框架来实现低资源SLU训练任务，而不需要访问任何进一步的语义注释。特别地，NLU模型被用作标签生成网络以从文本预测意图和槽标签;多任务网络从语音同步训练ASR任务和SLU任务;并且标签生成网络的预测被递送到多任务网络作为语义目标。在公共CATSLU数据集上的实验证明了该算法的有效性，为下游NLU任务提供了更合适的ASR假设。
2022-06-26 cs.CL cs.SD eess.AS
Building Robust Spoken Language Understanding by Cross Attention between Phoneme Sequence and ASR Hypothesis
JD AI（京东人工智能）；Hunan University（湖南大学）；University of Cambridge（剑桥大学）
构建对自动语音识别（ASR）错误鲁棒的口语语言理解（SLU）是各种启用语音的虚拟助理的基本问题。考虑到大多数ASR错误是由发音相似的表达之间的语音混淆引起的，直观地，利用语音的音素序列可以补充ASR假设，并增强SLU的鲁棒性。提出了一种新的带交叉注意的SLU模型（CASLU）.交叉注意块的设计是为了捕捉音素和词嵌入之间的细粒度的相互作用，以使联合表示捕捉输入的语音和语义特征的同时，克服在下游的自然语言理解（NLU）任务的ASR错误。在三个数据集上进行了大量的实验，显示了我们的方法的有效性和竞争力。此外，我们还验证了CASLU的通用性，并证明了它与其他鲁棒SLU技术相结合时的互补性。
2022-03-22 cs.CL cs.SD eess.AS
A Survey on Spoken Language Understanding: Recent Advances and New Frontiers
Research Center for Social Computing and Information Retrieval（社会计算与信息检索研究中心）；Harbin Institute of Technology（哈尔滨工业大学）
口语理解语言理解的目的是提取用户查询的语义框架，它是面向任务的对话系统的核心组成部分。随着深度神经网络的兴起和预训练语言模型的不断进化，语言学习单元的研究取得了重大突破。然而，仍然缺乏一个全面的调查，总结现有的方法和最近的趋势，这促使本文提出的工作。在本文中，我们综述了SLU的最新进展和新前沿。具体而言，本文对该领域的研究进行了全面的综述，包括：（1）新的分类：我们为SLU领域提供了一个新的视角，包括单模型与联合模型，联合模型中的隐式联合建模与显式联合建模，非预训练范式与预训练范式;（2）新的前沿：复杂SLU领域的一些新兴领域以及相应的挑战;（3）丰富的开源资源：为了帮助社区，我们收集、整理了相关论文、基线项目和排行榜，并将其放在一个公共网站上，SLU研究人员可以直接访问最新进展。希望本研究能对未来SLU领域的研究有所启示。
2021-05-09 cs.CL
Joint Text and Label Generation for Spoken Language Understanding
Amazon（亚马逊）
泛化是机器学习中的一个核心问题，特别是在数据有限的情况下。使用先验信息来加强约束是鼓励泛化的原则性方法。在这项工作中，我们建议利用嵌入在预训练的语言模型（LM）的先验信息，以提高泛化的意图分类和插槽标记任务与有限的训练数据。具体来说，我们以合成数据的形式从预训练的LM中提取先验知识，该数据对先验知识进行隐式编码。我们对LM进行微调以生成增强语言，该语言不仅包含文本，还对意图标签和槽标签进行编码。所生成的合成数据可用于稍后训练分类器。由于生成的数据可能包含噪声，因此我们将从生成的数据中学习重新定义为带噪声标签的学习。然后，我们利用混合正则化的分类器，并证明其有效性，以抵抗标签噪声在生成的数据。从经验上讲，我们的方法表现出优越的性能，并优于基线的大幅度。
2021-05-11 cs.CL cs.LG
Learning Word-Like Units from Joint Audio-Visual Analysis
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
给定一个图像和语音字幕的集合，我们提出了一种方法，用于发现连续语音信号中的单词状声学单元，并将它们接地到语义相关的图像区域。例如，我们的模型能够检测话语中单词“灯塔”的口语实例，并将它们与包含灯塔的图像区域相关联。我们不使用任何形式的传统自动语音识别，也不使用任何文本翻译或传统的语言注释。我们的模型有效地实现了一种形式的口语习得，其中计算机不仅学习通过声音识别单词类别，而且还通过将它们置于图像中来丰富它学习的单词的语义。
2017-05-24 cs.CL cs.CV
TASTE-Streaming: Towards Streamable Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling
Graduate Institute of Communication Engineering, National Taiwan University（国立台湾大学通讯工程研究所）
本文提出TASTE-S，通过集成CTC ASR模块和重设计解码器，实现流式传输的文本对齐语音标记化与嵌入，减少延迟并保持鲁棒性。
2026-03-12 cs.CL cs.SD
Sequence-to-Sequence Generation for Spoken Dialogue via Deep Syntax Trees and Strings
Charles University in Prague（布拉格查理大学）
我们提出了一个自然语言生成器的序列到序列的方法，可以训练产生自然语言字符串，以及从输入对话行为的深层语法依赖树的基础上，我们用它来直接比较两步生成单独的句子规划和表面实现阶段的联合，一步的方法。我们能够使用非常少的训练数据成功地训练这两个设置。联合设置提供了更好的性能，在基于n-gram的分数方面超过了最先进的水平，同时提供了更相关的输出。
2016-06-17 cs.CL
Spoken Conversational Agents with Large Language Models
NVIDIA Research（NVIDIA研究）
本文探讨了如何通过大语言模型构建语音对话代理，涵盖从级联到端到端系统的路径，以及跨模态对齐和联合训练等关键技术，同时讨论了隐私、安全和评估中的开放问题。
2025-12-02 cs.CL cs.MA cs.NE
A Unified Spoken Language Model with Injected Emotional-Attribution Thinking for Human-like Interaction
Institute of Artificial Intelligence (TeleAI), China Telecom, China（人工智能研究院（TeleAI），中国电信，中国）
本文提出一种通过注入情感归因思维提升情感智能的统一口语语言模型，实现人样交互中的情感感知与响应生成。
2026-01-08 cs.CL cs.SD
Exploring Speaker-Related Information in Spoken Language Understanding for Better Speaker Diarization
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
针对现有说话人日志方法仅依赖声学信息导致不利条件下性能下降的问题，提出从会议语义内容提取说话人信息，并联合建模声学与语义信息，在AISHELL-4和AliMeeting数据集上取得一致改进。
2023-05-22 cs.CL cs.SD eess.AS
On Building Spoken Language Understanding Systems for Low Resourced Languages
J.P.Morgan AI Research（摩根大通人工智能研究院）
口语对话系统正慢慢成为人类体验的一部分，这是由于它们比文本界面具有各种优势。口语语言理解（SLU）系统是口语对话系统的基本构建块。但是为低资源语言创建SLU系统仍然是一个挑战。在大量的低资源语言中，我们无法获得足够的数据来构建自动语音识别（ASR）技术，这是任何SLU系统的基础。此外，基于ASR的SLU系统不推广到非书面语言。在本文中，我们提出了一系列实验来探索资源极其匮乏的环境，在这些环境中，我们使用每个意图低至一个数据点的系统进行意图分类，并且数据集中只有一个说话者。我们还在低资源环境中工作，在这种环境中，我们不使用特定于语言的ASR系统来转录输入语音，这使得构建SLU系统来模拟真正的低资源环境的挑战更加复杂。我们测试我们的系统比利时荷兰语（佛兰芒语）和英语，并发现使用语音音标，使意图分类系统在这样的低资源设置执行显着优于使用语音功能。具体来说，当使用基于语音的系统在基于特征的系统，我们看到平均改善12.37%和13.08%的二进制和四类分类问题，分别超过49个不同的实验设置时。
2022-05-25 cs.AI cs.CL cs.SD
Multi-task RNN-T with Semantic Decoder for Streamable Spoken Language Understanding
Carnegie Mellon University（卡内基梅隆大学）；Amazon Alexa（亚马逊Alexa）
端到端口语语言理解（E2E SLU）由于其联合优化和低延迟等优点而受到越来越多的关注。现有的E2E SLU模型通常遵循两阶段配置，其中自动语音识别（ASR）网络首先预测转录本，然后通过接口将其传递到自然语言理解（NLU）模块以推断语义标签，例如意图和槽标签。然而，这种设计在进行转录本预测时不考虑NLU后验，也不通过考虑先前预测的词段来立即校正NLU预测误差。此外，两阶段系统中的NLU模型不可流式传输，因为它必须等待音频段完成处理，这最终影响SLU系统的延迟。在这项工作中，我们提出了一个流式多任务语义转换器模型来解决这些问题。我们提出的架构预测ASR和NLU标签自动回归，并使用语义解码器摄取先前预测的单词片段和插槽标签，同时通过融合网络将它们聚合起来。使用行业规模的SLU和公共FSC数据集，我们证明了所提出的模型在ASR和NLU指标方面都优于两阶段E2E SLU模型。
2022-04-01 cs.CL cs.SD eess.AS
Data balancing for boosting performance of low-frequency classes in Spoken Language Understanding
Amazon Alexa（亚马逊Alexa）
尽管数据不平衡在实际的口语理解应用中变得越来越普遍，但在文献中还没有得到广泛的研究。据我们所知，本文提出了第一个系统的研究，处理数据不平衡的SLU。特别是，我们讨论了现有的数据平衡技术SLU的应用，并提出了一个多任务SLU模型的意图分类和插槽填充。为了避免过度拟合，在我们的模型中，数据平衡的方法是通过一个辅助任务间接利用的，该任务利用了一个类平衡的批处理生成器和（可能的）合成数据。我们在真实世界数据集上的结果表明，i）我们提出的模型可以显着提高低频意图的性能，同时避免头部意图的潜在性能下降，ii）当现实数据不可用时，合成数据有利于引导新意图，但是iii）一旦一定量的现实数据变得可用，在辅助任务中使用合成数据仅产生比将它们添加到主任务训练数据更好的性能，以及iv）在联合训练场景中，单独地平衡意图分布不仅改进了意图分类，而且改进了时隙填充性能。
2020-08-06 cs.CL cs.SD eess.AS
Three-Module Modeling For End-to-End Spoken Language Understanding Using Pre-trained DNN-HMM-Based Acoustic-Phonetic Model
Ping An Technology（平安科技）；Yanshan University（燕山大学）
在口语语言理解（SLU）中，用户所说的话被转换为他/她的意图。最近关于端到端SLU的工作表明，可以通过预训练方法提高准确性。我们使用语音预训练和三模块建模重新审视Lugosch等人提出的想法;但是，为了简化端到端SLU模型的构建，我们使用来自DNN-HMM的开源声学语音模型作为音素模块混合自动语音识别（ASR）系统，而不是从头开始训练。因此，我们只对单词模块的语音进行微调，并在单词和意图模块上应用多目标学习（MTL）来共同优化SLU性能。MTL在意图分类出错率方面相对降低了40%（从1.0%降低到0.6%）。请注意，我们的三模块模型是一个流方法。所提出的三模块建模方法的最终结果在FluentSpeech上产生了99.4%的意图准确性，与Lugosch等人相比，意图出错率降低了50%。虽然我们专注于实时流方法，但我们也列出了非流方法进行比较。
2022-04-07 cs.CL cs.SD eess.AS
Streaming End-to-End Bilingual ASR Systems with Joint Language Identification
Amazon（亚马逊）
多语言ASR技术简化了模型训练和部署，但其准确性取决于运行时语言信息的可用性。由于语言身份在现实世界中很少事先知道，因此必须以最小的延迟进行即时推断。此外，在语音激活的智能助理系统中，ASR输出的下游处理也需要语言身份。在本文中，我们介绍了流，端到端，双语系统，使用递归神经网络转换器（RNN-T）架构执行ASR和语言识别（LID）。在输入侧，来自预训练的仅声学LID分类器的嵌入用于指导RNN-T训练和推理，而在输出侧，语言目标与ASR目标联合建模。所提出的方法适用于两种语言对：英语-西班牙语在美国说，英语-印地语在印度说。实验表明，对于英语-西班牙语，双语联合ASR-LID架构匹配单语ASR和仅声学LID精度。对于更具有挑战性（由于话语内代码切换）的情况下，英语印地语，英语ASR和LID指标显示退化。总的来说，在用户在语言之间动态切换的情况下，所提出的架构提供了一个有前途的简化运行多个单语ASR模型和LID分类器并行。
2020-07-08 cs.CL cs.SD eess.AS
A Data Efficient End-To-End Spoken Language Understanding Architecture
端到端体系结构最近已经被提出用于口语语言理解（SLU）和语义解析。基于大量的数据，这些模型联合学习声学和语言序列特征。这样的架构在域、意图和槽检测的上下文中给出了非常好的结果，它们在更复杂的语义组块和标记任务中的应用不太容易。为此，在许多情况下，模型与外部语言模型组合以增强其性能。在本文中，我们介绍了一个数据高效的系统，它是端到端训练的，没有额外的，预先训练的外部模块。我们的方法的一个关键特征是一个增量训练过程，其中声学，语言和语义模型依次训练。所提出的模型具有合理的大小，并在使用小的训练数据集的同时实现了与最先进的竞争结果。特别是，我们达到24.02%的概念出错率（CER）的媒体/测试，而媒体/训练没有任何额外的数据。
2020-02-14 cs.CL cs.LG cs.SD
A Hindi Speech Actuated Computer Interface for Web Search
Visvodaya Technical Academy（维斯沃达亚技术学院）
为了提高系统的简单性和灵活性，通过简化耳机和用户友好的软件设计，开发了一个基于音频诱发的系统。本文介绍了一种用于网络搜索的印地语语音驱动计算机接口（HSACIWS），它接受印地语的口头查询，并在屏幕上提供搜索结果。该系统通过大词汇量连续语音识别（LVCSR）识别语音查询，通过文本检索检索相关文档，并通过Web和语音系统的集成在Web上提供搜索结果。在这个系统中的LVCSR表现出足够的性能水平的语音与声学和语言模型来自查询语料库的目标内容。
2012-11-12 cs.CL cs.HC cs.IR
Spoken Language Understanding for Conversational AI: Recent Advances and Future Direction
The University of Sydney（悉尼大学）
当一个人在网络和在线上使用自然语言与一台机器进行交流时，它如何理解人类的意图和他们谈话的语义上下文？这是一项重要的人工智能任务，因为它使机器能够为人类构建合理的答案或执行有用的操作。意义在句子层面上表示，其识别被称为意图检测，而在单词层面上，标记任务被称为槽填充。这种双层联合任务需要对自然语言和深度学习网络设计进行创新性思考，因此提出并应用了许多方法和模型。本教程将讨论如何设置联合任务，并介绍使用深度学习技术的口语语言理解/自然语言理解（SLU/NLU）。我们将涵盖该领域使用的数据集，实验和指标。我们将描述机器如何使用最新的NLP和深度学习技术来解决联合任务，包括循环和基于注意力的Transformer网络和预训练模型（例如BERT）。然后，我们将详细研究一个网络，该网络允许两个级别的任务（意图分类和插槽填充）进行交互，以显式地提高性能。我们将为这个模型做一个Python笔记本的代码演示，与会者将有机会观看这个联合NLU上的编码演示任务，以加深他们的理解。
2022-12-21 cs.AI cs.CL
Blockwise Streaming Transformer for Spoken Language Understanding and Simultaneous Speech Translation
University of Chinese Academy of Sciences（中国科学院大学）；Carnegie Mellon University（卡内基梅隆大学）
虽然Transformers在口语语言理解（SLU）和语音翻译（ST）等语音处理任务中取得了成功，但在保持竞争力的同时实现在线处理对于现实世界的交互仍然至关重要。在本文中，我们采取的第一步流SLU和同步ST使用块流式Transformer，这是基于上下文块处理和块同步束搜索。此外，我们还针对流媒体SLU任务设计了一种基于自动语音识别（ASR）的中间损失正则化方法，以进一步提高分类性能。对于同时ST任务，我们提出了一种跨语言的编码方法，它采用了一个CTC分支优化目标语言翻译。此外，还利用CTC翻译输出，以CTC前缀分数细化搜索空间，首次实现联合CTC/注意力同传。SLU的实验是在FSC和SLURP语料库上进行的，而ST任务是在Fisher-CallHome Spanish和Must-C En-De语料库上进行的。实验结果表明，与离线模型相比，块流式传输Transformer实现了有竞争力的结果，特别是我们提出的方法，在SLU任务上进一步产生2.4%的准确性增益，在ST任务上获得4.3 BLEU增益。
2022-04-19 cs.CL cs.SD eess.AS
JAL-Turn: Joint Acoustic-Linguistic Modeling for Real-Time and Robust Turn-Taking Detection in Full-Duplex Spoken Dialogue Systems
本文提出JAL-Turn框架，通过联合声学-语言建模实现高效实时轮流检测，利用交叉注意力模块整合预训练声学表示与语言特征，同时共享冻结的ASR编码器以并行处理，提升准确性和实时性。
2026-10-14 cs.AI cs.CL
Neural approaches to spoken content embedding
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO（芝加哥丰田技术研究所）
本文提出基于循环神经网络的判别性声学词嵌入和声学基础词嵌入方法，改进训练效率与性能，扩展至低资源多语言，并应用于语音搜索和识别任务，与自监督模型互补。
2023-08-28 cs.CL cs.SD eess.AS
HAN: Higher-order Attention Network for Spoken Language Understanding
Peking University（北京大学）
口语语言理解是人机交互的核心部分，包括意图检测和槽填充。两个子任务之间的关系的自然属性对细粒度的特征交互提出了更高的要求，即，令牌级意图特征和槽特征。以往的研究主要集中在用基于注意力的模型对两个子任务之间的关系进行联合建模，而忽略了对注意力顺序的探索。在本文中，我们建议用我们提出的双线性注意力块取代传统的注意力，并表明引入的高阶注意力网络（HAN）为SLU任务带来了改进。重要的是，我们进行了广泛的分析，以探索从高阶注意力带来的有效性。
2021-08-26 cs.CL
Augmenting text for spoken language understanding with Large Language Models
Carnegie Mellon University（卡内基梅隆大学）；Meta
本文研究利用无对应语音的转录-语义解析文本扩充口语语义解析训练，提出用LLM生成非配对文本并结合JAT与TTS，在STOP数据集上显著提升现有及新领域的精确匹配性能。
2023-09-17 cs.CL cs.SD eess.AS
Plug-and-Play Multilingual Few-shot Spoken Words Recognition
Eindhoven University of Technology（埃因霍温理工大学）
针对低资源语言口语词汇识别数据不足的难题，提出多语言即插即用关键词检出系统PLiX，基于20种语言的百万级1秒音频训练少样本模型，仅需1个支持样本即可泛化到新词汇与未知语言，已开源模型与推理代码。
2023-05-03 cs.LG cs.SD eess.AS
New Semantic Task for the French Spoken Language Understanding MEDIA Benchmark
Université Paris-Saclay, CNRS, LISN（巴黎-萨克雷大学、法国国家科学研究中心、计算机科学与数字技术实验室）；Avignon Université, LIA（阿维尼翁大学、计算机科学实验室）；QWANT（Qwant公司）
本文针对法语MEDIA数据集缺少意图标注的问题，提出半自动方法构建带意图标注的增强版本，并用联合模型开展意图分类与槽填充实验，扩展了该基准的适用任务范围。
2024-03-28 cs.AI cs.CL
UniverSLU: Universal Spoken Language Understanding for Diverse Tasks with Natural Language Instructions
Carnegie Mellon University（卡内基梅隆大学）；Sony Group Corporation（索尼集团公司）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
本文提出UniverSLU，通过自然语言指令与标签选项进行指令调优，使单一模型跨17个数据集、9种语言完成12类SLU任务，并具备零样本泛化能力。
2024-04-03 cs.CL cs.SD eess.AS
Energy-based Self-attentive Learning of Abstractive Communities for Spoken Language Understanding
École Polytechnique（巴黎综合理工学院）；Linagora（利纳戈拉公司）；AUEB（雅典经济与商业大学）
摘要抽象社区发现是一项重要的口语语言理解任务，其目标是根据会话中的话语是否可以被一个共同的抽象句子所概括来对它们进行分组。本文提供了一种新的方法来完成这项任务。我们首先介绍了一个神经语境话语编码器，具有三种类型的自我注意力机制。然后，我们使用基于能量的连体和三重态元架构对它进行训练。在AMI语料库上的实验表明，我们的系统优于多个基于能量和非基于能量的基线从国家的最先进的。代码和数据是公开的。
2019-11-08 cs.CL cs.LG
From Masked Language Modeling to Translation: Non-English Auxiliary Tasks Improve Zero-shot Spoken Language Understanding
IT University of Copenhagen（哥本哈根信息技术大学）；Factmata（Factmata公司）；Tokyo Metropolitan University（东京都立大学）；University of Groningen（格罗宁根大学）；University of Trento（特伦托大学）；Fondazione The Microsoft Research – University of Trento Centre for Computational and Systems Biology (COSBI)（微软研究院-特伦托大学计算与系统生物学中心基金会（COSBI））
缺乏对低资源语言的公开评估数据限制了口语语言理解（SLU）的进展。由于像意图分类和槽填充这样的关键任务需要大量的训练数据，因此期望在高资源语言中重用现有数据以开发用于低资源场景的模型。我们引入了xSID，这是一个跨语言插槽和意图检测的新基准，适用于6个语言家族的13种语言，包括一种资源非常少的方言。为了应对这一挑战，我们提出了一种联合学习方法，使用英语SLU训练数据和来自原始文本、语法和翻译的非英语辅助任务进行传输。我们研究了两种设置，它们在预训练嵌入的类型和语言覆盖范围方面有所不同。我们的研究结果表明，联合学习的主要任务与掩蔽语言建模是有效的插槽，而机器翻译转移的工作最好的意图分类。
2021-05-15 cs.CL
Neural Network based End-to-End Query by Example Spoken Term Detection
Idiap Research Institute（Idiap研究院）
研究了零资源环境下的示例查询口语词检测问题。现有技术的方法主要依赖于基于动态时间规整（DTW）的模板匹配技术，该技术使用从深度神经网络（DNN）提取的音素后验或瓶颈特征。我们使用单语和多语言瓶颈功能，并表明多语言功能的表现越来越好，更多的训练语言。先前，已经示出了基于DTW的匹配可以被基于CNN的匹配替换，同时使用后验特征。在这里，我们表明，基于CNN的匹配优于基于DTW的匹配使用瓶颈功能以及。在这种情况下，我们的QbE-STD系统的特征提取和模式匹配阶段相互独立地进行优化。我们建议将这两个阶段整合到一个完全基于神经网络的端到端学习框架中，以同时实现这两个阶段的联合优化。在两个具有挑战性的多语言数据集上对所提出的方法进行了评估：Spoken Web Search 2013和Query by Example Search on Speech Task 2014，在每种情况下都有显着的改进。
2019-11-19 cs.CL cs.LG cs.SD
M3-DuplexBench: A Multi-Turn, Multilingual, Multidomain Benchmark for Full-Duplex Spoken Dialogue Models
研究针对全双工口语对话系统多轮公平比较难、现有基准覆盖不足的问题，提出支持英日双语、涵盖两类对话场景的M3-DuplexBench基准，通过多设置实验揭示模型话轮特征与性能差异。
2026-10-12 cs.CL
Four-in-One: A Joint Approach to Inverse Text Normalization, Punctuation, Capitalization, and Disfluency for Automatic Speech Recognition
Microsoft Corporation（微软公司）
实体的标点、大写和格式等特征对于可读性、理解和自然语言处理任务都很重要。然而，自动语音识别（ASR）系统产生没有格式化的口语形式的文本，并且用于格式化的标记方法一次仅处理一个或两个特征。在本文中，我们统一口语到书面语的文本转换通过两个阶段的过程：首先，我们使用一个单一的Transformer标记模型，共同产生令牌级的标签，反向文本规范化（ITN），标点符号，大写，和不流利。然后，我们应用标签来生成书面形式的文本，并使用加权有限状态转换器（WFST）语法来格式化标记的ITN实体跨度。尽管将四个模型合并为一个，但我们的统一标记方法在多个领域的基准测试集上匹配或优于所有四个任务的特定任务模型。
2022-10-26 cs.CL
Knowledge Augmented BERT Mutual Network in Multi-turn Spoken Dialogues
Georgia Institute of Technology（佐治亚理工学院）
现代口语语言理解（SLU）系统依赖于在单个话语中揭示的复杂语义概念来检测意图和槽。然而，他们缺乏在对话中建模多回合动态的能力，特别是在长期的插槽上下文中。在没有外部知识的情况下，依赖于词序列内有限的语言合法性可能会忽略对话轮之间的深层语义信息。在本文中，我们建议装备一个基于BERT的联合模型与知识注意力模块，以相互利用两个SLU任务之间的对话上下文。门控机制被进一步用来过滤掉不相关的知识三元组，并避免分心的理解。在两个复杂的多轮对话数据集上的实验结果表明，通过对两个SLU任务进行相互建模，过滤知识和对话上下文，我们的方法与几个竞争对手的基线相比有很大的改进。
2022-02-23 cs.CL
