Finstreder: Simple and fast Spoken Language Understanding with Finite State Transducers using modern Speech-to-Text models
University of Augsburg（奥格斯堡大学）
在口语语言理解（SLU）中，任务是从音频命令中提取重要信息，例如用户希望系统做什么的意图以及位置或数字等特殊实体。本文提出了一种将意图和实体嵌入到有限状态转换器中的简单方法，并与预训练的通用语音到文本模型相结合，允许在没有任何额外训练的情况下构建SDU模型。构建这些模型非常快，只需要几秒钟。它也是完全独立的语言。在不同的基准测试比较表明，这种方法可以优于其他多个，更多的资源需求SLU方法。
2022-06-29 cs.CL cs.HC cs.SD
Sequential End-to-End Intent and Slot Label Classification and Localization
University of Waterloo（滑铁卢大学）；Huawei Noah's Ark Lab（华为诺亚方舟实验室）
人机交互（HCI）受到来自口语对话系统的延迟响应的显著影响。因此，最近提出了端到端（e2 e）口语语言理解（SLU）解决方案来减少延迟。这样的方法允许直接从语音信号中提取语义信息，从而绕过对来自自动语音识别（ASR）系统的转录的需要。在本文中，我们提出了一个紧凑的e2 e SLU架构的流媒体的情况下，连续处理块的语音信号预测意图和时隙值。我们的模型基于3D卷积神经网络（3D-CNN）和单向长短期记忆（LSTM）。我们比较了两种无干扰损失的性能：连接主义时间分类（CTC）方法及其适应版本，即连接主义时间定位（CTL）。后者不仅执行分类，但也定位的顺序音频事件。在Fluent Speech Command数据集上对所提出的解决方案进行了评估，结果表明我们的模型能够处理输入的语音信号，在单标签分类上，CTC和CTL的准确率分别高达98.97%和98.78%，在双标签预测上，CTC和CTL的准确率分别高达95.69%和95.28%。
2021-06-08 cs.CL cs.SD eess.AS
Towards Better Understanding of Spontaneous Conversations: Overcoming Automatic Speech Recognition Errors With Intent Recognition
Avaya（亚美亚公司）；Poznań University of Technology（波兹南理工大学）
在本文中，我们提出了一种方法，用于纠正自动语音识别（ASR）的错误，使用有限状态转换器（FST）的意图识别框架。意图识别是一种功能强大的技术，用于面向回合的人机对话中的对话流管理。这种技术在人与人之间的对话中也非常有用，尽管它的目的是从对话中提取关键洞察力。我们认为，目前可用的意图识别技术不适用于人与人的对话，由于复杂的结构的话轮和各种不流利的自发对话中遇到的，加剧了语音识别错误和缺乏特定领域的标记数据。如果没有有效的关键洞察力提取技术，原始的人与人之间的对话记录仍然没有得到充分利用。我们的贡献包括一个新的FST的意图索引和算法的模糊意图搜索格-一个紧凑的图编码的ASR的假设。我们还开发了一个修剪策略来约束FST索引搜索的模糊性。提取的意图表示语言领域知识，并帮助我们改进（重新评分）原始成绩单。我们将我们的方法与仅使用最可能的转录假设（最佳路径）的基线进行比较，发现识别意图的总数增加了25%。
2019-08-21 cs.CL
Bridging What the Model Thinks and How It Speaks: Expressive Speech Generation via Self-Aware Intent-Realization Alignment
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Tencent Ethereal Audio Lab（腾讯虚实音频实验室）；Southeast University（东南大学）；Zhejiang University（浙江大学）；Shenzhen University of Advanced Technology（深圳先进技术大学）
提出SASLM框架，通过自蒸馏意图和自奖励优化，无需外部标注即可弥合语义理解与声学实现之间的差距，实现富有表现力的语音生成。
2026-06-01 cs.CL
A Streaming End-to-End Framework For Spoken Language Understanding
University of Waterloo（滑铁卢大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Tsinghua University（清华大学）
本文提出一种基于单向RNN和CTC准则的流式端到端框架，实现在线增量处理多个口语意图，在FSC数据集上达到约97%的准确率，媲美非流式模型。
2021-07-17 cs.CL cs.SD eess.AS
Speak or Chat with Me: End-to-End Spoken Language Understanding System with Flexible Inputs
New York University（纽约大学）；IBM Research AI（IBM研究院人工智能实验室）
口语语言理解（SLU）中最近的研究的主要焦点是端到端方法，其中单个模型可以直接从语音输入预测意图，而无需中间转录。然而，这一方法带来了一些挑战。首先，由于语音可被视为个人可识别信息，因此在某些情况下，只能访问自动语音识别（ASR）转录。其次，意图标记的语音数据是稀缺的。为了解决第一个挑战，我们提出了一个新的系统，可以从灵活的输入类型预测意图：语音，ASR成绩单，或两者兼而有之。我们表现出强大的性能，无论是模态单独，当语音和ASR成绩单，通过系统组合，我们实现了更好的结果比使用一个单一的输入方式。为了解决第二个挑战，我们利用一个语义健壮的预训练BERT模型，并采用一个跨模态系统，在共享的潜在空间中共同训练文本嵌入和声学嵌入。我们通过利用在LibriSpeech上预训练的声学模块和在我们的目标数据集上对文本模块进行域适应来进一步增强该系统。我们的实验显示了这些预训练和微调策略的显著优势，从而使系统在Snips SLU和Fluent Speech Commands数据集上实现了具有竞争力的意图分类性能。
2021-06-14 cs.CL cs.LG cs.SD
INSPIRE: A Benchmark for Instruction-Aware Speech Retrieval
National Taiwan University（台湾大学）；NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)（台湾大学人工智能卓越研究中心）
研究针对现有语音检索系统无法适配多样用户意图的问题，构建首个指令感知语音检索基准INSPIRE，评估四类检索范式，发现当前无方法能稳健处理所有检索意图，凸显统一架构的必要性。
2026-08-18 cs.CL cs.SD eess.AS
Speech Model Pre-training for End-to-End Spoken Language Understanding
Mila（米拉研究所）
传统的口语理解（SLU）系统将语音映射到文本，然后将文本映射到意图，而端到端SLU系统通过单个可训练模型将语音直接映射到意图。在没有大量训练数据的情况下，使用这些端到端模型实现高精度是困难的。我们提出了一种方法来减少端到端SLU的数据需求，其中首先对模型进行预训练以预测单词和音素，从而学习SLU的良好特征。我们介绍了一个新的SLU数据集，流利的语音命令，并表明我们的方法提高了性能时，完整的数据集用于训练，当只有一个小的子集被使用。我们还描述了初步实验，以衡量模型的能力，以推广到新的短语在训练过程中没有听到。
2019-07-25 cs.CL cs.LG cs.SD
Three-Module Modeling For End-to-End Spoken Language Understanding Using Pre-trained DNN-HMM-Based Acoustic-Phonetic Model
Ping An Technology（平安科技）；Yanshan University（燕山大学）
在口语语言理解（SLU）中，用户所说的话被转换为他/她的意图。最近关于端到端SLU的工作表明，可以通过预训练方法提高准确性。我们使用语音预训练和三模块建模重新审视Lugosch等人提出的想法;但是，为了简化端到端SLU模型的构建，我们使用来自DNN-HMM的开源声学语音模型作为音素模块混合自动语音识别（ASR）系统，而不是从头开始训练。因此，我们只对单词模块的语音进行微调，并在单词和意图模块上应用多目标学习（MTL）来共同优化SLU性能。MTL在意图分类出错率方面相对降低了40%（从1.0%降低到0.6%）。请注意，我们的三模块模型是一个流方法。所提出的三模块建模方法的最终结果在FluentSpeech上产生了99.4%的意图准确性，与Lugosch等人相比，意图出错率降低了50%。虽然我们专注于实时流方法，但我们也列出了非流方法进行比较。
2022-04-07 cs.CL cs.SD eess.AS
End-to-end speech-to-dialog-act recognition
Kyoto University（京都大学）
提取话语中的意图和/或语义概念的口语语言理解通常被公式化为自动语音识别的后处理。它通常使用Oracle脚本进行训练，但需要通过ASR处理错误。此外，还有一些与意图相关但没有用转录本表示的声学特征。在本文中，我们提出了一个端到端的模型，直接将语音转换成对话行为，而不确定性的转录过程。在该模型中，对话行为识别网络在softmax层之前的潜在层与声学到单词ASR模型相结合，该模型提供了单词级ASR解码信息的分布式表示。然后，整个网络以端到端的方式进行微调。这允许稳定的训练以及对ASR错误的鲁棒性。该模型进一步扩展，进行DA分割联合。与Switchboard语料库的评估表明，该方法显着提高了对话行为识别的准确性从传统的管道框架。
2020-07-28 cs.CL cs.SD eess.AS
Calibrate and Refine! A Novel and Agile Framework for ASR-error Robust Intent Detection
Zhejiang University（浙江大学）；Peking University（北京大学）
在过去的十年里，基于文本的意图检测得到了快速发展，其基准性能已经被深度学习技术提升到了一个令人瞩目的水平。然而，在实际应用中，由于环境噪声、语音模式等因素的影响，自动语音识别（ASR）错误不可避免，导致现有的基于文本的意图检测模型性能急剧下降。这一现象本质上是由于ASR错误所带来的语义漂移造成的，现有的大多数工作都倾向于设计新的模型结构来减少其影响，这是以牺牲通用性和灵活性为代价的。不同于以往的单件模型，在本文中，我们提出了一种新的和敏捷的框架，称为CR-ID的ASR错误鲁棒的意图检测与两个即插即用的模块，即语义漂移校准模块（SDCM）和音素细化模块（PRM），这都是模型不可知的，因此可以很容易地集成到任何现有的意图检测模型，而无需修改其结构。在SNIPS数据集上的实验结果表明，CR-ID框架具有较好的性能，在ASR输出上优于所有基准方法，证明了CR-ID能够有效缓解ASR错误引起的语义漂移。
2022-05-23 cs.CL cs.SD eess.AS
Spoken Language Intent Detection using Confusion2Vec
University of Southern California（南加州大学）
解读说话人的意图是口语语言理解的重要组成部分。在现实生活中，文本传输中存在的噪声或错误使任务更具挑战性。在本文中，我们解决了口语意图检测的自动语音识别（ASR）系统施加的噪声条件下。我们建议采用confusion2vec字特征表示来补偿ASR所造成的错误，并增加SLU系统的鲁棒性。由人类语音产生和感知激发的混淆向量，除了模拟人类语言中单词的语义和句法关系外，还模拟单词之间的声学关系。我们假设，ASR经常犯错误的声学相似的话，和confusion2vec与固有模型的声学关系的话是能够补偿的错误。我们通过在ATIS基准数据集上的实验证明了所提出的模型在噪声ASR条件下实现最先进结果的鲁棒性。我们的系统将分类出错率（CER）降低了20.84%，并相对于以前的最先进的从干净到嘈杂的成绩单，提高了37.48%（较低的CER退化）的鲁棒性。在嘈杂的成绩单上训练意图检测模型时也证明了改进。
2019-07-02 cs.CL cs.SD eess.AS
Not All Speech Is Intent: Adaptive Self-Correcting Inference Layer for Post-ASR False Wake-Up
Samsung Research America（三星美国研究院）
针对对话AI中ASR后误唤醒问题，提出ASCIL框架，融合声学、语言、上下文及历史错误信号进行自适应校正，在专有数据集上实现显著错误率降低且延迟极低。
2026-09-14 cs.AI cs.CL
Text Matters but Speech Influences: A Computational Analysis of Syntactic Ambiguity Resolution
Seoul National University（首尔大学）；University of Michigan（密歇根大学）
分析人类如何解决句法歧义一直是语言学领域的研究热点。同时，它也是口语语言理解（SLU）系统最具挑战性的问题之一。由于句法歧义与韵律和语义的问题交织在一起，语音意图识别的计算方法有望受益于人类语言处理机制的观察。在这方面，我们使用专注的循环神经网络来解决这个任务，该网络同时利用声学和文本特征，并揭示这些模态如何相互交互以推导句子含义。利用语音语料库记录的韩语脚本的句法歧义的话语，我们发现，共同注意框架，即多跳注意和交叉注意，表现出显着优越的性能，在消除歧义的讲话意图。通过进一步的分析，我们发现这些计算模型反映了听觉过程和语言过程之间的内在联系。
2020-05-21 cs.CL eess.AS
Natural Language Interactions in Autonomous Vehicles: Intent Detection and Slot Filling from Passenger Utterances
Intel Labs（英特尔研究院）
理解乘客意图并提取相关时隙是开发用于自动驾驶车辆（AV）中的自然交互的上下文对话系统的重要构建块。在这项工作中，我们探讨了AMIE（自动车辆多模态机舱内体验），机舱内代理负责处理某些车辆与车辆的交互。当乘客向AMIE发出指令时，代理应正确解析此类命令并触发AV系统的相应功能。在我们目前的探索中，我们专注于AMIE场景，描述了设置或更改目的地和路线，更新驾驶行为或速度，完成行程和其他用例的用法，以支持各种自然命令。我们收集了一个多模态的机舱内数据集，乘客和AMIE之间的多回合对话，通过一个现实的清道夫狩猎游戏活动，使用绿野仙踪计划。在探索了各种最近的基于递归神经网络（RNN）的技术之后，我们引入了自己的分层联合模型来识别乘客意图以及与AV场景中要执行的动作相关的相关插槽。我们的实验结果优于某些竞争基线，并实现了整体F1分数为0.91的话语级意图检测和0.96的插槽填充任务。此外，我们通过比较在人类transmittance上训练和测试的意图/槽模型与嘈杂的自动语音识别（ASR）输出进行了初步的语音到文本探索。最后，我们比较了单乘客乘坐与多乘客乘坐的结果。
2019-04-23 cs.CL cs.HC cs.LG
Speech To Semantics: Improve ASR and NLU Jointly via All-Neural Interfaces
Amazon Alexa（亚马逊Alexa）
我们考虑的问题，口语语言理解（SLU）提取自然语言的意图和相关的插槽参数或命名实体的语音，主要是针对语音助理。这样的系统包括自动语音识别（ASR）以及自然语言理解（NLU）。端到端联合SLU模型可以根据所需的规范构建，从而有机会部署在硬件受限的场景中，例如使语音助理能够以隐私保护的方式离线工作的设备，同时还可以降低服务器成本。我们首先提出了直接从语音中提取话语意图而无需中间文本输出的模型。然后，我们提出了一个组合模型，它使用Listen Attend Spell ASR系统生成成绩单，然后使用神经NLU模型提取解释。最后，我们将这些方法与联合训练的端到端联合SLU模型进行了对比，该模型由ASR和NLU子系统组成，这些子系统通过基于神经网络的接口而不是文本连接，该接口可以生成成绩单以及NLU解释。我们表明，联合训练的模型显示了对结合NLU语义信息的ASR的改进，并且通过将其暴露于隐藏层中编码的ASR混淆来改进NLU。
2020-08-14 cs.CL eess.AS
Learning to Rank Intents in Voice Assistants
Apple Inc.（苹果公司）
语音助理旨在通过从其自动语音识别和自然语言理解子系统生成的多个选项中选择最佳意图来满足用户请求。然而，语音助理并不总是产生预期的结果。这可能发生，因为语音助理从模糊的意图中进行选择-特定于用户或特定于域的上下文信息减少了用户请求的模糊性。此外，可以利用用户信息状态来理解特定意图对于用户请求的相关性/可执行性。在这项工作中，我们提出了一种新的基于能量的模型的意图排名任务，在那里我们学习的亲和度度量和模型之间的权衡提取的意义从语音话语和相关性/可执行性方面的意图。此外，我们提出了一个基于多尺度去噪自动编码器的预训练，它能够学习来自多个源的数据的融合表示。我们的经验表明，我们的方法通过将错误率降低3.8%而优于现有的最先进的方法，这反过来又减少了模糊性并消除了不希望的死胡同，从而获得更好的用户体验。最后，我们评估了我们的算法在意图排名任务上的鲁棒性，并显示我们的算法将鲁棒性提高了33.3%。
2020-05-04 cs.CL cs.IR cs.LG
Improving Spoken Language Understanding By Exploiting ASR N-best Hypotheses
Amazon（亚马逊）
在现代口语语言理解（SLU）系统中，自然语言理解（NLU）模块将来自自动语音识别（ASR）模块的语音的解释作为输入。NLU模块通常在下游任务（如域和意图分类）中使用给定语音的第一个最佳解释。然而，ASR模块可能会错误地识别一些语音，并且第一最佳解释可能是错误的和有噪声的。仅仅依赖第一个最佳解释可能会使下游任务的性能非最佳。为了解决这个问题，我们引入了一系列简单而有效的模型，通过集体利用ASR模块的n-最好的语音解释来提高对输入语音的语义的理解。
2020-01-11 cs.CL cs.SD eess.AS
Speech-language Pre-training for End-to-end Spoken Language Understanding
Microsoft（微软）
端到端（E2 E）口语语言理解（SLU）可以直接从语音信号中推断语义，而无需将自动语音识别器（ASR）与自然语言理解（NLU）模块级联。然而，成对的话语记录和对应的语义可能并不总是可用的或不足以在真实的生产环境中训练E2 E SLU模型。在本文中，我们提出将优化的E2 E ASR编码器（语音）和预训练的语言模型编码器（语言）统一到Transformer解码器中。通过使用条件掩蔽语言模型（MLM）目标，统一的语音-语言预训练模型（SLP）在来自目标域的有限标记数据上不断增强，并且因此可以有效地生成用于推理中的给定输入语音的意图、槽类型和槽值的序列。在两个公开语料库上的实验结果表明，该方法在E2 E SLU上的性能优于传统的级联方法。它还优于目前最先进的E2 E SLU方法，配对数据少得多。
2021-02-11 cs.CL cs.SD eess.AS
Joint Automatic Speech Recognition And Structure Learning For Better Speech Understanding
School of Cyber Science and Engineering, Wuhan University（武汉大学网络空间安全学院）；School of Computer Science, Wuhan University（武汉大学计算机学院）；Wuhan Second Ship Design and Research Institute（武汉第二船舶设计研究所）；National Institute of Information and Communications Technology, Japan（日本信息通信研究机构）
针对传统序列到序列方法不适用于同步语音识别与理解的问题，本文提出基于跨度的端到端JSRSL联合框架，可同步完成语音转写与结构化内容提取，在两个公开数据集上实现性能超越与SOTA效果。
2025-01-17 cs.CL cs.SD eess.AS
On Building Spoken Language Understanding Systems for Low Resourced Languages
J.P.Morgan AI Research（摩根大通人工智能研究院）
口语对话系统正慢慢成为人类体验的一部分，这是由于它们比文本界面具有各种优势。口语语言理解（SLU）系统是口语对话系统的基本构建块。但是为低资源语言创建SLU系统仍然是一个挑战。在大量的低资源语言中，我们无法获得足够的数据来构建自动语音识别（ASR）技术，这是任何SLU系统的基础。此外，基于ASR的SLU系统不推广到非书面语言。在本文中，我们提出了一系列实验来探索资源极其匮乏的环境，在这些环境中，我们使用每个意图低至一个数据点的系统进行意图分类，并且数据集中只有一个说话者。我们还在低资源环境中工作，在这种环境中，我们不使用特定于语言的ASR系统来转录输入语音，这使得构建SLU系统来模拟真正的低资源环境的挑战更加复杂。我们测试我们的系统比利时荷兰语（佛兰芒语）和英语，并发现使用语音音标，使意图分类系统在这样的低资源设置执行显着优于使用语音功能。具体来说，当使用基于语音的系统在基于特征的系统，我们看到平均改善12.37%和13.08%的二进制和四类分类问题，分别超过49个不同的实验设置时。
2022-05-25 cs.AI cs.CL cs.SD
A Fine-tuned Wav2vec 2.0/HuBERT Benchmark For Speech Emotion Recognition, Speaker Verification and Spoken Language Understanding
Zaion（Zaion公司）；Zaion Lab（Zaion实验室）
语音自监督模型如wav 2 vec 2.0和HuBERT在自动语音识别（ASR）中取得了革命性的进展。然而，它们还没有被完全证明在ASR以外的任务上产生更好的性能。在这项工作中，我们探索了wav 2 vec 2.0和HuBERT预训练模型的部分微调和整体微调，用于三个非ASR语音任务：语音情感识别，说话人验证和口语语言理解。在简单的下游框架下，IEMOCAP上的语音情感识别在说话者相关设置上的加权准确率达到79.58%，在说话者无关设置上的加权准确率达到73.01%，VoxCeleb 1上的说话者验证的平均出错率达到2.36%，SLURP上的意图分类的准确率达到89.38%，时隙填充的F1达到78.92%，显示了微调wav 2 vec 2.0和HuBERT在学习韵律、声纹和语义表征方面的优势。
2022-10-03 cs.CL cs.NE cs.SD
Quieter Than the Room: Representation Drift and Task Robustness in Speech Encoders
Boston University（波士顿大学）；Princeton University（普林斯顿大学）
本研究测试八个冻结语音编码器在四种任务上对非语音干扰的鲁棒性，发现嵌入漂移与任务损失相关，但漂移大小不总指示损失程度。
2026-09-24 cs.CL cs.SD
Multitask Learning for Low Resource Spoken Language Understanding
KU Leuven（鲁汶大学）
我们探讨了多任务学习提供语音处理的好处，因为我们训练模型的双目标自动语音识别和意图分类或情感分类。我们的模型虽然规模不大，但在意图分类方面比端到端训练的模型有所改进。我们比较不同的设置，以找到每个任务模块的最佳配置。最后，我们研究了模型在低资源情况下的性能，通过训练模型，每个类只有一个例子。我们表明，在这些场景中的多任务学习与在文本特征上训练的基线模型竞争，并且比管道模型表现得更好。在情感分类方面，我们将端到端模型的性能与十倍的参数相匹配。我们考虑4个任务和4个数据集在荷兰语和英语。
2022-11-24 cs.CL cs.LG cs.SD
Building an ASR Error Robust Spoken Virtual Patient System in a Highly Class-Imbalanced Scenario Without Speech Data
The Ohio State University（俄亥俄州立大学）
虚拟病人（VP）是一个强大的工具，用于培训医学生采取病人的历史，其中回答一组不同的口头问题是必不可少的模拟与学生的自然对话。这种口语语言理解系统（SLU）的性能可能受到测试数据中存在的自动语音识别（ASR）错误和SLU训练数据中高度的类别不平衡的不利影响。虽然这两个问题已分别在以前的工作中，我们开发了一种新的两步训练方法，有效地解决这两个问题，在一个单一的对话代理。由于很难在没有功能SLU系统的情况下从用户收集口语数据，因此我们的方法不依赖于口语数据进行训练，而是使用ASR错误预测器来“speechify”文本数据。我们的方法在各种单词出错率设置下显示出对VP意图分类任务的强基线的显着改进。
2022-07-01 cs.CL cs.SD eess.AS
Introducing Semantics into Speech Encoders
University of California, Los Angeles（加州大学洛杉矶分校）；Meta AI；National Taiwan University（国立台湾大学）
最近的研究发现，现有的自监督语音编码器主要包含声学信息，而不是语义信息。因此，流水线监督自动语音识别（ASR）到大语言模型（LLM）系统通过利用来自LLM的丰富语义表示来实现语义口语任务的最新结果。这些系统的代价是标记的音频传输，这是昂贵和耗时的获得。我们提出了一个任务不可知的无监督的方式，将语义信息从LLM到自监督语音编码器没有标记的音频transmitting。通过引入语义，我们将现有的语音编码器口语语言理解性能在意图分类上提高了10%以上，在命名实体分辨率和槽填充方面有适度的增益，口语问答FF1得分提高了2%以上。我们的无监督方法实现了与在超过100小时的标记音频转录上训练的监督方法相似的性能，证明了现有语音编码器的无监督语义增强的可行性。
2022-11-15 cs.CL cs.LG cs.SD
Towards Reducing the Need for Speech Training Data To Build Spoken Language Understanding Systems
IBM Research AI（IBM研究院人工智能部门）
缺乏口语语言理解（SLU）所需的用标签注释的语音数据通常是构建可以直接处理语音输入的端到端（E2E）系统的主要障碍。相比之下，通常可以使用带有适当标签的大量文本数据。在本文中，我们提出了一种新的文本表示和训练方法，使E2E SLU系统有效地使用这些文本资源构建。在额外语音数量非常有限的情况下，我们表明这些模型可以进一步改进，以接近基于完整语音数据集构建的类似系统的水平。使用三个不同的SLU数据集的意图和实体任务证明了我们提出的方法的有效性。在纯文本训练的情况下，所提出的系统实现了全语音训练可能达到的性能的90%。只需额外增加10%的语音数据，这些模型就可以显著提高97%的完整性能。
2022-02-26 cs.CL cs.SD eess.AS
Leveraging Unpaired Text Data for Training End-to-End Speech-to-Intent Systems
IBM（国际商业机器公司）
训练直接从语音中提取意图的端到端（E2 E）神经网络语音到意图（S2 I）系统需要大量带有意图标记的语音数据，这是耗时且昂贵的。在本文中，我们试图利用NLU文本资源。我们实现了一个基于CTC的S2 I系统，其性能与最先进的传统级联SLU系统相匹配。我们用不同数量的语音和文本训练数据进行了控制实验。当只有十分之一的原始数据可用时，意图分类的准确性绝对下降了7.6%。假设我们有额外的文本到意图数据（没有语音）可用，我们研究了两种技术来改进S2 I系统：（1）迁移学习，其中用于意图分类的声学嵌入与微调的BERT文本嵌入相关联;以及（2）数据增强，其中使用多扬声器文本到语音系统将文本到意图数据转换为语音到意图数据。所提出的方法恢复80%的性能损失，由于使用有限的意图标记的语音。
2020-10-08 cs.CL cs.LG cs.SD
Deep F-measure Maximization for End-to-End Speech Understanding
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
口语理解（SLU）数据集与许多其他机器学习数据集一样，通常会遇到标签不平衡问题。标签不平衡通常会导致学习模型在输出中复制类似的偏差，这会引起对数据集中少数类的不公平问题。在这项工作中，我们通过最大化F度量而不是神经网络模型训练中的准确性来解决公平性问题。我们提出了一个可微近似的F-措施和训练网络与此目标使用标准的反向传播。我们在两个标准的公平数据集上进行实验，成人，社区和犯罪，以及ATIS数据集上的语音到意图检测和Speech-COCO数据集上的语音到图像概念分类。在所有这四个任务中，F-measure最大化导致微F1分数的改善，与使用交叉熵损失函数训练的模型相比，绝对改善高达8%。在两个多类SLU任务中，所提出的方法显著提高了类覆盖率，即，积极回忆的班级数量。
2020-08-08 cs.CL cs.LG cs.SD
Dual Information Speech Language Models for Emotional Conversations
Mashang Consumer Finance Co., Ltd.（玛莎消费金融有限公司）；The University of Sydney（悉尼大学）
针对语音语言模型在情感对话中难以捕捉副语言信息且上下文理解下降的问题，提出双异构适配器与弱监督训练策略，解耦语言与副语言信息，实现高效的上下文情感理解。
2025-08-11 cs.AI cs.CL cs.SD
Prosody in Cascade and Direct Speech-to-Text Translation: a case study on Korean Wh-Phrases
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
针对直接语音转文本翻译的韵律优势缺乏定量证明的问题，本研究通过对比评估韩英wh短语翻译任务，证实直接S2TT系统在歧义场景下准确率较级联模型提升12.9%，首次定量证明其可有效利用韵律，且评估代码已开源。
2024-02-01 cs.CL
Analysis and Tuning of a Voice Assistant System for Dysfluent Speech
Apple（苹果公司）
语音发音的不流畅和变化会严重降低语音识别性能，并且对于许多患有中度至重度语音障碍的个体，语音操作系统不起作用。当前的语音识别系统主要用来自流利说话者的数据来训练，因此不能很好地推广到具有不流利的语音，诸如声音或单词重复、声音重复或可听块。这项工作的重点是定量分析的消费者语音识别系统的个人谁口吃和生产导向的方法，以提高性能的共同语音助理任务（即，“天气怎么样？").在基线时，该系统引入了大量的插入和替换错误，导致预期语音单词错误率（isWER）对于具有流畅性障碍的个体而言更差（绝对）13.64%。我们表明，通过简单地调整现有的混合语音识别系统中的解码参数，可以提高24%（相对）的个人流畅性障碍的isWER。相对于默认设置，调整这些参数可以使18名研究参与者在所有口吃严重程度上的域识别提高3.6%，意图识别提高1.7%。
2021-06-18 cs.AI cs.CL cs.CV
Contextualized Token Discrimination for Speech Search Query Correction
AI Group, WeBank（WeBank人工智能组）；Hong Kong Polytechnic University（香港理工大学）；Macau University of Science and Technology（澳门科学理工学院）；Hong Kong University of Science and Technology（香港理工大学）
针对语音搜索中ASR导致的查询错误问题，提出基于BERT的上下文化词元判别（CTD）纠错方法，通过组合层增强语义、对比表示纠错，在各指标上性能优异，并发布含错误ASR转写的新基准数据集。
2025-09-04 cs.CL cs.SD
Creating Spoken Dialog Systems in Ultra-Low Resourced Settings
Carnegie Mellon University（卡内基梅隆大学）
本文面向弗拉芒语低资源意图分类，在现有轻量模型上结合语音与音标转写两层数据增强，缓解标注数据稀缺并提升性能。
2023-12-11 cs.CL cs.LG eess.AS
Multi-task Language Modeling for Improving Speech Recognition of Rare Words
Amazon Alexa（亚马逊 Alexa）
端到端自动语音识别（ASR）系统由于其相对的架构简单性和有竞争力的性能而越来越受欢迎。然而，即使这些系统的平均准确度可能很高，但对稀有内容词的性能通常落后于混合ASR系统。为了解决这个问题，通常利用语言建模来应用第二遍重新评分。在本文中，我们提出了一个多任务学习的二次通过系统，利用语义目标（如意图和槽预测），以提高语音识别性能。我们发现，我们的重新评分模型训练这些额外的任务优于基线重新评分模型，训练只有语言建模任务，由1.4%的一般测试和2.6%的稀有词测试集的词错误率相对（WERR）。我们最好的多任务LM ASR系统与RNN Transducer仅ASR基线相比，在稀有词识别方面显示出4.6%的WERR减少。
2021-09-11 cs.AI cs.CL cs.LG
CIF-PT: Bridging Speech and Text Representations for Spoken Language Understanding via Continuous Integrate-and-Fire Pre-Training
ByteDance（字节跳动）
本文提出CIF-PT预训练范式，利用连续积分发放对齐语音与文本表示，并在SLURP基准上超越最先进模型，提升口语语言理解性能。
2023-05-27 cs.CL cs.MM eess.AS
A Recorded Debating Dataset
IBM Research（IBM研究院）；IBM Watson（IBM沃森）；Tadiad
本文描述了一个英语音频和文本数据集的辩论演讲，一个独特的资源，不断增长的研究领域的计算论证和辩论技术。我们详细的过程中，由专业的辩论者的讲话录音，转录的讲话与自动语音识别（ASR）系统，其随之而来的自动处理，以产生一个文本，是更“NLP友好”，并在并行-手动转录的讲话，以产生黄金标准的“参考”成绩单。我们发布了60篇关于各种有争议的话题的演讲，每一篇都有五种格式，对应于数据生产的不同阶段。其目的是允许将此资源用于多种研究目的，无论是为特定于辩论的ASR系统添加域内训练数据，还是对有噪音或干净的辩论笔录应用论证挖掘。我们打算在未来进一步发布这些数据。
2018-03-27 cs.CL
Joint Online Spoken Language Understanding and Language Modeling with Recurrent Neural Networks
Carnegie Mellon University（卡内基梅隆大学）
说话人意图检测和语义槽填充是对话系统口语语言理解的两个关键任务。在本文中，我们描述了一个循环神经网络（RNN）模型，共同执行意图检测，插槽填充和语言建模。神经网络模型在转录话语中的单词到达时不断更新意图估计，并将其用作联合模型中的上下文特征。在ATIS基准测试数据集上对语言模型和在线SLU模型进行了评估。在语言建模任务上，与独立训练的语言模型相比，我们的联合模型实现了11.8%的困惑相对减少。在SLU任务上，我们的联合模型在意图检测出错率上比独立任务训练模型高出22.3%，在插槽填充F1得分上略有下降。联合模型也显示出有利的性能，在现实的ASR设置与嘈杂的语音输入。
2016-09-06 cs.CL
Contrastive and Consistency Learning for Neural Noisy-Channel Model in Spoken Language Understanding
Kyungpook National University（庆北国立大学）
针对口语理解中ASR错误导致的转录不一致问题，提出对比与一致性学习（CCL）方法，通过关联错误模式并强调潜在特征一致性，在四个基准数据集上提升了鲁棒性。
2024-05-23 cs.AI cs.CL
Semi-Supervised Spoken Language Understanding via Self-Supervised Speech and Language Model Pretraining
Amazon（亚马逊）
最近关于口语语言理解（SLU）的许多工作至少在以下三种方式中的一种上受到限制：模型在Oracle文本输入上进行训练并忽略ASR错误，模型被训练为仅预测意图而没有槽值，或者模型在大量内部数据上进行训练。在本文中，我们提出了一个干净的和一般的框架来学习语义直接从语音半监督从转录或未转录的语音来解决这些问题。我们的框架建立在预训练的端到端（E2E）ASR和自监督语言模型（如BERT）基础上，并在有限的目标SLU数据上进行了微调。我们研究了ASR组件的两个半监督设置：对转录语音进行监督预训练，以及通过用自监督语音表示（如wav2vec）替换ASR编码器进行无监督预训练。同时，我们确定了两个基本标准评估SLU模型：环境噪声鲁棒性和E2E语义评估。ATIS上的实验表明，我们的SLU框架与语音作为输入可以执行等同于使用甲骨文文本作为输入的语义理解，即使环境噪声是存在的，有限数量的标记语义数据可用于训练。
2020-10-26 cs.CL
Towards Semi-Supervised Semantics Understanding from Speech
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Amazon AI（亚马逊人工智能）
最近关于口语语言理解（SLU）的许多工作至少在以下三种方式中的一种方面存在不足：模型在Oracle文本输入上进行训练，忽略了自动语音识别（ASR）输出，模型被训练为仅预测意图而没有槽值，或者模型在大量内部数据上进行训练。我们提出了一个干净和通用的框架，直接从语音中学习语义，并从转录的语音中进行半监督来解决这些问题。我们的框架建立在预训练的端到端（E2E）ASR和自监督语言模型（如BERT）基础上，并在有限的目标SLU语料库上进行微调。同时，我们确定了两个不充分的设置下，SLU模型进行了测试：噪声鲁棒性和E2E语义评估。我们测试了所提出的框架下现实的环境噪声和一个新的度量，插槽编辑F1分数，两个公共SLU语料库。实验结果表明，当环境噪声存在且标注语义数据量有限时，以语音为输入的SLU框架在语义理解方面的表现与以甲骨文文本为输入的SLU框架相当。
2020-11-11 cs.AI cs.CL cs.LG
ITALIC: An Italian Intent Classification Dataset
Politecnico di Torino（都灵理工大学）；Kore University of Enna（恩纳科雷大学）；Bocconi University（博科尼大学）
针对现有口语理解数据集多聚焦英语、缺乏意大利语相关资源的问题，研究发布首个意大利语大规模意图分类语音数据集ITALIC，通过实验验证了模型规模、语言适配等对性能的影响，为意大利语SLU研究提供支撑。
2023-06-14 cs.CL cs.SD eess.AS
When Intent Arrives Late: A Benchmark for Full-Duplex Speech Models under Delayed Intent Revelation
University of Melbourne（墨尔本大学）；Duke Kunshan University（昆山杜克大学）；UNSW Sydney（悉尼新南威尔士大学）
针对全双工语音模型在延迟意图揭示下的行为，提出LateIntent-Bench配对基准和过早响应率指标，发现多数模型在延迟意图下增加有害参与，插入静音可缓解，凸显评估延迟意图的必要性。
2026-10-02 cs.SD eess.AS
Leveraging Pretrained ASR Encoders for Effective and Efficient End-to-End Speech Intent Classification and Slot Filling
NVIDIA（英伟达）
本文提出用 ASR 预训练编码器初始化端到端 Conformer-Transformer，并结合 Adapter 实现高效 SICSF，在 SLURP 上达到新最优且首次追平 oracle ASR 级联模型。
2023-07-13 cs.CL cs.CV cs.SD
Luganda Speech Intent Recognition for IoT Applications
Makerere University（马凯雷雷大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Department of Computer Science（计算机科学系）
本研究针对低资源语言卢干达语在物联网智能家居中的支持不足问题，开发了一种基于Raspberry Pi部署、采用MFCC特征和Conv2D架构的卢干达语语音意图分类系统，并开源了相关数据集，解决了本地化挑战。
2024-05-16 cs.AI cs.CL cs.SD
A light transformer for speech-to-intent applications
口语理解（SLU）系统可以使生活更舒适，更安全（例如在汽车中），或者可以增加身体残疾用户的独立性。然而，由于语音的变化来源很多，一个训练有素的系统很难转移到其他条件，如不同的语言或语音障碍的用户。补救措施是设计一个用户自教的SLU系统，可以从用户的演示中从头开始完全学习，这反过来又要求系统的模型在只需几个训练样本后就迅速收敛。在本文中，我们提出了一个轻的Transformer结构，通过使用一个简化的相对位置编码的目标，以减少模型的大小和提高效率。光Transformer可作为现有用户示教多任务SLU系统的替代语音编码器。在三个具有挑战性语音条件的数据集上的实验结果表明，该方法的性能优于现有系统和其他最先进的模型，其模型大小和训练时间仅为原始模型的一半。
2020-11-24 eess.AS
Multitask Learning with Capsule Networks for Speech-to-Intent Applications
本文提出将多任务学习融入胶囊网络，通过正则化迫使胶囊向量包含说话者信息，在说话者无关设置下实现语音到意图的直接映射，以降低用户训练负担并提升困难任务性能。
2020-02-18 eess.AS
TaigiSpeech: A Low-Resource Real-World Speech Intent Dataset and Preliminary Results with Scalable Data Mining In-the-Wild
Massachusetts Institute of Technology, USA（麻省理工学院）；National Taiwan University, Taipei, Taiwan（国立台湾大学）；National Taiwan University Artificial Intelligence Center of Research Excellence, Taipei, Taiwan（国立台湾大学人工智能研究中心）；Academia Sinica, Taiwan（台湾“中央”研究院）；National Yang Ming Chiao Tung University, Taiwan（阳明交通大学）；Signal Analysis and Interpretation Laboratory (SAIL), University of Southern California, USA（信号分析与解释实验室（SAIL），南加州大学）
针对低资源台语，构建包含21位老年人3000条话语的语音意图数据集，并探索关键词匹配与LLM伪标注、音视频框架两种数据挖掘策略，以解决标注数据稀缺问题。
2026-06-23 cs.CL cs.LG eess.AS
End-to-end Acoustic-linguistic Emotion and Intent Recognition Enhanced by Semi-supervised Learning
Cognitive Systems Lab, University of Bremen（布雷斯特大学认知系统实验室）；Institute of Science Tokyo（东京科学研究所）
针对语音情感与意图识别中标注数据成本高昂的问题，提出结合大规模未标记数据的半监督学习方法，训练端到端声学与语言学多任务模型，实验表明该方法显著提升了识别性能，最佳模型后期融合在联合识别平衡指标上分别比声学和文本基线提升12.3%和10.4%。
2025-07-10 cs.SD eess.AS
A Study into Pre-training Strategies for Spoken Language Understanding on Dysarthric Speech
端到端（E2E）口语理解（SLU）系统通过将语音直接映射到具有槽值的意图来避免中间文本表示。这种方法需要大量的特定领域的训练数据。在低资源情况下，这是一个主要问题，例如，在本研究中处理SLU构音障碍的讲话。针对自动语音识别目标的SLU模型的预训练部分有所帮助，但没有研究表明，SLU对构音障碍语音的益处在多大程度上来自于从其他构音障碍语音任务转移的知识。本文探讨了构音障碍言语的SLU任务预训练策略的效率。设计的SLU系统包括一个TDNN声学模型的特征编码和一个胶囊网络的意图和时隙解码。声学模型的预训练分为两个阶段：使用正常语音语料库进行初始化，以及对构音障碍和正常语音的混合进行微调。本文通过引入可懂度分数作为构音障碍语音损伤程度的度量指标，定量分析构音障碍语音的泛化程度与病理严重程度的关系。
2021-06-15 eess.AS
Decoding High-level Imagined Speech using Attention-based Deep Neural Networks
Korea University（高丽大学）
脑机接口（Brain-computer interface，BCI）是通过反映人的状态和意图来实现人与设备之间通信的技术。当进行想象语音时，用户想象发音就像实际说话一样。在解码基于想象语音的脑电信号的情况下，可以更直观地进行复杂的任务，但解码性能低于其他BCI范式。我们修改了我们以前的模型解码想象的语音为基础的EEG信号。10名受试者参加了实验。我们提出的方法的平均准确率为0.5648分类四个字。换句话说，我们提出的方法在学习局部特征方面具有显著的优势。因此，我们证明了解码想象的语音为基础的EEG信号具有强大的性能的可行性。
2021-12-13 cs.HC cs.SD eess.AS
Privacy-preserving Representation Learning for Speech Understanding
本文提出一种匿名化预训练编码器生成的语句级语音嵌入的框架，通过训练 Transformer 转换表示身份以保护隐私，在多项语音分类任务中优于基线且保持效用。
2023-10-26 eess.AS
TI-ASU: Toward Robust Automatic Speech Understanding through Text-to-speech Imputation Against Missing Speech Modality
University of Southern California（南加州大学）；Amazon AGI（亚马逊AGI）
针对语音模态缺失场景下的自动语音理解（ASU）问题，提出TI-ASU方法，利用预训练文本转语音模型填补缺失语音。实验表明，在训练语音缺失比例高达95%时该方法仍能显著提升ASU性能，并自适应dropout训练增强推理鲁棒性。
2024-04-27 cs.CL cs.SD eess.AS
Intent Classification Using Pre-trained Language Agnostic Embeddings For Low Resource Languages
IIIT Delhi（德里印度理工学院）；J.P.Morgan AI Research（摩根大通人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
构建不依赖于特定语言的自动语音识别（ASR）的口语语言理解（SLU）系统是语言处理中一个重要但较少探索的问题。在本文中，我们提出了一个比较研究，旨在采用预先训练的声学模型，在低资源的情况下执行SLU。具体来说，我们使用了使用Allosaurus（一种预训练的通用音素解码器）提取的三种不同的嵌入：（1）Phone（2）Panphone和（3）Allo嵌入。然后，这些嵌入被用于识别说出的意图。我们在三种不同的语言进行实验：英语，僧伽罗语和泰米尔语，每个不同的数据大小，以模拟高，中，低资源的情况。我们的系统提高了国家的最先进的（SOTA）的意图分类准确率约2.11%的僧伽罗语和7.00%的泰米尔语，并取得了有竞争力的结果英语。此外，我们提出了一个定量分析的性能尺度与每个意图使用的训练样本的数量。
2022-04-18 cs.CL cs.SD eess.AS
