Speech-language Pre-training for End-to-end Spoken Language Understanding
Microsoft（微软）
端到端（E2 E）口语语言理解（SLU）可以直接从语音信号中推断语义，而无需将自动语音识别器（ASR）与自然语言理解（NLU）模块级联。然而，成对的话语记录和对应的语义可能并不总是可用的或不足以在真实的生产环境中训练E2 E SLU模型。在本文中，我们提出将优化的E2 E ASR编码器（语音）和预训练的语言模型编码器（语言）统一到Transformer解码器中。通过使用条件掩蔽语言模型（MLM）目标，统一的语音-语言预训练模型（SLP）在来自目标域的有限标记数据上不断增强，并且因此可以有效地生成用于推理中的给定输入语音的意图、槽类型和槽值的序列。在两个公开语料库上的实验结果表明，该方法在E2 E SLU上的性能优于传统的级联方法。它还优于目前最先进的E2 E SLU方法，配对数据少得多。
2021-02-11 cs.CL cs.SD eess.AS
Improving Spoken Language Understanding By Exploiting ASR N-best Hypotheses
Amazon（亚马逊）
在现代口语语言理解（SLU）系统中，自然语言理解（NLU）模块将来自自动语音识别（ASR）模块的语音的解释作为输入。NLU模块通常在下游任务（如域和意图分类）中使用给定语音的第一个最佳解释。然而，ASR模块可能会错误地识别一些语音，并且第一最佳解释可能是错误的和有噪声的。仅仅依赖第一个最佳解释可能会使下游任务的性能非最佳。为了解决这个问题，我们引入了一系列简单而有效的模型，通过集体利用ASR模块的n-最好的语音解释来提高对输入语音的语义的理解。
2020-01-11 cs.CL cs.SD eess.AS
Do We Still Need Automatic Speech Recognition for Spoken Language Understanding?
University of Copenhagen（哥本哈根大学）；Technical University of Denmark（丹麦技术大学）；Corti（Corti公司）
口语理解（SLU）任务通常通过首先用自动语音识别（ASR）转录话语，然后将输出馈送到基于文本的模型来解决。语音数据的自监督表示学习的最新进展集中在改进ASR组件上。我们调查是否表示学习语音已经成熟到足以取代ASR SLU。我们比较了从wav2vec 2.0，最先进的ASR成绩单和地面真实文本中学习到的语音特征，作为一种新的基于语音的命名实体识别任务，一种真实世界紧急呼叫的心脏骤停检测任务和两种现有SLU基准的输入。我们发现，学习语音功能优于ASR成绩单上的三个分类任务。对于机器翻译，ASR成绩单仍然是更好的选择。我们强调了wav2vec 2.0表示的内在鲁棒性，以词汇表外的单词作为提高性能的关键。
2021-11-29 cs.CL cs.LG eess.AS
SLUE: New Benchmark Tasks for Spoken Language Understanding Evaluation on Natural Speech
ASAPP（ASAPP公司）
共享数据集和基准促进了语音处理的进展。历史上，这些都集中在自动语音识别（ASR），说话人辨识，或其他较低级别的任务。人们对更高级别的口语语言理解任务的兴趣一直在增长，包括使用端到端模型，但用于此类任务的注释数据集较少。与此同时，最近的工作显示了预训练通用表示的可能性，然后使用相对较少的标记数据对几个任务进行微调。我们建议创建一套标准任务的口语语言理解评估（SLUE）组成的有限大小的标记的训练集和相应的评估集。这种资源将使研究界能够跟踪进展，评估高级任务的预训练表示，并研究开放性问题，例如管道与端到端方法的效用。我们提出了SLUE基准测试套件的第一阶段，包括相应数据集上的命名实体识别、情感分析和ASR。我们专注于自然产生的（不是阅读或合成的）语音，以及免费提供的数据集。我们为VoxCeleb和VoxPopuli数据集的子集提供了新的转换和注释，基线模型的评估指标和结果，以及一个开源工具包来重现基线和评估新模型。
2022-07-29 cs.CL cs.LG cs.SD
Exploring Speech Recognition, Translation, and Understanding with Discrete Speech Units: A Comparative Study
Carnegie Mellon University（卡内基梅隆大学）；Yahoo Japan Corporation（雅虎日本公司）；Northwestern Polytechnical University（西北工业大学）；University of Washington（华盛顿大学）；University of Stuttgart（斯图加特大学）；Waseda University（早稻田大学）；National Taiwan University（国立台湾大学）
本文系统比较离散语音单元在端到端语音识别、翻译和理解模型中的应用，验证其在压缩序列、缩短训练时间的同时可保持良好性能。
2023-09-27 cs.CL cs.SD eess.AS
KoALa-Bench: Evaluating Large Audio Language Models on Korean Speech Understanding and Faithfulness
Department of Artificial Intelligence, Chung-Ang University（Chung-Ang 大学人工智能系）；Upstage AI
本文提出KoALa-Bench，一个用于评估大型音频语言模型在韩语语音理解和忠实性方面的基准，包含六个任务，涵盖语音识别、翻译、问答和指令跟随等核心能力，并包含韩国特定知识内容。
2026-09-01 cs.AI cs.CL cs.SD
T5lephone: Bridging Speech and Text Self-supervised Models for Spoken Language Understanding via Phoneme level T5
MediaTek Research（联发科研究院）；National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
在口语语言理解（SLU）中，一种自然的解决方案是将预训练的语音模型（例如HuBERT）和预训练的语言模型（PLM，例如T5）连接起来。大多数以前的作品使用预训练的语言模型与基于子词的标记。然而，输入设备的粒度影响语音模型输出和语言模型输入的对齐，并且具有基于字符的标记化的PLM未被充分探索。在这项工作中，我们进行了广泛的研究如何PLMs与不同的标记化策略影响口语语言理解任务，包括口语问答（SQA）和语音翻译（ST）。我们进一步扩展了这个想法，创建了T5lephone（发音为电话），这是T5的一个变体，使用音素化文本进行预训练。我们使用现有的PLM初始化T5lephone，使用相对轻量级的计算资源对其进行预训练。我们在NMSQA上达到了最先进的水平，T5lephone型号超过了T5，在端到端SQA和ST上有其他类型的设备。
2022-11-01 cs.CL cs.SD eess.AS
Back Transcription as a Method for Evaluating Robustness of Natural Language Understanding Models to Speech Recognition Errors
Adam Mickiewicz University, Poznań（亚当·密茨凯维奇大学）；Samsung Research Poland（三星电子波兰研究院）
本文提出一种结合反向转录与细粒度错误分类的方法，利用合成语音评估语音识别错误对自然语言理解模型性能的影响，并证实合成语音可替代真实音频。
2023-10-25 cs.AI cs.CL cs.SD
Speak or Chat with Me: End-to-End Spoken Language Understanding System with Flexible Inputs
New York University（纽约大学）；IBM Research AI（IBM研究院人工智能实验室）
口语语言理解（SLU）中最近的研究的主要焦点是端到端方法，其中单个模型可以直接从语音输入预测意图，而无需中间转录。然而，这一方法带来了一些挑战。首先，由于语音可被视为个人可识别信息，因此在某些情况下，只能访问自动语音识别（ASR）转录。其次，意图标记的语音数据是稀缺的。为了解决第一个挑战，我们提出了一个新的系统，可以从灵活的输入类型预测意图：语音，ASR成绩单，或两者兼而有之。我们表现出强大的性能，无论是模态单独，当语音和ASR成绩单，通过系统组合，我们实现了更好的结果比使用一个单一的输入方式。为了解决第二个挑战，我们利用一个语义健壮的预训练BERT模型，并采用一个跨模态系统，在共享的潜在空间中共同训练文本嵌入和声学嵌入。我们通过利用在LibriSpeech上预训练的声学模块和在我们的目标数据集上对文本模块进行域适应来进一步增强该系统。我们的实验显示了这些预训练和微调策略的显著优势，从而使系统在Snips SLU和Fluent Speech Commands数据集上实现了具有竞争力的意图分类性能。
2021-06-14 cs.CL cs.LG cs.SD
End-to-End Spoken Language Understanding Without Full Transcripts
IBM（国际商业机器公司）
口语语言理解（SLU）的一个重要组成部分是槽填充：使用语义实体标签表示口语话语的含义。在本文中，我们开发了端到端（E2 E）口语语言理解系统，直接转换语音输入的语义实体和调查，如果这些E2 E SLU模型可以单独训练语义实体注释没有字对字的成绩单。训练这样的模型非常有用，因为它们可以大大降低数据汇集的成本。我们创建了两种类型的语音到实体模型，CTC模型和基于注意力的编码器-解码器模型，通过调整最初为语音识别训练的模型。鉴于我们的实验涉及语音输入，这些系统需要正确识别实体标签和表示实体值的单词。对于我们在ATIS语料库上进行的语音到实体的实验，CTC和注意力模型都显示出令人印象深刻的跳过非实体单词的能力：当只训练实体与完整的转录时，几乎没有退化。我们还探讨了实体的顺序不一定与话语中的口语顺序相关的情况。由于注意力模型具有重新排序的能力，因此它的表现非常好，在语音到实体袋的F1分数中只降低了约2%。
2020-09-30 cs.CL cs.LG cs.SD
"Notic My Speech" -- Blending Speech Patterns With Multimedia
NUS（新加坡国立大学）；IIIT-D（德里英迪拉·甘地信息技术学院）；Adobe（奥多比）
语音作为一种自然信号由三部分组成--视位（视觉词性）、音素（口语词性）和语言（强加的结构）。然而，视频作为一种媒介，用于交付的语音和多媒体结构大多忽略了语音交付的认知方面。例如，像转码和压缩这样的视频应用程序到目前为止都忽略了语音是如何传递和听到的这一事实。为了缩小语音理解和多媒体视频应用之间的差距，在本文中，我们通过模拟视觉语音的感知并展示其在视频压缩上的用例来展示初步实验。另一方面，在视觉语音识别领域，现有的研究大多将其建模为分类问题，而忽略了视图，音素，视位和语音感知之间的相关性。这导致解决方案进一步远离人类感知的工作方式。为了弥补这一差距，我们提出了一个视图-时间注意力机制模型的视图依赖性和视觉的重要性在语音识别和理解。我们在三个公开的视觉语音识别数据集上进行了实验。实验结果表明，我们提出的方法优于现有的工作4.99%的视位出错率。此外，我们表明，我们的模型的多视图语音的理解和人类的感知之间有很强的相关性。该特性有益于下游应用，例如视频压缩和流传输，其中可以压缩或消除大量不太重要的帧，同时能够最大限度地保持人类语音理解，具有良好的用户体验。
2020-06-12 cs.CL cs.SD eess.AS
A Comparative Study on E-Branchformer vs Conformer in Speech Recognition, Translation, and Understanding Tasks
Carnegie Mellon University（卡内基梅隆大学）；ASAPP Inc.（ASAPP公司）
本研究通过大量端到端实验对比了E-Branchformer与Conformer编码器，发现在15个ASR、2个ST和3个SLU基准测试中，E-Branchformer表现相当或更优且训练更稳定。
2023-05-18 cs.CL cs.SD eess.AS
SpeechGLUE: How Well Can Self-Supervised Speech Models Capture Linguistic Knowledge?
NTT Corporation（NTT公司）
本文提出SpeechGLUE基准以评估语音自监督模型捕捉语言学知识的能力，实验表明语音SSL模型虽不及文本模型，但优于基线，能从无标签语音数据中获取一定的通用语言学知识。
2024-08-27 cs.CL cs.SD eess.AS
SALMONN-omni: A Codec-free LLM for Full-duplex Speech Understanding and Generation
Tsinghua University（清华大学）；ByteDance（字节跳动）；University of Cambridge（剑桥大学）
针对全双工语音理解与生成任务，提出无编解码器的SALMONN-omni模型，通过双工口语对话框架及“思考”机制实现异步生成，在多任务中表现通用且能处理复杂对话场景。
2024-11-27 cs.AI cs.CL cs.SD
A Fine-tuned Wav2vec 2.0/HuBERT Benchmark For Speech Emotion Recognition, Speaker Verification and Spoken Language Understanding
Zaion（Zaion公司）；Zaion Lab（Zaion实验室）
语音自监督模型如wav 2 vec 2.0和HuBERT在自动语音识别（ASR）中取得了革命性的进展。然而，它们还没有被完全证明在ASR以外的任务上产生更好的性能。在这项工作中，我们探索了wav 2 vec 2.0和HuBERT预训练模型的部分微调和整体微调，用于三个非ASR语音任务：语音情感识别，说话人验证和口语语言理解。在简单的下游框架下，IEMOCAP上的语音情感识别在说话者相关设置上的加权准确率达到79.58%，在说话者无关设置上的加权准确率达到73.01%，VoxCeleb 1上的说话者验证的平均出错率达到2.36%，SLURP上的意图分类的准确率达到89.38%，时隙填充的F1达到78.92%，显示了微调wav 2 vec 2.0和HuBERT在学习韵律、声纹和语义表征方面的优势。
2022-10-03 cs.CL cs.NE cs.SD
Towards Reducing the Need for Speech Training Data To Build Spoken Language Understanding Systems
IBM Research AI（IBM研究院人工智能部门）
缺乏口语语言理解（SLU）所需的用标签注释的语音数据通常是构建可以直接处理语音输入的端到端（E2E）系统的主要障碍。相比之下，通常可以使用带有适当标签的大量文本数据。在本文中，我们提出了一种新的文本表示和训练方法，使E2E SLU系统有效地使用这些文本资源构建。在额外语音数量非常有限的情况下，我们表明这些模型可以进一步改进，以接近基于完整语音数据集构建的类似系统的水平。使用三个不同的SLU数据集的意图和实体任务证明了我们提出的方法的有效性。在纯文本训练的情况下，所提出的系统实现了全语音训练可能达到的性能的90%。只需额外增加10%的语音数据，这些模型就可以显著提高97%的完整性能。
2022-02-26 cs.CL cs.SD eess.AS
Few-Shot Spoken Language Understanding via Joint Speech-Text Models
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；The University of Chicago（芝加哥大学）
本研究利用语音-文本联合预训练的共享表示解决少样本口语理解数据稀缺问题，仅1小时标注语音数据即可达到用10倍数据微调的纯语音预训练模型的性能，并分析了模型不同层的表示特性。
2023-10-09 cs.CL eess.AS
WaBERT: A Low-resource End-to-end Model for Spoken Language Understanding and Speech-to-BERT Alignment
Institute of Artificial Intelligence Research, Qihoo of Beijing Science and Technology Co. Ltd.（北京奇虎科技有限公司人工智能研究院）
历史上，诸如自动语音识别（ASR）和说话人辨识之类的较低级别的任务是语音领域中的主要焦点。最近，人们对高级口语语言理解（SLU）任务的兴趣越来越大，比如情感分析（SA）。然而，提高SLU任务的性能仍然是一个巨大的挑战。基本上，SLU任务有两种主要方法：（1）两阶段方法，使用语音模型将语音转换为文本，然后使用语言模型获得下游任务的结果;（2）一阶段方法，仅微调预训练的语音模型以适应下游任务。第一种方法丢失了语调等情感线索，导致识别错误;第二种方法缺乏必要的语言知识。在本文中，我们提出了波BERT（WaBERT），一种新的端到端模型结合语音模型和语言模型SLU任务。WaBERT基于预训练的语音和语言模型，因此不需要从头开始训练。我们还在训练期间冻结了WaBERT的大多数参数。通过引入WaBERT，在短时间和低资源的训练过程中整合了音频特定信息和语言知识，以提高SLUE SA任务的开发数据集上的结果，召回分数提高了1.15%，F1分数提高了0.82%。此外，我们修改了串行连续整合激发（CIF）机制，以实现语音和文本模态之间的单调对齐。
2022-04-22 cs.CL cs.SD eess.AS
Speech Discrete Tokens or Continuous Features? A Comparative Analysis for Spoken Language Understanding in SpeechLLMs
The Chinese University of Hong Kong（香港中文大学）
针对SpeechLLMs中语音处理的离散tokens与连续特征两种主流方法，通过在相同实验设置下对比基于SSL的两者性能，结合不同规模LLM在多任务上的评估，发现连续特征总体更优，为相关研究提供参考。
2025-08-25 cs.CL cs.SD
Branchformer: Parallel MLP-Attention Architectures to Capture Local and Global Context for Speech Recognition and Understanding
Carnegie Mellon University（卡内基梅隆大学）
Conformer已被证明在许多语音处理任务中是有效的。它结合了使用卷积提取局部依赖和使用自注意提取全局依赖的优点。受此启发，我们提出了一种更灵活，可解释和可定制的编码器替代方案，Branchformer，具有并行分支，用于在端到端语音处理中建模各种范围依赖关系。在每个编码器层中，一个分支采用自注意或其变体来捕获长程依赖性，而另一个分支利用具有卷积门控的MLP模块（cgMLP）来提取局部关系。我们对几个语音识别和口语语言理解基准进行了实验。结果表明，我们的模型优于Transformer和cgMLP。它还与Conformer实现的最先进的结果相匹配或优于Conformer。此外，我们展示了各种策略，以减少计算感谢两个分支架构，包括在一个单一的训练模型具有可变的推理复杂性的能力。为合并分支学习的权重指示了如何在不同层中利用局部和全局依赖性，这有利于模型设计。
2022-07-06 cs.CL cs.SD eess.AS
SummaryMixing: A Linear-Complexity Alternative to Self-Attention for Speech Recognition and Understanding
Samsung AI Center Cambridge（三星剑桥人工智能中心）
针对自注意力词元混合的二次复杂度问题，提出线性时间的SummaryMixing方法，通过均值摘要结合时间信息实现，在保持或超越ASR性能的同时显著提速并降低内存。
2024-07-11 cs.CL cs.SD eess.AS
The Interpreter Understands Your Meaning: End-to-end Spoken Language Understanding Aided by Speech Translation
Idiap Research Institute（Idiap 研究院）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文提出利用语音翻译作为预训练任务，提升端到端口语理解模型在单语和跨语言场景下的性能，并在多个基准上验证了其有效性。
2023-10-17 cs.CL cs.SD eess.AS
Structured Pruning of Self-Supervised Pre-trained Models for Speech Recognition and Understanding
ASAPP
自监督语音表示学习（SSL）已被证明是有效的，在各种下游任务，但SSL模型通常是大而慢。诸如修剪的模型压缩技术旨在减少模型大小和计算而不降低准确性。先前的研究集中在Transformers的修剪上;然而，语音模型不仅利用了一堆Transformer块，还结合了基于多个卷积层的前端网络来进行低级特征表示学习。这种前端具有较小的尺寸，但计算成本很高。在这项工作中，我们提出了三个特定任务的结构化修剪方法来处理这样的异构网络。在LibriSpeech和SLURP上的实验表明，该方法比原有的wav 2 vec 2-base方法在准确度上提高了10%~ 30%，计算量减少了40%~ 50%，性能没有任何下降。
2023-02-27 cs.CL cs.SD eess.AS
On the Use of Semantically-Aligned Speech Representations for Spoken Language Understanding
Omilia - Conversational Intelligence（Omilia对话智能公司）
在本文中，我们研究使用语义对齐的语音表示的端到端的口语语言理解（SLU）。我们采用最近推出的SAMU-XLSR模型，它的目的是生成一个单一的嵌入，捕捉在话语级别的语义，语义对齐不同的语言。该模型结合了声学帧级语音表示学习模型（XLS-R）和语言不可知BERT句子嵌入（LaBSE）模型。我们表明，使用的SAMU-XLSR模型，而不是最初的XLS-R模型，显着提高了性能的框架中的端到端SLU。最后，我们提出了使用这种模式对语言的可移植性SLU的好处。
2022-10-11 cs.CL cs.SD eess.AS
Finstreder: Simple and fast Spoken Language Understanding with Finite State Transducers using modern Speech-to-Text models
University of Augsburg（奥格斯堡大学）
在口语语言理解（SLU）中，任务是从音频命令中提取重要信息，例如用户希望系统做什么的意图以及位置或数字等特殊实体。本文提出了一种将意图和实体嵌入到有限状态转换器中的简单方法，并与预训练的通用语音到文本模型相结合，允许在没有任何额外训练的情况下构建SDU模型。构建这些模型非常快，只需要几秒钟。它也是完全独立的语言。在不同的基准测试比较表明，这种方法可以优于其他多个，更多的资源需求SLU方法。
2022-06-29 cs.CL cs.HC cs.SD
Blockwise Streaming Transformer for Spoken Language Understanding and Simultaneous Speech Translation
University of Chinese Academy of Sciences（中国科学院大学）；Carnegie Mellon University（卡内基梅隆大学）
虽然Transformers在口语语言理解（SLU）和语音翻译（ST）等语音处理任务中取得了成功，但在保持竞争力的同时实现在线处理对于现实世界的交互仍然至关重要。在本文中，我们采取的第一步流SLU和同步ST使用块流式Transformer，这是基于上下文块处理和块同步束搜索。此外，我们还针对流媒体SLU任务设计了一种基于自动语音识别（ASR）的中间损失正则化方法，以进一步提高分类性能。对于同时ST任务，我们提出了一种跨语言的编码方法，它采用了一个CTC分支优化目标语言翻译。此外，还利用CTC翻译输出，以CTC前缀分数细化搜索空间，首次实现联合CTC/注意力同传。SLU的实验是在FSC和SLURP语料库上进行的，而ST任务是在Fisher-CallHome Spanish和Must-C En-De语料库上进行的。实验结果表明，与离线模型相比，块流式传输Transformer实现了有竞争力的结果，特别是我们提出的方法，在SLU任务上进一步产生2.4%的准确性增益，在ST任务上获得4.3 BLEU增益。
2022-04-19 cs.CL cs.SD eess.AS
A dual task learning approach to fine-tune a multilingual semantic speech encoder for Spoken Language Understanding
LIA - Avignon Université（阿维尼翁大学LIA实验室）；LISN - CNRS/Université Paris-Saclay（巴黎萨克雷大学LISN实验室）
针对SAMU-XLSR框架专门化训练导致多语言性能下降、单独SLU微调丧失跨语言能力的问题，本文提出双任务学习方法，结合远距离语言实验提升其语义增强效果与语言可移植性。
2024-06-17 cs.CL cs.SD eess.AS
Visualizing Automatic Speech Recognition -- Means for a Better Understanding?
Fraunhofer AISEC（弗劳恩霍夫应用与集成安全研究所）；Technical University Munich（慕尼黑工业大学）
自动语音识别（ASR）在模仿人类语音处理方面不断改进。然而，ASR的功能在很大程度上仍然被它们所基于的深度神经网络（DNN）的复杂结构所混淆。在本文中，我们展示了所谓的归因方法，即我们从图像识别中导入并适当地适应处理音频数据的方法，可以帮助澄清ASR的工作。以ASR的端到端模型DeepSpeech为例，我们展示了这些技术如何帮助可视化输入的哪些特征对确定输出最有影响。我们专注于三种可视化技术：逐层相关传播（LRP），显着性地图和Shapley加法解释（SHAP）。我们比较了这些方法，并讨论了潜在的进一步应用，如在检测对抗性的例子。
2022-02-01 cs.AI cs.CL cs.HC
MMSU: A Massive Multi-task Spoken Language Understanding and Reasoning Benchmark
MMSU基准通过整合语音的语义、语调和语音学特征，评估语音语言理解与推理能力，发现现有模型存在改进空间，为开发更高级的人机语音交互系统提供新标准。
2026-03-16 cs.CL cs.SD eess.AS
Interventional Speech Noise Injection for ASR Generalizable Spoken Language Understanding
Seoul National University（首尔大学）；Yanolja（雅诺佳（韩国生活服务平台））
本文提出一种干预式语音噪声注入方法，通过切断噪声的非因果效应引入对任意ASR系统都合理的噪声，以增强SLU模型对未见ASR系统的鲁棒性和泛化能力。
2024-10-21 cs.CL cs.SD eess.AS
On the Emotion Understanding of Synthesized Speech
Northeastern University, China（东北大学）；Meituan（美团）；NiuTrans Research（NiuTrans研究院）；Kunming University of Science and Technology（昆明理工大学）
本文系统评估了合成语音上情感识别模型的泛化能力，发现现有模型因合成过程中的语音token预测导致表示不匹配，无法有效捕捉情感特征，且生成式语音模型易忽略非语言线索。
2026-03-17 cs.CL
Morfessor EM+Prune: Improved Subword Segmentation with Expectation Maximization and Pruning
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）
数据驱动的将词分割成子词单元已经在各种自然语言处理应用中使用了近20年，例如自动语音识别和统计机器翻译。最近，它已被更广泛地采用，因为基于深度神经网络的模型通常受益于子字单元，即使对于形态上更简单的语言也是如此。在本文中，我们讨论和比较的训练算法的单字子词模型，期望最大化算法和词典修剪的基础上。使用英语，芬兰语，北萨米语和土耳其语的数据集，我们表明，这种方法是能够找到更好的解决方案的Morfessor基线模型定义的优化问题比原来的递归训练算法。与语言黄金标准相比，改进的优化还导致更高的形态分割精度。我们发布的新算法的实现中广泛使用的Morfessor软件包。
2020-03-06 cs.CL
Whisper-Based Speech Transcription from Videos Across Multiple Languages for Cross-Cultural Understanding
NYU Courant Institute（纽约大学库朗研究所）
本文提出利用Whisper工具改进多语言视频语音转录，通过微调将七种语言的平均错误率从30%降至20%，以支持跨文化自动化工具的训练。
2026-09-11 cs.CL eess.AS
SEA-SpeechBench: A Large-Scale Multitask Benchmark for Speech Understanding Across Southeast Asia
Institute of Advanced Intelligence and Computing, A*STAR（A*STAR 高级智能与计算研究所）；Nanyang Technological University（南洋理工大学）；Center for AI Safety（人工智能安全中心）
针对东南亚语音理解评估缺失，提出首个覆盖11种语言、9个任务的大规模多任务基准SEA-SpeechBench，并揭示现有模型在时间理解、情感识别及低资源语言上的显著性能差距。
2026-09-10 cs.CL
Zero-Shot End-to-End Spoken Language Understanding via Cross-Modal Selective Self-Training
AWS AI Labs（亚马逊云科技人工智能实验室）；Virginia Tech（弗吉尼亚理工大学）
针对零样本端到端口语理解，提出跨模态选择性自训练方法，通过联合空间聚类和选择网络解决领域不匹配及噪声问题，在匹配与不匹配基准上提升性能并减少样本和训练时间。
2024-02-03 cs.CL cs.MM cs.SD
Towards Semi-Supervised Semantics Understanding from Speech
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Amazon AI（亚马逊人工智能）
最近关于口语语言理解（SLU）的许多工作至少在以下三种方式中的一种方面存在不足：模型在Oracle文本输入上进行训练，忽略了自动语音识别（ASR）输出，模型被训练为仅预测意图而没有槽值，或者模型在大量内部数据上进行训练。我们提出了一个干净和通用的框架，直接从语音中学习语义，并从转录的语音中进行半监督来解决这些问题。我们的框架建立在预训练的端到端（E2E）ASR和自监督语言模型（如BERT）基础上，并在有限的目标SLU语料库上进行微调。同时，我们确定了两个不充分的设置下，SLU模型进行了测试：噪声鲁棒性和E2E语义评估。我们测试了所提出的框架下现实的环境噪声和一个新的度量，插槽编辑F1分数，两个公共SLU语料库。实验结果表明，当环境噪声存在且标注语义数据量有限时，以语音为输入的SLU框架在语义理解方面的表现与以甲骨文文本为输入的SLU框架相当。
2020-11-11 cs.AI cs.CL cs.LG
Towards Understanding Spontaneous Speech: Word Accuracy vs. Concept Accuracy
在本文中，我们描述了一种方法来自动评估的语音识别和理解能力的口语对话系统的训练时间表信息。我们使用单词准确度进行识别，使用概念准确度进行理解性能判断。这两个指标都是通过将这些模块的输出与正确的参考答案进行比较来计算的。我们报告的评价结果约10000话语的自发语音语料库。我们观察到单词准确性和概念准确性之间几乎呈线性关系。
1996-05-15 cmp-lg cs.CL
CIF-PT: Bridging Speech and Text Representations for Spoken Language Understanding via Continuous Integrate-and-Fire Pre-Training
ByteDance（字节跳动）
本文提出CIF-PT预训练范式，利用连续积分发放对齐语音与文本表示，并在SLURP基准上超越最先进模型，提升口语语言理解性能。
2023-05-27 cs.CL cs.MM eess.AS
Speech Enhancement Modeling Towards Robust Speech Recognition System
G H Raisoni College of Engg（G H Raisoni工程学院）；SGB Amravati University（SGB阿姆拉瓦蒂大学）；RTM Nagpur University（RTM那格浦尔大学）
四十多年来，人类一直梦想着有一种能够掌握自然语言的智能机器。在其最简单的形式，这台机器应该包括两个子系统，即自动语音识别（ASR）和语音理解（SU）。ASR的目标是转录自然语音，而SU的目标是理解转录的含义。识别和理解一个口语句子显然是一个知识密集型的过程，它必须考虑到所有的变量信息的语音通信过程中，从声学到语义和语用。在开发自动语音识别系统时，观察到一些不利条件降低了语音识别系统的性能。在这篇文章中，语音增强系统的介绍，以增强被加性噪声污染的语音信号，提高性能的自动语音识别器在噪声条件下。自动语音识别实验表明，用相应的增强后的语音信号代替含噪的语音信号，识别精度得到了提高。改善的量随着破坏噪声的类型而变化。
2013-05-07 cs.CL cs.SD
Semi-Supervised Spoken Language Understanding via Self-Supervised Speech and Language Model Pretraining
Amazon（亚马逊）
最近关于口语语言理解（SLU）的许多工作至少在以下三种方式中的一种上受到限制：模型在Oracle文本输入上进行训练并忽略ASR错误，模型被训练为仅预测意图而没有槽值，或者模型在大量内部数据上进行训练。在本文中，我们提出了一个干净的和一般的框架来学习语义直接从语音半监督从转录或未转录的语音来解决这些问题。我们的框架建立在预训练的端到端（E2E）ASR和自监督语言模型（如BERT）基础上，并在有限的目标SLU数据上进行了微调。我们研究了ASR组件的两个半监督设置：对转录语音进行监督预训练，以及通过用自监督语音表示（如wav2vec）替换ASR编码器进行无监督预训练。同时，我们确定了两个基本标准评估SLU模型：环境噪声鲁棒性和E2E语义评估。ATIS上的实验表明，我们的SLU框架与语音作为输入可以执行等同于使用甲骨文文本作为输入的语义理解，即使环境噪声是存在的，有限数量的标记语义数据可用于训练。
2020-10-26 cs.CL
Incorporating Contextual Paralinguistic Understanding in Large Speech-Language Models
Institute for Infocomm Research (I 2 R), Agency for Science, Technology
针对Speech-LLMs共情推理受限于缺乏整合语境与副语言线索数据集的问题，提出显式与隐式两种结合语境副语言信息的训练方法，在人工标注QA基准上性能显著提升，并验证了LLM评判的可靠性。
2025-08-10 cs.AI cs.CL eess.AS
SLUE Phase-2: A Benchmark Suite of Diverse Spoken Language Understanding Tasks
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；ASAPP（ASAPP公司）；Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（国立台湾大学）
本研究推出SLUE Phase-2基准套件，基于免费语音数据新增4项SLU标注任务，配套发布微调集、开发测试集与基线模型，并分析流水线模型性能对语音识别准确率的敏感度，填补SLU评估空白。
2023-06-15 cs.CL eess.AS
SpeechLLM: Unified Speech and Language Model for Enhanced Multi-Task Understanding in Low Resource Settings
JPMorganChaseUSA（摩根大通公司）；Columbia UniversityUSA（哥伦比亚大学）
针对语音编码器与LLM整合的数据资源受限问题，提出带参数高效适配器的SpeechLLM，结合LLM合成标注等技术，在低资源下多类语音理解任务性能显著提升。
2025-08-29 cs.AI cs.CL
AuRA: Internalizing Audio Understanding into LLMs as LoRA
Meituan（美团）；Jilin University（吉林大学）
提出AuRA方法，通过层间蒸馏将ASR编码器的语音表示内化到LoRA适配的LLM中，实现紧耦合的语音-语言联合建模和高效并行端到端推理，在多个基准上优于级联系统和现有适应方法。
2026-06-09 cs.AI cs.CL cs.LG
SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Microsoft Cognitive Services Group（微软认知服务组）
口语语言理解（SLU）需要一个模型来分析输入的声学信号，以理解其语言内容并做出预测。为了提高模型的性能，已经提出了各种预训练方法来从大规模未注释的语音和文本中学习丰富的表示。然而，这两种模式之间的内在差异需要相互分析。在本文中，我们提出了一种新的半监督学习框架，SPLAT，联合预训练的语音和语言模块。除了使用未配对的语音和文本对两个单独的模块进行自我监督的掩蔽语言建模任务外，SPLAT还使用少量配对的语音和文本在共享的潜在空间中对齐来自两个模块的表示。因此，在微调期间，语音模块可以单独产生携带输入声学信号的声学信息和上下文语义知识的表示。实验结果验证了我们的方法对各种SLU任务的有效性。例如，SPLAT将Spoken SQuAD数据集的性能提高了10%以上。
2021-03-15 cs.CL
Understanding the Modality Gap: An Empirical Study on the Speech-Text Alignment Mechanism of Large Speech Language Models
Beike Inc.（贝克公司）；Bairong Inc.（柏睿公司）
本研究通过实证分析揭示大型语音语言模型中语音与文本输入间的模态差距，提出对齐路径分数量化词元级对齐，并设计干预策略以提升语音输入正确性。
2025-10-14 cs.AI cs.CL
KVoiceBench, KOpenAudioBench, and KMMAU: Agent-Driven Korean Speech Benchmarks for Evaluating SpeechLMs
KRAFTON；Graduate School of AI, KAIST（韩国科学技术院人工智能研究生院）；Department of Mathematical Sciences, Seoul National University（首尔国立大学数学科学系）
针对语音语言模型评估中英语中心化的问题，提出两种智能体驱动的基准构建框架，构建并发布了三个韩语语音基准（KVoiceBench、KOpenAudioBench、KMMAU），通过评估八个最新模型揭示了英语-韩语性能差距和不同任务间的互补性弱点。
2026-09-01 cs.AI cs.CL
Fleurs-SLU: A Massively Multilingual Benchmark for Spoken Language Understanding
Center For Artificial Intelligence and Data Science, University of Würzburg（人工智能与数据科学中心，乌尔姆大学）；Language Technology Lab, University of Cambridge（语言技术实验室，剑桥大学）；Mila, McGill University and Canada CIFAR AI Chair（Mila，麦吉尔大学及加拿大CIFAR人工智能主席）
提出多语言口语理解基准Fleurs-SLU，包含102种语言692小时主题分类和92种语言944小时听力问答，评估发现级联系统与闭源语音LLM表现优异，且ASR与SLU性能强相关。
2025-08-13 cs.AI cs.CL
Expectation-Maximization for Speech Source Separation Using Convolutive Transfer Function
INRIA Grenoble Rhône-Alpes（法国国立信息学与自动化研究院格勒诺布尔罗讷-阿尔卑斯分院）；GIPSA-lab（GIPSA实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文研究了从多通道麦克风信号中分离欠定语音声源分离的问题。首先将时域信号变换到短时傅立叶变换（STFT）域。为了在STFT域中表示房间滤波器，而不是广泛使用的窄带假设，我们建议使用更准确的模型，即卷积传递函数（CTF）。在每个频带上，混合滤波器的CTF系数和源的STFT系数通过最大化麦克风信号的似然度来联合估计，该似然度通过期望最大化（EM）算法来解决。实验结果表明，该方法在强混响环境下具有良好的性能。
2019-04-10 cs.SD eess.AS
Improving Semantic Understanding in Speech Language Models via Brain-tuning
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Saarland University（萨尔大学）
本研究提出brain-tuning方法，利用聆听自然故事的fMRI记录微调语音语言模型，首次证明引入大脑信号能减少对低级语音特征的依赖，提升大脑对齐度、下游任务性能及语义理解。
2025-03-04 cs.AI cs.CL
Exploring Transfer Learning For End-to-End Spoken Language Understanding
Amazon Alexa AI（亚马逊Alexa人工智能部门）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
Alexa、Siri和Google Assistant等语音助理通常使用两阶段的口语语言理解管道;首先，自动语音识别（ASR）组件处理客户语音并生成文本译文，然后是自然语言理解（NLU）组件将译文映射到可操作的假设。直接从语音到假设的端到端（E2 E）系统是一个更有吸引力的选择。这些系统被证明是更小，更快，更好地优化。然而，它们需要大量的端到端训练数据，此外，不利用已经可用的ASR和NLU训练数据。在这项工作中，我们提出了一个E2 E系统，旨在联合训练多个语音到文本的任务，如ASR（语音转录）和SLU（语音假设），和文本到文本的任务，如NLU（文本假设）。我们称之为音频文本全任务（AT-AT）模型，我们证明它击败了在单个任务上训练的E2 E模型的性能，特别是在有限数据上训练的模型。我们在一个内部音乐数据集和两个公共数据集FluentSpeech和SNIPS Audio上展示了这一结果，在这些数据集上我们获得了最先进的结果。由于我们的模型可以处理语音和文本输入序列并学习预测目标序列，因此它还允许我们通过仅在新域的文本假设数据（没有任何语音）上进行训练来进行zero-shot E2 E SLU。我们在Facebook TOP数据集上评估了我们模型的这种能力，并为zeroshot E2 E性能设定了一个新的基准。我们将很快发布为TOP数据集收集的音频数据，以供未来研究。
2020-12-15 cs.CL
Pre-training for Spoken Language Understanding with Joint Textual and Phonetic Representation Learning
Alibaba Group（阿里巴巴集团）
在用于口语语言理解（SLU）的传统级联架构中，已经观察到自动语音识别错误可能对自然语言理解的性能有害。已经提出了端到端（E2E）SLU模型，以利用单个模型将语音输入直接映射到期望的语义框架，从而减轻ASR错误传播。最近，已经探索了这些E2E模型的预训练技术。在本文中，我们提出了一种新的联合文本语音预训练方法学习口语表示，旨在探索语音信息的全部潜力，以提高SLU的鲁棒性ASR错误。我们探索音素标签作为高级语音特征，并设计和比较基于条件掩蔽语言模型目标和句间关系目标的预训练任务。我们还研究了在微调过程中结合文本和语音信息的功效。在口语语言理解基准测试Fluent Speech Commands和SNIPS上的实验结果表明，该方法的性能明显优于强基线模型，提高了口语语言理解对ASR错误的鲁棒性。
2021-09-01 cs.CL
Towards Debugging Deep Neural Networks by Generating Speech Utterances
University of Eastern Finland（东芬兰大学）
深度神经网络（DNN）能够成功地处理和分类语音话语。然而，理解DNN分类背后的原因是困难的。与图像分类DNN一起使用的一种这样的调试方法是激活最大化，其生成被分类为类别之一的示例图像。在这项工作中，我们评估这种方法的适用性语音话语分类器的手段来理解DNN“听”。我们使用语音命令语料库训练分类器，然后使用激活最大化从训练模型中提取样本。然后，我们合成的音频功能使用WaveNet声码器的主观分析。我们通过客观测量和众包的人类评估来衡量生成样本的质量。结果表明，当结合自然语音的先验知识时，激活最大化可以用于生成不同类别的示例。基于这些结果，激活最大化可以用来打开语音任务中的DNN黑盒。
2019-07-06 cs.LG eess.AS stat.ML
Integration of deep learning with expectation maximization for spatial cue based speech separation in reverberant conditions
在本文中，我们制定了一个盲源分离（BSS）框架，该框架允许将基于U-Net的深度学习源分离网络与概率空间机器学习期望最大化（EM）算法集成，用于在混响条件下分离语音。我们提出的模型使用预训练的深度学习卷积神经网络U-Net来聚类耳间水平差（ILD）线索，并使用机器学习期望最大化（EM）算法来聚类耳间相位差（IPD）线索。集成模型利用了BSS的两种方法的互补优势：有监督神经网络的强大建模能力和无监督机器学习算法的易用性，其参数很少，可以在音频混合的单个片段上进行估计。实验结果表明，与基于EM的源分离算法MESSL-GS相比，信号失真比（SDR）平均提高4.3dB，短时语音清晰度（STOI）平均提高4.3%（基于模型的期望最大化源分离和垃圾源定位），SDR中为4.5 dB，STOI中为8%，超过深度学习卷积神经网络（U-Net）的语音分离算法SONET的混响条件下，从消声的那些最经常遇到的现实世界。
2021-02-26 eess.AS
