Joint Speech and Text Training for LLM-Based End-to-End Spoken Dialogue State Tracking
Brno University of Technology（布拉格技术大学）
提出联合训练口语DST数据和跨域文本DST数据的方法，解决口语数据稀缺和跨域泛化问题，无需目标域口语训练数据即可获得良好性能。
2026-06-23 cs.CL cs.SD eess.AS
SpeechBERT: An Audio-and-text Jointly Learned Language Model for End-to-end Spoken Question Answering
National Taiwan University（台湾大学）
虽然各种端到端的口语语言理解任务的模型已经探索最近，本文可能是第一个已知的尝试，挑战非常困难的任务，端到端的口语问答（SQA）。借鉴BERT模型在各种文本处理任务中的成功应用，本文提出了一种语音-文本联合学习的SpeechBERT模型。该模型优于在答案跨度中包括ASR错误的数据集上级联ASR与以下文本问答（TQA）模型的传统方法，因为端到端模型被示出能够在ASR产生错误之前从音频数据中提取信息。当将所提出的端到端模型与级联架构集成时，实现了更好的性能。除了端到端SQA的潜力之外，Speech BERT还可以被考虑用于许多其他语言理解任务，就像BERT用于许多文本处理任务一样。
2020-08-11 cs.CL cs.SD eess.AS
Dyn-ASR: Compact, Multilingual Speech Recognition via Spoken Language and Accent Identification
Intel Corporation（英特尔公司）；SIL International（SIL国际）
由于资源限制，在边缘设备上运行自动语音识别（ASR）并非易事，特别是在需要支持多种语言的场景中。我们提出了一种在边缘设备上实现多语言语音识别的新方法。这种方法同时使用语言识别和口音识别来动态选择多个单语ASR模型之一，每个模型都针对特定口音进行了微调。识别性能和资源使用的初步结果是有希望的，我们的方法使用的内存不到其他解决方案的1/12。
2021-08-04 cs.CL cs.SD eess.AS
SpeechDPR: End-to-End Spoken Passage Retrieval for Open-Domain Spoken Question Answering
National Taiwan University（台湾大学）；Massachusetts Institute of Technology（麻省理工学院）；Meta AI；Rembrand（伦勃朗）
本文提出首个面向开放域口语问答检索组件的端到端框架SpeechDPR，通过从无监督ASR和文本密集检索器的级联模型蒸馏知识学习句子级语义表示，无需人工转录数据，在ASR效果差时表现更鲁棒。
2024-08-24 cs.CL cs.IR cs.SD
Speech-language Pre-training for End-to-end Spoken Language Understanding
Microsoft（微软）
端到端（E2 E）口语语言理解（SLU）可以直接从语音信号中推断语义，而无需将自动语音识别器（ASR）与自然语言理解（NLU）模块级联。然而，成对的话语记录和对应的语义可能并不总是可用的或不足以在真实的生产环境中训练E2 E SLU模型。在本文中，我们提出将优化的E2 E ASR编码器（语音）和预训练的语言模型编码器（语言）统一到Transformer解码器中。通过使用条件掩蔽语言模型（MLM）目标，统一的语音-语言预训练模型（SLP）在来自目标域的有限标记数据上不断增强，并且因此可以有效地生成用于推理中的给定输入语音的意图、槽类型和槽值的序列。在两个公开语料库上的实验结果表明，该方法在E2 E SLU上的性能优于传统的级联方法。它还优于目前最先进的E2 E SLU方法，配对数据少得多。
2021-02-11 cs.CL cs.SD eess.AS
Improving Spoken Language Understanding By Exploiting ASR N-best Hypotheses
Amazon（亚马逊）
在现代口语语言理解（SLU）系统中，自然语言理解（NLU）模块将来自自动语音识别（ASR）模块的语音的解释作为输入。NLU模块通常在下游任务（如域和意图分类）中使用给定语音的第一个最佳解释。然而，ASR模块可能会错误地识别一些语音，并且第一最佳解释可能是错误的和有噪声的。仅仅依赖第一个最佳解释可能会使下游任务的性能非最佳。为了解决这个问题，我们引入了一系列简单而有效的模型，通过集体利用ASR模块的n-最好的语音解释来提高对输入语音的语义的理解。
2020-01-11 cs.CL cs.SD eess.AS
Bootstrapping meaning through listening: Unsupervised learning of spoken sentence embeddings
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；University of British Columbia（不列颠哥伦比亚大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）；Newcastle University（纽卡斯尔大学）；Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）
直接从语音信号中导出语义表示是一项极具挑战性的任务，但在语音挖掘和口语语言理解中有许多有用的应用。本研究探讨口语语义表征的无监督学习。通过将语音信号转换为声学单元发现产生的隐藏单元，我们提出了WavEmbed，一个多模态顺序自动编码器，预测隐藏单元从密集的语音表示。其次，我们还提出了S-HuBERT通过知识蒸馏来归纳意义，其中句子嵌入模型首先在隐藏单元上进行训练，并通过对比学习将其知识传递给语音编码器。表现最好的模型与人类判断的相关性适中（0.5~0.6），不依赖于任何标签或透明度。此外，这些模型还可以很容易地扩展，以利用语音的文本翻译来学习与人类注释密切相关的更好的语音嵌入。我们提出的方法是适用于纯粹的数据驱动的语音挖掘，索引和搜索系统的发展。
2022-10-23 cs.CL cs.SD eess.AS
Language-Universal Speech Attributes Modeling for Zero-Shot Multilingual Spoken Keyword Recognition
Georgia Institute of Technology（佐治亚理工学院）；Università degli Studi di Palermo（巴勒莫大学）；Norwegian University of Science and Technology（挪威科技大学）
提出基于Wav2Vec2.0和通用语音属性的语言通用端到端SKR方法，结合领域对抗训练，在已见和零样本未见语言中均显著降低词错误率，优于传统字符与音素方法。
2024-06-04 cs.CL cs.SD eess.AS
The Interpreter Understands Your Meaning: End-to-end Spoken Language Understanding Aided by Speech Translation
Idiap Research Institute（Idiap 研究院）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文提出利用语音翻译作为预训练任务，提升端到端口语理解模型在单语和跨语言场景下的性能，并在多个基准上验证了其有效性。
2023-10-17 cs.CL cs.SD eess.AS
Paralinguistics-Aware Speech-Empowered Large Language Models for Natural Conversation
Seoul National University（首尔大学）；NAVER Cloud（NAVER云）；Artificial Intelligence Institute, Seoul National University（首尔大学人工智能研究院）；NAVER AI Lab（NAVER人工智能实验室）
针对基于LLM的口语对话建模策略缺失问题，提出统一口语对话模型USDM，无需显式ASR/TTS系统，通过融入韵律的语音-文本模型及通用预训练方案，在DailyTalk数据集上生成自然口语响应，性能优于基线。
2024-11-28 cs.CL cs.SD eess.AS
Exploring Spoken Language Identification Strategies for Automatic Transcription of Multilingual Broadcast and Institutional Speech
Almawave S.p.A.（阿尔马威公司）
本文针对多语言广播与机构语音中语言切换多伴随说话人切换的特点，提出说话人分离与语言识别级联系统，相比传统方法显著降低语言分离错误和词错误率，且对单语识别影响很小。
2024-06-13 cs.CL cs.SD eess.AS
TurnGuide: Enhancing Meaningful Full Duplex Spoken Interactions via Dynamic Turn-Level Text-Speech Interleaving
The Chinese University of Hong Kong（香港中文大学）；Huawei Technologies（华为技术）
提出TurnGuide方法，通过动态分割助手语音为对话轮次并交错生成轮次级文本和语音，解决全双工语音语言模型在连续双通道音频中集成离散文本令牌导致的时间对齐问题，显著提升语义连贯性和轮次交互性能。
2026-06-18 cs.CL cs.SD eess.AS
Pretrained Semantic Speech Embeddings for End-to-End Spoken Language Understanding via Cross-Modal Teacher-Student Learning
University of Stuttgart（斯图加特大学）
口语理解通常基于包括语音识别和自然语言理解步骤的流水线架构。这些组件被独立地优化以允许使用可用数据，但是整个系统遭受错误传播。在本文中，我们提出了一种新的训练方法，使预训练的上下文嵌入处理声学特征。特别是，我们扩展它与编码器的预训练语音识别系统，以构建端到端的口语理解系统。我们所提出的方法是基于教师-学生的框架，跨越语音和文本形式，对齐的声学和语义的潜在空间。在三个基准测试中的实验结果表明，我们的系统达到了与流水线架构相当的性能，而不使用任何训练数据，并在三个基准测试中的两个上进行了每类十个示例的微调后，性能优于流水线架构。
2020-08-11 cs.CL cs.LG cs.SD
On the Use of Semantically-Aligned Speech Representations for Spoken Language Understanding
Omilia - Conversational Intelligence（Omilia对话智能公司）
在本文中，我们研究使用语义对齐的语音表示的端到端的口语语言理解（SLU）。我们采用最近推出的SAMU-XLSR模型，它的目的是生成一个单一的嵌入，捕捉在话语级别的语义，语义对齐不同的语言。该模型结合了声学帧级语音表示学习模型（XLS-R）和语言不可知BERT句子嵌入（LaBSE）模型。我们表明，使用的SAMU-XLSR模型，而不是最初的XLS-R模型，显着提高了性能的框架中的端到端SLU。最后，我们提出了使用这种模式对语言的可移植性SLU的好处。
2022-10-11 cs.CL cs.SD eess.AS
Towards Reducing the Need for Speech Training Data To Build Spoken Language Understanding Systems
IBM Research AI（IBM研究院人工智能部门）
缺乏口语语言理解（SLU）所需的用标签注释的语音数据通常是构建可以直接处理语音输入的端到端（E2E）系统的主要障碍。相比之下，通常可以使用带有适当标签的大量文本数据。在本文中，我们提出了一种新的文本表示和训练方法，使E2E SLU系统有效地使用这些文本资源构建。在额外语音数量非常有限的情况下，我们表明这些模型可以进一步改进，以接近基于完整语音数据集构建的类似系统的水平。使用三个不同的SLU数据集的意图和实体任务证明了我们提出的方法的有效性。在纯文本训练的情况下，所提出的系统实现了全语音训练可能达到的性能的90%。只需额外增加10%的语音数据，这些模型就可以显著提高97%的完整性能。
2022-02-26 cs.CL cs.SD eess.AS
Few-Shot Spoken Language Understanding via Joint Speech-Text Models
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；The University of Chicago（芝加哥大学）
本研究利用语音-文本联合预训练的共享表示解决少样本口语理解数据稀缺问题，仅1小时标注语音数据即可达到用10倍数据微调的纯语音预训练模型的性能，并分析了模型不同层的表示特性。
2023-10-09 cs.CL eess.AS
A Fine-tuned Wav2vec 2.0/HuBERT Benchmark For Speech Emotion Recognition, Speaker Verification and Spoken Language Understanding
Zaion（Zaion公司）；Zaion Lab（Zaion实验室）
语音自监督模型如wav 2 vec 2.0和HuBERT在自动语音识别（ASR）中取得了革命性的进展。然而，它们还没有被完全证明在ASR以外的任务上产生更好的性能。在这项工作中，我们探索了wav 2 vec 2.0和HuBERT预训练模型的部分微调和整体微调，用于三个非ASR语音任务：语音情感识别，说话人验证和口语语言理解。在简单的下游框架下，IEMOCAP上的语音情感识别在说话者相关设置上的加权准确率达到79.58%，在说话者无关设置上的加权准确率达到73.01%，VoxCeleb 1上的说话者验证的平均出错率达到2.36%，SLURP上的意图分类的准确率达到89.38%，时隙填充的F1达到78.92%，显示了微调wav 2 vec 2.0和HuBERT在学习韵律、声纹和语义表征方面的优势。
2022-10-03 cs.CL cs.NE cs.SD
Speech Model Pre-training for End-to-End Spoken Language Understanding
Mila（米拉研究所）
传统的口语理解（SLU）系统将语音映射到文本，然后将文本映射到意图，而端到端SLU系统通过单个可训练模型将语音直接映射到意图。在没有大量训练数据的情况下，使用这些端到端模型实现高精度是困难的。我们提出了一种方法来减少端到端SLU的数据需求，其中首先对模型进行预训练以预测单词和音素，从而学习SLU的良好特征。我们介绍了一个新的SLU数据集，流利的语音命令，并表明我们的方法提高了性能时，完整的数据集用于训练，当只有一个小的子集被使用。我们还描述了初步实验，以衡量模型的能力，以推广到新的短语在训练过程中没有听到。
2019-07-25 cs.CL cs.LG cs.SD
Finstreder: Simple and fast Spoken Language Understanding with Finite State Transducers using modern Speech-to-Text models
University of Augsburg（奥格斯堡大学）
在口语语言理解（SLU）中，任务是从音频命令中提取重要信息，例如用户希望系统做什么的意图以及位置或数字等特殊实体。本文提出了一种将意图和实体嵌入到有限状态转换器中的简单方法，并与预训练的通用语音到文本模型相结合，允许在没有任何额外训练的情况下构建SDU模型。构建这些模型非常快，只需要几秒钟。它也是完全独立的语言。在不同的基准测试比较表明，这种方法可以优于其他多个，更多的资源需求SLU方法。
2022-06-29 cs.CL cs.HC cs.SD
Device Directedness with Contextual Cues for Spoken Dialog Systems
AWS AI Labs（AWS人工智能实验室）
在这项工作中，我们将打断验证定义为监督学习任务，其中仅使用音频信息将用户口语对话分类为真和假打断。在预训练模型成功之后，我们使用来自自监督表示学习模型的低级语音表示进行下游分类任务。此外，我们还提出了一种新的技术，将词汇信息直接注入语音表示，以提高在预训练过程中隐式学习的特定领域的语言信息。对口语对话数据进行的实验表明，我们提出的经过训练以完全从语音表示验证插入的模型比使用音频和自动语音识别的基线LSTM模型相对快38%，并实现了4.5%的相对F1分数改进（ASR）1-最佳假设。最重要的是，我们提出的最好的模型与词汇注入表示以及上下文特征提供了进一步的相对改善5.7%的F1得分，但只有22%比基线快。
2022-11-23 cs.CL cs.SD eess.AS
GLM-4-Voice: Towards Intelligent and Human-Like End-to-End Spoken Chatbot
Tsinghua University（清华大学）
本文提出端到端双语语音聊天机器人 GLM-4-Voice，通过低比特率语音分词器、语音-文本交错预训练与会话微调，实现实时、富有情感且高质量的类人语音对话。
2024-12-03 cs.CL cs.SD eess.AS
Speech Discrete Tokens or Continuous Features? A Comparative Analysis for Spoken Language Understanding in SpeechLLMs
The Chinese University of Hong Kong（香港中文大学）
针对SpeechLLMs中语音处理的离散tokens与连续特征两种主流方法，通过在相同实验设置下对比基于SSL的两者性能，结合不同规模LLM在多任务上的评估，发现连续特征总体更优，为相关研究提供参考。
2025-08-25 cs.CL cs.SD
WaBERT: A Low-resource End-to-end Model for Spoken Language Understanding and Speech-to-BERT Alignment
Institute of Artificial Intelligence Research, Qihoo of Beijing Science and Technology Co. Ltd.（北京奇虎科技有限公司人工智能研究院）
历史上，诸如自动语音识别（ASR）和说话人辨识之类的较低级别的任务是语音领域中的主要焦点。最近，人们对高级口语语言理解（SLU）任务的兴趣越来越大，比如情感分析（SA）。然而，提高SLU任务的性能仍然是一个巨大的挑战。基本上，SLU任务有两种主要方法：（1）两阶段方法，使用语音模型将语音转换为文本，然后使用语言模型获得下游任务的结果;（2）一阶段方法，仅微调预训练的语音模型以适应下游任务。第一种方法丢失了语调等情感线索，导致识别错误;第二种方法缺乏必要的语言知识。在本文中，我们提出了波BERT（WaBERT），一种新的端到端模型结合语音模型和语言模型SLU任务。WaBERT基于预训练的语音和语言模型，因此不需要从头开始训练。我们还在训练期间冻结了WaBERT的大多数参数。通过引入WaBERT，在短时间和低资源的训练过程中整合了音频特定信息和语言知识，以提高SLUE SA任务的开发数据集上的结果，召回分数提高了1.15%，F1分数提高了0.82%。此外，我们修改了串行连续整合激发（CIF）机制，以实现语音和文本模态之间的单调对齐。
2022-04-22 cs.CL cs.SD eess.AS
PSLM: Parallel Generation of Text and Speech with LLMs for Low-Latency Spoken Dialogue Systems
rinna Co., Ltd.（rinna公司）
本文提出PSLM，通过扩展大语言模型输入输出序列实现文本与语音并行生成，在口语问答中降低延迟并保持内容质量，并进一步利用多序列语音生成减少延迟。
2024-10-03 cs.AI cs.CL cs.LG
MMSU: A Massive Multi-task Spoken Language Understanding and Reasoning Benchmark
MMSU基准通过整合语音的语义、语调和语音学特征，评估语音语言理解与推理能力，发现现有模型存在改进空间，为开发更高级的人机语音交互系统提供新标准。
2026-03-16 cs.CL cs.SD eess.AS
A dual task learning approach to fine-tune a multilingual semantic speech encoder for Spoken Language Understanding
LIA - Avignon Université（阿维尼翁大学LIA实验室）；LISN - CNRS/Université Paris-Saclay（巴黎萨克雷大学LISN实验室）
针对SAMU-XLSR框架专门化训练导致多语言性能下降、单独SLU微调丧失跨语言能力的问题，本文提出双任务学习方法，结合远距离语言实验提升其语义增强效果与语言可移植性。
2024-06-17 cs.CL cs.SD eess.AS
The Speech-LLM Takes It All: A Truly Fully End-to-End Spoken Dialogue State Tracking Approach
本文提出利用语音大语言模型实现端到端语音对话状态跟踪，通过比较不同上下文管理策略，发现完整语音对话输入能获得最佳性能，同时压缩历史信息能保持准确性与效率的平衡。
2026-02-16 cs.AI cs.CL cs.LG
Blockwise Streaming Transformer for Spoken Language Understanding and Simultaneous Speech Translation
University of Chinese Academy of Sciences（中国科学院大学）；Carnegie Mellon University（卡内基梅隆大学）
虽然Transformers在口语语言理解（SLU）和语音翻译（ST）等语音处理任务中取得了成功，但在保持竞争力的同时实现在线处理对于现实世界的交互仍然至关重要。在本文中，我们采取的第一步流SLU和同步ST使用块流式Transformer，这是基于上下文块处理和块同步束搜索。此外，我们还针对流媒体SLU任务设计了一种基于自动语音识别（ASR）的中间损失正则化方法，以进一步提高分类性能。对于同时ST任务，我们提出了一种跨语言的编码方法，它采用了一个CTC分支优化目标语言翻译。此外，还利用CTC翻译输出，以CTC前缀分数细化搜索空间，首次实现联合CTC/注意力同传。SLU的实验是在FSC和SLURP语料库上进行的，而ST任务是在Fisher-CallHome Spanish和Must-C En-De语料库上进行的。实验结果表明，与离线模型相比，块流式传输Transformer实现了有竞争力的结果，特别是我们提出的方法，在SLU任务上进一步产生2.4%的准确性增益，在ST任务上获得4.3 BLEU增益。
2022-04-19 cs.CL cs.SD eess.AS
Almost-unsupervised Speech Recognition with Close-to-zero Resource Based on Phonetic Structures Learned from Very Small Unpaired Speech and Text Data
National Taiwan University（国立台湾大学）
对于世界上95%以上的低资源语言来说，为训练ASR系统生成大量带注释的语音数据仍然很困难。然而，我们注意到，人类婴儿开始学习语言的声音，少量的范例词没有听到大量的数据。我们在本文中开始在这个方向上的一些初步工作。音频Word2Vec用于获得携带从信号中提取的语音信息的口语单词的嵌入。一个自动编码器被用来生成嵌入的文本单词的发音特征的基础上的音素序列。这两套嵌入口语和文本的话描述了相似的语音结构之间的话在各自的潜在空间。从音频嵌入到文本嵌入的映射关系实际上给出了单词级ASR。这可以通过在嵌入空间中对齐少量的口语单词和相应的文本单词来学习。在最初的实验中，只有200个注释的口语单词和一个小时的语音数据没有注释，给出了27.5%的单词准确率，这是一个很低的起点。
2018-10-30 cs.CL cs.SD eess.AS
ESPnet-SLU: Advancing Spoken Language Understanding through ESPnet
Carnegie Mellon University（卡内基梅隆大学）；University of Stuttgart（斯图加特大学）；Zoom Video Communications（Zoom视频通讯）
随着自动语音处理（ASR）系统变得越来越好，使用ASR输出来执行下游自然语言处理（NLP）任务的兴趣越来越大。然而，很少有开源工具包可用于在不同的口语语言理解（SLU）基准测试上生成可重复的结果。因此，有必要建立一个开源标准，可以用来更快地开始SLU研究。我们提出ESPnet-SLU，这是专为快速发展的口语语言理解在一个单一的框架。ESPnet-SLU是端到端语音处理工具包ESPnet中的一个项目，ESPnet是一个广泛使用的开源标准，用于各种语音处理任务，如ASR，文本到语音（TTS）和语音翻译（ST）。我们增强了工具包，以提供各种SLU基准的实现，使研究人员能够无缝地混合和匹配不同的ASR和NLU模型。我们还提供了预训练模型，这些模型具有密集调整的超参数，可以匹配甚至超越当前最先进的性能。该工具包可在https://github.com/espnet/espnet上公开查阅。
2022-03-03 cs.CL cs.SD eess.AS
Exploring Fine-Tuning of Large Audio Language Models for Spoken Language Understanding under Limited Speech Data
MAUM AI Inc.（MAUM AI公司）；Soongsil University（_soongsil大学）
本研究探讨了在有限语音数据条件下，通过不同微调方案提升语音语言理解性能，发现文本-only微调已具竞争力，课程学习在数据稀缺时效果显著。
2026-01-21 cs.CL cs.LG cs.SD
SpeechT5: Unified-Modal Encoder-Decoder Pre-Training for Spoken Language Processing
Southern University of Science and Technology（南方科技大学）；The Hong Kong Polytechnic University（香港理工大学）；Tongji University（同济大学）；Microsoft（微软）；Peng Cheng Laboratory（鹏城实验室）
受T5（Text-To-Text Transfer Transformer）在预训练自然语言处理模型中的成功启发，我们提出了一个统一模态SpeechT5框架，该框架探索了用于自监督语音/文本表示学习的编码器-解码器预训练。SpeechT5框架由一个共享的编码器-解码器网络和六个特定于模态（语音/文本）的前/后网络组成。在通过前网络对输入语音/文本进行预处理之后，共享的编码器-解码器网络对序列到序列的变换进行建模，然后后网络基于解码器的输出以语音/文本模态生成输出。利用大规模未标记的语音和文本数据，我们对SpeechT5进行了预训练，以学习统一的模态表示，希望提高语音和文本的建模能力。为了将文本和语音信息对齐到这个统一的语义空间中，我们提出了一种跨模态矢量量化方法，该方法将语音/文本状态与潜在单元随机混合，作为编码器和解码器之间的接口。广泛的评估表明，所提出的SpeechT5框架在各种各样的口头语言处理任务，包括自动语音识别，语音合成，语音翻译，语音转换，语音增强和说话人识别的优越性。我们在www.example.com上发布我们的代码和模型。
2022-05-24 cs.CL cs.LG cs.SD
Interventional Speech Noise Injection for ASR Generalizable Spoken Language Understanding
Seoul National University（首尔大学）；Yanolja（雅诺佳（韩国生活服务平台））
本文提出一种干预式语音噪声注入方法，通过切断噪声的非因果效应引入对任意ASR系统都合理的噪声，以增强SLU模型对未见ASR系统的鲁棒性和泛化能力。
2024-10-21 cs.CL cs.SD eess.AS
Audio-Linguistic Embeddings for Spoken Sentences
Stanford University（斯坦福大学）
我们提出了口语句子嵌入捕获声学和语言的内容。虽然现有的作品在字符，音素或单词级别上运行，但我们的方法通过在句子级别上对语音进行建模来学习长期依赖关系。作为一个音频语言多任务学习问题，我们的编码器-解码器模型同时从音频中重建声学和自然语言特征。我们的研究结果表明，口语句子嵌入优于音素和单词水平的基线语音识别和情感识别任务。消融研究表明，我们的嵌入可以更好地模拟高层次的声学概念，同时保留语言内容。总的来说，我们的工作说明了通用的，多模态的句子嵌入口语语言理解的可行性。
2019-02-20 cs.CL cs.SD eess.AS
End-to-End Spoken Language Understanding Without Full Transcripts
IBM（国际商业机器公司）
口语语言理解（SLU）的一个重要组成部分是槽填充：使用语义实体标签表示口语话语的含义。在本文中，我们开发了端到端（E2 E）口语语言理解系统，直接转换语音输入的语义实体和调查，如果这些E2 E SLU模型可以单独训练语义实体注释没有字对字的成绩单。训练这样的模型非常有用，因为它们可以大大降低数据汇集的成本。我们创建了两种类型的语音到实体模型，CTC模型和基于注意力的编码器-解码器模型，通过调整最初为语音识别训练的模型。鉴于我们的实验涉及语音输入，这些系统需要正确识别实体标签和表示实体值的单词。对于我们在ATIS语料库上进行的语音到实体的实验，CTC和注意力模型都显示出令人印象深刻的跳过非实体单词的能力：当只训练实体与完整的转录时，几乎没有退化。我们还探讨了实体的顺序不一定与话语中的口语顺序相关的情况。由于注意力模型具有重新排序的能力，因此它的表现非常好，在语音到实体袋的F1分数中只降低了约2%。
2020-09-30 cs.CL cs.LG cs.SD
A Study on the Integration of Pre-trained SSL, ASR, LM and SLU Models for Spoken Language Understanding
Carnegie Mellon University（卡内基梅隆大学）
为口语语言理解（SLU）收集足够的标记数据是昂贵且耗时的。最近的研究通过在低资源场景中使用预先训练的模型取得了令人鼓舞的结果。受此启发，我们的目标是问：哪些（如果有的话）预训练策略可以提高SLU基准的性能？为了回答这个问题，我们采用了四种类型的预训练模型及其组合用于SLU。我们利用在大量未配对数据上预训练的自监督语音和语言模型（LM）来提取强语音和文本表示。我们还探索使用在较大的外部自动语音识别（ASR）或SLU语料库上预训练的监督模型。我们对SLU评估（SLUE）基准进行了广泛的实验，并观察到自监督预训练模型更强大，预训练LM和语音模型分别对情感分析和命名实体识别任务最有益。
2022-11-10 cs.CL cs.SD eess.AS
Contrastive Learning for Improving ASR Robustness in Spoken Language Understanding
National Taiwan University（国立台湾大学）
口语语言理解（Spoken language understanding，SLU）是机器理解人类语音以实现更好交互的重要任务。然而，来自自动语音识别器（ASR）的错误通常会损害理解性能。实际上，ASR系统可能不容易针对目标场景进行调整。因此，本文采用对比目标学习对ASR错误具有鲁棒性的话语表征，并在模型微调中结合监督对比学习和自升华进一步增强泛化能力。在三个基准数据集上的实验证明了该方法的有效性。
2022-06-27 cs.CL cs.SD eess.AS
Where are we in semantic concept extraction for Spoken Language Understanding?
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；Avignon Université（阿维尼翁大学）
口语语言理解（SLU）主题在过去三年中取得了很大的进展，端到端神经方法的出现。口语语言理解是指与从语音信号中提取语义相关的自然语言处理任务，如从语音中识别命名实体识别或人机对话环境中的槽填充任务。传统上，SLU任务是通过级联方法处理的，该方法包括首先应用自动语音识别过程，然后应用自然语言处理模块进行自动翻译。最近三年，已经提出了基于深度神经网络的端到端神经方法，以便通过使用单个神经模型直接从语音信号中提取语义。最近关于使用未标记数据的自监督训练的工作在自动语音识别和自然语言处理的性能方面开辟了新的前景。在本文中，我们提出了一个简短的概述法国媒体基准数据集SLU的最新进展，有或没有使用额外的数据。我们还提出了我们的最后结果，显着优于目前的最先进的概念出错率（CER）为11.2%，而不是13.6%的最后一个国家的最先进的系统，今年提出的。
2022-10-11 cs.CL cs.SD eess.AS
WavChat: A Survey of Spoken Dialogue Models
Zhejiang University（浙江大学）；Microsoft（微软公司）；Alibaba Group（阿里巴巴集团）；Tencent YouTu Lab（腾讯优图实验室）
针对口语对话系统缺乏全面综述的问题，本文按时间顺序梳理现有系统并分为级联与端到端范式，深入分析核心技术、数据集及评估体系，为该领域学术研究与工业应用提供参考。
2024-11-26 cs.CL cs.LG cs.MM
SLUE: New Benchmark Tasks for Spoken Language Understanding Evaluation on Natural Speech
ASAPP（ASAPP公司）
共享数据集和基准促进了语音处理的进展。历史上，这些都集中在自动语音识别（ASR），说话人辨识，或其他较低级别的任务。人们对更高级别的口语语言理解任务的兴趣一直在增长，包括使用端到端模型，但用于此类任务的注释数据集较少。与此同时，最近的工作显示了预训练通用表示的可能性，然后使用相对较少的标记数据对几个任务进行微调。我们建议创建一套标准任务的口语语言理解评估（SLUE）组成的有限大小的标记的训练集和相应的评估集。这种资源将使研究界能够跟踪进展，评估高级任务的预训练表示，并研究开放性问题，例如管道与端到端方法的效用。我们提出了SLUE基准测试套件的第一阶段，包括相应数据集上的命名实体识别、情感分析和ASR。我们专注于自然产生的（不是阅读或合成的）语音，以及免费提供的数据集。我们为VoxCeleb和VoxPopuli数据集的子集提供了新的转换和注释，基线模型的评估指标和结果，以及一个开源工具包来重现基线和评估新模型。
2022-07-29 cs.CL cs.LG cs.SD
Spoken SQuAD: A Study of Mitigating the Impact of Speech Recognition Errors on Listening Comprehension
National Taiwan University（台湾大学）
阅读理解已经得到了广泛的研究。斯坦福问答数据集（SQuAD）是最具代表性的阅读理解任务之一，机器在其上已经可以与人类相媲美。另一方面，对于人类来说，访问大量的多媒体或语音内容比纯文本内容更困难和耗时。因此，开发能够自动理解口语内容的机器是非常有吸引力的。在本文中，我们提出了一个新的听力理解任务-口语SQuAD。在新的任务中，我们发现语音识别错误对机器理解有灾难性的影响，并提出了几种方法来减轻这种影响。
2018-04-01 cs.CL
DiffuSpeech: Silent Thought, Spoken Answer via Unified Speech-Text Diffusion
National University of Singapore（新加坡国立大学）；Tencent（腾讯）
DiffuSpeech通过统一的语音-文本扩散模型，实现语音生成的同时生成内部推理，提升语音问答的准确性和语音质量。
2026-01-30 cs.AI cs.CL cs.LG
Do We Still Need Automatic Speech Recognition for Spoken Language Understanding?
University of Copenhagen（哥本哈根大学）；Technical University of Denmark（丹麦技术大学）；Corti（Corti公司）
口语理解（SLU）任务通常通过首先用自动语音识别（ASR）转录话语，然后将输出馈送到基于文本的模型来解决。语音数据的自监督表示学习的最新进展集中在改进ASR组件上。我们调查是否表示学习语音已经成熟到足以取代ASR SLU。我们比较了从wav2vec 2.0，最先进的ASR成绩单和地面真实文本中学习到的语音特征，作为一种新的基于语音的命名实体识别任务，一种真实世界紧急呼叫的心脏骤停检测任务和两种现有SLU基准的输入。我们发现，学习语音功能优于ASR成绩单上的三个分类任务。对于机器翻译，ASR成绩单仍然是更好的选择。我们强调了wav2vec 2.0表示的内在鲁棒性，以词汇表外的单词作为提高性能的关键。
2021-11-29 cs.CL cs.LG eess.AS
HPSU: A Benchmark for Human-Level Perception in Real-World Spoken Speech Understanding
HPSU是一个用于评估语音大语言模型人类水平感知能力的基准，通过融合多模态信息提升标注效率，揭示当前模型在真实语音理解上的不足。
2025-11-28 cs.SD
TASTE-Streaming: Towards Streamable Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling
Graduate Institute of Communication Engineering, National Taiwan University（国立台湾大学通讯工程研究所）
本文提出TASTE-S，通过集成CTC ASR模块和重设计解码器，实现流式传输的文本对齐语音标记化与嵌入，减少延迟并保持鲁棒性。
2026-03-12 cs.CL cs.SD
Data-Centric Improvements for Enhancing Multi-Modal Understanding in Spoken Conversation Modeling
Columbia University（哥伦比亚大学）；Google（谷歌公司）
提出以数据为中心的多任务学习范式，利用少量语音数据在Spoken-SQuAD基准上达到SOTA，并发布首个含模糊请求和动态评估的多轮口语对话数据集ASK-QA。
2024-12-20 cs.AI cs.CL cs.SD
NTPP: Generative Speech Language Modeling for Dual-Channel Spoken Dialogue via Next-Token-Pair Prediction
Tencent（腾讯）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）；Shenzhen University（深圳大学）
针对 SLM 未充分利用双通道语音数据的问题，提出 NTPP 下一词元对预测范式，用仅解码器架构学习说话人无关的双通道口语对话，并提升对话能力与实时推理效率。
2025-06-11 cs.AI cs.CL cs.SD
Aligning Spoken Dialogue Models from User Interactions
Department of Computer Science, Cornell University. Work done at Kyutai.（计算机科学系，康奈尔大学。在Kyutai工作）
本文提出一种新颖的偏好对齐框架，通过构建超15万个AI标注的语音偏好对数据集并利用离线对齐方法微调全双工语音到语音模型，有效提升了实时口语对话的事实性、安全性与上下文对齐能力。
2025-06-26 cs.CL cs.LG cs.SD
Towards human-like spoken dialogue generation between AI agents from written dialogue
rinna Co., Ltd.（Rinna株式会社）
针对从书面对话生成类人口语对话的难题，研究提出基于离散token的CHATS系统，可同时生成双方语音、实现自然话轮转换，效果优于基线，对话更互动流畅且清晰可懂。
2023-10-02 cs.CL cs.LG cs.SD
Speak or Chat with Me: End-to-End Spoken Language Understanding System with Flexible Inputs
New York University（纽约大学）；IBM Research AI（IBM研究院人工智能实验室）
口语语言理解（SLU）中最近的研究的主要焦点是端到端方法，其中单个模型可以直接从语音输入预测意图，而无需中间转录。然而，这一方法带来了一些挑战。首先，由于语音可被视为个人可识别信息，因此在某些情况下，只能访问自动语音识别（ASR）转录。其次，意图标记的语音数据是稀缺的。为了解决第一个挑战，我们提出了一个新的系统，可以从灵活的输入类型预测意图：语音，ASR成绩单，或两者兼而有之。我们表现出强大的性能，无论是模态单独，当语音和ASR成绩单，通过系统组合，我们实现了更好的结果比使用一个单一的输入方式。为了解决第二个挑战，我们利用一个语义健壮的预训练BERT模型，并采用一个跨模态系统，在共享的潜在空间中共同训练文本嵌入和声学嵌入。我们通过利用在LibriSpeech上预训练的声学模块和在我们的目标数据集上对文本模块进行域适应来进一步增强该系统。我们的实验显示了这些预训练和微调策略的显著优势，从而使系统在Snips SLU和Fluent Speech Commands数据集上实现了具有竞争力的意图分类性能。
2021-06-14 cs.CL cs.LG cs.SD
Finetuning End-to-End Models for Estonian Conversational Spoken Language Translation
Tallinn University of Technology（塔林理工大学）
本文针对爱沙尼亚语会话语音翻译数据稀缺问题，通过合成数据微调 Whisper、OWSM 3.1 和 SeamlessM4T 三种端到端模型，其中 SeamlessM4T 性能达到或超过级联系统。
2024-07-04 cs.CL eess.AS
A Convolutional Neural Network Based Approach to Recognize Bangla Spoken Digits from Speech Signal
Khulna University of Engineering & Technology（库尔纳工程技术大学）
语音识别是一种将人类的语音信号转换成文本或单词或任何形式的计算机或其他机器可以容易地理解的技术。有一些关于孟加拉数字识别系统的研究，其中大多数使用的是小数据集，性别，年龄，方言和其他变量的变化很少。在这项研究中，不同性别、年龄和方言的孟加拉人的录音被用来创建一个大型的孟加拉语数字语音数据集。在这里，每个数字记录了400个有噪声和无噪声的样本，用于创建数据集。梅尔频率倒谱系数（MFCC）已被用于从原始语音数据中提取有意义的特征。然后，利用卷积神经网络（CNN）检测孟加拉数字。所建议的技术在整个数据集中以97.1%的准确率识别“0-9”孟加拉语口语数字。还使用10倍交叉验证评估了模型的效率，其准确度为96.7%。
2021-11-12 cs.AI cs.CL cs.LG
Non-autoregressive End-to-end Approaches for Joint Automatic Speech Recognition and Spoken Language Understanding
Toshiba Europe Ltd（东芝欧洲有限公司）
提出面向联合ASR与SLU的SC-Mask-CTC非自回归端到端框架，在SLURP上提升SLU性能并保持ASR准确率，同时实现6倍解码加速。
2023-04-21 cs.SD eess.AS
Just ASR + LLM? A Study on Speech Large Language Models' Ability to Identify and Understand Speaker in Spoken Dialogue
University of Washington（华盛顿大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Columbia University（哥伦比亚大学）
本文通过 Gaokao 与自建“What Do You Like?”数据集评估 Qwen-Audio 和 WavLLM，发现当前 SpeechLLM 主要依赖对话文本而非说话人识别，并提出身份关键型 SQA 评估框架。
2024-10-02 cs.CL eess.AS
