A Study on the Integration of Pipeline and E2E SLU systems for Spoken Semantic Parsing toward STOP Quality Challenge
Carnegie Mellon University（卡内基梅隆大学）；Sony Group Corporation（索尼集团公司）
本文提出一种口语语义解析系统，集成流水线与端到端方法，利用Whisper和BART等模型，通过输出级组合在STOP质量挑战中达到80.8精确匹配准确率，获得第一名。
2023-05-06 cs.CL cs.SD eess.AS
ZeroSyl: Simple Zero-Resource Syllable Tokenization for Spoken Language Modeling
Electrical and Electronic Engineering, Stellenbosch University, South Africa（斯瓦兹堡大学电子与电气工程系，南非）
提出ZeroSyl，一种无需训练的方法，直接从冻结的WavLM模型中提取音节边界和嵌入，实现竞争性的音节分割性能，并在词汇、句法和叙事基准上优于先前方法。
2026-06-17 cs.CL eess.AS
A Stack-Propagation Framework with Token-Level Intent Detection for Spoken Language Understanding
Harbin Institute of Technology（哈尔滨工业大学）
意图检测和槽填充是构建口语语言理解（SLU）系统的两个主要任务。这两个任务紧密相连，插槽通常高度依赖于意图。在本文中，我们提出了一个新的框架SLU更好地纳入意图信息，进一步指导槽填充。在我们的框架中，我们采用了一个联合模型与堆栈传播，可以直接使用的意图信息作为输入槽填充，从而捕捉意图语义知识。此外，为了进一步减轻错误传播，我们执行堆栈传播框架的令牌级意图检测。在两个公开数据集上的实验表明，我们的模型达到了最先进的性能，并大大优于其他以前的方法。最后，我们使用双向编码器表示从Transformer（BERT）模型在我们的框架中，这进一步提高了我们在SLU任务的性能。
2019-09-05 cs.CL
A Study on the Integration of Pre-trained SSL, ASR, LM and SLU Models for Spoken Language Understanding
Carnegie Mellon University（卡内基梅隆大学）
为口语语言理解（SLU）收集足够的标记数据是昂贵且耗时的。最近的研究通过在低资源场景中使用预先训练的模型取得了令人鼓舞的结果。受此启发，我们的目标是问：哪些（如果有的话）预训练策略可以提高SLU基准的性能？为了回答这个问题，我们采用了四种类型的预训练模型及其组合用于SLU。我们利用在大量未配对数据上预训练的自监督语音和语言模型（LM）来提取强语音和文本表示。我们还探索使用在较大的外部自动语音识别（ASR）或SLU语料库上预训练的监督模型。我们对SLU评估（SLUE）基准进行了广泛的实验，并观察到自监督预训练模型更强大，预训练LM和语音模型分别对情感分析和命名实体识别任务最有益。
2022-11-10 cs.CL cs.SD eess.AS
DiffuSpeech: Silent Thought, Spoken Answer via Unified Speech-Text Diffusion
National University of Singapore（新加坡国立大学）；Tencent（腾讯）
DiffuSpeech通过统一的语音-文本扩散模型，实现语音生成的同时生成内部推理，提升语音问答的准确性和语音质量。
2026-01-30 cs.AI cs.CL cs.LG
Integrating Facial Generation into Full-Duplex Spoken Dialogue Systems
Graduate School of Informatics, Nagoya University, Japan（名古屋大学信息学研究科）
提出Moshi-Face，首个联合处理用户音频和面部输入并同时生成语音和面部运动的全双工对话模型，通过VQ-VAE面部编解码器和非自回归面部变换器实现实时视听对齐。
2026-06-23 cs.CL cs.CV cs.HC
Zero-Shot Joint Modeling of Multiple Spoken-Text-Style Conversion Tasks using Switching Tokens
NTT Media Intelligence Laboratories, NTT Corporation（日本电信电话株式会社媒体智能研究所）
在本文中，我们提出了一种新的口语文本风格转换方法，可以同时执行多个风格转换模块，如标点符号恢复和不流利删除，而无需准备匹配的数据集。在实践中，由自动语音识别系统生成的译文不是高度可读的，因为它们经常包括许多不流利的部分并且不包括标点符号。为了提高其可读性，单独建模单个转换任务的多个口语文本样式转换模块被级联，因为同时处理多个转换任务的匹配数据集通常不可用。但是，由于转换错误链的存在，级联对于任务的顺序是不稳定的。此外，级联的计算成本必须高于单个转换。为了在不准备匹配数据集的情况下同时执行多个转换任务，我们的关键思想是使用开关区分各个转换任务。在我们提出的zero-shot联合建模中，我们使用多个切换令牌切换各个任务，使我们能够利用零样本学习方法来执行同时转换。通过对不流利音删除和标点符号恢复的联合建模实验，验证了该方法的有效性。
2021-06-23 cs.CL
StreamAlign: Streaming Text-Aligned Speech Tokenization
Seoul National University（首尔大学）；University of California, Berkeley（加州大学伯克利分校）；KRAFTON；Georgia Institute of Technology（佐治亚理工学院）
StreamAlign提出流式文本对齐语音分词框架，结合字符级RNN-T与词级ASR指导，降低延迟并缓解词汇不匹配，在LibriSpeech上取得最优WER和UTMOS，其SLM模型在语音续接与一致性上表现最佳。
2026-09-10 cs.CL cs.SD eess.AS
Dialogue history integration into end-to-end signal-to-concept spoken language understanding systems
INSA Rennes（雷恩国立应用科学学院）；IRISA（法国国家信息与自动化研究所雷恩分所）；McGill University（麦吉尔大学）
本文研究了口语语言理解系统中用于表示对话历史的嵌入方法。我们专注于当语义信息直接从语音信号中提取通过一个单一的端到端的神经网络模型的情况。我们建议将对话历史集成到端到端的信号到概念SLU系统中。对话历史以对话历史嵌入向量（所谓的h向量）的形式表示，并且作为附加信息提供给端到端SLU模型，以便提高系统性能。本文提出了以下三种类型的h向量，并进行了实验评估：（1）监督所有嵌入，预测用户从最后一个对话系统响应的答案中预期的概念袋;（2）监督频率嵌入，专注于预测仅选定的一组语义概念（对应于我们实验中最常见的错误）;以及（3）无监督嵌入。在MEDIA语料库上进行的语义槽填充实验表明，所提出的h向量提高了模型的性能。
2020-02-14 cs.CL cs.SD eess.AS
What BERT Based Language Models Learn in Spoken Transcripts: An Empirical Study
语言模型（LM）已经普遍地用于包括口语语言理解（SLU）的各种任务中。口语需要仔细理解说话人的交互，对话状态和语音诱导的多模态行为，以生成有意义的会话表示。在这项工作中，我们建议解剖SLU分为三个代表性的属性：会话（不流利，停顿，overtalk），通道（扬声器类型，轮任务）和ASR（插入，删除，替换）。我们探测基于BERT的语言模型（BERT，RoBERTa）训练的口语成绩单，以调查其能力，理解多种属性，在没有任何语音提示。实验结果表明，LM是令人惊讶的好捕捉会话属性，如暂停预测和overtalk检测词汇标记。在缺点方面，LM在回合任务和ASR错误预测方面得分较低。此外，对LM进行口头成绩单的预训练抑制了其语言理解。最后，我们在两个基准数据集上建立了上述属性的有效性和可移植性：Switchboard Dialog Act和Disfluency数据集。
2021-09-21 cs.AI cs.CL cs.LG
A Scope Sensitive and Result Attentive Model for Multi-Intent Spoken Language Understanding
Shanghai Jiao Tong University（上海交通大学）；Nanyang Technological University（南洋理工大学）；BNU-UIC Institute of Artificial Intelligence and Future Networks（北师港浸大人工智能与未来网络研究院）；Beijing Normal University (Zhuhai)（北京师范大学（珠海））；BNU-HKBU United International College（北京师范大学-香港浸会大学联合国际学院）
多意图口语语言理解（SLU）作为一种新的、更为复杂的口语理解场景，正受到越来越多的关注。与传统SLU不同，此场景中的每个Intent都有其特定的范围。范围之外的语义信息甚至会阻碍预测，这极大地增加了意图检测的难度。更严重的是，用这些不准确的意图标签填充引导槽会遇到错误传播问题，导致整体性能不令人满意。为了解决这些问题，本文提出了一种基于Transformer的范围敏感结果注意力网络（SSRAN），它包含范围识别器（SR）和结果注意力网络（RAN）。范围识别器将范围信息分配给每个标记，减少了范围外标记的干扰。结果注意力网络有效地利用了槽填充和意图检测结果之间的双向交互，减轻了错误传播问题。在两个公共数据集上的实验表明，我们的模型显着提高了SLU性能（5.4%和2.1%的总体准确率）超过最先进的基线。
2022-11-22 cs.CL cs.SD eess.AS
FlashLabs Chroma 1.0: A Real-Time End-to-End Spoken Dialogue Model with Personalized Voice Cloning
FlashLabs
FlashLabs Chroma 1.0是一种实时端到端语音对话模型，通过交错调度实现低延迟和高保真个性化语音克隆，提升了说话人相似性并保持对话能力。
2026-01-16 cs.CL cs.SD eess.AS
GLM-4-Voice: Towards Intelligent and Human-Like End-to-End Spoken Chatbot
Tsinghua University（清华大学）
本文提出端到端双语语音聊天机器人 GLM-4-Voice，通过低比特率语音分词器、语音-文本交错预训练与会话微调，实现实时、富有情感且高质量的类人语音对话。
2024-12-03 cs.CL cs.SD eess.AS
Towards End-to-End Integration of Dialog History for Improved Spoken Language Understanding
The Ohio State University（俄亥俄州立大学）；IBM Research AI（IBM研究人工智能）
在对话系统中，对话历史在口语语言理解（SLU）性能中起着重要的作用。对于端到端（E2E）SLU，以前的工作已经使用文本形式的对话历史，这使得模型依赖于级联自动语音识别器（ASR）。这取消了E2E系统的益处，该E2E系统旨在是紧凑的并且对ASR错误是鲁棒的。在本文中，我们提出了一个分层的会话模型，能够直接使用语音形式的对话历史，使其完全E2E。我们还通过联合训练一个类似的基于文本的会话模型，并明确绑定声学和语义嵌入，从可用的黄金会话成绩单中提取语义知识。我们还提出了一种新的技术，我们称之为DropFrame来处理通过以E2E方式添加对话历史所产生的长训练时间。在HarperValleyBank对话数据集上，我们的E2E历史集成在对话动作识别任务上的绝对F1得分比历史独立基线高7.7%。我们的模型与最先进的基于历史的级联基线相比具有竞争力，但使用的参数减少了48%。在没有黄金成绩单来微调ASR模型的情况下，我们的模型以10%的绝对F1分数显著优于此基线。
2022-04-11 cs.AI cs.CL
OLISIA: a Cascade System for Spoken Dialogue State Tracking
Orange Innovation（Orange创新中心）；Aix-Marseille Université（艾克斯-马赛大学）；Avignon Université（阿维尼翁大学）
本文提出OLISIA级联系统，集成ASR与DST模型，通过归一化ASR输出、数据增强及增大模型规模，在DSTC11 Track 3中排名第一，有效缩小了书面与口语对话的性能差距。
2023-08-31 cs.AI cs.CL cs.SD
Exploring the Effect of Segmentation and Vocabulary Size on Speech Tokenization for Speech Language Models
The University of Tokyo（东京大学）；Keio University（.keio大学）；Graduate School of Information Science and Technology（信息科学与技术研究生院）；Faculty of Science and Technology（科学与技术学部）
本文研究语音标记化中分割宽度和聚类大小对语音语言模型的影响，发现适度粗粒度分割和较大聚类可提升零样本口语理解性能，并实现训练数据减半和运行时间降低70%。
2025-05-31 cs.CL cs.SD eess.AS
Minimally Supervised Written-to-Spoken Text Normalization
Google（谷歌）
在诸如文本到语音（TTS）或自动语音识别（ASR）的语音应用中，\emph{text normalization}指的是从\emph{written}表示转换成文本将如何是\emph{spoken}的表示的任务。在所有真实世界的语音应用程序中，文本规范化引擎都是手工开发的。例如，可以使用手工构建的语法来列举在给定语言中说出给定标记的可能方式，并且使用统计模型来选择上下文中最适当的发音。在这项研究中，我们研究了在文本规范化引擎中使用或多或少特定于语言的领域知识的权衡。在数据最丰富的场景中，我们可以访问精心构建的手工构建的规范化语法，对于任何给定的token，该语法都会为该token生成一组所有可能的动词化。我们还假设了一个语料库对齐的书面-口语话语，从中我们可以训练一个排名模型，选择适当的动词化为给定的上下文。作为精心构造的语法的替代品，我们还考虑了一种具有语言通用规范化\emph{covering grammar}的场景，其中开发人员只需要提供一组特定于该语言的词汇项。作为对齐语料库的替代，我们还考虑了一种情况，其中只有口语侧，并且通过用反向规范化语法组成口语侧来“幻觉化”相应的书面侧。我们调查的准确性的文本规范化引擎在这些情况下。我们报告的实验结果英语和俄语。
2016-09-21 cs.CL
DiscreteSLU: A Large Language Model with Self-Supervised Discrete Speech Units for Spoken Language Understanding
ASAPP；Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
本文提出DiscreteSLU，用自监督编码器与k-means生成离散语音单元并适配LLM，提升跨领域口语理解与口语问答的指令遵循能力。
2024-06-13 cs.CL cs.SD eess.AS
Towards human-like spoken dialogue generation between AI agents from written dialogue
rinna Co., Ltd.（Rinna株式会社）
针对从书面对话生成类人口语对话的难题，研究提出基于离散token的CHATS系统，可同时生成双方语音、实现自然话轮转换，效果优于基线，对话更互动流畅且清晰可懂。
2023-10-02 cs.CL cs.LG cs.SD
LAST: Language Model Aware Speech Tokenization
School of Computer Science and Engineering（计算机科学与工程学院）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文提出 LAST，利用预训练文本 LM 目标学习离散语音表示，使单一预训练 LM 可统一处理语音与文本，并在口语建模和语音转文本上超越基线。
2024-09-10 cs.CL cs.SD eess.AS
Two-stage Textual Knowledge Distillation for End-to-End Spoken Language Understanding
Clova AI
端到端方法通过减轻传统管道系统的缺点，为更准确和有效的口语语言理解（SLU）系统开辟了新的途径。以前的作品利用文本信息的SLU模型通过预训练与自动语音识别或微调与知识蒸馏。为了更有效地利用文本信息，本文提出了一种两阶段的文本知识蒸馏方法，该方法在预训练和微调期间依次匹配两种模态的话语级表示和预测逻辑。我们使用vq-wav 2 vec BERT作为语音编码器，因为它捕获了一般和丰富的功能。此外，我们提高了性能，特别是在低资源的情况下，与数据增强方法随机掩蔽离散音频令牌和上下文隐藏表示的跨度。因此，我们推动了Fluent Speech Commands的最新技术，在完整数据集设置中实现了99.7%的测试准确率，在10%子集设置中实现了99.5%的测试准确率。在整个消融研究中，我们经验性地验证了所有使用的方法对最终表现至关重要，为口语语言理解提供了最佳实践。代码可在https://github.com/clovaai/textual-kd-slu上获得。
2021-06-10 cs.CL cs.LG cs.SD
Spirit LM: Interleaved Spoken and Written Language Model
Meta AI；Inria（法国国家信息与自动化研究所）；EHESS（法国社会科学高等研究院）；ENS-PSL（巴黎文理研究大学高等师范学院）；CNRS（法国国家科学研究中心）
Spirit LM是一个基于7B文本模型扩展的多模态语言模型，通过词级交错训练融合文本与语音，支持跨模态少样本学习ASR、TTS和语音分类等任务。
2024-10-18 cs.CL cs.SD eess.AS
SLIDE: Integrating Speech Language Model with LLM for Spontaneous Spoken Dialogue Generation
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Guangdong Provincial Public Security Department（广东省公安厅）；Shanghai Jiao Tong University（上海交通大学）
本文提出 SLIDE 框架，通过 LLM 生成对话文本、双塔 Transformer 预测音素时长、SLM 发声化，在 Fisher 数据集上实现语义连贯的自然口语对话生成。
2025-01-01 cs.CL cs.SD eess.AS
HAN: Higher-order Attention Network for Spoken Language Understanding
Peking University（北京大学）
口语语言理解是人机交互的核心部分，包括意图检测和槽填充。两个子任务之间的关系的自然属性对细粒度的特征交互提出了更高的要求，即，令牌级意图特征和槽特征。以往的研究主要集中在用基于注意力的模型对两个子任务之间的关系进行联合建模，而忽略了对注意力顺序的探索。在本文中，我们建议用我们提出的双线性注意力块取代传统的注意力，并表明引入的高阶注意力网络（HAN）为SLU任务带来了改进。重要的是，我们进行了广泛的分析，以探索从高阶注意力带来的有效性。
2021-08-26 cs.CL
Long-Form Speech Generation with Spoken Language Models
Google DeepMind（谷歌DeepMind）；Language Lab, KAIST（语言实验室，韩国科学技术院）
针对无文本口语模型难以生成超过几十秒语音的问题，提出SpeechSSM模型家族，利用线性时间序列建模在单次会话中生成多分钟连贯语音，并引入LibriSpeech-Long基准及新评估指标。
2025-07-10 cs.CL cs.SD eess.AS
End-to-End Neural Transformer Based Spoken Language Understanding
Amazon（亚马逊）
口语语言理解（Spoken language understanding，SLU）是指从语音信号中推断语义信息的过程。虽然神经Transformers在自然语言处理（NLP）领域的最先进的神经架构中始终提供最佳性能，但它们在密切相关的领域中的优点，即，口语语言理解（SLU）尚未被研究。在本文中，我们介绍了一种基于端到端神经变换的SLU模型，该模型可以预测嵌入在音频信号中的可变长度域、意图和槽向量，而无需中间令牌预测架构。这种新的体系结构利用了自注意力机制，通过该机制，音频信号被变换到允许提取由话语暗示的语义上下文的各种子子空间。我们的端到端Transformer SLU预测Fluent Speech Commands数据集中的域，意图和插槽的准确率分别为98.1 \%，99.6 \%和99.6 \%，并且比利用递归和卷积神经网络组合的SLU模型的性能高1.4 \%，而我们的模型的大小比这些架构小25\%。此外，由于自注意层中的独立子空间投影，该模型是高度并行的，这使得它成为设备上SLU的良好候选者。
2020-08-12 cs.CL cs.SD eess.AS
Zero-Shot End-To-End Spoken Question Answering In Medical Domain
Avignon University（阿维尼翁大学）；Zenidoc（泽尼多克公司）；Nantes Université（南特大学）；École Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；LS2N（南特数字科学实验室）
本文提出医学领域零样本端到端口语问答方法，在8项医学任务和48小时合成音频基准上，相比级联系统资源最多减少14.7倍且平均准确率提升0.5%。
2024-06-09 cs.CL cs.LG cs.SD
UniSLU: Unified Spoken Language Understanding from Heterogeneous Cross-Task Datasets
Institute of Artificial Intelligence, School of Computer Science and Technology, Soochow University（人工智能学院、计算机科学与技术学院、苏州大学）
UniSLU 提出统一表示和生成式方法，在单一架构中联合建模 ASR、口语 NER 和 SA 任务，以充分利用异构跨任务数据集并提升口语语言理解性能。
2025-07-17 cs.AI cs.CL cs.MM
Chain-of-Thought Reasoning in Streaming Full-Duplex End-to-End Spoken Dialogue Systems
Language Technologies Institute, Carnegie Mellon University, USA（语言技术研究所，卡内基梅隆大学，美国）；Sony Group Corporation, Japan（索尼集团，日本）
针对现有全双工口语对话系统架构复杂、语义推理弱的问题，提出流式思维链框架SCoT，分块交替处理输入与生成响应，实现更连贯可解释的响应及更低延迟的重叠交互。
2025-10-02 cs.CL cs.SD eess.AS
Cross-Lingual Interleaving for Speech Language Models
本文提出跨语言交织方法，通过混合多语言语音标记提升SLMs的跨语言理解和生成能力，并发布相关数据集和基准以促进多语言语音模型的发展。
2026-02-20 cs.AI cs.CL
Interleaved Speech Language Models Latently Work In Text
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
通过logit透镜分析发现，交错式语音-文本语言模型在中间层隐式转录语音为文本，然后基于文本空间预测下一个词，再转换回语音域，揭示了语音与文本模态的内部交互机制。
2026-09-09 cs.CL cs.LG cs.SD
Server-side Rescoring of Spoken Entity-centric Knowledge Queries for Virtual Assistants
Apple（苹果公司）
本文研究虚拟助手富实体口语查询的服务器端LM重打分，融合端侧与服务器端信号及多模型，实现23%–35%的WER相对改善。
2023-11-02 cs.CL cs.SD eess.AS
Voice of Reason: Reinforcement Learning for Spoken Math
Kyutai；Gradium
本研究将强化学习应用于GLM-4-Voice语音模型，通过监督微调和可验证奖励的RL，无需额外推理标记即可提升口语数学推理准确性，结合流式推理达到74.8%的自由形式准确率，创下语音原生模型的新纪录。
2026-09-17 cs.CL
LLM-Enhanced Dialogue Management for Full-Duplex Spoken Dialogue Systems
Tencent AI Lab（腾讯人工智能实验室）
本文提出一种基于大语言模型的语义语音活动检测模块，用于高效管理全双工语音对话系统的轮询，通过轻量级大语言模型实现意图和非意图打断的区分，并通过短间隔处理输入语音以实现实时决策，同时减少计算开销。
2026-06-03 cs.CL eess.AS
AV-Dialog: Spoken Dialogue Models with Audio-Visual Input
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·阿伦计算机科学与工程学院）；Meta AI Research（Meta AI研究院）
针对对话模型在嘈杂多说话者环境中的缺陷，提出首个多模态对话框架AV-Dialog，结合视听线索跟踪说话者、预测话轮转换并生成回复，通过多任务多阶段训练提升性能，为真实环境口语对话代理奠基。
2025-11-14 cs.AI cs.CL cs.CV
Unified model for code-switching speech recognition and language identification based on a concatenated tokenizer
NVIDIA（英伟达）
本文提出基于拼接分词器的统一模型，通过从单语数据构建语码转换ASR数据集并同时输出语言ID，在英语-印地语和英语-西班牙语上取得最先进ASR结果，并在FLEURS数据集上实现98%以上的口语语言识别准确率。
2023-09-16 cs.CL cs.SD eess.AS
Reducing the Output-Mode Gap in Speech Language Models via Joint-Output On-Policy Distillation
Leibniz Research Center, Huawei（华为莱布尼茨研究中心）；The Chinese University of Hong Kong（香港中文大学）；City University of Hong Kong（香港城市大学）
针对语音语言模型中S2TS模式与S2T模式间的输出模式差距，提出联合输出在策略蒸馏方法，利用教师软目标显著降低准确率差距，实验验证其有效性。
2026-09-15 cs.CL cs.SD eess.AS
UniverSLU: Universal Spoken Language Understanding for Diverse Tasks with Natural Language Instructions
Carnegie Mellon University（卡内基梅隆大学）；Sony Group Corporation（索尼集团公司）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
本文提出UniverSLU，通过自然语言指令与标签选项进行指令调优，使单一模型跨17个数据集、9种语言完成12类SLU任务，并具备零样本泛化能力。
2024-04-03 cs.CL cs.SD eess.AS
An Effective Non-Autoregressive Model for Spoken Language Understanding
Shanghai Jiao Tong University（上海交通大学）；Beijing Normal University (BNU Zhuhai)（北京师范大学（珠海校区））；BNU-HKBU United International College（北京师范大学-香港浸会大学联合国际学院）；Guangdong Key Lab of AI and Multi-Modal Data Processing（广东省人工智能与多模态数据处理重点实验室）
口语语言理解是面向任务的对话系统的核心组成部分，由于人类的不耐烦，口语理解需要更短的推理延迟。非自回归SLU模型明显提高了推理速度，但由于每个槽块之间缺乏顺序依赖信息而导致不协调的槽问题。为了弥补这一缺陷，本文提出了一种新的非自回归SLU模型分层细化Transformer，它包含一个插槽标签生成（SLG）任务和一个分层细化机制（LRM）。SLG被定义为用令牌序列和生成的槽标签生成下一个槽标签。使用SLG，非自回归模型可以在训练过程中有效地获得依赖信息，并且不需要花费额外的时间进行推理。LRM从Transformer的中间状态预测初步SLU结果，并利用它们来指导最终预测。在两个公共数据集上的实验表明，我们的模型显着提高了SLU性能（整体准确率为1.5%），同时大大加快了推理过程（超过10倍）。
2021-08-16 cs.AI cs.CL
PAST: Phonetic-Acoustic Speech Tokenizer
The School of Computer Science and Engineering（计算机科学与工程学院）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文提出端到端语音分词器 PAST，通过有监督语音数据和辅助任务联合建模语音信息与信号重建，无需外部预训练模型，并引入可流式因果变体以支持实时应用，在语音表示、重建及语音语言模型任务中均优于现有基线。
2025-06-04 cs.CL cs.LG cs.SD
TurnGuide: Enhancing Meaningful Full Duplex Spoken Interactions via Dynamic Turn-Level Text-Speech Interleaving
The Chinese University of Hong Kong（香港中文大学）；Huawei Technologies（华为技术）
提出TurnGuide方法，通过动态分割助手语音为对话轮次并交错生成轮次级文本和语音，解决全双工语音语言模型在连续双通道音频中集成离散文本令牌导致的时间对齐问题，显著提升语义连贯性和轮次交互性能。
2026-06-18 cs.CL cs.SD eess.AS
Paralinguistics-Aware Speech-Empowered Large Language Models for Natural Conversation
Seoul National University（首尔大学）；NAVER Cloud（NAVER云）；Artificial Intelligence Institute, Seoul National University（首尔大学人工智能研究院）；NAVER AI Lab（NAVER人工智能实验室）
针对基于LLM的口语对话建模策略缺失问题，提出统一口语对话模型USDM，无需显式ASR/TTS系统，通过融入韵律的语音-文本模型及通用预训练方案，在DailyTalk数据集上生成自然口语响应，性能优于基线。
2024-11-28 cs.CL cs.SD eess.AS
A Dynamic Graph Interactive Framework with Label-Semantic Injection for Spoken Language Understanding
Peking University（北京大学）
多意图检测和插槽填充联合模型正在获得越来越多的牵引力，因为它们更接近复杂的现实世界场景。然而，现有的方法（1）专注于识别两个任务中的话语和独热编码标签之间的隐式相关性，而忽略显式标签特征;（2）直接结合每个令牌的多意图信息，这可能导致由于引入不相关的意图而导致不正确的时隙预测。在本文中，我们提出了一个称为DGIF的框架，它首先利用标签的语义信息为模型提供额外的信号和丰富的先验知识。然后，构建多粒度交互图来建模意图和槽之间的相关性。具体来说，我们提出了一种新的方法来构建基于标签语义注入的交互图，它可以自动更新图，以更好地减轻错误传播。实验结果表明，我们的框架显着优于现有的方法，在MixATIS数据集上获得了13.7%的相对提高，比以前的最佳模型的整体准确性。
2022-11-08 cs.AI cs.CL
PRISM: Prosody-Integrated Multi-Agent Reasoning Framework for Empathetic Spoken Dialogue
School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）
提出PRISM多智能体框架，通过解耦语音感知、响应生成和语音合成，并引入韵律到语言翻译机制，实现共情口语对话中的韵律适当性和知识集成。
2026-06-12 cs.CL
wav2tok 2.0: Scalable Audio Tokenization Maintaining Explicit Pairwise Token Alignment for Efficient Audio Retrieval
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；KU Leuven（鲁汶大学）
提出wav2tok 2.0，通过分阶段训练（对比学习、向量量化、CTC对齐损失和DTW对齐帧预测）实现可扩展的语音分词，在查询示例的口语术语检测中优于基线方法。
2026-06-26 cs.SD eess.AS
Syllable Subword Tokens for Open Vocabulary Speech Recognition in Malayalam
在混合自动语音识别（ASR）系统中，发音词典（PL）和语言模型（LM）对于正确地检索口语单词序列是必不可少的。作为一种形态复杂的语言，马拉雅拉姆语的词汇量非常庞大，不可能建立一个涵盖所有不同单词形式的PL和LM。使用子字标记来构建PL和LM，并在解码后将它们组合成单词，使得能够恢复许多词汇表外的单词。在这项工作中，我们调查的影响，而不是在马拉雅拉姆语ASR的话，使用音节作为子字令牌，并评估相对改善的词典大小，模型内存的要求和字出错率。
2023-01-17 cs.CL
CIF-PT: Bridging Speech and Text Representations for Spoken Language Understanding via Continuous Integrate-and-Fire Pre-Training
ByteDance（字节跳动）
本文提出CIF-PT预训练范式，利用连续积分发放对齐语音与文本表示，并在SLURP基准上超越最先进模型，提升口语语言理解性能。
2023-05-27 cs.CL cs.MM eess.AS
WavRAG: Audio-Integrated Retrieval Augmented Generation for Spoken Dialogue Models
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；Beijing University of Technology（北京工业大学）
本文提出端到端原生音频RAG框架WavRAG，通过WavRetriever直接检索原始音频并统一文本-音频知识，在性能相当的情况下较ASR-Text流程提速10倍。
2025-02-20 cs.AI cs.SD eess.AS
Sylber 2.0: A Universal Syllable Embedding
University of California, Berkeley, CA, USA（加州大学伯克利分校）；Carnegie Mellon University, PA, USA（卡内基梅隆大学）
Sylber 2.0通过自监督框架实现低频音节嵌入，支持多语言和风格，提升语音建模效率与质量。
2026-01-29 cs.CL eess.AS
DC-Spin: A Speaker-invariant Speech Tokenizer for Spoken Language Models
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Meta AI
本文提出面向口语语言模型的双码本说话人不变聚类语音分词器DC-Spin，可提取鲁棒的说话人不变词元，结合分块方法实现无重训练流式处理，实验验证了词元特性对性能的影响，为相关分词器设计提供参考。
2024-10-31 cs.CL cs.LG cs.SD
GL-CLeF: A Global-Local Contrastive Learning Framework for Cross-lingual Spoken Language Understanding
Harbin Institute of Technology（哈尔滨工业大学）；Microsoft Research Asia（微软亚洲研究院）；National University of Singapore（新加坡国立大学）
由于当前方法的高数据需求，对zero-shot跨语言口语语言理解（SLU）的关注已经增长，因为这样的方法大大减少了人类注释工作。然而，现有的模型仅仅依赖于共享参数，这只能执行跨语言的隐式对齐。我们提出了全局-局部对比学习框架（GL-CLeF）来解决这个问题。具体而言，我们采用对比学习，利用双语词典构建同一话语的多语言视图，然后鼓励他们的表示比反例对更相似，从而实现跨语言的相似句子的显式对齐表示。此外，GL-CLeF中的关键步骤是所提出的局部和全局组件，其实现细粒度的跨语言迁移（即，跨意图和槽的会话级本地意图传输、令牌级本地槽传输和语义级全局传输）。在MultiATIS++上的实验表明，GL-CLeF实现了最佳性能，并成功地将不同语言中相似句子的表示拉得更近。
2022-04-18 cs.CL
Language Models of Spoken Dutch
Katholieke Universiteit Leuven（鲁汶天主教大学）；VRT（弗拉芒广播电视台）
在佛兰德斯，所有的电视节目都有字幕。然而，加字幕的过程是非常耗时的过程，并且可以通过在加字幕之前提供在TV节目的音频上运行的语音识别器的输出来加速。当然，如果所采用的语言模型适合于程序的语域和主题，则这种语音识别将执行得更好。我们提出了几个语言模型培训的佛兰德公共服务广播VRT提供的电视节目的字幕。这些数据是在STON项目的背景下收集的，该项目的目的是促进电视节目字幕的制作。一个模型是在所有可用的数据（4600万单词标记）上训练的，但我们也在特定类型的电视节目或领域/主题上训练模型。由于缺乏训练数据，口语的语言模型相当罕见。该语料库的大小对于口语语料库而言相对较大（与例如具有9 M个单词的CGN相比），但是对于语言模型而言仍然相当小。因此，在实践中，建议用在书面语言上训练的大背景语言模型来内插这些模型。这些模型可以在http://www.esat.kuleuven.be/psi/spraak/downloads/上免费下载。
2017-09-12 cs.CL
Integrating Pretrained ASR and LM to Perform Sequence Generation for Spoken Language Understanding
Carnegie Mellon University（卡内基梅隆大学）；Sony Group Corporation（索尼集团公司）
针对预训练ASR与LM整合入SLU时的词汇不匹配、LM无法直接复用问题，提出三遍端到端SLU系统，结合ASR、LM与审议子网络完成序列生成，在两个基准数据集上性能优于现有模型。
2023-07-20 cs.CL cs.SD eess.AS
Tokenwise Contrastive Pretraining for Finer Speech-to-BERT Alignment in End-to-End Speech-to-Intent Systems
The Ohio State University（俄亥俄州立大学）；IBM Research AI（IBM研究院人工智能部门）
端到端（E2E）口语语言理解（SLU）的最新进展主要是由于语音表征的有效预训练。一种这样的预训练范例是将语义知识从最先进的基于文本的模型（如BERT）升华到语音编码器神经网络。这项工作是朝着以更有效和细粒度的方式做同样的事情迈出的一步，我们在逐个令牌的基础上对齐语音嵌入和BERT嵌入。我们介绍了一种简单而新颖的技术，使用跨模态注意力机制从语音编码器中提取令牌级上下文嵌入，以便这些可以直接与基于BERT的上下文嵌入进行比较和对齐。这种对齐是使用一种新型的符号对比丢失来执行的。微调这样一个预训练的模型来直接使用语音执行意图识别，在两个广泛使用的SLU数据集上产生了最先进的性能。当使用SpecAugment进行额外的正则化微调时，我们的模型进一步改进，特别是当语音有噪声时，与以前的结果相比，绝对改进高达8%。
2022-07-01 cs.CL cs.SD eess.AS
