Augmenting Slot Values and Contexts for Spoken Language Understanding with Pretrained Models
Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Beijing Fanyu Technology Co., Ltd（北京凡语科技有限公司）
口语语言理解是建立对话系统的重要环节。由于获取标记数据的成本昂贵，SLU遭受数据稀缺问题。因此，在本文中，我们专注于数据增强的时隙填充任务在SLU。为了实现这一目标，我们的目标是基于现有数据生成更多样化的数据。具体来说，我们试图通过微调预训练的语言模型来利用潜在的语言知识。我们提出了两种策略微调过程：基于值和基于上下文的增强。在两个公开的SLU数据集上的实验结果表明，与现有的数据增强方法相比，该方法能够生成更多样化的句子，显著提高SLU的性能.
2021-08-19 cs.CL
Spoken Term Detection Methods for Sparse Transcription in Very Low-resource Settings
Charles Darwin University（查尔斯达尔文大学）
我们调查的效率，两个非常不同的口语术语检测方法的转录时，可用的数据是不够的训练一个强大的ASR系统。这项工作是在非常低的资源的语言文档的情况下，只有几分钟的记录已被转录为一个给定的language.Experiments两种口头语言的基础上表明，一个预先训练的通用电话识别器，微调只有几分钟的目标语言的讲话，可以用于口语术语检测具有更好的整体性能比动态时间规整方法。此外，我们表明，在图结构中表示音素识别歧义可以进一步提高召回率，同时保持低资源口语术语检测任务的高精度。
2021-06-11 cs.CL cs.SD eess.AS
Contextualized Attention-based Knowledge Transfer for Spoken Conversational Question Answering
Yale University（耶鲁大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
口语会话问答（SCQA）要求机器在给定语音话语和文本语料库的情况下对复杂的对话流程进行建模。与传统的文本问答任务不同，SCQA涉及音频信号处理、段落理解和上下文理解。然而，ASR系统引入了意想不到的噪声信号，这导致SCQA的性能下降。为了克服这个问题，我们提出了CADNet，一种新的上下文化的注意力蒸馏方法，它适用于交叉注意力和自我注意力，以获得ASR鲁棒的上下文嵌入表示的通道和对话历史，以提高性能。我们还介绍了口语传统的知识蒸馏框架提取ASR的鲁棒知识从教师模型的估计概率的学生。我们在Spoken-CoQA数据集上进行了广泛的实验，并证明了我们的方法在这项任务中取得了显着的性能。
2021-06-24 cs.AI cs.CL cs.IR
Modeling Inter-Speaker Relationship in XLNet for Contextual Spoken Language Understanding
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
我们提出了两种方法来捕捉相关的历史信息，在一个多轮对话建模说话人之间的关系，口语语言理解（SLU）。我们的方法是为XLNet量身定制的，因此与XLNet兼容，XLNet是最先进的预训练模型，因此我们验证了在XLNet之上构建的模型。在我们的实验中，在两个基准数据集上，所有模型都比最先进的上下文SLU模型实现了更高的准确性。结果表明，该方法能有效提高XLNet的SLU精度。这些识别重要对话历史的方法将有助于减轻当前话语的SLU中的歧义。
2019-10-28 cs.CL cs.SD eess.AS
OpenSLU: A Unified, Modularized, and Extensible Toolkit for Spoken Language Understanding
Central South University（中南大学）；Harbin Institute of Technology（哈尔滨工业大学）
本文介绍了OpenSLU，一个统一、模块化且可扩展的开源口语理解工具包，支持10种SLU模型及单/多意图场景，通过分解架构、推理与学习过程实现高度灵活的实验配置。
2023-05-17 cs.CL
Joint Text and Label Generation for Spoken Language Understanding
Amazon（亚马逊）
泛化是机器学习中的一个核心问题，特别是在数据有限的情况下。使用先验信息来加强约束是鼓励泛化的原则性方法。在这项工作中，我们建议利用嵌入在预训练的语言模型（LM）的先验信息，以提高泛化的意图分类和插槽标记任务与有限的训练数据。具体来说，我们以合成数据的形式从预训练的LM中提取先验知识，该数据对先验知识进行隐式编码。我们对LM进行微调以生成增强语言，该语言不仅包含文本，还对意图标签和槽标签进行编码。所生成的合成数据可用于稍后训练分类器。由于生成的数据可能包含噪声，因此我们将从生成的数据中学习重新定义为带噪声标签的学习。然后，我们利用混合正则化的分类器，并证明其有效性，以抵抗标签噪声在生成的数据。从经验上讲，我们的方法表现出优越的性能，并优于基线的大幅度。
2021-05-11 cs.CL cs.LG
Finstreder: Simple and fast Spoken Language Understanding with Finite State Transducers using modern Speech-to-Text models
University of Augsburg（奥格斯堡大学）
在口语语言理解（SLU）中，任务是从音频命令中提取重要信息，例如用户希望系统做什么的意图以及位置或数字等特殊实体。本文提出了一种将意图和实体嵌入到有限状态转换器中的简单方法，并与预训练的通用语音到文本模型相结合，允许在没有任何额外训练的情况下构建SDU模型。构建这些模型非常快，只需要几秒钟。它也是完全独立的语言。在不同的基准测试比较表明，这种方法可以优于其他多个，更多的资源需求SLU方法。
2022-06-29 cs.CL cs.HC cs.SD
Motion-Omni: End-to-End Joint Speech and Full-Body Motion for Spoken Dialogue
Peking University（北京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
Motion-Omni是端到端联合语音与全身动作生成框架，基于Qwen2.5-7B-Instruct实现，在动作指标接近教师级联的同时速度提升5.4倍，词错误率为全模态系统最低，还发布了相关数据集与评估协议。
2026-09-28 cs.CV cs.SD eess.AS
A Study on the Integration of Pipeline and E2E SLU systems for Spoken Semantic Parsing toward STOP Quality Challenge
Carnegie Mellon University（卡内基梅隆大学）；Sony Group Corporation（索尼集团公司）
本文提出一种口语语义解析系统，集成流水线与端到端方法，利用Whisper和BART等模型，通过输出级组合在STOP质量挑战中达到80.8精确匹配准确率，获得第一名。
2023-05-06 cs.CL cs.SD eess.AS
Scaling and Prompting for Improved End-to-End Spoken Grammatical Error Correction
University of CambridgeUK（剑桥大学）
本研究针对端到端口语语法错误纠正（SGEC）与反馈生成，通过引入伪标注过程将训练数据扩展至约2500小时，并利用流利转录文本提示基于Whisper的E2E模型，显著提升了反馈生成性能并验证了提示训练对大模型的有效性。
2025-05-27 cs.CL cs.SD eess.AS
Avaya Conversational Intelligence: A Real-Time System for Spoken Language Understanding in Human-Human Call Center Conversations
Avaya（Avaya公司）；Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）；Poznan University of Technology（波兹南理工大学）；AGH University of Science and Technology（AGH科技大学）
Avaya Conversational Intelligence（ACI）是一款端到端、基于云的解决方案，用于呼叫中心的实时口语理解。它结合了大词汇量、实时语音识别、转录细化以及实体和意图识别，以便将实时音频转换为丰富的可操作的结构化事件流。这些事件可以进一步与业务规则引擎一起使用，从而作为实时监督和辅助应用程序的基础。在摄取之后，呼叫通过无监督的关键字提取、抽象摘要和业务定义的属性来丰富，从而实现离线用例，例如商业智能、主题挖掘、全文搜索、质量保证和代理培训。ACI提供了一个包含数百个意图的预训练、可配置库和一个强大的意图训练环境，允许高效、经济高效地创建和定制客户特定的意图。
2019-09-02 cs.CL cs.LG cs.SD
ESPnet-SLU: Advancing Spoken Language Understanding through ESPnet
Carnegie Mellon University（卡内基梅隆大学）；University of Stuttgart（斯图加特大学）；Zoom Video Communications（Zoom视频通讯）
随着自动语音处理（ASR）系统变得越来越好，使用ASR输出来执行下游自然语言处理（NLP）任务的兴趣越来越大。然而，很少有开源工具包可用于在不同的口语语言理解（SLU）基准测试上生成可重复的结果。因此，有必要建立一个开源标准，可以用来更快地开始SLU研究。我们提出ESPnet-SLU，这是专为快速发展的口语语言理解在一个单一的框架。ESPnet-SLU是端到端语音处理工具包ESPnet中的一个项目，ESPnet是一个广泛使用的开源标准，用于各种语音处理任务，如ASR，文本到语音（TTS）和语音翻译（ST）。我们增强了工具包，以提供各种SLU基准的实现，使研究人员能够无缝地混合和匹配不同的ASR和NLU模型。我们还提供了预训练模型，这些模型具有密集调整的超参数，可以匹配甚至超越当前最先进的性能。该工具包可在https://github.com/espnet/espnet上公开查阅。
2022-03-03 cs.CL cs.SD eess.AS
Semantic Segmentation with Bidirectional Language Models Improves Long-form ASR
Google Research（谷歌研究院）
本文提出从双向语言模型蒸馏标点知识来分割长格式语音中的语义完整句子，在流式ASR中实现3.2%相对WER提升并降低60ms延迟。
2023-05-28 cs.CL cs.LG cs.SD
The Interpreter Understands Your Meaning: End-to-end Spoken Language Understanding Aided by Speech Translation
Idiap Research Institute（Idiap 研究院）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文提出利用语音翻译作为预训练任务，提升端到端口语理解模型在单语和跨语言场景下的性能，并在多个基准上验证了其有效性。
2023-10-17 cs.CL cs.SD eess.AS
Retrieval Augmented End-to-End Spoken Dialog Models
Google（谷歌公司）
本文提出检索增强的SLM（ReSLM），通过语音检索器获取音频中的文本实体并输入模型，提升语音对话状态跟踪性能，在DSTC-11上联合目标准确率达38.6%。
2024-02-02 cs.AI cs.CL cs.SD
Textually Pretrained Speech Language Models
FAIR Team, Meta（Meta FAIR团队）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；OpenAI
该研究提出TWIST方法，通过预训练文本语言模型热启动训练语音语言模型，经评估全面优于冷启动模型，还推出了当前最大规模的语音语言模型及两个口语版StoryCloze基准，并开源相关资源。
2024-01-30 cs.CL cs.LG cs.SD
CoSTA: Code-Switched Speech Translation using Aligned Speech-Text Interleaving
Indian Institute of Technology Bombay（印度孟买理工学院）
本文提出端到端模型 CoSTA，利用预训练 ASR 与 MT 模块及对齐语音-文本交错融合，解决印度语码转换语音英译的数据稀缺问题，并发布多语种评测基准，最高提升 3.5 BLEU。
2024-06-16 cs.CL cs.LG cs.SD
Dynamic Context-Aware Streaming Pretrained Language Model For Inverse Text Normalization
AIVietnam University of Science（AIVietnam 科学大学）；Ho Chi Minh City, Vietnam（胡志明市，越南）；Vietnam National University（越南国家大学）
本文提出一种用于逆文本规范化的流式预训练语言模型，通过在训练和推理中引入动态上下文感知机制以自适应调整块大小并整合右上下文信息，在越南语数据集上以低延迟实现了与非流式模型相当的准确率。
2025-05-30 cs.CL cs.SD eess.AS
End-to-End Spoken Language Understanding for Generalized Voice Assistants
Amazon（亚马逊）；Google Cloud AI（谷歌云人工智能）
端到端（E2E）口语语言理解（SLU）系统使用单个模型直接从语音预测话语语义。以前在这方面的工作集中在固定领域的目标任务，其中输出的语义结构是假定先验和输入语音是有限的复杂性。在这项工作中，我们提出了我们的方法来开发一个E2E模型的广义SLU在商业语音助理（VA）。我们提出了一个完全可区分的，基于transformer的分层系统，可以在ASR和NLU级别进行预训练。然后对转录和语义分类损失进行微调，以处理不同的意图和参数组合。这导致SLU系统在复杂的内部广义VA数据集上实现了比基线显著的改进，准确度提高了43%，同时仍然满足流行的Fluent Speech Commands数据集上99%的准确度基准。我们进一步在硬测试集上评估了我们的模型，该测试集只包含训练中看不到的插槽参数，并展示了近20%的改进，显示了我们的方法在真正苛刻的VA场景中的有效性。
2021-07-19 cs.AI cs.CL cs.SD
An Ensemble Teacher-Student Learning Approach with Poisson Sub-sampling to Differential Privacy Preserving Speech Recognition
Georgia Institute of Technology（佐治亚理工学院）；Kore University of Enna（恩纳科雷大学）；NTNU（挪威科技大学）
我们提出了一个集成学习框架与泊松子采样，有效地训练一组教师模型，发出一些差分隐私（DP）的训练数据的保证。通过DP下的提升，从训练数据中导出的学生模型几乎没有受到没有隐私保护的训练模型的模型退化。我们提出的解决方案利用了两种机制，即：（i）经由泊松子采样的隐私预算放大，以训练需要较少噪声来实现相同水平的隐私预算的目标预测模型，以及（ii）子采样技术和总体师生学习框架的组合，该总体师生学习框架在教师模型的输出处引入DP保留噪声并且将DP-通过噪声标签保持属性。保护隐私的学生模型然后用噪声标签进行训练，以从教师模型集合中学习具有DP保护的知识。语音命令识别和汉语连续语音识别的实验证据表明，我们提出的框架大大优于现有的DP保持算法在这两个语音处理任务。
2022-10-12 cs.AI cs.LG cs.SD
Can ChatGPT Detect Intent? Evaluating Large Language Models for Spoken Language Understanding
Idiap Research Institute（伊迪亚普研究所）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文评估 ChatGPT、OPT 等大模型在口语理解中的零样本/少样本能力，发现大模型意图分类接近监督方法，但槽位填充较弱且易受 ASR 错误影响。
2023-08-17 cs.AI cs.CL cs.SD
An Efficient Self-Learning Framework For Interactive Spoken Dialog Systems
Amazon AGI（亚马逊AGI）；UC Berkeley（加州大学伯克利分校）
针对传统ASR系统无法适配对话上下文、缺乏反馈整合能力的问题，提出结合师生学习、上下文感知处理与Ohm在线难负例挖掘的自学习框架，显著降低词错误率。
2024-09-16 cs.AI cs.CL cs.SD
Pretraining Approaches for Spoken Language Recognition: TalTech Submission to the OLR 2021 Challenge
TalTech（塔林理工大学）
本文研究了口语识别的不同预训练方法。这篇论文是基于我们提交给2021年东方语言识别挑战赛的论文。我们参加了两个轨道的挑战：约束和无约束的语言识别。对于受约束的音轨，我们首先使用提供的具有可用转录的训练数据训练了一个用于多语言自动语音识别（ASR）的基于Conformer的编码器-解码器模型。然后对多语言ASR模型的共享编码器进行微调，以用于语言识别任务。对于不受约束的任务，我们依赖于外部可用的预训练模型和外部数据：多语言XLSR-53 wav2vec2.0模型在VoxLingua 107语料库上进行微调，用于语言识别任务，最后在提供的目标语言训练数据上进行微调，并使用CommonVoice数据进行增强。我们在测试集上的主要度量$C_{\rm avg}$值对于受约束的任务是0.0079，对于无约束的任务是0.0119，这导致了两个排名中的第二名。在后评估实验中，我们研究了训练准确的后端模型所需的目标语言数据量，多语言预训练数据的重要性，并将不同的模型作为微调的起点进行比较。
2022-05-14 cs.CL eess.AS
The Silent Thought: Modeling Internal Cognition in Full-Duplex Spoken Dialogue Models via Latent Reasoning
DeepMind（深度Mind）
本文提出了一种名为FLAIR的全双工语音对话模型，通过潜在推理同时进行语音感知和内部思考，以提高对话质量，该方法在多个语音基准测试中取得了竞争性的结果。
2026-06-04 cs.CL eess.AS
Skit-S2I: An Indian Accented Speech to Intent dataset
传统的会话助理使用自动语音识别（ASR）从语音信号中提取文本转录，然后从转录中预测意图。使用端到端口语语言理解（SLU），直接从语音信号预测说话者的意图，而不需要中间文本转录。因此，该模型可以直接优化意图分类，并避免ASR的级联错误。端到端SLU系统还有助于减少意图预测模型的延迟。虽然许多数据集可公开用于文本到意图任务，但标记的语音到意图数据集的可用性有限，并且没有印度口音的数据集。在本文中，我们发布了Skit-S2 I数据集，这是银行领域中第一个公开可用的印度口音SLU数据集。我们使用多个基线进行了实验，比较了不同的预训练语音编码器的表示，发现SSL预训练表示的性能略好于缺乏韵律特征的ASR预训练表示，用于语音到意图分类。数据集和基线代码可在\url{https://github.com/skit-ai/speech-to-intent-dataset}上获得
2022-12-26 cs.CL cs.LG cs.SD
Paralinguistics-Enhanced Large Language Modeling of Spoken Dialogue
Amazon Alexa AI（亚马逊Alexa AI）
本文提出ParalinGPT，通过序列化多任务多模态框架融合文本、语音嵌入和副语言属性，在Switchboard-1上显著提升口语对话的情感预测与响应生成性能。
2024-01-17 cs.CL eess.AS
Spirit LM: Interleaved Spoken and Written Language Model
Meta AI；Inria（法国国家信息与自动化研究所）；EHESS（法国社会科学高等研究院）；ENS-PSL（巴黎文理研究大学高等师范学院）；CNRS（法国国家科学研究中心）
Spirit LM是一个基于7B文本模型扩展的多模态语言模型，通过词级交错训练融合文本与语音，支持跨模态少样本学习ASR、TTS和语音分类等任务。
2024-10-18 cs.CL cs.SD eess.AS
Inspecting Spoken Language Understanding from Kids for Basic Math Learning at Home
Intel Labs（英特尔实验室）
本文构建面向Kid Space家庭游戏化数学学习的多模态任务型对话系统，评估级联ASR与多任务NLU的SLU流程，比较Google Cloud、Whisper及多种预训练表示，揭示真实家庭噪声下理解儿童语音的挑战。
2023-06-01 cs.CL cs.CY cs.SD
CALLS: Japanese Empathetic Dialogue Speech Corpus of Complaint Handling and Attentive Listening in Customer Center
The University of Tokyo（东京大学）；LINE Corp.（LINE公司）
本文提出日语客服中心共情对话语音语料库CALLS，通过模拟电话接线员场景扩展共情对话语音合成的应用范围，并实验证明混合不同领域语料会导致合成语音质量出现有偏差的改善。
2023-05-23 cs.CL cs.LG cs.SD
AFD-SLU: Adaptive Feature Distillation for Spoken Language Understanding
School of Advanced Manufacturing and Robotics（先进制造与机器人学院）；Peking University（北京大学）；National Institute of Defense Technology Innovation（国防科技创新国家研究院）；Academy of Military Sciences（军事科学院）；Tianjin Artificial Intelligence Innovation Center（天津人工智能创新中心）
AFD-SLU通过自适应特征蒸馏框架，将教师模型的语义表示转移到轻量级学生模型，提升语音语言理解的准确率与效率。
2026-02-11 cs.CL
Semi-Supervised Spoken Language Understanding via Self-Supervised Speech and Language Model Pretraining
Amazon（亚马逊）
最近关于口语语言理解（SLU）的许多工作至少在以下三种方式中的一种上受到限制：模型在Oracle文本输入上进行训练并忽略ASR错误，模型被训练为仅预测意图而没有槽值，或者模型在大量内部数据上进行训练。在本文中，我们提出了一个干净的和一般的框架来学习语义直接从语音半监督从转录或未转录的语音来解决这些问题。我们的框架建立在预训练的端到端（E2E）ASR和自监督语言模型（如BERT）基础上，并在有限的目标SLU数据上进行了微调。我们研究了ASR组件的两个半监督设置：对转录语音进行监督预训练，以及通过用自监督语音表示（如wav2vec）替换ASR编码器进行无监督预训练。同时，我们确定了两个基本标准评估SLU模型：环境噪声鲁棒性和E2E语义评估。ATIS上的实验表明，我们的SLU框架与语音作为输入可以执行等同于使用甲骨文文本作为输入的语义理解，即使环境噪声是存在的，有限数量的标记语义数据可用于训练。
2020-10-26 cs.CL
EEG-to-Voice Decoding of Spoken and Imagined speech Using Non-Invasive EEG
Pukyong National University（釜庆国立大学）
本研究提出了一种无需显式时间对齐的EEG-to-Voice方法，通过非侵入性EEG信号直接重建说话和想象语音，结合生成器、语音编码器和自动语音识别模块，实现了稳定的声学重建和可比的语言准确性。
2025-12-14 cs.LG cs.SD eess.SP
WAVPROMPT: Towards Few-Shot Spoken Language Understanding with Frozen Language Models
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
在大规模文本上预训练的大规模自回归语言模型已经证明了它们令人印象深刻的能力，只需几个文本示例就可以执行新的自然语言任务，而无需进行微调。最近的研究进一步表明，这种Few-Shot学习能力可以通过训练编码器将图像编码为嵌入来扩展到文本图像设置，嵌入的功能类似于语言模型的文本嵌入。感兴趣的探索转移的Few-Shot学习能力的音频文本设置的可能性，我们提出了一种新的语音理解框架，WavPrompt，在那里我们微调wav2vec模型生成一个序列的音频嵌入理解的语言模型。我们表明，WavPrompt是一个Few-Shot学习者，可以执行语音理解任务比一个天真的文本基线。我们对不同的组件和超参数进行详细的消融研究，以经验确定最佳的模型配置。此外，我们进行了一个非语音理解实验，以显示WavPrompt可以提取更多的信息，而不仅仅是transmits。代码可在https://github.com/Hertin/WavPrompt上获得
2022-04-14 cs.AI cs.CL eess.AS
What has LeBenchmark Learnt about French Syntax?
Laboratoire d’Informatique de Grenoble（格勒诺布尔计算机实验室）
本文利用 Orféo 树库逐层探测在 7000 小时法语口语上预训练的 LeBenchmark，证明其编码了句法信息，且该信息主要集中在网络中间层。
2024-03-04 cs.CL
Reducing the Output-Mode Gap in Speech Language Models via Joint-Output On-Policy Distillation
Leibniz Research Center, Huawei（华为莱布尼茨研究中心）；The Chinese University of Hong Kong（香港中文大学）；City University of Hong Kong（香港城市大学）
针对语音语言模型中S2TS模式与S2T模式间的输出模式差距，提出联合输出在策略蒸馏方法，利用教师软目标显著降低准确率差距，实验验证其有效性。
2026-09-15 cs.CL cs.SD eess.AS
Performance Analysis of Speech Encoders for Low-Resource SLU and ASR in Tunisian Dialect
Avignon University（阿维尼翁大学）；Elyadata（埃利亚数据公司）；LIA（语言与人工智能实验室）
针对低资源突尼斯阿拉伯语方言及对应低资源SLU、ASR场景，本文对比不同预训练与优化方式的SSL语音编码器在TARIC-SLU数据集上的性能，得出多项重要发现。
2024-07-09 cs.CL cs.SD eess.AS
StreamAlign: Streaming Text-Aligned Speech Tokenization
Seoul National University（首尔大学）；University of California, Berkeley（加州大学伯克利分校）；KRAFTON；Georgia Institute of Technology（佐治亚理工学院）
StreamAlign提出流式文本对齐语音分词框架，结合字符级RNN-T与词级ASR指导，降低延迟并缓解词汇不匹配，在LibriSpeech上取得最优WER和UTMOS，其SLM模型在语音续接与一致性上表现最佳。
2026-09-10 cs.CL cs.SD eess.AS
Towards Efficient Simultaneous Inverse Text Normalization with Pretrained Text-to-Text Language Model and Read-Tag-Write Policy
UNEY
该研究针对流式逆文本规范化的非流式问题，提出适配预训练文本到文本模型的流式端到端系统，经越南语数据集验证，其准确率优于混合方法且满足实时延迟要求。
2026-10-15 cs.CL
BART based semantic correction for Mandarin automatic speech recognition system
Cloudwalk Technology（云从科技）
虽然自动语音识别（ASR）系统近年来取得了显著的进步，但是口语识别错误仍然存在，并且很容易被人类发现。各种语言建模技术已经开发出后识别任务，如语义校正。在本文中，我们提出了一种基于Transformer的语义校正方法与预训练的BART初始化，在10000小时的汉语语音数据集上的实验表明，字符出错率（CER）可以有效地减少21.7%，相对于我们的基线ASR系统。专家评估表明，我们的模型的实际改善超过CER表明。
2021-03-26 cs.CL cs.SD eess.AS
Streaming Language Identification using Combination of Acoustic Representations and ASR Hypotheses
Amazon Alexa（亚马逊Alexa）
本文介绍了我们的建模和架构方法，用于构建一个高度准确的低延迟语言识别系统，以支持语音助手的多语言口语查询。解决多语言语音识别的常见方法是并行运行多个单语ASR系统，并依赖于检测输入语言的语言识别（LID）组件。常规地，LID仅依赖于声学信息来检测输入语言。我们提出了一种方法，学习和结合声学水平表示与嵌入估计ASR假设导致高达50%的相对减少识别错误率，相比，使用声学只功能的模型。此外，为了降低处理成本和延迟，我们利用流架构，以识别口语早期系统达到预定的置信水平时，减轻需要运行多个ASR系统，直到输入查询结束。结合声学和文本LID，再加上我们提出的流媒体运行时架构，导致平均1500毫秒的早期识别超过50%的话语，几乎没有降低准确性。我们还显示了改进的结果，采用半监督学习（SSL）技术，使用新提出的模型架构作为教师模型。
2020-06-01 cs.CL cs.SD eess.AS
PATE-AAE: Incorporating Adversarial Autoencoder into Private Aggregation of Teacher Ensembles for Spoken Command Classification
Georgia Institute of Technology（佐治亚理工学院）；University of Enna（恩纳大学）；NTNU（挪威科技大学）
我们提出使用对抗自动编码器（AAE），以取代生成对抗网络（GAN）的教师合奏（PATE）的私人聚合，解决方案，以确保差分隐私在语音应用中。AAE架构使我们能够获得良好的合成语音利用后的歧视性训练的潜在向量。当非敏感数据在公共领域中不充分可用时，这种合成语音用于构建隐私保护分类器。该分类器遵循PATE方案，该方案使用噪声输出的集合来标记合成样本，并在其导出的分类器上保证$\varepsilon$ -差分隐私（DP）。因此，我们提出的框架包括一个基于AAE的生成器和一个基于PATE的分类器（PATE-AAE）。在Google语音命令数据集版本II上进行评估，与其他隐私保护解决方案（即PATE-GAN和DP-GAN）相比，所提出的PATE-AAE分别将平均分类准确率提高了+ $2.11\%$和+ $6.60\%$，同时保持了$\varepsilon$ =0.01的强大隐私目标水平，固定$δ$ =10 $^{-5}$。
2021-06-15 cs.AI cs.LG cs.NE
Fleurs-SLU: A Massively Multilingual Benchmark for Spoken Language Understanding
Center For Artificial Intelligence and Data Science, University of Würzburg（人工智能与数据科学中心，乌尔姆大学）；Language Technology Lab, University of Cambridge（语言技术实验室，剑桥大学）；Mila, McGill University and Canada CIFAR AI Chair（Mila，麦吉尔大学及加拿大CIFAR人工智能主席）
提出多语言口语理解基准Fleurs-SLU，包含102种语言692小时主题分类和92种语言944小时听力问答，评估发现级联系统与闭源语音LLM表现优异，且ASR与SLU性能强相关。
2025-08-13 cs.AI cs.CL
Towards End-to-End Spoken Grammatical Error Correction
ALTA Institute, Department of Engineering, University of Cambridge, UK
本文提出利用Whisper基础模型实现端到端口语语法纠错，替代传统级联ASR、不流利去除和GEC流程，实验表明端到端方法可行，但不流利去除优于级联，而数据不足限制整体性能。
2024-07-19 cs.CL cs.LG eess.AS
Towards spoken dialect identification of Irish
Trinity College Dublin（都柏林三一学院）
针对爱尔兰语 ASR 的方言性能不均问题，本文测试 XLS-R、ECAPA-TDNN 与爱尔兰语 BERT 文本分类器，融合后方言识别准确率达 76%。
2023-07-14 cs.CL cs.SD eess.AS
Teach me with a Whisper: Enhancing Large Language Models for Analyzing Spoken Transcripts using Speech Embeddings
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；IBM Research AI（IBM研究院人工智能部门）
提出一种音频-语言知识蒸馏方法，利用Whisper语音嵌入增强语言模型分析口语转录文本，无需测试时音频输入，性能优于传统模型。
2023-11-13 cs.CL cs.SD eess.AS
Neural Model Reprogramming with Similarity Based Mapping for Low-Resource Spoken Command Recognition
Georgia Institute of Technology（佐治亚理工学院）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Kore University of Enna（恩纳科雷大学）；IBM Research（IBM研究院）
本文提出一种基于相似性标签映射的对抗性重编程方法，结合迁移学习构建AR-SCR系统，在阿拉伯语、立陶宛语和构音障碍普通话三个低资源语音命令数据集上以少量训练数据超越了现有最优结果。
2023-10-30 cs.AI cs.LG cs.NE
D2: High-Capability Full-Duplex Spoken Language Models from Half-Duplex Backbones
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对FD-SLM通用能力弱于HD-SLM的问题，提出D2框架将预训练HD-SLM转换为高能力FD-SLM，在Qwen3-Omni等模型上取得优异性能。
2026-10-14 cs.AI cs.CL eess.AS
End-to-end architectures for ASR-free spoken language understanding
口语理解是从言语中提取意义的问题。它通常作为两步问题来解决，其中采用自动语音识别（ASR）模型将语音转换为文本，然后采用自然语言理解（NLU）模型从解码的文本中提取含义。最近，出现了端到端的方法，旨在将ASR和NLU统一到单个SLU深度神经架构中，使用ASR和NLU级识别单元的组合进行训练。在本文中，我们探索了一组用于意图分类的递归架构，该架构针对最近引入的流利语音命令（FSC）数据集进行了定制，其中意图形成为三个插槽（动作，对象和位置）的组合。我们表明，通过将深度循环架构与标准数据增强相结合，可以获得最先进的结果，而无需使用ASR级别目标或预训练的ASR模型。我们还研究了它对新词语的泛化能力，我们表明该模型可以在训练过程中看不见的词语上表现得相当好。
2020-05-01 eess.AS
Spoken Language Intelligence of Large Language Models for Language Learning
NetEase Youdao（网易有道）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文通过构建口语语言知识多项选择题数据集并评估20个大语言模型，研究LLMs在语音学、音系学和第二语言习得中的教育应用效果，发现提示技术可显著提升推理性能，但模型在现实问题推理上仍存在局限。
2025-02-05 cs.AI cs.CL cs.LG
Benchmarking Large Pretrained Multilingual Models on Québec French Speech Recognition
本文基于 CommissionsQc 构建评估流程，从速度、词错误率和语义准确性测试大型预训练多语言模型对魁北克法语的识别表现，指出现有基准成绩难以预测其在区域口语上的性能。
2025-08-28 eess.AS
SpidR: Learning Fast and Stable Linguistic Units for Spoken Language Models Without Supervision
ENS-PSL, EHESS, CNRS（ENS-PSL、EHESS、CNRS）；FAIR at Meta（Meta的FAIR）
SpidR通过自监督学习高效语音表示，提升无监督语音语言建模性能，减少预训练时间
2025-12-26 cs.CL cs.SD eess.AS
FlexiSLM: A Spoken Language Model with Dynamic and Controllable Frame Rates
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；ByteDance（字节跳动）
提出FlexiSLM，首个支持动态可控帧率的语音语言模型，利用动态帧率表示在高质量点超越固定帧率7B模型，并在6.25 Hz时推理速度减半且保持高质量。
2026-09-16 cs.SD eess.AS
Detecting Emotion Carriers by Combining Acoustic and Lexical Representations
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用科学大学）；University of Trento（特伦托大学）
个人叙述（PN）-口头或书面-是对事实，人物，事件和思想的回忆，从自己的经验。情感识别和情感分析任务通常定义在话语或文档级别。然而，在这项工作中，我们专注于情感载体（EC）定义为片段（语音或文本），最好地解释叙述者的情感状态（“失去父亲”，“让我选择”）。一旦提取，这样的EC可以提供用户状态的更丰富的表示，以改善自然语言理解和对话建模。在之前的工作中，已经证明可以使用词汇特征来识别EC。然而，口语叙述应该提供更丰富的上下文和用户的情绪状态的描述。在本文中，我们利用基于单词的声学和文本嵌入以及早期和晚期融合技术来检测口语叙事中的EC。对于声学单词级表示，我们使用残差神经网络（ResNet）在单独的语音情感语料库上进行预训练，并进行微调以检测EC。不同的融合和系统组合策略的实验表明，后期融合导致这项任务的显着改善。
2021-12-13 cs.AI cs.CL cs.SD
Nix-TTS: Lightweight and End-to-End Text-to-Speech via Module-wise Distillation
Amazon（亚马逊）
几种轻量级TTS的解决方案已经显示出有希望的结果。尽管如此，它们要么依赖于手工设计，达到非最佳尺寸，要么使用神经架构搜索，但通常会付出培训成本。我们提出了Nix-TTS，一个轻量级的TTS实现通过知识蒸馏到一个高质量的，但大尺寸的，非自回归，和端到端（无声码器）的TTS教师模型。具体来说，我们提供模块式蒸馏，使编码器和解码器模块能够灵活和独立地蒸馏。由此产生的Nix-TTS继承了教师的非自回归和端到端的有利特性，但尺寸明显更小，只有5.23M参数或高达89.34%的教师模型减少;它还在英特尔上实现了超过3.04倍和8.36倍的推理加速，i7 CPU和Raspberry Pi 3B分别，与教师模型相比，仍然保留了公平的声音自然度和可理解性。我们提供Nix-TTS的预训练模型和音频样本。
2022-11-05 cs.CL cs.LG cs.NE
