SpeechBERT: An Audio-and-text Jointly Learned Language Model for End-to-end Spoken Question Answering
National Taiwan University（台湾大学）
虽然各种端到端的口语语言理解任务的模型已经探索最近，本文可能是第一个已知的尝试，挑战非常困难的任务，端到端的口语问答（SQA）。借鉴BERT模型在各种文本处理任务中的成功应用，本文提出了一种语音-文本联合学习的SpeechBERT模型。该模型优于在答案跨度中包括ASR错误的数据集上级联ASR与以下文本问答（TQA）模型的传统方法，因为端到端模型被示出能够在ASR产生错误之前从音频数据中提取信息。当将所提出的端到端模型与级联架构集成时，实现了更好的性能。除了端到端SQA的潜力之外，Speech BERT还可以被考虑用于许多其他语言理解任务，就像BERT用于许多文本处理任务一样。
2020-08-11 cs.CL cs.SD eess.AS
LuxSQA: Ask Me in Luxembourgish with TTS-Augmented Spoken Question Answering
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Luxembourg（卢森堡大学）；Trento, Italy（意大利特伦托）；Esch-sur-Alzette, Luxembourg（卢森堡埃施-sur-阿尔泽特）
研究文本转语音能否为卢森堡语口语问答提供特定任务训练数据。从现有基于文本的问答资源出发，翻译问题合成口语问题并配对答案，训练参数高效架构，比较不同文本转语音系统及合成训练配置，得出多源和基于语音设计的配置性能最强。
2026-07-07 cs.CL
On the Impact of Speech Recognition Errors in Passage Retrieval for Spoken Question Answering
University of Amsterdam（阿姆斯特丹大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
与语音接口交互以查询问答（QA）系统正变得越来越流行。通常，QA系统依赖于段落检索来选择候选上下文，并依赖于阅读理解来提取最终答案。虽然已经有一些注意力，以提高阅读理解部分的QA系统对错误的自动语音识别（ASR）模型介绍，段落检索部分仍然是未开发的。然而，这样的错误会影响段落检索的性能，导致较差的端到端性能。为了解决这一差距，我们增加了两个现有的大规模通道排名和开放域QA数据集与合成ASR噪声和研究词汇和密集检索器对ASR噪声的问题的鲁棒性。此外，我们还研究了数据增强技术在不同领域的可推广性;每个领域都是不同的语言方言或口音。最后，我们创建了一个新的数据集，其中包含人类用户提出的问题，并使用它们的透明度来表明，当处理自然ASR噪声而不是合成ASR噪声时，检索性能会进一步降低。
2022-09-26 cs.CL cs.IR
SD-QA: Spoken Dialectal Question Answering for the Real World
George Mason University（乔治梅森大学）
问答（QA）系统现在可通过用于各种领域的众多商业应用获得，为经由语音接口与它们交互的数百万用户提供服务。然而，目前在QA研究的基准不占的错误，语音识别模型可能会引入，他们也不考虑用户的语言变化（方言）。为了解决这一差距，我们增加了现有的QA数据集，以构建一个多方言，口语QA基准五种语言（阿拉伯语，孟加拉语，英语，斯瓦希里语，韩语），超过68k的音频提示，24种方言，来自255个扬声器。我们提供了基线结果，展示了QA系统的真实性能，并分析了语言多样性和其他敏感的扬声器属性对下游性能的影响。最后，我们研究了ASR和QA模型相对于底层用户群体的公平性。数据集、模型输出和用于重现我们所有实验的代码都可以在https://github.com/ffaisal93/SD-QA上找到。
2021-09-24 cs.CL
SpeechDPR: End-to-End Spoken Passage Retrieval for Open-Domain Spoken Question Answering
National Taiwan University（台湾大学）；Massachusetts Institute of Technology（麻省理工学院）；Meta AI；Rembrand（伦勃朗）
本文提出首个面向开放域口语问答检索组件的端到端框架SpeechDPR，通过从无监督ASR和文本密集检索器的级联模型蒸馏知识学习句子级语义表示，无需人工转录数据，在ASR效果差时表现更鲁棒。
2024-08-24 cs.CL cs.IR cs.SD
ControversialQA: Exploring Controversy in Question Answering
Tokyo Institute of Technology（东京工业大学）；Delft University of Technology（代尔夫特理工大学）
争议在网上很普遍。以前的研究主要是根据对争议与仇恨言论和冒犯性言论等情绪的关系的模糊假设来定义争议。本文介绍了第一个通过用户感知定义内容争议的问答数据集，即，来自大量用户的投票。它包含近10K个问题，每个问题都有一个最佳答案和一个最具争议的答案。实验结果表明，问答中的争议检测是必要的和具有挑战性的，争议和情感任务之间没有很强的相关性。
2023-02-10 cs.CL
Towards Data Distillation for End-to-end Spoken Conversational Question Answering
Yale University（耶鲁大学）；Peking University（北京大学）
在口语问答中，QA系统被设计为回答来自相关语音转录内的连续文本跨度的问题。然而，人类寻求或测试知识的最自然的方式是通过人类对话。因此，我们提出了一个新的口语会话问答任务（SCQA），旨在使问答系统模型的复杂的对话流给定的语音话语和文本语料库。在这项任务中，我们的主要目标是建立一个问答系统来处理口语和文本形式的会话问题，并探索在口语文档中提供更多线索与信息收集系统的可行性。为此，而不是采用自动生成的语音转录与高噪声数据，我们提出了一种新的统一的数据蒸馏方法，DDNet，直接融合音频文本功能，以减少自动语音识别假设和参考转录之间的错位。此外，为了评估问答系统在对话式交互中的能力，我们组装了一个口语会话问答（口语CoQA）数据集，其中包含超过12万个问答对。实验表明，我们提出的方法取得了优越的性能在口语会话问答。
2020-10-18 cs.AI cs.CL eess.AS
Afri-MCQA: Multimodal Cultural Question Answering for African Languages
MBZUAI；AI4Bharat；Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）；Saarland University（萨尔兰大学）；Aston University（阿斯顿大学）；Addis Ababa University（亚的斯亚贝巴大学）；Lesan AI；Friedrich-Alexander University（弗里德里希-亚历山大大学）；University of Pretoria（比勒陀利亚大学）；University of Minneosta -Twin Cities（明尼苏达大学-双城分校）；Lelapa AI；Tshwane University of Technology（茨瓦内技术大学）；Digital Umuganda；University of Botswana（博茨瓦纳大学）；Mila, McGill University & Canada CIFAR AI Chair（Mila，麦吉尔大学及加拿大CIFAR人工智能主席）
Afri-MCQA是首个针对非洲语言的多模态文化问答基准，揭示了本地语言在语音和文本任务中与英语的显著性能差距，强调了文化扎根预训练和跨语言文化转移的重要性。
2026-01-14 cs.CL
Do Question Answering Modeling Improvements Hold Across Benchmarks?
Stanford University（斯坦福大学）；University of Southern California（南加州大学）
本文提出“一致性”概念，在32个QA基准和20种建模方法上测量排名一致性，发现人工构建、降采样及程序化生成的基准间一致性较高，证明QA建模改进具有广泛普适性。
2023-05-30 cs.CL
An Audio-enriched BERT-based Framework for Spoken Multiple-choice Question Answering
National Taiwan University of Science and Technology（台湾科技大学）
在一个口语多项选择问答（SMCQA）任务中，给定一个段落、一个问题和多个选择都是以语音的形式，机器需要选择正确的选择来回答问题。虽然音频可能包含SMCQA的有用线索，但通常只有自动转录的文本才用于系统开发。得益于大规模的预训练语言表示模型，例如Transformers（BERT）的双向编码器表示，仅具有自动转录文本的系统仍然可以实现一定的性能水平。然而，先前的研究已经证明，声学水平的统计可以抵消由自动语音识别系统或潜伏在词嵌入生成器中的表示不足引起的文本不准确性，从而使SMCQA系统鲁棒。沿着这一研究思路，本研究致力于设计一个基于BERT的SMCQA框架，该框架继承了BERT学习语境化语言表征的优点，并将从音频中提取的声学级信息与文本级信息相结合。因此，提出了一种基于音频丰富BERT的SMCQA框架。一系列的实验表明，在选定的基线和SOTA系统上的中国SMCQA数据集的准确性显着提高。
2020-05-25 cs.CL
Modeling Semantics with Gated Graph Neural Networks for Knowledge Base Question Answering
Technische Universität Darmstadt（达姆施塔特工业大学）
知识库问答的大多数方法都是基于语义解析的。在本文中，我们解决的问题，学习向量表示复杂的语义分析，包括多个实体和关系。以前的工作主要集中在选择一个问题的正确的语义关系，而忽略了语义解析的结构：实体之间的连接和关系的方向。我们建议使用门控图神经网络来编码语义解析的图结构。我们在两个数据集上显示，图网络优于所有没有明确建模结构的基线模型。错误分析证实，我们的方法可以成功地处理复杂的语义分析。
2018-08-13 cs.CL
End-to-end Spoken Conversational Question Answering: Task, Dataset and Model
Tencent（腾讯）；Peking University（北京大学）；Yale University（耶鲁大学）
在口语问答中，系统被设计为回答来自相关语音转录内的连续文本跨度的问题。然而，人类寻求或测试知识的最自然的方式是通过人类对话。因此，我们提出了一个新的口语会话问答任务（SCQA），旨在使系统能够模拟复杂的对话流的语音文件。在这项任务中，我们的主要目标是建立一个系统来处理会话问题的基础上的音频记录，并探讨在信息收集系统提供更多的线索，从不同的模态的可行性。为此，而不是直接采用自动生成的语音转录与高噪声数据，我们提出了一种新的统一的数据蒸馏方法，DDNet，有效地摄取跨模态信息，以实现细粒度的语音和语言模态的表示。此外，我们提出了一个简单而新颖的机制，称为双重注意，通过鼓励更好的音频和文本之间的对齐，以减轻知识转移的过程。为了评估SCQA系统在对话式交互中的能力，我们组装了一个口语会话问答（Spoken-CoQA）数据集，其中包含来自4k个会话的超过40 k个问答对。现有的最先进的方法的性能显着降低我们的数据集，因此证明了跨模态信息集成的必要性。我们的实验结果表明，我们提出的方法在口语会话问答任务中取得了优异的性能。
2022-04-29 cs.AI cs.CL cs.SD
Context Filtering with Reward Modeling in Question Answering
KAIST AI（韩国科学技术院人工智能学院）
提出基于奖励建模的上下文过滤方法，去除无关信息并总结关键内容，提升问答效率，在EPT指标上实现6.8倍提升。
2024-12-16 cs.CL
Using Holographically Compressed Embeddings in Question Answering
Middle Tennessee State University（中田纳西州立大学）
词向量表示是深度学习自然语言处理模型的核心。这些向量的许多形式，称为嵌入，存在，包括word2vec和GloVe。嵌入在大型语料库上进行训练，并在上下文中学习单词的用法，捕获单词之间的语义关系。然而，来自这样的训练的语义处于不同单词（称为单词类型）的级别，并且当例如单词类型可以是名词或动词时可能是模糊的。在问答中，词性和命名实体类型很重要，但在神经模型中编码这些属性会扩大输入的大小。这项研究采用全息压缩预训练的嵌入，代表一个令牌，它的词性，和命名实体类型，在相同的维度，只代表令牌。在修改的问答循环深度学习网络中的实现表明，语义关系得到了保留，并产生了强大的性能。
2020-07-14 cs.CL cs.LG
VākQA: A Benchmark and Evaluation Study for Telugu Spoken Factoid Question Answering
International Institute of Information Technology Hyderabad（海得拉巴国际信息技术学院）；Brno University of Technology（布尔诺理工大学）
本文提出泰卢固语口语问答基准VākQA，含2,001个问答对，验证评估方法并基准测试模型，发现翻译丢失文化特异性、语音混淆及级联错误等问题。
2026-09-18 cs.CL eess.AS
Self-supervised Contrastive Cross-Modality Representation Learning for Spoken Question Answering
Yale University（耶鲁大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
口语问答（SQA）需要对口语文档和问题进行细粒度的理解，以获得最佳答案预测。在本文中，我们提出了新的训练计划，口语问答与自我监督的训练阶段和对比表示学习阶段。在自监督阶段，我们提出了三个辅助的自监督任务，包括话语恢复，话语插入，和问题的歧视，并共同训练模型，以捕捉语音文档之间的一致性和连贯性，而无需任何额外的数据或注释。然后，我们建议通过采用多种增强策略，包括跨度删除和跨度替换，在对比目标中学习噪声不变的话语表示。此外，我们设计了一个时间对齐注意，语义对齐的语音文本线索在学习的共同空间和效益的SQA任务。通过这种方式，训练方案可以更有效地指导生成模型预测更合适的答案。实验结果表明，我们的模型在三个SQA基准测试中取得了最先进的结果。
2021-09-08 cs.AI cs.CL cs.LG
Attention-guided Evidence Grounding for Spoken Question Answering
本文提出基于注意力的证据 grounding 方法，通过 SpeechLLM 的内部跨模态注意力机制定位关键证据，减少幻觉并提升效率，优于传统 cascaded 系统。
2026-03-18 cs.AI cs.CL
Learning Fine-Grained Visual Understanding for Video Question Answering via Decoupling Spatial-Temporal Modeling
National Taiwan University（台湾大学）；Mobile Drive Technology（Mobile Drive科技公司）
虽然最近的大规模视频语言预训练在视频问答中取得了很大进展，但视频语言模型的空间建模的设计不如图像语言模型的设计细粒度;现有的时间建模实践也遭受模态之间的弱对齐和噪声对齐。为了学习细粒度的视觉理解，我们解耦时空建模，并提出了一个混合管道，解耦时空编码器，集成了图像和视频语言编码器。前者编码的空间语义从较大的，但稀疏采样帧独立于时间，而后者模型的时间动态在较低的空间，但较高的时间分辨率。为了帮助视频-语言模型学习视频QA的时间关系，我们提出了一种新的预训练目标，时间参考建模，它要求模型识别视频序列中事件的时间位置。大量的实验表明，我们的模型优于以前在数量级更大的数据集上预训练的工作。
2022-10-08 cs.CL cs.CV
Instituto de Telecomunicações at IWSLT 2025: Aligning Small-Scale Speech and Language Models for Speech-to-Text Learning
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（技术高等学院）；Unbabel
本文提出一种集成预训练语音编码器与文本解码器的统一语音到文本模型，通过模态对齐和指令微调，在小规模语言模型（<2B）上完成语音识别、翻译和口语问答任务。
2025-06-20 cs.AI cs.CL
GRASS: Unified Generation Model for Speech-to-Semantic Tasks
Didi Chuxing（滴滴出行）
本文提出统一的端到端框架GRASS，通过指令微调技术处理语音到语义任务，利用TTS系统构建数据对模型进行预训练，在多个基准上取得SOTA结果，并在零样本及少样本场景下表现优异，同时开源了数据集和代码。
2023-09-11 cs.CL cs.SD eess.AS
Speech-Based Visual Question Answering
KU Leuven（鲁汶大学）；ETH Zurich（苏黎世联邦理工学院）
本文介绍了基于语音的视觉问答（VQA），生成一个给定的图像和一个口头问题的答案的任务。研究了两种方法：一种直接使用音频波形作为输入的端到端深度神经网络，而不是对问题执行ASR（自动语音识别）的流水线方法，然后是基于文本的视觉问答。此外，我们调查了这两种方法的鲁棒性，通过注入不同程度的噪声到口语问题，并发现这两种方法是容忍噪声在类似的水平。
2017-09-16 cs.CL cs.CV
Machine Unlearning for Speech Question Answering in Large Audio-Language Models
Meta Platforms, Inc.（Meta平台公司）
本研究针对大型音频语言模型中的语音问答任务，提出多种机器遗忘策略（如梯度上升、任务算术和对齐微调），在降低高达80%隐私泄露率的同时，保持非私有任务性能接近不变。
2026-09-15 cs.CL cs.LG cs.SD
Spoken Question Answering and Speech Continuation Using Spectrogram-Powered LLM
Google Research（谷歌研究院）；Tel-Aviv Univeristy（特拉维夫大学）；Verily AI（Verily人工智能公司）
本文提出 Spectron，通过预训练语音编码器适配 LLM 直接处理频谱图，利用联合监督语音识别、文本续写与合成的训练目标实现单次解码的跨模态思维链，在口语问答与语音续写任务中提升了说话人保留与语义连贯性。
2024-05-31 cs.CL cs.LG cs.SD
Language Modeling for Multi-Domain Speech-Driven Text Retrieval
我们报告的实验结果与语音驱动的文本检索，这有利于检索信息在多个领域的口头查询。由于用户说的内容与目标集合相关，因此我们基于目标集合产生用于语音识别的语言模型，从而提高识别和检索的准确性。使用现有的测试集合结合口述查询的实验表明，我们的方法的有效性。
2002-06-24 cs.CL
Speech Retrieval-Augmented Generation without Automatic Speech Recognition
University of Michigan（密歇根大学）；AWS AI Labs（AWS AI实验室）
本文提出SpeechRAG框架，通过微调语音编码器对齐文本与语音嵌入空间，实现无需ASR的直接语音检索，并利用语音语言模型以音频片段为条件进行生成，在ASR错误较高时优于传统级联文本方法。
2025-01-03 cs.AI cs.CL eess.AS
Improving End-to-end Speech Recognition with Pronunciation-assisted Sub-word Modeling
Johns Hopkins University（约翰斯·霍普金斯大学）
大多数端到端语音识别系统直接将文本建模为字符或子词的序列。当前的子词提取方法仅考虑字符序列频率，这有时会产生可能导致错误的语音识别输出的较差的子分词。我们提出了发音辅助子词建模（PASM），一个子词提取方法，利用一个词的发音信息。实验结果表明，该方法可以大大提高基于字符的基线，也优于常用的字节对编码方法。
2019-02-21 cs.CL
Structured Language Modeling for Speech Recognition
提出了一种新的用于语音识别的语言模型。该模型逐步发展隐藏的层次句法结构，并使用它来提取有意义的信息，从单词的历史，从而补充了目前使用的三元模型的地方。本文介绍了结构化语言模型及其在格型译码两遍语音识别器中的性能。在华尔街日报语料库上的实验表明，该模型在困惑度（PPL）和单词出错率（WER）方面都优于传统的三元模型。
2000-01-25 cs.CL
Leveraging Chain of Thought towards Empathetic Spoken Dialogue without Corresponding Question-Answering Data
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Pengcheng Laboratory（鹏城实验室）；The Chinese University of Hong Kong（香港中文大学）
针对口语对话缺乏问答数据导致共情响应不足的问题，提出LPE两阶段训练方法，结合思维链提示，首次实现基于语音的共情对话生成。
2025-01-19 cs.CL cs.SD eess.AS
CCFQA: A Benchmark for Cross-Lingual and Cross-Modal Speech and Text Factuality Evaluation
CCFQA是一个用于评估多模态大语言模型跨语言和跨模态事实性能力的基准，通过少样本迁移学习策略在多语言语音问答任务中取得与GPT-4o-mini-Audio相当的性能。
2026-01-27 cs.CL
A practical introduction to the Rational Speech Act modeling framework
University of California, Irvine（加州大学欧文分校）；Massachusetts Institute of Technology（麻省理工学院）；University of Osnabrück（奥斯纳布吕克大学）
计算认知科学的最新进展（即，基于模拟的概率程序）为语用学的正式、可实现模型的重大进展铺平了道路。这些模型不是用散文描述一个实用的推理过程，而是形式化和实现一个推理过程，得出对人类行为的定性和定量预测--这些预测一直被证明是正确的，证明了框架的可行性和价值。目前的论文提供了一个实际的介绍和贝叶斯理性言语行为建模框架的批判性评估，拆包的理论基础，探索技术创新，并绘制连接到超越当前应用的问题。
2021-05-20 cs.CL
MAM: Masked Acoustic Modeling for End-to-End Speech-to-Text Translation
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
端到端语音到文本翻译（E2 E-ST）直接将源语言语音翻译成目标语言文本，在实践中有着广泛的应用，但传统的级联方法（ASR+MT）在流水线中容易产生错误传播。另一方面，现有的端到端解决方案严重依赖于用于预训练或具有自动语音识别（ASR）的多任务训练的源语言translation。相反，我们提出了一种简单的技术来学习一个强大的语音编码器在一个自我监督的方式只在语音侧，它可以利用语音数据没有转录。该技术被称为掩蔽声学建模（MAM），它不仅提供了一种改进E2 E-ST的替代方案，而且可以对任何声学信号（包括非语音信号）进行预训练而无需标注。我们在8个不同的平移方向上进行实验。在不使用任何transmittance的情况下，我们的技术实现了+1.1 BLEU的平均改进，以及使用MAM预训练的+2.3 BLEU。使用任意声学信号对MAM进行预训练，这些语言的平均BLEU也有+1.6的改善。与ASR多任务学习解决方案（在训练期间回复转录）相比，我们的预训练MAM模型（不使用转录）实现了类似的准确性。
2021-02-08 cs.CL
Large Scale Language Modeling in Automatic Speech Recognition
Google, Inc.（谷歌公司）
大语言模型已被证明对Google中的各种自动语音识别任务非常有益。我们总结了语音搜索和一些YouTube语音转录任务的结果，以强调增加训练数据量和根据这些数据估计的语言模型大小所能带来的影响。根据任务、所使用的训练数据的可用性和量、语言模型的大小以及在网格重新评分步骤中将它们集成的工作量和注意力，我们观察到相对于在17%和52%之间的字出错率的宽范围的操作点上的系统，字出错率的降低在6%和10%之间。
2012-10-31 cs.CL
Dialogue Act Modeling for Automatic Tagging and Recognition of Conversational Speech
我们描述了一种用于对会话语音中的对话行为进行建模的统计方法，即，类似言语行为的单元，如陈述、问题、反向通道、同意、不同意和道歉。我们的模型检测和预测的基础上的词汇，搭配，韵律线索，以及对话行为序列的话语连贯性的对话行为。对话模型是基于治疗会话的话语结构作为一个隐藏的马尔可夫模型和个人的对话行为的观察，从模型的状态。通过对话行为n-gram对可能的对话行为序列进行约束建模，将统计对话语法与单词n-gram、决策树和神经网络相结合，对每个对话行为的特殊词汇和韵律表现进行建模。我们开发了一个概率集成的语音识别与对话建模，以提高语音识别和对话行为分类的准确性。使用来自自发的人对人电话语音的Switchboard语料库的1，155个会话的大型手动标记数据库来训练和评估模型。我们实现了良好的对话行为标记准确率（65%基于错误，自动识别的单词和韵律，71%基于单词成绩单，相比之下，机会基线准确率为35%，人类准确率为84%）和单词识别错误的小幅减少。
2000-10-26 cs.CL
LibriSQA: A Novel Dataset and Framework for Spoken Question Answering with Large Language Models
Cooperative Medianet Innovation Center（合作媒体创新中心）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对LLMs在语音问答任务中多模态处理能力不足的问题，构建了包含107k问答对的LibriSQA数据集，并提出轻量级端到端框架，显著提升SQA及ASR任务性能，推动通用多模态LLM发展。
2024-04-18 cs.CL
RASMALAI: Resources for Adaptive Speech Modeling in Indian Languages with Accents and Intonations
Indian Institute of Technology Madras（印度理工学院马德拉斯学院）；Huggingface；AI4Bharat, WSAI（AI4Bharat，WSAI）
我们提出RASMALAI大规模语音数据集及IndicParlerTTS模型，支持23种印度语言和英语的可控表现性语音合成，通过文本描述实现高质量多语言语音生成。
2025-05-27 cs.CL
Spoken SQuAD: A Study of Mitigating the Impact of Speech Recognition Errors on Listening Comprehension
National Taiwan University（台湾大学）
阅读理解已经得到了广泛的研究。斯坦福问答数据集（SQuAD）是最具代表性的阅读理解任务之一，机器在其上已经可以与人类相媲美。另一方面，对于人类来说，访问大量的多媒体或语音内容比纯文本内容更困难和耗时。因此，开发能够自动理解口语内容的机器是非常有吸引力的。在本文中，我们提出了一个新的听力理解任务-口语SQuAD。在新的任务中，我们发现语音识别错误对机器理解有灾难性的影响，并提出了几种方法来减轻这种影响。
2018-04-01 cs.CL
DiscreteSLU: A Large Language Model with Self-Supervised Discrete Speech Units for Spoken Language Understanding
ASAPP；Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
本文提出DiscreteSLU，用自监督编码器与k-means生成离散语音单元并适配LLM，提升跨领域口语理解与口语问答的指令遵循能力。
2024-06-13 cs.CL cs.SD eess.AS
Phonological modeling for continuous speech recognition in Korean
本文提出了一种新的表示连续语音识别过程中音位变化的方法。设计了一个与其形态标记相结合的语音标记来表示韩国语语音变化的情况。在韩语语音识别系统中实现了这些形态和语音标记的成对语言模型。通过基于TDNN的语音识别实验验证了该模型的性能。
1996-07-18 cmp-lg cs.CL
Measuring User's Mental Models of Speech Translation in Human-AI Collaboration
University of Maryland, College Park（马里兰大学学院公园分校）
通过跨语言问答框架研究用户对语音翻译系统的心理模型，发现用户通过实践和源语言知识能更好地预测系统错误，且提供语音转录有助于改善心理模型。
2026-06-24 cs.CL cs.HC
Maximum Phase Modeling for Sparse Linear Prediction of Speech
University of Mons（蒙斯大学）；TCTS Lab（TCTS实验室）
线性预测（LP）是语音处理中一种普遍存在的分析方法。各种研究都集中在稀疏LP算法引入稀疏约束的LP框架。稀疏LP在与语音建模和编码相关的若干问题中已被证明是有效的。然而，所有现有的方法都假设语音信号是最小相位的。因为语音是已知的混合相位，所得到的残留信号包含一个持久的最大相位分量。本文的目的是提出一种新的技术，它结合了语音的最大相位贡献的建模，并可应用于任何滤波器表示。所提出的方法显着增加的LP残差信号的稀疏性，并在两个说明性的应用程序是有效的：语音极性检测和激励建模。
2020-06-07 cs.CL cs.SD eess.AS
Speech Enhancement Modeling Towards Robust Speech Recognition System
G H Raisoni College of Engg（G H Raisoni工程学院）；SGB Amravati University（SGB阿姆拉瓦蒂大学）；RTM Nagpur University（RTM那格浦尔大学）
四十多年来，人类一直梦想着有一种能够掌握自然语言的智能机器。在其最简单的形式，这台机器应该包括两个子系统，即自动语音识别（ASR）和语音理解（SU）。ASR的目标是转录自然语音，而SU的目标是理解转录的含义。识别和理解一个口语句子显然是一个知识密集型的过程，它必须考虑到所有的变量信息的语音通信过程中，从声学到语义和语用。在开发自动语音识别系统时，观察到一些不利条件降低了语音识别系统的性能。在这篇文章中，语音增强系统的介绍，以增强被加性噪声污染的语音信号，提高性能的自动语音识别器在噪声条件下。自动语音识别实验表明，用相应的增强后的语音信号代替含噪的语音信号，识别精度得到了提高。改善的量随着破坏噪声的类型而变化。
2013-05-07 cs.CL cs.SD
fairseq S2T: Fast Speech-to-Text Modeling with fairseq
Meta - Fundamental AI Research (FAIR)（Meta 基础人工智能研究院（FAIR））；Johns Hopkins University（约翰斯·霍普金斯大学）
我们介绍fairseq S2T，一个fairseq扩展语音到文本（S2T）建模任务，如端到端语音识别和语音到文本翻译。它遵循fairseq对可伸缩性和可扩展性的精心设计。我们提供从数据预处理、模型训练到离线（在线）推理的端到端工作流程。我们实现了最先进的基于RNN、基于Transformer和基于Conformer的模型以及开源的详细训练配方。Fairseq的机器翻译模型和语言模型可以无缝集成到S2T工作流程中，用于多任务学习或迁移学习。Fairseq S2T文档和示例可在https://github.com/pytorch/fairseq/tree/master/examples/speech_to_text上获得。
2022-06-14 cs.CL eess.AS
A comparable study of modeling units for end-to-end Mandarin speech recognition
Didi Chuxing（滴滴出行）
端到端的语音识别在普通话语音识别中得到了越来越广泛的应用，并取得了令人满意的效果。普通话是一种声调语言，不同于英语，需要对声学建模单元进行特殊处理。普通话的建模单位有音素、音节、汉字等。在这项工作中，我们探讨了两个主要的端到端模型：连接时态分类（CTC）模型和基于注意的编码器-解码器模型的汉语语音识别。我们比较了三种不同尺度的建模单元：上下文相关音素（CDP），音节与声调和汉字的性能。结果表明，在CTC模型中，所有类型的建模单元都能达到近似的字符出错率（CER），且汉字注意模型的性能优于音节注意模型。此外，我们发现汉字是一个合理的单位，为普通话语音识别。在迪迪呼叫中心任务中，汉字注意模型的CER为5.68%，CTC模型的CER为7.29%，在迪迪阅读任务中，CER分别为4.89%和5.79%。此外，注意力模型在两个数据集上都取得了比CTC模型更好的性能。
2018-05-14 cs.CL eess.AS
MELD: Mel-Spectrogram-Based Speech Language Modeling with Discrete Latent Variables
University of Edinburgh（爱丁堡大学）；Google DeepMind（谷歌DeepMind）；Meta Superintelligence Labs（Meta超智能实验室）
提出一种在梅尔频谱上联合优化编码器和语音语言模型的离散潜变量模型，在零样本文本转语音和语音转文本任务上优于基于编解码器和其他梅尔频谱基线，并缓解了自回归建模中的长时间静音和单词遗漏问题。
2026-09-02 cs.CL eess.AS
How Generative Spoken Language Modeling Encodes Noisy Speech: Investigation from Phonetics to Syntactics
National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所）
本文通过语音再合成实验研究GSLM在口语与语音层面的编解码效果，发现其错误覆盖音系到句法层，并常生成自然但内容改变的语音。
2023-06-01 cs.AI cs.CL eess.AS
Leveraging Unit Language Guidance to Advance Speech Modeling in Textless Speech-to-Speech Translation
Northeastern University（东北大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Kunming University of Science and Technology（昆明理工大学）；NiuTrans Research（牛翻译研究院）
针对无文本语音到语音翻译的跨模态特征提取、跨语言长序列对齐两大挑战，提出基于n-gram构建的单元语言，结合多任务学习与任务提示建模指导语音建模，在Voxpupil数据集上实现显著提升，性能比肩文本训练模型。
2025-05-21 cs.AI cs.CL cs.SD
DialectS2S: End-to-End Speech Dialogue Modeling for Low-Resource Chinese Dialects
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Wuhan AI Research（武汉人工智能研究院）；GWM AI Lab（长城汽车人工智能实验室）
针对低资源汉语方言语音数据稀缺及语义不一致问题，提出DialectS2S模型，通过合成流水线与自对齐后训练策略提升方言语音生成质量，开源框架实现性能突破。
2026-08-17 cs.AI cs.CL
SpeechGPT-Gen: Scaling Chain-of-Information Speech Generation
Fudan University（复旦大学）
针对SLLM信息建模冗余问题，提出解耦语义与感知信息的CoIG，并构建80亿参数SpeechGPT-Gen，在零样本TTS、语音转换和语音对话中表现优异。
2024-01-25 cs.CL cs.SD eess.AS
Contrastive Learning for Task-Independent SpeechLLM-Pretraining
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
提出一种两阶段训练方法，通过对比学习进行任务无关的语音预训练以对齐文本和语音表示，再进行少量数据的特定任务微调，在仅用10%数据下超越语音翻译和问答的专用模型。
2025-05-30 cs.CL cs.HC
Incorporating POS Tagging into Language Modeling
语音识别的语言模型往往只集中在识别所说的单词上。在本文中，我们重新定义的语音识别问题，使其目标是找到最好的序列的话和他们的句法作用（部分的语音）的话语。这是加强语音识别和自然语言理解之间交互的必要的第一步。
1997-05-22 cmp-lg cs.CL
SLAM: A Unified Encoder for Speech and Language Modeling via Speech-Text Joint Pre-Training
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Google Research（谷歌研究院）；New York University（纽约大学）
无监督预训练现在是文本和语音理解的主要方法。在大量未注释数据上预先训练的自我注意模型在对来自各种领域和语言的下游任务进行微调时取得了巨大的成功。本文通过在单个模型中统一语音和文本预训练，进一步提高了无监督语言预训练的通用性。我们建立了一个单一的编码器与BERT目标上的未标记的文本与w2 v-BERT目标上的未标记的语音。为了进一步调整我们的模型表示跨模态，我们利用对齐损失，特别是翻译语言建模（TLM）和语音文本匹配（STM），它们利用了有监督的语音文本识别数据。我们证明，在预训练期间合并语音和文本数据可以显着提高CoVoST~2语音翻译的下游质量，与单模态预训练模型相比，提高了约1 BLEU，同时在LibriSpeech和SpeechStew ASR任务上保持接近SotA的性能。在四个GLUE任务和文本规范化，我们观察到两种模式之间的容量限制和干扰的证据，导致性能下降相比，一个等效的纯文本模型，同时仍然具有竞争力的BERT。通过大量的实证分析，我们还证明了选择目标函数的语音预训练的重要性，以及添加额外的监督信号对学习表示的质量的有益影响。
2021-10-20 cs.CL cs.LG
Bridging the Gap Between Monaural Speech Enhancement and Recognition with Distortion-Independent Acoustic Modeling
The Ohio State University（俄亥俄州立大学）
自几年前引入深度学习以来，单耳语音增强已经取得了巨大的进步。虽然增强语音已被证明具有更好的可理解性和质量的人类听众，它直接馈送到自动语音识别（ASR）系统训练与嘈杂的语音没有产生预期的改善ASR性能。在识别上缺乏增强益处，或者单耳语音增强和识别之间的差距，通常归因于在增强过程中引入的语音失真。在这项研究中，我们分析了失真的问题，比较不同的声学模型，并探讨了失真无关的单耳语音识别的训练计划。实验结果表明，与失真无关的声学建模能够克服失真问题。这样的声学模型还可以与不同于在训练期间使用的语音增强模型一起工作。此外，在CHiME-2语料库上，本文研究的模型优于以前最好的系统。
2019-03-13 cs.CL cs.SD eess.AS
Two-Staged Acoustic Modeling Adaption for Robust Speech Recognition by the Example of German Oral History Interviews
在自动语音识别中，通常很少的训练数据可用于特定的具有挑战性的任务，但是最先进的自动语音识别系统的训练需要大量的注释语音。为了解决这个问题，我们提出了一种两阶段的声学建模方法，该方法将噪声和混响数据增强与迁移学习相结合，以鲁棒地解决困难的声学记录条件，自发语音和老年人语音等挑战。我们评估我们的方法使用的例子，德国口述历史访谈，其中一个相对平均减少字的错误率达到19.3%。
2019-08-19 cs.CL cs.SD eess.AS
Intonational Boundaries, Speech Repairs and Discourse Markers: Modeling Spoken Dialog
为了理解说话者的谈话，需要将其分割成语调短语，清理可能发生的任何言语修复，并识别话语标记。在本文中，我们认为，这些问题必须一起解决，他们必须在处理流的早期解决。我们提出了一种统计语言模型，解决了这些问题，进行词性标注，并可以作为语音识别器的语言模型。我们发现，通过考虑这些任务之间的相互作用，每个任务的表现都有所改善，词性标注和困惑也有所改善。
1997-04-23 cmp-lg cs.CL
