RASST: Retrieval-Augmented Simultaneous Speech Translation
Johns Hopkins University（约翰霍普金斯大学）；Carnegie Mellon University（卡内基梅隆大学）
针对同声传译中罕见术语翻译不准的问题，提出检索增强方法RASST，通过轻量级语音-文本检索器提供分块术语提示，并合成训练数据教会模型何时应用检索术语，在ACL 60/60和ESO测试集上术语准确率提升近40%，BLEU提升最多3点。
2026-06-16 cs.CL
Your voice is your voice: Supporting Self-expression through Speech Generation and LLMs in Augmented and Alternative Communication
Northeastern University（东北大学）；Khoury College of Computer Sciences（科里计算机学院）；Mercury Speech & Language（水星言语与语言机构）
本文提出整合多模态输入与大语言模型的增强替代沟通系统Speak Ease，结合语音识别、语境感知输出与个性化语音技术，经研究验证可提升用户表达能力，为改进相关系统提供参考。
2025-03-21 cs.AI cs.HC
AutoStyle-TTS: Retrieval-Augmented Generation based Automatic Style Matching Text-to-Speech Synthesis
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；AI Lab, Tencent（腾讯AI实验室）
针对以往TTS研究忽视提示选择的问题，提出基于RAG的AutoStyle-TTS框架，通过构建风格知识库和多模型嵌入匹配方案动态调整语音风格，提升合成语音自然度与表现力。
2025-04-14 cs.AI cs.SD
Keyword Augmented Retrieval: Novel framework for Information Retrieval integrated with speech interface
本文提出关键词增强检索框架，用小模型生成并匹配关键词以快速定位文档上下文，再由大模型基于定制提示作答，从而降低推理时间与成本，并集成语音接口实现无缝交互。
2023-10-29 cs.AI cs.CL cs.HC
SEAL: Speech Embedding Alignment Learning for Speech Large Language Model with Retrieval-Augmented Generation
SenseTime Research（商汤科技研究院）
SEAL通过统一的语音和文本嵌入框架，提升语音大语言模型的检索效率与准确性，减少延迟并增强多模态检索能力。
2025-12-10 cs.CL cs.SD eess.AS
LA-RAG:Enhancing LLM-based ASR Accuracy with Retrieval-Augmented Generation
Huawei TSC（华为技术服务中心）
针对现有基于大语言模型的自动语音识别方法在口音等声学条件下性能受限的问题，提出新型检索增强生成范式LA-RAG，通过细粒度token级语音数据存储与语对语检索结合上下文学习提升准确率，在普通话及方言数据集上验证了有效性。
2024-09-13 cs.CL cs.SD eess.AS
Retrieval Augmented End-to-End Spoken Dialog Models
Google（谷歌公司）
本文提出检索增强的SLM（ReSLM），通过语音检索器获取音频中的文本实体并输入模型，提升语音对话状态跟踪性能，在DSTC-11上联合目标准确率达38.6%。
2024-02-02 cs.AI cs.CL cs.SD
Conformer LLMs -- Convolution Augmented Large Language Models
Stanford University（斯坦福大学）
本工作将卷积层与Transformer结合用于大型语言模型，通过因果卷积滤波器结合局部与全局依赖，在性能上取得显著提升，并展示了一种可超越语音应用用于大规模语言建模的稳健架构。
2023-07-02 cs.AI cs.CL cs.LG
TRADE: Transducer-Augmented Decoder for Speech LLM
Hippocratic AI；Carnegie Mellon University（卡内基梅隆大学）
提出TRADE模型，通过换能器分支增强多模态大语言模型，实现帧同步对齐与语言推理结合，支持流式和非流式解码，在多个基准上取得低词错误率。
2026-06-07 cs.CL
GEC-RAG: Improving Generative Error Correction via Retrieval-Augmented Generation for Automatic Speech Recognition Systems
Sharif University of Technology（谢里夫理工大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
提出GEC-RAG，结合检索增强生成与上下文学习，在不修改ASR模型的情况下，通过检索相似错误模式指导大语言模型纠错，显著降低波斯语等低资源语言的词错误率。
2025-01-18 cs.AI cs.SD eess.AS
Fleurs-SLU: A Massively Multilingual Benchmark for Spoken Language Understanding
Center For Artificial Intelligence and Data Science, University of Würzburg（人工智能与数据科学中心，乌尔姆大学）；Language Technology Lab, University of Cambridge（语言技术实验室，剑桥大学）；Mila, McGill University and Canada CIFAR AI Chair（Mila，麦吉尔大学及加拿大CIFAR人工智能主席）
提出多语言口语理解基准Fleurs-SLU，包含102种语言692小时主题分类和92种语言944小时听力问答，评估发现级联系统与闭源语音LLM表现优异，且ASR与SLU性能强相关。
2025-08-13 cs.AI cs.CL
From Voices to Worlds: Developing an AI-Powered Framework for 3D Object Generation in Augmented Reality
Virginia Tech（弗吉尼亚理工大学）
本研究提出AI驱动的AR实时3D物体生成框架Matrix，整合多模态AI技术实现语音交互，通过网格优化和预生成物体库降低资源消耗，可应用于多领域且开源可扩展。
2025-03-04 cs.AI cs.HC
Transferable speech-to-text large language model alignment module
Cloudwalk Technology（云从科技）
本研究提出可迁移的语音转文本大模型对齐模块，用单层模块和少量多任务语料实现语音与LLM的模态对齐，验证了对齐能力可迁移至人类偏好对齐的模型，且对齐子空间的稀疏性为多模态扩展提供了可能。
2024-06-19 cs.CL cs.SD eess.AS
Listening Between the Lines: Joint Learning of ASR Embeddings and LLM-Augmented Linguistics for Dementia Detection
Division of Communication and Media, Ewha Womans University, South Korea（韩国梨花女子大学传播与媒体学院）；NAVER Cloud, South Korea（韩国NAVER Cloud）
提出多模态框架，结合Whisper的声学表示与LLM提取的语言特征，通过门控融合网络实现痴呆检测，在ADReSS和ADReSSo上F1分别达89.47%和90.14%。
2026-07-01 cs.AI cs.LG eess.AS
LLaST: Improved End-to-end Speech Translation System Leveraged by Large Language Models
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shanghai AI Laboratory（上海人工智能实验室）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文提出LLaST框架，通过架构设计、ASR增强训练、多语言数据增强和双LoRA优化，构建高性能LLM语音翻译系统，在CoVoST-2上表现优越。
2024-07-22 cs.CL
WavRAG: Audio-Integrated Retrieval Augmented Generation for Spoken Dialogue Models
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；Beijing University of Technology（北京工业大学）
本文提出端到端原生音频RAG框架WavRAG，通过WavRetriever直接检索原始音频并统一文本-音频知识，在性能相当的情况下较ASR-Text流程提速10倍。
2025-02-20 cs.AI cs.SD eess.AS
From TOWER to SPIRE: Adding the Speech Modality to a Translation-Specialist LLM
ENS Paris-Saclay（巴黎-萨克雷大学）；INESC-ID；Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学技术学院）；Sapienza University of Rome（罗马萨皮恩扎大学）；University of Edinburgh（爱丁堡大学）；TransPerfect；NAVER LABS Europe（NAVER欧洲实验室）
本研究推出语音增强翻译模型Spire，通过将离散化语音作为额外翻译语言、仅用4.25万小时语音持续预训练，为翻译专用LLM添加语音能力，同时保留文本性能，且数据量远低于同类模型。
2025-10-22 cs.CL
BiMamba2 Masked Discrete-Unit Prediction for Multilingual Speech Representation for Unsupervised Speech in the Wild Challenge
Howard University（霍华德大学）
本文提出基于BiMamba2的掩蔽离散单元预测方法，在无标注多语言语音上训练，实现说话人聚类性能超越基线，并分析了评估差异。
2026-09-25 cs.CL cs.SD
RealityTalk: Real-Time Speech-Driven Augmented Presentation for AR Live Storytelling
University of Calgary（卡尔加里大学）；Adobe Research（Adobe研究院）
我们提出RealityTalk，一个系统，增强实时的【形】现场演示与语音驱动的交互式虚拟元素。增强型演示文稿利用嵌入式视觉效果和动画来讲述引人入胜的故事。然而，用于现场演示的现有工具通常缺乏交互性和即兴创作，而在视频编辑工具中创建这样的效果需要大量的时间和专业知识。RealityTalk使用户能够创建具有实时的【形】语音驱动交互的现场增强演示。用户可以通过实时的【形】语音和支持模态交互地提示、移动和操纵图形元素。基于我们对177个现有的视频编辑增强演示文稿的分析，我们提出了一套新的交互技术，然后将它们纳入RealityTalk。我们从演示者的角度来评估我们的工具，以证明我们的系统的有效性。
2022-08-12 cs.CL cs.HC
Ontology Memory-Augmented ASR Correction for Long Text-Speech Interleaved Conversations
Institute of Computing and Intelligence, Harbin Institute of Technology (Shenzhen), China（哈尔滨工业大学（深圳）计算与智能研究所）；Shenzhen Loop Area Institute (SLAI), China（深圳环域研究所）
提出本体记忆增强的ASR校正框架，通过动态更新本体记忆存储实体、术语、变体、混淆和语义关系，解决长文本-语音交错对话中的上下文校正问题，在RAMC-Corr数据集上优于直接校正。
2026-06-15 cs.AI cs.CL
Speech Recognition with Augmented Synthesized Speech
Google（谷歌公司）
最近Tacotron语音合成结构及其变体在产生自然发声的多说话者合成语音方面的成功已经提高了替代用于训练语音识别器的昂贵的、手动转录的、特定领域的人类语音的令人兴奋的可能性。多说话者语音合成架构可以学习从输入声学表示导出的韵律、说话者和风格变化的潜在嵌入空间，从而允许对合成语音的操纵。在本文中，我们评估的可行性，提高语音识别性能使用语音合成使用两个语料库从不同的领域。我们探索算法，以提供必要的声学和词汇的多样性需要强大的语音识别。最后，我们证明了这种方法的可行性，作为一个数据增强策略域转移。我们发现，语音识别性能的改善是可以实现的，通过增加合成材料的训练数据。然而，在人类语音训练的识别器与合成语音训练的识别器之间的性能仍然存在很大的差距。
2019-09-25 cs.CL cs.SD eess.AS
Streaming Attention-Based Models with Augmented Memory for End-to-End Speech Recognition
Facebook AI（Facebook人工智能实验室）
基于注意力的模型在机器翻译和自动语音识别等领域表现出了很强的性能，近年来得到了广泛的应用。基于注意力的模型的一个主要挑战是需要访问完整的序列和关于序列长度的二次增长的计算成本。这些特性带来了挑战，特别是对于低延迟场景，其中系统通常需要流式传输。在本文中，我们建立了一个紧凑的和流式语音识别系统的端到端的神经传感器架构与基于注意力的模块增强卷积的顶部。所提出的系统配备了端到端的模型与流的能力，并减少了大的足迹从流的注意力为基础的模型使用增强内存。在LibriSpeech数据集上，我们提出的系统在测试干净和测试其他上实现了2.7%的单词出错率和5.8%的错误率，据我们所知，这是迄今为止报道的流媒体方法中最低的。
2020-11-03 cs.CL
To Trust or Not to Trust: Retrieval-Augmented Fact Checking in Speech
IISER Bhopal（印度科学教育与研究学院博帕尔分校）；King’s College London（伦敦国王学院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对语音错误信息，提出VeriSpeak基准，发现文本到语音存在模态差距，检索加显式推理可提升语音事实核查准确率至86.1%。
2026-09-25 cs.AI cs.CL cs.LG
Retrieval-Augmented Speech Recognition Approach for Domain Challenges
National Institute of Information and Communications Technology (NICT)（信息通信研究机构（NICT））
针对语音识别领域不匹配且难获取领域数据的问题，提出基于LLM的检索增强语音识别方法，推理时引入领域文本，在CSJ数据集上取得SOTA结果。
2025-02-21 cs.CL cs.SD eess.AS
Streaming Simultaneous Speech Translation with Augmented Memory Transformer
Facebook（脸书）；Johns Hopkins University（约翰斯·霍普金斯大学）
基于transformer的模型在语音翻译任务上取得了最先进的性能。然而，该模型架构对于流场景不够有效，因为自注意力是在整个输入序列上计算的，并且计算成本随着输入序列的长度二次增长。然而，大多数关于同时语音翻译的先前工作，即从部分音频输入生成翻译的任务，在分析延迟时忽略了生成翻译所花费的时间。在这种假设下，系统可能具有良好的延迟质量权衡，但在实时场景中不适用。在本文中，我们重点关注流同步语音翻译的任务，其中系统不仅能够在部分输入的情况下进行翻译，而且还能够处理非常长或连续的输入。我们提出了一个端到端的变压器为基础的序列到序列模型，配备了一个增强内存的Transformer编码器，它已显示出巨大的成功，在流自动语音识别任务与混合或基于传感器的模型。我们进行实证评估的建议模型段，上下文和内存大小，我们比较我们的方法与单向掩码的Transformer。
2020-10-30 cs.CL
COALA: Robust Contextualized Speech-augmented Language Modeling for ASR via Contrastive Regularizer and Biasing Score Estimation
National Taiwan Normal University（国立台湾师范大学）
研究旨在增强复杂多实体场景中的语音增强语言模型，提出COALA框架，通过将SLM潜在表示映射到判别空间量化匹配强度，并解决训练崩溃问题，在LibriSpeech基准上实现了卓越的上下文偏差性能。
2026-07-10 cs.CL
An Effective Contextual Language Modeling Framework for Speech Summarization with Augmented Features
National Taiwan Normal University（国立台湾师范大学）
大量与语音信息相关的多媒体信息迫切需要开发高效的自动摘要方法。为此，我们已经看到在将基于监督的深度神经网络的方法应用于提取语音摘要方面取得了快速进展。最近，双向编码器表示从Transformers（BERT）模型被提出，并取得了破纪录的成功，在许多自然语言处理（NLP）任务，如问答和语言理解。鉴于此，我们在本文中的语境和增强的国家的最先进的基于BERT的模型的语音摘要，而其贡献至少是三倍。首先，我们探讨了将置信度分数纳入句子表示，看看这样的尝试是否有助于减轻不完美的自动语音识别（ASR）所造成的负面影响。其次，我们还增加了额外的结构和语言特征，如句子位置和逆文档频率（IDF）的统计信息，从BERT得到的句子嵌入。最后，我们在一个基准数据集上验证了我们提出的方法的有效性，与几个经典和著名的语音摘要方法相比。
2020-06-01 cs.CL
Improving Mandarin Speech Recogntion with Block-augmented Transformer
Mininglamp Technology（明略科技）
最近，卷积增强的Transformer（Conformer）在自动语音识别（ASR）中表现出了良好的效果，超过了之前最好的Transformer Transducer。在本工作中，我们认为编码器和解码器中每个块的输出信息不是完全包容的，换句话说，它们的输出信息可能是互补的。我们研究了如何利用每个块的互补信息的参数有效的方式，预计这可能会导致更强大的性能。因此，我们提出了块增强的Transformer的语音识别，命名为Blockformer。我们实现了两种块集成方法：基本块输出加权和（Base-WSBO）和块输出加权和（SE-WSBO）的挤压和激励模块。在AISHELL-1上的实验表明，Blockformer模型的性能明显优于现有的Conformer模型，在不使用语言模型的情况下，该模型的CER为4.29%，在使用外部语言模型的情况下，该模型的CER为4.05%.
2022-12-01 cs.CL cs.SD eess.AS
OLIVE: View-Augmented Latent Prediction with Waveform Reconstruction for Speech SSL
Idiap Research Institute（Idiap研究 institute）；EPFL（瑞士联邦理工学院）
提出OLIVE框架，联合优化视图增强掩码潜在预测与波形重构，使早期编码器保留信号信息、后期表示具有不变性，提升生成与说话人任务性能。
2026-11-05 cs.CL cs.LG cs.SD
Counterfactually Augmented Data and Unintended Bias: The Case of Sexism and Hate Speech Detection
GESIS – Leibniz Institute for the Social Sciences（GESIS—莱布尼茨社会科学研究所）；RWTH Aachen University（亚琛工业大学）；University of Copenhagen（哥本哈根大学）
反事实增强数据（CAD）旨在提高域外泛化能力，这是模型鲁棒性的一个指标。这种改进被认为是促进了结构的核心特征，而不是碰巧与之相关的虚假工件。然而，过度依赖核心特征可能会导致意外的模型偏差。特别是，结构驱动的CAD -核心特征的扰动-可能会导致模型忽略使用核心特征的上下文。在这里，我们在具有挑战性的数据上测试性别歧视和仇恨言论检测模型：身份和性别术语的非仇恨和非性别歧视使用。在这些困难的情况下，在CAD上训练的模型，特别是构造驱动的CAD，比在原始的未扰动数据上训练的模型显示出更高的误报率。使用一组不同的CAD --结构驱动的和结构不可知的--减少了这种意外的偏差。
2022-05-09 cs.CL
RAG-Boost: Retrieval-Augmented Generation Enhanced LLM-based Speech Recognition
School of Engineering（工程学院）
针对MLC-SLM挑战赛任务I的LLM语音识别系统，提出RAG-Boost方法，通过动态集成RAG模块查询向量存储库并融合检索结果与ASR假设，输入LLM以修正错误、提升识别效果。
2025-08-05 cs.CL eess.AS
Speech-to-Text Translation with Phoneme-Augmented CoT: Enhancing Cross-Lingual Transfer in Low-Resource Scenarios
Barcelona Supercomputing CenterSpain（巴塞罗那超级计算中心西班牙）；Universitat Politècnica de CatalunyaSpain（巴塞罗那理工大学西班牙）
本研究提出将音素表示融入思维链框架的语音转文本翻译方法，通过课程学习训练扩展后的多语种大语言模型，提升低资源场景翻译质量并实现零资源翻译，为多语言S2TT普及提供新思路。
2025-05-30 cs.CL cs.SD eess.AS
Improving Low Resource Code-switched ASR using Augmented Code-switched TTS
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Microsoft India Development Center（微软印度研发中心）
由于语音技术在全球多语言社区的广泛使用，为代码切换语音构建自动语音识别（ASR）系统最近重新获得关注。端到端ASR系统是一个自然的建模选择，因为它们易于使用，在单语环境中性能优越。然而，众所周知，端到端系统需要大量的标记语音。在这项工作中，我们研究通过使用代码交换的文本到语音（TTS）合成的数据增强，在低资源设置提高代码交换的ASR。我们提出了两个有针对性的技术，有效地利用TTS语音样本：1）混合，现有的技术，通过现有的样本的线性插值创建新的训练样本，应用于TTS和真实的语音样本，和2）一个新的损失函数，与TTS样本一起使用，以鼓励代码切换预测。我们报告显着改善ASR性能实现绝对字出错率（WER）减少高达5%，和可衡量的改善代码切换使用我们提出的技术在印度语-英语代码切换ASR任务。
2020-10-12 cs.CL
Retrieval-Augmented Generation of Pediatric Speech-Language Pathology vignettes: A Proof-of-Concept Study
University of Redlands, Department of Communication Sciences and Disorders, Truesdail Clinic Center（红lands大学，沟通科学与障碍系，Truesdail诊所中心）
本研究针对儿科言语语言病理学病例小品手动创建耗时、通用LLM存在幻觉的问题，提出集成检索增强生成（RAG）与精选知识库的概念验证系统，证明其技术可行性，开源模型表现可接受，为隐私保护部署提供潜力。
2025-11-01 cs.CL cs.HC
From Speech-to-Spatial: Grounding Utterances on A Live Shared View with Augmented Reality
Center for Visual Computing, Stony Brook University（石溪大学视觉计算中心）
本文提出Speech-to-Spatial框架，通过语音指令生成空间定位的AR指导，无需额外线索或人工标注，提升任务效率和可用性。
2026-04-10 cs.CL cs.ET cs.HC
Improving child speech recognition with augmented child-like speech
Delft University of Technology（代尔夫特理工大学）
针对儿童语音数据稀缺问题，本文提出儿童到儿童语音转换增强方法，发现跨语言VC可显著降低ASR词错误率，并确定不同训练方式下的最佳增强倍数。
2024-06-12 cs.CL cs.SD eess.AS
Memory Augmented Lookup Dictionary based Language Modeling for Automatic Speech Recognition
ByteDance（字节跳动）
最近的研究表明，使用外部语言模型（LM）有利于端到端的自动语音识别（ASR）。然而，预测在训练集中出现频率较低的标记仍然具有相当大的挑战性。长尾预测问题在许多应用中得到了广泛的研究，但只有少数研究涉及ASR和LM。在本文中，我们提出了一个新的内存增强的查找字典为LM的Transformer架构。新引入的查找字典在训练集中包含了丰富的上下文信息，这对于正确预测长尾令牌至关重要。在中文和英文数据集上的实验表明，该方法在字/字符出错率和尾标记出错率上均优于基线Transformer LM。这在不影响解码效率的情况下实现。总的来说，我们证明了我们提出的方法在提高ASR解码性能方面的有效性，特别是对于长尾令牌。
2022-12-30 cs.CL eess.AS
SpeechLess: Micro-utterance with Personalized Spatial Memory-aware Assistant in Everyday Augmented Reality
Stony Brook University（石溪大学）；Georgia Institute of Technology（佐治亚理工学院）
SpeechLess通过个性化空间记忆实现语音意图粒度控制，减少公共场合说话的不适，提升日常信息获取效率。
2026-04-10 cs.CL cs.ET cs.HC
Anti-Asian Hate Speech Detection via Data Augmented Semantic Relation Inference
Stevens Institute of Technology（史蒂文斯理工学院）
近年来，随着仇恨言论在社交媒体上的传播，仇恨言论的自动检测正在成为一项至关重要的任务，并引起了各界的关注。此任务旨在识别在线帖子（例如，tweets）that contains包含hateful仇恨information信息.社交媒体中语言的特点，如简短和糟糕的内容，导致难以学习语义和捕捉仇恨言论的区别特征。以前的研究利用了其他有用的资源，如情感标签，以提高仇恨言论检测的性能。主题标签被添加为输入特征，用作情感词典或额外的上下文信息。然而，我们的仔细调查表明，直接利用这些特征而不考虑它们的上下文可能会给分类器带来噪声。在本文中，我们提出了一种新的方法，利用情感标签，以提高仇恨语音检测在自然语言推理框架。我们设计了一个新颖的框架SRIC，它同时执行两项任务：（1）在线帖子和情感主题标签之间的语义关系推理，以及（2）对这些帖子的情感分类。语义关系推理旨在鼓励模型将情感指示信息编码为在线帖子的表示。我们在两个真实世界的数据集上进行了广泛的实验，并证明了我们提出的框架与最先进的表示学习模型相比的有效性。
2022-04-14 cs.CL
Breaking Data Efficiency Dilemma: A Federated and Augmented Learning Framework For Alzheimer's Disease Detection via Speech
Tianjin Key Laboratory of Cognitive Computing and Application（认知计算与应用天津重点实验室）；College of Intelligence and Computing, Tianjin University（智能计算学院，天津大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院）；College of Computer and Data Science, Fuzhou University（计算机与数据科学学院，福州大学）；Huiyan Technology (Tianjin) Co., Ltd（慧研科技（天津）有限公司）
FAL-AD通过联邦学习与数据增强框架，实现阿尔茨海默病语音检测中的数据效率提升，达到91.52%的多模态准确率。
2026-02-16 cs.AI cs.CL
CV-18 NER: Augmented Common Voice for Named Entity Recognition from Arabic Speech
本文提出CV-18 NER数据集，通过增强阿拉伯语Common Voice 18语料库并添加细粒度Wojood标注，评估了端到端模型和流水线系统在阿拉伯语语音命名实体识别中的性能。
2026-04-02 cs.CL
Code-Switching Detection with Data-Augmented Acoustic and Language Models
Radboud University（拉德堡德大学）；National University of Singapore（新加坡国立大学）
在本文中，我们研究的代码切换（CS）的自动语音识别（ASR）系统与数据增强的声学和语言模型的代码切换检测性能。我们的重点是承认弗里斯兰语-荷兰语无线电广播，其中一种混合语言，即弗里斯兰语，资源不足。最近，我们已经探讨了如何声学建模（AM）可以受益于单语语音数据属于高资源的混合语言。为了这个目的，我们通过应用自动转录和单语荷兰语语音来训练最先进的AM。此外，我们已经改进了语言模型（LM）通过创建CS文本以各种方式，包括文本生成使用现有CS文本训练的循环LM。受到显着提高CS ASR性能的启发，我们深入研究了CS检测性能的同一ASR系统在这项工作中报告CS检测精度连同详细的检测误差分析。
2018-07-28 cs.CL
Data-augmented cross-lingual synthesis in a teacher-student framework
ReadSpeaker
跨语言合成可以被定义为让说话者用另一种语言生成流利的合成语音的任务。这是一项具有挑战性的任务，并且所产生的语音可能遭受自然度降低、口音语音和/或基本语音特征的损失。以前的研究表明，许多模型似乎没有足够的泛化能力，在这些跨语言方面都表现良好。为了克服这些泛化问题，我们建议将师生范式应用于跨语言综合。虽然教师模型通常用于生成教师强制数据，但我们建议也使用它来生成看不见的说话者-语言对的增强数据，其目的是保留基本的说话者特征。这两组数据然后用于学生模型训练，其被训练以保留教师强制数据中存在的自然度和韵律变化，同时从增强数据学习说话者身份。对学生模型进行了一些修改，使教师强迫和增强数据的分离更加简单。结果表明，该方法提高了说话人特征的保留在讲话中，同时设法保留高水平的自然度和韵律变化。
2022-03-31 cs.CL cs.SD eess.AS
Retrieval-Augmented Dialogue Knowledge Aggregation for Expressive Conversational Speech Synthesis
Inner Mongolia University（内蒙古大学）；The Chinese University of Hong Kong（香港中文大学）
针对现有对话语音合成忽略存储对话中风格知识的问题，提出RADKA-CSS方案，通过多属性检索匹配相似存储对话、多粒度图编码与多源知识聚合利用风格信息，在DailyTalk数据集上表现力优于基线模型。
2025-01-11 cs.CL
Combining Unsupervised and Text Augmented Semi-Supervised Learning for Low Resourced Autoregressive Speech Recognition
Raytheon BBN Technologies（雷神BBN技术公司）
无监督表示学习的最新进展已经证明了预训练对大量阅读语音的影响。我们适应这些技术的领域自适应在低资源-无论是在数据和计算-会话和广播领域。超越CTC，我们以无监督的方式预训练最先进的Conformer模型。虽然无监督方法优于传统的半监督训练，但这些技术是互补的。与单独的半监督训练相比，结合这些技术在所有条件下平均WER有5%的绝对改善。通过外部语言模型合并附加文本数据。通过使用基于CTC的解码，我们能够更好地利用额外的文本数据。当用作转录模型时，它允许Conformer模型通过半监督训练而不是浅融合来更好地结合来自语言模型的知识。与浅融合相比，使用基于CTC的解码进行半监督训练时，最终性能绝对值额外提高2%。
2022-02-11 cs.CL cs.SD eess.AS
Attention-Augmented End-to-End Multi-Task Learning for Emotion Prediction from Speech
Imperial College London（帝国理工学院）；audEERING GmbH（audEERING有限公司）；University of Augsburg（奥格斯堡大学）
尽管对用于语音情感识别的端到端学习系统的研究兴趣日益增加，但是传统系统或者部分地由于有限的训练数据而遭受过拟合，或者没有明确地考虑针对特定任务的自动学习的表示的不同贡献。在这方面的贡献，我们提出了一个新的端到端的框架，这是通过学习其他辅助任务和注意力机制增强。也就是说，我们联合训练具有若干不同但相关的情感预测任务的端到端网络，即，唤醒、效价和优势预测，以提取比传统系统更鲁棒的在各种任务之间共享的表示，希望它能够缓解过拟合问题。同时，在每个任务的层之上实现注意力层，目的是捕获每个单独任务的不同片段部分的贡献分布。为了评估所提出的系统的有效性，我们进行了广泛使用的数据库IEMOCAP一组实验。实证结果表明，所提出的系统显着优于相应的基线系统。
2019-03-29 cs.CL cs.LG
FAD-SA-GRU: Enhancing Hate Speech Detection in Algerian Dialect Through Feature-Augmented Self-Attention GRU Networks
USTHB（阿尔及尔科学技术大学）；ATM Mobilis Algiers（阿尔及尔移动ATM公司）
研究阿尔及利亚方言社交媒体上的仇恨言论检测，提出FAD-SA-GRU混合架构，通过多嵌入融合结合多种语义表示，经自注意力增强GRU编码器检测。实验表明该方法在多指标上优于基线，有效提升低资源方言仇恨言论检测效果。
2026-07-14 cs.CL
Benchmarking Japanese Speech Recognition on ASR-LLM Setups with Multi-Pass Augmented Generative Error Correction
Nara Institute of Science and Technology (NAIST)（奈良科学技术研究所（NAIST））；National Institute of Information and Communications Technology (NICT)（信息通信研究机构（NICT））；NVIDIA Research（英伟达研究院）；Kyoto University（京都大学）
本研究提出首个日语ASR生成错误校正（GER）基准，并引入多遍增强GER（MPA GER）方法，通过整合多系统假设与多LLM修正提升日语语音识别质量与泛化能力。
2024-10-11 cs.CL cs.SD eess.AS
SyncVoice: Simple and Effective Automatic Video Dubbing with Vision-Augmented TTS
School of Informatics, Xiamen University, China（厦门大学信息学院）；MiLM Plus, Xiaomi Inc., China（小米公司）；School of Electronic Science and Engineering, Xiamen University, China（厦门大学电子科学与技术学院）
SyncVoice通过视觉增强预训练TTS模型，提升视频配音的语音自然度和音视频同步性能，适用于多语言视频翻译场景。
2026-09-16 cs.AI cs.CL cs.CV
T5 for Hate Speech, Augmented Data and Ensemble
Luleå University of Technology（吕勒奥理工大学）
我们使用6个不同数据集的11个子任务的不同最先进（SoTA）基线对自动仇恨言论（HS）检测进行了相对广泛的调查。我们的动机是确定最近的SoTA模型中哪一个最适合自动仇恨语音检测，以及数据增强和集成等方法对最佳模型的优势。我们开展了6项跨任务调查。我们在两个子任务上实现了新的SoTA-HASOC 2020数据集的子任务A和B的宏F1得分分别为91.73%和53.21%，而之前的SoTA分别为51.52%和26.52%。我们在另外两个数据集上实现了接近SoTA-OLID 2019数据集的子任务A的宏F1得分为81.66%，HASOC 2021数据集的子任务A为82.54%，其中SoTA分别为82.9%和83.05%。我们执行错误分析，并使用两个可解释的人工智能（XAI）算法（IG和SHAP）来揭示两个模型（Bi-LSTM和T5）如何通过使用示例进行预测。本文的其他贡献包括：1）引入了一种简单、新颖的机制来纠正T5中的类外（OOC）预测; 2）详细描述了数据增强方法; 3）通过使用几个示例和XAI，揭示了HASOC 2021数据集中的不良数据注释（加强对更好质量控制的需要），以及4）公开发布我们的标准检查点和代码，以提高透明度。
2022-10-11 cs.CL
ConvRNN-T: Convolutional Augmented Recurrent Neural Network Transducers for Streaming Speech Recognition
Alexa Machine Learning, Amazon（亚马逊Alexa机器学习部门）
循环神经网络转换器（RNN-T）是一种突出的流式端到端（E2 E）ASR技术。在RNN-T中，声学编码器通常由LSTM堆栈组成。最近，作为LSTM层的替代方案，引入了Conformer架构，其中RNN-T的编码器被修改后的Transformer编码器所取代，该编码器由前端和注意力层之间的卷积层组成。在本文中，我们介绍了一种新的流式ASR模型，卷积增强循环神经网络传感器（ConvRNN-T），其中我们使用由局部和全局上下文CNN编码器组成的新型卷积前端来增强基于LSTM的RNN-T。ConvRNN-T利用因果一维卷积层、挤压和激励、膨胀和残差块为LSTM层提供全局和局部音频上下文表示。我们证明了ConvRNN-T在Librispeech和内部数据上优于RNN-T，Conformer和ContextNet。此外，与Conformer相比，ConvRNN-T的计算复杂性更低。ConvRNN-T卓越的准确性和低占用空间使其成为设备上流式ASR技术的有希望的候选者。
2022-09-29 cs.CL cs.SD eess.AS
DANCER: Entity Description Augmented Named Entity Corrector for Automatic Speech Recognition
National Taiwan Normal University（台湾师范大学）；E.SUN Financial Holding Co., Ltd.（玉山金融控股股份有限公司）
针对ASR中命名实体音素混淆问题，提出融合实体描述的DANCER校正模型，结合EDA-MLM与稠密检索，在AISHELL-1和Homophone数据集上均显著降低命名实体字符错误率。
2024-04-11 cs.CL
ReZG: Retrieval-Augmented Zero-Shot Counter Narrative Generation for Hate Speech
Sichuan University（四川大学）；Cyber Science Research Institute, Sichuan University（四川大学网络科学研究院）
ReZG通过多维层次检索与基于能量的约束解码，在不依赖目标内反叙事训练样本的情况下实现零样本反叙事生成，显著提升了针对未见仇恨言论目标的反驳成功率与相关性。
2024-12-28 cs.CL
Cross-lingual Retrieval-Augmented Classification for Dysarthria Severity Assessment
Department of Artificial Intelligence, Sogang University, South Korea（韩国西江大学人工智能系）
提出跨语言检索增强分类（CRAC）方法，通过对齐-检索-融合流程利用另一种语言的语音数据，在说话人无关的三分类任务中，韩语和意大利语数据集上分别达到87.3%和86.7%的平衡准确率，比单语基线提升8.4和20.0个百分点。
2026-06-23 cs.AI cs.CL cs.SD
