Toward Fair Speech Technologies: A Comprehensive Survey of Bias and Fairness in Speech AI
National Taiwan University（台湾大学）；University of Southern California（南加州大学）；Academia Sinica（中央研究院）
本综述整合400余项相关研究，构建统一框架，针对语音模态提出7种公平定义，梳理偏差来源并系统化缓解策略，为语音AI的公平性研究提供了全面指引。
2026-08-12 cs.SD eess.AS
Towards Advanced Speech Signal Processing: A Statistical Perspective on Convolution-Based Architectures and its Applications
IIT Kanpur（印度理工学院坎普尔分校）
本文综述基于卷积的语音信号处理模型（如CNNs、Conformers等）的统计背景与多场景应用，通过对比训练成本、模型大小等指标分析各模型优劣，为语音技术发展提供研究方向。
2024-11-20 cs.AI cs.CL cs.SD
From Statistical Methods to Pre-Trained Models; A Survey on Automatic Speech Recognition for Resource Scarce Urdu Language
Shenzhen University（深圳大学）；School of Artificial Intelligence, CAS Institute of Automation（中国科学院自动化研究所人工智能学院）；University of Chinese Academy of Sciences（中国科学院大学）
本文综述了资源稀缺的乌尔都语自动语音识别研究，梳理从统计方法到预训练模型的技术演进，分析现有数据集与算法工具，并指出未来研究方向。
2026-10-30 cs.CL cs.SD eess.AS
End-to-End Speech Recognition: A Survey
在过去十年的自动语音识别（ASR）研究中，与没有深度学习的建模相比，深度学习的引入使单词错误率大幅降低了50%以上。在这种转变之后，引入了许多全神经ASR架构。这些所谓的端到端（E2E）模型提供高度集成的、完全神经的ASR模型，这些模型强烈依赖于一般的机器学习知识，从数据中更一致地学习，同时较少依赖于ASR领域特定的经验。深度学习的成功和热情采用伴随着更通用的模型架构，导致E2E模型现在成为突出的ASR方法。本调查的目标是提供一个分类的E2E ASR模型和相应的改进，并讨论其属性和经典的隐马尔可夫模型（HMM）的ASR架构的关系。本工作涵盖了E2E ASR的所有相关方面：建模、培训、解码和外部语言模型集成，并讨论了性能和部署机会，以及对未来潜在发展的展望。
2023-03-03 cs.CL cs.SD eess.AS
Leveraging Unit Language Guidance to Advance Speech Modeling in Textless Speech-to-Speech Translation
Northeastern University（东北大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Kunming University of Science and Technology（昆明理工大学）；NiuTrans Research（牛翻译研究院）
针对无文本语音到语音翻译的跨模态特征提取、跨语言长序列对齐两大挑战，提出基于n-gram构建的单元语言，结合多任务学习与任务提示建模指导语音建模，在Voxpupil数据集上实现显著提升，性能比肩文本训练模型。
2025-05-21 cs.AI cs.CL cs.SD
Careful Whisper -- leveraging advances in automatic speech recognition for robust and interpretable aphasia subtype classification
nyra health GmbH（nyra健康有限公司）
本文提出一种结合CTC和编码器-解码器自动语音识别模型及自然语言处理技术的全自动化流程，通过提取语音特征生成健康语音原型，实现了区分失语症与健康对照组的人类水平准确率及90%的亚型分类准确率。
2023-08-02 cs.CL cs.LG cs.SD
Survey of End-to-End Multi-Speaker Automatic Speech Recognition for Monaural Audio
Worcester Polytechnic Institute（沃斯特理工大学）
本文系统综述了端到端多说话人自动语音识别的神经架构范式（SIMO与SISO）、近期改进方法及长语音扩展策略，并通过标准基准评估比较了各类方法。
2026-05-27 cs.AI cs.CL cs.SD
Recent Advances in End-to-End Automatic Speech Recognition
Microsoft（微软公司）
最近，语音社区正在看到从基于深度神经网络的混合建模向用于自动语音识别（ASR）的端到端（E2E）建模的显著趋势。虽然E2E模型在ASR准确性方面在大多数基准中实现了最先进的结果，但目前仍有很大比例的商用ASR系统使用混合模型。有许多实际因素影响生产模式部署决策。传统的混合模型，几十年来一直在优化生产，通常擅长这些因素。如果不能针对所有这些因素提供出色的解决方案，E2E模式很难广泛商业化。在本文中，我们将概述E2E模型的最新进展，重点关注从行业角度应对这些挑战的技术。
2022-02-02 cs.AI cs.CL cs.SD
More than words: Advancements and challenges in speech recognition for singing
Munich University of Applied Sciences（慕尼黑应用科学大学）
本文综述歌唱语音识别的独特挑战（音高变化、声乐风格、背景音乐干扰）及关键任务（音素识别、语言识别、关键词检出、歌词转录），结合个人经验并展望深度学习与大数据集驱动的未来方向。
2024-03-14 cs.CL cs.IR cs.LG
Data-Driven Mispronunciation Pattern Discovery for Robust Speech Recognition
Cornell University（康奈尔大学）；NAVER Cloud Corporation（NAVER云公司）
本文提出两种数据驱动方法，利用语音语料库和注意力映射自动检测非母语者发音错误模式，在母语和非母语英语语音识别上分别提升5.7%和12.8%，增强了ASR系统在缺乏先验语言知识场景下的鲁棒性。
2025-02-01 cs.CL cs.SD eess.AS
SimulMEGA: MoE Routers are Advanced Policy Makers for Simultaneous Speech Translation
Auditory Cognition and Computational Acoustics Lab（听觉认知与计算声学实验室）；MoE Key Lab of Artificial Intelligence（MoE人工智能重点实验室）；AI Institute（人工智能研究院）；School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院）
针对同声传译中质量、延迟与连贯性难平衡，尤其多语言场景策略学习困难的问题，提出无监督框架SimulMEGA，结合前缀训练与MoE精炼器隐式学习读写决策，在多语言对及流式TTS任务中实现更优延迟-质量权衡。
2025-10-29 cs.CL cs.SD eess.AS
On The Landscape of Spoken Language Models: A Comprehensive Survey
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（国立台湾大学）；Toyota Technological Institute at Chicago（丰田芝加哥技术研究所）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）；ENS - PSL, EHESS, CNRS（巴黎高等师范学院 - 巴黎文理研究大学、社会科学高等研究院、法国国家科学研究中心）
本文综述了语音语言模型的发展，分析了其架构、训练和评估方法，探讨了关键挑战与未来方向。
2026-04-07 cs.CL cs.SD eess.AS
Speech Recognition Transformers: Topological-lingualism Perspective
University of Petroleum and Energy Studies（石油与能源研究大学）；Ulster University（阿尔斯特大学）
本文从拓扑语言学视角全面综述了面向语音模态的 Transformer 技术，涵盖传统 ASR 背景、多语言基础模型、架构与评估指标及工具包，并探讨了开放挑战与未来方向。
2024-08-27 cs.CL cs.SD eess.AS
Aligning Stuttered-Speech Research with End-User Needs: Scoping Review, Survey, and Guidelines
4 University of Edinburgh, UK；5 School of Health Sciences \& IEETA, University of Aveiro, Portugal
本文通过范围综述和70名终端用户调查，识别出口误语音研究与用户需求之间的差距，并提出解决方向和指南。
2026-04-22 cs.CL cs.HC
MSLM-S2ST: A Multitask Speech Language Model for Textless Speech-to-Speech Translation with Speaker Style Preservation
Carnegie Mellon University（卡内基梅隆大学）；Meta AI；The Chinese University of Hong Kong（香港中文大学）
本文提出多任务语音语言模型MSLM，一种仅解码器架构，在不依赖文本数据的情况下实现保留说话人风格的多语言语音到语音翻译。
2024-03-19 cs.CL cs.SD eess.AS
Recent Advances in End-to-End Simultaneous Speech Translation
School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；International School, Jinan University（暨南大学国际学院）；College of Computer Science and Technology, Harbin Engineering University（哈尔滨工程大学计算机科学与技术学院）；NiuTrans Research（NiuTrans研究院）
本文综述端到端同声传译的最新进展，聚焦处理长语音流、实时性、质量与延迟平衡及数据稀缺四大挑战，并提出未来研究方向。
2024-08-20 cs.AI cs.CL cs.SD
IMS-Speech: A Speech to Text Tool
Institute for Natural Language Processing (IMS), University of Stuttgart（斯图加特大学自然语言处理研究所）
我们提出的IMS语音，德语和英语语音转录的一个基于网络的工具，旨在促进在各个学科的研究，需要访问口语材料中的词汇信息。该工具基于现代开放源码软件栈、先进的语音识别方法和公共数据资源，学术研究人员可以免费获得。所使用的模型被构建为通用的，以提供在不同的任务和条件下的竞争力的准确性的transanimation。
2019-08-13 cs.CL cs.SD eess.AS
Advances in All-Neural Speech Recognition
Microsoft Research（微软研究院）
本文提出了基于CTC的全神经（或端到端）语音识别器的设计。我们提出了一种新的符号库存，和一种新的迭代CTC方法，其中第二个系统是用来将一个嘈杂的初始输出到一个清洁的版本。我们提出了一些稳定和初始化的方法，我们发现有用的训练这些网络。我们评估我们的系统上常用的NIST 2000会话电话测试集，并显着超过以前公布的类似系统的性能，无论是使用和不使用外部语言模型和解码技术。
2017-01-25 cs.CL
Connecting Humanities and Social Sciences: Applying Language and Speech Technology to Online Panel Surveys
Radboud University（拉德堡德大学）；Netherlands Interdisciplinary Demographic Institute (NIDI)-KNAW/University of Groningen（荷兰跨学科人口研究所（NIDI）-KNAW/格罗宁根大学）
在本文中，我们探讨了应用语言和语音技术的开放式问题，在荷兰的小组调查。在一个实验波中，受访者可以选择通过语音或键盘回答开放性问题。自动语音识别（ASR）被用来处理口头响应。我们评估了这些输入方式的答案，以调查口语和打字答案之间的差异。我们报告了ASR系统产生的错误，并调查了这些错误对下游分析的影响。开放式问题给了回答者更多的自由，但需要进行大量的分析工作。我们评估了使用基于转换器的模型（例如BERT）对开放式问题的答案应用情感分析和主题建模的可行性。基于transformer的模型的一个很大的优点是，它们是在大量的语言材料上训练的，不一定需要在目标材料上训练。这对于不包含大量文本材料的调查数据尤其有利。我们通过将自动标记与三个人类评分员进行比较来测试自动情感分析的质量，并通过比较基于自动和手动转录的口语答案生成的模型来测试主题建模的鲁棒性。
2023-02-21 cs.CL
TranSentence: Speech-to-speech Translation via Language-agnostic Sentence-level Speech Encoding without Language-parallel Data
Korea University（高丽大学）
提出无需语言平行数据的语音到语音翻译模型 TranSentence，通过语言无关句子级语音编码和单语数据训练实现跨语言语音生成，并扩展至多语言翻译且性能优于其他模型。
2024-01-17 cs.CL cs.SD eess.AS
Chunk Based Speech Pre-training with High Resolution Finite Scalar Quantization
Samsung Research America（三星美国研究）
本文提出基于分块的自监督学习算法，利用高分辨率有限标量量化提升语音预训练效果，实现流式和离线语音任务的高效性能。
2025-12-31 cs.CL cs.SD eess.AS
WavChat: A Survey of Spoken Dialogue Models
Zhejiang University（浙江大学）；Microsoft（微软公司）；Alibaba Group（阿里巴巴集团）；Tencent YouTu Lab（腾讯优图实验室）
针对口语对话系统缺乏全面综述的问题，本文按时间顺序梳理现有系统并分为级联与端到端范式，深入分析核心技术、数据集及评估体系，为该领域学术研究与工业应用提供参考。
2024-11-26 cs.CL cs.LG cs.MM
Advances in Joint CTC-Attention based End-to-End Speech Recognition with a Deep CNN Encoder and RNN-LM
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个最先进的端到端自动语音识别（ASR）模型。我们学习听和写字符与联合连接主义时间分类（CTC）和基于注意力的编码器-解码器网络。编码器是基于VGG网络的深度卷积神经网络（CNN）。CTC网络位于编码器之上，并与基于注意力的解码器联合训练。在束搜索过程中，我们将CTC预测、基于注意力的解码器预测和单独训练的LSTM语言模型相结合。我们实现了5- 10%的错误减少相比，以前的系统自发的日语和汉语语音，我们的端到端模型击败了传统的混合ASR系统。
2017-06-08 cs.CL
Training Neural Speech Recognition Systems with Synthetic Speech Augmentation
NVIDIA（英伟达）
构建准确的自动语音识别（ASR）系统需要一个大型数据集，该数据集包含由不同说话者集合产生的多个小时的标记语音样本。缺乏这种开放的免费数据集是阻碍ASR研究进步的主要问题之一。为了解决这个问题，我们建议用合成语音来增强自然语音数据集。我们训练非常大的端到端神经语音识别模型使用LibriSpeech数据集与合成语音增强。这些新的模型实现了最先进的字出错率（WER）的字符级为基础的模型，而无需外部语言模型。
2018-11-02 cs.CL cs.LG cs.SD
FiLM-Based Speaker Conditioning of a SpeechLLM for Pathological Speech Recognition
Telefónica Innovación DigitalSpain（西班牙电信创新数字研究院）；Universidad Autónoma de MadridSpain（马德里自治大学）；Brno University of TechnologyCzech Republic（捷克布拉格技术大学）
本研究提出通过特征线性调制（FiLM）将x-vector说话人信息注入冻结的ASR编码器各Transformer层，实现对病理语音的说话人自适应，在不修改基础模型权重的情况下提升识别性能，并保持对非条件化语音的问答能力。
2026-06-04 cs.CL cs.SD eess.AS
Bridging the Gap Between Monaural Speech Enhancement and Recognition with Distortion-Independent Acoustic Modeling
The Ohio State University（俄亥俄州立大学）
自几年前引入深度学习以来，单耳语音增强已经取得了巨大的进步。虽然增强语音已被证明具有更好的可理解性和质量的人类听众，它直接馈送到自动语音识别（ASR）系统训练与嘈杂的语音没有产生预期的改善ASR性能。在识别上缺乏增强益处，或者单耳语音增强和识别之间的差距，通常归因于在增强过程中引入的语音失真。在这项研究中，我们分析了失真的问题，比较不同的声学模型，并探讨了失真无关的单耳语音识别的训练计划。实验结果表明，与失真无关的声学建模能够克服失真问题。这样的声学模型还可以与不同于在训练期间使用的语音增强模型一起工作。此外，在CHiME-2语料库上，本文研究的模型优于以前最好的系统。
2019-03-13 cs.CL cs.SD eess.AS
Scheduled Interleaved Speech-Text Training for Speech-to-Speech Translation with LLMs
Sony Group CorporationJapan（索尼集团日本公司）；Sony EuropeGermany（索尼欧洲德国分公司）；Carnegie Mellon UniversityUSA（卡内基梅隆大学美国分校）
针对大语言模型适配语音模态时数据不足的问题，提出调度式交错语音-文本训练法，通过词级交错文本并逐步降比实现渐进模态适配，在CVSS数据集上微调LLaMA3.2-1B验证了其对翻译性能的提升作用，低资源语言效果更明显。
2025-06-12 cs.CL cs.SD eess.AS
Synthesizing Dysarthric Speech Using Multi-talker TTS for Dysarthric Speech Recognition
University of Kentucky（肯塔基大学）；University of Connecticut（康涅狄格大学）；Marquette University（马凯特大学）
构音障碍是一种运动性言语障碍，其特征通常是通过缓慢、不协调的言语产生肌肉控制降低言语清晰度。自动语音识别（ASR）系统可以帮助构音障碍的说话者更有效地沟通。为了具有稳健的构音障碍特异性ASR，需要足够的训练语音，这是不容易获得的。文语转换（TTS）合成多说话人端到端TTS系统的最新进展表明，使用合成数据增强的可能性。在本文中，我们的目标是改善多扬声器端到端TTS系统合成构音障碍的语音，以改善构音障碍特异性DNN-HMM ASR的训练。在合成的语音，我们添加构音障碍的严重程度和暂停插入机制，以其他控制参数，如音高，能量和持续时间。结果表明，与基线相比，在额外的合成构音障碍语音上训练的DNN-HMM模型实现了12.2%的WER改善，添加严重程度和暂停插入控制使WER降低了6.5%，显示了添加这些参数的有效性。音频样本可在
2022-01-27 cs.CL cs.SD eess.AS
NeurST: Neural Speech Translation Toolkit
ByteDance（字节跳动）
NeurST是一个用于神经语音翻译的开源工具包。该工具包主要专注于端到端语音翻译，易于使用，修改和扩展到高级语音翻译研究和产品。NeurST旨在促进NLP研究人员的语音翻译研究，并为该领域建立可靠的基准。它为特征提取、数据预处理、分布式训练和评估提供了一步一步的方法。在本文中，我们将介绍NeurST的框架设计，并显示不同的基准数据集的实验结果，这可以被视为未来研究的可靠基线。该工具包可在https://github.com/bytedance/neurst/上公开获取，我们将在https://st-benchmark.github.io/上与其他同行和研究一起不断更新NeurST的性能。
2021-06-15 cs.CL cs.SD eess.AS
Less is More: Accurate Speech Recognition & Translation without Web-Scale Data
NVIDIA（英伟达）
本文提出多语言语音识别与翻译模型Canary，通过FastConformer架构、合成数据和先进训练技术，以远少于Whisper等模型的数据在英法西德语上实现更优性能。
2024-06-28 cs.CL cs.LG cs.SD
Analyzing Speech Unit Selection for Textless Speech-to-Speech Translation
LIA - Avignon Universite（阿维尼翁大学LIA研究所）；University of Cambridge（剑桥大学）
本研究探讨了无文本语音到语音翻译中目标语音单元的选择标准，通过下游任务分析发现，重合成性能优异的单元未必能提升翻译效能，揭示了目标特征选择对系统整体性能的复杂影响。
2024-07-08 cs.CL cs.LG cs.SD
Adapting Foundation Speech Recognition Models to Impaired Speech: A Semantic Re-chaining Approach for Personalization of German Speech
School of Computation, Information and Technology（计算、信息与技术学院）；Institute of Neuroinformatics（神经信息研究所）；Department of Computational Linguistics（计算语言学系）
针对Whisper等ASR模型识别非规范受损语音困难的问题，提出一种轻量级语义重链流水线，通过形式化单词选择和增强语义连贯性来丰富小型语音障碍数据集并个性化ASR模型，实验证明该方法有效提升了结构性语音障碍儿童的转录质量。
2025-06-23 cs.AI cs.CL cs.SD
A Survey of Voice Translation Methodologies - Acoustic Dialect Decoder
SSN College Of Engineering（SSN工程学院）
语音翻译一直是关于提供源文本或音频输入，并等待系统以所需的形式提供翻译输出。在本文中，我们提出了声学方言解码器（ADD）-语音语音耳机翻译设备。我们介绍和调查的语音工程领域的最新进展，采用在ADD，特别是侧重于识别，翻译和合成的三个主要处理步骤。通过设计源音频到文本的识别单元、源语言文本到目标语言文本的翻译单元和目标语言文本到目标语言语音的合成单元，解决了机器理解自然语言的问题。来自周围环境的语音将被耳机上的识别单元记录下来，一旦成功阅读一个句子，翻译就会开始。通过这种方式，我们希望在读取输入时提供翻译后的输出。识别单元将使用基于隐马尔可夫模型（HMM）的工具包（HTK），具有门控存储单元的混合RNN系统，以及合成单元，基于HMM的语音合成系统HTS。该系统最初将作为英语到泰米尔语的翻译设备。
2016-10-13 cs.CL cs.NE cs.SD
Summary on The Multilingual Conversational Speech Language Model Challenge: Datasets, Tasks, Baselines, and Methods
School of Intelligence Science and Technology, Nanjing University（智能科学与技术学院，南京大学）；College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学）；Huawei Technologies, China（华为技术有限公司）；Nexdata Technology Inc., USA（Nexdata技术公司）
本文总结了Interspeech2025多语言对话语音语言模型挑战赛，介绍了任务设置、约1604小时的真实多语言数据集、基线系统及参赛成果，并提炼了构建多语言对话SLLMs的宝贵见解。
2025-09-17 cs.SD eess.AS
Pushing the Limits of Non-Autoregressive Speech Recognition
Google Research（谷歌研究院）
我们将端到端语音识别的最新进展与非自回归自动语音识别相结合。我们推动了多个数据集的非自回归最先进结果的极限：LibriSpeech，Fisher+Switchboard和华尔街日报。我们的配方的关键是，我们利用CTC在巨型Conformer神经网络架构上进行SpecAugment和wav 2 vec 2预训练。我们在LibriSpeech测试/其他测试集上实现了1.8%/3.6%的WER，在Switchboard上实现了5.1%/9.8%的WER，在华尔街日报上实现了3.4%的WER，所有这些都没有语言模型。
2021-09-11 cs.CL cs.LG cs.SD
SeamlessExpressiveLM: Speech Language Model for Expressive Speech-to-Speech Translation with Chain-of-Thought
Meta AI
提出单一语音语言模型SeamlessExpressiveLM，利用思维链提示将语音到语音翻译分解为语义翻译与风格迁移两步，在语义质量和风格迁移上优于级联模型且参数效率更高。
2024-05-30 cs.AI cs.CL cs.SD
SpeechT: Findings of the First Mentorship in Speech Translation
Yasmin Moslem（未知）；Juan Julián Cea Morán（未知）；Mariano Gonzalez-Gomez（未知）；Muhammad Hazim Al Farouq（未知）；Farah Abdou（未知）；Satarupa Deb（未知）
本文报告首届语音翻译指导计划SpeechT的开展情况，参与者通过数据准备、建模和前沿研究，探索数据增强并比较端到端与级联系统，覆盖多种非英语语言。
2025-06-02 cs.CL cs.SD
SpeechGen: Unlocking the Generative Power of Speech Language Models with Prompts
Graduate Institute of Communication Engineering, National Taiwan University（台湾大学传播研究所）
针对语音难以直接适配大语言模型、语音生成应用受限的问题，本文提出统一框架SpeechGen，通过提示调优激发语音语言模型的生成能力，仅需约10M可训练参数，兼具效率与效果潜力。
2023-08-25 cs.AI cs.CL cs.LG
Advanced Long-context End-to-end Speech Recognition Using Context-expanded Transformers
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
本文讨论了端到端的自动语音识别（ASR）的长音频记录，如讲座和会话的讲话。大多数端到端ASR模型被设计为识别独立的话语，但是上下文信息（例如，说话者或主题）对ASR是有用。在我们之前的工作中，我们提出了一个上下文扩展的Transformer，它同时接受多个连续的话语，并预测最后一个话语的输出序列，在演讲和会话ASR基准中，从基于话语的基线实现了5-15%的相对误差减少。虽然结果显示出显着的性能增益，仍然有潜力进一步改善模型架构和解码过程。在本文中，我们通过以下方式扩展了我们之前的工作：（1）引入Conformer架构以进一步提高准确性，（2）使用新型激活回收技术加速解码过程，以及（3）启用触发注意力的流解码。我们证明了扩展的Transformer提供了最先进的端到端ASR性能，HKUST数据集的字符出错率为17.3%，Switchboard-300 Eval 2000 CallHome/Switchboard测试集的字出错率为12.0%/6.3%。新的解码方法将解码时间减少了50%以上，并进一步实现了具有有限准确度降级的流式ASR。
2021-04-19 cs.CL
Automatic Speech Recognition for the Basaà Language: A Low-Resource Approach
针对低资源语言巴萨语，提出一种自动语音识别方法，利用深度神经网络和Transformer架构，旨在解决资源匮乏语言的技术鸿沟。
2026-09-29 cs.AI cs.CL
GSRM: Generative Speech Reward Model for Speech RLHF
Meta Superintelligence Labs（Meta超智能实验室）；Massachusetts Institute of Technology（麻省理工学院）；Arizona State University（亚利桑那州立大学）；University of Southern California（南加州大学）
GSRM通过生成式语音奖励模型提升语音生成的自然度，利用可解释的推理链实现更准确的自然度评估。
2026-02-14 cs.AI cs.SD
Automatic Speech Recognition Advancements for Indigenous Languages of the Americas
ETS of Computer Systems Engineering, Universidad Politécnica de Madrid（马德里理工大学计算机系统工程高等技术学院）
本文针对美洲五种原住民语言微调Wav2vec2.0 XLS-R模型进行ASR研究，发现数据和超参数调整显著影响准确率但语言复杂性决定最终结果，并开源了各语言最佳模型。
2024-09-21 cs.CL
Speech SIMCLR: Combining Contrastive and Reconstruction Objective for Self-supervised Speech Representation Learning
AI Labs, YuanFuDao（元福道AI实验室）；AI Labs, Didi Chuxing（滴滴出行AI实验室）
自我监督的视觉预训练最近取得了重大进展。在这些方法中，Simplified极大地推进了ImageNet上自监督和半监督学习的最新技术水平。语音和视觉任务的输入特征表示都是连续的，因此考虑将类似的目标应用于语音表示学习是很自然的。在本文中，我们提出了语音模拟，一个新的自我监督的目标语音表示学习。在训练期间，Speech SimCLR对原始语音及其谱图应用增强。它的目标是最大化潜在空间中不同增强样本之间的一致性的对比损失和输入表示的重建损失的组合。该方法在语音情感识别和语音识别上取得了较好的效果。
2021-07-05 cs.CL
Style-Talker: Finetuning Audio Language Model and Style-Based Text-to-Speech Model for Fast Spoken Dialogue Generation
Columbia University（哥伦比亚大学）；University of Rochester（罗切斯特大学）
本文提出Style-Talker框架，通过微调音频LLM和基于风格的TTS模型，结合用户输入音频的转录与语音风格生成响应，在保持对话自然度和连贯性的同时将速度提升50%以上。
2024-08-13 cs.AI cs.CL eess.AS
Use of Knowledge Graph in Rescoring the N-Best List in Automatic Speech Recognition
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Bonn（波恩大学）
随着基于神经网络的方法的发展，自动语音识别（ASR）领域已经发展到构建具有语音接口的应用成为现实的水平。尽管有这些进步，建立一个实时语音识别器面临着几个问题，如识别精度低，域约束，和词汇表外的话。通过改进声学模型、语言模型、解码器以及在解码器输出端对N-最佳列表进行再评分，解决了识别准确率低的问题。我们正在考虑的N-最好的列表重新评分的方法，以提高识别精度。文献中的大多数方法都使用已识别句子中单词之间的语法，词汇，句法和语义联系作为特征来重新评分。在本文中，我们试图看到一个句子中的词之间的语义相关性，以重新核的N-最好的列表。语义相关度的计算使用transE~\cite{bordes2013translating}，一种低维嵌入的三元组在知识图谱的方法。本文的创新之处在于将语义网应用于自动语音识别。
2017-05-22 cs.CL
LongSpeech: A Scalable Benchmark for Transcription, Translation and Understanding in Long Speech
Alibaba International Digital Commerce（阿里巴巴国际数字商务）；Shanghai Jiao Tong University（上海交通大学）；Delft University of Technology（代尔夫特理工大学）；Linköping University（林肯大学）；University of Groningen（格罗宁根大学）
LongSpeech是一个大规模可扩展的语音基准，旨在评估和推动语音模型在长音频转录、翻译和理解上的能力，揭示了现有模型在多任务和高阶推理上的不足。
2026-01-20 cs.SD
When Large Language Models Meet Speech: A Survey on Integration Approaches
Kyoto University（京都大学）
本文综述了语音与大语言模型的集成方法，分为基于文本、潜在表示和音频标记三类，并探讨了应用与挑战。
2025-09-09 cs.CL cs.SD eess.AS
An experiment on an automated literature survey of data-driven speech enhancement methods
Universidade Estadual de Campinas（坎皮纳斯州立大学）；NeuralMind；ABB Corporate Research（ABB企业研究院）；KTH Royal Institute of Technology（皇家理工学院）
针对声学领域文献增多导致传统综述困难的问题，本研究用GPT模型对116篇数据驱动语音增强论文开展自动化综述，评估其回答特定查询的能力与局限性，发现自动化潜力大但需改进以提升技术问题回答的清晰度和准确性。
2023-10-10 cs.CL cs.SD eess.AS
A Survey on Neural Speech Synthesis
Microsoft Research Asia（微软亚洲研究院）
文本转语音（TTS）或语音合成，其目的是在给定文本的情况下合成可理解且自然的语音，是语音、语言和机器学习社区中的热门研究课题，并且在工业中具有广泛的应用。近年来，随着深度学习和人工智能的发展，基于神经网络的文语转换技术大大提高了合成语音的质量。在本文中，我们进行了全面的调查，神经TTS，旨在提供一个很好的理解，目前的研究和未来的趋势。我们重点介绍了神经TTS中的关键组件，包括文本分析，声学模型和声码器，以及几个高级主题，包括快速TTS，低资源TTS，鲁棒TTS，表达TTS和自适应TTS等。我们进一步总结了与TTS相关的资源（例如，数据集，开源实现），并讨论未来的研究方向。这项调查可以为学术研究人员和从事TTS工作的行业从业人员提供服务。
2021-07-23 cs.CL cs.LG cs.MM
Automatic Speech Recognition Datasets in Cantonese: A Survey and New Dataset
The Hong Kong University of Science and Technology（香港科技大学）
低资源语言的自动语音识别（ASR）改善了语言少数群体获得人工智能（AI）提供的技术优势的机会。在本文中，我们通过创建一个新的粤语数据集来解决香港粤语数据稀缺的问题。我们的数据集，多域粤语语料库（MDCC），包括73.6小时的干净的阅读语音配对的成绩单，从香港粤语有声读物收集。它包括哲学、政治、教育、文化、生活方式和家庭领域，涵盖广泛的主题。我们还回顾了所有现有的粤语数据集，并根据其语音类型，数据源，总大小和可用性对其进行分析。我们进一步使用Fairseq S2 T Transformer（一种最先进的ASR模型）在现有最大的数据集Common Voice zh-HK和我们提出的MDCC上进行实验，结果表明了我们数据集的有效性。此外，我们通过在MDCC和Common Voice zh-HK上应用多数据集学习，创建了一个强大而强大的粤语ASR模型。
2022-01-17 cs.CL cs.SD eess.AS
End-to-End Speech-to-Text Translation: A Survey
Indian Institute of Technology Indore（印度英迪拉·甘地国立技术学院印多尔分校）
本文系统综述了端到端语音到文本翻译的研究现状，梳理了所用模型、评估指标和数据集，分析了传统级联模型的不足，并指出了该领域的挑战与未来研究方向。
2024-06-08 cs.CL cs.SD eess.AS
Speech Editing -- a Summary
本文综述了基于文本的语音编辑方法，探讨通过修改mel-spectrogram和引入上下文感知韵律校正等技术提升编辑质量，回顾现有方法、指标与数据集，旨在指出问题并推动该领域研究创新。
2024-07-24 cs.CL cs.SD eess.AS
Towards Controllable Speech Synthesis in the Era of Large Language Models: A Systematic Survey
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；University of Surrey（萨里大学）
该系统性综述首次全面回顾可控TTS方法，从传统技术到基于自然语言提示的新兴方法，分类模型架构、控制策略等，总结挑战与数据集，为研究人员提供分类法并指明未来方向。
2025-08-25 cs.AI cs.CL cs.LG
Pushing the Performance of Synthetic Speech Detection with Kolmogorov-Arnold Networks and Self-Supervised Learning Models
Institute for Infocomm Research (I$^2$R)（信息通信研究所）
针对合成语音欺骗攻击对自动说话人验证系统的挑战，本研究提出将XLSR-Conformer模型中的多层感知机替换为KAN架构，在ASVspoof2021数据集上实现显著性能提升，为合成语音检测提供了新方向。
2025-06-17 cs.CL cs.SD eess.AS
