End-to-End Dereverberation, Beamforming, and Speech Recognition with Improved Numerical Stability and Advanced Frontend
MoE Key Lab of Artificial Intelligence, AI Institute, SpeechLab, Shanghai Jiao Tong University（上海交通大学人工智能教育部重点实验室、人工智能研究院、语音实验室）；Paderborn University（帕德博恩大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；NTT Corporation（日本电信电话株式会社）
最近，端到端的方法已成功地应用于单通道和多通道条件下的多说话人语音分离和识别。然而，严重的性能退化仍然观察到在混响和噪声的情况下，仍然有一个很大的性能差距之间的消声和混响条件。在这项工作中，我们专注于多通道多扬声器混响条件，并建议扩展我们以前的框架，用于端到端去混响，波束成形和语音识别，具有改进的数值稳定性和先进的前端子网络，包括语音活动检测，如面具。这些技术显著稳定了端到端的培训过程。在空间化wsj 1 - 2 mix语料库上的实验表明，与传统的多通道E2 E语音识别系统相比，该系统的WER相对降低了约35%，并且在混响多说话人条件下，仅使用ASR标准进行训练时，也获得了不错的语音去混响和分离性能（SDR=12.5 dB）。
2021-02-23 cs.SD eess.AS
Scenario Aware Speech Recognition: Advancements for Apollo Fearless Steps & CHiME-4 Corpora
University of Texas at Dallas（得克萨斯大学达拉斯分校）
在这项研究中，我们建议调查三重损失的目的，替代功能表示ASR。我们考虑一个一般的非语义语音表示，这是训练与自我监督的标准的基础上三重损失称为TRILL，声学建模，以代表每个音频的声学特性。然后将该策略应用于CHiME-4语料库和CRSS-UTDallas Fearless Steps语料库，重点是由5个选定的NASA Apollo-11通道组成的100小时挑战语料库。对提取的嵌入的分析提供了基于声学区分属性将训练话语表征为不同组所需的基础。此外，我们还证明了基于三重损失的嵌入在声学建模中的性能优于i-Vector，证实了三重损失比说话人特征更有效。通过额外的技术，如发音和沉默概率建模，再加上多风格的训练，我们实现了+5.42%和+3.18%的相对WER改善的无畏步骤语料库的开发和评估集。为了探索推广，我们在CHiME-4的1通道轨道上进一步测试了相同的技术，并观察到真实测试数据的相对WER改善了+11.90%。
2021-09-23 cs.LG cs.SD eess.AS
Recent Advances in End-to-End Automatic Speech Recognition
Microsoft（微软公司）
最近，语音社区正在看到从基于深度神经网络的混合建模向用于自动语音识别（ASR）的端到端（E2E）建模的显著趋势。虽然E2E模型在ASR准确性方面在大多数基准中实现了最先进的结果，但目前仍有很大比例的商用ASR系统使用混合模型。有许多实际因素影响生产模式部署决策。传统的混合模型，几十年来一直在优化生产，通常擅长这些因素。如果不能针对所有这些因素提供出色的解决方案，E2E模式很难广泛商业化。在本文中，我们将概述E2E模型的最新进展，重点关注从行业角度应对这些挑战的技术。
2022-02-02 cs.AI cs.CL cs.SD
Towards End-to-end Unsupervised Speech Recognition
Meta AI；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
无监督语音识别显示出巨大的潜力，使自动语音识别（ASR）系统可访问的每一种语言。然而，现有的方法仍然严重依赖于手工制作的预处理。与使监督语音识别端到端的趋势类似，我们引入了wav 2 vec-U 2.0，它取消了所有音频端的预处理，并通过更好的架构提高了准确性。此外，我们引入了一个辅助的自监督目标，将模型预测与输入联系起来。实验表明，wav 2 vec-U 2.0改进了不同语言的无监督识别结果，同时在概念上更简单。
2022-06-15 cs.CL cs.SD eess.AS
Advanced Modeling of Interlanguage Speech Intelligibility Benefit with L1-L2 Multi-Task Learning Using Differentiable K-Means for Accent-Robust Discrete Token-Based ASR
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology (AIST)（国家工业科学与技术研究院）
本文提出基于可微k均值的L1-L2多任务学习方法，用于提升抗口音的离散token基于ASR的语义识别益处。
2026-01-27 cs.SD
Federated Self-supervised Speech Representations: Are We There Yet?
University of Cambridge（剑桥大学）；Samsung AI（三星人工智能）；Avignon University（阿维尼翁大学）
支持麦克风的设备无处不在，导致大量未标记的音频数据在边缘产生。将自监督学习（SSL）和联邦学习（FL）集成到一个连贯的系统中，可以潜在地提供数据隐私保证，同时还可以提高语音表示的质量和鲁棒性。在本文中，我们提供了一个第一的系统研究的可行性和复杂性训练语音SSL模型下FL场景的算法，硬件和系统限制的角度。尽管它们的组合具有很高的潜力，但我们发现现有的系统限制和算法行为使得SSL和FL系统在今天几乎不可能构建。然而，至关重要的是，我们的研究结果表明，具体的性能瓶颈和研究机会，将使这种情况得到扭转。虽然我们的分析表明，考虑到硬件的现有趋势，混合SSL和FL语音系统要到2027年才能实现。我们相信，这项研究可以作为一个路线图，加快工作，实现这一里程碑早得多。
2022-07-19 cs.LG cs.SD eess.AS
Advanced Clustering Techniques for Speech Signal Enhancement: A Review and Metanalysis of Fuzzy C-Means, K-Means, and Kernel Fuzzy C-Means Methods
Artificial Intelligence and Innovation Centre, University of Kurdistan Hewler（库尔德斯坦赫勒大学人工智能与创新中心）；Computer Science and Engineering Department, University of Kurdistan Hewler（库尔德斯坦赫勒大学计算机科学与工程系）
本文针对噪声环境下语音分离识别的难题，综述对比了KFCM、KM、FCM等聚类语音增强方法，指出KFCM适配性更优，还提出了现有方法的不足与结合神经网络的混合模型优化方向。
2025-10-03 cs.AI cs.SD eess.AS
Towards a Common Speech Analysis Engine
IBM Research AI（IBM研究院人工智能）；Technion - Israel Institute of Technology（以色列理工学院）
自我监督表示学习的最新创新导致了自然语言处理的显著进步。也就是说，在语音处理领域，基于自监督表示学习的系统还没有被认为是最先进的。我们建议利用基于自监督的语音处理的最新进展来创建一个通用的语音分析引擎。这样的引擎应该能够使用单个架构处理多个语音处理任务，以获得最先进的准确性。该引擎还必须支持具有小训练数据集的新任务。除此之外，通用引擎应该能够支持使用客户内部私有数据的分布式训练。我们提出了一个共同的语音分析引擎的基础上的HuBERT自监督语音表示的架构。在实验的基础上，我们报告了我们的语言识别和情感识别的标准评估NIST-LRE 07和IEMOCAP的结果。我们的结果超过了迄今为止在这些任务上报告的最先进的性能。我们还分析了我们的引擎在情感识别任务中使用减少量的训练数据，并展示了如何实现改进的结果。
2022-03-01 cs.CL cs.LG cs.SD
Training Neural Speech Recognition Systems with Synthetic Speech Augmentation
NVIDIA（英伟达）
构建准确的自动语音识别（ASR）系统需要一个大型数据集，该数据集包含由不同说话者集合产生的多个小时的标记语音样本。缺乏这种开放的免费数据集是阻碍ASR研究进步的主要问题之一。为了解决这个问题，我们建议用合成语音来增强自然语音数据集。我们训练非常大的端到端神经语音识别模型使用LibriSpeech数据集与合成语音增强。这些新的模型实现了最先进的字出错率（WER）的字符级为基础的模型，而无需外部语言模型。
2018-11-02 cs.CL cs.LG cs.SD
Advanced Long-Content Speech Recognition With Factorized Neural Transducer
Shanghai Jiao Tong University（上海交通大学）；Microsoft Corporation（微软公司）
本文提出LongFNT和SLongFNT两种方法，将长内容文本与语音信息整合至分解神经转换器架构，在非流式和流式语音识别中分别显著降低了词错率并保持良好延迟。
2024-03-20 cs.SD eess.AS
Data-Driven Mispronunciation Pattern Discovery for Robust Speech Recognition
Cornell University（康奈尔大学）；NAVER Cloud Corporation（NAVER云公司）
本文提出两种数据驱动方法，利用语音语料库和注意力映射自动检测非母语者发音错误模式，在母语和非母语英语语音识别上分别提升5.7%和12.8%，增强了ASR系统在缺乏先验语言知识场景下的鲁棒性。
2025-02-01 cs.CL cs.SD eess.AS
Less is More: Accurate Speech Recognition & Translation without Web-Scale Data
NVIDIA（英伟达）
本文提出多语言语音识别与翻译模型Canary，通过FastConformer架构、合成数据和先进训练技术，以远少于Whisper等模型的数据在英法西德语上实现更优性能。
2024-06-28 cs.CL cs.LG cs.SD
Analyzing Speech Unit Selection for Textless Speech-to-Speech Translation
LIA - Avignon Universite（阿维尼翁大学LIA研究所）；University of Cambridge（剑桥大学）
本研究探讨了无文本语音到语音翻译中目标语音单元的选择标准，通过下游任务分析发现，重合成性能优异的单元未必能提升翻译效能，揭示了目标特征选择对系统整体性能的复杂影响。
2024-07-08 cs.CL cs.LG cs.SD
Cascaded encoders for fine-tuning ASR models on overlapped speech
Google Inc.（谷歌公司）
本文提出一种级联RNN-T编码器配置的MT-ASR模型，通过结合基础模型与多说话人掩码模型，在不牺牲非重叠语音性能的前提下，显著提升了重叠语音的识别准确率。
2023-06-28 cs.SD eess.AS
Audio Adversarial Examples for Robust Hybrid CTC/Attention Speech Recognition
Technical University of Munich（慕尼黑工业大学）
自动语音识别（ASR）的最新进展展示了端到端系统如何能够实现最先进的性能。有一种趋势是更深入的神经网络，但是这些ASR模型也更复杂，更容易受到精心设计的噪声数据的影响。这些音频对抗示例（AAE）之前在使用连接主义时间分类（CTC）以及基于注意力的编码器-解码器架构的ASR系统上进行了演示。根据混合CTC/注意力ASR系统的思想，本文提出了生成AAE的算法，将这两种方法结合到一个联合CTC-注意力梯度方法中。使用混合CTC/注意力端到端ASR模型对两个参考句子进行评估作为案例研究，以及TEDSTV 2语音识别任务。然后，我们展示了该算法在对抗训练中的应用，以获得更强大的ASR模型。
2020-07-21 cs.SD eess.AS
Automatic Speech Recognition Services: Deaf and Hard-of-Hearing Usability
Rochester Institute of Technology（罗切斯特理工学院）
如今，语音正在成为一种更加常见（即使不是标准）的技术接口。这从多年来技术变革的趋势中可以看出。语音越来越多地用于控制家庭，汽车，工作场所和公共空间内的程序，电器和个人设备，通过智能手机和家庭助理设备使用亚马逊的Alexa，谷歌的助手和苹果的Siri以及其他激增的技术。然而，大多数语音接口对于聋人和听力困难（DHH）的人来说是不可访问的。在本文中，目前的自动语音识别（ASR）与DHH说话人的声音的性能进行评估。多年来，在云计算和机器学习算法（采用自定义词汇模型）的帮助下，ASR已经有所改善，并且能够达到低至5-6%的单词出错率（WER）[1][2][3]。本文使用了自定义词汇表模型，并在使用DHH语音时评估了改进的意义。
2019-09-03 cs.HC cs.SD eess.AS
IMS-Speech: A Speech to Text Tool
Institute for Natural Language Processing (IMS), University of Stuttgart（斯图加特大学自然语言处理研究所）
我们提出的IMS语音，德语和英语语音转录的一个基于网络的工具，旨在促进在各个学科的研究，需要访问口语材料中的词汇信息。该工具基于现代开放源码软件栈、先进的语音识别方法和公共数据资源，学术研究人员可以免费获得。所使用的模型被构建为通用的，以提供在不同的任务和条件下的竞争力的准确性的transanimation。
2019-08-13 cs.CL cs.SD eess.AS
Pushing the Limits of Non-Autoregressive Speech Recognition
Google Research（谷歌研究院）
我们将端到端语音识别的最新进展与非自回归自动语音识别相结合。我们推动了多个数据集的非自回归最先进结果的极限：LibriSpeech，Fisher+Switchboard和华尔街日报。我们的配方的关键是，我们利用CTC在巨型Conformer神经网络架构上进行SpecAugment和wav 2 vec 2预训练。我们在LibriSpeech测试/其他测试集上实现了1.8%/3.6%的WER，在Switchboard上实现了5.1%/9.8%的WER，在华尔街日报上实现了3.4%的WER，所有这些都没有语言模型。
2021-09-11 cs.CL cs.LG cs.SD
THCHS-30 : A Free Chinese Speech Corpus
Tsinghua University（清华大学）；Research Institute of Information Technology（信息技术研究院）；Center for Speech and Language Technology（语音与语言技术中心）
语音数据是语音识别研究的关键。有相当多的语音数据库，可以购买的价格是合理的大多数研究机构。然而，对于刚刚开始研究活动或刚刚对该方向产生初步兴趣的年轻人来说，数据成本仍然是一个恼人的障碍。我们支持语音识别领域的“免费数据”运动：研究机构（特别是由公共基金支持的研究机构）免费公布其数据，以便新的研究人员能够获得足够的数据来启动他们的职业生涯。本文正是顺应这一趋势，发布了一个自由汉语语音数据库THCHS-30，可用于构建全边缘汉语语音识别系统。我们报告的基线系统建立与此数据库，包括在高噪声条件下的性能。
2015-12-10 cs.CL cs.SD
On the Use of Self-Supervised Speech Representations in Spontaneous Speech Synthesis
KTH Royal Institute of Technology（KTH皇家理工学院）
本文系统比较了6种自监督语音表示及其3个不同层在自发语音合成中的效果，并扩展基于SSL的MOS预测框架用于合成自发语音评分，在两个自发语音语料库上验证了可推广趋势。
2023-07-11 cs.HC cs.LG cs.SD
Contaminated speech training methods for robust DNN-HMM distant speech recognition
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
尽管在过去几年中取得了显著的进步，但最先进的语音识别技术仅在近距离通话条件下提供令人满意的性能。另一方面，在恶劣的声学条件下的远距离语音识别的鲁棒性仍然是未来人机交互应用的关键问题。为此，在语音增强、声学场景分析以及声学建模方面的若干进展最近有助于提高该领域的最新技术水平。获得鲁棒声学建模的最有效方法之一是基于使用污染语音，这被证明有助于减少训练和测试条件之间的声学失配。在本文中，我们在现代DNN-HMM系统的背景下修改了这种经典方法，并提出了三种方法，即非对称上下文窗口，基于近距离对话的监督和基于近距离对话的预训练。使用真实和模拟数据获得的实验结果显示，使用这三种方法具有显着的优势，与基线系统相比，总体上降低了15%的错误率。使用小尺寸的高质量训练集和大尺寸的高质量训练集也证实了相同的性能趋势。
2017-10-10 cs.CL cs.SD eess.AS
A Comprehensive Study of the Current State-of-the-Art in Nepali Automatic Speech Recognition Systems
Kathmandu University（加德满都大学）
本文综述尼泊尔语自动语音识别（ASR）研究现状，涵盖数据集、技术及挑战，并指出语言与声学模型研究不足，提出未来研究方向。
2024-02-05 cs.CL cs.SD eess.AS
Large Language Models for Dysfluency Detection in Stuttered Speech
Technische Hochschule Nürnberg Georg Simon Ohm（纽伦堡乔治·西蒙·欧姆应用技术大学）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Intel Labs（英特尔实验室）
本文将多标签口吃不流利检测建模为语言建模问题，向 LLM 输入 ASR 假设候选与音频编码器声学表征并微调，在英语、德语数据集上取得有竞争力的结果。
2024-06-16 cs.CL cs.SD eess.AS
Unsupervised Adaptation with Interpretable Disentangled Representations for Distant Conversational Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
自动语音识别的当前趋势是利用大量的标记数据来训练监督神经网络模型。不幸的是，获取大范围域的数据以训练鲁棒模型可能是昂贵的。然而，从我们希望模型推广到的领域收集大量未标记的数据相对便宜。在本文中，我们提出了一种新的无监督自适应方法，学习从未标记的域内数据和标记的域外数据合成目标域的标记数据。我们首先在没有监督的情况下学习对语言和滋扰因素进行编码的语音的可解释的潜在表示（例如，扬声器和通道）使用不同的潜在变量。为了在不改变其成绩单的情况下转换标记的域外话语，我们在保持语言变量的同时转换潜在的滋扰变量。为了证明我们的方法，我们专注于一个通道失配设置，其中感兴趣的域是遥远的对话语音，标签只适用于近距离交谈的语音。我们提出的方法进行评估的AMI数据集，优于所有基线和弥合之间的差距，不使用任何并行数据超过77%，不适应和领域模型。
2018-06-13 cs.CL cs.LG cs.NE
Streaming end-to-end multi-talker speech recognition
Microsoft Corp.（微软公司）
端到端多人语音识别是语音领域的一个新兴研究方向，它在会话和会议传输等应用中具有巨大的潜力。据我们所知，所有现有的研究工作都局限于离线场景。在这项工作中，我们提出了流分解和识别传感器（SURT）的端到端的多说话人语音识别。我们的模型采用递归神经网络转换器（RNN-T）作为骨干，可以满足各种延迟约束。我们研究了两种不同的模型架构，分别基于扬声器差分编码器和掩码编码器。为了训练该模型，我们研究了广泛使用的排列不变训练（PIT）方法和启发式错误分配训练（HEAT）方法。基于公开的LibriSpeechMix数据集上的实验，我们表明，与PIT相比，HEAT可以实现更好的准确性，并且具有150毫秒算法延迟约束的SURT模型在准确性方面优于基于离线序列到序列的基线模型。
2021-03-12 cs.CL cs.SD eess.AS
Automatic Speech Recognition using Advanced Deep Learning Approaches: A survey
University of Medea（梅德阿大学）；University of Sciences and Technology Houari Boumediene (USTHB)（胡阿里·布迈丁科技大学）；University of Dubai（迪拜大学）
本综述系统回顾了基于深度迁移学习、联邦学习、强化学习及Transformer的自动语音识别框架，分析了各方法的优缺点与现有挑战，为未来研究提供方向。
2024-04-18 cs.AI cs.SD eess.AS
Roadmap towards Superhuman Speech Understanding using Large Language Models
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）
本文提出一个五级语音LLMs发展路线图并设计SAGI Bechmark基准，揭示了模型在处理副语言线索和抽象声学知识方面的差距，为超人类语音理解提供关键见解。
2024-10-17 cs.AI cs.CL cs.SD
SpeechAgent: An End-to-End Mobile Infrastructure for Speech Impairment Assistance
University of New South Wales（新南威尔士大学）；Macquarie University（麦考瑞大学）；National University of Singapore（国立新加坡大学）；CSIRO's Data61（澳大利亚联邦科学与工业研究组织Data61部门）
SpeechAgent是一个端到端移动系统，结合大语言模型推理与语音处理模块，为构音障碍、口吃和失语症用户提供实时、低延迟的个性化辅助交流，并在真实数据集上验证了有效性和实用性。
2025-10-23 cs.SD cs.SY eess.SY
From Statistical Methods to Pre-Trained Models; A Survey on Automatic Speech Recognition for Resource Scarce Urdu Language
Shenzhen University（深圳大学）；School of Artificial Intelligence, CAS Institute of Automation（中国科学院自动化研究所人工智能学院）；University of Chinese Academy of Sciences（中国科学院大学）
本文综述了资源稀缺的乌尔都语自动语音识别研究，梳理从统计方法到预训练模型的技术演进，分析现有数据集与算法工具，并指出未来研究方向。
2026-10-30 cs.CL cs.SD eess.AS
Chunk Based Speech Pre-training with High Resolution Finite Scalar Quantization
Samsung Research America（三星美国研究）
本文提出基于分块的自监督学习算法，利用高分辨率有限标量量化提升语音预训练效果，实现流式和离线语音任务的高效性能。
2025-12-31 cs.CL cs.SD eess.AS
On the Effects of Heterogeneous Data Sources on Speech-to-Text Foundation Models
Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
本文提出 OWSM v3.2，通过代理任务过滤数据并利用开放 LLM 恢复标点与真实大小写，在训练数据减少15%的情况下超越 OWSM v3.1。
2024-06-13 cs.CL cs.SD eess.AS
The Performance Evaluation of Attention-Based Neural ASR under Mixed Speech Input
Stony Brook University（石溪大学）
为了评估基于注意力的神经ASR在噪声条件下的性能，当前的趋势是将数小时的各种噪声语音数据呈现给模型并测量整体单词/音素出错率（W/PER）。一般来说，当暴露于两个或更多个扬声器活跃的鸡尾酒会设置时，这些模型的表现如何尚不清楚。在本文中，我们提出的混合语音信号的一个流行的注意力为基础的神经ASR，被称为听，注意，拼写（LAS），在不同的目标干扰比（TIR）和测量音素出错率。特别是，我们调查的细节时，两个音素混合什么将是预测的音素，以这种方式，我们建立一个模型，其中最有可能的预测音素。我们发现，当LAS与TIR = 0 dB的混合语音信号一起呈现时，PER相对增加65%，并且性能接近TIR = 30 dB的未混合场景。我们的研究结果表明，该模型，当与混合音素信号，往往预测那些具有较高的准确性，在评估原始音素信号。
2021-08-03 cs.CL cs.SD eess.AS
Adapting Foundation Speech Recognition Models to Impaired Speech: A Semantic Re-chaining Approach for Personalization of German Speech
School of Computation, Information and Technology（计算、信息与技术学院）；Institute of Neuroinformatics（神经信息研究所）；Department of Computational Linguistics（计算语言学系）
针对Whisper等ASR模型识别非规范受损语音困难的问题，提出一种轻量级语义重链流水线，通过形式化单词选择和增强语义连贯性来丰富小型语音障碍数据集并个性化ASR模型，实验证明该方法有效提升了结构性语音障碍儿童的转录质量。
2025-06-23 cs.AI cs.CL cs.SD
How "Real" is Your Real-Time Simultaneous Speech-to-Text Translation System?
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；Charles University（查理大学）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本文通过综述110篇论文揭示了同声语音翻译研究脱离真实场景的问题，提出标准化术语与分类法，并给出未来改进方向以推动更实用的SimulST系统发展。
2024-12-24 cs.AI cs.CL cs.SD
Survey of End-to-End Multi-Speaker Automatic Speech Recognition for Monaural Audio
Worcester Polytechnic Institute（沃斯特理工大学）
本文系统综述了端到端多说话人自动语音识别的神经架构范式（SIMO与SISO）、近期改进方法及长语音扩展策略，并通过标准基准评估比较了各类方法。
2026-05-27 cs.AI cs.CL cs.SD
Deep Photonic Reservoir Computer for Speech Recognition
Université Libre de Bruxelles (ULB)（布鲁塞尔自由大学（ULB））；Laboratoire d’Information Quantique（量子信息实验室）
本文提出一种基于光子的深度储备池计算机，通过互连储备池架构实现高能效语音识别，兼顾简化实现与高速高维音频处理，推动低功耗神经形态硬件发展。
2023-12-11 cs.NE cs.SD eess.AS
WavLLM: Towards Robust and Adaptive Speech Large Language Model
Microsoft Research Asia（微软亚洲研究院）
提出WavLLM，通过双编码器解耦语音信息、提示感知LoRA适配器及两阶段课程学习，在多语音任务及高考听力上达到SOTA，展现强泛化能力。
2024-09-21 cs.AI cs.CL cs.SD
Adversarial Example Devastation and Detection on Speech Recognition System by Adding Random Noise
College of Information Science and Engineering, Ningbo University（宁波大学信息科学与工程学院）
基于深度神经网络的自动语音识别（ASR）系统容易受到对抗性示例的攻击，特别是如果命令依赖的ASR失败。提出了一种对抗性样本的防御方法，以提高ASR系统的鲁棒性和安全性。我们提出了一个算法的破坏和检测对抗的例子，可以攻击当前先进的ASR系统。我们选择了一个先进的文本和命令相关的ASR系统作为我们的目标，生成对抗的例子，基于优化的攻击文本相关的ASR和基于GA的算法命令相关的ASR。该方法是基于输入变换的对抗性的例子。不同的随机强度和噪声种类被添加到对抗性示例中，以恢复先前添加到正常示例中的扰动。实验结果表明，该方法具有良好的性能。对于样本的破坏性，加入噪声后的原始语音相似度可以达到99.68%，对抗性样本的相似度可以达到零，对抗性样本的检测率可以达到94%。
2021-10-17 cs.CR cs.MM cs.SD
Toward Conversational Hungarian Speech Recognition: Introducing the BEA-Large and BEA-Dialogue Datasets
ELTE Research Centre for Linguistics（ELTE语言研究研究中心）；Speechtex Ltd.（Speechtex公司）
本文介绍了BEA-Large和BEA-Dialogue两个匈牙利语语音数据集，用于提升对话式语音识别技术，并展示了基于这些数据集的ASR模型性能及说话人识别结果。
2026-01-14 cs.AI cs.CL cs.SD
Multi-modal Speech Transformer Decoders: When Do Multiple Modalities Improve Accuracy?
本文研究了多模态对语音识别准确率的影响，发现结合音频、图像和唇部信息可提升识别效果，图像在中等噪声下收益最大，且过滤相关视觉信息能进一步提升合成与真实数据集上的性能。
2025-03-28 cs.CL cs.CV cs.MM
Enabling Automatic Disordered Speech Recognition: An Impaired Speech Dataset in the Akan Language
University of Ghana（加纳大学）
本研究提出一个阿坎语受损语音数据集，用于支持低资源自动混乱语音识别系统和辅助语音技术的研究。
2026-02-05 cs.AI cs.SD
Advances in Speech Separation: Techniques, Challenges, and Future Trends
Department of Computer Science and Technology, Tsinghua University（计算机科学与技术系，清华大学）；School of Computer Technology and Application, Qinghai University（计算机技术与应用学院，青海大学）；ByteDance（字节跳动）；Nanjing University（南京大学）；Southern University of Science and Technology（南方科技大学）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
本文系统综述了基于深度神经网络的语音分离技术，从学习范式、架构组件、评估基准等角度梳理现状，并提出领域鲁棒、高效架构、多模态融合和新型自监督等未来方向。
2025-08-14 cs.SD eess.AS
Tracking the Trend in How Speech Synthesizers Deceive People
Brno University of Technology（布尔诺理工大学）
该研究对比了三款不同年份的现代语音合成器的欺骗性，发现人类和检测器对部分伪造语音的检测准确率极低，仅靠人类感知不可靠，需推进相关验证与检测技术。
2026-08-21 cs.CR cs.SD eess.AS
Fish-Speech: Leveraging Large Language Models for Advanced Multilingual Text-to-Speech Synthesis
Fish Audio
Fish-Speech通过双自回归架构和大型语言模型，无需G2P转换，实现高保真多语言语音合成，在复杂场景和语音克隆上显著优于基线。
2024-11-09 cs.SD eess.AS
Deep neural network techniques for monaural speech enhancement: state of the art analysis
University of Cambridge（剑桥大学）
本文综述了深度神经网络在单声道语音增强中的主流技术，涵盖特征提取、全局与局部特征建模、监督与无监督训练及预训练模型应用，旨在总结该领域的主要趋势。
2023-06-20 cs.LG cs.SD eess.AS
ClearerVoice-Studio: Bridging Advanced Speech Processing Research and Practical Deployment
Tongyi Lab（通义实验室）
本文提出开源AI语音处理工具包ClearerVoice-Studio，专注语音增强、分离等任务，提供FRCRN等先进预训练模型及SpeechScore评估工具，有效连接前沿研究与实际部署。
2025-06-24 cs.SD eess.AS
Advances in Speech Vocoding for Text-to-Speech with Continuous Parameters
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；MTA-ELTE Lendület Lingual Articulation Research Group（MTA-ELTE Lendület 语言发音研究组）
声码器作为统计参数化文语转换（TTS）合成和语音转换系统的主要组成部分重新受到关注。尽管已有的声码技术可以给出几乎被接受的合成语音，但是它们的高计算复杂性和不规则结构仍然被认为是具有挑战性的问题，这产生了各种语音质量下降。因此，本文提出了连续声码器的新技术，即所有特征都是连续的，并提出了一种灵活的语音合成系统。首先，提出了一种基于相位失真的连续噪声掩蔽方法，消除了残余噪声对感知的影响，使噪声特性得到准确的重构。其次，我们提出了基于递归网络的语音合成任务的神经序列到序列建模方法的需求。研究了双向长短期记忆（LSTM）和门控递归单元（GRU），并将其应用于对连续参数进行建模，以获得更自然的声音，就像人类一样。实验结果表明，与传统的语音合成方法相比，该模型具有较好的性能。
2021-06-19 cs.AI cs.SD eess.AS
Advances in integration of end-to-end neural and clustering-based diarization for real conversational speech
NTT Corporation（日本电报电话公司）
最近，我们提出了一种新的说话人日志化方法，称为端到端神经日志化向量聚类（EEND-vector clustering），它将基于聚类和端到端神经网络的日志化方法集成到一个框架中。所提出的方法结合了两个框架的优点，即高的日记化性能和处理重叠的语音的基础上的EEND，和鲁棒的处理长录音与任意数量的扬声器基于聚类的方法。然而，到目前为止，该方法仅在模拟的2扬声器会议类数据上进行了评估。本文将（1）报告我们对该框架所做的最新进展，包括新引入的鲁棒约束聚类算法，以及（2）实验表明，该方法现在可以显着优于竞争性的日志化方法，如编码器-解码器吸引子（EDA）-EEND，在CALLHOME数据上，该数据包括真实的会话语音数据，包括重叠语音和任意数量的扬声器。通过对实验结果的进一步分析，本文还讨论了该方法的优缺点，并揭示了进一步改进的潜力。在https://github.com/nttcslab-sp/EEND-vector-clustering上可以找到一组重现结果的代码。
2021-08-31 cs.SD eess.AS
Robust Audio-Visual Speech Enhancement: Correcting Misassignments in Complex Environments with Advanced Post-Processing
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
本文提出后处理分类器PPC并结合mixup训练策略，用于纠正音视频语音增强中因视频质量差和数据不匹配导致的错误输出，在AVSE-challenge数据集上显著超越基线模型。
2024-09-30 cs.SD eess.AS
Leveraging Unit Language Guidance to Advance Speech Modeling in Textless Speech-to-Speech Translation
Northeastern University（东北大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Kunming University of Science and Technology（昆明理工大学）；NiuTrans Research（牛翻译研究院）
针对无文本语音到语音翻译的跨模态特征提取、跨语言长序列对齐两大挑战，提出基于n-gram构建的单元语言，结合多任务学习与任务提示建模指导语音建模，在Voxpupil数据集上实现显著提升，性能比肩文本训练模型。
2025-05-21 cs.AI cs.CL cs.SD
Recent Advances in Discrete Speech Tokens: A Review
MoE Key Lab of Artificial Intelligence, Jiangsu Key Lab of Language Computing（MoE人工智能关键实验室、江苏语言计算重点实验室；X-LANCE实验室、计算机科学与工程系、上海交通大学）；X-LANCE Lab, Department of Computer Science and Engineering, Shanghai Jiao Tong University
本文综述了离散语音标记的最新进展，分析了声音标记和语义标记的分类、方法及挑战，为未来研究提供方向。
2025-12-12 cs.AI cs.MM cs.SD
Recent Advances in Speech Language Models: A Survey
Department of Computer Science and Engineering, The Chinese University of Hong Kong（计算机科学与工程系，香港中文大学）；LIGHTSPEED STUDIOS；National University of Singapore（新加坡国立大学）；Tencent（腾讯）
本综述首次全面概述语音语言模型（SpeechLMs）的构建方法、架构组件、训练方案、能力、评估指标及未来挑战，旨在替代ASR+LLM+TTS流水线，实现端到端语音生成。
2025-08-07 cs.CL cs.SD eess.AS
Towards Building Text-To-Speech Systems for the Next Billion Users
Microsoft（微软）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
基于深度学习的文本到语音（TTS）系统随着模型架构、训练方法以及跨说话者和语言的泛化的进步而迅速发展。然而，这些进展还没有被彻底调查的印度语言语音合成。考虑到印度语言的数量和多样性，相对较低的资源可用性，以及尚未经过测试的神经TTS的各种进步，这种调查在计算上是昂贵的。在本文中，我们评估选择的声学模型，声码器，补充损失函数，培训计划，和扬声器和语言多样性的达罗毗荼语和印度雅利安语。在此基础上，我们使用FastPitch和HiFi-GAN V1识别单语模型，这些模型在男性和女性说话者身上进行联合训练，以获得最佳表现。有了这个设置，我们训练和评估的TTS模型为13种语言，并发现我们的模型显着改善现有的模型在所有语言的平均意见分数。我们在Bhashini平台上开源所有模型。
2023-02-17 cs.CL cs.LG cs.SD
Vector Quantized Diffusion Model Based Speech Bandwidth Extension
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）；SenseAuto Intelligent Connection, SenseTime（商汤科技 SenseAuto 智能连接）
针对语音带宽扩展任务，本文提出首个基于神经音频编解码器离散特征、融合向量量化扩散与Mamba-2的框架，经实验验证可显著提升语音质量。
2024-09-14 cs.SD eess.AS
