Dynamic Clustering for Cross-Segment Permutation Alignment in Long Speech Separation
Tampere University（坦佩雷大学）；Nokia Technologies（诺基亚科技）
本文提出一种兼容现有分离模型的即插即用动态聚类后处理模块，通过说话人嵌入参考池实现跨段置换对齐，在长语音分离的密集、稀疏场景及未知说话人数量场景下性能优于现有方法。
2026-08-11 cs.SD eess.AS
Deep neural network based speech separation optimizing an objective estimator of intelligibility for low latency applications
Tampere University of Technology（坦佩雷理工大学）；Eriksholm Research Centre, Oticon A/S（奥迪康公司埃里克肖姆研究中心）
均方误差（MSE）已经是当前基于深度神经网络（DNN）的语音分离技术中作为损失函数的优选选择。在本文中，我们提出了一个新的成本函数的目的是优化扩展的短时客观可懂度（ESTOI）的措施。我们专注于低算法延迟（$\leq 10$ ms）非常重要的应用。我们使用长短期记忆网络（LSTM），并在来自扩展丹麦噪声听力（HINT）数据集的四组两扬声器混合物上评估我们提出的方法。我们表明，建议的损失函数可以提供改进或在标准的客观可懂度（在ESTOI方面）相比，MSE优化的基线，同时导致较低的目标分离性能（在源失真比（SDR）方面）。然后，我们继续提出一种方法，其中网络首先使用针对MSE标准优化的权重进行初始化，然后使用所提出的ESTOI损失标准进行训练。这种方法减轻了客观分离性能的一些损失，同时保留了客观可懂度的增益。
2018-07-18 cs.SD eess.AS
Improved Speech Separation with Time-and-Frequency Cross-domain Joint Embedding and Clustering
National Taiwan University（台湾大学）
语音分离在深度学习技术方面非常成功。基于频谱图的方法已经报道了大量的努力，频谱图是众所周知的语音信号的标准时间和频率跨域表示。它与语音的语音结构高度相关，或者当被人类感知时“语音听起来如何”，但主要是承载时间行为的频域特征。最近有报道说，在时域上实现语音分离的工作非常令人印象深刻，这可能是因为时域中的波形可以以比谱图更精确的方式描述语音的不同实现。在本文中，我们提出了一个框架，适当地结合上述两个方向，希望达到这两个目的。我们通过连接一维卷积编码特征图（时域）和频谱图（频域）来构建时间和频率特征图，然后通过嵌入网络和聚类方法进行处理，这些方法与时域和频域先前的工作非常相似。通过这种方式，在嵌入和聚类过程中可以联合考虑时域和频域中的信息以及它们之间的相互作用。在初步实验中，使用WSJ 0 - 2 mix数据集获得了非常令人鼓舞的结果（据我们所知是最先进的）。
2019-04-16 cs.LG cs.SD eess.AS
Adapting Personalized Speech Enhancement for Low-Latency Audio-Visual Target-Speaker Extraction
Microsoft（微软）；University of Michigan（密歇根大学）
针对在线音视频目标说话人提取的听感质量与前瞻限制问题，提出AV-PVQE方法，通过个性化语音增强模型引入口型特征并联合微调，将目标混淆率从46%降至1.6%，延迟仅20毫秒，在合成和会议基准上均优于现有提取器。
2026-09-28 cs.CV cs.SD eess.AS
SpeechNAS: Towards Better Trade-off between Latency and Accuracy for Large-Scale Speaker Verification
Kuaishou Technology（快手科技）
近年来，x向量已成为说话人确认的一种成功和流行的方法，它采用时间延迟神经网络（TDNN）和统计池从可变长度的话语中提取说话人特征嵌入。对x-向量的改进一直是一个活跃的研究领域，基于x-向量的神经网络已经被精心设计，如扩展TDNN（E-TDNN）、因子化TDNN（F-TDNN）和密集连接TDNN（D-TDNN）。在这项工作中，我们试图从基于TDNN的搜索空间采用神经架构搜索（NAS），命名为SpeechNAS的最佳架构。利用说话人识别的最新进展，如高阶统计池，多分支机制，D-TDNN和具有最小超球能量（MHE）的角加性裕度softmax（AAM）损失，SpeechNAS自动发现五种网络架构，从SpeechNAS-1到SpeechNAS-5，在大规模文本无关的说话人识别数据集VoxCeleb 1上具有不同数量的参数和GFLOP。我们推导出的最佳神经网络在VoxCeleb 1的标准测试集上实现了1.02%的相等出错率（EER），这大大超过了以前基于TDNN的最先进方法。代码和训练权重在https://github.com/wentaozhu/speechnas.git中
2021-09-18 cs.CL cs.CV cs.LG
Wavesplit: End-to-End Speech Separation by Speaker Clustering
Google Research（谷歌研究院）
我们介绍Wavesplit，一个端到端的源分离系统。从单个混合物，模型推断每个源的表示，然后在给定推断的表示的情况下估计每个源信号。该模型被训练为从原始波形联合执行两个任务。Wavesplit通过聚类来推断一组源表示，这解决了分离的基本置换问题。对于语音分离，与以前的工作相比，我们的序列范围的说话人表示提供了更强大的分离长，具有挑战性的录音。Wavesplit重新定义了2或3个扬声器的干净混合（WSJ 0 -2/3 mix）以及嘈杂和混响环境（WHAM/WHAMR）中的最新技术水平。我们还在最近的LibriMix数据集上设置了一个新的基准。最后，我们表明，Wavesplit也适用于其他领域，从一个单一的腹部心电图分离胎儿和产妇的心率。
2020-07-02 cs.CL cs.LG cs.SD
Conv-TasNet: Surpassing Ideal Time-Frequency Magnitude Masking for Speech Separation
单通道非特定人语音分离方法近年来取得了很大的进展。然而，这种方法的准确性、延迟和计算成本仍然不足。大多数以前的方法都是通过混合信号的时频表示来表达分离问题，这有几个缺点，包括信号的相位和幅度的解耦，用于语音分离的时频表示的次优性，以及计算频谱图的长延迟。为了解决这些缺点，我们提出了一个全卷积时域音频分离网络（Conv-TasNet），这是一个用于端到端时域语音分离的深度学习框架。Conv-TasNet使用线性编码器来生成语音波形的表示，该表示针对分离单个扬声器进行了优化。说话人分离是通过对编码器输出应用一组加权函数（掩码）来实现的。然后使用线性解码器将修改的编码器表示反转回波形。使用由堆叠的1-D扩张卷积块组成的时间卷积网络（TCN）来找到掩码，这允许网络对语音信号的长期依赖性进行建模，同时保持小的模型大小。所提出的Conv-TasNet系统在分离两个和三个扬声器混合物方面显着优于以前的时频掩蔽方法。此外，Conv-TasNet在两个扬声器语音分离中超过了几个理想的时频幅度掩模，这是通过客观失真测量和人类听众的主观质量评估来评估的。最后，Conv-TasNet具有更小的模型大小和更短的最小延迟，使其成为离线和实时语音分离应用的合适解决方案。
2019-05-15 cs.LG cs.SD eess.AS
Dynamic latency speech recognition with asynchronous revision
Bytedance AI-Lab（字节跳动人工智能实验室）
在这项工作中，我们提出了一种推理技术，异步修订，统一流和非流语音识别模型。具体来说，我们实现动态延迟只有一个模型，通过使用任意的右上下文推理。该模型由用于音频编码的卷积层堆栈组成。在推理阶段，可以异步地修改编码器和解码器的历史状态，以在延迟和模型的准确性之间进行权衡。为了减轻训练和推理的不匹配，我们提出了一种训练技术，段裁剪，它随机地将输入的话语分成几个具有前向连接的段。这使我们能够获得动态延迟语音识别结果，并大大提高了准确性。实验结果表明，与流媒体模型相比，本文提出的基于异步修改的动态延迟模型相对性能提高了8%~ 14%.
2020-11-03 cs.SD eess.AS
Deep low-latency joint speech transmission and enhancement over a gaussian channel
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）；University of Oldenburg（奥尔登堡大学）
本文提出一种基于深度神经网络的低时延联合语音传输与增强方法，通过端到端联合训练增强与传输系统，在低至3 ms时延下仍优于简单级联系统。
2024-04-30 cs.SD eess.AS
From Start to Finish: Latency Reduction Strategies for Incremental Speech Synthesis in Simultaneous Speech-to-Speech Translation
Maastricht University（马斯特里赫特大学）；Meta AI；Johns Hopkins University（约翰斯·霍普金斯大学）
语音到语音翻译（S2 ST）将输入语音转换为另一种语言的语音。实时的传送S2 ST的挑战是翻译和语音合成模块之间的累积延迟。虽然最近增量文本到语音（iTTS）模型已经显示出很大的质量改进，但它们通常需要额外的未来文本输入才能达到最佳性能。在这项工作中，我们最大限度地减少了初始等待时间的iTTS通过适应上游语音翻译器生成高质量的伪前瞻语音合成器。在减轻初始延迟后，我们证明了合成语音的持续时间对延迟也起着至关重要的作用。我们将其形式化为延迟度量，然后提出一种简单而有效的延迟缩减方法。我们的方法始终将延迟降低0.2-0.5秒，而不会牺牲语音翻译质量。
2022-07-15 cs.CL cs.SD eess.AS
All Neural Low-latency Directional Speech Extraction
Meta Platforms Inc.（元平台公司）
本文提出一种全神经低延迟定向语音提取模型，通过从零训练DOA嵌入并与循环神经网络融合，实现高帧率下对动态声学场景的快速适应和鲁棒提取。
2024-07-05 cs.SD eess.AS
Latency-Controlled Neural Architecture Search for Streaming Speech Recognition
Tencent AI Lab（腾讯人工智能实验室）
神经结构搜索（NAS）已引起人们的广泛关注，并已被探索用于自动语音识别（ASR）。在这项工作中，我们专注于流ASR场景，并提出了延迟控制的NAS声学建模。首先，基于香草神经架构，正常细胞被改变为因果细胞以控制架构的总延迟。其次，提出了一种具有较小感受野的修正操作空间，以生成具有低延迟的最终架构。大量的实验表明：1）基于所提出的神经网络结构，可以分别在vanilla和修正后的操作空间中学习中延迟为550ms（毫秒）和低延迟为190ms的神经网络。2)对于低延迟设置，在10k小时的大规模数据集上，与混合CLDNN基线相比，评估网络可以实现超过19%（四个测试集的平均值）的相对改进。
2021-09-14 cs.SD eess.AS
LiveSpeech: Low-Latency Zero-shot Text-to-Speech via Autoregressive Modeling of Audio Discrete Codes
Applied Sciences Group, Microsoft Corp, USA
LiveSpeech提出一种基于全自回归语言模型的零样本文本转语音方法，通过自适应码本损失权重和码本分组并行处理实现低延迟流式输出，在内容准确性、说话人相似度、音频质量和推理速度上达到先进水平。
2024-06-10 cs.SD eess.AS
Amortized Neural Networks for Low-Latency Speech Recognition
Alexa Machine Learning, Amazon（亚马逊Alexa机器学习部门）
我们介绍了摊销神经网络（AmNets），一个计算成本和延迟感知的网络架构，特别适合于序列建模任务。我们将AmNets应用于递归神经网络转换器（RNN-T），以降低自动语音识别（ASR）任务的计算成本和延迟。AmNets RNN-T架构使网络能够逐帧地在编码器分支之间动态切换。分支的构造具有可变的计算成本和模型容量级别。在这里，我们实现了两个著名的候选技术变量计算：一个使用稀疏修剪，另一个使用矩阵分解。逐帧交换由仲裁器网络决定，其需要的计算开销可以忽略不计。我们目前的结果使用这两种架构的LibriSpeech数据，并表明，我们提出的架构可以减少推理成本高达45%和延迟到近实时，而不会导致损失的准确性。
2021-08-03 cs.SD eess.AS
Exploring Tradeoffs in Models for Low-latency Speech Enhancement
Google Research（谷歌研究院）；Google Chrome Audio（谷歌Chrome音频团队）
我们探讨了各种神经网络配置的单通道和双通道频谱掩模为基础的语音增强。我们的最佳模型在CHiME2语音增强任务上的先前最先进的性能上提高了0.4分贝的信号失真比（SDR）。我们研究权衡，如非因果前瞻，计算和参数计数与增强性能，发现零前瞻模型可以实现，平均而言，在0.03 dB SDR的最佳双向模型。此外，我们发现，200毫秒的前瞻性足以实现与我们最好的双向模型相当的性能。
2018-11-16 cs.SD eess.AS
Exploring the Best Loss Function for DNN-Based Low-latency Speech Enhancement with Temporal Convolutional Networks
Carnegie Mellon University（卡内基梅隆大学）；Sony Corporation（索尼公司）；Sony Europe B.V.（索尼欧洲有限公司）
近年来，深度神经网络（DNN）已成功用于语音增强，基于DNN的语音增强正成为一个有吸引力的研究领域。虽然基于短时傅里叶变换（STFT）的时频掩蔽在过去几年中已经广泛用于基于DNN的语音增强，但是也已经提出了诸如时域音频分离网络（TasNet）的时域方法。最合适的方法取决于数据集的规模和任务的类型。在本文中，我们探讨了最佳的语音增强算法在两个不同的数据集。我们提出了一个基于STFT的方法和损失函数，使用问题不可知的语音编码器（PASE）功能，以提高主观质量的较小的数据集。我们提出的方法在Voice Bank + DEMAND数据集上是有效的，并且与其他最先进的方法相比毫不逊色。我们还实现了一个低延迟版本的TasNet，我们将其提交给了DNS Challenge，并通过开源将其公开。我们的模型在DNS Challenge数据集上实现了出色的性能。
2020-08-20 cs.SD eess.AS
DFSNet: A Steerable Neural Beamformer Invariant to Microphone Array Configuration for Real-Time, Low-Latency Speech Enhancement
University of Texas at Dallas（德克萨斯大学达拉斯分校）
麦克风阵列配置的不变性是神经波束形成器中罕见的属性。此类中的滤波求和（FS）方法定义相对于参考通道的目标信号。然而，这不仅使混响条件下的公式化复杂化，而且使网络复杂化，网络必须具有推断参考通道是什么的机制。为了解决这些问题，本研究提出了延迟滤波求和网络（DFSNet），一个可控的神经波束形成器不变的麦克风数量和阵列的几何形状的因果语音增强。在DFSNet中，在FS操作之前，首先将获取的信号转向语音源方向，这将任务简化为延迟和求和的混响干净语音的估计。所提出的模型被设计为产生低延迟、失真、以及存储器和计算负担，从而在助听器应用中产生高潜力。仿真结果显示，可比的性能非因果的最先进的。
2023-02-26 cs.SD eess.AS
Low Latency Time Domain Multichannel Speech and Music Source Separation
Ilmenau University of Technology（伊尔梅瑙工业大学）
目标是获得具有非常低延迟的简单多通道源分离。应用可以是电话会议、助听器、增强现实或选择性有源噪声消除。这些实时应用需要非常低的延迟（通常小于约6ms）和低复杂度，因为它们通常在小型便携式设备上运行。为此，我们不需要最好的分离，但“有用的”分离，不仅是语音，而且是音乐和噪音。频域方法具有更高的延迟和复杂度。因此，我们引入了一种新的概率优化方法，我们称之为“随机方向”，它可以克服局部极小值，适用于一个简单的时域解混结构，这是可扩展的低复杂度。然后将其与频域方法在分离语音和音乐源以及使用3D麦克风设置方面进行比较。
2022-04-12 cs.SD eess.AS
Modified Parametric Multichannel Wiener Filter \\for Low-latency Enhancement of Speech Mixtures with Unknown Number of Speakers
NTT Corporation（NTT公司）；International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）
本文提出了一种低延迟在线波束形成算法 Mod-PMWF，通过修改传统参数化多通道维纳滤波器，在未知说话人数量及声学传递函数的情况下自适应增强语音混合物，并在干扰抑制比和主观听力测试中验证了其有效性。
2023-06-29 cs.SD eess.AS
Robust Feature Clustering for Unsupervised Speech Activity Detection
University of Texas at Dallas（德克萨斯大学达拉斯分校）
在诸如零资源语音处理或极低资源语音语言系统的某些应用中，收集语音活动检测（SAD）注释可能是不可行的。然而，基于神经网络或其他机器学习方法的最先进的监督SAD技术需要与目标域匹配的带注释的训练数据。本文建立了一个聚类方法，完全无监督SAD有用的情况下，SAD注释不可用。所提出的方法利用哈迪根浸渍测试的递归策略分割成突出的模式的特征空间。统计倾角对失真是不变的，这为所提出的方法提供了鲁棒性。我们在NIST OpenSAD 2015和NIST OpenSAT 2017公共安全通信数据上评估了该方法。结果表明，所提出的方法优于两个组件的GMM基线。索引术语：聚类，Hartigan dip test，NIST OpenSAD，NIST OpenSAT，语音活动检测，零资源语音处理，无监督学习。
2018-06-25 cs.SD eess.AS
Semantic VAD: Low-Latency Voice Activity Detection for Speech Interaction
University of Science and Technology of China (USTC)（中国科学技术大学）；Tianjin University（天津大学）；Alibaba Group（阿里巴巴集团）
本文提出一种用于低延迟分割的语义 VAD 方法，通过引入帧级标点预测、人工端点分类及 ASR 语义损失，在保持后端 ASR 字符错误率不显著恶化的前提下将平均延迟降低 53.3%。
2023-05-21 cs.SD eess.AS
STFT-Domain Neural Speech Enhancement with Very Low Algorithmic Latency
Carnegie Mellon University（卡内基梅隆大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
短时傅立叶变换（STFT）域中基于深度学习的语音增强通常使用较大的窗口长度，例如32 ms。较大的窗口可以导致更高的频率分辨率和潜在的更好的增强。然而，这在在线设置中引起32 ms的算法延迟，因为在逆STFT（iSTFT）中使用的相加算法也使用相同的窗口大小来执行。为了减少这种固有的延迟，我们采用了传统的双窗口大小方法，其中常规的输入窗口大小用于STFT，但较短的输出窗口用于STFT域深度学习的帧在线语音增强。基于这种STFT-iSTFT配置，我们采用复谱映射进行帧在线增强，其中训练深度神经网络（DNN）以从混合RI分量预测目标语音的实部和虚部（RI）分量。此外，我们使用DNN预测的RI分量来进行帧在线波束成形，其结果用作第二DNN执行帧在线后滤波的额外特征。频域波束形成器可以很容易地与我们的DNN集成，并且被设计为不会产生任何算法延迟。此外，我们提出了一个未来帧预测技术，以进一步减少算法的延迟。对含噪混响语音增强的实验结果表明了算法的有效性。与Conv-TasNet相比，我们的STFT域系统可以在相当的计算量下实现更好的增强性能，或者以更少的计算实现相当的性能，在算法延迟低至2 ms的情况下保持强大的性能。
2022-12-05 cs.SD eess.AS
Ultra-Low Latency Speech Enhancement - A Comprehensive Study
National Taiwan University（台湾大学）；Microsoft（微软公司）
针对现有低延迟语音增强方法缺乏公平对比、多在小型模拟数据测试的问题，本研究基于大规模数据统一训练，综合探究多种低延迟技术及Mamba架构在真实场景下的性能，为超低延迟语音增强研究提供可靠参考。
2024-09-16 cs.SD eess.AS
On TasNet for Low-Latency Single-Speaker Speech Enhancement
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
近年来，语音处理算法取得了巨大的进步，主要是由于深度学习的复兴。这对于语音分离尤其如此，其中时域音频分离网络（TasNet）已经导致了显着的改进。然而，对于单说话者语音增强的相关任务，这是显而易见的重要性，它仍然是未知的，如果TasNet架构同样成功。在本文中，我们表明，TasNet提高了最先进的语音增强，并实现了最大的增益调制噪声源，如语音。此外，我们表明，TasNet学习一个有效的内域表示，其中目标和噪声信号分量是高度可分离的。对于干扰语音信号的噪声来说尤其如此，这可以解释为什么TasNet在分离任务中表现如此出色。此外，我们表明，TasNet表现不佳的大帧跳数和猜测，混叠可能是这种性能下降的主要原因。最后，我们证明了TasNet始终优于最先进的单扬声器语音增强系统。
2021-03-27 cs.SD eess.AS
LL-SDR: Low-Latency Speech enhancement through Discrete Representations
Independent Researcher（独立研究员）；Concordia University（康科迪亚大学）；Mila -- Quebec AI Institute（蒙特利尔AI研究所）；Laval University（拉瓦尔大学）
本文提出LL-SDR框架，通过离散化提升语音与噪声分离，实验表明其在低延迟环境下优于连续基线方法。
2026-07-29 cs.SD eess.AS
Low-latency Monaural Speech Enhancement with Deep Filter-bank Equalizer
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
对于诸如数字助听器、透声听力设备和公共广播系统的许多应用，高度期望语音增强算法能够实现良好的性能，同时保持低延迟。为了提高传统低时延语音增强算法的性能，提出了一种深度滤波器组均衡器（FBE）框架，该框架集成了基于深度学习的子带降噪网络和基于深度学习的缩短数字滤波器映射网络。在第一个网络中，使用可控的小帧移位来训练深度学习模型，以满足低延迟需求，即，$\le$ 4 ms，以便获得（复数）子带增益，其可以被视为每帧中的自适应数字滤波器。在第二个网络中，为了减少延迟，这种自适应数字滤波器通过基于深度学习的框架隐式缩短，然后应用于含噪语音，以重建增强的语音，而不使用叠加方法。在WSJ 0-SI 84语料库上的实验结果表明，该算法在PESQ、STOI和降噪量等指标上均优于传统的低延迟语音增强算法，且延迟仅为4 ms.
2022-02-14 cs.SD eess.AS eess.SP
Low-Latency Sequence-to-Sequence Speech Recognition and Translation by Partial Hypothesis Selection
Maastricht University（马斯特里赫特大学）
编码器-解码器模型为诸如语音识别和翻译之类的序列到序列任务提供通用架构。虽然离线系统通常根据字出错率（WER）和BLEU等质量指标进行评估，但在许多实际用例中，延迟也是一个关键因素。我们提出了三个延迟减少技术基于块的增量推理和评估其效率的准确性延迟权衡。在300小时的How2数据集上，我们通过牺牲1%的WER（6%的可靠性）将延迟减少了83%，达到0.8秒。与离线转录相比。虽然我们的实验使用了Transformer，但假设选择策略适用于其他编码器-解码器模型。为了避免昂贵的重新计算，我们使用单向参与编码器。在对部分序列的适应过程之后，单向模型与原始模型表现一致。我们进一步表明，我们的方法也适用于低延迟语音翻译。在How2英语-葡萄牙语语音翻译上，我们将延迟减少到0.7秒（-84% rel）。同时损失了2.4个BLEU点（5%相对值）。与离线系统相比。
2020-10-13 cs.CL cs.SD eess.AS
Low Latency ASR for Simultaneous Speech Translation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
用户研究表明，减少我们的同步演讲翻译系统的延迟应该是最重要的目标。因此，我们研究了几种技术来减少自动语音识别和语音翻译模块这两个组件的延迟。由于通常使用的提交延迟不适合我们的连续流解码情况，我们专注于字延迟。我们使用它来分析我们当前系统的性能，并确定改进的机会。为了最大限度地减少延迟，我们结合了运行解码与流解码时用于识别稳定部分假设的技术和用于动态输出更新的协议，该协议允许修改转录的最新部分。这种组合减少了字级的延迟，其中字是最终的，将来不会再次更新，从18.1秒到1.1秒，而不会牺牲字错误率方面的性能。
2020-03-22 cs.CL cs.SD eess.AS
Low-latency Speech Enhancement via Speech Token Generation
Microsoft Research Asia（微软亚洲研究院）
针对数据驱动语音增强对未见噪声泛化不足的问题，提出基于 TF-Codec 的单阶段条件自回归语音 token 生成框架，并通过显式对齐实现低时延、高鲁棒性增强。
2024-01-23 cs.MM cs.SD eess.AS
Dissecting User-Perceived Latency of On-Device E2E Speech Recognition
Facebook AI
随着智能手机和智能扬声器等语音设备变得越来越普遍，人们对构建可直接在设备上运行的自动语音识别（ASR）系统的兴趣越来越大;端到端（E2 E）语音识别模型，如递归神经网络换能器及其变体，最近已成为该任务的主要候选者。除了准确和紧凑之外，这样的系统还需要以低用户感知延迟（UPL）解码语音，一旦说出就产生单词。这项工作研究了各种技术-模型架构，训练标准，解码超参数和端点参数-对UPL的影响。我们的分析表明，模型大小的度量（参数，输入块大小）或计算的度量（例如，FLOPS，RTF）反映了模型处理输入帧的能力，并不总是与观察到的UPL密切相关。因此，传统的算法延迟测量可能不足以准确地捕获在嵌入式设备上部署模型时观察到的延迟。相反，我们发现影响令牌发射延迟和端点行为的因素对UPL有更大的影响。我们实现了延迟和字出错率之间的最佳权衡时，执行ASR联合端点，同时利用最近提出的对齐正则化机制。
2021-08-11 cs.CL cs.SD eess.AS
Clustering and Mining Accented Speech for Inclusive and Fair Speech Recognition
Google Inc.（谷歌公司）
本文提出口音聚类与挖掘方案，结合预训练、分布鲁棒优化和无监督聚类，在挖掘出的印度口音语音上微调ASR，相对随机采样分别提升10.0%和5.3%，实现更公平的语音识别。
2024-08-05 cs.AI cs.SD eess.AS
Speech Boosting: Low-Latency Live Speech Enhancement for TWS Earbuds
Samsung Research（三星研究院）
本文提出一种面向TWS耳塞端侧的低延迟语音增强方案，通过优化网络架构、损失函数、剪枝及硬件适配，在ANC开启的噪声对话场景下实现低于3毫秒延迟并显著提升增强质量。
2024-09-27 cs.AI cs.SD eess.AS
Incremental Text-to-Speech Synthesis Using Pseudo Lookahead with Large Pretrained Language Model
The University of Tokyo（东京大学）
这封信提出了一种增量文本到语音（TTS）的方法，在小的语言单元进行合成，同时保持输出语音的自然性。增量式TTS通常经受延迟和合成语音质量之间的权衡。用低延迟设置产生高质量语音是具有挑战性的，该低延迟设置不太使用未观察到的未来句子（以下称为“前瞻”）。为了解决这个问题，我们提出了一种增量TTS方法，该方法使用由语言模型生成的伪前瞻来考虑未来的上下文信息，而不会增加延迟。我们的方法可以被视为模仿人类的增量阅读，并使用预训练的GPT2，它占了大规模的语言知识，为前瞻性的一代。评估结果表明，我们的方法1）实现了更高的语音质量比只考虑观察到的信息的方法和2）实现了语音质量相当于等待未来的上下文观察。
2021-04-14 cs.SD eess.AS
Minimum Latency Training of Sequence Transducers for Streaming End-to-End Speech Recognition
Yahoo Japan Corporation（雅虎日本公司）；Carnegie Mellon University（卡内基梅隆大学）
序列转换器，如RNN-T和Conformer-T，是端到端语音识别最有前途的模型之一，特别是在延迟和准确性都很重要的流媒体场景中。虽然已经研究了各种方法（例如，受限训练和FastEmit）来减少延迟，但是延迟的减少通常伴随着准确性的显著降低。我们认为，这种次优性能可能是因为没有以前的方法显式建模和减少延迟。在本文中，我们提出了一种新的训练方法来显式建模和减少延迟的序列传感器模型。首先，我们定义在网格上的每个对角线的预期延迟，并表明其梯度可以有效地计算内的向前向后算法。然后，我们用这个预期的延迟来增加换能器损耗，从而实现延迟和精度之间的最佳权衡。在WSJ数据集上的实验结果表明，所提出的最小延迟训练将因果Conformer-T的延迟从220 ms降低到27 ms，WER下降0.7%，并且优于传统的限制性训练（110 ms）和FastEmit（67 ms）方法。
2022-11-04 cs.CL cs.SD eess.AS
Dynamic Latency for CTC-Based Streaming Automatic Speech Recognition With Emformer
SenseTime Research（商汤科技研究院）；Beijing University of Posts and Telecommunications（北京邮电大学）
流自动语音识别模型与非流模型相比性能较差，这是由于缺乏未来的上下文。为了提高流式模型的性能和降低计算复杂性，本文采用了一种帧级模型，该模型采用高效的扩充存储器Transformer块和动态延迟训练方法，用于流式自动语音识别。将长范围历史上下文存储到扩充存储体中，作为对编码器中使用的有限历史上下文的补充。键和值通过缓存机制缓存，并在下一个块中重用以减少计算。之后，提出了一种动态延迟训练方法，以获得更好的性能，并同时支持低和高延迟推理。我们的实验是在基准960 h LibriSpeech数据集上进行的。在平均延迟为640 ms的情况下，我们的模型与截断块式Transformer相比，在测试-clean上实现了6.0%的相对WER降低，在测试-other上实现了3.0%的相对WER降低。
2022-03-29 cs.CL cs.SD eess.AS
Towards Sub-millisecond Latency Real-Time Speech Enhancement Models on Hearables
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
本文提出一种基于最小相位FIR滤波器和轻量级LSTM的可听戴设备语音增强方法，实现0.32-1.25毫秒算法延迟和3.35毫秒端到端延迟，单麦克风下SI-SDRi达4.1 dB。
2025-03-07 cs.LG cs.SD eess.AS
Low-Latency Neural Speech Phase Prediction based on Parallel Estimation Architecture and Anti-Wrapping Losses for Speech Generation Tasks
University of Science and Technology of China（中国科学技术大学）
本文提出一种新颖的神经语音相位预测模型，通过残差卷积网络与并行估计架构直接从幅度谱预测卷绕相位谱，并设计反卷绕损失避免误差扩展，结合因果卷积与知识蒸馏实现低延迟流式预测，在精度、效率和鲁棒性上均优于现有方法。
2024-03-26 cs.SD eess.AS
On the compression of shallow non-causal ASR models using knowledge distillation and tied-and-reduced decoder for low-latency on-device speech recognition
Samsung Research（三星研究院）
针对端侧ASR的低延迟需求，本文结合知识蒸馏、绑定约简解码器等技术压缩浅层非因果级联ASR模型，实现41M参数教师模型体积减半、准确率无明显下降且延迟降低30%。
2023-12-15 cs.SD eess.AS
Say More with Less: Variable-Frame-Rate Speech Tokenization via Adaptive Clustering and Implicit Duration Coding
针对固定帧率语音分词与语音信息非均匀分布不匹配的问题，本文提出VARSTok可变帧率分词器，通过自适应聚类与隐式时长编码实现动态词元分配，在更少词元下取得更优性能，可无缝集成下游语音语言模型。
2025-11-13 cs.SD eess.AS
Endpoint Anticipation for Low-Latency Spoken Dialogue
Brno University of Technology（布拉格技术大学）；Carnegie Mellon University（卡内基梅隆大学）
提出端点预测方法，通过提前预测对话结束信号实现低延迟，在部分上下文中投机执行LLM和TTS流水线，平均延迟降低505毫秒。
2026-06-12 cs.SD eess.AS
Latency-Configurable Streaming Speech Enhancement via Asymmetric Temporal Padding
Department of Electrical Engineering, Pohang University of Science and Technology (POSTECH)（电气工程系，浦项科技大学）；Intus Co. Ltd.（Intus有限公司）
提出LaCo-SENet，通过非对称时间填充和双缓冲流式机制，在单一超参数下实现延迟与质量的灵活权衡，在VoiceBank+DEMAND上以1.37M参数获得12.5-75.0ms延迟范围，PESQ从3.35到3.43。
2026-08-19 cs.SD eess.AS
Improved MVDR Beamforming Using LSTM Speech Models to Clean Spatial Clustering Masks
The Graduate Center, City University of New York（纽约市立大学研究生中心）；Brooklyn College, City University of New York（纽约市立大学布鲁克林学院）
空间聚类技术可以在相对任意的麦克风配置上实现显著的多通道降噪，但难以结合详细的语音/噪声模型。相比之下，LSTM神经网络已经成功地被训练成在单通道输入上从噪声中识别语音，但很难充分利用多通道记录中的信息。本文结合这两种方法，训练LSTM语音模型来清理基于模型的EM声源分离和定位（MESSL）空间聚类方法生成的掩码。通过这样做，它既获得了多通道空间聚类的空间分离性能和通用性，又获得了多个并行单通道LSTM语音增强器的信号建模性能。我们的实验表明，当我们的系统被应用到CHiME-3数据集的嘈杂的平板电脑录音，它提高了语音质量的感知评价语音质量（PESQ）算法测量，并降低了字出错率的基线CHiME-3语音识别器，相比默认的BeamformIt波束形成器。
2020-12-02 cs.LG cs.SD eess.AS
Iterative autoregression: a novel trick to improve your low-latency speech enhancement model
Samsung Research（三星研究院）；HSE University（俄罗斯国立高等经济大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科技学院）；Artificial Intelligence Research Institute（人工智能研究院）
本文针对低延迟流式语音增强中教师强制训练导致的训练推理不匹配问题，提出一种迭代自回归训练方法，并在多种架构和训练场景下验证了其稳定提升效果。
2023-12-05 cs.AI cs.SD eess.AS
Learning When to Speak: Latency and Quality Trade-offs for Simultaneous Speech-to-Speech Translation with Offline Models
University of Pennsylvania（宾夕法尼亚大学）；Roblox（罗布乐思）
本文提出面向真实场景的同声 S2ST 系统，支持 57 种语言译入英语，并通过四种发声决策策略在接近离线准确率的同时实现可调低延迟。
2023-06-01 cs.CL cs.LG cs.SD
Neural Speech Enhancement with Very Low Algorithmic Latency and Complexity via Integrated Full- and Sub-Band Modeling
Carnegie Mellon University（卡内基梅隆大学）；Università Politecnica delle Marche（马尔凯理工大学）；Hyundai Motor Group（现代汽车集团）；dot Inc.（42dot公司）
本文提出FSB-LSTM架构，通过集成全频带与子频带建模，在STFT域实现低复杂度、低延迟且性能优异的单通道和多通道语音增强。
2023-04-18 cs.SD eess.AS
SimulS2S-LLM: Unlocking Simultaneous Inference of Speech LLMs for Speech-to-Speech Translation
Department of Engineering, University of Cambridge（剑桥大学工程系）；Shanghai Jiao Tong University（上海交通大学）
提出SimulS2S-LLM，通过离线训练和测试时策略实现语音LLM的同步语音到语音翻译，利用边界感知提示和增量波束搜索，在CVSS上以相似延迟提升ASR-BLEU 3分。
2025-04-22 cs.CL cs.SD eess.AS
Fast-U2++: Fast and Accurate End-to-End Speech Recognition in Joint CTC/Attention Frames
Northwestern Polytechnical University（西北工业大学）；Horizon Robotics（地平线机器人）；WeNet Open Source Community（WeNet开源社区）
最近，用于语音识别的统一的流和非流两遍（U2/U2++）端到端模型在流能力、准确性和延迟方面表现出很好的性能。在本文中，我们提出了快速U2 ++，U2++的增强版本，以进一步减少部分延迟。fast-U2++的核心思想是在其编码器中使用小块输出底层的部分结果，同时在其编码器的顶层使用大块来补偿由小块引起的性能下降。此外，我们使用知识蒸馏的方法来减少令牌的发射延迟。我们在Aishell-1数据集上进行了大量的实验。实验和消融研究表明，与U2++相比，fast-U2++将模型延迟从320 ms降低到80 ms，并在流设置下实现了5.06%的字符出错率（CER）。
2022-11-02 cs.SD eess.AS
Self-regularised Minimum Latency Training for Streaming Transformer-based Speech Recognition
Toshiba Europe Ltd（东芝欧洲有限公司）；Cambridge Research Laboratory（剑桥研究实验室）
提出无需外部硬对齐监督的 SR-MLT，通过动态正则化训练中生成的对齐来微调流式 MoChA/CA Transformer，在保持 ASR 准确率的同时显著降低延迟。
2023-04-24 cs.SD eess.AS
Efficient Low-Latency Speech Enhancement with Mobile Audio Streaming Networks
Samsung R\&D Institute Poland
我们提出了移动音频流网络（MASnet）的有效的低延迟语音增强，这是特别适合于移动设备和其他应用程序的计算能力是一个限制。MASnet处理线性尺度频谱图，将连续的噪声帧转换为复值比率掩模，然后将其应用于相应的噪声帧。MASnet可以在低延迟增量推理模式下运行，该模式与逐层批处理模式的复杂性相匹配。与类似的全卷积架构相比，MASnet结合了去卷积和逐点卷积，大大减少了每秒融合乘法累加运算（FMA/s），但代价是SNR有所降低。
2020-08-17 cs.LG cs.SD eess.AS
Combining Spatial Clustering with LSTM Speech Models for Multichannel Speech Enhancement
The Graduate Center, City University of New York（纽约城市大学研究生中心）；Brooklyn College, City University of New York（纽约城市大学布鲁克林学院）
使用LSTM架构的递归神经网络可以实现显著的单通道降噪。然而，如何将它们应用于多通道输入，以推广到新的麦克风配置，这并不明显。相比之下，空间聚类技术可以实现这样的推广，但缺乏一个强大的信号模型。本文将这两种方法结合起来，以获得多通道空间聚类的空间分离性能和通用性以及多个并行单通道LSTM语音增强器的信号建模性能。该系统进行了比较，CHiME 3数据集上的几个基线的语音质量预测的PESQ算法和字出错率的识别器训练不匹配的条件下，为了专注于泛化。我们的实验表明，通过将LSTM模型与空间聚类相结合，我们将单词出错率降低了4.6%（17.2%相对）和11.2%绝对与空间聚类系统相比，与LSTM模型相比，在开发集上减少了10.75%（相对减少32.72%），在测试数据上减少了6.12%（相对减少15.76%）。
2020-12-02 cs.LG cs.SD eess.AS
LightGrad: Lightweight Diffusion Probabilistic Model for Text-to-Speech
Horizon Robotics（地平线机器人）
LightGrad是一种轻量级扩散概率模型，通过轻量U-Net解码器和无训练快速采样技术，在4步去噪下参数减少62.2%，延迟降低65.7%，同时保持语音质量，适用于边缘设备TTS。
2023-08-31 cs.SD eess.AS
Streaming Speech Recognition with Decoder-Only Large Language Models and Latency Optimization
University of Science and Technology of China（科学技术大学）；iFLYTEK Research, iFLYTEK Co., Ltd.（iFLYTEK研究院，iFLYTEK有限公司）；School of Artificial Intelligence and Computer Science（人工智能与计算机科学学院）
本文提出了一种结合解码器-only大型语言模型和延迟优化的流式语音识别方法，通过动态分割语音嵌入和联合训练策略，提升了识别性能并降低了延迟。
2026-01-30 cs.SD eess.AS
Unsupervised lexicon learning from speech is limited by representations rather than clustering
Electrical and Electronic Engineering, Stellenbosch University, South Africa（斯蒂文森博斯大学电子与电气工程系）
该研究通过对比不同表示和聚类方法，发现词段表示的差异是限制语音词典学习性能的主要因素。
2026-01-27 cs.CL cs.SD eess.AS
High-Accuracy and Low-Latency Speech Recognition with Two-Head Contextual Layer Trajectory LSTM Model
Microsoft（微软）
虽然社区一直在推广端到端模型，而传统的混合模型通常是用交叉熵标准训练的长短期记忆（LSTM）模型，然后是序列判别训练标准，但我们认为这种传统的混合模型仍然可以显着改进。在本文中，我们详细介绍了我们最近为改进传统的混合LSTM声学模型以实现高精度和低延迟的自动语音识别所做的努力。为了实现高精度，我们使用了上下文层轨迹LSTM（cltLSTM），它将时间建模和目标分类任务合并，并结合未来的上下文帧以获得更多信息，从而实现准确的声学建模。进一步完善了序列级师生学习的培训策略。为了获得低延迟，我们设计了一个双头cltLSTM，与LSTM相比，其中一个头具有零延迟，另一个头具有较小的延迟。当使用微软6.5万小时的匿名训练数据进行训练并使用180万个单词的测试集进行评估时，采用所提出的训练策略的双头cltLSTM模型与传统的LSTM声学模型相比，相对WER减少了28.2%，并且具有类似的感知延迟。
2020-03-17 cs.CL cs.SD eess.AS
