Deep low-latency joint speech transmission and enhancement over a gaussian channel
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）；University of Oldenburg（奥尔登堡大学）
本文提出一种基于深度神经网络的低时延联合语音传输与增强方法，通过端到端联合训练增强与传输系统，在低至3 ms时延下仍优于简单级联系统。
2024-04-30 cs.SD eess.AS
From Start to Finish: Latency Reduction Strategies for Incremental Speech Synthesis in Simultaneous Speech-to-Speech Translation
Maastricht University（马斯特里赫特大学）；Meta AI；Johns Hopkins University（约翰斯·霍普金斯大学）
语音到语音翻译（S2 ST）将输入语音转换为另一种语言的语音。实时的传送S2 ST的挑战是翻译和语音合成模块之间的累积延迟。虽然最近增量文本到语音（iTTS）模型已经显示出很大的质量改进，但它们通常需要额外的未来文本输入才能达到最佳性能。在这项工作中，我们最大限度地减少了初始等待时间的iTTS通过适应上游语音翻译器生成高质量的伪前瞻语音合成器。在减轻初始延迟后，我们证明了合成语音的持续时间对延迟也起着至关重要的作用。我们将其形式化为延迟度量，然后提出一种简单而有效的延迟缩减方法。我们的方法始终将延迟降低0.2-0.5秒，而不会牺牲语音翻译质量。
2022-07-15 cs.CL cs.SD eess.AS
Latency-Controlled Neural Architecture Search for Streaming Speech Recognition
Tencent AI Lab（腾讯人工智能实验室）
神经结构搜索（NAS）已引起人们的广泛关注，并已被探索用于自动语音识别（ASR）。在这项工作中，我们专注于流ASR场景，并提出了延迟控制的NAS声学建模。首先，基于香草神经架构，正常细胞被改变为因果细胞以控制架构的总延迟。其次，提出了一种具有较小感受野的修正操作空间，以生成具有低延迟的最终架构。大量的实验表明：1）基于所提出的神经网络结构，可以分别在vanilla和修正后的操作空间中学习中延迟为550ms（毫秒）和低延迟为190ms的神经网络。2)对于低延迟设置，在10k小时的大规模数据集上，与混合CLDNN基线相比，评估网络可以实现超过19%（四个测试集的平均值）的相对改进。
2021-09-14 cs.SD eess.AS
Directional Source Separation for Robust Speech Recognition on Smart Glasses
University of Southern California（南加州大学）；Meta Platforms, Inc.（Meta平台公司）
针对智能眼镜语音识别受环境噪声干扰的问题，研究多麦克风阵列定向源分离，探索传统与神经波束形成并联合训练分离与ASR模型，提升佩戴者语音识别性能。
2025-06-14 cs.HC cs.SD eess.AS
SkiM: Skipping Memory LSTM for Low-Latency Real-Time Continuous Speech Separation
Shanghai Jiao Tong University（上海交通大学）；Samsung Research China - Beijing (SRC-B)（三星中国研究院-北京（SRC-B））
用于会议预处理的连续语音分离是近年来的研究热点。与话语级语音分离中的数据相比，会议式音频流持续时间更长，说话人数量不确定。我们采用时域语音分离方法和最近提出的Graph-PIT，建立一个超低延迟的在线语音分离模型，这是非常重要的实际应用。具有小步幅的低延迟时域编码器导致极长的特征序列。提出了一种简单而有效的长序列建模模型Skipping Memory（SkiM）。实验结果表明，SkiM的分离性能与DPRNN相当，甚至更好.同时，SkiM的计算成本比DPRNN减少了75%。SkiM强大的长序列建模能力和较低的计算成本使其成为在线CSS应用程序的合适模型。我们最快的实时模型在模拟会议式评估中获得了17.1 dB的信号失真比（SDR）改善，延迟不到1毫秒。
2022-02-10 cs.SD eess.AS
Deep neural network Based Low-latency Speech Separation with Asymmetric analysis-Synthesis Window Pair
Tampere University（坦佩雷大学）
通过短对称窗口计算的时频掩蔽或频谱预测通常用于基于低延迟深度神经网络（DNN）的源分离。在本文中，我们提出了一个不对称的分析合成窗口对，它允许训练与目标具有更好的频率分辨率，同时保留低延迟推理适合实时语音增强或辅助听力应用。为了在各种模型类型和数据集上评估我们的方法，我们使用与说话者无关的深度聚类（DC）模型和与说话者相关的掩码推理（MI）模型对其进行评估。我们报告了高达1.5 dB的源失真比（SDR）方面的分离性能的改善，同时保持8 ms的算法延迟。
2021-06-22 cs.SD eess.AS
AGADIR: Towards Array-Geometry Agnostic Directional Speech Recognition
Meta
针对智能眼镜多通道 ASR 中麦克风阵列几何变化的问题，提出在多种相似几何结构上训练以实现几何无关泛化，并采用非线性约束最小方差准则改进波束形成，已见几何识别率相对提升 15%–28%。
2024-01-18 cs.SD eess.AS
Omni-directional attention mechanism based on Mamba for speech separation
School of Cyberspace Science and Technology, Beijing Institute of Technology（空客空间科学与技术学院，北京理工大学）；School of Computer Science, Beijing University of Posts and Telecommunications（计算机学院，北京邮电大学）；School of Information and Electronics, Beijing Institute of Technology（信息电子学院，北京理工大学）
本文提出基于Mamba的全方位注意力机制，通过在频谱图上从十个方向建模全局依赖，提升语音分离性能。
2026-01-23 cs.SD eess.AS
LiveSpeech: Low-Latency Zero-shot Text-to-Speech via Autoregressive Modeling of Audio Discrete Codes
Applied Sciences Group, Microsoft Corp, USA
LiveSpeech提出一种基于全自回归语言模型的零样本文本转语音方法，通过自适应码本损失权重和码本分组并行处理实现低延迟流式输出，在内容准确性、说话人相似度、音频质量和推理速度上达到先进水平。
2024-06-10 cs.SD eess.AS
RDSE: Real-Time Directional Speech Enhancement Framework for Dual-Mic Commodity Smartphones
National Institute of Technology Jalandhar（贾朗达尔国家技术学院）；Kalinga Institute of Industrial Technology（卡林加工业技术学院）；IMC University of Applied Sciences（IMC应用科技大学）
针对移动设备视听变焦的限制，提出双麦克风智能手机的RDSE框架，结合信号处理与机器学习，解耦视觉交互与特征推理，经多维度验证性能与现有方法相当。
2026-10-20 cs.SD eess.AS
Amortized Neural Networks for Low-Latency Speech Recognition
Alexa Machine Learning, Amazon（亚马逊Alexa机器学习部门）
我们介绍了摊销神经网络（AmNets），一个计算成本和延迟感知的网络架构，特别适合于序列建模任务。我们将AmNets应用于递归神经网络转换器（RNN-T），以降低自动语音识别（ASR）任务的计算成本和延迟。AmNets RNN-T架构使网络能够逐帧地在编码器分支之间动态切换。分支的构造具有可变的计算成本和模型容量级别。在这里，我们实现了两个著名的候选技术变量计算：一个使用稀疏修剪，另一个使用矩阵分解。逐帧交换由仲裁器网络决定，其需要的计算开销可以忽略不计。我们目前的结果使用这两种架构的LibriSpeech数据，并表明，我们提出的架构可以减少推理成本高达45%和延迟到近实时，而不会导致损失的准确性。
2021-08-03 cs.SD eess.AS
Exploring Tradeoffs in Models for Low-latency Speech Enhancement
Google Research（谷歌研究院）；Google Chrome Audio（谷歌Chrome音频团队）
我们探讨了各种神经网络配置的单通道和双通道频谱掩模为基础的语音增强。我们的最佳模型在CHiME2语音增强任务上的先前最先进的性能上提高了0.4分贝的信号失真比（SDR）。我们研究权衡，如非因果前瞻，计算和参数计数与增强性能，发现零前瞻模型可以实现，平均而言，在0.03 dB SDR的最佳双向模型。此外，我们发现，200毫秒的前瞻性足以实现与我们最好的双向模型相当的性能。
2018-11-16 cs.SD eess.AS
Exploring the Best Loss Function for DNN-Based Low-latency Speech Enhancement with Temporal Convolutional Networks
Carnegie Mellon University（卡内基梅隆大学）；Sony Corporation（索尼公司）；Sony Europe B.V.（索尼欧洲有限公司）
近年来，深度神经网络（DNN）已成功用于语音增强，基于DNN的语音增强正成为一个有吸引力的研究领域。虽然基于短时傅里叶变换（STFT）的时频掩蔽在过去几年中已经广泛用于基于DNN的语音增强，但是也已经提出了诸如时域音频分离网络（TasNet）的时域方法。最合适的方法取决于数据集的规模和任务的类型。在本文中，我们探讨了最佳的语音增强算法在两个不同的数据集。我们提出了一个基于STFT的方法和损失函数，使用问题不可知的语音编码器（PASE）功能，以提高主观质量的较小的数据集。我们提出的方法在Voice Bank + DEMAND数据集上是有效的，并且与其他最先进的方法相比毫不逊色。我们还实现了一个低延迟版本的TasNet，我们将其提交给了DNS Challenge，并通过开源将其公开。我们的模型在DNS Challenge数据集上实现了出色的性能。
2020-08-20 cs.SD eess.AS
DFSNet: A Steerable Neural Beamformer Invariant to Microphone Array Configuration for Real-Time, Low-Latency Speech Enhancement
University of Texas at Dallas（德克萨斯大学达拉斯分校）
麦克风阵列配置的不变性是神经波束形成器中罕见的属性。此类中的滤波求和（FS）方法定义相对于参考通道的目标信号。然而，这不仅使混响条件下的公式化复杂化，而且使网络复杂化，网络必须具有推断参考通道是什么的机制。为了解决这些问题，本研究提出了延迟滤波求和网络（DFSNet），一个可控的神经波束形成器不变的麦克风数量和阵列的几何形状的因果语音增强。在DFSNet中，在FS操作之前，首先将获取的信号转向语音源方向，这将任务简化为延迟和求和的混响干净语音的估计。所提出的模型被设计为产生低延迟、失真、以及存储器和计算负担，从而在助听器应用中产生高潜力。仿真结果显示，可比的性能非因果的最先进的。
2023-02-26 cs.SD eess.AS
Low Latency Time Domain Multichannel Speech and Music Source Separation
Ilmenau University of Technology（伊尔梅瑙工业大学）
目标是获得具有非常低延迟的简单多通道源分离。应用可以是电话会议、助听器、增强现实或选择性有源噪声消除。这些实时应用需要非常低的延迟（通常小于约6ms）和低复杂度，因为它们通常在小型便携式设备上运行。为此，我们不需要最好的分离，但“有用的”分离，不仅是语音，而且是音乐和噪音。频域方法具有更高的延迟和复杂度。因此，我们引入了一种新的概率优化方法，我们称之为“随机方向”，它可以克服局部极小值，适用于一个简单的时域解混结构，这是可扩展的低复杂度。然后将其与频域方法在分离语音和音乐源以及使用3D麦克风设置方面进行比较。
2022-04-12 cs.SD eess.AS
WhispEar: A Bi-directional Framework for Scaling Whispered Speech Conversion via Pseudo-Parallel Whisper Generation
School of Data Science, The Chinese University of Hong Kong, Shenzhen, China（数据科学学院，香港中文大学（深圳））；Honor Device Co., Ltd, China（荣誉设备有限公司）
WhispEar 提出了一种双向框架，通过伪并行 whisper 生成实现 whisper 语音转换的扩展，利用统一语义表示提升转换性能，并发布最大双语语料库。
2026-03-09 cs.SD eess.AS
Modified Parametric Multichannel Wiener Filter \\for Low-latency Enhancement of Speech Mixtures with Unknown Number of Speakers
NTT Corporation（NTT公司）；International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）
本文提出了一种低延迟在线波束形成算法 Mod-PMWF，通过修改传统参数化多通道维纳滤波器，在未知说话人数量及声学传递函数的情况下自适应增强语音混合物，并在干扰抑制比和主观听力测试中验证了其有效性。
2023-06-29 cs.SD eess.AS
Semantic VAD: Low-Latency Voice Activity Detection for Speech Interaction
University of Science and Technology of China (USTC)（中国科学技术大学）；Tianjin University（天津大学）；Alibaba Group（阿里巴巴集团）
本文提出一种用于低延迟分割的语义 VAD 方法，通过引入帧级标点预测、人工端点分类及 ASR 语义损失，在保持后端 ASR 字符错误率不显著恶化的前提下将平均延迟降低 53.3%。
2023-05-21 cs.SD eess.AS
STFT-Domain Neural Speech Enhancement with Very Low Algorithmic Latency
Carnegie Mellon University（卡内基梅隆大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
短时傅立叶变换（STFT）域中基于深度学习的语音增强通常使用较大的窗口长度，例如32 ms。较大的窗口可以导致更高的频率分辨率和潜在的更好的增强。然而，这在在线设置中引起32 ms的算法延迟，因为在逆STFT（iSTFT）中使用的相加算法也使用相同的窗口大小来执行。为了减少这种固有的延迟，我们采用了传统的双窗口大小方法，其中常规的输入窗口大小用于STFT，但较短的输出窗口用于STFT域深度学习的帧在线语音增强。基于这种STFT-iSTFT配置，我们采用复谱映射进行帧在线增强，其中训练深度神经网络（DNN）以从混合RI分量预测目标语音的实部和虚部（RI）分量。此外，我们使用DNN预测的RI分量来进行帧在线波束成形，其结果用作第二DNN执行帧在线后滤波的额外特征。频域波束形成器可以很容易地与我们的DNN集成，并且被设计为不会产生任何算法延迟。此外，我们提出了一个未来帧预测技术，以进一步减少算法的延迟。对含噪混响语音增强的实验结果表明了算法的有效性。与Conv-TasNet相比，我们的STFT域系统可以在相当的计算量下实现更好的增强性能，或者以更少的计算实现相当的性能，在算法延迟低至2 ms的情况下保持强大的性能。
2022-12-05 cs.SD eess.AS
Ultra-Low Latency Speech Enhancement - A Comprehensive Study
National Taiwan University（台湾大学）；Microsoft（微软公司）
针对现有低延迟语音增强方法缺乏公平对比、多在小型模拟数据测试的问题，本研究基于大规模数据统一训练，综合探究多种低延迟技术及Mamba架构在真实场景下的性能，为超低延迟语音增强研究提供可靠参考。
2024-09-16 cs.SD eess.AS
On TasNet for Low-Latency Single-Speaker Speech Enhancement
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
近年来，语音处理算法取得了巨大的进步，主要是由于深度学习的复兴。这对于语音分离尤其如此，其中时域音频分离网络（TasNet）已经导致了显着的改进。然而，对于单说话者语音增强的相关任务，这是显而易见的重要性，它仍然是未知的，如果TasNet架构同样成功。在本文中，我们表明，TasNet提高了最先进的语音增强，并实现了最大的增益调制噪声源，如语音。此外，我们表明，TasNet学习一个有效的内域表示，其中目标和噪声信号分量是高度可分离的。对于干扰语音信号的噪声来说尤其如此，这可以解释为什么TasNet在分离任务中表现如此出色。此外，我们表明，TasNet表现不佳的大帧跳数和猜测，混叠可能是这种性能下降的主要原因。最后，我们证明了TasNet始终优于最先进的单扬声器语音增强系统。
2021-03-27 cs.SD eess.AS
LL-SDR: Low-Latency Speech enhancement through Discrete Representations
Independent Researcher（独立研究员）；Concordia University（康科迪亚大学）；Mila -- Quebec AI Institute（蒙特利尔AI研究所）；Laval University（拉瓦尔大学）
本文提出LL-SDR框架，通过离散化提升语音与噪声分离，实验表明其在低延迟环境下优于连续基线方法。
2026-07-29 cs.SD eess.AS
Low-latency Monaural Speech Enhancement with Deep Filter-bank Equalizer
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
对于诸如数字助听器、透声听力设备和公共广播系统的许多应用，高度期望语音增强算法能够实现良好的性能，同时保持低延迟。为了提高传统低时延语音增强算法的性能，提出了一种深度滤波器组均衡器（FBE）框架，该框架集成了基于深度学习的子带降噪网络和基于深度学习的缩短数字滤波器映射网络。在第一个网络中，使用可控的小帧移位来训练深度学习模型，以满足低延迟需求，即，$\le$ 4 ms，以便获得（复数）子带增益，其可以被视为每帧中的自适应数字滤波器。在第二个网络中，为了减少延迟，这种自适应数字滤波器通过基于深度学习的框架隐式缩短，然后应用于含噪语音，以重建增强的语音，而不使用叠加方法。在WSJ 0-SI 84语料库上的实验结果表明，该算法在PESQ、STOI和降噪量等指标上均优于传统的低延迟语音增强算法，且延迟仅为4 ms.
2022-02-14 cs.SD eess.AS eess.SP
Low-Latency Sequence-to-Sequence Speech Recognition and Translation by Partial Hypothesis Selection
Maastricht University（马斯特里赫特大学）
编码器-解码器模型为诸如语音识别和翻译之类的序列到序列任务提供通用架构。虽然离线系统通常根据字出错率（WER）和BLEU等质量指标进行评估，但在许多实际用例中，延迟也是一个关键因素。我们提出了三个延迟减少技术基于块的增量推理和评估其效率的准确性延迟权衡。在300小时的How2数据集上，我们通过牺牲1%的WER（6%的可靠性）将延迟减少了83%，达到0.8秒。与离线转录相比。虽然我们的实验使用了Transformer，但假设选择策略适用于其他编码器-解码器模型。为了避免昂贵的重新计算，我们使用单向参与编码器。在对部分序列的适应过程之后，单向模型与原始模型表现一致。我们进一步表明，我们的方法也适用于低延迟语音翻译。在How2英语-葡萄牙语语音翻译上，我们将延迟减少到0.7秒（-84% rel）。同时损失了2.4个BLEU点（5%相对值）。与离线系统相比。
2020-10-13 cs.CL cs.SD eess.AS
Equipping LLM with Directional Multi-Talker Speech Understanding Capabilities
Meta, USA（Meta公司）
本文提出两种方法，通过多麦克风阵列和级联系统，使LLM具备方向性多说话人语音理解能力，提升了语音识别和翻译性能。
2026-02-06 cs.CL cs.SD
Low Latency ASR for Simultaneous Speech Translation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
用户研究表明，减少我们的同步演讲翻译系统的延迟应该是最重要的目标。因此，我们研究了几种技术来减少自动语音识别和语音翻译模块这两个组件的延迟。由于通常使用的提交延迟不适合我们的连续流解码情况，我们专注于字延迟。我们使用它来分析我们当前系统的性能，并确定改进的机会。为了最大限度地减少延迟，我们结合了运行解码与流解码时用于识别稳定部分假设的技术和用于动态输出更新的协议，该协议允许修改转录的最新部分。这种组合减少了字级的延迟，其中字是最终的，将来不会再次更新，从18.1秒到1.1秒，而不会牺牲字错误率方面的性能。
2020-03-22 cs.CL cs.SD eess.AS
Low-latency Speech Enhancement via Speech Token Generation
Microsoft Research Asia（微软亚洲研究院）
针对数据驱动语音增强对未见噪声泛化不足的问题，提出基于 TF-Codec 的单阶段条件自回归语音 token 生成框架，并通过显式对齐实现低时延、高鲁棒性增强。
2024-01-23 cs.MM cs.SD eess.AS
SonicSieve: Bringing Directional Speech Extraction to Smartphones Using Acoustic Microstructures
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；Zhejiang University（浙江大学）
SonicSieve通过生物启发式声学微结构在智能手机上实现定向语音提取，提升信号质量并优于传统麦克风阵列。
2026-02-11 cs.HC cs.LG cs.SD
DPI-TTS: Directional Patch Interaction for Fast-Converging and Style Temporal Modeling in Text-to-Speech
Institute of Automation, Chinese Academy of Science（中国科学院自动化研究所）；Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学北京信息科学与技术国家研究中心）；AI Lab, Tencent（腾讯AI实验室）
针对现有DiT语音扩散模型忽略语音声学特性的问题，提出DPI-TTS方法，采用符合声学特性的低频到高频逐帧渐进推理与细粒度风格时序建模，在保证精度的同时训练速度提升近2倍，且生成语音效果优于基线。
2024-09-18 cs.AI cs.SD eess.AS
Low-Latency Deep Clustering For Speech Separation
Tampere University of Technology（坦佩雷理工大学）
本文提出了一种低算法延迟适应的深度聚类方法，以非特定人语音分离。它包括三个部分：a）使用长短期记忆（LSTM）网络，而不是原始工作中使用的双向变体，b）使用低延迟操作所需的短合成窗口（此处为8 ms），以及c）在音频混合的开始使用缓冲器来估计与组成扬声器对应的聚类中心，然后利用该聚类中心来分离信号其余部分中的扬声器。缓冲持续时间将用作初始化阶段，在该初始化阶段之后，系统能够以8ms的算法延迟操作。我们评估我们提出的方法对两个扬声器的混合物从华尔街日报（WSJ0）语料库。我们观察到，与基线双向LSTM相比，LSTM的使用在源失真比（SDR）方面降低了约1dB的SDR。此外，与基线相比，使用8ms合成窗口而不是32ms使分离性能降低约2.1dB。最后，我们还报告了不同缓冲持续时间的分离性能，指出即使缓冲持续时间低至300 ms，也可以实现分离。
2019-02-19 cs.SD eess.AS
Dissecting User-Perceived Latency of On-Device E2E Speech Recognition
Facebook AI
随着智能手机和智能扬声器等语音设备变得越来越普遍，人们对构建可直接在设备上运行的自动语音识别（ASR）系统的兴趣越来越大;端到端（E2 E）语音识别模型，如递归神经网络换能器及其变体，最近已成为该任务的主要候选者。除了准确和紧凑之外，这样的系统还需要以低用户感知延迟（UPL）解码语音，一旦说出就产生单词。这项工作研究了各种技术-模型架构，训练标准，解码超参数和端点参数-对UPL的影响。我们的分析表明，模型大小的度量（参数，输入块大小）或计算的度量（例如，FLOPS，RTF）反映了模型处理输入帧的能力，并不总是与观察到的UPL密切相关。因此，传统的算法延迟测量可能不足以准确地捕获在嵌入式设备上部署模型时观察到的延迟。相反，我们发现影响令牌发射延迟和端点行为的因素对UPL有更大的影响。我们实现了延迟和字出错率之间的最佳权衡时，执行ASR联合端点，同时利用最近提出的对齐正则化机制。
2021-08-11 cs.CL cs.SD eess.AS
Speech Boosting: Low-Latency Live Speech Enhancement for TWS Earbuds
Samsung Research（三星研究院）
本文提出一种面向TWS耳塞端侧的低延迟语音增强方案，通过优化网络架构、损失函数、剪枝及硬件适配，在ANC开启的噪声对话场景下实现低于3毫秒延迟并显著提升增强质量。
2024-09-27 cs.AI cs.SD eess.AS
Incremental Text-to-Speech Synthesis Using Pseudo Lookahead with Large Pretrained Language Model
The University of Tokyo（东京大学）
这封信提出了一种增量文本到语音（TTS）的方法，在小的语言单元进行合成，同时保持输出语音的自然性。增量式TTS通常经受延迟和合成语音质量之间的权衡。用低延迟设置产生高质量语音是具有挑战性的，该低延迟设置不太使用未观察到的未来句子（以下称为“前瞻”）。为了解决这个问题，我们提出了一种增量TTS方法，该方法使用由语言模型生成的伪前瞻来考虑未来的上下文信息，而不会增加延迟。我们的方法可以被视为模仿人类的增量阅读，并使用预训练的GPT2，它占了大规模的语言知识，为前瞻性的一代。评估结果表明，我们的方法1）实现了更高的语音质量比只考虑观察到的信息的方法和2）实现了语音质量相当于等待未来的上下文观察。
2021-04-14 cs.SD eess.AS
Low-Latency Speaker-Independent Continuous Speech Separation
Microsoft（微软）
说话人独立连续语音分离（SI-CSS）是将可能包含未知说话人的重叠语音的连续音频流转换成固定数量的连续信号的任务，每个连续信号不包含重叠语音段。从SI-CSS的输出通道之一非确定性地生成每个话语的分离或清洁版本，而不将其拆分并分发到多个通道。典型的应用场景是转录使用麦克风阵列记录的多方对话，例如会议。输出信号可以简单地发送到语音识别引擎，因为它们不包括语音重叠。先前的SI-CSS方法使用用置换不变训练和数据驱动的波束形成器训练的神经网络，因此需要很多处理延迟。本文提出了一种低延迟的SI-CSS方法，其性能与基于麦克风阵列的会议转录任务中的先前方法相当，这是通过（1）使用新的语音分离网络架构结合双缓冲方案和（2）使用一组固定波束形成器和神经后滤波器执行增强来实现的。
2019-04-13 cs.CL cs.SD eess.AS
Minimum Latency Training of Sequence Transducers for Streaming End-to-End Speech Recognition
Yahoo Japan Corporation（雅虎日本公司）；Carnegie Mellon University（卡内基梅隆大学）
序列转换器，如RNN-T和Conformer-T，是端到端语音识别最有前途的模型之一，特别是在延迟和准确性都很重要的流媒体场景中。虽然已经研究了各种方法（例如，受限训练和FastEmit）来减少延迟，但是延迟的减少通常伴随着准确性的显著降低。我们认为，这种次优性能可能是因为没有以前的方法显式建模和减少延迟。在本文中，我们提出了一种新的训练方法来显式建模和减少延迟的序列传感器模型。首先，我们定义在网格上的每个对角线的预期延迟，并表明其梯度可以有效地计算内的向前向后算法。然后，我们用这个预期的延迟来增加换能器损耗，从而实现延迟和精度之间的最佳权衡。在WSJ数据集上的实验结果表明，所提出的最小延迟训练将因果Conformer-T的延迟从220 ms降低到27 ms，WER下降0.7%，并且优于传统的限制性训练（110 ms）和FastEmit（67 ms）方法。
2022-11-04 cs.CL cs.SD eess.AS
Dynamic Latency for CTC-Based Streaming Automatic Speech Recognition With Emformer
SenseTime Research（商汤科技研究院）；Beijing University of Posts and Telecommunications（北京邮电大学）
流自动语音识别模型与非流模型相比性能较差，这是由于缺乏未来的上下文。为了提高流式模型的性能和降低计算复杂性，本文采用了一种帧级模型，该模型采用高效的扩充存储器Transformer块和动态延迟训练方法，用于流式自动语音识别。将长范围历史上下文存储到扩充存储体中，作为对编码器中使用的有限历史上下文的补充。键和值通过缓存机制缓存，并在下一个块中重用以减少计算。之后，提出了一种动态延迟训练方法，以获得更好的性能，并同时支持低和高延迟推理。我们的实验是在基准960 h LibriSpeech数据集上进行的。在平均延迟为640 ms的情况下，我们的模型与截断块式Transformer相比，在测试-clean上实现了6.0%的相对WER降低，在测试-other上实现了3.0%的相对WER降低。
2022-03-29 cs.CL cs.SD eess.AS
Towards Sub-millisecond Latency Real-Time Speech Enhancement Models on Hearables
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
本文提出一种基于最小相位FIR滤波器和轻量级LSTM的可听戴设备语音增强方法，实现0.32-1.25毫秒算法延迟和3.35毫秒端到端延迟，单麦克风下SI-SDRi达4.1 dB。
2025-03-07 cs.LG cs.SD eess.AS
Low-Latency Neural Speech Phase Prediction based on Parallel Estimation Architecture and Anti-Wrapping Losses for Speech Generation Tasks
University of Science and Technology of China（中国科学技术大学）
本文提出一种新颖的神经语音相位预测模型，通过残差卷积网络与并行估计架构直接从幅度谱预测卷绕相位谱，并设计反卷绕损失避免误差扩展，结合因果卷积与知识蒸馏实现低延迟流式预测，在精度、效率和鲁棒性上均优于现有方法。
2024-03-26 cs.SD eess.AS
On the compression of shallow non-causal ASR models using knowledge distillation and tied-and-reduced decoder for low-latency on-device speech recognition
Samsung Research（三星研究院）
针对端侧ASR的低延迟需求，本文结合知识蒸馏、绑定约简解码器等技术压缩浅层非因果级联ASR模型，实现41M参数教师模型体积减半、准确率无明显下降且延迟降低30%。
2023-12-15 cs.SD eess.AS
Endpoint Anticipation for Low-Latency Spoken Dialogue
Brno University of Technology（布拉格技术大学）；Carnegie Mellon University（卡内基梅隆大学）
提出端点预测方法，通过提前预测对话结束信号实现低延迟，在部分上下文中投机执行LLM和TTS流水线，平均延迟降低505毫秒。
2026-06-12 cs.SD eess.AS
Towards Real-time Mispronunciation Detection in Kids' Speech
The Ohio State University（俄亥俄州立大学）
由于引入了深度学习，现代的发音错误检测和诊断系统在准确性上有了显著的提高。然而，这些系统还没有被评估的能力，实时运行，一个重要的因素，在应用程序中，提供快速反馈。特别地，现有技术使用双向循环网络，其中单向网络可能更合适。师生学习是一种自然的方法来改善单向模型，但当使用CTC目标时，这受到输出与证据对齐不良的限制。我们通过尝试两个损失项来改善我们模型的对齐来解决这个限制。一种损失是“对齐损失”术语，其仅在特征不类似于沉默时才鼓励输出。另一个损失项使用单向模型作为教师模型来对齐双向模型。我们提出的模型使用这些对齐的双向模型作为教师模型。在CSLU儿童语料库上的实验表明，这些变化减少了输出的延迟，提高了检测率，并在这些目标之间进行了权衡。
2020-03-03 cs.CL cs.SD eess.AS
SpeechCompass: Enhancing Mobile Captioning with Diarization and Directional Guidance via Multi-Microphone Localization
Google Research（谷歌研究院）
SpeechCompass通过多麦克风实时语音定位和低功耗微控制器硬件，在移动语音转文字中实现说话人分离与方向指引，解决了群组对话中的挑战，用户研究验证了其价值。
2025-03-04 cs.HC cs.SD
Latency-Configurable Streaming Speech Enhancement via Asymmetric Temporal Padding
Department of Electrical Engineering, Pohang University of Science and Technology (POSTECH)（电气工程系，浦项科技大学）；Intus Co. Ltd.（Intus有限公司）
提出LaCo-SENet，通过非对称时间填充和双缓冲流式机制，在单一超参数下实现延迟与质量的灵活权衡，在VoiceBank+DEMAND上以1.37M参数获得12.5-75.0ms延迟范围，PESQ从3.35到3.43。
2026-08-19 cs.SD eess.AS
Utterance-level Permutation Invariant Training with Latency-controlled BLSTM for Single-channel Multi-talker Speech Separation
Tsinghua University（清华大学）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；North China Power Engineering CO., LTD. of China Power Engineering Consulting Group（中国电力工程顾问集团华北电力设计院有限公司）
语音级置换不变训练（uPIT）在单通道多人语音分离任务中取得了可喜的进展。长短期记忆（LSTM）和双向LSTM（BLSTM）被广泛用作uPIT的分离网络，即uPIT-LSTM和uPIT-BLSTM。uPIT-LSTM具有更低的延迟但性能更差，而uPIT-BLSTM具有更好的性能但延迟更高。在本文中，我们提出使用延迟控制的BLSTM（LC-BLSTM）在推理过程中，以实现低延迟和高性能的语音分离。为了寻找更好的BLSTM分离网络的训练策略，比较了块级PIT（cPIT）和uPIT。实验结果表明，当在推理过程中使用LC-BLSTM时，uPIT的性能优于cPIT。研究还发现，语块间说话人跟踪（ST）可以进一步提高uPIT-LC-BLSTM的分离性能。在WSJ 0双说话人混合语音分离实验中，uPIT-BLSTM和uPIT-LC-BLSTM的信号失真比（SDR）的绝对差距减小到0.7dB以内。
2019-12-25 cs.LG cs.SD eess.AS
Iterative autoregression: a novel trick to improve your low-latency speech enhancement model
Samsung Research（三星研究院）；HSE University（俄罗斯国立高等经济大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科技学院）；Artificial Intelligence Research Institute（人工智能研究院）
本文针对低延迟流式语音增强中教师强制训练导致的训练推理不匹配问题，提出一种迭代自回归训练方法，并在多种架构和训练场景下验证了其稳定提升效果。
2023-12-05 cs.AI cs.SD eess.AS
Learning When to Speak: Latency and Quality Trade-offs for Simultaneous Speech-to-Speech Translation with Offline Models
University of Pennsylvania（宾夕法尼亚大学）；Roblox（罗布乐思）
本文提出面向真实场景的同声 S2ST 系统，支持 57 种语言译入英语，并通过四种发声决策策略在接近离线准确率的同时实现可调低延迟。
2023-06-01 cs.CL cs.LG cs.SD
Neural Speech Enhancement with Very Low Algorithmic Latency and Complexity via Integrated Full- and Sub-Band Modeling
Carnegie Mellon University（卡内基梅隆大学）；Università Politecnica delle Marche（马尔凯理工大学）；Hyundai Motor Group（现代汽车集团）；dot Inc.（42dot公司）
本文提出FSB-LSTM架构，通过集成全频带与子频带建模，在STFT域实现低复杂度、低延迟且性能优异的单通道和多通道语音增强。
2023-04-18 cs.SD eess.AS
Hybrid Neural Networks for On-device Directional Hearing
University of Washington（华盛顿大学）；ETH Zürich（苏黎世联邦理工学院）
设备上的定向听觉需要从给定方向进行音频声源分离，同时实现严格的人类感知不到的延迟要求。虽然神经网络可以实现比传统波束形成器更好的性能，但所有现有模型都无法支持计算受限的可穿戴设备上的低延迟因果推理。我们提出了DeepBeam，这是一种将传统波束形成器与自定义轻量级神经网络相结合的混合模型。前者减少了后者的计算负担，也提高了其通用性，而后者旨在进一步减少内存和计算开销，以实现实时和低延迟操作。我们的评估显示，在合成数据上的性能与最先进的因果推理模型相当，同时实现了模型大小减少5倍，每秒计算减少4倍，处理时间减少5倍，并更好地推广到实际硬件数据。此外，我们的实时混合模型在为低功耗可穿戴设备设计的移动CPU上运行时间为8 ms，并实现了17.5 ms的端到端延迟。
2021-12-11 cs.LG cs.SD eess.AS
Deep neural network based speech separation optimizing an objective estimator of intelligibility for low latency applications
Tampere University of Technology（坦佩雷理工大学）；Eriksholm Research Centre, Oticon A/S（奥迪康公司埃里克肖姆研究中心）
均方误差（MSE）已经是当前基于深度神经网络（DNN）的语音分离技术中作为损失函数的优选选择。在本文中，我们提出了一个新的成本函数的目的是优化扩展的短时客观可懂度（ESTOI）的措施。我们专注于低算法延迟（$\leq 10$ ms）非常重要的应用。我们使用长短期记忆网络（LSTM），并在来自扩展丹麦噪声听力（HINT）数据集的四组两扬声器混合物上评估我们提出的方法。我们表明，建议的损失函数可以提供改进或在标准的客观可懂度（在ESTOI方面）相比，MSE优化的基线，同时导致较低的目标分离性能（在源失真比（SDR）方面）。然后，我们继续提出一种方法，其中网络首先使用针对MSE标准优化的权重进行初始化，然后使用所提出的ESTOI损失标准进行训练。这种方法减轻了客观分离性能的一些损失，同时保留了客观可懂度的增益。
2018-07-18 cs.SD eess.AS
SimulS2S-LLM: Unlocking Simultaneous Inference of Speech LLMs for Speech-to-Speech Translation
Department of Engineering, University of Cambridge（剑桥大学工程系）；Shanghai Jiao Tong University（上海交通大学）
提出SimulS2S-LLM，通过离线训练和测试时策略实现语音LLM的同步语音到语音翻译，利用边界感知提示和增量波束搜索，在CVSS上以相似延迟提升ASR-BLEU 3分。
2025-04-22 cs.CL cs.SD eess.AS
Fast-U2++: Fast and Accurate End-to-End Speech Recognition in Joint CTC/Attention Frames
Northwestern Polytechnical University（西北工业大学）；Horizon Robotics（地平线机器人）；WeNet Open Source Community（WeNet开源社区）
最近，用于语音识别的统一的流和非流两遍（U2/U2++）端到端模型在流能力、准确性和延迟方面表现出很好的性能。在本文中，我们提出了快速U2 ++，U2++的增强版本，以进一步减少部分延迟。fast-U2++的核心思想是在其编码器中使用小块输出底层的部分结果，同时在其编码器的顶层使用大块来补偿由小块引起的性能下降。此外，我们使用知识蒸馏的方法来减少令牌的发射延迟。我们在Aishell-1数据集上进行了大量的实验。实验和消融研究表明，与U2++相比，fast-U2++将模型延迟从320 ms降低到80 ms，并在流设置下实现了5.06%的字符出错率（CER）。
2022-11-02 cs.SD eess.AS
Self-regularised Minimum Latency Training for Streaming Transformer-based Speech Recognition
Toshiba Europe Ltd（东芝欧洲有限公司）；Cambridge Research Laboratory（剑桥研究实验室）
提出无需外部硬对齐监督的 SR-MLT，通过动态正则化训练中生成的对齐来微调流式 MoChA/CA Transformer，在保持 ASR 准确率的同时显著降低延迟。
2023-04-24 cs.SD eess.AS
Efficient Low-Latency Speech Enhancement with Mobile Audio Streaming Networks
Samsung R\&D Institute Poland
我们提出了移动音频流网络（MASnet）的有效的低延迟语音增强，这是特别适合于移动设备和其他应用程序的计算能力是一个限制。MASnet处理线性尺度频谱图，将连续的噪声帧转换为复值比率掩模，然后将其应用于相应的噪声帧。MASnet可以在低延迟增量推理模式下运行，该模式与逐层批处理模式的复杂性相匹配。与类似的全卷积架构相比，MASnet结合了去卷积和逐点卷积，大大减少了每秒融合乘法累加运算（FMA/s），但代价是SNR有所降低。
2020-08-17 cs.LG cs.SD eess.AS
Directional Sparse Filtering using Weighted Lehmer Mean for Blind Separation of Unbalanced Speech Mixtures
Nanyang Technological University（南洋理工大学）；Delta-NTU Corporate Lab for Cyber-Physical Systems（Delta-南大网络物理系统联合实验室）；Delta Electronics Inc（台达电子公司）
在语音信号的盲源分离中，源频谱中固有的不平衡性对依赖于单源优势来估计混合矩阵的方法提出了挑战。我们提出了一种算法的基础上的方向稀疏滤波（DSF）的框架，利用Lehmer平均与可学习的权重，自适应占源不平衡。在多个真实声学环境中的性能评估显示，与基线方法相比，源分离有所改善。
2021-05-14 cs.LG cs.SD eess.AS
