On TasNet for Low-Latency Single-Speaker Speech Enhancement
Aalborg University(奥尔堡大学);Oticon A/S(奥迪康公司)
近年来,语音处理算法取得了巨大的进步,主要是由于深度学习的复兴。这对于语音分离尤其如此,其中时域音频分离网络(TasNet)已经导致了显着的改进。然而,对于单说话者语音增强的相关任务,这是显而易见的重要性,它仍然是未知的,如果TasNet架构同样成功。在本文中,我们表明,TasNet提高了最先进的语音增强,并实现了最大的增益调制噪声源,如语音。此外,我们表明,TasNet学习一个有效的内域表示,其中目标和噪声信号分量是高度可分离的。对于干扰语音信号的噪声来说尤其如此,这可以解释为什么TasNet在分离任务中表现如此出色。此外,我们表明,TasNet表现不佳的大帧跳数和猜测,混叠可能是这种性能下降的主要原因。最后,我们证明了TasNet始终优于最先进的单扬声器语音增强系统。
2021-03-27 cs.SD eess.AS
LL-SDR: Low-Latency Speech enhancement through Discrete Representations
Independent Researcher(独立研究员);Concordia University(康科迪亚大学);Mila -- Quebec AI Institute(蒙特利尔AI研究所);Laval University(拉瓦尔大学)
本文提出LL-SDR框架,通过离散化提升语音与噪声分离,实验表明其在低延迟环境下优于连续基线方法。
2026-07-29 cs.SD eess.AS
Low-latency Monaural Speech Enhancement with Deep Filter-bank Equalizer
University of Chinese Academy of Sciences(中国科学院大学);Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所)
对于诸如数字助听器、透声听力设备和公共广播系统的许多应用,高度期望语音增强算法能够实现良好的性能,同时保持低延迟。为了提高传统低时延语音增强算法的性能,提出了一种深度滤波器组均衡器(FBE)框架,该框架集成了基于深度学习的子带降噪网络和基于深度学习的缩短数字滤波器映射网络。在第一个网络中,使用可控的小帧移位来训练深度学习模型,以满足低延迟需求,即,$\le$ 4 ms,以便获得(复数)子带增益,其可以被视为每帧中的自适应数字滤波器。在第二个网络中,为了减少延迟,这种自适应数字滤波器通过基于深度学习的框架隐式缩短,然后应用于含噪语音,以重建增强的语音,而不使用叠加方法。在WSJ 0-SI 84语料库上的实验结果表明,该算法在PESQ、STOI和降噪量等指标上均优于传统的低延迟语音增强算法,且延迟仅为4 ms.
2022-02-14 cs.SD eess.AS eess.SP
Low-latency Speech Enhancement via Speech Token Generation
Microsoft Research Asia(微软亚洲研究院)
针对数据驱动语音增强对未见噪声泛化不足的问题,提出基于 TF-Codec 的单阶段条件自回归语音 token 生成框架,并通过显式对齐实现低时延、高鲁棒性增强。
2024-01-23 cs.MM cs.SD eess.AS
Speech Boosting: Low-Latency Live Speech Enhancement for TWS Earbuds
Samsung Research(三星研究院)
本文提出一种面向TWS耳塞端侧的低延迟语音增强方案,通过优化网络架构、损失函数、剪枝及硬件适配,在ANC开启的噪声对话场景下实现低于3毫秒延迟并显著提升增强质量。
2024-09-27 cs.AI cs.SD eess.AS
Towards Sub-millisecond Latency Real-Time Speech Enhancement Models on Hearables
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院)
本文提出一种基于最小相位FIR滤波器和轻量级LSTM的可听戴设备语音增强方法,实现0.32-1.25毫秒算法延迟和3.35毫秒端到端延迟,单麦克风下SI-SDRi达4.1 dB。
2025-03-07 cs.LG cs.SD eess.AS
Latency-Configurable Streaming Speech Enhancement via Asymmetric Temporal Padding
Department of Electrical Engineering, Pohang University of Science and Technology (POSTECH)(电气工程系,浦项科技大学);Intus Co. Ltd.(Intus有限公司)
提出LaCo-SENet,通过非对称时间填充和双缓冲流式机制,在单一超参数下实现延迟与质量的灵活权衡,在VoiceBank+DEMAND上以1.37M参数获得12.5-75.0ms延迟范围,PESQ从3.35到3.43。
2026-08-19 cs.SD eess.AS
Iterative autoregression: a novel trick to improve your low-latency speech enhancement model
Samsung Research(三星研究院);HSE University(俄罗斯国立高等经济大学);Skolkovo Institute of Science and Technology(斯科尔科沃科技学院);Artificial Intelligence Research Institute(人工智能研究院)
本文针对低延迟流式语音增强中教师强制训练导致的训练推理不匹配问题,提出一种迭代自回归训练方法,并在多种架构和训练场景下验证了其稳定提升效果。
2023-12-05 cs.AI cs.SD eess.AS
Neural Speech Enhancement with Very Low Algorithmic Latency and Complexity via Integrated Full- and Sub-Band Modeling
Carnegie Mellon University(卡内基梅隆大学);Università Politecnica delle Marche(马尔凯理工大学);Hyundai Motor Group(现代汽车集团);dot Inc.(42dot公司)
本文提出FSB-LSTM架构,通过集成全频带与子频带建模,在STFT域实现低复杂度、低延迟且性能优异的单通道和多通道语音增强。
2023-04-18 cs.SD eess.AS
Efficient Low-Latency Speech Enhancement with Mobile Audio Streaming Networks
Samsung R\&D Institute Poland
我们提出了移动音频流网络(MASnet)的有效的低延迟语音增强,这是特别适合于移动设备和其他应用程序的计算能力是一个限制。MASnet处理线性尺度频谱图,将连续的噪声帧转换为复值比率掩模,然后将其应用于相应的噪声帧。MASnet可以在低延迟增量推理模式下运行,该模式与逐层批处理模式的复杂性相匹配。与类似的全卷积架构相比,MASnet结合了去卷积和逐点卷积,大大减少了每秒融合乘法累加运算(FMA/s),但代价是SNR有所降低。
2020-08-17 cs.LG cs.SD eess.AS
Unsupervised Low Latency Speech Enhancement with RT-GCC-NMF
University of Sherbrooke(舍布鲁克大学);Graz University of Technology(格拉茨工业大学)
在本文中,我们提出了RT-GCC-NMF:一个实时(RT),双通道盲语音增强算法,结合了非负矩阵分解(NMF)的字典学习算法与广义互相关(GCC)的空间定位方法。使用预先学习的通用NMF字典,RT-GCC-NMF以逐帧的方式通过基于其估计的到达时间延迟(TDOA)将各个字典原子与目标语音或背景干扰相关联来操作。我们评估RT-GCC-NMF对来自信号分离和评估活动(SiSEC)的语音和真实世界噪声的双通道混合物。我们证明了这种方法可以从很少的训练数据中推广到新的扬声器,声学环境和录音设置,并且在音频源分离(PEASS)分数的整体感知评估方法方面优于SiSEC挑战中的所有算法,并且与理想的二进制掩码基线相比。在很宽的输入信噪比范围内,我们表明,这种方法同时提高了PEASS和信噪比(SNR)为基础的盲源分离(BSS)评价客观质量指标,以及短期客观可懂度(STOI)和扩展的STOI(ESTOI)客观语音可懂度指标。NMF激活系数空间中的灵活的软掩蔽函数提供了对干扰抑制和目标扬声器保真度之间的权衡的实时控制。最后,我们使用非对称短时傅里叶变换(STFT)将RT-GCC-NMF的固有算法延迟从64 ms减少到2 ms,而不会损失性能。我们证明,在目前的硬件平台上,助听器的可容忍范围内的延迟是可能的。
2019-04-05 cs.SD eess.AS
DNN-Free Low-Latency Adaptive Speech Enhancement Based on Frame-Online Beamforming Powered by Block-Online FastMNMF
RIKEN(理化学研究所);Kyoto University(京都大学);Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院);National Institute of Advanced Industrial Science and Technology (AIST)(国立先进工业科学技术研究所(AIST))
本文描述了一种实用的双处理语音增强系统,该系统采用环境敏感的帧在线波束形成(前端),并帮助无环境的块在线源分离(后端)。为了使用最小方差无失真响应(MVDR)波束成形,可以训练深度神经网络(DNN),该深度神经网络估计用于计算源(语音和噪声)的协方差矩阵的时频掩模。提出了一种基于反向传播的DNN运行时自适应算法,用于处理训练-测试条件不匹配的情况。相反,人们可以尝试用称为快速多通道非负矩阵分解(FastMNMF)的最先进的盲源分离方法来直接估计源协方差矩阵。然而,在实践中,DNN和FastMNMF都不能以帧在线方式更新,这是由于其计算昂贵的迭代性质。我们的无DNN系统利用块在线FastMNMF给出的最新源频谱图的后验来推导当前源协方差矩阵,用于帧在线波束形成。评估表明,我们的帧在线系统可以快速响应由干扰扬声器移动引起的场景变化,并且在字错误率方面优于现有的基于DNN的波束成形的块在线系统5.0个点。
2022-07-22 cs.SD eess.AS
Incorporating Ultrasound Tongue Images for Audio-Visual Speech Enhancement through Knowledge Distillation
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China(中国科学技术大学国家语言语音信息处理工程研究中心)
本文提出在训练阶段利用知识蒸馏,将预训练的音频-唇部-舌部语音增强教师模型的知识传递给音频-唇部学生模型,从而在推理时无需超声舌像即可提升语音增强的质量与可懂度。
2023-11-20 cs.SD eess.AS
DPSNN: Spiking Neural Network for Low-Latency Streaming Speech Enhancement
CWI(荷兰国家数学和计算机科学研究院);Machine Learning Group(机器学习组)
针对现有脉冲神经网络语音增强延迟高的问题,提出两阶段时域流式DPSNN框架,结合SCNNs与SRNNs并加入正则化,在极低延迟下实现了优异的增强效果与能效。
2024-08-14 cs.LG cs.NE cs.SD
Improving Frame-Online Neural Speech Enhancement with Overlapped-Frame Prediction
Carnegie Mellon University(卡内基梅隆大学)
在短时傅立叶变换(STFT)域中的帧在线语音增强系统通常具有等于窗口大小的算法延迟,这是由于在逆STFT(iSTFT)中使用双加。这种算法延迟允许增强模型利用未来的上下文信息,长度最多等于窗口大小。然而,这一信息仅部分地被当前的框架在线系统利用。为了充分利用它,我们提出了一种用于基于深度学习的帧在线语音增强的重叠帧预测技术,在每一帧中,我们的深度神经网络(DNN)预测当前和几个过去的帧,而不是只预测当前帧。此外,我们提出了一个损失函数,占预测和预言的目标信号之间的规模差异。对含噪混响语音增强的实验表明了该算法的有效性。
2022-06-16 cs.SD eess.AS
One Model, Many Latencies: Universal Speech Enhancement for Diverse Real-Time Applications
NVIDIA
提出一种统一模型,通过可配置前瞻帧控制算法延迟,利用并行卷积层和早停机制分别管理算法与计算延迟,并采用两阶段训练策略缩小性能差距,实现单一模型适应多种延迟需求。
2026-10-06 cs.SD
Modulating State Space Model with SlowFast Framework for Compute-Efficient Ultra Low-Latency Speech Enhancement
Institute of Neuroinformatics, University of Zurich and ETH Zurich(苏黎世大学与苏黎世联邦理工学院神经信息学研究所);Reality Labs Research, Meta(元现实实验室研究部)
本文提出 SlowFast 双分支框架,用慢分支动态调制快分支状态空间模型,在保持语音增强性能的同时大幅降低计算量,并实现 62.5 μs 超低延迟。
2025-01-04 cs.LG cs.SD eess.AS
Feasibility of Time-Domain DNN-Based Speech Enhancement on Embedded FPGA for Hearing Aids
Radboud University, Donders Institute for Brain, Cognition, and Behaviour, The Netherlands(拉德堡德大学,脑认知行为研究所,荷兰);Mortimer B. Zuckerman Mind, Brain, Behavior Institute, Columbia University, USA(莫蒂默·B·齐克曼心智、大脑与行为研究所,哥伦比亚大学,美国)
本文在AMD-Xilinx Kria KV260上部署轻量级SuDoRM-RF++模型,通过FP32和16位定点精度评估语音分离和降噪,发现数据移动是主要瓶颈,定点降噪加速器达到9.7ms首样本延迟,满足10ms临床阈值。
2026-07-20 cs.AR cs.SD eess.AS
How much to Dereverberate? Low-Latency Single-Channel Speech Enhancement in Distant Microphone Scenarios
L-Acoustics(法国音响品牌L-Acoustics)
本文研究5至10米远距离麦克风场景下的实时低延迟单通道语音增强,证明了其可行性,发现房间体积与混响时间关系对模拟房间脉冲响应很重要,并提出保留早期反射可提升整体信号质量。
2025-05-02 cs.LG cs.SD eess.AS
Phase-Aware Deep Speech Enhancement: It's All About The Frame Length
Universität Hamburg(汉堡大学)
语音处理中的语音延迟主要由用于傅立叶分析的帧长度决定,这反过来限制了以幅度为中心的方法的可实现性能。由于先前的研究表明相位的重要性随着帧长度的减小而增加,因此本文系统地研究了不同帧长度下基于现代深度神经网络(DNN)的语音增强中相位和幅度的贡献。结果表明,DNN在使用短帧时可以成功地估计相位,与使用较长帧相比,具有相似或更好的整体性能。因此,有趣的是,现代相位感知DNN允许高质量的低延迟语音增强。
2022-10-04 cs.LG cs.SD eess.AS
Real-Time Streamable Generative Speech Restoration with Flow Matching
Signal Processing Group, Dept. of Informatics, Universität Hamburg(信息学院信号处理组,汉堡大学)
本文提出Stream.FM流式生成模型,通过优化架构和压缩技术实现低延迟的实时语音处理,展示其在语音增强等任务中的高性能表现。
2026-04-21 cs.LG cs.SD eess.SP
Dynamic latency speech recognition with asynchronous revision
Bytedance AI-Lab(字节跳动人工智能实验室)
在这项工作中,我们提出了一种推理技术,异步修订,统一流和非流语音识别模型。具体来说,我们实现动态延迟只有一个模型,通过使用任意的右上下文推理。该模型由用于音频编码的卷积层堆栈组成。在推理阶段,可以异步地修改编码器和解码器的历史状态,以在延迟和模型的准确性之间进行权衡。为了减轻训练和推理的不匹配,我们提出了一种训练技术,段裁剪,它随机地将输入的话语分成几个具有前向连接的段。这使我们能够获得动态延迟语音识别结果,并大大提高了准确性。实验结果表明,与流媒体模型相比,本文提出的基于异步修改的动态延迟模型相对性能提高了8%~ 14%.
2020-11-03 cs.SD eess.AS
From Start to Finish: Latency Reduction Strategies for Incremental Speech Synthesis in Simultaneous Speech-to-Speech Translation
Maastricht University(马斯特里赫特大学);Meta AI;Johns Hopkins University(约翰斯·霍普金斯大学)
语音到语音翻译(S2 ST)将输入语音转换为另一种语言的语音。实时的传送S2 ST的挑战是翻译和语音合成模块之间的累积延迟。虽然最近增量文本到语音(iTTS)模型已经显示出很大的质量改进,但它们通常需要额外的未来文本输入才能达到最佳性能。在这项工作中,我们最大限度地减少了初始等待时间的iTTS通过适应上游语音翻译器生成高质量的伪前瞻语音合成器。在减轻初始延迟后,我们证明了合成语音的持续时间对延迟也起着至关重要的作用。我们将其形式化为延迟度量,然后提出一种简单而有效的延迟缩减方法。我们的方法始终将延迟降低0.2-0.5秒,而不会牺牲语音翻译质量。
2022-07-15 cs.CL cs.SD eess.AS
All Neural Low-latency Directional Speech Extraction
Meta Platforms Inc.(元平台公司)
本文提出一种全神经低延迟定向语音提取模型,通过从零训练DOA嵌入并与循环神经网络融合,实现高帧率下对动态声学场景的快速适应和鲁棒提取。
2024-07-05 cs.SD eess.AS
Latency-Controlled Neural Architecture Search for Streaming Speech Recognition
Tencent AI Lab(腾讯人工智能实验室)
神经结构搜索(NAS)已引起人们的广泛关注,并已被探索用于自动语音识别(ASR)。在这项工作中,我们专注于流ASR场景,并提出了延迟控制的NAS声学建模。首先,基于香草神经架构,正常细胞被改变为因果细胞以控制架构的总延迟。其次,提出了一种具有较小感受野的修正操作空间,以生成具有低延迟的最终架构。大量的实验表明:1)基于所提出的神经网络结构,可以分别在vanilla和修正后的操作空间中学习中延迟为550ms(毫秒)和低延迟为190ms的神经网络。2)对于低延迟设置,在10k小时的大规模数据集上,与混合CLDNN基线相比,评估网络可以实现超过19%(四个测试集的平均值)的相对改进。
2021-09-14 cs.SD eess.AS
SkiM: Skipping Memory LSTM for Low-Latency Real-Time Continuous Speech Separation
Shanghai Jiao Tong University(上海交通大学);Samsung Research China - Beijing (SRC-B)(三星中国研究院-北京(SRC-B))
用于会议预处理的连续语音分离是近年来的研究热点。与话语级语音分离中的数据相比,会议式音频流持续时间更长,说话人数量不确定。我们采用时域语音分离方法和最近提出的Graph-PIT,建立一个超低延迟的在线语音分离模型,这是非常重要的实际应用。具有小步幅的低延迟时域编码器导致极长的特征序列。提出了一种简单而有效的长序列建模模型Skipping Memory(SkiM)。实验结果表明,SkiM的分离性能与DPRNN相当,甚至更好.同时,SkiM的计算成本比DPRNN减少了75%。SkiM强大的长序列建模能力和较低的计算成本使其成为在线CSS应用程序的合适模型。我们最快的实时模型在模拟会议式评估中获得了17.1 dB的信号失真比(SDR)改善,延迟不到1毫秒。
2022-02-10 cs.SD eess.AS
Deep neural network Based Low-latency Speech Separation with Asymmetric analysis-Synthesis Window Pair
Tampere University(坦佩雷大学)
通过短对称窗口计算的时频掩蔽或频谱预测通常用于基于低延迟深度神经网络(DNN)的源分离。在本文中,我们提出了一个不对称的分析合成窗口对,它允许训练与目标具有更好的频率分辨率,同时保留低延迟推理适合实时语音增强或辅助听力应用。为了在各种模型类型和数据集上评估我们的方法,我们使用与说话者无关的深度聚类(DC)模型和与说话者相关的掩码推理(MI)模型对其进行评估。我们报告了高达1.5 dB的源失真比(SDR)方面的分离性能的改善,同时保持8 ms的算法延迟。
2021-06-22 cs.SD eess.AS
LiveSpeech: Low-Latency Zero-shot Text-to-Speech via Autoregressive Modeling of Audio Discrete Codes
Applied Sciences Group, Microsoft Corp, USA
LiveSpeech提出一种基于全自回归语言模型的零样本文本转语音方法,通过自适应码本损失权重和码本分组并行处理实现低延迟流式输出,在内容准确性、说话人相似度、音频质量和推理速度上达到先进水平。
2024-06-10 cs.SD eess.AS
Amortized Neural Networks for Low-Latency Speech Recognition
Alexa Machine Learning, Amazon(亚马逊Alexa机器学习部门)
我们介绍了摊销神经网络(AmNets),一个计算成本和延迟感知的网络架构,特别适合于序列建模任务。我们将AmNets应用于递归神经网络转换器(RNN-T),以降低自动语音识别(ASR)任务的计算成本和延迟。AmNets RNN-T架构使网络能够逐帧地在编码器分支之间动态切换。分支的构造具有可变的计算成本和模型容量级别。在这里,我们实现了两个著名的候选技术变量计算:一个使用稀疏修剪,另一个使用矩阵分解。逐帧交换由仲裁器网络决定,其需要的计算开销可以忽略不计。我们目前的结果使用这两种架构的LibriSpeech数据,并表明,我们提出的架构可以减少推理成本高达45%和延迟到近实时,而不会导致损失的准确性。
2021-08-03 cs.SD eess.AS
Low Latency Time Domain Multichannel Speech and Music Source Separation
Ilmenau University of Technology(伊尔梅瑙工业大学)
目标是获得具有非常低延迟的简单多通道源分离。应用可以是电话会议、助听器、增强现实或选择性有源噪声消除。这些实时应用需要非常低的延迟(通常小于约6ms)和低复杂度,因为它们通常在小型便携式设备上运行。为此,我们不需要最好的分离,但“有用的”分离,不仅是语音,而且是音乐和噪音。频域方法具有更高的延迟和复杂度。因此,我们引入了一种新的概率优化方法,我们称之为“随机方向”,它可以克服局部极小值,适用于一个简单的时域解混结构,这是可扩展的低复杂度。然后将其与频域方法在分离语音和音乐源以及使用3D麦克风设置方面进行比较。
2022-04-12 cs.SD eess.AS
Semantic VAD: Low-Latency Voice Activity Detection for Speech Interaction
University of Science and Technology of China (USTC)(中国科学技术大学);Tianjin University(天津大学);Alibaba Group(阿里巴巴集团)
本文提出一种用于低延迟分割的语义 VAD 方法,通过引入帧级标点预测、人工端点分类及 ASR 语义损失,在保持后端 ASR 字符错误率不显著恶化的前提下将平均延迟降低 53.3%。
2023-05-21 cs.SD eess.AS
Low-Latency Sequence-to-Sequence Speech Recognition and Translation by Partial Hypothesis Selection
Maastricht University(马斯特里赫特大学)
编码器-解码器模型为诸如语音识别和翻译之类的序列到序列任务提供通用架构。虽然离线系统通常根据字出错率(WER)和BLEU等质量指标进行评估,但在许多实际用例中,延迟也是一个关键因素。我们提出了三个延迟减少技术基于块的增量推理和评估其效率的准确性延迟权衡。在300小时的How2数据集上,我们通过牺牲1%的WER(6%的可靠性)将延迟减少了83%,达到0.8秒。与离线转录相比。虽然我们的实验使用了Transformer,但假设选择策略适用于其他编码器-解码器模型。为了避免昂贵的重新计算,我们使用单向参与编码器。在对部分序列的适应过程之后,单向模型与原始模型表现一致。我们进一步表明,我们的方法也适用于低延迟语音翻译。在How2英语-葡萄牙语语音翻译上,我们将延迟减少到0.7秒(-84% rel)。同时损失了2.4个BLEU点(5%相对值)。与离线系统相比。
2020-10-13 cs.CL cs.SD eess.AS
Low Latency ASR for Simultaneous Speech Translation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
用户研究表明,减少我们的同步演讲翻译系统的延迟应该是最重要的目标。因此,我们研究了几种技术来减少自动语音识别和语音翻译模块这两个组件的延迟。由于通常使用的提交延迟不适合我们的连续流解码情况,我们专注于字延迟。我们使用它来分析我们当前系统的性能,并确定改进的机会。为了最大限度地减少延迟,我们结合了运行解码与流解码时用于识别稳定部分假设的技术和用于动态输出更新的协议,该协议允许修改转录的最新部分。这种组合减少了字级的延迟,其中字是最终的,将来不会再次更新,从18.1秒到1.1秒,而不会牺牲字错误率方面的性能。
2020-03-22 cs.CL cs.SD eess.AS
Low-Latency Deep Clustering For Speech Separation
Tampere University of Technology(坦佩雷理工大学)
本文提出了一种低算法延迟适应的深度聚类方法,以非特定人语音分离。它包括三个部分:a)使用长短期记忆(LSTM)网络,而不是原始工作中使用的双向变体,b)使用低延迟操作所需的短合成窗口(此处为8 ms),以及c)在音频混合的开始使用缓冲器来估计与组成扬声器对应的聚类中心,然后利用该聚类中心来分离信号其余部分中的扬声器。缓冲持续时间将用作初始化阶段,在该初始化阶段之后,系统能够以8ms的算法延迟操作。我们评估我们提出的方法对两个扬声器的混合物从华尔街日报(WSJ0)语料库。我们观察到,与基线双向LSTM相比,LSTM的使用在源失真比(SDR)方面降低了约1dB的SDR。此外,与基线相比,使用8ms合成窗口而不是32ms使分离性能降低约2.1dB。最后,我们还报告了不同缓冲持续时间的分离性能,指出即使缓冲持续时间低至300 ms,也可以实现分离。
2019-02-19 cs.SD eess.AS
Dissecting User-Perceived Latency of On-Device E2E Speech Recognition
Facebook AI
随着智能手机和智能扬声器等语音设备变得越来越普遍,人们对构建可直接在设备上运行的自动语音识别(ASR)系统的兴趣越来越大;端到端(E2 E)语音识别模型,如递归神经网络换能器及其变体,最近已成为该任务的主要候选者。除了准确和紧凑之外,这样的系统还需要以低用户感知延迟(UPL)解码语音,一旦说出就产生单词。这项工作研究了各种技术-模型架构,训练标准,解码超参数和端点参数-对UPL的影响。我们的分析表明,模型大小的度量(参数,输入块大小)或计算的度量(例如,FLOPS,RTF)反映了模型处理输入帧的能力,并不总是与观察到的UPL密切相关。因此,传统的算法延迟测量可能不足以准确地捕获在嵌入式设备上部署模型时观察到的延迟。相反,我们发现影响令牌发射延迟和端点行为的因素对UPL有更大的影响。我们实现了延迟和字出错率之间的最佳权衡时,执行ASR联合端点,同时利用最近提出的对齐正则化机制。
2021-08-11 cs.CL cs.SD eess.AS
Incremental Text-to-Speech Synthesis Using Pseudo Lookahead with Large Pretrained Language Model
The University of Tokyo(东京大学)
这封信提出了一种增量文本到语音(TTS)的方法,在小的语言单元进行合成,同时保持输出语音的自然性。增量式TTS通常经受延迟和合成语音质量之间的权衡。用低延迟设置产生高质量语音是具有挑战性的,该低延迟设置不太使用未观察到的未来句子(以下称为“前瞻”)。为了解决这个问题,我们提出了一种增量TTS方法,该方法使用由语言模型生成的伪前瞻来考虑未来的上下文信息,而不会增加延迟。我们的方法可以被视为模仿人类的增量阅读,并使用预训练的GPT2,它占了大规模的语言知识,为前瞻性的一代。评估结果表明,我们的方法1)实现了更高的语音质量比只考虑观察到的信息的方法和2)实现了语音质量相当于等待未来的上下文观察。
2021-04-14 cs.SD eess.AS
Low-Latency Speaker-Independent Continuous Speech Separation
Microsoft(微软)
说话人独立连续语音分离(SI-CSS)是将可能包含未知说话人的重叠语音的连续音频流转换成固定数量的连续信号的任务,每个连续信号不包含重叠语音段。从SI-CSS的输出通道之一非确定性地生成每个话语的分离或清洁版本,而不将其拆分并分发到多个通道。典型的应用场景是转录使用麦克风阵列记录的多方对话,例如会议。输出信号可以简单地发送到语音识别引擎,因为它们不包括语音重叠。先前的SI-CSS方法使用用置换不变训练和数据驱动的波束形成器训练的神经网络,因此需要很多处理延迟。本文提出了一种低延迟的SI-CSS方法,其性能与基于麦克风阵列的会议转录任务中的先前方法相当,这是通过(1)使用新的语音分离网络架构结合双缓冲方案和(2)使用一组固定波束形成器和神经后滤波器执行增强来实现的。
2019-04-13 cs.CL cs.SD eess.AS
Minimum Latency Training of Sequence Transducers for Streaming End-to-End Speech Recognition
Yahoo Japan Corporation(雅虎日本公司);Carnegie Mellon University(卡内基梅隆大学)
序列转换器,如RNN-T和Conformer-T,是端到端语音识别最有前途的模型之一,特别是在延迟和准确性都很重要的流媒体场景中。虽然已经研究了各种方法(例如,受限训练和FastEmit)来减少延迟,但是延迟的减少通常伴随着准确性的显著降低。我们认为,这种次优性能可能是因为没有以前的方法显式建模和减少延迟。在本文中,我们提出了一种新的训练方法来显式建模和减少延迟的序列传感器模型。首先,我们定义在网格上的每个对角线的预期延迟,并表明其梯度可以有效地计算内的向前向后算法。然后,我们用这个预期的延迟来增加换能器损耗,从而实现延迟和精度之间的最佳权衡。在WSJ数据集上的实验结果表明,所提出的最小延迟训练将因果Conformer-T的延迟从220 ms降低到27 ms,WER下降0.7%,并且优于传统的限制性训练(110 ms)和FastEmit(67 ms)方法。
2022-11-04 cs.CL cs.SD eess.AS
Dynamic Latency for CTC-Based Streaming Automatic Speech Recognition With Emformer
SenseTime Research(商汤科技研究院);Beijing University of Posts and Telecommunications(北京邮电大学)
流自动语音识别模型与非流模型相比性能较差,这是由于缺乏未来的上下文。为了提高流式模型的性能和降低计算复杂性,本文采用了一种帧级模型,该模型采用高效的扩充存储器Transformer块和动态延迟训练方法,用于流式自动语音识别。将长范围历史上下文存储到扩充存储体中,作为对编码器中使用的有限历史上下文的补充。键和值通过缓存机制缓存,并在下一个块中重用以减少计算。之后,提出了一种动态延迟训练方法,以获得更好的性能,并同时支持低和高延迟推理。我们的实验是在基准960 h LibriSpeech数据集上进行的。在平均延迟为640 ms的情况下,我们的模型与截断块式Transformer相比,在测试-clean上实现了6.0%的相对WER降低,在测试-other上实现了3.0%的相对WER降低。
2022-03-29 cs.CL cs.SD eess.AS
Low-Latency Neural Speech Phase Prediction based on Parallel Estimation Architecture and Anti-Wrapping Losses for Speech Generation Tasks
University of Science and Technology of China(中国科学技术大学)
本文提出一种新颖的神经语音相位预测模型,通过残差卷积网络与并行估计架构直接从幅度谱预测卷绕相位谱,并设计反卷绕损失避免误差扩展,结合因果卷积与知识蒸馏实现低延迟流式预测,在精度、效率和鲁棒性上均优于现有方法。
2024-03-26 cs.SD eess.AS
On the compression of shallow non-causal ASR models using knowledge distillation and tied-and-reduced decoder for low-latency on-device speech recognition
Samsung Research(三星研究院)
针对端侧ASR的低延迟需求,本文结合知识蒸馏、绑定约简解码器等技术压缩浅层非因果级联ASR模型,实现41M参数教师模型体积减半、准确率无明显下降且延迟降低30%。
2023-12-15 cs.SD eess.AS
Endpoint Anticipation for Low-Latency Spoken Dialogue
Brno University of Technology(布拉格技术大学);Carnegie Mellon University(卡内基梅隆大学)
提出端点预测方法,通过提前预测对话结束信号实现低延迟,在部分上下文中投机执行LLM和TTS流水线,平均延迟降低505毫秒。
2026-06-12 cs.SD eess.AS
Utterance-level Permutation Invariant Training with Latency-controlled BLSTM for Single-channel Multi-talker Speech Separation
Tsinghua University(清华大学);University of Chinese Academy of Sciences(中国科学院大学);Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);North China Power Engineering CO., LTD. of China Power Engineering Consulting Group(中国电力工程顾问集团华北电力设计院有限公司)
语音级置换不变训练(uPIT)在单通道多人语音分离任务中取得了可喜的进展。长短期记忆(LSTM)和双向LSTM(BLSTM)被广泛用作uPIT的分离网络,即uPIT-LSTM和uPIT-BLSTM。uPIT-LSTM具有更低的延迟但性能更差,而uPIT-BLSTM具有更好的性能但延迟更高。在本文中,我们提出使用延迟控制的BLSTM(LC-BLSTM)在推理过程中,以实现低延迟和高性能的语音分离。为了寻找更好的BLSTM分离网络的训练策略,比较了块级PIT(cPIT)和uPIT。实验结果表明,当在推理过程中使用LC-BLSTM时,uPIT的性能优于cPIT。研究还发现,语块间说话人跟踪(ST)可以进一步提高uPIT-LC-BLSTM的分离性能。在WSJ 0双说话人混合语音分离实验中,uPIT-BLSTM和uPIT-LC-BLSTM的信号失真比(SDR)的绝对差距减小到0.7dB以内。
2019-12-25 cs.LG cs.SD eess.AS
Learning When to Speak: Latency and Quality Trade-offs for Simultaneous Speech-to-Speech Translation with Offline Models
University of Pennsylvania(宾夕法尼亚大学);Roblox(罗布乐思)
本文提出面向真实场景的同声 S2ST 系统,支持 57 种语言译入英语,并通过四种发声决策策略在接近离线准确率的同时实现可调低延迟。
2023-06-01 cs.CL cs.LG cs.SD
Deep neural network based speech separation optimizing an objective estimator of intelligibility for low latency applications
Tampere University of Technology(坦佩雷理工大学);Eriksholm Research Centre, Oticon A/S(奥迪康公司埃里克肖姆研究中心)
均方误差(MSE)已经是当前基于深度神经网络(DNN)的语音分离技术中作为损失函数的优选选择。在本文中,我们提出了一个新的成本函数的目的是优化扩展的短时客观可懂度(ESTOI)的措施。我们专注于低算法延迟($\leq 10$ ms)非常重要的应用。我们使用长短期记忆网络(LSTM),并在来自扩展丹麦噪声听力(HINT)数据集的四组两扬声器混合物上评估我们提出的方法。我们表明,建议的损失函数可以提供改进或在标准的客观可懂度(在ESTOI方面)相比,MSE优化的基线,同时导致较低的目标分离性能(在源失真比(SDR)方面)。然后,我们继续提出一种方法,其中网络首先使用针对MSE标准优化的权重进行初始化,然后使用所提出的ESTOI损失标准进行训练。这种方法减轻了客观分离性能的一些损失,同时保留了客观可懂度的增益。
2018-07-18 cs.SD eess.AS
SimulS2S-LLM: Unlocking Simultaneous Inference of Speech LLMs for Speech-to-Speech Translation
Department of Engineering, University of Cambridge(剑桥大学工程系);Shanghai Jiao Tong University(上海交通大学)
提出SimulS2S-LLM,通过离线训练和测试时策略实现语音LLM的同步语音到语音翻译,利用边界感知提示和增量波束搜索,在CVSS上以相似延迟提升ASR-BLEU 3分。
2025-04-22 cs.CL cs.SD eess.AS
Fast-U2++: Fast and Accurate End-to-End Speech Recognition in Joint CTC/Attention Frames
Northwestern Polytechnical University(西北工业大学);Horizon Robotics(地平线机器人);WeNet Open Source Community(WeNet开源社区)
最近,用于语音识别的统一的流和非流两遍(U2/U2++)端到端模型在流能力、准确性和延迟方面表现出很好的性能。在本文中,我们提出了快速U2 ++,U2++的增强版本,以进一步减少部分延迟。fast-U2++的核心思想是在其编码器中使用小块输出底层的部分结果,同时在其编码器的顶层使用大块来补偿由小块引起的性能下降。此外,我们使用知识蒸馏的方法来减少令牌的发射延迟。我们在Aishell-1数据集上进行了大量的实验。实验和消融研究表明,与U2++相比,fast-U2++将模型延迟从320 ms降低到80 ms,并在流设置下实现了5.06%的字符出错率(CER)。
2022-11-02 cs.SD eess.AS
Self-regularised Minimum Latency Training for Streaming Transformer-based Speech Recognition
Toshiba Europe Ltd(东芝欧洲有限公司);Cambridge Research Laboratory(剑桥研究实验室)
提出无需外部硬对齐监督的 SR-MLT,通过动态正则化训练中生成的对齐来微调流式 MoChA/CA Transformer,在保持 ASR 准确率的同时显著降低延迟。
2023-04-24 cs.SD eess.AS
LightGrad: Lightweight Diffusion Probabilistic Model for Text-to-Speech
Horizon Robotics(地平线机器人)
LightGrad是一种轻量级扩散概率模型,通过轻量U-Net解码器和无训练快速采样技术,在4步去噪下参数减少62.2%,延迟降低65.7%,同时保持语音质量,适用于边缘设备TTS。
2023-08-31 cs.SD eess.AS
Streaming Speech Recognition with Decoder-Only Large Language Models and Latency Optimization
University of Science and Technology of China(科学技术大学);iFLYTEK Research, iFLYTEK Co., Ltd.(iFLYTEK研究院,iFLYTEK有限公司);School of Artificial Intelligence and Computer Science(人工智能与计算机科学学院)
本文提出了一种结合解码器-only大型语言模型和延迟优化的流式语音识别方法,通过动态分割语音嵌入和联合训练策略,提升了识别性能并降低了延迟。
2026-01-30 cs.SD eess.AS
Low Latency End-to-End Streaming Speech Recognition with a Scout Network
基于注意力的Transformer模型已经在离线模式下的语音识别(SR)中取得了很好的效果。然而,在流式传输模式中,当在每个编码器层中应用固定长度的前瞻窗口时,Transformer模型通常招致显著的延迟以维持其识别准确性。针对Transformer模型,提出了一种新的低延迟流方法,该方法由侦察网络和识别网络组成。侦察网络检测整个词的边界,而看不到任何未来的帧,而识别网络预测下一个子词通过利用预测的边界之前的所有帧的信息。我们的模型实现了最好的性能(2.7/6.4 WER),只有639 ms的延迟上的测试清洁和测试其他数据集的Librispeech。
2020-05-03 eess.AS
High-Accuracy and Low-Latency Speech Recognition with Two-Head Contextual Layer Trajectory LSTM Model
Microsoft(微软)
虽然社区一直在推广端到端模型,而传统的混合模型通常是用交叉熵标准训练的长短期记忆(LSTM)模型,然后是序列判别训练标准,但我们认为这种传统的混合模型仍然可以显着改进。在本文中,我们详细介绍了我们最近为改进传统的混合LSTM声学模型以实现高精度和低延迟的自动语音识别所做的努力。为了实现高精度,我们使用了上下文层轨迹LSTM(cltLSTM),它将时间建模和目标分类任务合并,并结合未来的上下文帧以获得更多信息,从而实现准确的声学建模。进一步完善了序列级师生学习的培训策略。为了获得低延迟,我们设计了一个双头cltLSTM,与LSTM相比,其中一个头具有零延迟,另一个头具有较小的延迟。当使用微软6.5万小时的匿名训练数据进行训练并使用180万个单词的测试集进行评估时,采用所提出的训练策略的双头cltLSTM模型与传统的LSTM声学模型相比,相对WER减少了28.2%,并且具有类似的感知延迟。
2020-03-17 cs.CL cs.SD eess.AS
Transformer Transducer: One Model Unifying Streaming and Non-streaming Speech Recognition
Google Inc.(谷歌公司)
在本文中,我们提出了一个Transformer-Transducer模型架构和训练技术,统一流和非流语音识别模型到一个模型。该模型由一个用于音频编码的Transformer层堆栈和一个额外的Transformer层堆栈组成,该堆栈没有前瞻或右上下文,该堆栈在顶部,用可变右上下文进行训练。在推理时间中,可以改变可变上下文层的上下文长度,以权衡延迟和模型的准确性。我们还表明,我们可以在Y模型架构中运行此模型,顶层在低延迟和高延迟模式下并行运行。这使我们能够以有限的延迟获得流式语音识别结果,并以较大的准确性改进获得延迟的语音识别结果(语音搜索任务的相对改进为20%)。我们表明,在解码结束时,使用有限的右上下文(1-2秒的音频)和小的额外延迟(50-100毫秒),我们可以使用无限音频右上下文的模型实现类似的准确性。我们还对音频和标签编码器进行了优化,以加快流式和非流式语音解码中的推理。
2020-10-07 cs.LG cs.SD eess.AS
PSLM: Parallel Generation of Text and Speech with LLMs for Low-Latency Spoken Dialogue Systems
rinna Co., Ltd.(rinna公司)
本文提出PSLM,通过扩展大语言模型输入输出序列实现文本与语音并行生成,在口语问答中降低延迟并保持内容质量,并进一步利用多序列语音生成减少延迟。
2024-10-03 cs.AI cs.CL cs.LG