SpeechNAS: Towards Better Trade-off between Latency and Accuracy for Large-Scale Speaker Verification
Kuaishou Technology（快手科技）
近年来，x向量已成为说话人确认的一种成功和流行的方法，它采用时间延迟神经网络（TDNN）和统计池从可变长度的话语中提取说话人特征嵌入。对x-向量的改进一直是一个活跃的研究领域，基于x-向量的神经网络已经被精心设计，如扩展TDNN（E-TDNN）、因子化TDNN（F-TDNN）和密集连接TDNN（D-TDNN）。在这项工作中，我们试图从基于TDNN的搜索空间采用神经架构搜索（NAS），命名为SpeechNAS的最佳架构。利用说话人识别的最新进展，如高阶统计池，多分支机制，D-TDNN和具有最小超球能量（MHE）的角加性裕度softmax（AAM）损失，SpeechNAS自动发现五种网络架构，从SpeechNAS-1到SpeechNAS-5，在大规模文本无关的说话人识别数据集VoxCeleb 1上具有不同数量的参数和GFLOP。我们推导出的最佳神经网络在VoxCeleb 1的标准测试集上实现了1.02%的相等出错率（EER），这大大超过了以前基于TDNN的最先进方法。代码和训练权重在https://github.com/wentaozhu/speechnas.git中
2021-09-18 cs.CL cs.CV cs.LG
Adapting Personalized Speech Enhancement for Low-Latency Audio-Visual Target-Speaker Extraction
Microsoft（微软）；University of Michigan（密歇根大学）
针对在线音视频目标说话人提取的听感质量与前瞻限制问题，提出AV-PVQE方法，通过个性化语音增强模型引入口型特征并联合微调，将目标混淆率从46%降至1.6%，延迟仅20毫秒，在合成和会议基准上均优于现有提取器。
2026-09-28 cs.CV cs.SD eess.AS
A Fast-Converged Acoustic Modeling for Korean Speech Recognition: A Preliminary Study on Time Delay Neural Network
Sogang University（西江大学）
提出了一种基于时延神经网络（TDNN）的声学模型，实现了韩语语音识别的快速收敛声学建模。TDNN在训练数据量有限的情况下具有快速收敛的优势，这是由于排除重复权重的子采样。的TDNN表现出2.12%的字符出错率相比，前馈神经网络（FFNN）为基础的韩国语音语料库建模的绝对改善。该模型的收敛速度比基于FFNN的模型快1.67倍。
2018-07-11 cs.CL cs.SD eess.AS
A High-Quality Speech and Audio Codec With Less Than 10 ms Delay
Octasic Inc.（奥克塔希克公司）；CSIRO ICT Centre（联邦科学与工业研究组织信息与通信技术中心）；RedHat Inc.（红帽公司）；Juniper Networks Inc.（瞻博网络公司）；Xiph.Org Foundation（Xiph.Org基金会）
随着对多媒体通信质量要求的提高，音频编解码器必须同时保持高质量和低延迟。通常，音频编解码器提供低延迟或高质量，但很少同时提供。我们提出了一个编解码器，同时解决这两个要求，在44.1 kHz的延迟只有8.7毫秒。它使用增益形状代数矢量量化在频域与时域音高预测。我们证明，建议的编解码器工作在48 kbit/s和64 kbit/s的性能优于G.722.1C和MP3，并具有质量媲美AAC-LD，尽管有不到四分之一的这些编解码器的算法延迟。
2016-02-17 cs.MM cs.SD
An adaptive filter bank based neural network approach for time delay estimation and speech enhancement
针对声学回声消除中时延估计误差导致残留回声的问题，提出基于自适应滤波器组与分类网络的时延估计方法，结合神经网络、OMLSA算法及鲁棒AGC方案实现语音增强，性能更优。
2025-02-10 cs.SD eess.AS
Improving endpoint detection in end-to-end streaming ASR for conversational speech
Uniphore Software Systems（Uniphore软件系统公司）；Indian Institute of Technology Madras（印度马德拉斯理工学院）；Uniphore Software Systems, USA（Uniphore软件系统公司（美国））
针对端到端流式ASR中端点检测因输出延迟导致错误的问题，提出引入词尾标记与延迟惩罚，并利用辅助网络进行帧级语音活动检测，在Switchboard语料上验证了改进效果。
2025-05-19 cs.AI cs.CL cs.SD
Deep Time Delay Neural Network for Speech Enhancement with Full Data Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，递归神经网络（RNN）在语音增强方面取得了显著的进步。然而，RNN的模型复杂度和推理时间成本远高于深度前馈神经网络（DNN）。因此，这些限制了语音增强的应用。提出了一种全数据学习的深度时延神经网络（TDNN）语音增强方法。TDNN具有很好的潜力，捕捉长距离的时间上下文，它利用模块化和增量设计。此外，TDNN保留了前馈结构，因此其推理成本与标准DNN相当。为了充分利用训练数据，提出了一种全数据学习的语音增强方法。更具体地说，我们不仅使用噪声到清洁（输入到目标）来训练增强模型，而且使用清洁到清洁和噪声到静音数据。因此，所有训练数据都可以用于训练增强模型。我们的实验是在TIMIT数据集上进行的。实验结果表明，我们提出的方法可以实现更好的性能比DNN和可比甚至更好的性能比BLSTM。同时，与BLSTM相比，该方法大大减少了推理时间。
2020-11-11 cs.LG cs.SD eess.AS
Incremental Machine Speech Chain Towards Enabling Listening while Speaking in Real-time
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN（理化学研究所）
受人类语音链机制的启发，最近提出了一种基于深度学习的机器语音链框架，用于自动语音识别（ASR）和文本到语音合成（TTS）系统的半监督开发。然而，边听边说的机制只能在接收到整个输入序列之后才能完成。因此，当遇到长话语时存在显著的延迟。相比之下，人类可以实时的【形】听他们说什么，如果听力有延迟，他们就无法继续说话。在这项工作中，我们提出了一个增量机器语音链，使机器能够在实时的【形】边听边说。具体来说，我们构建增量ASR（ISR）和增量TTS（ITTS），让这两个系统通过短期循环共同提高。我们的实验结果表明，我们提出的框架是能够减少延迟，由于长的话语，同时保持相当的性能，非增量基本机器语音链。
2020-11-04 cs.CL cs.SD eess.AS
From Start to Finish: Latency Reduction Strategies for Incremental Speech Synthesis in Simultaneous Speech-to-Speech Translation
Maastricht University（马斯特里赫特大学）；Meta AI；Johns Hopkins University（约翰斯·霍普金斯大学）
语音到语音翻译（S2 ST）将输入语音转换为另一种语言的语音。实时的传送S2 ST的挑战是翻译和语音合成模块之间的累积延迟。虽然最近增量文本到语音（iTTS）模型已经显示出很大的质量改进，但它们通常需要额外的未来文本输入才能达到最佳性能。在这项工作中，我们最大限度地减少了初始等待时间的iTTS通过适应上游语音翻译器生成高质量的伪前瞻语音合成器。在减轻初始延迟后，我们证明了合成语音的持续时间对延迟也起着至关重要的作用。我们将其形式化为延迟度量，然后提出一种简单而有效的延迟缩减方法。我们的方法始终将延迟降低0.2-0.5秒，而不会牺牲语音翻译质量。
2022-07-15 cs.CL cs.SD eess.AS
DuplexJail: Spoken Interruption Attacks on Full-Duplex Speech Models
Dolby Laboratories（杜比实验室）
提出DuplexJail攻击，通过语音打断使全双工模型安全对齐失效，实验显示攻击成功率显著提升，揭示新的越狱向量。
2026-09-29 cs.CR cs.SD
Speech Enhancement with Overlapped-Frame Information Fusion and Causal Self-Attention
Shanghai Jiao Tong University（上海交通大学）；Xiaohongshu Inc.（小红书科技有限公司）
针对因果语音增强无法利用逆变换固有延迟中未来信息的问题，提出重叠帧信息融合方案与因果时频通道注意力模块，提升表示能力，实验表明优于现有先进方法。
2025-01-21 cs.SD eess.AS
Efficient keyword spotting using time delay neural networks
Fluent.ai Inc.（Fluent.ai公司）
本文介绍了一种新的方法，使用两阶段的时间延迟神经网络的实时关键字定位。该模型使用迁移学习进行训练：使用来自大型语音语料库的电话目标进行初始训练，然后使用来自较小数据集的关键字目标进行训练。该系统的准确性进行了评估两个单独的任务。第一个是免费提供的Google Speech Commands数据集。第二个是专门为关键字定位开发的内部任务。结果表明，与以前已知的技术相比，在清洁和嘈杂的环境中的错误接受和错误拒绝率显着改善。此外，我们研究了各种技术，以减少计算方面的乘法每秒的音频。与最近发表的工作相比，所提出的系统提供了高达89%的计算复杂性节省。
2018-08-28 cs.SD eess.AS
Phase reconstruction from amplitude spectrograms based on von-Mises-distribution deep neural network
The University of Tokyo（东京大学）；National Institute of Technology, Kagawa College（香川高等专门学校）
本文提出了一种基于深度神经网络（DNN）的幅度谱图相位重建方法。在音频信号和语音处理中，经常使用幅度谱图进行处理，基于Griffin-Lim方法从幅度谱图重构出相应的相位谱图。然而，Griffin-Lim方法在合成语音中导致不自然的伪影。为了解决这个问题，我们引入冯米塞斯分布DNN相位重建。DNN是具有冯米塞斯分布的生成模型，其可以对诸如相位的周期性变量的分布进行建模，并且DNN的模型参数基于最大似然准则来估计。此外，我们提出了DNN训练的群延迟损失，使预测的群延迟接近自然群延迟。实验结果表明：1）训练后的DNN可以比相位本身更准确地预测群延迟，2）我们的相位重建方法比传统的Griffin-Lim方法获得更好的语音质量。
2018-07-10 cs.SD eess.AS
A DNN Based Post-Filter to Enhance the Quality of Coded Speech in MDCT Domain
Fraunhofer IIS（弗劳恩霍夫研究所）
本文提出一种在MDCT域直接操作的基于掩码的轻量级DNN后置滤波器，用于提升低比特率编码语音质量，在LC3编解码器上平均提升10个MUSHRA点。
2022-01-28 cs.LG cs.SD eess.AS
A Non-autoregressive Generation Framework for End-to-End Simultaneous Speech-to-Speech Translation
University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）；School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院）
本文提出非自回归端到端同声语音翻译框架NAST-S2X，统一语音到文本与语音到语音任务，通过并发生成多标记和CTC动态调延迟，在3秒内实现高质量同传并获28倍解码加速。
2024-10-19 cs.AI cs.CL cs.SD
NoLACE: Improving Low-Complexity Speech Codec Enhancement Through Adaptive Temporal Shaping
Amazon Web Services（亚马逊云科技）
本文提出NoLACE，通过在LACE中引入自适应时间整形模块提升低复杂度语音编解码器增强质量，并在Opus上显著优于基线及扩大版LACE。
2024-01-12 cs.SD eess.AS
Audio-Visual Speech Enhancement: Architectural Design and Deployment Strategies
School of Engineering & Physical Sciences, Heriot-Watt University（赫瑞斯泰学院，赫瑞斯泰大学）；College of Engineering Department of Electrical and Computer Engineering, San Diego State University（工程学院电子与计算机工程系，圣地亚哥州立大学）；SDAIA-KFUPM Joint Research Centre for Artificial Intelligence, King Fahd University of Petroleum and Minerals（SDAIA-KFUPM人工智能联合研究中心，国王法赫德石油与矿物大学）
本文提出一种云-边协同的音频-视觉语音增强系统，通过CNN和LSTM融合网络实现时序一致性，并探讨网络负载和压缩对实时性能的影响，揭示了5G和有线以太网在解压音频视频中的关键作用。
2026-07-05 cs.SD eess.SP
Efficient VoIP Communications through LLM-based Real-Time Speech Reconstruction and Call Prioritization for Emergency Services
Iowa State University（爱荷华州立大学）
本文提出利用 LLMs 重建不完整语音、填补上下文空白并结合 RAG、Twilio 和 AssemblyAI APIs 对紧急呼叫进行优先级排序，以解决 VoIP 系统中断和人员短缺问题，评估表明该系统有效优化了紧急响应工作流程。
2024-12-09 cs.CL cs.LG cs.SD
VoXtream: Full-Stream Text-to-Speech with Extremely Low Latency
Department of Speech, Music and Hearing, KTH Royal Institute of Technology, Stockholm, Sweden（语音、音乐与听觉系，皇家理工学院，斯德哥尔摩，瑞典）
VoXtream通过高效架构实现极低延迟的全流式文本到语音系统，其在多个指标上超越大基线，且在GPU上达到102毫秒的初始延迟。
2026-01-26 cs.CL cs.HC cs.LG
On-Device Personalization of Automatic Speech Recognition Models for Disordered Speech
Google（谷歌）
虽然当前最先进的自动语音识别（ASR）系统在典型语音上实现了高准确度，但是它们在无序语音和其他非典型语音模式上遭受显著的性能降级。ASR模型的个性化（对该问题的常用解决方案）通常在基于服务器的训练环境中执行，从而引起关于数据隐私、延迟的模型更新时间以及用于在移动终端和服务器基础设施之间复制数据和模型的通信成本的问题。在本文中，我们提出了一种基于设备的ASR个性化的方法，具有非常少量的特定于说话者的数据。我们测试了我们的方法在一组不同的100位发言者与无序的讲话，并发现中位数相对字错误率提高了71%，只有50个短的话语，每个发言者。当在语音控制的家庭自动化平台上进行测试时，设备上的个性化模型显示出81%的任务成功率中位数，而未经调整的模型只有40%。
2021-06-18 cs.CL cs.LG cs.SD
Quantize More, Lose Less: Autoregressive Generation from Residually Quantized Speech Representations
AMAP Speech（AMAP语音）
提出基于残差量化音频编解码器QDAC的TTS框架QTTS，通过分层并行和延迟多头策略实现多码本自回归建模，有效提升合成质量与推理速度。
2025-07-16 cs.AI cs.SD
Efficient Ensemble for Multimodal Punctuation Restoration using Time-Delay Neural Network
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术公司）
本文提出EfficientPunct，一种基于多模态时延神经网络的集成方法，用于高效标点恢复，以更少参数超越现有最佳模型1.0 F1点，并创下新的最先进水平。
2024-02-24 cs.CL cs.HC cs.LG
A Transfer Learning Method for Speech Emotion Recognition from Automatic Speech Recognition
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术公司）
提出了一种基于时延神经网络（TDNN）结构的语音情感识别迁移学习方法。当前基于语音的情感检测研究的一个主要挑战是数据稀缺。所提出的方法解决了这个问题，通过应用迁移学习技术，以利用数据的自动语音识别（ASR）任务，其中有足够的数据。我们的实验还显示了扬声器类自适应建模技术的优势，通过采用基于身份向量（i向量）的功能，除了标准的梅尔频率倒谱系数（MFCC）功能。[1]我们证明了迁移学习模型在没有对ASR进行预训练的情况下显着优于其他方法。实验在公开的IEMOCAP数据集上进行，该数据集提供了12小时的运动语音数据。迁移学习是通过使用Ted-Lium v.2语音数据集进行初始化的，该语音数据集提供了207小时的音频和相应的转录本。与最先进的技术相比，我们使用五重交叉验证实现了最高的显著更高的准确性。仅使用语音，我们获得了71.7%的准确率为愤怒，兴奋，悲伤和中性情绪内容。
2020-08-15 cs.HC cs.LG cs.SD
Speaker Independent Continuous Speech to Text Converter for Mobile Application
Pondicherry Engineering College（本地治里工程学院）
本文提出了一种适用于移动应用的高效语音文本转换器。其主要目的是制定一个系统，这将提供最佳的性能方面的复杂性，准确性，延迟和存储器的要求，移动环境。语音到文本转换器包括两个阶段，即前端分析和模式识别。前端分析包括预处理和特征提取。仅跟踪能量的传统语音活动检测算法不能成功地从输入中识别潜在的语音，因为语音的不想要的部分也具有一些能量并且看起来是语音。在该系统中，VAD，计算的能量的高频部分单独的过零率，以区分噪声和语音。采用Mel频率倒谱系数（MFCC）作为特征提取方法，采用广义回归神经网络作为识别器。MFCC提供低的字出错率和更好的特征提取。神经网络提高了预测精度。因此，包含用户所有可能的音节发音的小数据库足以给出接近100%的识别准确度。因此，所提出的技术娱乐实现实时的扬声器独立的应用，如移动电话，PDA等。
2013-07-19 cs.CL cs.NE cs.SD
SICRN: Advancing Speech Enhancement through State Space Model and Inplace Convolution Techniques
College of Computer Science, Inner Mongolia University（内蒙古大学计算机科学学院）
本文提出SICRN，用状态空间模型与原地卷积替代CRN中的传统卷积，以同时建模全局频率依赖、长期时间依赖和局部结构，在DNS挑战数据集上以更少参数、计算量和延迟取得接近最优的语音增强性能。
2024-02-22 cs.SD eess.AS
Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks
The Chinese University of Hong Kong（香港中文大学）
基于深度神经网络（DNN）的自动语音识别（ASR）系统通常使用专家知识和经验评估来设计。在本文中，一系列的神经架构搜索（NAS）技术被用来自动学习两种类型的超参数的国家的最先进的因子化时间延迟神经网络（TDNN）：i）的左和右拼接上下文偏移;和ii）的瓶颈线性投影在每个隐藏层的维数。这些方法包括将架构选择与无格MMI（LF-MMI）TDNN训练相结合的DARTS方法; Gumbel-Softmax和流水线DARTS减少了对候选架构的混淆并提高了架构选择的通用性;以及惩罚DARTS，其结合了资源约束以调整性能和系统复杂性之间的权衡。候选架构之间的参数共享允许在多达$7^{28}$的不同TDNN系统上进行有效搜索。在300小时的Switchboard语料库上进行的实验表明，在LHUC说话人自适应和RNNLM重新评分之后，自动配置的系统始终优于使用手动网络设计或随机架构搜索的基线LF-MMI TDNN系统。该算法的绝对字错误率（WER）降低了1.0%，相对模型大小减少了28%.一致的性能改善，也获得了UASpeech无序语音识别任务使用建议的NAS方法。
2021-02-07 cs.CL cs.LG cs.SD
Towards adversarial learning of speaker-invariant representation for speech emotion recognition
JD AI Research（京东人工智能研究院）
近年来，由于对情感智能语音接口的高需求，语音情感识别（SER）引起了极大的关注。推导出说话人不变的语音情感识别的表示是至关重要的。在本文中，我们建议将对抗训练应用于SER以学习说话者不变表示。我们的模型由三个部分组成：一个带有时延神经网络（TDNN）和带有统计池的LSTM的表示学习子网络，一个情感分类网络和一个说话人分类网络。情感和说话人分类网络都将表征学习网络的输出作为输入。采用了两种训练策略：一种基于领域对抗训练（DAT），另一种基于交叉梯度训练（CGT）。除了传统的数据集，我们还评估了我们提出的模型上一个更大的公开可用的情感数据集与250扬声器。评估结果表明，在IEMOCAP上，DAT和CGT分别提供了5.6%和7.4%的改进，在5倍交叉验证上，与没有说话人不变表示学习的基线系统相比。在更大的情感数据集上，虽然CGT未能产生比基线更好的结果，但DAT仍然可以在独立测试集上提供9.8%的相对改善。
2019-03-22 cs.SD eess.AS
Pruning-aware Loss Functions for STOI-Optimized Pruned Recurrent Autoencoders for the Compression of the Stimulation Patterns of Cochlear Implants at Zero Delay
Leibniz University Hannover（莱比锡大学汉诺威分校）
本文提出剪枝感知损失函数，在训练深度循环自编码器压缩人工耳蜗刺激模式时兼顾模型压缩与语音可懂度，在剪枝率超过45%时显著优于传统幅值剪枝方法。
2025-02-04 cs.LG cs.SD eess.AS
Localizing Spatial Information in Neural Spatiospectral Filters
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
本文以COSPA为例研究神经空间谱滤波器如何表示空间信息，发现其空间信息由同时访问所有通道的GRU层特征表示，且仅依赖于波达方向。
2023-07-03 cs.SD eess.AS
Comparing Natural Language Processing Techniques for Alzheimer's Dementia Prediction in Spontaneous Speech
University College London（伦敦大学学院）
阿尔茨海默氏痴呆症（AD）是一种影响认知功能的无法治愈的、使人衰弱的和进行性的神经退行性疾病。早期诊断是重要的，因为治疗可以延缓病情进展，并给那些诊断的重要时间。开发分析自发言语的模型最终可以为AD的早期诊断提供有效的诊断方式。通过自发语音识别阿尔茨海默氏症痴呆症任务提供了声学预处理和平衡的数据集，用于通过自发语音的建模对AD和相关表型进行分类和预测。我们专门分析了自发语音数据集的文本转录，建立并比较了AD与对照组分类的众多模型的性能，以及对精神迷你状态考试分数的预测。我们严格训练和评估支持向量机（SVM）、梯度提升决策树（GBDT）和条件随机场（CRF）以及基于深度学习的Transformer模型。我们发现我们表现最好的模型是一个简单的词频-逆文档频率（TF-IDF）向量化器，作为SVM模型的输入，以及一个预训练的基于Transformer的模型“DistilBERT”，用作简单线性模型的嵌入层。我们证明了测试集的分类指标得分为0.81-0.82，RMSE为4.58。
2020-09-23 cs.CL cs.LG cs.SD
Speaker- and Age-Invariant Training for Child Acoustic Modeling Using Adversarial Multi-Task Learning
University of New South Wales（新南威尔士大学）
儿童语音声学建模的主要挑战之一是随着儿童的成长，他们的发音发生快速变化，他们不同的增长速度以及随后在同一年龄组中的高变异性。这些高声学变化以及儿童语音语料库的稀缺阻碍了可靠的儿童语音识别系统的发展。本文提出了一种基于对抗性多任务学习的说话人和年龄不变训练方法。该系统由一个生成器共享网络组成，该网络学习生成与音素、年龄和说话者三个识别网络相连的说话者和年龄不变特征。生成器网络被训练成在对抗性多任务学习方式中最小化音素辨别损失并最大化说话者和年龄辨别损失。发生器网络是一个时间延迟神经网络（TDNN）结构，而三个鉴别器是前馈网络。该系统被应用到OGI语音语料库，并取得了13%的减少WER的ASR。
2022-11-07 cs.CL cs.SD eess.AS
