tPLCnet: Real-time Deep Packet Loss Concealment in the Time Domain Using a Short Temporal Context
Carl von Ossietzky University（卡尔·冯·奥西茨基大学）
本文介绍了一种实时时域丢包隐藏（PLC）神经网络（tPLCnet）。它以序列对一（seq 2 one）的方式有效地预测来自短上下文缓冲区的丢失帧。由于其seq 2 one结构，不需要模型的连续推理，因为它可以在实际检测到分组丢失时触发。它是在音频PLC挑战赛提供的64小时开源语音数据和真实呼叫的丢包痕迹上训练的。本文中描述的具有最低复杂度的模型达到了强大的PLC性能，并且在所有指标的零填充基线上都有一致的改进。具有更高复杂性的配置被提交给PLC挑战，并且在盲测试集上的PLC-MOS方面显示出与零填充基线相比1.07的性能增加，并且在挑战排名中达到具有竞争力的第三名。
2022-04-04 cs.SD eess.AS
Adversarial Auto-Encoding for Packet Loss Concealment
Dolby Laboratories（杜比实验室）
像IP语音这样的通信技术在受限的实时条件下运行，语音数据包会受到网络延迟和丢失的影响。在这种情况下，分组丢失隐藏（PLC）算法重建丢失的帧，直到接收到新的真实分组。最近，自回归深度神经网络已被证明超过PLC的信号处理方法的质量，特别是超过60毫秒的长期预测。在这项工作中，我们提出了一个非自回归对抗自编码器，命名为PLAAE，在波形域中执行实时PLC。PLAAE具有因果卷积结构，它以自动编码器的方式学习，在对抗性损失的帮助下重建具有间隙的信号。在推理过程中，它能够在单个前馈步骤中预测这种间隙的平滑和连贯的延续，而不是自回归模型。我们的评估强调了PLAAE在频谱和语调重建、感知质量和可懂度方面优于两种经典PLC和两种深度自回归模型。
2021-07-08 cs.SD eess.AS
BS-PLCNet: Band-split Packet Loss Concealment Network with Multi-task Learning Framework and Multi-discriminators
Northwestern Polytechnical University（西北工业大学）；ByteDance（字节跳动）
针对VoIP系统中的丢包问题，提出分频带丢包隐藏网络BS-PLCNet，结合GCRN与GRU分别处理宽带与高频带信号，并采用多任务学习框架与多判别器提升语音质量与ASR兼容性，在ICASSP 2024 PLC Challenge中并列第一。
2024-01-08 cs.SD eess.AS
PLCMOS -- a data-driven non-intrusive metric for the evaluation of packet loss concealment algorithms
Microsoft Corporation（微软公司）
本文提出PLCMOS，一种非侵入式数据驱动指标，用于准确估计经丢包隐藏处理后的语音平均意见分，其与人类评分的皮尔逊相关系数约0.97，显著优于现有指标，并以ONNX模型发布供研究者使用。
2023-05-24 cs.SD eess.AS
TMGAN-PLC: Audio Packet Loss Concealment using Temporal Memory Generative Adversarial Network
Guangzhou University（广州大学）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；Communication University of China（中国传媒大学）
分组交换网络中的实时通信在日常通信中得到了广泛的应用，但在实时性受限的情况下，不可避免地会遭受网络延迟和数据丢失。为了解决这些问题，已经开发了音频分组丢失隐藏（PLC）算法，以通过重构丢失的信息来减轻语音传输失败。受限于传输延迟和设备内存，PLC仍然难以使用相对较小的分组缓冲区来完成高质量的语音重构。在本文中，我们提出了一个时间记忆生成对抗网络的音频PLC，被称为TMGAN-PLC，这是由一个新的嵌套UNet生成器和时域/频域鉴别器。具体地说，嵌套UNet和时间特征线性调制的组合精心设计的发生器，以精细地调整帧内信息，并建立帧间的时间依赖性。为了弥补较长丢失突发造成的语音内容缺失，我们采用多级门控矢量量化器来捕获正确的内容并重建接近真实的平滑音频。在PLC Challenge数据集上的大量实验表明，该方法在语音质量、可懂度和PLCMOS方面具有良好的性能。
2022-07-04 cs.SD eess.AS
On Deep Speech Packet Loss Concealment: A Mini-Survey
University of Augsburg（奥格斯堡大学）；SyncPilot GmbH（SyncPilot有限公司）；Imperial College London（帝国理工学院）
分组丢失是使用IP语音的数据传输中的常见问题。这个问题是一个老问题，并且已经开发了各种经典方法来克服这个问题。然而，随着深度学习和生成模型（如生成对抗网络和自动编码器）的兴起，出现了一种尝试使用深度学习解决数据包丢失的新途径，即生成丢失数据包的替代品。在这个小型调查中，我们回顾了迄今为止发现的所有文献，这些文献试图使用深度学习方法解决语音中的数据包丢失问题。此外，我们简要地回顾了如何在一个现实的设置中的数据包丢失的问题进行建模，以及如何评估数据包丢失隐藏技术。此外，我们还回顾了相关领域中的一些现代深度学习技术，这些技术已经显示出有希望的结果。这些技术揭示了未来可能更好的PLC解决方案以及需要与数据包丢失同时考虑的其他挑战。
2020-05-15 cs.LG cs.SD eess.AS
ConcealNet: An End-to-end Neural Network for Packet Loss Concealment in Deep Speech Emotion Recognition
University of Augsburg（奥格斯堡大学）；SyncPilot GmbH（SyncPilot有限公司）；Imperial College London（帝国理工学院）
分组丢失是数据传输（包括语音数据传输）中的常见问题。这可能会影响流式传输音频数据的广泛应用，如流式传输应用或语音情感识别（SER）。丢包隐蔽技术（PLC）是任何一种应对丢包的技术。简单的PLC基线是0替代或线性插值。在本文中，我们提出了一个隐藏包装器，它可以用于堆叠的递归神经细胞。隐藏单元可以提供递归神经网络（ConcealNet），其在推理时间执行实时逐步端到端PLC。此外，通过端到端情感预测神经网络扩展这一点，提供了一种从具有丢失帧的音频端到端执行SER的网络。将拟议模型与上述基线进行比较。此外，还使用了性能更好的双向变体。为了进行评估，我们选择了公共RECOLA数据集，因为它具有连续情感标签的长音轨。ConcealNet是根据音频的重建和之后预测的相应情感的质量进行评估的。建议的ConcealNet模型已经显示出相当大的改进，音频重建和相应的情感预测，在没有损失的环境中，即使损失频繁发生。
2020-05-15 cs.LG cs.SD eess.AS
A Deep Learning Approach for Low-Latency Packet Loss Concealment of Audio Signals in Networked Music Performance Applications
Stanford University（斯坦福大学）；Politecnico di Milano（米兰理工大学）；Politecnico di Torino（都灵理工大学）
网络音乐表演（NMP）被认为是互联网应用中潜在的游戏规则改变者：它旨在通过使远程音乐家能够通过电信网络进行交互和表演，从而彻底改变传统的音乐交互概念。然而，由于在音频质量和最重要的网络延迟方面的极其严格的要求，确保音乐表演的真实条件构成了重大的工程挑战。为了最小化音乐家经历的端到端延迟，NMP应用程序的典型实现使用未压缩的双向音频流，并利用UDP作为传输协议。由于连接较少且不可靠，通过UDP传输的音频数据包在传输过程中丢失后不会重新传输，从而导致接收器音频播放出现故障。本文描述了一种使用深度学习方法实时预测丢失数据包内容的技术。实时的隐藏错误的能力可以帮助减轻由数据包丢失引起的音频损害，从而提高真实场景中的音频播放质量。
2020-07-14 cs.LG cs.NI cs.SD
Blind speech separation based on undecimated wavelet packet-perceptual filterbanks and independent component analysis
National School of Engineers of Tunis（突尼斯国家工程师学院）；National Institute of Applied Science and Technology（国家应用科学与技术研究所）
在本文中，我们解决的问题，盲分离的语音混合。本文提出了一种新的语音盲分离系统，它结合了感知滤波器组和独立分量分析（ICA），并使用峰度准则。通过调整非抽取小波包分解树来设计感知滤波器组，以符合心理声学模型的临界频带特性。我们所提出的技术包括在一个新的预处理步骤中使用UWPD和峰度最大化准则将观测信号转换为适当的表示，以增加非高斯性，这是ICA的先决条件。实验进行了两个语音源使用两个传感器的瞬时混合。实验结果表明，与FastICA等方法相比，该方法具有明显的改进效果。
2012-10-14 cs.SD
On Improving Error Resilience of Neural End-to-End Speech Coders
Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
本研究针对神经端到端语音编码器在VoIP等场景中的丢包问题，通过低复杂度网络预测码本索引实现PLC，并添加0.8 kbps带内FEC，结合两者显著提升鲁棒性。
2024-06-13 cs.SD eess.AS eess.SP
Error-Resilient Semantic Communication for Speech Transmission over Packet-Loss Networks
Beijing University of Posts and Telecommunications（北京邮电大学）；Academy of Information and Communication（信息与通信学院）
Glaris通过生成潜在先验实现抗误差语音语义通信，在动态无线网络中提升鲁棒性并减少冗余开销。
2025-12-09 cs.SD
End-to-End Neural Speech Coding for Real-Time Communications
Communication University of China（中国传媒大学）；Microsoft Research Asia（微软亚洲研究院）
基于深度学习的方法在音频编码方面已经显示出其相对于传统方法的优势，但对实时的【形】通信（RTC）的关注有限。本文提出了TFNet，一个端到端的神经语音编解码器，具有低延迟的RTC。它采用了编码器-时间滤波-解码器范式，这在音频编码中很少被研究。提出了一种用于时间滤波的交织结构，以捕获短期和长期的时间依赖性。此外，通过端到端优化，TFNet与语音增强和丢包隐藏进行了联合优化，为三项任务提供了一个一对多的网络。主观和客观的结果表明，所提出的TFNet的效率。
2022-02-15 cs.LG cs.SD eess.AS
