Low-Complexity Acoustic Echo Cancellation with Neural Kalman Filtering
Tencent GVoice（腾讯GVoice）
由于卡尔曼滤波器具有对双端通话的鲁棒性、收敛速度快、稳态性能好等优点，在声学回声消除中得到了广泛的应用。卡尔曼滤波器的性能与状态噪声协方差和观测噪声协方差的估计精度密切相关。估计误差会导致不可接受的结果，特别是当回波路径发生突变时，卡尔曼滤波器的跟踪性能会显著下降。在本文中，我们提出了神经卡尔曼滤波（NKF），它使用神经网络隐式模型的状态噪声和观测噪声的协方差，并实时输出卡尔曼增益。在合成测试集和实际测试集上的实验结果表明，与现有的基于模型的方法相比，该方法在保证较低近端语音质量的同时，具有更好的收敛性和再收敛性。此外，所提出的NKF的模型大小仅为5.3 K，RTF低至0.09，这表明它可以部署在低资源平台中。
2022-10-30 cs.SD eess.AS
Individualized sound pressure equalization in hearing devices exploiting an electro-acoustic model
University of Oldenburg（奥尔登堡大学）；Starkey Hearing Technologies（斯达克听力技术公司）；Jade Hochschule（Jade应用科学大学）；German Institute of Hearing Aids（德国助听器研究所）
为了改善听力设备中的声音质量，听力设备输出应当被适当地均衡。为了实现最佳的个性化均衡，通常需要了解源、听力设备和个体鼓膜之间的所有传递函数。然而，在实践中，所有这些传递函数的测量是不可行的。本研究探讨使用不同的传递函数估计的声压均衡。具体地，电声模型用于预测个体鼓膜处的声压，并且平均估计用于预测剩余的传递函数。实验结果表明，使用这些假设，可以实现实际可行的和接近最佳的个性化声压均衡。
2021-10-04 cs.SD eess.AS
Online Supervised Acoustic System Identification exploiting Prelearned Local Affine Subspace Models
Friedrich-Alexander-University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
在本文中，我们提出了一种新的算法改进块在线监督声学系统辨识在不利的噪声情况下，利用先验知识的空间的房间脉冲响应（RIR）。该方法基于这样的假设，即未知RIR的可变性仅由少数物理参数控制，例如，源位置移动，因此被限制到由仿射子空间的并集建模的低维流形。仿射子空间的偏移量和基是通过无监督聚类和主成分分析从训练数据中预先学习的。我们建议去噪的任何监督自适应滤波器的参数更新投影到一个最佳的仿射子空间，这是基于一个新的计算效率的近似相关联的证据。所提出的方法显着提高了系统辨识性能的最先进的算法在不利的噪声情况下。
2020-07-03 cs.SD eess.AS
Noise-Robust Adaptation Control for Supervised Acoustic System Identification Exploiting A Noise Dictionary
Signal Processing,\ -Alexander University Erlangen-N\"urnberg,\ . 7, 91058 Erlangen, Germany,\ .
提出了一种基于噪声字典的块在线监督声学系统辨识噪声鲁棒自适应控制策略。该算法利用了显著的频谱结构，其特征在于许多类型的干扰噪声信号。我们采用线性高斯离散傅里叶变换域状态空间模型对噪声观测进行建模，其参数由在线广义期望最大化算法估计。与所有其他国家的最先进的方法，我们建议通过字典模型的观测概率密度函数的协方差矩阵建模。我们建议从训练数据中学习噪声字典，这些数据可以在系统不兴奋时离线或在线收集，同时我们不断地推断激活。该算法代表了一种新的基于机器学习的噪声鲁棒自适应控制方法，该方法可以在具有高水平和非平稳干扰噪声信号和突然系统变化的应用中实现更快的收敛。
2021-02-03 cs.SD eess.AS
IS${}^3$ : Generic Impulsive--Stationary Sound Separation in Acoustic Scenes using Deep Filtering
提出 IS${}^3$ 神经网络，利用深度滤波从平稳背景中分离脉冲声学事件，并设计数据生成流程，在客观指标上优于现有方法。
2025-09-12 cs.AI cs.SD eess.AS
Exploiting Cross Domain Acoustic-to-articulatory Inverted Features For Disordered Speech Recognition
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
发音特征对于声学信号失真具有固有的不变性，并且已经成功地被结合到用于正常语音的自动语音识别（ASR）系统中。它们在障碍语音识别中的实际应用通常受到从受损说话者收集此类专业数据的困难的限制。本文提出了一种跨域的声学发音（A2 A）反演方法，该方法利用15小时TORGO语料库的并行声学发音数据进行模型训练，然后跨域适应102.7小时UAS语音语料库并产生发音特征。采用基于混合密度网络的神经元A2 A反演模型。跨域特征自适应网络也被用来减少TORGO和UASpeech数据之间的声学失配。在这两项任务中，结合A2 A生成的发音特征始终优于仅使用声学特征构建的基于基准混合DNN/TDNN、CTC和Conformer的端到端系统。最好的多模态系统，结合视频模态和跨域发音功能，以及数据增强和学习隐藏单元贡献（LHUC）扬声器自适应产生最低的发表词错误率（WER）的24.82%的16个构音障碍的扬声器的基准UASpeech任务。
2022-03-19 cs.AI eess.AS
Relative Transfer Function Vector Estimation for Acoustic Sensor Networks Exploiting Covariance Matrix Structure
本文针对声学传感器网络提出两种利用噪声协方差矩阵块对角结构的相对传递函数向量估计方法，改进的协方差白化方法在信噪比提升上略优于原方法，非对角块选择方法优于有偏的主特征向量估计。
2023-10-27 eess.AS
A Comparative Analysis of Generalised Echo and Interference Cancelling and Extended Multichannel Wiener Filtering for Combined Noise Reduction and Acoustic Echo Cancellation
Department of Electrical Engineering (ESAT)（电气工程系（ESAT））；STADIUS Center for Dynamical Systems, Signal Processing（动态系统、信号处理中心）
本文比较了GEIC和MWFext在非线性回声路径下的噪声抑制与回声消除性能，发现MWFext在噪声抑制方面更优，而GEIC在回声消除方面更稳健。
2025-03-05 cs.SD eess.AS
A Fly on the Wall -- Exploiting Acoustic Side-Channels in Differential Pressure Sensors
University of California, Irvine（加州大学欧文分校）；George Mason University（乔治梅森大学）
本研究发现差压传感器存在声学侧信道漏洞，提出可从其读数重建语音的BaroVox攻击，通过信号处理与深度学习方法实现较高识别准确率，揭示相关隐私风险并探讨防御策略。
2024-10-07 cs.SD eess.AS
Auto-DSP: Learning to Optimize Acoustic Echo Cancellers
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
自适应滤波算法在信号处理中是常见的，并且具有广泛的应用，从单通道去噪到多通道声学回声消除和自适应波束形成。这种算法通常通过专门的在线迭代优化方法进行操作，并取得了巨大的成功，但需要专业知识，开发缓慢，难以定制。在我们的工作中，我们提出了一种新的方法来自动学习自适应过滤更新规则直接从数据。要做到这一点，我们框架自适应滤波作为一个可微的运营商和训练学习优化输出梯度下降为基础的更新规则，从数据通过反向传播通过时间。我们演示了我们的一般方法上的声学回声消除任务（单谈噪声），并表明，我们可以学习高性能的自适应滤波器的各种常见的线性和非线性多延迟块频域滤波器架构。我们还发现，我们学习的更新规则具有快速收敛性，可以在存在非线性的情况下进行优化，并且对声学场景变化具有鲁棒性，尽管在训练过程中从未遇到过任何变化。
2021-10-08 cs.SD eess.AS
Acoustic Cybersecurity: Exploiting Voice-Activated Systems
PeopleTec（PeopleTec公司）
本文研究针对语音助手的不可听声学攻击，在多个主流平台上验证了十二种攻击向量，攻击成功率约60%且可远程超100英尺激活设备，并提出融合声学屏蔽、信号处理、机器学习与用户认证的多层防御策略。
2023-11-23 cs.CR cs.LG cs.SD
Rate-Distributed Spatial Filtering Based Noise Reduction in Wireless Acoustic Sensor Networks
Delft University of Technology（代尔夫特理工大学）
在无线声学传感器网络（WASN）中，传感器通常具有有限的能量预算，因为它们通常是电池驱动的。因此，能源效率是必不可少的WASNs算法的设计。降低能量成本的一种方法是只选择信息量最大的传感器，这是一个称为{ \it传感器选择}的问题。通过这种方式，只有对手头的任务有重大贡献的传感器才会参与其中。在这项工作中，我们考虑一个更一般的方法，这是基于速率分布的空间滤波。与传输发生的距离一起，比特率直接影响能量消耗。我们试图最大限度地减少由于传输而导致的电池使用，同时限制降噪性能。这导致一个有效的速率分配策略，这取决于潜在的信号统计，以及从传感器到融合中心（FC）的距离。利用线性约束最小方差（LCMV）波束形成器，该问题推导为半定规划。此外，我们表明，速率分配比传感器选择更一般，并且传感器选择可以被视为所提出的速率分配解决方案的特殊情况，例如，最佳麦克风子集可以通过对速率进行阈值化来确定。最后，通过对多个目标源的估计应用的数值仿真，验证了该方法在能量利用方面优于基于麦克风子集选择的方法，并且发现靠近FC和靠近点源的传感器被分配了更高的速率.
2017-12-21 cs.SD eess.AS
Exploiting Large-scale Teacher-Student Training for On-device Acoustic Models
Amazon（亚马逊）；University of Edinburgh（爱丁堡大学）
我们展示了Alexa语音团队对声学模型（AM）的半监督学习（SSL）的结果，实验时间超过3000小时，使我们的研究成为同类研究中最大的研究之一。我们讨论了在一个小的足迹设置的AM的SSL，表明一个较小的容量模型训练100万小时的无监督数据可以超过基线监督系统的14.3%字出错率减少（WERR）。当监督数据增加到7倍时，我们的收益减少到7.1%WERR;为了在更大的监督数据制度下提高SSL效率，我们采用逐步蒸馏到一个更小的模型，获得14.4%的WERR。然后，我们在低数据状态下使用更大的学生模型切换到SSL;虽然使用无监督数据的学习效率更高，但在这种设置下，学生模型可能优于教师模型。我们开发了一个理论草图来解释这种行为。
2021-06-11 cs.LG cs.SD eess.AS
Exploiting Parallel Audio Recordings to Enforce Device Invariance in CNN-based Acoustic Scene Classification
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
在训练和应用时看到的数据之间的分布不匹配仍然是机器学习所有应用领域的主要挑战。我们在机器监听的背景下研究这个问题（DCASE 2019挑战赛的任务1b）。我们提出了一种新的方法来学习域不变的分类器在一个端到端的方式，通过实施平等的隐藏层表示域并行的样本，即时间对齐的记录从不同的记录设备。我们的域自适应（DA）方法不需要分类标签，这使得数据收集过程更便宜。
2019-09-04 cs.LG cs.SD eess.AS
Exploiting spatial information with the informed complex-valued spatial autoencoder for target speaker extraction
本研究针对传统多通道音频增强分步滤波的局限，扩展复值空间自编码器COSPA为iCOSPA，通过注入目标说话人位置信息实现联合频谱-空间滤波，可有效提取目标说话人并学习空间选择性模式。
2023-03-14 cs.SD eess.AS
Distributed Multichannel Wiener Filtering for Topology-Unconstrained Wireless Acoustic Sensor Networks
KU Leuven（荷语鲁汶大学）；Carl von Ossietzky Universität Oldenburg（奥尔登堡卡尔·冯·奥西埃茨基大学）；Fraunhofer IDMT（弗劳恩霍夫工业应用声学研究所）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
研究拓扑无约束的无线声学传感器网络中分布式节点特定信号估计问题，提出TI-dMWF算法，通过交换低维融合信号计算集中式多通道维纳滤波器解，单次运行达集中式估计性能，分析了延迟、复杂度及鲁棒性。
2026-07-08 cs.IT eess.AS eess.SP
Design of an algorithm for acoustic signal detection of moving vehicles
University of Granada（格拉纳达大学）
车辆的精确检测和计数对于了解道路的聚集状态以及预测交通管制的可能行动或未来的变化是至关重要的，这在交通管理的城市设计中是必要的。事实上，它是许多市政当局用于统计目的的计划的一部分，用于规划，设计，扩展和结构建模。操作员L.O.G.高斯拉普拉斯算子（Laplacian of Gaussian）通常用于通过分析图像的边界来检测图像中的元素，并且是图像滤波中广泛扩展的方法。然而，这不是一维信号分析中的扩展过程。我们开发了一个程序的启发下，滤波，并进行了分析的声学信号的便携式记录仪位于一侧的单车道的道路，通过评估的二阶离散导数的平滑的声学信号的负最小值，过滤的选择与阈值，以检测和计数的车辆通过沿道路。我们获得了一个简单的程序，可扩展的，并充分验证了为此目的的结果。
2019-12-03 cs.SD eess.AS eess.SP
Exploiting Cross-Lingual Knowledge in Unsupervised Acoustic Modeling for Low-Resource Languages
The Chinese University of Hong Kong（香港中文大学）
本文研究了零资源环境下的自动语音识别（ASR）的无监督声学建模（UAM）问题。UAM不仅在解决ASR技术发展中数据稀缺的普遍问题方面非常重要，而且对于许多非主流应用也至关重要，例如语言保护，语言习得和病理性言语评估。本研究集中在两个研究问题。第一个问题涉及在给定语言中的基本（子字级）语音单元的无监督发现。在零资源条件下，可以仅从声学信号推断语音单元，而不需要或涉及任何语言方向和/或约束。第二个问题被称为无监督子字建模。从本质上讲，需要从未转录的语音中学习帧级特征表示。学习的特征表示是子词单元发现的基础。期望它是语言上有区别的，并且对非语言因素是鲁棒的。特别是广泛使用的跨语言知识的子词单元发现和建模是本研究的重点。
2020-07-29 cs.CL cs.SD eess.AS
RTF-Based Binaural MVDR Beamformer Exploiting an External Microphone in a Diffuse Noise Field
除了抑制所有不期望的声源之外，用于听力设备的双耳降噪算法的重要目标是保留双耳线索，旨在保留声学场景的空间感知。众所周知的双耳降噪算法是双耳最小方差无失真响应波束形成器，其可以使用期望源的相对传递函数（RTF）向量来操纵，将期望源和所有麦克风之间的声学传递函数与参考麦克风相关联。在本文中，我们提出了一种计算效率高的方法来估计RTF矢量的扩散噪声场，需要一个额外的麦克风，在空间上分离的头戴式麦克风。假设头戴式麦克风信号和附加麦克风信号中的噪声分量之间的空间相干性为零，我们表明可以获得RTF向量的无偏估计。基于真实世界的录音，几个混响时间的实验结果表明，建议的RTF估计优于广泛使用的RTF估计的基础上，协方差白化和一个简单的有偏RTF估计的降噪和双耳线索保存性能。
2018-07-12 eess.AS
NeuralKalman: A Learnable Kalman Filter for Acoustic Echo Cancellation
Tencent AI Lab（腾讯AI实验室）
针对声学回声消除中卡尔曼滤波器无法建模非线性和参数调整困难的问题，本文提出NeuralKalman混合方法，用深度神经网络估计非线性信号和状态方程参数，显著提升FDKF性能并超越强基线。
2023-12-26 cs.SD eess.AS
One-shot conditional audio filtering of arbitrary sounds
我们考虑的问题，从一个单一的通道混合分离一个特定的声源，仅基于一个短样本的目标源。使用SoundFilter，一种波到波神经网络架构，我们可以训练一个模型，而不使用任何声音类标签。使用与源分离网络联合学习的调节编码器模型，训练的模型可以被“配置”为过滤任意声源，甚至是在训练期间没有看到的声源。在FSD 50 k数据集上进行评估，我们的模型对于两种声音的混合物获得了9.6 dB的SI-SDR改进。在Libripeech上训练时，我们的模型在从两个说话者的混合物中分离出一个声音时，实现了14.0 dB的SI-SDR改进。此外，我们表明，由条件编码器学习的表示在嵌入空间中将声学上相似的声音聚集在一起，即使它是在不使用任何标签的情况下训练的。
2020-11-04 eess.AS
Distributed Multichannel Wiener Filtering for Wireless Acoustic Sensor Networks
KU Leuven（荷语鲁汶大学）；Carl von Ossietzky Universität Oldenburg（老enburg卡尔·冯·奥西茨基大学）；Fraunhofer IDMT（弗劳恩霍夫工业声学和媒体技术研究所）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
本文提出一种非迭代的分布式多通道维纳滤波算法，用于无线声学传感器网络中节点特定语音信号的估计，优于现有方法，减少通信带宽使用。
2026-04-13 cs.IT eess.AS eess.SP
LMPAN: A Lightweight Multi-Path Alignment Network for Joint Full-Duplex Acoustic Echo Cancellation and Noise Suppression
Qwen Business Unit of Alibaba（阿里巴巴通义千问业务部）；TongYi AI Lab of Alibaba Group（阿里巴巴集团通义人工智能实验室）
提出轻量级多路径对齐网络LMPAN，通过多路径对齐、注意力机制和后滤波模块，在480K参数下实现与DeepVQE-S相当的联合回声消除与噪声抑制性能。
2026-07-03 eess.AS
Neural Kalman Filters for Acoustic Echo Cancellation
Technische Universität Braunschweig（布伦瑞克工业大学）；Carl von Ossietzky University Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学）；GN Audio A/S（GN音频公司）
本文研究了利用深度神经网络支持频域自适应卡尔曼滤波器（FDKF）以克服噪声协方差估计限制，在相同框架下对比了多种神经卡尔曼滤波变体，证明其实现了更快的收敛、更好的回声消除及双讲语音保留。
2025-01-22 cs.SD eess.AS
Learning an Interpretable End-to-End Network for Real-Time Acoustic Beamforming
Xiamen University（厦门大学）；Lund University（隆德大学）
本文提出DAMAS-FISTA-Net，一种基于模型展开的可解释端到端深度学习网络，用于实时声学波束形成，兼具计算高效性与物理可解释性，实验验证其性能优于现有方法。
2023-06-19 cs.SD eess.AS
Implicit Neural Spatial Filtering for Multichannel Source Separation in the Waveform Domain
Meta
我们提出了一个单阶段的休闲波形波形多通道模型，可以分离移动声源的基础上，他们广泛的空间位置在一个动态的声学场景。我们将场景分为两个空间区域，分别包含目标和干扰声源。该模型是端到端训练的，并隐式地执行空间处理，没有任何基于传统处理或使用手工空间特征的组件。我们在真实世界的数据集上评估了所提出的模型，并表明该模型与Oracle波束形成器的性能相匹配，然后是最先进的单通道增强网络。
2022-06-30 cs.LG cs.SD eess.AS
Exploiting Beam Search Confidence for Energy-Efficient Speech Recognition
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
随着计算机在我们的日常生活中变得越来越强大和集成，焦点越来越转向更人性化的界面，使自动语音识别（ASR）成为与机器交互的理想手段。因此，对语音技术的兴趣在过去几年中已经增长，提出了更多的系统并且实现了更高的准确度水平，甚至超过了\textit{Human Accuracy}。随着ASR系统的功能日益强大，其计算复杂性也在增加，硬件支持也必须跟上。在本文中，我们提出了一种提高ASR系统能效和性能的技术，重点关注边缘设备的低功耗硬件。我们专注于优化基于DNN的声学模型评估，因为我们已经观察到它是最先进的ASR系统中的主要瓶颈，通过利用来自束搜索的运行时信息。通过这样做，我们将声学模型评估的能量和执行时间分别减少了25.6%和25.9%，而精度损失可以忽略不计。
2021-01-22 cs.CL cs.SD eess.AS
Directional Sparse Filtering using Weighted Lehmer Mean for Blind Separation of Unbalanced Speech Mixtures
Nanyang Technological University（南洋理工大学）；Delta-NTU Corporate Lab for Cyber-Physical Systems（Delta-南大网络物理系统联合实验室）；Delta Electronics Inc（台达电子公司）
在语音信号的盲源分离中，源频谱中固有的不平衡性对依赖于单源优势来估计混合矩阵的方法提出了挑战。我们提出了一种算法的基础上的方向稀疏滤波（DSF）的框架，利用Lehmer平均与可学习的权重，自适应占源不平衡。在多个真实声学环境中的性能评估显示，与基线方法相比，源分离有所改善。
2021-05-14 cs.LG cs.SD eess.AS
