Scene-Agnostic Multi-Microphone Speech Dereverberation
Bar-Ilan University（巴伊兰大学）；NVIDIA Research（英伟达研究院）
神经网络（NN）已被广泛应用于语音处理任务，特别是那些采用麦克风阵列。然而，大多数现有的NN架构只能处理固定和位置特定的麦克风阵列。在本文中，我们提出了一个神经网络架构，可以应付麦克风阵列的数量和位置的麦克风是未知的，并证明其适用性的语音去混响任务。为此，我们的方法利用集结构数据深度学习的最新进展来设计一种增强混响对数谱的架构。我们使用模拟混响数据集的噪声和无噪声版本来测试所提出的架构。我们对噪声数据的实验表明，所提出的场景无关设置优于强大的场景感知框架，有时甚至使用更少的麦克风。对于无噪声数据集，我们表明，在大多数情况下，我们的方法优于位置感知网络以及最先进的加权线性预测误差（WPE）算法。
2021-06-10 cs.LG cs.SD eess.AS
Multichannel Linear Prediction for Blind Reverberant Audio Source Separation
Istanbul Technical University（伊斯坦布尔理工大学）；Qualcomm Atheros, Inc.（高通创锐讯公司）
当声源被麦克风阵列观测时，基于多通道线性预测（MCLP）的一类方法可以实现有效的声源盲去混响。我们提出了MCLP作为利用麦克风阵列的盲声源分离的预处理步骤的创造性使用。我们从理论上表明，在一定的假设下，这样的预处理减少了原来的盲混响声源分离问题的非混响，这反过来又可以有效地解决使用现有的方法。我们证明了我们的主张，使用真实的录音与八麦克风圆形阵列在混响环境中获得。
2017-02-24 cs.CE cs.SD
Cooperative Audio Source Separation and Enhancement Using Distributed Microphone Arrays and Wearable Devices
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
诸如助听器的增强听音设备通常在具有许多竞争声源的嘈杂和混响环境中表现不佳。大型分布式麦克风阵列可以提高性能，但来自远程麦克风的数据通常不能用于延迟受限的实时处理。我们提出了一个合作的音频源分离和增强系统，利用可穿戴式收听设备和其他麦克风阵列分布在一个房间。全分布式阵列用于分离声源并估计其统计量。每个收听设备使用这些统计数据来设计使用其自己的本地麦克风的实时双耳音频增强滤波器。该系统的实验证明，使用10个语音源和160个麦克风在一个大的，混响室。
2019-12-10 cs.SD eess.AS
PSD Estimation and Source Separation in a Noisy Reverberant Environment using a Spherical Microphone Array
在本文中，我们提出了一种有效的技术，估计个别功率谱密度（PSD）的成分，即，在具有相干背景噪声的多源混响声音场景中，每个期望声源以及噪声和混响的PSD。我们在球谐域中制定问题，以利用球谐基函数的固有正交性，并从不同声场模式之间的互相关中提取PSD分量。我们还调查了一个实现的问题，发生在空的贝塞尔函数，并提供了一个工程解决方案。的性能评估发生在一个实际的环境中与商业麦克风阵列，以衡量所提出的算法对所有的偏差在实践中产生的鲁棒性。我们还展示了一个应用程序的建议PSD估计通过一个源分割算法，并比较性能与当代方法在不同的客观措施。
2018-05-16 cs.SD
Maximum Likelihood Estimation of the Direction of Sound In A Reverberant Noisy Environment
Amazon Inc.（亚马逊公司）
本研究针对混响噪声环境下的声音方向估计问题，提出一种基于声波分解后方向分量时延与能量的SNR自适应特征的最大似然估计方法，并通过多场景多阵列配置实测数据验证其有效性。
2024-07-15 cs.LG cs.SD eess.AS
PSD estimation in Beamspace for Estimating Direct-to-Reverberant Ratio from A Reverberant Speech Signal
NTT Corporation（日本电信电话公司）；University of Auckland（奥克兰大学）
提出了一种基于传声器阵列的直达混响比（DRR）估计方法。所提出的方法估计的功率谱密度（PSD）的直达声和混响使用算法\textit{PSD estimation in beamspace}与麦克风阵列和计算DRR的观测信号。ACE（声学表征的环境）挑战的语音语料库被用来评估所提出的方法的实际可行性。实验结果表明，该方法能够有效地估计DRR从混响语音信号，其中包括各种环境噪声的记录。
2015-10-30 cs.SD
TRUNet: Transformer-Recurrent-U Network for Multi-channel Reverberant Sound Source Separation
Sony Europe B.V.（索尼欧洲有限公司）
近年来，已经提出了许多用于单通道声源分离的深度学习技术，这些技术使用递归、卷积和Transformer网络。当多个麦克风可用时，除了频谱-时间分集之外，扬声器和背景噪声之间的空间分集还可以通过使用多通道滤波器来进行声源分离。针对端到端的多通道信号源分离问题，提出了一种基于变换递归U型网络（TRUNet）的多通道信号源分离算法。TRUNet由一个空间处理网络和一个频谱-时间处理网络组成，空间处理网络具有跨麦克风通道的注意机制，旨在捕获空间多样性，频谱-时间处理网络旨在捕获频谱和时间多样性。除了多通道滤波器，我们还考虑使用TRUNet从多通道输入光谱估计单通道滤波器。我们使用组合的压缩均方误差损失函数在大型混响数据集上训练网络，这进一步提高了声音分离性能。我们评估网络上的一个现实的和具有挑战性的混响数据集，从测量的房间脉冲响应的实际麦克风阵列。对实际混响声源分离的实验结果表明，TRUNet方法的分离效果优于现有的单通道和多通道声源分离方法。
2022-08-22 cs.SD eess.AS eess.SP
Single-Microphone Speaker Separation and Voice Activity Detection in Noisy and Reverberant Environments
Bar-Ilan University（巴伊兰大学）
针对嘈杂与混响环境，提出单麦克风说话人分离网络Sep-TFAnet及其结合VAD的变体，基于TCN和STFT/iSTFT实现，并验证了其在真实录音上优于竞争方法的泛化能力。
2024-01-07 cs.SD eess.AS
A two-stage speaker extraction algorithm under adverse acoustic conditions using a single-microphone
Bar-Ilan University（巴伊兰大学）；OriginAI
在这项工作中，我们提出了一个两阶段的方法，混响和噪声条件下的说话人提取。给定期望扬声器的参考信号，首先从噪声混合信号中提取干净但仍然混响的期望扬声器。在第二阶段中，通过联合去混响和残余噪声和干扰减少来进一步增强所提取的信号。所提出的架构包括两个子网络，一个用于提取任务，第二个用于去混响任务。我们提出了一个训练策略，这种架构，并表明，所提出的方法的性能是与其他国家的最先进的（SOTA）的方法时，适用于WHAMR！数据集。此外，我们提出了一个新的数据集更现实的不利的声学条件，并表明我们的方法优于竞争的方法时，应用到这个数据集以及。
2023-03-13 cs.SD eess.AS
Fast-SDE: Efficient Single-Microphone Sound Source Distance Estimation in Reverberant Environments
Institute of Science Tokyo（东京科学大学）
提出Fast-SDE，一种基于子带处理的轻量级单麦克风框架，用于在资源受限的机器人平台上实现高效声源距离估计。
2026-06-11 cs.RO cs.SD
Multi-Microphone Complex Spectral Mapping for Speech Dereverberation
The Ohio State University（俄亥俄州立大学）；Center for Cognitive and Brain Sciences, The Ohio State University（俄亥俄州立大学认知与脑科学中心）
本文提出了一种基于多麦克风复谱映射的固定阵列语音去混响方法。在所提出的方法中，训练深度神经网络（DNN）以从多个麦克风的堆叠混响（和噪声）RI分量预测直达声的实部和虚部（RI）分量。我们还研究了多麦克风复频谱映射与波束形成和后滤波的集成。多通道语音去混响实验结果表明了该方法的有效性。
2020-03-04 cs.SD eess.AS
Reverberant Sound Localization with a Robot Head Based on Direct-Path Relative Transfer Function
INRIA Grenoble Rhone-Alpes（法国国立信息学与自动化研究院格勒诺布尔罗讷-阿尔卑斯分院）；GIPSA-LAB（GIPSA实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文讨论了声源定位（SSL）与机器人头部，这仍然是一个挑战，在现实世界的环境中的问题。特别是，我们有兴趣在定位语音源，因为它们是高度感兴趣的人机交互。对应于直接路径声音传播的麦克风对响应是源方向的函数。在实践中，这种响应受到噪声和混响的污染。直接路径相对传递函数（DP-RTF）被定义为两个麦克风的直接路径声学传递函数（ATF）之间的比率，并且它是SSL的重要特征。我们提出了一种方法来估计DP-RTF从噪声和混响信号中的短时傅里叶变换（STFT）域。首先，采用卷积传递函数（CTF）近似来精确地表示麦克风阵列的冲激响应，并且CTF的第一系数主要由直达路径ATF组成。在每个频率下，通过谱减法获得逐帧语音的自功率谱密度和互功率谱密度（PSD）。然后将多帧语音的自功率谱密度和互功率谱密度构造成一组线性方程组，其中DP-RTF为未知量，通过求解该线性方程组进行估计。最后，估计的DP-RTF跨频率级联并用作SSL的特征向量。与机器人，放置在各种混响环境中的实验表明，该方法优于两个国家的最先进的方法。
2020-12-07 cs.RO cs.SD eess.AS
Semi-supervised source localization in reverberant environments with deep generative modeling
University of California San Diego（加利福尼亚大学圣迭戈分校）；Bar-Ilan University（巴伊兰大学）；Technical University Denmark（丹麦技术大学）
提出了一种基于深度生成模型的混响环境下声源定位的半监督方法。混响环境中的定位仍然是一个开放的挑战。即使数据量很大，在混响环境中可用于监督学习的标签数量通常也很小。我们通过使用卷积变分自编码器（VAE）对麦克风阵列记录的混响语音信号进行半监督学习（SSL）来解决这个问题。VAE被训练以生成麦克风之间的相对传递函数（RTF）的相位，与基于RTF相位的到达波达方向（DOA）分类器并行。这些模型使用标记和未标记的RTF相位序列进行训练。在学习执行这些任务时，VAE-SSL明确地学习分离RTF阶段的物理原因（即，源位置）不受诸如噪声和语音活动的干扰信号特性的影响。相对于声学中现有的半监督定位方法，VAE-SSL是一种有效的端到端处理方法，其依赖于对RTF相位特征的最小预处理。据我们所知，我们的论文提出了第一种方法来建模的物理声学传播使用深生成建模。VAE-SSL方法与两种基于信号处理的方法进行了比较，这两种方法是相位变换的转向响应功率（SRP-PHAT）和多信号分类（MUSIC），以及完全监督的CNN。我们发现，VAE-SSL可以优于传统的方法和CNN在标签有限的情况下。此外，经过训练的VAE-SSL系统可以生成新的RTF相位样本，这表明VAE-SSL方法学习了声学环境的物理特性。因此，VAE-SSL中的生成建模提供了一种解释学习表示的方法。
2021-04-01 cs.LG cs.SD eess.AS
Audio-Visual Talker Localization in Video for Spatial Sound Reproduction
本研究提出融合视觉与多通道音频的视听方法，用于视频中说话人定位与位置元数据提取，相比传统方法显著降低了检测误差并提升了空间精度。
2024-06-01 cs.CV cs.SD eess.AS
An Automatic System for Acoustic Microphone Geometry Calibration based on Minimal Solvers
Lund University（隆德大学）
在本文中，强大的检测，跟踪和几何估计方法的开发和组合成一个系统，用于估计时间差估计，麦克风定位和声源运动。没有对麦克风和声源的3D位置进行假设。该系统能够在混响环境中跟踪连续移动的声源。多路径分量被明确地跟踪并用于几何估计部分。该系统基于使用GCC-PHAT的通道对之间的匹配。而不是采取一个单一的最大值在每个时刻从每个这样的对，我们选择四个最强的局部最大值。这产生了一组假设，以在后续步骤中使用，其中利用通道之间的一致性约束和时间连续性约束。在论文中，它演示了如何使用这种检测来估计麦克风位置，声源移动和房间几何形状。使用实际数据从几个混响环境的方法进行了测试和验证。评估表明精度在几毫米的数量级。
2016-10-07 cs.SD
End-to-end Microphone Permutation and Number Invariant Multi-channel Speech Separation
Microsoft Research（微软研究院）
ad-hoc麦克风语音分离中的一个重要问题是如何保证系统对麦克风位置和数量的鲁棒性。前者要求系统对于具有相同位置的麦克风的不同索引是不变的，而后者要求系统能够处理具有不同维度的输入。传统的基于优化的波束成形技术通过定义满足这些要求，而对于基于深度学习的端到端系统，这些约束并没有完全解决。在本文中，我们提出了变换-平均-级联（TAC），一个简单的设计范例的通道置换和数量不变的多通道语音分离。基于滤波器和总和网络（FaSNet），最近提出的端到端时域波束形成系统，我们展示了TAC如何显着提高分离性能在不同数量的麦克风在嘈杂的混响分离任务与ad-hoc阵列。此外，我们还表明，TAC也显着提高了分离性能与固定的几何阵列配置，进一步证明了所提出的范例在多麦克风语音分离的一般问题的有效性。
2020-03-27 cs.LG cs.SD eess.AS
On combining features for single-channel robust speech recognition in reverberant environments
U.de Chile（智利大学）；Universidad de la Frontera（拉弗龙特拉大学）；CMU（卡内基梅隆大学）
本文讨论了互补的并行语音识别系统的组合，以减少错误率的语音识别系统在实际的高混响环境中工作。首先，测试环境由校准的真实房间中的语音记录组成，混响时间为0.47至1.77秒，扬声器到麦克风的距离为0.16至2.56米。我们在DNN输出级别和最终ASR输出级别组合了系统。其次，识别实验与混响的挑战也报告。这里提出的结果表明，功能的组合可以导致WER改善7%和18%之间的语音记录在真实的混响环境。此外，DNN输出级别的组合比系统输出级别的组合更有效。然而，级联两个方案仍然可以导致WER的较小减少。
2019-06-17 cs.SD eess.AS
Multi-Microphone Speaker Separation by Spatial Regions
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
我们考虑的任务，基于区域的混响多麦克风录音的源分离。我们假设预定义的空间区域，每个区域具有单个活动源。目标是估计来自参考麦克风捕获的各个空间区域的信号，同时保持信号和空间区域之间的对应关系。我们提出了一种数据驱动的方法，使用修改后的版本的最先进的网络，其中不同的层模型的空间和光谱时间信息。该网络被训练为强制执行区域到网络输出的固定映射。使用LibriMix的语音，我们构建了一个专门设计用于包含区域信息的数据集。此外，我们训练的网络与置换不变的训练。我们表明，这两种训练方法都能将区域映射到网络输出，实现相当的性能，并且网络利用了空间信息。所提出的网络优于基线网络的1.5 dB的尺度不变的信号失真比。
2023-03-13 cs.LG cs.SD eess.AS
FaSNet: Low-latency Adaptive Beamforming for Multi-microphone Audio Processing
Columbia University（哥伦比亚大学）；University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
波束成形已经被广泛研究用于多声道音频处理任务。最近，基于学习的波束形成方法（有时称为\textit{neural beamformers}）已经在信号质量（例如，信噪比（SNR））和语音识别（例如，字错误率（WER））方面实现了显著的改进。这样的系统通常是非因果的，并且需要大的上下文以用于信道间特征的鲁棒估计，这在需要低延迟响应的应用中是不切实际的。在本文中，我们提出了滤波和求和网络（FaSNet），一种适用于低延迟场景的基于时域滤波器的波束成形方法。FaSNet有一个两阶段的系统设计，首先学习选定的参考通道的帧级时域自适应波束成形滤波器，然后计算所有剩余通道的滤波器。将所有通道的滤波输出相加以生成最终输出。实验表明，尽管FaSNet的模型尺寸较小，但在混响语音增强和分离任务中，其尺度不变信噪比（SI-SNR）优于几种传统的oracle波束形成器。此外，当在CHiME-3数据集上使用频域目标函数进行训练时，与基线模型相比，FaSNet实现了14.3%的相对字错误率降低（RWERR）。这些结果显示了FaSNet的功效，特别是在混响和噪声信号条件下。
2019-10-01 cs.LG cs.SD eess.AS
UNSSOR: Unsupervised Neural Speech Separation by Leveraging Over-determined Training Mixtures
Carnegie Mellon University（卡内基梅隆大学）
UNSSOR利用麦克风数多于说话人数时的混合信号求和约束，结合DNN估计与子频带前向卷积预测滤波，并通过最小化源内幅度散射解决频率置换问题，实现无监督神经语音分离，且可推广至欠定单声道分离。
2023-10-29 cs.LG cs.SD eess.AS
High-Resolution Speaker Counting In Reverberant Rooms Using CRNN With Ambisonics Features
Orange Labs（奥兰治实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；GIPSA-lab（格勒诺布尔图像语音信号与自动控制实验室）；Grenoble-INP（格勒诺布尔国立理工学院）；CNRS（法国国家科学研究中心）
说话者计数是估计在音频记录中同时说话的人数的任务。对于若干音频处理任务，诸如扬声器日志化、分离、定位和跟踪，除了能够实现低延迟处理之外，知道每个时间步长处的扬声器的数量是先决条件，或者至少它可以是强优势。为此目的，我们解决了扬声器计数问题与多通道卷积递归神经网络，产生在短期帧分辨率的估计。我们训练网络来预测多通道混合中多达5个并发扬声器，模拟数据包括源和麦克风位置，混响和噪声方面的许多不同条件。该网络可以在帧分辨率下以良好的精度预测扬声器的数量。
2020-03-17 cs.SD eess.AS
Spatial Diffuseness Features for DNN-Based Speech Recognition in Noisy and Reverberant Environments
我们提出了一种用于基于深度神经网络（DNN）的自动语音识别的空间扩散特征，以提高混响和噪声环境中的识别精度。该特征是从多个麦克风信号实时计算的，而不需要知道或估计到达方向，并且表示每个时间和频率区间中的扩散噪声的相对量。结果表明，使用扩散功能作为一个额外的输入到一个基于DNN的声学模型导致减少字出错率的REVERB挑战语料库，无论是相比logmelspec功能提取的噪声信号，和功能增强谱减法。
2015-02-16 cs.CL cs.NE cs.SD
Multi-Sound-Source Localization Using Machine Learning for Small Autonomous Unmanned Vehicles with a Self-Rotating Bi-Microphone Array
New Mexico State University（新墨西哥州立大学）
摘要虽然基于视觉的定位技术已被广泛研究的小型自主无人驾驶车辆（SAUV），声源定位能力还没有完全启用SAUV。本文提出了两种新的方法SAUV执行三维（3D）多声源定位（MSSL）仅使用通道间的时间差（ICTD）信号产生的自旋转双麦克风阵列。所提出的两种方法基于两种机器学习技术，基于密度的空间聚类算法（DBSCAN）和随机采样一致性（RANSAC）算法，分别，其性能进行了测试和比较，在模拟和实验。结果表明，这两种方法都能够正确地识别声源的数量以及它们在混响环境中的3D方向。
2020-06-28 cs.RO cs.SD eess.AS
Multi-channel target speech enhancement based on ERB-scaled spatial coherence features
National Tsing Hua University（国立清华大学）
最近，基于深度学习的语音增强技术受到了相当大的研究关注。如果麦克风信号中的空间信息被利用，麦克风阵列在某些不利的声学条件下与单麦克风系统相比可以是有利的。然而，多通道语音增强通常在短时傅里叶变换（STFT）域中执行，这使得增强方法在计算上昂贵。为了解决这个问题，我们提出了一种新的等效矩形带宽（ERB）缩放的空间相干性功能，这是依赖于两个ERB频带之间的目标扬声器活动。在混响环境中使用四麦克风阵列进行的实验，其中涉及语音干扰，证明了所提出的系统的有效性。这项研究还表明，用ERB缩放的空间特征训练的网络对阵列中麦克风的几何形状和数量的变化具有鲁棒性。
2022-07-17 cs.SD eess.AS
Exploring the robustness of features and enhancement on speech recognition systems in highly-reverberant real environments
Universidad de Chile（智利大学）；Universidad Austral de Chile（智利南方大学）；University of Edinburgh（爱丁堡大学）；Carnegie Mellon University（卡内基梅隆大学）
本文使用HRRE数据库评估了基于DNN-HMM的语音识别系统在高混响真实环境中的鲁棒性。讨论和评估了局部归一化滤波器组（LNFB）和Mel滤波器组（MelFB）特征与非负矩阵分解（NMF）、缓变分量抑制和下降沿（SSF）以及加权预测误差（WPE）增强方法相结合的性能。考虑了两种训练条件：干净和混响（混响）。在混响训练中，使用WPE和LNFB提供的WER分别比SSF和NMF平均低3%和20%。WPE和MelFB提供的WER分别比SSF和NMF平均低11%和24%。使用干净的训练，这代表了测试和训练条件之间的显著不匹配，LNFB功能明显优于MelFB功能。结果表明，不同类型的训练，参数化和增强技术可能会更好地工作的扬声器麦克风距离和混响时间的特定组合。这表明，用不同的增强和参数化方法训练的系统之间可能存在一定程度的互补性。
2018-03-23 cs.SD eess.AS
End-to-End Multi-Microphone Speaker Extraction Using Relative Transfer Functions
Bar-Ilan University（巴伊兰大学）；OriginAI
针对混响环境下多说话人加定向噪声的混合信号提取问题，提出利用参考语音估计的瞬时相对传递函数（RTF）作为空间线索的端到端方法，实验证明其性能优于基于到达方向（DOA）的空间线索及传统频谱嵌入方法。
2025-02-10 cs.AI cs.SD
Multi-microphone Complex Spectral Mapping for Utterance-wise and Continuous Speech Separation
The Ohio State University（俄亥俄州立大学）
我们提出了多麦克风复频谱映射，这是一种将深度学习应用于时变非线性波束成形的简单方法，用于混响条件下的扬声器分离。我们的目标是扬声器分离和去混响。我们的研究首先调查离线的话语明智的说话人分离，然后扩展到块在线连续语音分离（CSS）。假设训练和测试之间的阵列几何形状是固定的，我们训练深度神经网络（DNN）来预测目标语音在参考麦克风处的实部和虚部（RI）分量。然后，我们将多麦克风复频谱映射与最小方差无失真响应（MVDR）波束成形和后滤波相结合，以进一步改善分离，并将其与用于块在线CSS的帧级扬声器计数相结合。虽然我们的系统是基于以给定几何形状排列的固定数量的麦克风在模拟房间脉冲响应（RIR）上训练的，但它可以很好地推广到具有相同几何形状的真实阵列。在模拟的两个说话人SMS-WSJ语料库和真实记录的LibriCSS数据集上获得了最先进的分离性能。
2021-05-24 cs.CL cs.SD eess.AS
LibriheavyMix: A 20,000-Hour Dataset for Single-Channel Reverberant Multi-Talker Speech Separation, ASR and Speaker Diarization
Xiaomi Corp.（小米公司）；Tencent AI Lab（腾讯AI实验室）；The Chinese University of Hong Kong（香港中文大学）
本文发布LibriheavyMix大规模远场重叠语音数据集，并构建分离-识别-日志流水线基准，以解决单通道混响多说话人场景下“谁在何时说了什么”的难题。
2024-09-01 cs.CL cs.SD eess.AS
Towards Real-Time Single-Channel Speech Separation in Noisy and Reverberant Environments
McGill University（麦吉尔大学）；CIRMMT（跨学科音乐媒体与技术中心）；Microsoft Research（微软研究院）
本文提出一种低复杂度、资源高效的因果DNN级联架构，依次完成噪声抑制、分离和去混响，实现嘈杂混响环境下两个及以上说话人的实时单通道语音分离，性能可与大型离线模型SepFormer相媲美。
2023-04-17 cs.SD eess.AS
CrossNet: Leveraging Global, Cross-Band, Narrow-Band, and Positional Encoding for Single- and Multi-Channel Speaker Separation
The Ohio State University（俄亥俄州立大学）
本研究提出用于说话人分离的CrossNet复频谱映射架构，融合多维度时频相关性与随机块位置编码，在多场景任务上达SOTA，训练更高效且适配多麦克风场景。
2024-03-06 cs.SD eess.AS
Joint Acoustic Echo Cancellation and Speech Dereverberation Using Kalman filters
提出了一种短时傅里叶变换域的回声消除和语音去混响联合算法。混响麦克风信号使用自回归（AR）模型来描述。AR系数和麦克风扬声器到麦克风的声学传递函数（ATF）被认为是时变的，并同时使用一阶马尔可夫过程建模。这导致了一种解决方案，其中这些参数可以使用卡尔曼滤波器进行最佳估计。仿真结果表明，该算法在语音质量和回声抑制性能方面均优于传统的AEC和DR算法以及基于半盲声源分离的联合DRAEC算法。
2023-02-09 cs.SD eess.AS
Head Orientation Estimation with Distributed Microphones Using Speech Radiation Patterns
2 Department of Electrical Engineering (ESAT), KU Leuven, Leuven, Belgium；Medical\；University\,of\；4 Department of Electronic Systems, Aalborg University, Aalborg, Denmark
本文提出了一种利用分布式麦克风和语音辐射图来估计头部方向的方法，通过余弦相似度度量提升语音增强和定位性能。
2023-12-04 cs.SD eess.AS
Improved direction of arrival estimations with a wearable microphone array for dynamic environments by reliability weighting
School of Electrical and Computer Engineering, Ben-Gurion University of the Negev（内盖夫本-古里安大学电气与计算机工程学院）
本文针对动态混响环境中多说话人波达方向估计性能下降问题，基于EasyCom数据集改进LSDD算法，引入加权可靠性方法与新质量度量，显著提升了算法在挑战性环境下的鲁棒性与准确性。
2024-09-22 cs.SD eess.AS
Integrated sidelobe cancellation and linear prediction Kalman filter for joint multi-microphone speech dereverberation, interfering speech cancellation, and noise reduction
KU Leuven（鲁汶大学）；University of Oldenburg（奥尔登堡大学）
在多麦克风语音增强中，通常通过去卷积和空间滤波来抑制混响以及加性噪声和/或干扰语音，例如，一方面使用多信道线性预测（MCLP）和波束成形，例如，另一方面，广义旁瓣消除器（GSC）。在本文中，我们考虑了几个混响语音分量，其中一些要被去混响，另一些要被消除，以及扩散（例如，串音）噪声分量。为了执行反卷积和空间滤波，我们将MCLP和GSC集成到一个新的架构中，称为集成旁瓣消除和线性预测（ISCLP），其中旁瓣消除（SC）滤波器和线性预测（LP）滤波器并行操作，但在不同的麦克风信号帧上。在ISCLP中，我们通过单个卡尔曼滤波器联合估计两个滤波器。我们进一步提出了一个频谱维纳增益后处理器，这是关系到卡尔曼滤波器的后验状态估计。所提出的ISCLP卡尔曼滤波器的基准对两个国家的最先进的方法，即第一对交替卡尔曼滤波器分别执行去混响和降噪，第二个MCLP+GSC卡尔曼滤波器级联。虽然ISCLP卡尔曼滤波器比两种参考算法（其中$M$表示麦克风的数量）便宜大约$M^2$倍，但与前者相比，它的性能类似，并且优于后者。
2019-06-18 cs.SD eess.AS
Square root-based multi-source early PSD estimation and recursive RETF update in reverberant environments by means of the orthogonal Procrustes problem
KU Leuven（鲁汶大学）；University of Oldenburg（奥尔登堡大学）
混响麦克风信号的基于多通道短时傅里叶变换（STFT）域的处理通常依赖于早期源图像的功率谱密度（PSD）估计，其中早期是指包含在相同STFT帧内的反射。在给定相关联的相对早期传递函数（RETF）的估计的情况下，用于多源早期PSD估计的现有技术方法通常使关于早期相关矩阵定义的近似误差最小化，从而需要对PSD的非负不等式约束。相反，我们在这里提出因式分解早期相关矩阵，并最小化相对于早期相关矩阵平方根定义的近似误差。建议的最小化问题-构成一个推广的所谓的正交Procrustes问题-寻求一个酉矩阵和平方根的早期PSD的任意复杂的参数，使非负的不等式约束冗余。迭代地获得解，每次迭代需要一个奇异值分解（SVD）。估计的酉矩阵和早期PSD平方根还允许递归地更新RETF估计，这在传统方法中是固有地不可能的。通过广义特征值分解（GEVD）获得所述早期相关矩阵平方根本身的估计，其中我们进一步提出通过对广义特征值进行去平滑来恢复非平稳性，以补偿不可避免的递归平均。仿真结果表明，所提出的多源早期PSD估计方法的快速收敛，只有一个迭代，如果适当的初始化，和更好的性能相比，传统的方法。
2019-06-18 cs.SD eess.AS
SonicSieve: Bringing Directional Speech Extraction to Smartphones Using Acoustic Microstructures
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；Zhejiang University（浙江大学）
SonicSieve通过生物启发式声学微结构在智能手机上实现定向语音提取，提升信号质量并优于传统麦克风阵列。
2026-02-11 cs.HC cs.LG cs.SD
Independent Vector Extraction for Fast Joint Blind Source Separation and Dereverberation
我们解决了一个盲源分离（BSS）的问题，在嘈杂的混响环境中，麦克风的数量$M$是大于感兴趣的源的数量，和其他噪声成分可以近似为平稳和高斯分布。当$M$较大时，用于多输入多输出卷积波束形成器的优化的常规BSS算法遭受巨大的计算成本。在这里，我们提出了一种计算效率高的方法，集成了加权预测误差（WPE）去混响方法和一个快速的BSS方法称为独立矢量提取（IVE），这已被开发用于混响较少的环境。我们表明，给定每个源的功率谱，新方法的优化问题可以减少到IVE通过利用平稳条件，这使得优化易于处理和计算效率。语音信号分离实验表明，与传统的结合WPE和独立向量分析的方法相比，该方法在保持分离性能的同时，收敛速度更快。
2021-04-22 cs.SD eess.AS eess.SP
Deep Long Short-Term Memory Adaptive Beamforming Networks For Multichannel Robust Speech Recognition
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
尽管最近深度学习取得了突破，但噪声和混响条件下的远场语音识别仍然是一个具有挑战性的问题。这个问题通常通过从多个麦克风获取语音信号并对它们执行波束成形来解决。在本文中，我们提出使用具有长短期记忆（LSTM）架构的递归神经网络来自适应地估计实时波束成形滤波器系数，以应对非平稳环境噪声以及源和麦克风位置的动态性质，这会导致一组时变的房间脉冲响应。LSTM自适应波束形成器与深度LSTM声学模型联合训练，以预测句音标签。此外，我们在深度LSTM声学模型中使用隐藏单元来帮助预测波束成形滤波器系数。在CHiME-3真实评估集上，所提出的系统比基线系统实现了7.97%的绝对增益，而没有波束成形。
2017-11-21 cs.CL cs.SD eess.AS
Enhancement and Recognition of Reverberant and Noisy Speech by Extending Its Coherence
University of Washington（华盛顿大学）
大多数语音增强算法利用短时傅立叶变换（STFT），这是一种简单而灵活的时频分解，估计信号的短时谱。然而，短STFT帧的持续时间固有地受到语音信号的非平稳性的限制。本文的主要贡献是通过延长分析窗口的长度来演示存在混响和噪声的情况下的语音增强和自动语音识别。我们通过在短时扇啁啾变换（STFChT）域中执行增强来实现这种扩展，STFChT域是一种过完备的时频表示，在比STFT更长的分析窗口持续时间内与语音信号相干。这种扩展的相干性是通过使用浊音语音信号的基频变化的线性模型来获得的。我们的方法围绕使用Habets提出的单通道最小均方误差对数谱幅度（MMSE-LSA）估计器，该估计器在时频域中缩放系数以抑制噪声和混响。在多个麦克风的情况下，我们预处理的数据与最小方差无失真响应（MVDR）波束形成器，或延迟和总和波束形成器（DSB）。我们评估我们的算法的语音增强和识别任务的REVERB挑战数据集。与在STFT域中进行的相同处理相比，我们的方法在客观增强度量（包括PESQ-ITU-T语音质量标准测量）方面实现了显着的改进。在自动语音识别（ASR）的性能，衡量字出错率（WER），我们的实验表明，STFT与长窗口是更有效的ASR。
2015-09-02 cs.CL cs.SD stat.AP
Indian EmoSpeech Command Dataset: A dataset for emotion based speech recognition in the wild
Bharati Vidyapeeth’s College of Engineering（巴拉蒂维迪亚佩思工程学院）；Indian Institute of Information Technology, Sri City（斯里城印度信息技术学院）
语音情感分析是一项重要的任务，它进一步实现了几个应用用例。言语中的非言语声音在言语情感分析中也起着关键作用。由于智能手机的广泛使用，通过利用设备上的机器学习模型来分析使用麦克风捕获的语音命令以用于情感理解变得可行。非语言信息包括描述周围环境的类型、当前情况和正在进行的活动的环境背景声音。在这项工作中，我们认为口头（语音命令）和非口头的声音（背景噪音）在现实生活中的情况下的情绪分析的话语。我们为这项任务创建了一个本地数据集，即“印度语语音命令数据集”。它包含具有不同情感和背景声音的关键字，旨在探索音频分析中的新挑战。我们详尽地比较了语音命令的几个性能指标的情感分析与各种基线模型。我们证明，我们实现了一个显着的平均增益为3.3%的前一个分数超过一个子集的语音命令数据集的关键字定位。
2019-10-18 cs.MM cs.SD eess.AS
End-to-end multi-channel speaker extraction and binaural speech synthesis
Laboratory of Noise and Audio Research, Institute of Acoustics, Chinese Academy of Sciences, Beijing, China（声学研究所噪声与音频研究实验室，中国科学院，北京，中国）；University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国）；Communication University of China, Beijing, China（中国传媒大学，北京，中国）；Tianjin 712 Communication & Broadcasting Co., Ltd.（天津712通信广播有限公司）；Tianjin Tianan Borui Technology Co., Ltd.（天津天安伯瑞科技有限公司）
针对远程会议中语音清晰度与空间沉浸感难以兼顾的问题，提出端到端深度学习框架，统一声源提取、降噪与双耳渲染，并引入幅度加权双耳间电平差损失函数，在语音质量与空间保真度上均优于基线。
2025-07-11 cs.AI cs.SD eess.AS
Transformer Redesign for Late Fusion of Audio-Text Features on Ultra-Low-Power Edge Hardware
Nottingham Trent University（诺丁汉特伦特大学）
针对超低功耗边缘设备部署多模态情绪识别的难题，提出硬件感知的后融合系统，结合量化Transformer声学模型与冻结关键词嵌入，在微控制器级平台实现实时高精度推理。
2025-10-20 cs.LG cs.SD eess.AS
Deep Learning for Distant Speech Recognition
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
深度学习是一种新兴技术，被认为是达到更高水平的人工智能的最有前途的方向之一。在其他成就中，建造能够理解语音的计算机代表了向智能机器的关键飞跃。然而，尽管过去几十年来做出了巨大的努力，但自然和鲁棒的人机语音交互似乎仍然遥不可及，特别是当用户在嘈杂和混响的环境中与远处的麦克风交互时。后一种干扰严重妨碍语音信号的可理解性，使得远程语音识别（DSR）成为该领域中的主要公开挑战之一。本文针对后一种情况，提出了一些新的技术，架构和算法，以提高远程通话声学模型的鲁棒性。我们首先阐述了现实数据污染的方法，特别强调DNN训练与模拟数据。然后，我们调查的方法，更好地利用语音上下文，提出了一些原始的前馈和递归神经网络的方法。最后，受不同DNN之间的合作可能是抵消噪声和混响有害影响的关键这一想法的启发，我们提出了一种新的深度学习范式，称为深度神经网络的网络。原始概念的分析是基于对真实和模拟数据进行的广泛实验验证，考虑不同的语料库，麦克风配置，环境，嘈杂的条件和ASR任务。
2017-12-17 cs.CL cs.SD eess.AS
SCoPE: Shift-Aware Speaker-Conditioned Priors for Emotion Recognition in Conversations
University of Hamburg（汉堡大学）
针对对话情感识别中现有方法的局限，提出SCoPE模块，利用说话者情感历史建模先验，纳入情感转移预测并采用转移感知融合机制，在多模态IEMOCAP数据集上取得优于现有模型的性能。
2026-07-24 cs.CL cs.SD eess.AS
Robust coherence-based spectral enhancement for speech recognition in adverse real-world environments
Friedrich-Alexander University of Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；Amazon Development Center（亚马逊研发中心）
在恶劣的现实环境中的语音识别受到混响和非平稳背景噪声的严重影响。在多麦克风场景中减少这种不期望的信号分量的公知策略是麦克风信号的空间滤波。在这篇文章中，我们证明了一个额外的基于相干性的后置滤波器，它被应用于波束形成器输出信号，以消除后者的扩散干扰分量，是进一步提高现代深度学习语音识别系统识别准确性的有效手段。为此，最近更新的第三CHiME语音分离和识别挑战（CHiME-3）基线语音识别系统扩展的相干性为基础的后置滤波器和后置滤波器的影响字出错率的CHiME-3提供的嘈杂的环境进行了调查。为了确定依赖于时间和频率的后置滤波器增益，我们使用了一个依赖于到达方向（DOA）和DOA独立的相干扩散功率比的估计作为短期信噪比的近似。我们的实验表明，将基于相干性的后滤波到CHiME-3基线语音识别系统中，导致作为CHiME-3的一部分提供的噪声和混响环境的单词出错率分数的显着降低。
2017-08-07 cs.SD
Decoding Emotions: Unveiling Facial Expressions through Acoustic Sensing with Contrastive Attention
Michigan State University（密歇根州立大学）
本文提出FacER+主动声学表情识别系统，利用手机耳机扬声器与面部之间的近超声波回声提取表情特征，并结合对比外部注意力模型减少用户间分布差异，在20名志愿者实验中以超过90%的准确率超越现有声学方法10%。
2024-10-01 cs.CV cs.SD eess.AS
Self-Supervised Learning of Spatial Acoustic Representation with Cross-Channel Signal Reconstruction and Multi-Channel Conformer
School of Engineering, Westlake University（西湖大学工程学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）
针对空间声学参数估计中模拟到现实泛化与真实标注不足的问题，提出基于 CCSR 自监督前置任务和 MC-Conformer 的表征学习方法，并在五项任务上验证有效。
2024-09-09 cs.SD eess.AS
BERSting at the Screams: A Benchmark for Distanced, Emotional and Shouted Speech Recognition
School of Computing Science, Simon Fraser University（计算科学学院，西蒙弗雷泽大学）
针对现有语音识别系统在远距离、情绪化呼喊等真实场景表现不佳的问题，本文提出包含多口音、多情绪、多采集位置的BERSt数据集，提供ASR与SER初始基准，验证其挑战性以推动系统鲁棒性提升。
2025-07-30 cs.CL cs.SD eess.AS
The ICSTM+TUM+UP Approach to the 3rd CHIME Challenge: Single-Channel LSTM Speech Enhancement with Multi-Channel Correlation Shaping Dereverberation and LSTM Language Models
University of Passau（帕绍大学）；Imperial College London（帝国理工学院）
本文介绍了我们对第三届CHiME语音分离和识别挑战赛的贡献。我们的系统使用双向长短期记忆（BLSTM）递归神经网络（RNN）的单通道语音增强（SSE）。训练网络以预测干净的语音以及来自噪声语音特征的噪声特征。此外，该系统对挑战的6通道记录应用两种去混响方法。第一种是基于相位误差的滤波（PEF），其使用基于语音源的估计到达时间差和麦克风信号的相位的时变相位误差滤波器。第二种是相关整形（CS），其应用混响语音中的长期相关能量的减少。对线性预测（LP）残差进行处理以抑制长期相关性。此外，该系统采用LSTM语言模型（LM）来执行识别假设的N-最佳重新评分。使用所提出的方法，一个改进的字出错率（WER）达到24.38%，在真实的eval测试集。相对于挑战基线，这是约25%的相对改善。
2015-10-01 cs.SD
Communication conditions in virtual acoustic scenes in an underground station
本文分析了慕尼黑地下车站两个通信场景的声学条件，通过实时模拟开放场环境（rtSOFE）结合镜像源法和多麦克风录音建模脉冲响应，验证了声化模拟在重现语音可懂度相关声学与感知参数方面的高精度。
2021-11-02 cs.SD eess.AS
Enabling Automatic Self-Talk Detection via Earables
Korea University of Technology and Education（韩国科学技术教育大学）；Korea University of Technology（韩国科学技术大学）
针对日常生活中自我对话难以检测的问题，提出移动系统MutterMeter，采用分层分类架构整合多维度信息，基于首创数据集评估，宏平均F1达0.84，性能优于传统方法。
2025-11-10 cs.AI cs.SD
