Generating Training Targets for Real-World Speech Enhancement via Close-to-Distant Microphone Projection
University of Tokyo(东京大学)
提出近远麦克风投影(C2D投影)方法,利用真实录音生成配对数据,通过参数化多通道维纳滤波器实现投影,训练神经网络在远场语音增强中优于现有GSS方法。
2026-06-12 cs.SD eess.AS
Continuous Speech Separation with Ad Hoc Microphone Arrays
Microsoft(微软)
语音分离对于多说话者语音识别是有效的。在阵列由空间分布的异步麦克风组成的自组织麦克风阵列设置下,必须克服额外的挑战,因为麦克风的几何形状和数量事先是未知的。已有的研究表明,神经网络具有时空交织结构,可以有效地利用自组织阵列的多通道信号。在本文中,我们进一步扩展这种方法,连续语音分离。介绍了几种技术,使真正的连续录音语音分离。首先,我们应用基于变换器的网络的时空建模的ad hoc阵列信号。此外,提出了两种方法,以减轻语音重复的问题,在单一的谈话者段,这似乎更严重的特设阵列的情况下。一种方法是用于减少模拟训练数据和真实记录之间的声学失配的设备失真模拟。另一种是说话人计数,检测单个说话人段并合并输出信号通道。AdHoc-LibiCSS是一个新的数据集,由多个不同设备获得的串联LibriSpeech话语的连续记录组成,实验结果表明,所提出的分离方法可以显着提高重叠语音的ASR准确性,并且对于单个说话者段的性能下降很少。
2021-03-03 cs.AI cs.LG cs.SD
Low-Complexity Own Voice Reconstruction for Hearables with an In-Ear Microphone
本文针对助听设备在噪声环境中采集用户自声的场景,提出基于FT-JNF架构的低复杂度自声重建系统,并验证其在有限设备特定录音条件下仍能显著提升语音质量。
2024-09-09 eess.AS
Speaker-Independent Microphone Identification in Noisy Conditions
Politecnico di Milano(米兰理工大学);Fraunhofer Institute for Digital Media Technology(弗劳恩霍夫数字媒体技术研究所);TU Ilmenau(伊尔梅瑙工业大学)
这项工作提出了一种从语音记录中识别源设备的方法,该方法应用基于神经网络的去噪,以减轻使用噪声注入的反取证攻击的影响。通过比较去噪对麦克风分类的三个最先进特征的影响,确定其在应用和不应用去噪的情况下的辨别能力,来评估该方法。所提出的框架实现了显着的性能提高嘈杂的材料,更一般地说,验证了有用的应用去噪之前的设备识别嘈杂的录音。
2023-01-26 cs.SD eess.AS
CAVEMOVE: An Acoustic Database for the Study of Voice-enabled Technologies inside Moving Vehicles
本文提出了CAVEMOVE声学数据库,包含静态脉冲响应和多种静态/运动条件下的噪声录音,并提供Python API,用于支持移动车辆内语音启用技术的研究与开发。
2025-08-27 eess.AS
Binaural rendering from microphone array signals of arbitrary geometry
The University of Tokyo(东京大学)
针对传统单球形麦克风阵列难以估计大范围声场的问题,提出基于无穷阶谐波分析的任意麦克风阵列双耳渲染方法,结合球面波分解考虑距离因素,实验验证其对听音位置变化鲁棒。
2021-09-15 cs.SD eess.AS
Neural Network-based Virtual Microphone Estimator
NTT corporation(NTT公司)
由于许多设备的限制,开发用于少量麦克风的麦克风阵列技术非常重要。解决这种情况的一个方向包括虚拟地增加麦克风信号的数量,例如,基于几个物理模型假设。然而,这些假设在现实条件下不一定成立。在本文中,作为一种替代方法,我们提出了一种基于神经网络的虚拟麦克风估计器(NN-VME)。NN-VME直接在时域中估计虚拟麦克风信号,通过利用最近的时域神经网络的精确估计能力。我们采用了一个完全监督的学习框架,在训练时使用虚拟麦克风位置的实际观察。因此,NN-VME可以仅使用多通道观测进行训练,从而直接在真实记录上进行训练,避免了不切实际的基于物理模型的假设。在CHiME-4语料库上的实验表明,所提出的NN-VME即使在真实录音中也能实现较高的虚拟麦克风估计性能,并且使用NN-VME增强的波束形成器提高了语音增强和识别性能。
2021-01-12 cs.LG cs.SD eess.AS
wav2pos: Sound Source Localization using Masked Autoencoders
Lund University(隆德大学);Arm(安谋科技);Sony(索尼);Tenstorrent
提出将3D声源定位建模为集合到集合回归,用多模态掩码自编码器处理音频和麦克风坐标,重建掩码坐标实现定位,支持任意麦克风数量及缺失数据,在模拟和真实室内录音上表现优异。
2024-08-28 cs.LG cs.SD eess.AS
HIDVAS: A Hearing Instrument Dataset in Various Acoustical Scenarios for Algorithm Evaluation and Training
KU Leuven(荷语鲁汶大学)
提出HIDVAS数据集,包含多种声学场景下的脉冲响应和音频录音,用于助听器算法评估和训练,涵盖不同耳塞、混响条件和音源。
2026-06-15 eess.AS
Learning Input-Channel Permutation Equivariance for Multi-Channel Source Separation: Reducing Bleeding in Small Music Ensembles
Tampere University(坦佩雷大学);University of Jaen(哈恩大学)
针对小型合奏录音中麦克风串音问题,提出以通道置换等变性为核心学习原则,通过训练时随机置换输入通道及其对应参考目标,增强对录音设置变化的鲁棒性,实验表明该方法在未见条件下持续改善SDR并减少串音。
2026-07-02 eess.AS
BRUDEX Database: Binaural Room Impulse Responses with Uniformly Distributed External Microphones
University of Oldenburg, Department of Medical Physics and Acoustics and Cluster of Excellence Hearing4all(奥尔登堡大学医学物理与声学系及卓越中心Hearing4all)
BRUDEX数据库提供了一种包含36个均匀分布麦克风和12个声源位置的双耳房间脉冲响应数据集,用于多麦克风信号处理任务,如降噪和回声消除。
2023-06-14 cs.SD eess.AS eess.SP
STARSS22: A dataset of spatial recordings of real scenes with spatiotemporal annotations of sound events
Tampere University(坦佩雷大学);Sony Group Corporation(索尼集团公司)
本报告介绍了Sony-TAu Realistic Spatial Soundscapes 2022(STARS 22)数据集,用于声音事件定位和检测,包括在两个不同地点的各种内部收集的真实场景的空间记录。该数据集使用高分辨率球形麦克风阵列捕获,并以两种4通道格式(一阶Ambisonics和四面体麦克风阵列)提供。通过人工注释和光学跟踪相结合的方法,对数据集中属于13个目标声音类别的声音事件进行了时间和空间上的注释。该数据集作为DCASE 2022声音事件定位和检测挑战任务3的开发和评估数据集,与之前基于合成空间化声音场景记录的迭代相比,该数据集为该任务引入了重大的新挑战。数据集规格包括详细的记录和注释过程,目标类和它们的存在,以及详细的开发和评估分裂。此外,该报告还介绍了挑战中伴随数据集的基线系统,重点是与以前迭代的基线的差异;即,引入多ACCDOA表示来处理同一类事件的多个同时发生,并支持麦克风阵列格式的额外改进输入功能。基线结果表明,通过适当的训练策略,可以在真实的声音场景记录上实现合理的检测和定位性能。该数据集可在https://zenodo.org/record/6387880上获得。
2022-09-02 cs.SD eess.AS
Relative Transfer Function Estimation Exploiting Spatially Separated Microphones in a Diffuse Noise Field
University of Oldenburg(奥尔登堡大学)
许多多麦克风语音增强算法需要所需语音源的相对传递函数(RTF)向量,将所有阵列麦克风的声学传递函数与参考麦克风相关联。在本文中,我们提出了一种计算效率高的方法来估计RTF矢量在扩散噪声场,这需要一个额外的麦克风,在空间上分离的麦克风阵列,这样的麦克风阵列信号和额外的麦克风信号中的噪声分量之间的空间相干性是低的。假设这个空间相干性为零,我们表明,可以得到一个无偏估计的RTF向量。基于真实录音的实验结果表明,所提出的RTF估计器优于国家的最先进的估计器,只使用麦克风阵列信号的估计精度和降噪性能。
2018-07-12 cs.SD eess.AS
Guitar-TECHS: An Electric Guitar Dataset Covering Techniques, Musical Excerpts, Chords and Scales Using a Diverse Array of Hardware
UAM Lerma(乌拉莫斯自治大学莱尔马分校);UFRJ(里约热内卢联邦大学);Discovery Partners Institute(发现伙伴研究所);UIC(伊利诺伊大学芝加哥分校);QMUL(伦敦玛丽女王大学)
本文提出 Guitar-TECHS 电吉他数据集,通过多技巧、多场景、多麦克风与多模态同步录音提升声学多样性,并验证其在六线谱转录模型训练中的有效性。
2025-01-07 cs.SD eess.AS
The Spheres Dataset: Multitrack Orchestral Recordings for Music Source Separation and Information Retrieval
Universidad de Jaén(耶鲁大学);Odratek BV(Odratek公司);Tampere University(塔尔库大学)
Spheres数据集包含交响乐录音,用于推动音乐源分离和相关MIR任务的研究,包含经典音乐领域的作品及乐器独奏片段,提供隔离音轨和房间脉冲响应,用于评估源分离模型性能。
2026-05-14 cs.LG cs.SD eess.AS
Revisiting proximity effect using broadband signals
本文以粉红噪声和音乐为宽带激励,测量全指向与指向性麦克风随距离变化的轴上声级和频谱平衡,发现全指向麦克风也存在近讲效应且1/x定律适用性有限。
2024-01-11 eess.AS eess.SP
PickNet: Real-Time Channel Selection for Ad Hoc Microphone Arrays
Microsoft(微软)
本文提出了PickNet,一个神经网络模型的实时通道选择的ad hoc麦克风阵列组成的多个记录设备,如手机。假设在每个时间点最多有一个人是语音活跃的,PickNet通过使用仅数百毫秒的短频谱补丁来识别每个时间帧在空间上最接近活跃人员的设备。该模型应用于每个时间帧,并且来自所选麦克风的短时间帧信号跨帧级联以产生输出信号。由于个人设备通常靠近其所有者,因此输出信号预期平均具有比输入信号更高的信噪比和直达混响比。由于PickNet在每个时间帧仅利用有限的声学背景,因此使用所提出的模型的系统实时工作,并且对声学条件的变化具有鲁棒性。通过使用用各种智能手机获得的真实对话录音进行基于语音识别的评估。所提出的模型产生了显着的增益字错误率与有限的计算成本系统使用块在线波束形成器和一个单一的远程麦克风。
2022-01-24 cs.CL cs.SD eess.AS
RTF-Based Binaural MVDR Beamformer Exploiting an External Microphone in a Diffuse Noise Field
除了抑制所有不期望的声源之外,用于听力设备的双耳降噪算法的重要目标是保留双耳线索,旨在保留声学场景的空间感知。众所周知的双耳降噪算法是双耳最小方差无失真响应波束形成器,其可以使用期望源的相对传递函数(RTF)向量来操纵,将期望源和所有麦克风之间的声学传递函数与参考麦克风相关联。在本文中,我们提出了一种计算效率高的方法来估计RTF矢量的扩散噪声场,需要一个额外的麦克风,在空间上分离的头戴式麦克风。假设头戴式麦克风信号和附加麦克风信号中的噪声分量之间的空间相干性为零,我们表明可以获得RTF向量的无偏估计。基于真实世界的录音,几个混响时间的实验结果表明,建议的RTF估计优于广泛使用的RTF估计的基础上,协方差白化和一个简单的有偏RTF估计的降噪和双耳线索保存性能。
2018-07-12 eess.AS
Microphone Occlusion Mitigation for Own-Voice Enhancement in Head-Worn Microphone Arrays Using Switching-Adaptive Beamforming
本文解决头戴式麦克风阵列中麦克风遮挡导致传递函数变化的问题,提出传统自适应波束形成、先验估计切换及混合切换-自适应波束形成三种方法,通过真实录音与模拟实验验证了它们在降噪、语音失真和鲁棒性方面的优势。
2025-07-12 eess.AS
Delay-Performance Tradeoffs in Causal Microphone Array Processing
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在诸如助听器信号处理之类的实时听力增强应用中,必须以不超过几毫秒的延迟来处理声音以使听者听起来自然。通过使用麦克风阵列在空间和时间上对声学信号进行滤波,收听设备可以以较低的延迟实现更好的性能。在这里,我们分析了因果多通道维纳滤波器的麦克风阵列降噪的延迟和平方误差性能之间的权衡。我们计算的延迟误差曲线在两种特殊情况下的精确表达式,并从现实世界的麦克风阵列录音的实验结果。我们发现,延迟性能特性是由信号的空间和时间相关结构决定的。
2018-07-31 cs.SD eess.AS
Close Miking Empirical Practice Verification: A Source Separation Approach
Tampere University of Technology(坦佩雷理工大学);Fraunhofer IDMT(弗劳恩霍夫数字媒体技术研究所);Ionian University(爱奥尼亚大学);Technical University of Ilmenau(伊尔梅瑙工业大学)
近距离拾音是一种广泛采用的做法,将麦克风放置在非常靠近声源的地方,以便捕捉更直接的声音,并尽量减少对环境声音(包括其他同时活动的声源)的拾取。它被音频工程社区用于音频录制几十年,基于在录制实践本身中发展的一些经验规则。但是,这种经验知识和近距离麦克风的实践是否可以系统地验证?在这项工作中,我们的目标是解决这个问题的基础上,采用技术和指标的声源分离评价领域的分析方法。特别是,我们应用定量分析的近距离麦克风技术的源分离能力。该分析应用于在典型音乐厅的多个位置处获得的记录数据集、麦克风与声源之间的多个距离、多个麦克风类型以及声源与环境声学分量之间的多个电平差。对于所有上述情况,我们计算源干扰比(SIR)度量。所获得的结果清楚地表明,最佳的近距离麦克风的性能,符合目前的经验知识的专业录音。
2018-02-13 cs.SD eess.AS
DDS: A new device-degraded speech dataset for speech enhancement
National Institute of Informatics(国立信息学研究所);The Graduate University for Advanced Studies (SOKENDAI)(综合研究大学院大学)
在不受控制的环境中,消费级设备上记录了现实生活中大量且不断增长的语音内容,导致语音质量下降。将这种低质量的设备降级语音转换成高质量语音是语音增强(SE)的目标。本文介绍了一种新的语音数据集,DDS,以促进对SE的研究。DDS提供高质量语音(在专业录音室录制)和低质量语音的多个版本的对齐平行录音,产生约2,000小时的语音数据。DDS数据集通过结合不同的声学环境和麦克风设备,涵盖了27种真实的录音条件,每个条件版本由来自六个麦克风位置的多个录音组成,以模拟不同的噪声和混响水平。我们还测试了几个SE基线系统的DDS数据集,并显示记录多样性对性能的影响。
2022-03-22 cs.SD eess.AS
Microphone Conversion: Mitigating Device Variability in Sound Event Classification
Deeply Inc.(Deeply公司);Seoul National University(首尔国立大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文提出基于CycleGAN的麦克风转换数据增强方法,通过非配对训练将频谱图模拟为不同设备录制,从而缓解设备变异性,在声音事件分类中显著提升泛化与适应性。
2024-01-12 cs.LG cs.MM cs.SD
Anomalous Sound Detection Meets Noise-Aware Self-Supervised Learning
MERL(三菱电机研究中心)
本文提出NA-SSL模型,用于NA-ASD任务,在DCASE 2026挑战赛任务2数据集上,NA-BEATs系统以70.24%的官方得分大幅领先,验证了所提方法的有效性。
2026-09-22 eess.AS
DiPCo -- Dinner Party Corpus
Amazon(亚马逊);Johns Hopkins University(约翰斯·霍普金斯大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
我们提出了一个语音数据语料库,模拟一个“晚宴”的情况下发生在日常的家庭环境。该语料库是通过记录多组由四名亚马逊员工志愿者组成的小组在餐桌上用英语进行自然对话而创建的。参与者通过单通道近距离通话麦克风和位于录音室不同位置的五个远场7麦克风阵列设备进行录音。该数据集包含总共10个会话的音频记录和人类标记的转录,持续时间在15到45分钟之间。该语料库的创建是为了在噪声鲁棒性和远程语音处理领域取得进展,旨在作为公共研究和基准数据集。
2019-09-30 cs.CL cs.SD eess.AS
Deep Learning Based Relative Transfer Matrix Estimation for Multiple Sources and Multiple Microphones
University of Moratuwa(莫拉图瓦大学);The Australian National University(澳大利亚国立大学)
本文针对多声源多麦克风场景,提出三种基于深度学习的相对传递矩阵估计框架,实验表明其估计精度优于协方差方法,语音增强性能与基线相当。
2026-08-13 cs.AI eess.AS eess.SP
Phoneme-Based Proactive Anti-Eavesdropping with Controlled Recording Privilege
State Key Laboratory of Blockchain and Data Security, Zhejiang University(浙江大学区块链与数据安全全国重点实验室)
针对现有超声波防窃听方案依赖能量掩蔽、易被去除且不支持授权录音的问题,提出基于音素的信息掩蔽噪声方法,优化传输策略并实现硬件原型,可将录音识别准确率降至50%以下且保留授权录音功能。
2024-01-28 cs.CR cs.SD eess.AS
State-Space Estimation of Spatially Dynamic Room Impulse Responses using a Room Acoustic Model-based Prior
本文提出一种基于状态空间模型的方法,用于估计固定声源与匀速移动麦克风之间空间动态房间脉冲响应的早期部分,将到镜像源的时变距离整合到状态转移矩阵中,仿真表明其优于现有方法。
2024-11-13 eess.AS eess.SP
Bias Analysis of Spatial Coherence-Based RTF Vector Estimation for Acoustic Sensor Networks in a Diffuse Sound Field
University of Oldenburg(奥尔登堡大学)
本文对扩散声场中声学传感器网络基于空间相干性的RTF向量估计方法进行理论偏差分析,推导出仅依赖输入SNR的实值最优模型权重,并通过仿真验证了其与GEVD权重的一致性及实际估计误差的存在。
2023-04-06 cs.SD eess.AS eess.SP
Task-oriented neural FOA encoding for SELD from irregular microphone arrays
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学);State Key Laboratory of Acoustics and Marine Information(声学与海洋信息国家重点实验室)
针对不规则麦克风阵列,提出两阶段SELD框架,通过神经残差编码器和教师-学生知识蒸馏学习任务导向FOA表示,实验证明可提升SELD性能并降低定位误差。
2026-09-17 eess.AS
Single frequency filtering based multi-speaker direction of arrival estimation from stereo recordings
International Institute of Information Technology, Hyderabad(印度海得拉巴信息科学技术学院);University of Southern California(南加州大学);Ghent University - imec(根特大学-imec)
提出一种基于单频滤波的到达方向估计方法,利用PHAT加权互相关处理SFF输出包络,在混响、多说话人和噪声条件下优于或媲美最佳GCC方法。
2026-06-17 eess.AS
Are Microphone Signals Alone Sufficient for Self-Positioning?
University of Hull(赫尔大学);Guangdong University of Technology(广东工业大学)
本文提出一种映射函数,首次证明TOA与TDOA公式可等价,从而表明仅凭麦克风信号即可实现自定位,无需声源波形,为异步环境下的自定位提供了新范式。
2023-07-06 cs.SD eess.AS
Speech-dependent Data Augmentation for Own Voice Reconstruction with Hearable Microphones in Noisy Environments
本文针对噪声环境下耳戴式设备自声重建训练数据不足的问题,提出基于语音依赖自声传递特性模型的数据增强方法,利用少量录制信号模拟大量自声数据,实验证明其性能优于其他增强方法,且微调可进一步提升效果。
2024-05-19 eess.AS
Reverberation-Robust Localization of Speakers Using Distinct Speech Onsets and Multi-channel Cross-Correlations
本文提出两种算法,通过声学滤波器bank分解信号并结合多通道交叉相关系数,以提高在强回声环境下的语音定位性能。
2026-04-02 eess.AS
LABNet: A Lightweight Attentive Beamforming Network for Ad-hoc Multichannel Microphone Invariant Real-Time Speech Enhancement
NERC-SLIP, University of Science and Technology of China (USTC)(NERC-SLIP,中国科学技术大学)
本文提出轻量级注意力波束形成网络LABNet,通过三阶段框架和跨通道注意力模块,在低复杂度实时语音增强中实现麦克风不变性,以超轻资源开销取得优异性能。
2025-08-27 cs.SD eess.AS
Multi-Microphone Speaker Separation by Spatial Regions
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
我们考虑的任务,基于区域的混响多麦克风录音的源分离。我们假设预定义的空间区域,每个区域具有单个活动源。目标是估计来自参考麦克风捕获的各个空间区域的信号,同时保持信号和空间区域之间的对应关系。我们提出了一种数据驱动的方法,使用修改后的版本的最先进的网络,其中不同的层模型的空间和光谱时间信息。该网络被训练为强制执行区域到网络输出的固定映射。使用LibriMix的语音,我们构建了一个专门设计用于包含区域信息的数据集。此外,我们训练的网络与置换不变的训练。我们表明,这两种训练方法都能将区域映射到网络输出,实现相当的性能,并且网络利用了空间信息。所提出的网络优于基线网络的1.5 dB的尺度不变的信号失真比。
2023-03-13 cs.LG cs.SD eess.AS
Sound Source Distance Estimation in Diverse and Dynamic Acoustic Conditions
Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);Music and Audio Research Lab, New York University(纽约大学音乐与音频研究实验室);Integrated Design and Media, New York University(纽约大学集成设计与媒体学院)
本文提出一种CRNN模型,首次证明可在多样声学条件下利用深度学习估计移动声源距离,并发现以真实距离反函数加权误差的损失函数能实现最优训练。
2023-09-17 cs.SD eess.AS
Speech enhancement using ego-noise references with a microphone array embedded in an unmanned aerial vehicle
KU Leuven(鲁汶大学);Siemens Digital Industries Software(西门子数字工业软件)
提出在嵌入式无人机麦克风阵列中利用螺旋桨附近麦克风采集的自噪声参考信号,通过PK-MWF估计语音相关矩阵,实验表明其在STOI和PESQ上优于标准MWF且SNR改善相当。
2023-08-16 cs.SD eess.AS
RealMAN: A Real-Recorded and Annotated Microphone Array Dataset for Dynamic Speech Enhancement and Localization
School of Engineering, Westlake University(西湖大学工程学院);Institute of Advanced Technology, Westlake Institute for Advanced Study(西湖高等研究院先进技术研究院);Beijing AIShell Technology Co. Ltd(北京思必驰科技有限公司)
本文提出RealMAN数据集,包含32通道真实录制的83.7小时语音和144.5小时噪声,覆盖多种场景,并利用鱼眼相机自动标注声源位置和直达路径信号,以弥合语音增强与定位任务中仿真到真实的差距。
2024-10-01 cs.SD eess.AS
Comparing acoustic analyses of speech data collected remotely
Radboud University(拉德堡德大学);University of Kent(肯特大学)
由于COVID-19的限制,全球范围内几乎不可能进行面对面的语音数据收集。为了解决这个问题,使用带有外部麦克风的Zoom H6手持录音机(以下简称H6)同时记录三个重复的主元音,并与潜在参与者在家中可访问的两个替代方案进行比较:Zoom会议应用程序(以下简称Zoom)和两个无损移动电话应用程序(Awesome Voice Recorder和Recorder;以下简称Phone)。所有器械均准确跟踪了F0;然而,对于共振峰分析(F1、F2、F3),Phone的性能优于Zoom,即与H6更相似,但数据提取方法(VoiceSauce、Praat)也存在差异。此外,Zoom记录显示强度意外下降。结果表明,无损格式的电话录音至少在一些语音研究中是一个可行的选择。
2021-06-17 cs.SD eess.AS eess.SP
DIFFRENT: A Diffusion Model for Recording Environment Transfer of Speech
Graduate School of Culture Technology, KAIST(韩国科学技术院文化技术研究生院)
本文提出扩散模型Diff-R-EN-T,通过内容增强器、环境编码器和扩散解码器实现语音录音环境迁移,在保留内容的同时匹配参考录音条件,并在语音增强与声学匹配任务中表现出良好泛化性和主客观性能。
2024-01-16 cs.SD eess.AS
Audio Enhancement from Multiple Crowdsourced Recordings: A Simple and Effective Baseline
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文针对多个未知位置设备录制同一事件时各自含局部不相关噪声的问题,提出一种先去除各录音局部噪声再对清理信号进行平均的简单众包音频增强方法,并在合成与真实录音上验证其有效性,为后续更复杂方法提供基线。
2024-08-30 cs.SD eess.AS
Feasibility of iMagLS-BSM -- ILD Informed Binaural Signal Matching with Arbitrary Microphone Arrays
School of Electrical and Computer Engineering, Ben-Gurion University of the Negev(内盖夫本-古里安大学电气与计算机工程学院);Reality Labs Research, Meta(Meta现实实验室研究部)
本文提出iMagLS-BSM方法,在双耳信号匹配的MagLS损失中引入ILD误差项,通过非线性规划优化,在保持幅度误差相当的同时显著降低ILD误差,提升任意麦克风阵列双耳重现的空间质量。
2024-08-07 cs.SD eess.AS
Distributed Microphone Speech Enhancement based on Deep Learning
Yuan Ze University(元智大学);National Chi Nan University(国立暨南国际大学)
语音相关应用在复杂噪声环境中的性能较差。因此,本研究主要通过引入基于应用于分布式麦克风架构的深度神经网络(DNN)的语音增强(SE)系统来解决这个问题,然后研究三种不同的DNN模型结构的有效性。第一个系统为每个麦克风构建DNN模型,以增强记录的嘈杂语音信号,第二个系统将所有嘈杂的记录组合成一个大的特征结构,然后通过DNN模型进行增强。对于第三种系统,首先使用通道相关的DNN来增强相应的噪声输入,并且将所有通道增强的输出馈送到DNN融合模型中以构建几乎干净的信号。所有三个DNN SE系统都在扩散噪声场环境中的语音信号的声学频域中操作。在台湾普通话噪声听力测试(TMHINT)数据库上进行了评估实验,结果表明,所有三个基于DNN的SE系统都提供了具有改善的语音质量和可懂度的原始噪声污染信号,而第三个系统提供了最高的信噪比(SNR)改善和最佳的语音可懂度。
2020-05-24 cs.LG cs.SD eess.AS
Proceedings of the LOCATA Challenge Workshop -- a satellite event of IWAENC 2018
用于声源定位和跟踪的算法提供关于声学环境中的有源声源的位置信息的估计,并且对于诸如个人助理、智能家居、电话会议系统、助听器或自主系统的广泛应用是必不可少的。IEEE-AASP声源定位和跟踪挑战赛(LOCATA)的目的是使用音频和声学信号处理应用中通常遇到的场景的开放访问录音数据语料库,客观地对最先进的定位和跟踪算法进行基准测试。挑战性的任务范围从一个单一的源与静态麦克风阵列的定位到多个移动源与移动麦克风阵列的跟踪。
2019-08-20 cs.SD eess.AS
Replay Attacks Against Audio Deepfake Detection
Fraunhofer AISEC(弗劳恩霍夫人工智能安全研究所);Wrocław University of Science and Technology(沃斯克拉大学科学与技术学院);Resemble AI(Resemble AI公司);Technical University of Cluj-Napoca(克鲁克斯-纳波卡技术大学);Neodyme AG(Neodyme公司);TU Munich(慕尼黑技术大学)
本文研究重放攻击对音频深度伪造检测的影响,构建了涵盖109种扬声器-麦克风组合的ReplayDF数据集,并发现最佳检测模型W2V2-AASIST的EER从4.7%升至18.2%,揭示了现有检测方法的严重脆弱性。
2025-06-01 cs.AI cs.SD eess.AS
Data-Efficient Framework for Real-world Multiple Sound Source 2D Localization
IBM Research Tokyo(IBM东京研究院)
深度神经网络最近在多声源定位任务中取得了令人鼓舞的成果。然而,它们需要大量的训练数据来覆盖各种声学条件和麦克风阵列布局。人们可以利用声学模拟器来廉价地生成标记的训练数据。然而,由于域不匹配,在合成数据上训练的模型往往在真实世界的记录中表现不佳。此外,学习不同的麦克风阵列布局使任务更加复杂,因为可能的布局数量是无限的。我们建议使用对抗性学习方法来缩小合成域和真实域之间的差距。我们的新的合奏歧视方法显着提高了本地化性能,而不需要任何标签的真实数据。此外,我们提出了一种新的显式转换层嵌入本地化架构。它使模型能够使用来自特定麦克风阵列布局的数据进行训练,同时在推理过程中很好地推广到看不见的布局。
2021-03-17 cs.LG cs.SD eess.AS
Characterizing dynamically varying acoustic scenes from egocentric audio recordings in workplace setting
University of Southern California(南加州大学)
能够对声学场景进行检测和分类的设备具有许多应用,诸如提供上下文感知的用户体验。在本文中,我们解决的任务,从可穿戴麦克风收集的录音在工作场所设置的声学场景的特征。声学场景,跟踪与蓝牙收发器,动态变化与时间从自我中心的角度来看,移动用户。我们的数据集包含从医院的临床提供者收集的经验采样长音频记录,他们在多个轮班期间佩戴音频徽章。为了处理长时间的自我中心记录,我们提出了一个基于时间延迟神经网络(TDNN)的分段级建模。实验表明,TDNN在声学场景分类任务中优于其他模型。我们调查的影响,主要发言人的讲话确定声学场景从音频徽章,并提供了不同的模型之间的性能比较。此外,我们探讨了用户所经历的声学场景的序列和他们的工作性质之间的关系,并发现我们的模型预测的场景序列往往具有类似的关系。初步的有希望的结果揭示了许多研究方向的声学场景分类通过可穿戴设备以及自我中心的分析,动态声学场景中遇到的用户。
2019-11-10 cs.LG cs.SD eess.AS
A Database with Directivities of Musical Instruments
本文构建了包含41种乐器辐射方向图的数据库,并提出将指向性参考到特定麦克风位置的方法,以实现无染色的物理正确可听化,数据以SOFA、OpenDAFF和GLL格式提供。
2023-07-05 cs.SD eess.AS
Investigating differences in lab-quality and remote recording methods with dynamic acoustic measures
Newcastle University(纽卡斯尔大学);Institute of Phonetics and Speech Processing, Ludwig-Maximilians-Universität Munich(慕尼黑路德维希-马克西米利安大学语音学与言语处理研究所);Eberhard Karls Universität Tübingen(图宾根埃伯哈德·卡尔斯大学)
本研究针对远程录音数据用于声学分析的可靠性问题,用QGAMMs对比实验室标准设备与三种远程录音方法的动态声学测量结果,发现AVR应用的录音质量最接近实验室标准,优于两种Zoom设置方案。
2024-04-25 cs.SD eess.AS
A "DIY" data acquisition system for acoustic field measurements under harsh conditions
Technische Universität Berlin(柏林工业大学)
监测活火山是一项持续的重要任务,有助于了解和预测火山爆发。近年来,分析喷发的声学特性变得更加重要。我们提出了一种廉价的,重量轻,便携式,易于使用和模块化的声学数据采集系统的现场测量,可以记录数据高达100 kHz。该系统基于Raspberry Pi 3 B,运行自定义构建的裸机操作系统。它连接到一个外部模拟数字转换器与麦克风传感器. GPS接收器可以记录位置,此外还可以记录与声学数据同步的非常精确的时间信号。因此,多个模块可以有效地作为单个麦克风阵列工作。整个系统可以低成本建造,只需要最低限度的技术基础设施。我们展示了一种可能的使用这样的麦克风阵列部署在伊奥利亚群岛由意大利西西里岛的活火山\textit{Stromboli}上的20个模块。我们使用收集的声学数据来识别所有记录的喷发的声源位置。
2020-10-25 cs.SD eess.AS physics.geo-ph
IDMT-Traffic: An Open Benchmark Dataset for Acoustic Traffic Monitoring Research
Fraunhofer IDMT(弗劳恩霍夫数字媒体技术研究所)
在许多城市地区,交通负荷和噪音污染不断增加。交通监控自动化系统是一种很有前途的对策,它可以系统地量化和预测当地的交通流量,以支持市政交通规划决策。在本文中,我们提出了一个新的开放基准数据集,包含2.5小时的立体声音频记录的4718车辆通过事件捕获的高品质的sE 8和中等质量的MEMS麦克风。该数据集非常适合评估将音频分类算法部署到麦克风质量和硬件处理能力受限的嵌入式传感器设备的用例。此外,本文还详细介绍了最近的声学交通监测(ATM)算法以及使用四种最先进的卷积神经网络架构进行车辆类型分类和运动方向估计的两个基准实验的结果。
2021-04-28 cs.AI cs.SD eess.AS
Injecting Spatial Information for Monaural Speech Enhancement via Knowledge Distillation
Wuhan University(武汉大学);Hubei Luojia Laboratory(湖北珞珈实验室)
单耳语音增强(SE)通过利用来自单个麦克风的录音来提供用于SE任务的通用且成本有效的方法。然而,单声道SE的性能落后于多声道SE,因为单声道SE方法无法从单声道录音中提取空间信息,这极大地限制了其应用场景。为了解决这个问题,我们注入空间信息到单声道SE模型,并提出了一个知识蒸馏策略,使单声道SE模型学习双耳语音特征从双耳SE模型,这使得单声道SE模型可以重建更高的可懂度和质量增强的语音在低信噪比(SNR)条件下。大量的实验表明,我们提出的单耳SE模型通过注入空间信息,通过知识蒸馏实现了良好的性能对其他单耳SE模型与较少的参数。
2022-12-02 cs.SD eess.AS
Automatic Classification of OSA related Snoring Signals from Nocturnal Audio Recordings
University of Sydney(悉尼大学);Charles Perkins Centre(查尔斯·珀金斯中心);School of Biomedical Engineering(生物医学工程学院);Northern Clinical School(北部临床学院);Royal North Shore Hospital(皇家北岸医院)
在这项研究中,提出了一种自动算法的开发,以分类阻塞性睡眠呼吸暂停(OSA)患者的夜间音频记录为OSA相关打鼾,简单打鼾和其他声音。最近的研究已经表明,关于OSA相关打鼾的知识可以帮助识别气道塌陷的部位。在睡眠期间,使用天花板麦克风与整夜多导睡眠图同时记录音频信号。提取夜间音频信号的时间和频率特征,将音频信号分类为OSA相关打鼾、单纯打鼾和其他声音。基于OSA相关打鼾可以帮助识别上气道塌陷部位的假设,开发了两种算法来使用线性判别分析(LDA)分类器提取OSA相关打鼾。使用无偏嵌套留一患者交叉验证过程从全特征集中选择高性能特征集。结果表明,该算法实现了87%的准确度为识别打鼾事件从音频记录和72%的准确度为识别睡眠呼吸暂停相关打鼾事件从打鼾事件。使用多类LDA分类器提取OSA相关打鼾事件的直接方法使用特征选择算法实现了64%的准确度。我们的研究结果清楚地表明,OSA相关的打鼾事件可以从夜间录音中提取,因此可以潜在地用作从夜间录音中识别气道塌陷部位的新工具。
2021-03-02 cs.LG cs.SD eess.AS