Sampling-Frequency-Independent Audio Source Separation Using Convolution Layer Based on Impulse Invariant Method
The University of Tokyo（东京大学）；Waseda University（早稻田大学）；NTT Corporation（日本电信电话株式会社）
音频声源分离常被用作各种应用的预处理，其最终目标之一是构造一个能够处理多种音频信号的通用模型。由于作为音频信号种类之一的采样频率通常是特定于应用的，因此前面的音频声源分离模型应该能够处理目标应用中指定的所有采样频率的音频信号。然而，基于深度神经网络（DNN）的传统模型仅以训练数据指定的采样频率进行训练，并且不能保证它们以不可见的采样频率工作。在本文中，我们提出了一个能够通过单个DNN处理任意采样频率的卷积层。通过音乐声源分离实验，我们表明，所提出的层的引入，使传统的音频声源分离模型，即使是看不见的采样频率一致的工作。
2021-05-10 cs.LG cs.SD eess.AS
Acoustic Impulse Responses for Wearable Audio Devices
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一个开放获取的数据集，其中包含来自160个麦克风的8000多个声脉冲，这些麦克风分布在身体各处，并固定在可穿戴配件上。这些数据可用于评估使用助听器、耳机、眼镜、珠宝和服装等可穿戴设备的音频捕获和阵列处理系统。我们分析了身体不同部位的声学传递函数，测量了麦克风上穿着的衣服的影响，比较了来自人体模型的测量结果，并模拟了几种波束形成器的降噪性能。结果表明，分布在身体上的麦克风阵列比局限于单个设备的麦克风更有效。
2019-03-05 cs.SD eess.AS
Gauss Circle Lattices with Geometric Convolutions for Synthesizing High Dimensional Image-Source Room Impulse Responses
University of California, Berkeley（加州大学伯克利分校）
提出一种将图像源模型中的格点计数问题转化为经典高斯圆问题的方法，通过几何卷积将计算复杂度从O(k^N)降低到O(N k^2 log k)，并扩展至频率依赖和反射加权的更高维图像源。
2026-07-24 cs.SD eess.AS math.CO
The PerspectiveLiberator -- an upmixing 6DoF rendering plugin for single-perspective Ambisonic room impulse responses
Institute of Electronic Music and Acoustics, University of Music and Performing Arts Graz（格拉茨音乐与表演艺术大学电子音乐与声学研究所）
如今，虚拟现实界面允许用户在六个自由度（6DoF）中虚拟地改变视角，并且与视觉部分一致，声学视角需要交互地更新。具有动态头部旋转的单视角渲染已经相当可靠地与上混的一阶Ambisonic房间脉冲响应（ASDM、SIRR等）一起工作。本文提出了一个插件，通过实时透视外推将虚拟透视从测量透视中解放出来：透视解放者。该插件允许在两种不同的算法之间进行选择，用于定向分辨率增强（ASDM，4DE）。对于其基于卷积的6DoF渲染的主要任务，该插件检测并定位早期Ambisonic房间脉冲响应中的突出方向性声音事件，并使用方向，到达时间和适应虚拟收听者的可变视角的水平对其进行重新编码。漫反射残差在方向分辨率上得到增强，但不受反射运动的影响，以尽可能多地保留原始房间印象。
2022-10-10 cs.SD eess.AS
Impulse Response Data Augmentation and Deep Neural Networks for Blind Room Acoustic Parameter Estimation
Adobe Research（奥多比研究院）
混响时间（T60）和直达混响比（DRR）通常用于表征室内声学环境。这两个参数都可以从声学脉冲响应（AIR）或使用直接从语音执行估计的盲估计方法来测量。当神经网络用于盲估计，但是，一个大的现实的数据集是必要的，这是昂贵的和耗时的收集，为了解决这个问题，我们提出了一个AIR增强方法，可以参数化控制的T60和DRR，使我们能够扩大一个小的数据集的真实AIR到一个平衡的数据集的数量级更大。使用这种方法，我们训练以前提出的卷积神经网络（CNN），并显示我们可以超越过去的单通道最先进的方法。然后，我们提出了一种更有效，更直接的基线CNN，速度快4- 5倍，这提供了额外的改进，并且比所有先前报道的单通道和多通道最先进的方法更好或相当。
2019-10-21 cs.SD eess.AS
Evoking Harmony via Convolution
Irreducible Productions（不可约制作公司）
本研究提出 Csound 的 chord_convolver 方法，通过卷积从任意源声音唤起和弦音级内容，对比线性频梳滤波器等并在野外录音中实现音乐应用，最小化伪影。
2026-09-01 cs.SD
Image2Reverb: Cross-Modal Reverb Impulse Response Synthesis
MIT（麻省理工学院）；Media Lab（媒体实验室）；Harvard University（哈佛大学）；SHBT；Mechanical Engineering（机械工程系）；EECS（电气工程与计算机科学系）
测量空间的声学特性通常是通过捕捉其脉冲响应（IR）来完成的，这是一种全范围刺激声音如何激发它的表示。这项工作从单个图像中生成IR，然后可以使用卷积将其应用于其他信号，模拟图像中显示的空间的混响特性。记录这些IR既耗时又昂贵，并且对于难以接近的位置通常是不可行的。我们使用一个端到端的神经网络架构，以产生合理的音频脉冲响应从单个图像的声学环境。我们通过与地面真实数据的比较和人类专家的评估来评估我们的方法。我们证明了我们的方法，从不同的设置和格式，包括众所周知的地方，音乐厅，房间的绘画，动画和计算机游戏的图像，从文本，全景图像和视频会议背景生成的合成环境中产生合理的脉冲响应。
2021-08-13 cs.CV cs.LG cs.SD
Filtered Noise Shaping for Time Domain Room Impulse Response Estimation From Reverberant Speech
Facebook Reality Labs Research（Facebook现实实验室研究部）
深度学习方法已经出现，旨在转换音频信号，使其听起来就像是在同一个房间录制的参考录音，并应用于音频后期制作和增强现实。在这项工作中，我们提出了FiNS，一个过滤的噪声整形网络，直接估计混响语音的时域房间脉冲响应（RIR）。我们的域启发架构具有时域编码器和滤波噪声整形解码器，该解码器将RIR建模为衰减滤波噪声信号的总和，以及直接声音和早期反射分量。用于声学匹配的先前方法利用大模型来变换音频以匹配目标房间或预测用于算法混响器的参数。相反，RIR的盲估计使得能够利用单个卷积进行有效且现实的变换。评估表明，我们的模型不仅合成了与目标房间参数匹配的RIR，如$T_{60}$和DRR，而且还更准确地再现了目标房间的感知特征，如与深度学习基线相比时的听力测试所示。
2021-07-15 cs.SD eess.AS
Evaluation of Deep-Learning-Based Voice Activity Detectors and Room Impulse Response Models in Reverberant Environments
Technion -- Israel Institute of Technology（以色列理工学院）
最先进的基于深度学习的语音活动检测器（VAD）通常使用消声数据进行训练。然而，真实的声学环境通常是混响的，这导致性能显著恶化。为了减轻训练数据和真实数据之间的这种不匹配，我们模拟了一个包含近500万个话语的增强训练集。该扩展包括消声话语及其混响修改，由消声话语与各种房间脉冲响应（RIR）的卷积生成。我们考虑了五种不同的模型来生成RIR，以及五种不同的VAD，它们是用增强训练集训练的。我们在三种不同的真实混响环境中测试所有经过训练的系统。实验结果表明，$20\%$的准确性，精确度和召回率的平均增加所有检测器和响应模型，与消声训练。此外，对于所有测试的VAD，其中一个RIR模型始终比其他模型产生更好的性能。此外，在所有实验中，其中一种VAD始终优于其他VAD。
2021-06-25 cs.LG cs.SD eess.AS
Head-Related Transfer Function Interpolation with a Spherical CNN
Australian National University（澳大利亚国立大学）
针对高分辨率HRTF获取困难且现有图像超分辨率方法忽略空间声学特征的问题，提出一种基于球面谐波的球面卷积神经网络HRTF插值方法，有效捕捉空间特征并在稀疏测量下实现更精确的插值。
2023-09-15 cs.SD eess.AS
MossFormer: Pushing the Performance Limit of Monaural Speech Separation using Gated Single-Head Transformer with Convolution-Augmented Joint Self-Attentions
Alibaba Group（阿里巴巴集团）
基于Transformer的模型在单声道语音分离中提供了显著的性能改进。然而，与最近提出的上限相比，仍然存在性能差距。目前双通道Transformer模型的主要局限性是对长距离元素相互作用和局部特征模式的建模效率低下。在这项工作中，我们实现了上限，提出了一个门控单头Transformer架构与卷积增强联合自关注，命名为\textit{MossFormer}（\textit{Mo}自然\textit{s}语音\textit{s}分离\textit{Former}）。为了有效地解决双路径架构中跨块的间接元素交互，MossFormer采用了一种联合的局部和全局自注意架构，该架构同时对局部块执行全计算自注意和对全序列执行线性化低成本自注意。联合注意力使MossFormer能够直接模拟全序列元素相互作用。此外，我们采用了一个强大的注意门控机制与简化的单头自我关注。除了精心的长期建模，我们还增加了MossFormer与卷积的位置明智的局部模式建模。因此，MossFormer显著优于以前的模型，并在WSJ 0 -2/3 mix和WHAM上实现了最先进的结果！/哇！基准。我们的模型在WSJ 0 - 3 mix上实现了21.2 dB的SI-SDRi上限，在WSJ 0 - 2 mix上仅低于23.1 dB的上限0.3 dB。
2023-02-23 cs.LG cs.SD eess.AS
Improved Method for Individualization of Head-Related Transfer Functions on Horizontal Plane Using Reduced Number of Anthropometric Measurements
在头部相关脉冲响应（HRIR）建模中要解决的一个重要问题是如何个性化HRIR，以便它们适合于收听者。我们建模的整个幅度头相关的传递函数（HRTF），在频域中，声源的水平面上的37个科目，使用主成分分析（PCA）。仅通过十个标准正交基函数的线性组合就可以充分模拟各个幅度的HRTF。本研究的目标是建立多元线性回归（MLR）之间的权重从PCA和更少的人体测量，以个性化一个给定的听众的HRTF与他或她自己的人体测量的基函数。本文提出了一种改进的基于基函数权值MLR的个性化方法，该方法利用了从27个人体测量数据中选出的8个数据。我们的客观实验的结果表明，优越的性能比我们以前的工作个性化的最小相位HRIR，也优于同类研究。结果表明，该个性化方法能够以较小的误差较好地逼近原始HRTF。采用重建的HRIR的移动声音可以被感知为好像它在水平面周围移动。
2010-05-27 cs.HC cs.SD
Time-Variant Overlap-Add in Partitions
Jade Hochschule Oldenburg（奥尔登堡 Jade 应用科学大学）
针对虚拟/增强现实中时变实时音频卷积的低延迟、无伪影等需求，提出一种可快速切换脉冲响应且无感知伪影的分区卷积算法，保持恒定计算负载与低内存，多语言实现已在GitHub开源。
2023-09-30 cs.SD eess.AS eess.SP
Towards HRTF Personalization using Denoising Diffusion Models
Dipartimento di Elettronica, Informazione e Bioingegneria (DEIB), Politecnico di Milano（电子、信息与生物工程学院（DEIB），米兰理工学院）
本文提出利用去噪扩散模型基于人体测量数据生成个性化HRTF，实现沉浸式音频中的双耳渲染。
2025-01-06 cs.SD eess.AS
Acoustivision Pro: An Open-Source Interactive Platform for Room Impulse Response Analysis and Acoustic Characterization
Acoustics Researcher, WA, USA（声学研究员，华盛顿州，美国）
AcoustiVision Pro 是一个开源平台，用于分析房间脉冲响应并进行声学表征，提供多种声学参数计算、可视化和标准化检查功能。
2026-02-11 cs.SD eess.AS eess.SP
Binamix -- A Python Library for Generating Binaural Audio Datasets
School of Computer Science（计算机科学学院）；University College Dublin（都柏林大学学院）；Google LLC（谷歌公司）
本文介绍了开源Python库Binamix，它利用SADIE II数据库和改进的Delaunay三角剖分技术实现双耳渲染与HRIR/BRIR插值，支持生成大规模、可重复的空间音频数据集，用于编解码器评估及机器学习训练。
2025-05-02 cs.SD eess.AS
Time-of-arrival Estimation and Phase Unwrapping of Head-related Transfer Functions With Integer Linear Programming
Centre for Digital Music, Queen Mary University of London（伦敦大学玛丽皇后学院数字音乐中心）
本文提出用整数线性规划最小化L1范数并结合双耳互相关及最小相位响应特征，实现HRIR的精确时间对齐与相位解缠，优于传统欧氏距离方法。
2024-10-20 cs.SD eess.AS eess.SP
A Method for Capturing and Reproducing Directional Reverberation in Six Degrees of Freedom
Aalto University（阿尔托大学）
本文提出从多位置空间脉冲响应中提取方向性衰减特性并构建方向性反馈延迟网络的框架，以支持六自由度混响可听化，并在芬兰国家歌剧和芭蕾舞院采集数据验证。
2021-10-08 cs.SD eess.AS eess.SP
MESH2IR: Neural Acoustic Impulse Response Generator for Complex 3D Scenes
University of Maryland（马里兰大学）
我们提出了一个基于网格的神经网络（MESH 2 IR）生成声脉冲响应（IR）的室内三维场景表示使用网格。IR用于在交互式应用和音频处理中创建高质量的声音体验。我们的方法可以处理输入的三角形网格与任意拓扑结构（2K -3 M三角形）。我们提出了一种新的训练技术，训练MESH 2 IR使用能量衰减救济，并强调其好处。我们还表明，在使用我们提出的技术预处理的IR上训练MESH 2 IR显着提高了IR生成的准确性。我们通过使用图卷积网络将3D场景网格转换到潜在空间来减少网格空间中的非线性。我们的MESH 2 IR比CPU上的几何声学算法快200倍以上，并且可以在NVIDIA GeForce RTX 2080 Ti GPU上为给定的室内3D场景生成每秒超过10，000个IR。声学度量用于表征声学环境。我们表明，从我们的MESH 2 IR预测的IR的声学指标与地面实况相匹配，误差小于10%。我们还强调了MESH 2 IR在音频和语音处理应用中的优势，如语音去混响和语音分离。据我们所知，我们是第一个基于神经网络的方法来预测IR从一个给定的三维场景网格实时。
2022-07-11 cs.CV cs.GR cs.LG
Reverberant Sound Localization with a Robot Head Based on Direct-Path Relative Transfer Function
INRIA Grenoble Rhone-Alpes（法国国立信息学与自动化研究院格勒诺布尔罗讷-阿尔卑斯分院）；GIPSA-LAB（GIPSA实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文讨论了声源定位（SSL）与机器人头部，这仍然是一个挑战，在现实世界的环境中的问题。特别是，我们有兴趣在定位语音源，因为它们是高度感兴趣的人机交互。对应于直接路径声音传播的麦克风对响应是源方向的函数。在实践中，这种响应受到噪声和混响的污染。直接路径相对传递函数（DP-RTF）被定义为两个麦克风的直接路径声学传递函数（ATF）之间的比率，并且它是SSL的重要特征。我们提出了一种方法来估计DP-RTF从噪声和混响信号中的短时傅里叶变换（STFT）域。首先，采用卷积传递函数（CTF）近似来精确地表示麦克风阵列的冲激响应，并且CTF的第一系数主要由直达路径ATF组成。在每个频率下，通过谱减法获得逐帧语音的自功率谱密度和互功率谱密度（PSD）。然后将多帧语音的自功率谱密度和互功率谱密度构造成一组线性方程组，其中DP-RTF为未知量，通过求解该线性方程组进行估计。最后，估计的DP-RTF跨频率级联并用作SSL的特征向量。与机器人，放置在各种混响环境中的实验表明，该方法优于两个国家的最先进的方法。
2020-12-07 cs.RO cs.SD eess.AS
