StoRIR: Stochastic Room Impulse Response Generation for Audio Data Augmentation
Samsung R\&D Institute Poland
在本文中，我们介绍了StoRIR -一种随机房间脉冲响应生成方法，专用于机器学习应用中的音频数据增强。与像图像源或射线跟踪这样的几何方法相反，该技术不需要预先定义房间几何形状、吸收系数或麦克风和源放置，并且仅取决于房间的声学参数。该方法是直观的，易于实现，并允许生成非常复杂的外壳的RIR。我们发现，当在语音增强任务中用于音频数据增强时，与使用传统的图像源方法相比，StoRIR允许深度学习模型在广泛的指标上取得更好的结果，有效地将其中许多指标提高了5%以上。我们在线发布了StoRIR的Python实现
2020-08-17 cs.LG cs.SD eess.AS
Classification of Audio Segments in Call Center Recordings using Convolutional Recurrent Neural Networks
从客户关系管理的角度来看，对呼叫中心记录进行详细的统计分析至关重要。随着人工智能的最新进展，现在可以自动执行许多与呼叫统计计算有关的任务。这项工作提出了一个神经网络框架，其目的是正确识别音频片段，并将其分类为客户或代理部分。准确识别这些部分为评估代理人的表现提供了一个公平的指标。我们继承了卷积递归神经网络（CRNN）架构，通常用于音乐流派分类等问题。我们还测试了相同架构的性能，其中以前的类信息和说话者的性别信息也被添加到训练数据标签中。我们看到CRNN可以概括训练数据，并且在有性别信息和没有性别信息的情况下对验证数据表现良好。此外，即使是训练也是使用土耳其语语音样本进行的;经过训练的网络被证明可以在德语和英语等其他语言的呼叫中心录音中实现高准确性。
2021-06-04 cs.SD eess.AS
Music Artist Classification with Convolutional Recurrent Neural Networks
University of Toronto（多伦多大学）
音乐艺术家分类的先前尝试使用在短时间间隔内概括频率内容的帧级音频特征。相比之下，最近的音乐信息检索任务使用深度卷积和递归模型来利用音频频谱图中的时间结构。本文重新审视艺术家分类与这个新的框架和实证研究的影响，将时间结构的特征表示。为此，一个既定的分类架构，卷积递归神经网络（CRNN），适用于艺术家20音乐艺术家识别数据集下的一组全面的条件。其中包括音频剪辑长度，这是这项工作中的一个新贡献，以及先前确定的考虑因素，如数据集分割和特征级别。我们的研究结果改进了基线工作，验证了生产者效应对分类性能的影响，并展示了音频长度和训练集大小之间的权衡。在三项独立试验中，表现最好的模型的平均F1评分为0.937，这是在类似条件下相对于相应基线的实质性改善。此外，为了展示CRNN的特征提取能力的有效性，我们在模型的瓶颈层可视化音频样本，证明学习的表示分割成属于各自艺术家的集群。
2019-03-14 cs.LG cs.MM cs.SD
Audio segmentation based on melodic style with hand-crafted features and with convolutional neural networks
Indian Institute of Technology, Bombay（孟买印度理工学院）
我们调查的自动标记的taan部分，一个突出的结构组成部分的印度斯坦Khayal声乐演唱会的方法。该taan包含即兴拉嘎为基础的旋律呈现在快速音高和声音的能量调制的高度独特的风格。我们提出的计算功能，捕捉这些特定的高层次的特点，在复调背景下的歌声。提取的局部特征用于通过训练的多层感知器（MLP）网络实现帧级分类，然后基于新颖性检测进行分组和分割。我们报告的高精度与音乐家注释TAAN部分跨艺术家和音乐会。我们还比较了通过紧凑的专门功能与帧级分类获得的性能，通过卷积神经网络（CNN）直接对音频频谱图补丁进行相同的任务。虽然我们实验的相对简单的架构并不能完全达到手工特征的分类准确性，但它提供了一个远远高于机会的性能，并对网络从标记数据中有效学习区分特征的能力有了有趣的见解。
2018-07-30 cs.SD eess.AS
PerformanceNet: Score-to-Audio Music Generation with Multi-Band Convolutional Residual Network
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
音乐创作通常由两个部分组成：创作乐谱，然后用乐器演奏乐谱以发出声音。虽然最近的工作在符号领域的自动音乐生成方面取得了很大进展，但很少有人尝试构建可以从乐谱中渲染逼真音乐音频的AI模型。直接用声音样本库合成音频通常会导致机械和面无表情的结果，因为乐谱不包含性能级别的信息，例如定时和动态的细微变化。此外，虽然该任务可能听起来像文本到语音合成问题，但由于音乐音频具有丰富的复调声音，因此存在根本差异。为了构建这样的AI表演者，我们在本文中提出了一个深度卷积模型，该模型以端到端的方式学习音乐的符号表示（称为钢琴卷）和音乐的音频表示（称为频谱图）之间的分数到音频映射。该模型由两个子模型组成：ContourNet，它使用U-Net结构来学习钢琴卷和频谱图之间的对应关系，并给出初始结果;以及TextureNet，它进一步使用多波段残差网络，通过添加泛音和音色的频谱纹理来细化结果。我们训练该模型，以生成小提琴、大提琴和长笛的音乐片段，数据集大小适中。我们还提出了一个用户研究的结果，表明我们的模型实现了更高的平均意见得分（MOS）的自然性和情感表达比基于WaveNet的模型和两个商业声音库。我们在https://github.com/bwang514/PerformanceNet上公开源代码
2018-11-11 cs.MM cs.SD eess.AS
Room Impulse Response Synthesis via Differentiable Feedback Delay Networks for Efficient Spatial Audio Rendering
Perceptual Interfaces \& Reality Lab Department of Computer Science \& UMIACS University of Maryland, College Park
本研究提出一种可微可调的FDN架构，通过可微编程优化参数匹配RIR声学指标，实现实时动态空间音频渲染，质量接近传统BRIR卷积且计算成本大幅降低。
2025-09-30 cs.SD eess.AS
Acoustic Impulse Responses for Wearable Audio Devices
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一个开放获取的数据集，其中包含来自160个麦克风的8000多个声脉冲，这些麦克风分布在身体各处，并固定在可穿戴配件上。这些数据可用于评估使用助听器、耳机、眼镜、珠宝和服装等可穿戴设备的音频捕获和阵列处理系统。我们分析了身体不同部位的声学传递函数，测量了麦克风上穿着的衣服的影响，比较了来自人体模型的测量结果，并模拟了几种波束形成器的降噪性能。结果表明，分布在身体上的麦克风阵列比局限于单个设备的麦克风更有效。
2019-03-05 cs.SD eess.AS
Timbre Analysis of Music Audio Signals with Convolutional Neural Networks
Universitat Pompeu Fabra（庞培法布拉大学）
这项工作的重点是研究如何有效地定制卷积神经网络（CNN），以从对数梅尔幅度谱图中学习音色表示。我们首先回顾设计CNN架构时的趋势。通过这篇文献综述，我们讨论了使用CNN有效学习音色表示需要考虑的关键点。从这个讨论中，我们提出了一个设计策略，旨在捕捉相关的时间-频率环境学习音色，它允许使用领域知识设计架构。此外，我们的主要目标之一是设计高效的CNN架构-降低这些模型过度拟合的风险，因为CNN的参数数量最小化。我们提出的设计原则的基础上的几个架构，成功地评估了不同的研究任务与音色：歌唱声音音素分类，乐器识别和音乐自动标记。
2017-06-02 cs.SD
DARAS: Dynamic Audio-Room Acoustic Synthesis for Blind Room Impulse Response Estimation
School of Information Science and Technology, Beijing University of Technology（信息科学与技术学院，北京理工大学）；Unseen AI Inc.（Unseen AI公司）
针对现有盲房间脉冲响应估计精度不足的问题，提出DARAS深度学习框架，通过深度音频编码器、基于Mamba的盲房间参数估计模块、交叉注意力特征融合及动态声学调整解码器，从单耳混响语音中有效合成RIR，显著优于基线模型。
2025-11-04 cs.SD eess.AS
Gencho: Room Impulse Response Generation from Reverberant Speech and Text via Diffusion Transformers
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（Adobe研究）；University of Maryland（马里兰大学）；MIT（麻省理工学院）
Gencho通过扩散变压器模型从混响语音和文本生成房间脉冲响应，实现了更灵活和逼真的声学模拟与生成。
2026-02-09 cs.SD eess.AS
Device-Robust Acoustic Scene Classification via Impulse Response Augmentation
Institute of Computational Perception（计算感知研究所）；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University（约翰内斯开普勒大学）
本文提出用预录设备冲激响应增强训练音频，以提升声学场景分类对未见录音设备的泛化能力，并证明其与 Freq-MixStyle 互补，达到新最优性能。
2023-06-27 cs.AI cs.LG cs.SD
MMAudioReverbs: Video-Guided Acoustic Modeling for Dereverberation and Room Impulse Response Estimation
Sony Group Corporation（索尼集团公司）；Sony AI（索尼人工智能）
本文提出MMAudioReverbs框架，利用预训练视频到音频模型进行去混响和房间脉冲响应估计，通过小数据集微调实现无需修改网络结构的统一处理。
2026-05-01 cs.CV cs.LG cs.SD
Binamix -- A Python Library for Generating Binaural Audio Datasets
School of Computer Science（计算机科学学院）；University College Dublin（都柏林大学学院）；Google LLC（谷歌公司）
本文介绍了开源Python库Binamix，它利用SADIE II数据库和改进的Delaunay三角剖分技术实现双耳渲染与HRIR/BRIR插值，支持生成大规模、可重复的空间音频数据集，用于编解码器评估及机器学习训练。
2025-05-02 cs.SD eess.AS
Filtered Noise Shaping for Time Domain Room Impulse Response Estimation From Reverberant Speech
Facebook Reality Labs Research（Facebook现实实验室研究部）
深度学习方法已经出现，旨在转换音频信号，使其听起来就像是在同一个房间录制的参考录音，并应用于音频后期制作和增强现实。在这项工作中，我们提出了FiNS，一个过滤的噪声整形网络，直接估计混响语音的时域房间脉冲响应（RIR）。我们的域启发架构具有时域编码器和滤波噪声整形解码器，该解码器将RIR建模为衰减滤波噪声信号的总和，以及直接声音和早期反射分量。用于声学匹配的先前方法利用大模型来变换音频以匹配目标房间或预测用于算法混响器的参数。相反，RIR的盲估计使得能够利用单个卷积进行有效且现实的变换。评估表明，我们的模型不仅合成了与目标房间参数匹配的RIR，如$T_{60}$和DRR，而且还更准确地再现了目标房间的感知特征，如与深度学习基线相比时的听力测试所示。
2021-07-15 cs.SD eess.AS
One-Shot Acoustic Matching Of Audio Signals -- Learning to Hear Music In Any Room/ Concert Hall
Stanford University（斯坦福大学）
声音产生和被听到的声学空间通过提供独特的\textit{presence}感而在如何感知声音方面起着至关重要的作用。我们听到的每一个声音都是声源固有的连续卷积运算和外部因素（如麦克风特性和房间脉冲响应）的结果。通常，研究人员使用诸如手枪射击或气球爆裂的激励作为可以创建可听化的脉冲信号。与感兴趣的信号卷积的房间“脉冲”响应可以将输入声音转换成在感兴趣的声学空间中播放的声音。在这里，我们提出了一种新的架构，可以将感兴趣的声音转换到任何其他声学空间（房间或大厅）的利益，通过使用任意的音频记录作为代理的气球流行。该架构是接地在简单的信号处理的想法，学习残余信号从学习的声学签名和输入信号。我们的框架允许神经网络调整时频表示中每个点的增益，给出合理的定性和定量结果。
2022-10-31 cs.LG cs.MM cs.SD
Dereverberation Filter by Deconvolution with Frequency Bin Specific Faded Impulse Response
ResearchGate
本文提出了一种基于频域特定衰减的单通道去混响滤波器，通过盲估计混响时间比来优化脉冲响应，以提升信号清晰度。
2026-01-10 cs.SD eess.AS
Neural Acoustic Context Field: Rendering Realistic Room Impulse Response With Neural Fields
University of Rochester（罗切斯特大学）；Meta Reality Labs Research（Meta现实实验室）
针对现有神经场方法忽视音频场景声学属性的问题，本文提出 NACF，融合几何、材料与空间上下文，并设计时间相关模块及多尺度能量衰减准则，显著提升 RIR 渲染质量。
2023-09-27 cs.CV cs.SD eess.AS
HARP: A Large-Scale Higher-Order Ambisonic Room Impulse Response Dataset
Leibniz University Hannover（莱布尼茨汉诺威大学）
本文提出了一个基于Image Source Method的7阶Ambisonic房间脉冲响应（HOA-RIRs）大规模数据集HARP，采用独特的64麦克风配置直接在球谐域捕获RIRs，为空间音频、机器学习声学建模及声场合成等任务提供了高空间分辨率与真实感的关键资源。
2025-01-19 cs.AI cs.LG cs.MM
Sparse Head-Related Impulse Response for Efficient Direct Convolution
University of Maryland Institute for Advanced Computer Studies（马里兰大学高级计算机研究所）
头部相关脉冲响应（HRIR）是空间音频合成中使用的主体相关和方向相关滤波器。它们描述了主体的头部、躯干和躯干的散射响应。我们提出了一个结构分解的HRIR到一个产品的非负和Toeplitz矩阵的因式分解是基于一个新的扩展的非负矩阵因式分解算法。结果，HRIR变得可表达为方向无关\emph{resonance}滤波器和方向相关\emph{reflection}滤波器之间的卷积。此外，反射滤波器可以制成具有最小HRIR失真的\emph{sparse}。所描述的因式分解示出为适用于任意源信号的情况下，并允许一个采用时域卷积的计算成本低于使用卷积在频域中。
2015-02-11 cs.SD
Scene-Aware Audio for 360\textdegree{} Videos
Columbia University（哥伦比亚大学）；Adobe Research（奥多比研究院）
虽然360度\textdegree{}摄像机可以轻松捕捉全景镜头，但添加逼真的360度\textdegree{}音频以融入捕捉的场景并与摄像机运动同步仍然具有挑战性。我们提出了一种在典型的室内场景中将场景感知空间音频添加到360 \textdegree{}视频的方法，仅使用传统的单通道麦克风和扬声器。我们观察到，一个房间的脉冲响应的后期混响通常是空间和方向扩散。利用这一事实，我们提出了一种方法，合成任何源和收听位置之间的定向脉冲响应相结合的合成早期混响的一部分和测得的后期混响尾部。使用几何声学模拟来模拟早期混响，然后使用频率调制方法来增强混响以捕获房间共振。后期混响是从记录的脉冲响应中提取的，具有精心选择的持续时间，该持续时间将后期混响与早期混响分开。在我们的验证中，我们表明我们的合成空间音频与使用高保真度立体声麦克风的录音密切匹配。最后，我们证明了我们的方法在几个应用程序的强度。
2018-05-12 cs.CV cs.ET cs.GR
Investigating Label Noise Sensitivity of Convolutional Neural Networks for Fine Grained Audio Signal Labelling
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
我们测量了在细粒度音频信号标记任务中由轻微未对齐的地面真实标签引起的少量系统和随机标签噪声的影响。我们选择演示这些效果的任务也称为逐帧复调转录或音符量化多f0估计，并将单声道音频信号转换为音符指示符标签序列。它将表明，即使是轻微的错位有明显的影响，证明了卷积神经网络的标签噪声的高度敏感性。其含义是明确的：当将卷积神经网络用于细粒度音频信号标记任务时，必须非常小心地确保注释具有精确的定时，并且尽可能地不受系统或随机误差的影响，即使是小的未对准也会产生明显的影响。
2018-05-28 cs.LG cs.SD eess.AS
Audio Classification of Low Feature Spectrograms Utilizing Convolutional Neural Networks
University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对现有音频分类技术难以处理低特征声谱图信号、依赖不符合真实分布的全量数据集的问题，本文提出多种首创的定制化卷积架构与分类方法，在不同数据分布下实现了最优分类准确率与更高效率。
2024-10-28 cs.LG cs.SD eess.AS
AV-RIR: Audio-Visual Room Impulse Response Estimation
University of Maryland, College Park（马里兰大学帕克分校）
提出多模态多任务学习方法AV-RIR，结合语音信号与视觉线索，利用神经编解码器架构及Geo-Mat特征和CRIP技术，有效提升房间脉冲响应估计精度与语音去混响效果。
2024-04-23 cs.CV cs.SD
Blind Localization of Room Reflections with Application to Spatial Audio
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
本文提出在更广泛条件下评估FF-PHALCOR盲定位房间反射方法的性能，并通过听力测试验证估计反射对空间感知的重要性。
2023-12-21 cs.SD eess.AS
Deep Convolutional and Recurrent Networks for Polyphonic Instrument Classification from Monophonic Raw Audio Waveforms
National Technical University of Athens（雅典国立技术大学）；Athena Research Center（雅典娜研究中心）
声音事件检测和音频分类任务传统上通过音频信号的时间-频率表示（诸如频谱图）来解决。然而，深度神经网络作为高效特征提取器的出现使得能够直接使用音频信号用于分类目的。在本文中，我们尝试通过仅将原始波形馈送到深度学习模型中来识别复调音频中的乐器。各种经常性和卷积架构，包括残留的连接进行检查和参数化，以建立端到端的分类器，计算成本低，只有最小的预处理。我们通过IRMAS测试集获得了竞争性分类分数和有用的仪器洞察力，利用具有多个残差连接的并行CNN-BiGRU模型，同时保持可训练参数的数量显着减少。
2021-02-13 cs.LG cs.SD eess.AS
Lightweight and interpretable neural modeling of an audio distortion effect using hyperconditioned differentiable biquads
iZotope, Inc.（iZotope公司）
在这项工作中，我们建议使用可微级联biquads模型的音频失真效果。我们将可训练的无限脉冲响应（IIR）滤波器扩展到超条件的情况下，在这种情况下，学习变换以直接将失真效应的外部参数映射到其内部滤波器和增益参数，以及确保滤波器稳定性所需的激活。我们提出了一种新的，有效的IIR滤波器的训练计划，通过傅里叶变换。相对于使用有限脉冲响应滤波器的更传统的黑盒神经音频效果建模方法，我们的模型具有更少的参数和更低的复杂性。我们最小、性能最好的模型充分模拟了44.1 kHz的BOSS MT-2踏板，总共使用了40个双四边形，只有210个参数。它的模型参数是可解释的，可以与原始模拟音频电路相关联，甚至可以在模型训练后由机器学习非专家直观地改变。定量和定性的结果说明了所提出的方法的有效性。
2021-03-15 cs.SD eess.AS eess.SP
Blind Spatial Impulse Response Generation from Separate Room- and Scene-Specific Information
Bang & Olufsen A/S（邦及欧路夫森公司）；Aalto University（阿尔托大学）
本文提出一种用于增强现实音频的盲空间脉冲响应生成方法，通过对比损失训练的编码器提取房间特定信息，并结合基于扩散的生成器在给定新声源-接收器位置时生成空间房间脉冲响应，同时兼顾房间与位置参数。
2024-09-23 cs.LG cs.SD eess.AS
Self-Attention for Audio Super-Resolution
卷积只在局部操作，因此无法对全局交互进行建模。然而，自我注意力能够学习捕捉序列中的长程依赖关系的表征。我们提出了一种结合卷积和自注意力的音频超分辨率网络架构。基于注意力的智能线性调制（AFiLM）使用自注意力机制代替递归神经网络来调制卷积模型的激活。大量的实验表明，我们的模型优于现有的标准基准测试方法。此外，它允许更多的并行化，从而显著加快训练速度。
2021-08-26 cs.LG cs.SD eess.AS
Multi-Time-Scale Convolution for Emotion Recognition from Speech Audio Signals
City, University of London（伦敦城市大学）
对时间变化的鲁棒性对于从语音音频中识别情感是重要的，因为情感是通过复杂的频谱模式来表达的，该频谱模式可以根据说话者和上下文在时间轴上表现出显著的局部膨胀和压缩。为了解决这个问题和潜在的其他任务，我们引入了多时间尺度（MTS）的方法，以创建灵活性对时间变化时，分析音频数据的时间-频率表示。MTS使用卷积核扩展卷积神经网络，这些卷积核沿时间轴缩放和重新采样，以增加时间灵活性，而不增加与标准卷积层相比的可训练参数的数量。我们使用4个不同大小的数据集，在不同的架构中评估MTS和标准卷积层，以从语音音频中进行情感识别。结果表明，与标准卷积相比，MTS层的使用始终提高了不同容量和深度的网络的泛化能力，特别是在较小的数据集上
2020-03-06 cs.LG cs.SD eess.AS
Multi-Resolution Fully Convolutional Neural Networks for Monaural Audio Source Separation
University of Surrey（萨里大学）
在具有卷积层的深度神经网络中，每一层通常具有固定大小/单一分辨率的感受野（RF）。具有大RF的卷积层从输入特征捕获全局信息，而具有小RF大小的层从输入特征捕获具有高分辨率的局部细节。在这项工作中，我们引入了新的深度多分辨率全卷积神经网络（MR-FCNN），其中每一层都有不同的RF大小来提取多分辨率特征，这些特征从其输入特征中捕获全局和局部细节信息。所提出的MR-FCNN被应用于从许多音频源的混合中分离目标音频源。实验结果表明，与前馈深度神经网络（DNN）和单分辨率深度全卷积神经网络（FCNN）相比，使用MR-FCNN在音频声源分离问题上提高了性能。
2017-10-28 cs.CV cs.LG cs.SD
Fast Time-Varying Exponentiated Convolution Methods for Generative Direction Dependent Reverberation
NuSpace Audio
本文提出时变指数卷积方法，将高斯噪声和脉冲响应转换为混响及修正频谱衰减场，推导两种快速递归算法并扩展到球谐域，以生成方向相关混响，实验验证了计算性能和分布外生成效果。
2026-09-22 cs.SD eess.AS eess.SP
Temporal convolutional neural networks to generate a head-related impulse response from one direction to another
Graduate School of Engineering, Nagaoka University of Technology（长冈技术科学大学工程学院）；National Institute of Technology, Hakodate College（函馆工业高等专门学校）；National Institute of Technology, Nagaoka College（长冈工业高等专门学校）
本研究提出使用时间卷积神经网络（TCNs）从一个方向到另一个方向生成头相关脉冲响应（HRIRs），以解决个体化HRTF测量困难的问题，实验证明该方法能有效生成个性化HRIRs并促进虚拟声音的个性化。
2023-10-21 cs.SD eess.AS
Relative Acoustic Features for Distance Estimation in Smart-Homes
Nuance Communications UK（英国Nuance通讯公司）；Imperial College London（帝国理工学院）
任何音频记录都包含相关声学环境的独特指纹，即背景噪声和混响。考虑到房间配备有具有一个或多个麦克风的固定智能扬声器设备和可穿戴智能设备（手表、眼镜或智能手机）的场景，我们采用改进的比例归一化最小均方自适应滤波器来估计映射两个设备的音频记录的相对房间脉冲响应。我们通过利用一组新的特征来执行设备间距离估计，所述特征将房间脉冲响应的一些声学属性的定义扩展到其相对版本。结合估计的相对房间脉冲响应的稀疏性测量，相对特征允许精确的设备间距离估计，其可以用于诸如最佳麦克风选择或声学场景分析的任务。不同尺寸和混响时间的模拟房间的实验结果证明了这种计算量小的方法对智能家居声学测距应用的有效性
2022-12-02 cs.SD eess.AS
EchoMark: Perceptual Acoustic Environment Transfer with Watermark-Embedded Room Impulse Response
University of Houston（休斯顿大学）；Clemson University（克莱姆森大学）；Independent Researcher（独立研究员）
EchoMark通过在潜在域中联合优化感知损失与水印检测损失，实现高质量声学环境迁移与可靠水印恢复，实验表明其在声学参数匹配和水印检测方面性能优异。
2026-03-31 cs.AI cs.LG cs.SD
PosCUDA: Position based Convolution for Unlearnable Audio Datasets
University of California, San Diego（加利福尼亚大学圣迭戈分校）
提出PosCUDA方法，利用基于私钥位置的类间卷积生成不可学习音频数据集，在保护数据隐私的同时保持原始音频质量，且对多种特征表示和模型架构具有鲁棒性。
2024-01-04 cs.CR cs.LG cs.SD
Streamable Neural Audio Synthesis With Non-Causal Convolutions
IRCAM（声学音乐研究与协调研究所）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）
深度学习模型大多以离线推理的方式使用。然而，这严重限制了这些模型在音频生成设置中的使用，因为大多数创意工作流程都基于实时数字信号处理。虽然基于递归网络的方法可以自然地适应这种基于缓冲区的计算，但卷积的使用仍然带来了一些严重的挑战。为了解决这个问题，已经提出了因果流卷积的使用。然而，这需要特定的复杂化训练，并可能影响最终的音频质量。在本文中，我们介绍了一种新的方法，允许产生非因果流模型。这允许使任何卷积模型与基于实时缓冲器的处理兼容。由于我们的方法是基于模型的训练后重新配置，我们证明了它能够将没有因果约束的训练模型转换为流模型。我们展示了我们的方法可以适应复杂的架构与并行分支。为了评估我们的方法，我们将其应用于最近的RAVE模型，该模型提供了高质量的实时音频合成。我们在多个音乐和语音数据集上测试了我们的方法，并表明它比附加方法更快，同时对生成质量没有影响。最后，我们介绍了两个开源的实现我们的工作作为Max/MSP和PureData外部，并作为一个VST音频插件。这允许在笔记本电脑CPU上赋予传统的数字音频工作站实时神经音频合成。
2022-04-14 cs.LG cs.SD eess.AS
Unifying Isolated and Overlapping Audio Event Detection with Multi-Label Multi-Task Convolutional Recurrent Neural Networks
University of Oxford（牛津大学）；NIHR Oxford Biomedical Research Centre（英国国家健康研究所牛津生物医学研究中心）
我们提出了一个基于卷积递归神经网络的多标签多任务框架，以统一检测孤立和重叠的音频事件。该框架利用了卷积递归神经网络架构的强大功能;卷积层学习有效的特征，更高的递归层在这些特征上执行顺序建模。此外，输出层被设计为处理任意程度的事件重叠。在循环输出序列中的每个时间步，输出三元组专用于每个感兴趣的事件类别，以联合建模事件发生和时间边界。也就是说，网络通过估计每个循环时间步长处的起始和偏移位置来联合确定该类别的事件是否发生以及何时发生。然后，我们介绍了网络训练的三个连续损失：多标签分类损失，距离估计损失和置信度损失。我们在两个数据集上表现出良好的泛化能力：ITC-Irst用于孤立音频事件检测，TUT-SED-Synthetic-2016用于重叠音频事件检测。
2019-02-18 cs.LG cs.SD eess.AS
Gauss Circle Lattices with Geometric Convolutions for Synthesizing High Dimensional Image-Source Room Impulse Responses
University of California, Berkeley（加州大学伯克利分校）
提出一种将图像源模型中的格点计数问题转化为经典高斯圆问题的方法，通过几何卷积将计算复杂度从O(k^N)降低到O(N k^2 log k)，并扩展至频率依赖和反射加权的更高维图像源。
2026-07-24 cs.SD eess.AS math.CO
Robust Audio Event Recognition with 1-Max Pooling Convolutional Neural Networks
本文提出了一种简单而有效的卷积神经网络（CNN）架构，用于鲁棒的音频事件识别。与具有多个卷积和池化层以及多个完全连接层的深度CNN架构相反，所提出的网络仅由三层组成：卷积层、池化层和softmax层。另外两个特征将其与针对该任务提出的深度架构区分开来：卷积层的可变大小卷积滤波器和池化层的1-max池化方案。直觉上，网络倾向于从整个音频信号中选择最具区分力的特征进行识别。我们提出的CNN不仅在鲁棒音频事件识别的标准任务上表现出最先进的性能，而且在识别准确率方面优于其他深度架构高达4.5%，相当于76.3%的相对错误减少。
2016-06-22 cs.LG cs.NE cs.SD
Sound Event Detection in Multichannel Audio using Convolutional Time-Frequency-Channel Squeeze and Excitation
Microsoft Research（微软研究院）
在这项研究中，我们引入了一个卷积时频信道“挤压和激励”（tfc-SE）模块，以显式地对时频域和多个信道之间的相互依赖性进行建模。tfc-SE模块由两部分组成：tf-SE块和c-SE块，分别用于提供时频域和信道域的关注，用于自适应地重新校准输入特征图。所提出的tfc-SE模块以及流行的卷积递归神经网络（CRNN）模型在具有重叠音频源的多通道声音事件检测任务中进行了评估：训练和测试数据是用麦克风阵列记录的合成TUT Sound Events 2018数据集。我们表明，TFC-SE模块可以被纳入CRNN模型在一个小的额外的计算成本，并带来显着的改善声音事件检测精度。我们还通过分析可能影响SE块性能的各种因素进行详细的消融研究。结果表明，使用最佳tfc-SE块，错误率（ER）从0.2538降低到0.2026，ER相对降低20.17%，F1得分提高5.72%。结果表明，学习的声学嵌入与tfc-SE模块有效地加强时频和通道的特征表示，以提高区分性能。
2019-08-04 cs.LG cs.SD eess.AS
AMFFCN: Attentional Multi-layer Feature Fusion Convolution Network for Audio-visual Speech Enhancement
Trinity College Dublin（都柏林圣三一学院）；Hubei University of Chinese Medicine（湖北中医药大学）
视听语音增强系统被认为是分离和增强说话人语音的最有前途的解决方案之一。传统的方法集中于通过基于朴素卷积神经网络的编码器-解码器架构来预测干净的语音频谱，并且这些方法a）不足以充分和有效地使用数据，b）不能选择性地处理特征。所提出的模型解决了这些缺点，通过a）应用在编码阶段逐层融合音频和视觉特征的模型，并且将融合的音频-视觉特征馈送到每个对应的解码器层，并且更重要的是，b）将软阈值注意力引入到模型中以软地选择信息模态。本文提出了一种基于注意力的视听图像多层特征融合模型，在解码器的每一层采用软阈值注意力单元进行特征映射。所提出的模型证明了优越的性能的网络对国家的最先进的模型。
2022-09-27 cs.SD eess.AS
Convolutional Recurrent Neural Networks for Bird Audio Detection
Tampere University of Technology（坦佩雷理工大学）
鸟类的声音具有独特的频谱结构，根据鸟类的种类和环境条件，可能会出现微小的频谱变化。在本文中，我们建议使用卷积循环神经网络在现实环境中进行自动鸟类音频检测。在所提出的方法中，卷积层提取高维的局部频移不变特征，而递归层捕获从短时间帧提取的特征之间的长期依赖关系。该方法在看不见的评估数据上获得了88.5%的ROC曲线下面积（AUC）得分，并在鸟类音频检测挑战赛中获得第二名。
2017-03-07 cs.LG cs.SD stat.ML
Yet Another Generative Model For Room Impulse Response Estimation
Supertone, Inc.（Supertone公司）
该研究针对房间冲激响应估计问题，提出基于残差量化自编码器与多轴Transformer变体的自回归令牌生成架构，同时解决盲估计与声学匹配任务，性能优于现有基线。
2023-11-05 cs.SD eess.AS
Room Impulse Response Generation Conditioned on Acoustic Parameters
Dolby Laboratories（杜比实验室）；KTH Royal Institute of Technology（皇家理工学院）
本研究提出直接基于声学参数约束RIR生成，探索了自回归与非自回归模型，实验表明MaskGIT模型表现最佳，匹配或超越现有方法。
2025-07-16 cs.SD eess.AS
Neural Audio Codec with Adjustable Token Temporal Resolution Using Sampling-Frequency-Independent Convolutional Layers
提出一种机制，通过采样频率无关卷积层使单个神经音频编解码器支持多种令牌时间分辨率，在环境声音重建中优于切换专用层的基线模型。
2026-07-03 cs.SD eess.AS
InterGridNet: An Electric Network Frequency Approach for Audio Source Location Classification Using Convolutional Neural Networks
Aristotle University of Thessaloniki（亚里士多德塞萨洛尼基大学）
提出 InterGridNet 框架，结合浅层 RawNet、残差块与神经架构搜索，对 ENF 音频信号进行地理位置分类，在 SP Cup 2016 数据集上达到 92% 的准确率。
2025-02-14 cs.LG cs.SD eess.AS
Audio classification with Dilated Convolution with Learnable Spacings
CerCo UMR 5549（塞尔科研究所UMR 5549）；CNRS（法国国家科学研究中心）；Université Toulouse III（图卢兹第三大学）；IRIT（信息与电信科学研究所）；Toulouse INP（图卢兹国立综合理工学院）
本文将可学习间距空洞卷积（DCLS）应用于ConvNeXt、ConvFormer和FastViT架构，在不增加参数量且吞吐量成本极低的情况下，显著提升了AudioSet基准上的音频分类平均精度均值（mAP）。
2023-11-22 cs.AI cs.SD eess.AS
TorchFX: A modern approach to Audio DSP with PyTorch and GPU acceleration
Centro di Sonologia Computazionale (CSC)（计算声学中心（CSC））；Dept. of Information Engineering（信息工程系）；University of Padova（帕多瓦大学）
TorchFX通过PyTorch框架提供面向对象接口，结合新型管道运算符，实现多通道音频信号处理，相比传统库在多通道场景下效率提升显著。
2025-04-11 cs.PF cs.SD eess.AS
AudioRepInceptionNeXt: A lightweight single-stream architecture for efficient audio recognition
City University of Hong Kong（香港城市大学）；TCL AI Lab（TCL人工智能实验室）
提出轻量级单流架构AudioRepInceptionNeXt，通过级联多分支深度卷积分离时频处理并重参数化，在保持精度的同时大幅降低计算与内存开销。
2024-04-21 cs.SD eess.AS
Pyroomacoustics: A Python package for audio room simulations and array processing algorithms
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出pyroomacoustics，一个软件包，旨在快速开发和测试的音频阵列处理算法。该软件包的内容可以分为三个主要部分：直观的Python面向对象界面，用于快速构建涉及2D和3D房间中多个声源和麦克风的不同模拟场景;用于一般多面体房间的图像源模型的快速C实现，用于高效生成房间脉冲响应并模拟源和接收器之间的传播;最后是波束形成、测向和自适应滤波的常用算法的参考实现。总之，它们形成了一个包，通过显著减少性能评估步骤中的实现开销，有可能加快新算法的上市时间。
2017-10-11 cs.SD eess.AS
Understanding Audio Pattern Using Convolutional Neural Network From Raw Waveforms
音频信号处理中的一个关键步骤是将原始信号转换为有效编码原始信息的表示。传统上，人们将音频转换为频谱表示，作为频率，幅度和相位变换的函数。在这项工作中，我们采取纯粹的数据驱动的方法来理解原始信号水平上音频的时间动态。我们通过深度卷积神经网络（CNN）模型最大化从原始信号中提取的信息。我们的CNN模型是在urbansound8k数据集上训练的。我们发现，嵌入在原始波形中的显着音频模式可以通过由CNN模型学习的非线性滤波器的组合来有效地提取。
2016-11-29 cs.SD
Small-Footprint Keyword Spotting on Raw Audio Data with Sinc-Convolutions
Infineon Technologies AG（英飞凌科技股份公司）
关键字定位（KWS）可在智能设备上实现基于语音的用户交互。智能设备的始终在线和电池供电的应用场景对硬件资源和功耗提出了限制，同时也要求高精度和实时能力。以前的架构首先提取声学特征，然后应用神经网络对关键字概率进行分类，优化内存占用和执行时间。与以前的出版物相比，我们采取了额外的措施来降低功耗和内存消耗，而不会降低分类精度。通过直接从原始音频进行分类，消除了功耗音频预处理和数据传输步骤。为此，我们的端到端架构使用参数化Sinc-convolutions提取光谱特征。它的内存占用进一步减少分组dependently可分离卷积。我们的网络在Google的语音命令测试集上达到了96.4%的准确率，只有62 k个参数。
2020-05-03 cs.CL cs.SD eess.AS
Transformer-Based Video Front-Ends for Audio-Visual Speech Recognition for Single and Multi-Person Video
Google（谷歌）
视听自动语音识别（AV-ASR）通过引入视频模态作为附加信息源来扩展语音识别。在这项工作中，包含在说话人的嘴的运动的信息被用来增强音频功能。视频模态传统上用3D卷积神经网络（例如，VGG的3D版本）处理。最近，图像Transformer网络arXiv：2010.11929展示了为图像分类任务提取丰富视觉特征的能力。在这里，我们建议用视频Transformer代替3D卷积来提取视觉特征。我们训练我们的基线和建议的模型上的大规模语料库的YouTube视频。我们的方法的性能进行了评估的标签子集的YouTube视频以及LRS 3-TED公共语料库。我们最好的纯视频模型在YTDEV 18上获得了31.4%的WER，在LRS 3-TED上获得了17.0%的WER，比我们的卷积基线分别提高了10%和15%。我们实现了最先进的性能的视听识别的LRS 3-TED微调后，我们的模型（1.6% WER）。此外，在多人AV-ASR的一系列实验中，我们的卷积视频前端平均相对减少了2%。
2022-10-31 cs.CV cs.LG cs.SD
Attention or Convolution: Transformer Encoders in Audio Language Models for Inference Efficiency
Meta
本文发现，简单的自监督预训练音频模型配合纯自注意力编码器，在低比特量化下能达到与混合卷积-注意力语音Transformer相当的推理效率，且避免量化模块间误差传播。
2024-02-08 cs.CL cs.SD eess.AS
