Automatic DJ Transitions with Differentiable Audio Effects and Generative Adversarial Networks
Sony Group Corporation(索尼集团公司)
DJ的一个中心任务是创建一个在相邻曲目之间具有无缝过渡的音乐混音集。在本文中,我们探索了一种数据驱动的方法,该方法使用生成对抗网络通过从真实世界的DJ混音中学习来创建歌曲过渡。具体地,模型的生成器使用两个可微分的数字信号处理组件,均衡器(EQ)和衰减器,以混合由数据生成流水线选择的两个轨道。生成器必须设置EQ和推子的参数,以使生成的混音类似于由人类DJ创建的真实混音,由人类DJ判断。听力测试的结果表明,该模型可以达到竞争力的结果相比,一些基线。
2022-02-17 cs.LG cs.SD eess.AS
Blind estimation of audio effects using an auto-encoder approach and differentiable digital signal processing
本文提出一种基于自编码器和可微数字信号处理的盲音频效果估计方法,无需知道效果器的具体实现,通过优化音频质量指标,相比传统参数方法能更准确地估计音频质量。
2024-02-09 cs.SD eess.AS
DDX7: Differentiable FM Synthesis of Musical Instrument Sounds
Queen Mary University of London(伦敦玛丽女王大学)
FM合成是一种众所周知的算法,用于从一组紧凑的设计基元生成复杂的音色。它通常具有一个音频接口,从音频源控制它通常是不切实际的。另一方面,可微分数字信号处理(DDSP)通过深度神经网络(DNN)实现了细致入微的音频渲染,该深度神经网络学习从任意声音输入控制可微分合成层。训练过程涉及用于监督的音频语料库和频谱重建损失函数。这样的函数,虽然是伟大的匹配频谱幅度,缺乏音调方向,这可能会阻碍FM合成器的参数的联合优化。在本文中,我们采取措施,使一个完善的FM合成架构从音频输入的连续控制。首先,我们讨论了一组设计约束,通过标准的重建损失,简化频谱优化的可微分FM合成器。接下来,我们介绍了可区分DX7(DDX7),这是一种轻量级架构,用于在一组紧凑的参数中对乐器声音进行神经FM再合成。我们训练模型的仪器样本提取的URMP数据集,并定量地证明其可比的音频质量对选定的基准。
2022-08-12 cs.LG cs.SD eess.AS
Diff2Mix: Controllable Music Mixing via Diffusion Models and Differentiable Audio Effects
Queen Mary University of London(伦敦玛丽女王大学)
本文提出Diff2Mix系统,结合扩散模型与可微分音频效果,实现兼具高质量与可控风格的自动音乐混音,通过多维度评估验证其性能。
2026-08-07 cs.SD eess.AS
FLAMO: An Open-Source Library for Frequency-Domain Differentiable Audio Processing
提出开源库FLAMO,基于频率采样滤波器设计方法实现可微分线性时不变音频系统,简化开发流程,通过人工混响器和有源声学系统优化案例验证其实际应用价值。
2025-04-14 eess.AS
Differentiable Dictionary Search: Integrating Linear Mixing with Deep Non-Linear Modelling for Audio Source Separation
Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校)
本文介绍了几个改进的信号分解的新方法,我们最近制定的名称下的微分字典搜索(DDS)。DDS的基本思想是利用一类强大的深度可逆密度估计器(称为归一化流),以线性分解方法(如NMF)对字典进行建模,有效地在字典元素空间和相关概率空间之间创建双射,允许在估计密度的指导下通过字典空间进行可微搜索。由于最初的公式是一个概念证明,有一些实际的限制,我们将提出几个步骤,使其可扩展,希望提高计算复杂性的方法和信号分解能力。作为实验评估的测试平台,我们选择了框架级钢琴转录的任务,其中信号被分解为活动归因于单个钢琴音符的源。为了突出改进的非线性建模源的影响,我们比较我们的方法的变体的线性过完备NMF基线。实验结果将表明,即使在没有额外的约束,我们的模型产生越来越稀疏和精确的分解,根据两个相关的评估措施。
2022-11-28 cs.LG cs.SD eess.AS
Differentiable Modelling of Percussive Audio with Transient and Spectral Synthesis
Queen Mary University of London(伦敦玛丽女王大学);Ableton AG(Ableton公司);Imperial College London(帝国理工学院)
针对DDSP缺乏暂态建模的问题,提出结合正弦建模与调制时序卷积网络的打击乐合成框架,有效提升了膜鸣打击乐器的起音信号重构效果。
2023-09-13 cs.SD eess.AS
Differentiable Black-box and Gray-box Modeling of Nonlinear Audio Effects
Queen Mary University of London(伦敦玛丽女王大学);Centre for Digital Music(数字音乐中心)
本文在 ToneTwist AFx 数据集上系统比较多种非线性音频效果的可微黑盒与灰盒模型,提出时变灰盒及压缩器、失真、法兹模型,并结合客观与主观评估确定适用架构。
2025-02-20 cs.SD eess.AS
Unsupervised Harmonic Parameter Estimation Using Differentiable DSP and Spectral Optimal Transport
Telecom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎综合理工学院)
本文提出基于最优传输理论的谱损失函数,通过轻量级编码器和可微分谐波合成器联合估计基频与谐波幅度,解决无监督音高估计与合成器联合训练难题。
2024-01-15 cs.LG cs.SD eess.AS
Lightweight and interpretable neural modeling of an audio distortion effect using hyperconditioned differentiable biquads
iZotope, Inc.(iZotope公司)
在这项工作中,我们建议使用可微级联biquads模型的音频失真效果。我们将可训练的无限脉冲响应(IIR)滤波器扩展到超条件的情况下,在这种情况下,学习变换以直接将失真效应的外部参数映射到其内部滤波器和增益参数,以及确保滤波器稳定性所需的激活。我们提出了一种新的,有效的IIR滤波器的训练计划,通过傅里叶变换。相对于使用有限脉冲响应滤波器的更传统的黑盒神经音频效果建模方法,我们的模型具有更少的参数和更低的复杂性。我们最小、性能最好的模型充分模拟了44.1 kHz的BOSS MT-2踏板,总共使用了40个双四边形,只有210个参数。它的模型参数是可解释的,可以与原始模拟音频电路相关联,甚至可以在模型训练后由机器学习非专家直观地改变。定量和定性的结果说明了所提出的方法的有效性。
2021-03-15 cs.SD eess.AS eess.SP
Self-Supervised Learning of Audio Representations from Permutations with Differentiable Ranking
Google Brain Paris(谷歌大脑巴黎分部)
使用所谓的“借口”任务的自我监督预训练最近在各种各样的模式中表现出令人印象深刻的性能。在这项工作中,我们从排列中推进自监督学习,通过预训练模型来重新排序音频信号的频谱图的混洗部分,以提高下游分类性能。我们做出了两个主要贡献。首先,我们克服了将置换反转集成到端到端训练方案中的主要挑战,使用可微排名的最新进展。在此之前,通过将重新排序任务转换为分类,从根本上减少了可以利用的排列空间,从而回避了这一点。我们的实验验证了从所有可能的排列中学习比使用有限的固定集合提高了预训练表示的质量。其次,我们表明,颠倒排列是以无监督方式学习音频表示的一项有意义的借口任务。特别是,我们通过在时间-频率空间中重新排序谱图补丁来改进乐器分类和音符的音高估计。
2021-03-17 cs.AI cs.SD eess.AS
A Differentiable Perceptual Audio Metric Learned from Just Noticeable Differences
Princeton University(普林斯顿大学);Adobe Research(奥多比研究院)
许多音频处理任务需要感知评估。获得人类判断的“黄金标准”是耗时的,昂贵的,并且不能用作优化标准。另一方面,自动化指标计算效率高,但通常与人类判断相关性差,特别是对于人类检测阈值处的音频差异。在这项工作中,我们通过将深度神经网络拟合到一个新的大型众包人类判断数据集来构建一个度量。受试者被要求回答一个简单、客观的问题:两个录音是否相同?这些对是在各种扰动下通过算法生成的,包括噪声、混响和压缩伪影;探测扰动空间的目的是有效地识别受试者的刚可察觉差异(JND)水平。我们表明,由此产生的学习度量是很好的校准与人类的判断,优于基线方法。由于它是一个深度网络,因此该度量是可微的,使其适合作为其他任务的损失函数。因此,简单地替换现有的损失(例如,深度特征损失)与我们的度量在去噪网络中产生显著的改进,如通过主观成对比较所测量的。
2020-05-18 cs.SD eess.AS
Room Impulse Response Synthesis via Differentiable Feedback Delay Networks for Efficient Spatial Audio Rendering
Perceptual Interfaces \& Reality Lab Department of Computer Science \& UMIACS University of Maryland, College Park
本研究提出一种可微可调的FDN架构,通过可微编程优化参数匹配RIR声学指标,实现实时动态空间音频渲染,质量接近传统BRIR卷积且计算成本大幅降低。
2025-09-30 cs.SD eess.AS
Automatic multitrack mixing with a differentiable mixing console of neural audio effects
Dolby Laboratories(杜比实验室)
深度学习在自动多轨混音中的应用在很大程度上尚未探索。这部分是由于可用数据有限,再加上这些数据相对来说是非结构化的和可变的。为了解决这些挑战,我们提出了一个域启发的模型,具有很强的归纳偏见的混合任务。我们通过应用预训练的子网络和权重共享以及和/差立体声损失函数来实现这一点。所提出的模型可以用有限数量的例子进行训练,相对于输入顺序是置换不变的,并且对输入源的数量没有限制。此外,它还生成人类可读的混合参数,允许用户手动调整或优化生成的混合。涉及音频工程师的感知评估结果表明,我们的方法产生的混合优于基线方法。据我们所知,这项工作展示了第一种方法,在学习多轨混合公约,从现实世界的数据在波形水平,没有知识的基础混合参数。
2020-10-20 cs.SD eess.AS
Mesostructures: Beyond Spectrogram Loss in Differentiable Time-Frequency Analysis
Queen Mary University of London(伦敦玛丽女王大学);Nantes Université(南特大学);École Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心)
计算机音乐家将细观结构称为波形微观结构和音乐形式宏观结构之间的中间层次。中间结构的例子包括旋律、琶音、切分音、复调组合和织体对比。尽管它们在音乐表达中发挥着核心作用,但在深度学习中受到的关注有限。目前,自动编码器和神经音频合成器仅在微观结构的尺度上进行训练和评估:即,局部振幅变化可达100毫秒左右。在本文中,我们制定和解决问题的细观结构音频建模通过一个组成的可微琶音和时间-频率散射。我们的经验表明,时间-频率散射作为一个微分模型的相似性之间的合成参数,管理介观结构。通过暴露的敏感性,短时间的频谱距离的时间对齐,我们激励需要一个时不变的和多尺度可微的时间-频率模型的相似性在本地频谱和spectromemporal调制的水平。
2023-01-24 cs.LG cs.SD eess.AS
Compiling Differentiable Audio Graphs to Real-Time DSP
Massachusetts Institute of Technology(麻省理工学院);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔兰根-纽伦堡弗里德里希-亚历山大大学)
提出ADAC编译器,将可微音频模型转换为FAUST代码,实现实时音频效果插件,支持梯度更新后热替换模型,并保证稳定性。
2026-06-23 cs.PL cs.SD eess.AS
Modulation Discovery with Differentiable Digital Signal Processing
Centre for Digital Music, Queen Mary University of London, UK(伦敦大学女王学院数字音乐中心);Independent Researcher, Singapore(新加坡独立研究者)
提出一种基于调制提取、约束控制信号参数化和可微分数字信号处理的神经声音匹配方法,用于发现声音中的调制,并在合成与真实音频上验证其有效性与可解释性权衡。
2025-10-07 cs.LG cs.SD eess.AS
Diff-MST: Differentiable Mixing Style Transfer
Centre for Digital Music, Queen Mary University of London(伦敦玛丽女王大学数字音乐中心);Steinberg Media Technologies GmbH(斯坦伯格媒体技术有限公司)
针对现有混音风格迁移系统轨数固定、缺乏可解释性等问题,提出含可微混音台、transformer控制器和定制损失的Diff-MST框架,支持任意轨数输入与事后调整,性能优于强基线。
2024-07-11 cs.SD eess.AS
Efficient bandwidth extension of musical signals using a differentiable harmonic plus noise model
Nantes Université(南特大学);École Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心);LS2N(南特数字科学实验室)
本文提出基于可微数字信号处理(DDSP)的谐波加噪声模型,高效实现单声道与多声道音乐信号带宽扩展,在客观指标与MUSHRA听力测试中均优于高复杂度深度学习模型。
2023-11-27 cs.SD eess.AS
Efficient Audio Enhancement with a Differentiable Psychoacoustic Loss
Federal University of Rio de Janeiro(里约热内卢联邦大学);Télécom Paris, IP Paris(巴黎电信学院,巴黎理工学院)
本研究提出AEROMamba_P与AEROMamba_PS两种高效音频增强模型,结合Mamba状态空间模型与PAQM可微分损失,在带宽扩展和压缩音频恢复任务中,实现了感知质量提升与计算资源消耗降低的双重优势。
2026-08-05 eess.AS
DiffSound: Differentiable Modal Sound Rendering and Inverse Rendering for Diverse Inference Tasks
School of Computer Science, Peking University(北京大学计算机学院);University of Maryland, College Park(马里兰大学学院公园分校);Stanford University(斯坦福大学)
本文提出DiffSound,一个基于物理的可微模态声音渲染框架,结合隐式形状表示、高阶有限元分析和可微音频合成器,解决物理参数估计、几何形状推理和撞击位置预测等逆问题,能准确重现目标声音。
2024-09-20 cs.SD eess.AS
EfficientLEAF: A Faster LEarnable Audio Frontend of Questionable Use
Institute of Computational Perception Johannes Kepler University Linz, Austria
在音频分类中,具有很少参数的可微分听觉滤波器组覆盖硬编码频谱图和原始音频之间的中间地带。LEAF(arXiv:2101.08596)是一种基于Gabor的滤波器组,与每通道能量归一化(PCEN)相结合,已显示出有希望的结果,但计算成本很高。使用不均匀的卷积核大小和步长,并通过用更好的可并行操作替换PCEN,我们可以更有效地获得类似的结果。在六个音频分类任务的实验中,我们的前端以3%的成本与LEAF的准确度相匹配,但两者都未能始终优于固定的梅尔滤波器组。对可学习的音频前端的探索还没有解决。
2022-07-12 cs.LG cs.SD eess.AS
Differentiable Time-Frequency Scattering on GPU
CNRS(法国国家科学研究中心);LS2N(南特数字科学实验室)
联合时频散射(JTFS)是一种时频域的卷积算子,可以提取不同速率和尺度的谱时调制。它提供了一个理想化的模型spectrotemporal感受野(STRF)在初级听觉皮层,因此可以作为一个生物学合理的替代人类的感知判断孤立的音频事件的规模。然而,JTFS和STRF的先前实现仍然在用于音频生成的感知相似性度量和评估方法的标准工具包之外。我们将这个问题归结为三个限制:可微性、速度和灵活性。在本文中,我们介绍了Python中时频散射的实现。与之前的实现不同,我们的实现将NumPy、PyTorch和TensorFlow作为后端,因此在CPU和GPU上都是可移植的。我们证明了有用的JTFS通过三个应用程序:无监督流形学习的spectrotemporal调制,监督分类的乐器,和纹理再合成的生物声学声音。
2022-07-19 cs.LG cs.SD eess.AS
DDSP-SFX: Acoustically-guided sound effects generation with differentiable digital signal processing
Dolby Laboratory(杜比实验室)
本文提出DDSP-SFX模型,基于可微分数字信号处理实现高质量音效合成,并通过瞬态建模与音色控制方法支持确定性的声学属性控制和音色迁移。
2023-09-14 cs.SD eess.AS
ST-ITO: Controlling Audio Effects for Style Transfer with Inference-Time Optimization
Queen Mary University of London(伦敦玛丽女王大学)
针对现有风格迁移方法只能控制固定且通常需可微效果的问题,本文提出 ST-ITO,在推理时用无梯度优化搜索任意效果链参数,并构建多部分基准验证其风格表征与迁移效果。
2024-10-28 cs.SD eess.AS
Text2FX: Harnessing CLAP Embeddings for Text-Guided Audio Effects
Northwestern University(西北大学)
提出 Text2FX,利用 CLAP 嵌入与可微 DSP 通过免训练单实例优化,将开放词汇文本提示映射为均衡、混响等音频效果参数,并经听者研究验证。
2025-02-20 cs.SD eess.AS
Physics-Informed Neural Engine Sound Modeling with Differentiable Pulse-Train Synthesis
提出脉冲串-谐振器(PTR)模型,通过可微分合成架构直接建模发动机脉冲形状和时间结构,利用物理信息归纳偏置提升谐波重建质量并降低总损失。
2026-06-02 cs.AI cs.SD eess.AS
PhaseAug: A Differentiable Augmentation for Speech Synthesis to Simulate One-to-Many Mapping
MINDsLab Inc.(MINDsLab公司)
提出PhaseAug,一种通过旋转频率仓相位模拟语音合成一对多映射的可微增强方法,无需修改架构即可超越基线,减少周期性伪影。
2023-03-13 cs.AI cs.SD eess.AS
Unsupervised Music Source Separation Using Differentiable Parametric Source Models
Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院);Sonos Inc.(搜诺思公司)
欠定音频声源分离的监督深度学习方法实现了最先进的性能,但需要混合物的数据集以及它们相应的隔离源信号。这样的数据集对于音乐混合物的获得可能是极其昂贵的。这就需要无监督的方法。我们提出了一种新的基于无监督模型的深度学习方法来进行音乐声源分离。每个源被建模与可微参数源滤波器模型。训练神经网络以通过在给定源模型的基频的情况下估计源模型的参数来将所观察到的混合重构为源的和。在测试时,从合成的源信号中获得软掩模。对声乐合奏分离任务的实验评估表明,该方法优于基于非负矩阵分解和监督深度学习基线的无学习方法。将领域知识以源模型的形式集成到数据驱动的方法中,可以提高数据效率:即使在不到三分钟的音频上训练,所提出的方法也可以实现良好的分离质量。这项工作使得强大的基于深度学习的分离可用于具有地面实况的训练数据昂贵或不存在的场景。
2023-01-31 cs.AI cs.LG cs.SD
DiffMoog: a Differentiable Modular Synthesizer for Sound Matching
Tel-Aviv University(特拉维夫大学);The Open University(开放大学)
提出可微分模块化合成器 DiffMoog 及端到端声音匹配框架,通过信号链损失和自编程编码器预测合成器参数,支持复现目标音频。
2024-01-23 cs.AI cs.SD eess.AS
Differentiable Grey-box Modelling of Phaser Effects using Frame-based Spectral Processing
University of Edinburgh(爱丁堡大学);Centre for Speech Technology Research(语音技术研究中心);Acoustics and Audio Group(声学与音频组)
针对 phaser 调制效果中低频振荡器控制信号未知且现有方法非因果的问题,提出基于短帧频域滤波的可微灰盒模型,联合学习控制信号与时变频谱响应,并分析帧长影响。
2023-06-02 cs.LG cs.SD eess.AS
AWARE: Audio Watermarking with Adversarial Resistance to Edits
AWARE通过对抗优化在时频域内实现音频水印嵌入,采用不依赖攻击模拟堆栈和手工设计的可微分畸变的检测方法,提升水印解码可靠性。
2026-03-16 cs.LG cs.MM cs.SD
DDSP: Differentiable Digital Signal Processing
Google Research(谷歌研究院)
大多数音频生成模型直接在两个域之一生成样本:时间或频率。虽然足以表达任何信号,但这些表示是低效的,因为它们没有利用关于声音如何产生和感知的现有知识。第三种方法(声码器/合成器)成功地结合了信号处理和感知的强大领域知识,但由于有限的表达性和与现代基于自动微分的机器学习方法集成的困难,研究较少。在本文中,我们介绍了可微分数字信号处理(DDSP)库,它可以直接集成经典信号处理元素与深度学习方法。专注于音频合成,我们实现了高保真的生成,而不需要大的自回归模型或对抗性损失,这表明DDSP能够利用强归纳偏差,而不会失去神经网络的表达能力。此外,我们表明,结合可解释的模块允许操纵每个单独的模型组件,与应用程序,如独立控制的音高和响度,现实的外推到训练过程中看不到的音高,室内声学的盲去混响,提取的室内声学转移到新的环境中,和不同来源之间的音色的转换。简而言之,DDSP实现了可解释和模块化的生成建模方法,而不会牺牲深度学习的优势。该库在https://github.com/magenta/ddsp上公开,我们欢迎社区和领域专家的进一步贡献。
2020-01-14 cs.LG cs.SD eess.AS
AutoKWS: Keyword Spotting with Differentiable Architecture Search
Xiaomi AI Lab(小米人工智能实验室)
智能音频设备通过始终在线的轻量级关键字识别程序进行门控,以降低功耗。然而,设计具有高准确性和低延迟的模型以实现准确和快速的响应是具有挑战性的。已经做出了许多努力来开发端到端神经网络,其中依赖可分离卷积,时间卷积和LSTM被用作构建单元。尽管如此,这些利用人类专业知识设计的网络可能无法在广阔的搜索空间中实现最佳权衡。在本文中,我们建议利用可微神经结构搜索的最新进展来发现更有效的网络。我们搜索的模型在Google Speech Command Dataset v1上达到了97.2%的top-1准确率,只有近10万个参数。
2021-02-22 cs.SD eess.AS
FxSearcher: gradient-free text-driven audio transformation
Korea Advanced Institute of Science and Technology, KAIST(韩国科学技术院)
FxSearcher通过无梯度框架和引导提示,实现基于文本提示的高质量音频变换,有效提升音频效果配置的优化效率与人类偏好匹配度。
2025-11-20 cs.SD eess.AS
Differentiable Time-Varying Linear Prediction in the Context of End-to-End Analysis-by-Synthesis
Queen Mary University of London(伦敦玛丽女王大学)
本文提出将GOLF声码器的高效时不变线性预测推广到时变情形,实现逐样本可微分LP端到端训练,并在语音重建质量和听音测试中优于逐帧方法及可微分WORLD声码器。
2024-10-18 cs.SD eess.AS
Differentiable Allpass Filters for Phase Response Estimation and Automatic Signal Alignment
Aalborg University(奥尔堡大学);Native Instruments
针对虚拟模拟效果中相位响应引发的并行处理伪影,提出可微全通滤波与基于 BiasNet 的深度优化方法,实现相位估计及干湿信号自动对齐。
2023-06-02 cs.SD eess.AS
CatNet: music source separation system with mix-audio augmentation
ByteDance(字节跳动)
音乐声源分离(MSS)是将音乐片段分离成单个源(例如人声和伴奏)的任务。最近,基于神经网络的方法已经被应用于解决MSS问题,并且可以被分类为基于频谱图和基于时域的方法。然而,利用频谱图和时域输入的互补信息进行MSS的研究还很缺乏。在这篇文章中,我们提出了一个CatNet框架,该框架将使用频谱图作为输入的UNet分离分支和使用时域波形作为MSS输入的WavUNet分离分支连接起来。我们提出了一个端到端和完全可区分的系统,将频谱图计算纳入CatNet。此外,我们提出了一种新的混合音频数据增强方法,随机混合来自相同源的音频片段作为增强的音频片段进行训练。我们提出的CatNet MSS系统实现了7.54 dB的最先进的人声分离源失真比(SDR),优于在MUSDB18数据集上评估的6.57 dB的MMDenseNet。
2021-02-19 cs.SD eess.AS
Real-time Timbre Remapping with Differentiable DSP
Queen Mary University of London(伦敦玛丽女王大学);Ableton AG(Ableton公司);Imperial College London(帝国理工学院)
本文提出基于可微分DSP和特征差异损失的实时音色重映射方法,将原声小军鼓的音色表现映射到TR-808合成器控制参数上,实现保留分级音色调制的实时转换。
2024-07-05 cs.AI cs.LG cs.SD
Deep Optimization of Parametric IIR Filters for Audio Equalization
Università Politecnica delle Marche(马尔凯理工大学);ASK Industries S.p.A.(ASK工业股份公司)
本文描述了一种新的深度学习方法,用于设计用于自动音频均衡的IIR参数滤波器。提出了一种简单有效的神经网络结构BiasNet来确定IIR均衡器的参数。输出反归一化技术用于获得IIR滤波器中心频率、品质因数和增益的精确调谐。所提出的方法中涉及的所有层都是可微的,允许反向传播优化网络权重,并在多次训练迭代后实现最佳输出。参数相对于基于测量的幅度响应和期望的幅度响应之间的谱距离的损失函数以及用于实现声场景的空间化的正则化项进行优化。实验评估考虑了两种具有不同特征的场景:一个房间和一个汽车舱。所提出的方法的性能提高了基线技术,并实现了几乎平坦的频带。此外,IIR滤波器相对于FIR滤波器在运行时间期间提供一致较低的计算成本。
2021-10-05 cs.SD eess.AS
Fast threshold optimization for multi-label audio tagging using Surrogate gradient learning
IRIT(图卢兹计算机科学研究所);CNRS(法国国家科学研究中心);CERCO UMR 5549(认知与脑科学联合研究单位(UMR 5549))
多标签音频标记包括将标签集分配给音频记录。在推理时,将阈值应用于由概率分类器输出的置信度分数,以决定哪些类被检测为活动的。在这项工作中,我们考虑使用一个经过训练的分类器,并根据感兴趣的性能指标自动优化决策阈值,在我们的情况下是F-测量(micro-F1)。我们提出了一种新的方法,称为SGL-Thresh的替代梯度学习的控制点,利用梯度下降。由于F1是不可微的,我们建议近似的阈值操作梯度与S形函数的梯度。我们使用最先进的预训练深度神经网络报告了三个数据集上的实验。在所有情况下,SGL-Thresh优于其他三种方法:默认阈值(defThresh),启发式搜索算法和数值估计F1梯度的方法。在AudioSet eval上达到54.9\%F1,而defThresh为50.7%。SGL-Thresh非常快速,可扩展到大量标签。为了便于再现,Pytorch中的数据和源代码可在线获得:https://github.com/topel/SGL-Thresh
2021-03-01 cs.AI cs.SD eess.AS
HiFi-Glot: High-Fidelity Neural Formant Synthesis with Differentiable Resonant Filters
Acoustic Lab, Department of Information Communications Engineering, Aalto University(声学实验室,信息与通信工程系,艾尔沃大学);School of Data Science, The Chinese University of Hong Kong, Shenzhen(数据科学学院,香港中文大学(深圳));Department of Speech, Music and Hearing, KTH Royal Institute of Technology(语音、音乐与听觉系,皇家理工学院)
HiFi-Glot通过可微共振滤波器实现高保真神经元音合成,提供精确的元音控制和自然语音生成。
2026-02-16 cs.SD eess.AS
Learning Temporal Resolution in Spectrogram for Audio Classification
University of Surrey(萨里大学);The Chinese University of Hong Kong(香港中文大学)
本文提出可微分时间分辨率建模方法DiffRes,在音频频谱图与分类器之间动态合并冗余时间帧,在五个音频分类任务上以至少25%的计算成本降低实现相当或更好的精度。
2024-01-12 cs.AI cs.MM cs.SD
Neural Waveshaping Synthesis
Queen Mary University of London(伦敦玛丽女王大学)
我们提出了神经波整形单元(NEWT):一种新颖的,轻量级的,完全因果关系的神经音频合成方法,直接在波形域中操作,伴随着高效的CPU推理优化(FastNEWT)。NEWT使用具有周期性激活的时间分布多层感知器来隐式地学习对目标音色的特征进行编码的非线性传递函数。一旦训练好,NEWT就可以通过对其输入和输出信号进行简单的仿射变换来产生复杂的音色演变。我们将NEWT与可区分的噪声合成器和混响配对,发现它能够在F0和响度特征的条件下仅用260k总模型参数生成逼真的乐器表演。我们将我们的方法与多刺激听力测试和Fréchet音频距离的最先进基准进行了比较,发现它在测试的音色域中具有竞争力。我们的方法在生成速度方面显著优于基准测试,并在有和没有FastNEWT的消费CPU上实现了实时性能,这表明它是未来创意声音设计工具的可行基础。
2021-07-27 cs.LG cs.SD eess.AS
Gradient-Based Learning of Parametric Engine Sound Representations for Real-Time Resynthesis and Tuning on Embedded Systems
Impulse Audio Lab GmbH(脉冲音频实验室有限公司)
提出一种基于神经网络和梯度优化的引擎声音建模方法,通过分析-合成学习紧凑参数表示,实现高保真重合成并兼容现有汽车音频框架,在嵌入式平台上验证可行性。
2026-06-23 cs.SD eess.AS
StemFX: Learning Mixing Style Representations via Autoregressive FX Chain Prediction on Source-Separated Stems
研究如何学习混音风格表示,提出StemFX框架,通过自回归预测源分离音轨上的FX链,Transformer解码器与多频段CNN编码器协同工作,经大规模训练后在混音风格检索和转换任务中表现出色,远超基线模型和迭代优化。
2026-07-27 cs.SD eess.AS
NoiseBandNet: Controllable Time-Varying Neural Synthesis of Sound Effects Using Filterbanks
University of York(约克大学);University of Miami(迈阿密大学);Music Artificial Intelligence Algorithms, Inc.(音乐人工智能算法公司)
本文提出 NoiseBandNet,利用滤波器组滤波白噪声实现可控时变音效合成,在多类音效重建中优于 DDSP 滤波噪声基线,并支持变体生成、响度迁移和自定义控制。
2023-07-16 cs.SD eess.AS