Audio-noise Power Spectral Density Estimation Using Long Short-term Memory
Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble-INP(格勒诺布尔理工学院);GIPSA-lab(GIPSA实验室)
提出了一种利用长短期记忆(LSTM)网络估计短时傅里叶变换(STFT)域表示的单声道音频信号的噪声功率谱密度(PSD)的方法。对所有频段公共的LSTM网络进行训练,其通过将有噪声的STFT幅度序列映射到其对应的噪声PSD序列来单独处理每个频段。与基于深度学习的语音增强方法不同,该方法学习语音段的全频带频谱结构,所提出的方法利用具有长时间依赖性的噪声的子带STFT幅度演变,本着文献中描述的无监督噪声估计器的精神。与不同类型的噪声的扬声器和语音独立的实验表明,该方法优于无监督估计,并推广到不存在于训练集中的噪声类型。
2019-04-10 cs.SD eess.AS eess.SP
Quantized Approximate Signal Processing (QASP): Towards Homomorphic Encryption for audio
Tu Duyen Nguyen;Adrien Lesage;Clotilde Cantini;Rachid Riad
本文提出 QASP 安全流水线,结合 FHE、量化神经网络与近似 STFT,实现音频时频表示、描述符及 CNN 分类的加密计算,并在 VocalSet 和 OxVoc 上验证其隐私性与性能。
2025-05-15 cs.CR cs.SD eess.AS
INSTRUMENTAL: Automatic Synthesizer Parameter Recovery from Audio via Evolutionary Optimization
Philipp Bogdan
INSTRUMENTAL通过结合可微28参数减法合成器与CMA-ES优化器,自动从音频中恢复连续合成器参数,通过感知损失优化提升匹配精度,发现参数增强和谱分析初始化对收敛有帮助。
2026-03-16 cs.SD
Optimizing Short-Time Fourier Transform Parameters via Gradient Descent
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(Adobe研究院)
短时傅里叶变换(STFT)是信号处理的重要组成部分,通常是许多音频任务的第一步。使用STFT时,一个非常熟悉的过程是寻找最佳STFT参数,因为如果选择不当,它们通常会产生显著的副作用。这些参数通常根据整数个样本来定义,这使得它们的优化不是平凡的。在本文中,我们展示了一种方法,使我们能够获得梯度的STFT参数相对于任意代价函数,从而使能够采用梯度下降优化的数量,如STFT窗口长度,或STFT跳的大小。我们这样做的参数值,保持恒定的整个输入,但也为这些参数的情况下,必须随时间动态变化,以适应不同的信号特性。
2021-02-18 cs.LG cs.SD eess.AS
ESResNe(X)t-fbsp: Learning Robust Time-Frequency Transformation of Audio
DFKI GmbH(德国人工智能研究中心);TU Kaiserslautern(凯泽斯劳滕工业大学)
环境声音分类(ESC)是一个快速发展的领域,最近证明了视觉领域技术应用于音频相关任务的优势。以往的研究表明,跨领域方法的特定领域的修改显示出在推动整个领域的ESC向前发展的承诺。在本文中,我们提出了一种新的时频变换层,是基于复频率B样条(fbsp)小波。与高性能音频分类模型一起使用,所提出的fbsp层提供了比先前在标准数据集上使用的短时傅立叶变换(STFT)更高的精度。我们还研究了不同预训练策略的影响,包括联合使用两个大规模数据集进行权重初始化:ImageNet和AudioSet。我们提出的模型在ESC-50和UrbanSound 8 K数据集上分别实现了95.20%和89.14%的准确率,优于其他方法。此外,我们评估了模型对加性高斯白噪声的鲁棒性的增加和所提出的层引入的有效采样率的降低,并证明了与基于STFT的训练相比,fbsp层提高了模型承受信号扰动的能力。为了可重复性,我们的代码是可用的。
2021-04-23 cs.SD eess.AS
Music demixing with the sliCQ transform
McGill University(麦吉尔大学)
音乐声源分离是从音乐音频中提取一个或多个隔离源或乐器(例如,鼓或人声)的估计的任务。音乐去混合或去混合的任务考虑音乐音频被分离成其所有组成源的估计的情况,该估计可以被求和回到原始混合。音乐分层挑战赛旨在激发新的分层研究。Open-Unmix(UMX)和改进的变体CrossNet-Open-Unmix(X-UMX)作为基线被包括在挑战中。这两种模型都使用短时傅立叶变换(STFT)作为音乐信号的表示。时频不确定性原理指出,信号的STFT不能在时间和频率上都具有最大分辨率。时间-频率分辨率的折衷可以显著地影响音乐去混合结果。我们提出的UMX适应用sliCQT代替了STFT,sliCQT是一种具有不同时频分辨率的时频变换。不幸的是,我们的模型xumx-sliCQ实现了比UMX更低的分层分数。
2021-12-09 cs.SD eess.AS
A dictionary learning and source recovery based approach to classify diverse audio sources
Indian Institute of Science(印度科学学院);Voice and Speech Systems(语音与言语系统公司)
提出了一种基于字典学习的音频源分类算法,用于将样本音频信号分类为不同音频源的有限集合中的一个。在字典学习过程中,使用余弦相似性度量来选择原子。基于提出的三个客观指标,即信号失真比(SDR),非零权重的数量和权重的总和,一个逐帧源分类的准确率为98.2%的12个不同的来源。百分之几的准确度已经获得了使用移动SDR累积在六个连续的帧为10个音频源测试,而其他两个源需要10和14帧的积累。
2015-10-27 cs.SD
Phase recovery in NMF for audio source separation: an insightful benchmark
非负矩阵分解(NMF)是在时频域(TF)分解混合音频信号的有力工具。在诸如声源分离的应用中,每个提取分量的相位恢复是一个主要问题,因为它经常导致可听伪像。在本文中,我们提出了一种方法来评估各种基于NMF的声源分离技术,涉及相位重建。对于每一个模型考虑,两种方法之间的比较(盲分离没有先验信息和有监督的模型学习的预言分离)进行,以询问改进的空间的估计方法。实验结果表明,高分辨率NMF(HRNMF)模型是特别有前途的,因为它能够考虑相位和相关性随着时间的推移,具有很大的表达能力。
2016-05-24 cs.SD
Phase Vocoder Done Right
Acoustics Research Institute, Austrian Academy of Sciences(奥地利科学院声学研究所)
相位声码器(PV)是用于处理音频信号的广泛传播的技术。它采用短时傅立叶变换(STFT)分析-修改-合成回路,并且通常通过使用不同的时间步长进行STFT分析和合成来用于信号的时间缩放。用于该目的的PV的主要挑战是STFT相位的校正。本文提出了一种基于相位梯度估计及其积分的相位校正方法。该方法不需要明确的峰值拾取和跟踪,也不需要检测瞬态和它们的单独处理。然而,即使对于极端的时间拉伸因素,该方法也不会遭受典型的相位声码器伪影。
2022-02-15 cs.MS cs.SD eess.AS
nnAudio 2: Overcoming Dynamic Compilation Barriers and Transform Inconsistencies
Singapore University of Technology and Design(新加坡科技设计大学)
针对 nnAudio 在 TorchScript 编译、逆变换边缘情况和依赖漂移方面的问题,通过移除动态状态变异、限制逆变换适用范围并更新依赖,实现了与现代 PyTorch 和 SciPy 的兼容,提升了可微音频分析的鲁棒性。
2026-06-11 cs.SD eess.AS
Phase retrieval with Bregman divergences and application to audio signal recovery
IRIT, Université de Toulouse, CNRS(图卢兹大学IRIT研究所、法国国家科学研究中心);ISAE-SUPAERO, Université de Toulouse(图卢兹高等航空航天学院、图卢兹大学)
相位恢复(PR)的目的是从一组内积的幅度恢复信号。这个问题出现在对短时傅立叶变换幅度或功率谱图进行操作并丢弃相位信息的许多音频信号处理应用中。为了合成时域信号,从所得到的修改后的频谱图中恢复丢失的相位确实是必要的。PR通常通过考虑涉及二次损失函数的最小化问题来解决。在本文中,我们采取了不同的立场。实际上,二次损失并不能正确地解释音频的一些感知特性,并且在许多设置中,诸如β发散的替代差异度量是优选的。因此,我们制定PR作为一个新的最小化问题,涉及Bregman分歧。由于这些分歧是不对称的两个输入参数一般,他们导致两个不同的配方的问题。为了优化所得到的目标,我们推导出两个算法的基础上加速梯度下降和交替方向法的乘数。从精确的或从噪声观测估计的频谱图中进行的音频信号恢复实验突出了我们提出的音频恢复方法的潜力。特别是,利用这些Bregman分歧的一些诱导更好的性能比二次损失时,在非常嘈杂的条件下从频谱图执行PR。
2021-01-13 cs.SD
Phase recovery with Bregman divergences for audio source separation
IRIT(IRIT研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);ISAE-SUPAERO(法国高等航空航天学院)
时频音频声源分离通常通过估计每个源的短时傅里叶变换(STFT)幅度,然后应用相位恢复算法来恢复时域信号来实现。特别是,多输入频谱图反演(MISI)算法在最近的几项工作中表现出良好的性能。该算法最小化幅度谱图之间的二次重建误差。然而,这种损失并不能正确地解释音频的一些感知特性,并且在许多设置中,诸如β发散的替代差异测量是优选的。在本文中,我们建议重新制定相位恢复音频声源分离作为一个最小化问题,涉及布雷格曼分歧。为了优化得到的目标,我们推导出一个投影梯度下降算法。在语音增强任务上进行的实验表明,这种方法优于MISI的几个替代损失,这突出了它们的相关性音频声源分离应用。
2021-02-09 cs.SD eess.AS
LipsAM: Lipschitz-continuous Neural Networks for Convergent Plug-and-Play Audio Signal Recovery
Tokyo University of Agriculture and Technology(东京农工大学)
本文针对现有理论框架无法适配音频处理常用DNN的问题,提出利普希茨连续的LipsAM架构,开发其利普希茨常数评估框架,并将其应用于即插即用音频恢复,实现了可收敛的语音去混响算法。
2026-08-25 cs.SD
LiteCASS: A Lightweight End-to-End Network for Real-Time Stereo Cinematic Audio Source Separation
Southwestern University of Finance and Economics(西南财经大学);Xiaomi Automobile Co., Ltd.(小米汽车有限公司);Wuhan University(武汉大学)
针对现有电影音频源分离方法参数多、依赖GPU且仅支持单声道的问题,提出轻量级端到端网络LiteCASS,结合STFT子带重排与双U-Net实现实时立体声分离,以1.06M参数和0.72G MACs在DnR v3立体声扩展上取得最高平均SI-SDR。
2026-09-22 cs.SD
Phase retrieval with Bregman divergences: Application to audio signal recovery
IRIT, Université de Toulouse, CNRS(图卢兹大学IRIT研究所,法国国家科学研究中心);ISAE-SUPAERO(法国高等航空航天学院)
相位恢复的目的是从幅度或功率谱测量中恢复信号。它通常通过考虑涉及二次成本函数的最小化问题来解决。我们提出了一个不同的配方的基础上Bregman分歧,其中包括分歧,是适当的音频信号处理应用。我们推导出一个快速梯度算法来解决这个问题。
2020-11-25 cs.SD eess.AS
Instrument-Independent Dastgah Recognition of Iranian Classical Music Using AzarNet
K.N. Toosi University of Technology(霍斯拉维·纳赛尔·托西理工大学);University of Tabriz(大不里士大学);Islamic Azad University, Sari branch(伊斯兰阿扎德大学萨里分校)
本文提出了一种深度神经网络(DNN)AzarNet来识别Maryam伊朗古典音乐(MICM)数据集中的七种不同的伊朗古典音乐Dastgahs。在过去的几年里,人们对采用特征学习和DNN产生了极大的兴趣,这导致了所需的工程工作量的减少。与浅层处理架构相比,DNN在许多分类任务(例如音频信号分类)中表现出更好的性能。尽管有图像数据,但音频数据需要一些预处理步骤来提取频谱和时间特征。一些变换,如短时傅立叶变换(STFT)已被用于在现有技术的研究状态,从时域到时频域的音频信号变换提取的时间和频谱特征。在这项研究中,提取的特征STFT输出结果提供给AzarNet进行学习和分类过程。值得注意的是,上述数据集包含由两种乐器(小提琴和稻草)组成的音乐曲目。AzarNet在测试集上的总体f1得分,所有七个类别的平均值为86.21%,这是根据我们最好的知识在Dastgah分类中报告的最好结果。
2019-01-09 cs.LG cs.SD eess.AS
Signal Reconstruction from Mel-spectrogram Based on Bi-level Consistency of Full-band Magnitude and Phase
Tokyo Metropolitan University(东京都立大学)
针对从梅尔频谱图等低维频谱表示重建时域信号的问题,提出一种基于优化、利用全带幅度与相位双层关系联合重建的方法,经多类音频信号实验验证有效。
2023-07-23 cs.SD eess.AS eess.SP
A Two-Stage Framework in Cross-Spectrum Domain for Real-Time Speech Enhancement
Shanghai Jiao Tong University(上海交通大学);Tencent Video Cloud(腾讯云视频)
本文提出跨频谱域两阶段框架 FDFNet,在 STFT 域增强幅度后于 STDCT 域处理复数谱,以更高效地抑制噪声并恢复相位,实验性能优于已有两阶段及先进语音增强系统。
2024-01-19 cs.SD eess.AS
Online Spectrogram Inversion for Low-Latency Audio Source Separation
IRIT, Université de Toulouse, CNRS(图卢兹大学IRIT研究所,法国国家科学研究中心);Tampere University(坦佩雷大学)
音频声源分离通常通过估计每个源的短时傅里叶变换(STFT)幅度,然后应用频谱图反演算法来恢复时域信号来实现。特别是,多输入频谱图反演(MISI)算法已被成功地利用在最近的几项工作。然而,这种算法有两个缺点,我们在本文中解决。首先,它最初是以启发式的方式引入的:我们在这里提出了一个严格的优化框架,MISI是派生的,从而证明了该算法的收敛性。此外,虽然MISI离线运行,但我们在此提出了一种名为oMISI的MISI在线版本,它适用于低延迟声源分离,这是例如,助听器的应用oMISI还允许使用利用音频信号的时间结构的替代相位初始化方案。在语音分离任务上进行的实验表明,oMISI的表现以及其离线对应,从而证明了其实时声源分离的潜力。
2020-02-24 cs.SD eess.AS
No Time to Collapse: Unlocking Robustness and Multiplexed Capacity in Frozen Audio Watermarkers
University of Warwick(华威大学);OfSpectrum, Inc.(OfSpectrum 公司)
针对神经音频水印中时间折叠限制鲁棒性与多路复用能力的问题,本文冻结预训练水印器,仅训练低延迟Conformer解码器,在三个水印器上提升攻击恢复与AUROC,并显著改善多路复用联合恢复。
2026-09-25 cs.SD
Cross-Modal Watermarking for Authentic Audio Recovery and Tamper Localization in Synthesized Audiovisual Forgeries
Korea University(韩国大学);New York University(纽约大学)
本文提出跨模态水印框架,将真实音频嵌入视觉内容中,以在合成视听伪造中实现真实音频恢复和音频篡改定位,实验验证其对语音克隆和唇形同步等操纵的有效防御能力。
2025-07-17 cs.MM cs.SD eess.AS
Distortion Recovery: A Two-Stage Method for Guitar Effect Removal
National Taiwan University(台湾大学);Academia Sinica(中央研究院);Positive Grid
针对电吉他录音失真移除问题,提出使用商业级VST插件数据集的两阶段方法,通过Mel频谱图处理与神经声码器生成纯净声音,主客观指标均证明其优于现有方法。
2024-07-23 cs.SD eess.AS
Latent Vector Recovery of Audio GANs
Western University(韦仕敦大学)
高级生成对抗网络(GANs)在从随机潜在向量生成可理解的音频方面非常出色。在本文中,我们研究的任务,恢复的合成和真实的音频的潜在向量。以前的作品通过自动编码器启发的技术恢复给定音频的潜在向量,该技术与GAN并行或在生成器训练之后训练编码器网络。通过我们的方法,我们训练了一个深度残差神经网络架构,以将WaveGAN合成的音频投影到相应的潜在空间中,具有几乎相同的重建性能。为了适应真实音频原始特征向量的缺乏,我们对真实音频样本和预测特征向量的重构音频之间的感知损失进行了残差网络优化。在合成音频的情况下,地面实况和恢复的潜在向量之间的均方误差(MSE)也被最小化。我们进一步研究了当几个梯度优化步骤应用于预测的潜在向量时的音频重建性能。通过我们基于深度神经网络的真实和合成音频训练方法,我们能够预测对应于真实音频的合理重建的潜在向量。尽管我们在WaveGAN上评估了我们的方法,但我们提出的方法是通用的,可以应用于任何其他GANs。
2020-10-16 cs.AI cs.CV cs.SD
Making Separation-First Multi-Stream Audio Watermarking Feasible via Joint Training
Digital Innovation Research Center, Duke Kunshan University, Kunshan, China(杜克昆山大学数字创新研究中心);School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen, China(香港中文大学(深圳)人工智能学院);OfSpectrum, Inc., Los Angeles, USA(OfSpectrum公司,美国洛杉矶)
本文提出一种分离优先的多流水印框架,通过联合训练水印系统和分离器,提升分离后的水印恢复效果并保持感知质量。
2026-07-17 cs.SD
On the Use of Audio Fingerprinting Features for Speech Enhancement with Generative Adversarial Network
McGill University(麦吉尔大学);Concordia University(康考迪亚大学)
语音增强中基于学习的方法的出现已经恢复了对鲁棒且可靠的训练特征的需要,所述训练特征能够在保留语音信号的重要信息的同时对语音信号进行压缩表示。时间-频率域特征,例如短期傅里叶变换(STFT)和梅尔频率倒谱系数(MFCC),在许多方法中是优选的。虽然MFCC提供了紧凑的表示,但它们忽略了每个梅尔尺度子带中的能量的动态和分布。在这项工作中,语音增强系统的生成对抗网络(GAN)的基础上实现和测试的音频指纹(AFP)的功能从MFCC和归一化频谱子带质心(NSSC)的组合。NSSC捕获语音共振峰的位置,并以关键的方式补充MFCC。在不同说话人和噪声类型的实验中,基于GAN的语音增强与所提出的AFP特征组合实现了最佳的客观性能,同时减少了内存需求和训练时间。
2020-07-27 cs.LG cs.SD eess.AS
Saving the Sonorine: Photovisual Audio Recovery Using Image Processing and Computer Vision Techniques
本文提出了一种新的技术,以恢复从sonorines,20世纪初的模拟声音存储形式的音频。我们的方法使用高分辨率的照片sonorines在不同的照明条件下观察的物理表面特征的反射行为的变化,并创建一个三维的表面高度图。然后可以利用表面凹槽内的高度信息提取声音,模仿留声机上的物理触针。与传统的播放方法不同,我们的方法具有非接触式的优点:媒体不会因重复播放而损坏和磨损。我们比较我们的技术的结果,以前成功的非接触式方法,使用平板扫描的sonorines,并得出结论,未来的研究,可以应用到这个photovisual方法音频恢复。
2020-05-22 cs.CV cs.GR cs.SD
MelT: A Portable, Single-GEMM Mel Audio Frontend via Non-Uniform DFT with Measured Latency and Energy Gains on GPUs
Instituto de Ciências Matemáticas e de Computação, University of São Paulo, Brazil(圣保罗大学数学与计算机科学研究所,巴西)
提出MelT框架,通过将梅尔间隔非均匀离散傅里叶变换(NDFT)公式化为稠密通用矩阵乘法(GEMM)操作,实现单级音频前端,替代传统STFT+梅尔流水线,在多种加速器上获得高达3.75倍推理加速和3.52倍能耗降低。
2026-08-26 cs.SD
Learning Where to Split: Dynamic Band Splitting for Audio Source Separation
Tsinghua University(清华大学);Chinese Institute for Brain Research (CIBR)(中国脑科学研究所)
提出动态频带划分(DBS)框架,在固定频带-token 预算下使边界适配混合信号,在 DnR v2 等数据集上使 DBS-BSRNN 平均 SI-SDR 提升 29.0%,验证了内容自适应频率划分的有效性。
2026-10-14 cs.SD
Universal Sound Separation with Self-Supervised Audio Masked Autoencoder
University of Surrey(萨里大学);The Chinese University of Hong Kong(香港中文大学)
本文提出将自监督音频掩码自编码器集成到通用声音分离系统中,通过冻结或更新其参数并结合STFT特征,在AudioSet上提升了ResUNet模型的分离性能。
2024-11-06 cs.AI cs.SD eess.AS
Exploring the Best Loss Function for DNN-Based Low-latency Speech Enhancement with Temporal Convolutional Networks
Carnegie Mellon University(卡内基梅隆大学);Sony Corporation(索尼公司);Sony Europe B.V.(索尼欧洲有限公司)
近年来,深度神经网络(DNN)已成功用于语音增强,基于DNN的语音增强正成为一个有吸引力的研究领域。虽然基于短时傅里叶变换(STFT)的时频掩蔽在过去几年中已经广泛用于基于DNN的语音增强,但是也已经提出了诸如时域音频分离网络(TasNet)的时域方法。最合适的方法取决于数据集的规模和任务的类型。在本文中,我们探讨了最佳的语音增强算法在两个不同的数据集。我们提出了一个基于STFT的方法和损失函数,使用问题不可知的语音编码器(PASE)功能,以提高主观质量的较小的数据集。我们提出的方法在Voice Bank + DEMAND数据集上是有效的,并且与其他最先进的方法相比毫不逊色。我们还实现了一个低延迟版本的TasNet,我们将其提交给了DNS Challenge,并通过开源将其公开。我们的模型在DNS Challenge数据集上实现了出色的性能。
2020-08-20 cs.SD eess.AS
Complex Clipping for Improved Generalization in Machine Learning
University of Washington(华盛顿大学);The Covid Detection Foundation DBA Virufy(新冠检测基金会(Virufy));The University of South Dakota(南达科他大学)
对于许多机器学习应用程序,常见的输入表示是频谱图。频谱图的基本表示是给出复值的短时傅里叶变换(STFT)。频谱图使用这些复值的幅度,这是一种常用的检测器。现代机器学习系统通常是过度参数化的,其中可能的病态问题通过正则化得到改善。在深度网络的层之间通常使用整流线性单元(ReLU)激活函数已被证明有助于这种正则化,从而提高系统性能。我们将这种ReLU激活的想法扩展到复杂STFT的检测,提供了一个简单的计算修改和正则化的频谱图,这可能会导致更好的行为训练。然后,我们证实了这种方法的好处,在嘈杂的声学数据集用于现实世界的应用。泛化性能大幅提高。这种方法可能有益于使用时间-频率映射的其他应用,用于声学、音频和其他应用。
2023-02-27 cs.SD eess.AS eess.SP
Complex NMF under phase constraints based on signal modeling: application to audio source separation
非负矩阵分解(NMF)是在时频域(TF)分解混合音频信号的有力工具。在声源分离框架中,对于每个提取的分量的相位恢复对于合成时域信号是必要的。复NMF(CNMF)模型的目标是联合估计谱图和源的相位,但需要限制相位,以产生令人满意的探测结果。我们建议将相位约束的基础上的CNMF框架内的信号模型:一个\textit{phase unwrapping}约束,强制执行一种形式的时间相干性,和一个约束的基础上的\textit{repetition}的音频事件,它模型的相位内的起始帧的源。我们还提供了一个算法来估计模型参数。实验结果突出了包括这样的约束在CNMF框架中分离重叠的成分在复杂的音频混合的兴趣。
2016-05-24 cs.SD
U-PAST: A Phase-Aware Audio Spectrogram Transformer-U-Net for Single-Channel Speech Enhancement
Carl von Ossietzky University Oldenburg(卡尔·冯·奥西茨基奥尔登堡大学)
本文提出混合Transformer-U-Net架构U-PAST,在复频谱域通过自注意力建模解决CNNs间接捕获长时频依赖的局限,在多语料库多失配条件下表现优异,U-PAST-H性能最优且权衡性好。
2026-09-02 cs.SD eess.AS
Phase reconstruction of spectrograms based on a model of repeated audio events
修正频谱图的相位恢复是诸如声源分离的音频信号处理应用中的主要问题。本文介绍了一种新的技术,估计成分的相位在复杂的混合物中的起始帧的时频域(TF)。我们建议利用相位重复从一个发病帧到另一个。我们引入了一个参考相位,它表征了一个独立于其激活时间的组件。然后将分量的起始相位建模为该参考和线性依赖于频率的偏移的和。我们推导出一个复杂的混合模型内发病帧,我们提供了两个算法的模型相位参数的估计。该模型估计的实验数据和这种技术被集成到一个音频声源分离框架。结果表明,该模型是一个很有前途的工具,利用相位重复,并指出其潜在的分离重叠组分在复杂的混合物。
2016-05-24 cs.SD
Neural Speech Coding for Real-time Communications using Constant Bitrate Scalar Quantization
Fraunhofer IIS, Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所(弗劳恩霍夫IIS))
本文提出基于投影标量量化(SQ)的神经语音编码替代方案,结合新的因果网络架构和STFT表示,在低复杂度、低延迟和低比特率下实现高效实时语音通信,无需额外损失或码本存储。
2024-09-19 cs.SD eess.AS
Equivariance-based self-supervised learning for audio signal recovery from clipped measurements
CNRS(法国国家科学研究中心);ENS de Lyon(里昂高等师范学院);UCLouvain(天主教鲁汶大学)
针对从削波测量中恢复音频信号的非线性逆问题,提出一种基于等变性的自监督学习方法,仅需削波数据训练即可取得媲美全监督学习的性能。
2024-09-03 cs.IR cs.LG cs.SD
Learning Temporal Resolution in Spectrogram for Audio Classification
University of Surrey(萨里大学);The Chinese University of Hong Kong(香港中文大学)
本文提出可微分时间分辨率建模方法DiffRes,在音频频谱图与分类器之间动态合并冗余时间帧,在五个音频分类任务上以至少25%的计算成本降低实现相当或更好的精度。
2024-01-12 cs.AI cs.MM cs.SD
Exploring Longitudinal Cough, Breath, and Voice Data for COVID-19 Progression Prediction via Sequential Deep Learning: Model Development and Validation
University of Cambridge(剑桥大学);University of Southampton(南安普顿大学)
最近的工作表明,在COVID-19筛查中使用音频数据(例如,咳嗽,呼吸和声音)的潜力。然而,这些方法仅专注于一次性检测并在给定当前音频样本的情况下检测感染,但不监测COVID-19的疾病进展。已提出有限探索以通过纵向音频数据持续监测COVID-19进展,尤其是恢复。跟踪疾病进展特征可能会导致更及时的治疗。本研究的主要目的是探索纵向音频样本随时间推移用于COVID-19进展预测的潜力,特别是使用顺序深度学习技术进行恢复趋势预测。分析了来自212个人在5-385天内的众包呼吸音频数据,包括呼吸,咳嗽和语音样本。我们开发了一个支持深度学习的跟踪工具,使用门控复发单位(GRU),通过探索个人历史音频生物标志物的音频动态来检测COVID-19进展。该研究包括两个部分:(1)根据阳性和阴性(健康)测试进行COVID-19检测,以及(2)根据阳性测试概率进行随时间推移的纵向疾病进展预测。COVID-19检测的强大性能,产生0.79的AUROC,0.75的灵敏度和0.71的特异性,与不利用纵向动态的方法相比,支持该方法的有效性。我们进一步检查了预测的疾病进展轨迹,显示出与测试结果的高度一致性,测试队列中的相关性为0.75,报告恢复的测试队列子集中的相关性为0.86。我们的研究结果表明,通过纵向音频数据监测COVID-19演变在跟踪个人疾病进展和康复方面具有潜力。
2022-06-22 cs.LG cs.SD eess.AS
HPCNeuroNet: Advancing Neuromorphic Audio Signal Processing with Transformer-Enhanced Spiking Neural Networks
Stanford University(斯坦福大学);University Of Moratuwa(莫拉图瓦大学);Prairie View A&M University(草原景观农工大学);Temsa Research&Development Center(Temsa研发中心)
本文提出HPCNeuroNet架构,融合SNNs、Transformers与HPC进行神经形态音频处理,并在FPGA上实现低功耗高吞吐加速器,为该领域设定了新基准。
2023-11-21 cs.SD eess.AS
Deep Transform: Time-Domain Audio Error Correction via Probabilistic Re-Synthesis
University of Surrey(萨里大学)
在时域音频信号的记录、存储和传输过程中,可能会引入难以以无人监督的方式校正的错误。在这里,我们训练卷积深度神经网络,以在其输出层重新合成输入的时域语音信号。然后,我们使用这种抽象变换,我们称之为深度变换(DT),对已降级的(同一说话者的)进一步语音执行概率重新合成。使用卷积DT,我们证明了语音音频的恢复,已受到极端退化。这种方法对于校正通信设备中的错误可能是有用的。
2015-03-19 cs.LG cs.NE cs.SD
Dereverberation Using Binary Residual Masking with Time-Domain Consistency
Independent Researcher(独立研究者)
针对实时人声去混响的精度与效率平衡难题,提出基于STFT域残差掩模预测的U-Net框架,结合混合目标函数实现低延迟高质量去混响,适用于语音与歌唱场景。
2025-09-30 cs.SD eess.AS
How Much Audio Is Left In An Embedding? An Inversion Audit Of Audio Encoders
New York University(纽约大学)
该研究通过配对源重建,利用 Stable Audio Open 解码器从多种音频编码器(VGGish、ConvNeXt、CLAP、EnCodec)的冻结表示中重建音乐,发现不同编码器的可重建性存在差异,压缩任务嵌入仍能保留源特异性与高级音乐内容。
2026-10-09 cs.AI cs.SD
Spectral Mapping of Singing Voices: U-Net-Assisted Vocal Segmentation
Toronto Metropolitan University(多伦多都会大学)
本研究提出一种基于U-Net的歌声分割方法,通过STFT将音乐转为频谱图并利用UNet进行图像分割。实验表明,结合频率轴归一化与MAE损失函数,在MUSDB18数据集上取得7.1 dB的最高SDR,显著优于其他配置,有效实现了人声的高质量分离。
2024-05-30 cs.AI cs.SD eess.AS
Phase-Based Signal Representations for Scattering
Acoustics Research Institute Austrian Academy of Sciences(奥地利科学院声学研究所)
本文提出相位散射方法,在散射变换中引入相位导数,并基于 STFT 将基于相位的表示扩展到高阶,以获得大尺度结构的局部化信号表示。
2022-02-15 cs.SD eess.AS eess.SP
nnAudio: An on-the-fly GPU Audio to Spectrogram Conversion Toolbox Using 1D Convolution Neural Networks
Singapore University of Technology and Design(新加坡科技设计大学);Institute of High Performance Computing, Agency for Science, Technology and Research(新加坡科技研究局高性能计算研究院);Yong Siew Toh Conservatory of Music, National University of Singapore(新加坡国立大学杨秀桃音乐学院)
将时域波形转换为频域频谱图通常被认为是在模型训练之前完成的预处理步骤。然而,这种方法有几个缺点。首先,它需要大量的硬盘空间来存储不同的频域表示。在模型开发和调优过程中,当探索各种类型的频谱图以获得最佳性能时,尤其如此。其次,如果使用另一个数据集,则必须在重新训练网络之前再次处理所有音频片段。在本文中,我们将时域到频域的转换作为模型结构的一部分,并提出了一个基于神经网络的工具箱,nnAudio,它利用1D卷积神经网络在前馈过程中执行时域到频域的转换。它允许即时生成光谱图,而无需在磁盘上存储任何光谱图。这种方法还允许在波形到频谱图转换层上进行反向传播,这意味着这种转换过程可以是可训练的,因此可以通过梯度下降进一步优化。nnAudio减少了1,770个波形的波形到频谱图的转换时间(来自MAPS数据集)从librosa的$10.64$秒到短时傅立叶变换(STFT)的仅$0.001$秒,从Mel频谱图的$18.3$秒到$0.015$秒,从常数Q变换(CQT)的$103.4$秒到$0.258$,当在我们的DGX工作站上使用GPU和CPU时:英特尔(R)至强(R)CPU E5-2698 v4@2.20 GHz Tesla v100 32 Gb GPU。(Only所有实验均使用1个GPU。)我们还进一步优化了现有的CQT算法,使CQT频谱图可以得到没有混叠在一个更快的计算时间(从$0.258$秒到…
2020-08-22 cs.LG cs.SD eess.AS
If You Hold Me Without Hurting Me: Pathways to Designing Game Audio for Healthy Escapism and Player Well-being
Federal University of Ceará(巴西塞阿拉联邦大学)
本文探讨游戏音频在健康逃避现实中的作用,指出其调节唤醒、标记过渡等价值,并针对方法论与可及性差距提出整合路径,以促进玩家福祉。
2025-10-16 cs.HC cs.MM cs.SD
Source Mixing and Separation Robust Audio Steganography
Sony Group Corporation(索尼集团公司)
音频隐写是指通过对音频载体进行不可感知的修改,将秘密信息隐藏在音频载体中。尽管先前的工作解决了隐藏消息恢复对传输期间引入的失真的鲁棒性,但是它们没有解决对诸如其他音频源的混合和声源分离的攻击性编辑的鲁棒性。在这项工作中,我们首次提出了一种隐写方法,可以将信息嵌入到单个声源的混合物,如音乐中的乐器曲目。为此,我们提出了一个领域模型和课程学习必不可少的学习解码隐藏的消息从分离的来源。实验结果表明,该方法能够在不可感知的扰动下成功地隐藏信息,并且即使在其他信源混合和声源分离算法分离后,仍能正确地恢复信息。此外,我们表明,所提出的方法可以同时适用于多个源,而不会干扰其他源的解码器,即使在源混合和分离。
2022-02-18 cs.CR cs.SD eess.AS
Adaptive synchrosqueezing based on a quilted short-time Fourier transform
本文提出一种基于拼接短时傅里叶变换的自适应同步压缩变换,通过多窗口适应不同时间频率区域的行为,提升信号分析精度,尤其在噪声环境下表现优异,并应用于动物叫声分析。
2017-09-18 cs.NA cs.SD math.NA
WavInWav: Time-domain Speech Hiding via Invertible Neural Network
CAS Key Laboratory of Electromagnetic Space Information, School of Information Science and Technology, University of Science and Technology of China(中国科学技术大学信息科学与技术学院电磁空间信息关键实验室)
针对现有音频隐藏方法秘密音频恢复质量不佳的问题,提出基于流可逆神经网络的时域语音隐藏方法WavInWav,结合时域时频损失与加密技术,在多数据集上指标更优且抗噪性强。
2025-10-03 cs.AI cs.CR cs.LG
Spectrogram Inversion for Audio Source Separation via Consistency, Mixing, and Magnitude Constraints
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学及其应用实验室);Tampere University(坦佩雷大学)
本文提出了一个结合软惩罚或硬约束的通用频谱图反演框架,通过交替投影算法解决音频源分离问题,其新算法在语音增强任务中优于现有方法。
2023-06-30 cs.SD eess.AS
Vocos: Closing the gap between time-domain and Fourier-based neural vocoders for high-quality audio synthesis
Gemelo AI
本研究提出了一种名为Vocos的新型神经声码器模型,通过直接生成傅里叶频谱系数来解决传统时域方法计算冗余和相位恢复难题,在保证音频质量的同时显著提升了计算效率。
2024-05-29 cs.LG cs.SD eess.AS
Long-Term Memory-Guided Enhancement for Target Perception in Audio-Language Models
Nanyang Technological University(南洋理工大学);Beijing University of Posts and Telecommunications(北京邮电大学)
提出LTM-AE,利用人类长期记忆原理,无需训练即可增强音频大语言模型在噪声环境中的目标感知,显著提升分类准确率并降低语音识别错误率。
2026-09-30 cs.AI cs.CL cs.SD
Sparse Pursuit and Dictionary Learning for Blind Source Separation in Polyphonic Music Recordings
University of Bremen(不来梅大学);Colorado State University(科罗拉多州立大学)
提出了一种单声道音频信号盲分离算法。它基于一个参数模型,该模型描述了独立于音高的乐器声音的频谱特性。我们开发了一种新的稀疏追踪算法,可以匹配的离散频谱从记录的信号与连续的频谱提供的模型。我们首先使用该算法将来自记录的STFT谱图转换成一种新形式的对数频率谱图,其分辨率超过了梅尔谱图。然后,我们利用该表示的音高不变特性,以便通过相同的稀疏追踪方法来识别乐器的声音。由于表征乐器的模型参数事先不知道,我们训练包含它们的字典,使用修改后的亚当版本。将该算法应用于各种音频样本,我们发现,它能够产生高质量的分离结果时,模型假设得到满足,仪器是明确区分,但具有相似的频谱特性的仪器的组合构成了一个概念上的困难。虽然该模型的一个关键特征是它显式地对不和谐性进行建模,但它的存在仍然会阻碍稀疏追踪算法的性能。在一般情况下,由于其音高不变性,我们的方法是特别适合于处理从声学仪器的频谱,只需要一个最小数量的超参数被预设。此外,我们证明了为一个记录构建的字典可以应用于具有类似仪器的不同记录,而无需额外的训练。
2021-02-01 cs.LG cs.SD eess.AS