INSTRUMENTAL: Automatic Synthesizer Parameter Recovery from Audio via Evolutionary Optimization
Philipp Bogdan
INSTRUMENTAL通过结合可微28参数减法合成器与CMA-ES优化器，自动从音频中恢复连续合成器参数，通过感知损失优化提升匹配精度，发现参数增强和谱分析初始化对收敛有帮助。
2026-03-16 cs.SD
Phase recovery in NMF for audio source separation: an insightful benchmark
非负矩阵分解（NMF）是在时频域（TF）分解混合音频信号的有力工具。在诸如声源分离的应用中，每个提取分量的相位恢复是一个主要问题，因为它经常导致可听伪像。在本文中，我们提出了一种方法来评估各种基于NMF的声源分离技术，涉及相位重建。对于每一个模型考虑，两种方法之间的比较（盲分离没有先验信息和有监督的模型学习的预言分离）进行，以询问改进的空间的估计方法。实验结果表明，高分辨率NMF（HRNMF）模型是特别有前途的，因为它能够考虑相位和相关性随着时间的推移，具有很大的表达能力。
2016-05-24 cs.SD
Model-based STFT phase recovery for audio source separation
Tampere University of Technology（坦佩雷理工大学）；Télécom ParisTech（巴黎高等电信学院）；LTCI, Télécom ParisTech, Université Paris-Saclay（巴黎萨克雷大学巴黎高等电信学院LTCI实验室）
对于音频声源分离应用，通常估计每个声源的短时傅立叶变换（STFT）的幅度。为了进一步合成时域信号，需要恢复相应复值STFT的相位。该领域的大多数作者选择Wiener滤波方法，其归结为使用原始混合物的相位。本文则采取了不同的观点。许多音乐事件部分地由缓慢变化的正弦波组成，并且这些频率分量随时间的STFT相位增量采用特定形式。一旦获得短期频率估计，这允许通过展开技术进行相位恢复。在此，提出了一种新的迭代声源分离过程，建立在这些结果。它是通过辅助函数法使混合误差最小化。这个过程是通过利用展开技术，以产生估计，受益于时间连续性属性初始化。对现实音乐作品进行的实验表明，在精确的幅度估计下，该过程优于最先进的一致性维纳滤波器。
2018-02-27 cs.SD
Deep Long Audio Inpainting
National Taiwan University（国立台湾大学）
长（> 200 ms）音频修复，以恢复音频段中的长缺失部分，可以广泛应用于音频编辑任务和传输丢失恢复。由于音频特征的高维性、复杂性和非相关性，这是一个非常具有挑战性的问题。虽然深度学习模型在图像和视频修复方面取得了巨大进展，但音频修复并没有引起太多关注。在这项工作中，我们迈出了开创性的一步，探索了从各个领域适应深度学习框架的可能性，包括音频合成和音频修复的图像修补。此外，作为第一个系统地分析影响音频修复性能的因素，我们探讨了如何从掩模大小，感受野和音频表示的因素可能会影响性能。我们还为长音频修复建立了一个基准。代码将在接受后在GitHub上提供。
2019-11-15 cs.SD eess.AS
Latent Vector Recovery of Audio GANs
Western University（韦仕敦大学）
高级生成对抗网络（GANs）在从随机潜在向量生成可理解的音频方面非常出色。在本文中，我们研究的任务，恢复的合成和真实的音频的潜在向量。以前的作品通过自动编码器启发的技术恢复给定音频的潜在向量，该技术与GAN并行或在生成器训练之后训练编码器网络。通过我们的方法，我们训练了一个深度残差神经网络架构，以将WaveGAN合成的音频投影到相应的潜在空间中，具有几乎相同的重建性能。为了适应真实音频原始特征向量的缺乏，我们对真实音频样本和预测特征向量的重构音频之间的感知损失进行了残差网络优化。在合成音频的情况下，地面实况和恢复的潜在向量之间的均方误差（MSE）也被最小化。我们进一步研究了当几个梯度优化步骤应用于预测的潜在向量时的音频重建性能。通过我们基于深度神经网络的真实和合成音频训练方法，我们能够预测对应于真实音频的合理重建的潜在向量。尽管我们在WaveGAN上评估了我们的方法，但我们提出的方法是通用的，可以应用于任何其他GANs。
2020-10-16 cs.AI cs.CV cs.SD
LipsAM: Lipschitz-continuous Neural Networks for Convergent Plug-and-Play Audio Signal Recovery
Tokyo University of Agriculture and Technology（东京农工大学）
本文针对现有理论框架无法适配音频处理常用DNN的问题，提出利普希茨连续的LipsAM架构，开发其利普希茨常数评估框架，并将其应用于即插即用音频恢复，实现了可收敛的语音去混响算法。
2026-08-25 cs.SD
Exploring Longitudinal Cough, Breath, and Voice Data for COVID-19 Progression Prediction via Sequential Deep Learning: Model Development and Validation
University of Cambridge（剑桥大学）；University of Southampton（南安普顿大学）
最近的工作表明，在COVID-19筛查中使用音频数据（例如，咳嗽，呼吸和声音）的潜力。然而，这些方法仅专注于一次性检测并在给定当前音频样本的情况下检测感染，但不监测COVID-19的疾病进展。已提出有限探索以通过纵向音频数据持续监测COVID-19进展，尤其是恢复。跟踪疾病进展特征可能会导致更及时的治疗。本研究的主要目的是探索纵向音频样本随时间推移用于COVID-19进展预测的潜力，特别是使用顺序深度学习技术进行恢复趋势预测。分析了来自212个人在5-385天内的众包呼吸音频数据，包括呼吸，咳嗽和语音样本。我们开发了一个支持深度学习的跟踪工具，使用门控复发单位（GRU），通过探索个人历史音频生物标志物的音频动态来检测COVID-19进展。该研究包括两个部分：（1）根据阳性和阴性（健康）测试进行COVID-19检测，以及（2）根据阳性测试概率进行随时间推移的纵向疾病进展预测。COVID-19检测的强大性能，产生0.79的AUROC，0.75的灵敏度和0.71的特异性，与不利用纵向动态的方法相比，支持该方法的有效性。我们进一步检查了预测的疾病进展轨迹，显示出与测试结果的高度一致性，测试队列中的相关性为0.75，报告恢复的测试队列子集中的相关性为0.86。我们的研究结果表明，通过纵向音频数据监测COVID-19演变在跟踪个人疾病进展和康复方面具有潜力。
2022-06-22 cs.LG cs.SD eess.AS
Equivariance-based self-supervised learning for audio signal recovery from clipped measurements
CNRS（法国国家科学研究中心）；ENS de Lyon（里昂高等师范学院）；UCLouvain（天主教鲁汶大学）
针对从削波测量中恢复音频信号的非线性逆问题，提出一种基于等变性的自监督学习方法，仅需削波数据训练即可取得媲美全监督学习的性能。
2024-09-03 cs.IR cs.LG cs.SD
No Time to Collapse: Unlocking Robustness and Multiplexed Capacity in Frozen Audio Watermarkers
University of Warwick（华威大学）；OfSpectrum, Inc.（OfSpectrum 公司）
针对神经音频水印中时间折叠限制鲁棒性与多路复用能力的问题，本文冻结预训练水印器，仅训练低延迟Conformer解码器，在三个水印器上提升攻击恢复与AUROC，并显著改善多路复用联合恢复。
2026-09-25 cs.SD
High Throughput and Less Area AMP Architecture for Audio Signal Restoration
RMK Engineering College（RMK工程学院）
音频恢复有效地实现了使用低复杂度的算法称为AMP。该算法具有收敛速度快、计算量小的特点，适用于音频恢复问题。本文的重点是恢复的音频信号，使用超大规模集成电路架构称为AMP-M，实现AMP算法。该结构采用MAC单元和固定比特的华莱士树乘法器，FFT复用器和各种存储器单元（RAM）的音频恢复。VLSI和FPGA实现结果表明，该算法具有面积小、吞吐量高、功耗低等特点，适合于实时的音频恢复问题。突出的例子是磁共振成像（MRI）、雷达和无线通信。
2014-04-05 cs.IT cs.SD math.IT
Making Separation-First Multi-Stream Audio Watermarking Feasible via Joint Training
Digital Innovation Research Center, Duke Kunshan University, Kunshan, China（杜克昆山大学数字创新研究中心）；School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳）人工智能学院）；OfSpectrum, Inc., Los Angeles, USA（OfSpectrum公司，美国洛杉矶）
本文提出一种分离优先的多流水印框架，通过联合训练水印系统和分离器，提升分离后的水印恢复效果并保持感知质量。
2026-07-17 cs.SD
Comparison of Uniform and Random Sampling for Speech and Music Signals
Advanced Communication Research Institute（先进通信研究院）；Department of Electrical Engineering（电气工程系）；Sharif University of Technology（谢里夫理工大学）
在本文中，我们将提供语音和音乐信号的均匀和随机采样之间的比较。存在用于音频信号的各种采样和恢复方法。在这里，我们只调查均匀和随机方案的采样和基本的低通滤波和迭代方法与自适应阈值恢复。仿真结果表明，均匀采样与三次样条插值相结合的方法优于其他采样和恢复方法。
2017-05-15 cs.MM cs.SD eess.AS
Radio2Speech: High Quality Speech Recovery from Radio Frequency Signals
The University of Hong Kong（香港大学）；Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
考虑到麦克风容易受到噪声和隔音材料的影响，射频（RF）信号是恢复音频的一个很有前途的候选者，因为它不受噪声的影响，并且可以穿过许多隔音物体。在本文中，我们介绍了Radio 2Speech，一个系统，使用RF信号从扬声器恢复高质量的语音。Radio 2Speech可以恢复与麦克风质量相当的语音，从现有方法中仅恢复单音音乐或难以理解的语音。我们使用Radio UNet从有限频带的RF信号中准确地恢复语音。此外，我们将神经声码器合成的语音波形从估计的时间-频率表示，而不使用污染的相位。定量和定性评估表明，在安静，嘈杂和隔音的情况下，Radio 2Speech实现了最先进的性能，并与在安静场景下工作的麦克风不相上下。
2022-06-22 cs.SD eess.AS
Spectrogram Inversion for Audio Source Separation via Consistency, Mixing, and Magnitude Constraints
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）；Tampere University（坦佩雷大学）
本文提出了一个结合软惩罚或硬约束的通用频谱图反演框架，通过交替投影算法解决音频源分离问题，其新算法在语音增强任务中优于现有方法。
2023-06-30 cs.SD eess.AS
Complex NMF under phase constraints based on signal modeling: application to audio source separation
非负矩阵分解（NMF）是在时频域（TF）分解混合音频信号的有力工具。在声源分离框架中，对于每个提取的分量的相位恢复对于合成时域信号是必要的。复NMF（CNMF）模型的目标是联合估计谱图和源的相位，但需要限制相位，以产生令人满意的探测结果。我们建议将相位约束的基础上的CNMF框架内的信号模型：一个\textit{phase unwrapping}约束，强制执行一种形式的时间相干性，和一个约束的基础上的\textit{repetition}的音频事件，它模型的相位内的起始帧的源。我们还提供了一个算法来估计模型参数。实验结果突出了包括这样的约束在CNMF框架中分离重叠的成分在复杂的音频混合的兴趣。
2016-05-24 cs.SD
Deep Transform: Time-Domain Audio Error Correction via Probabilistic Re-Synthesis
University of Surrey（萨里大学）
在时域音频信号的记录、存储和传输过程中，可能会引入难以以无人监督的方式校正的错误。在这里，我们训练卷积深度神经网络，以在其输出层重新合成输入的时域语音信号。然后，我们使用这种抽象变换，我们称之为深度变换（DT），对已降级的（同一说话者的）进一步语音执行概率重新合成。使用卷积DT，我们证明了语音音频的恢复，已受到极端退化。这种方法对于校正通信设备中的错误可能是有用的。
2015-03-19 cs.LG cs.NE cs.SD
Black-Box Optimization for Identifying and Inverting Audio Dynamic Range Control Effects
研究音频动态范围压缩参数未知的问题，将其参数估计转化为黑盒优化问题，通过在感知特征空间中估计参数来最小化重建与参考信号特征描述符距离，该方法性能有竞争力，优于或匹配现有模型。
2026-07-23 cs.SD
Phase reconstruction of spectrograms based on a model of repeated audio events
修正频谱图的相位恢复是诸如声源分离的音频信号处理应用中的主要问题。本文介绍了一种新的技术，估计成分的相位在复杂的混合物中的起始帧的时频域（TF）。我们建议利用相位重复从一个发病帧到另一个。我们引入了一个参考相位，它表征了一个独立于其激活时间的组件。然后将分量的起始相位建模为该参考和线性依赖于频率的偏移的和。我们推导出一个复杂的混合模型内发病帧，我们提供了两个算法的模型相位参数的估计。该模型估计的实验数据和这种技术被集成到一个音频声源分离框架。结果表明，该模型是一个很有前途的工具，利用相位重复，并指出其潜在的分离重叠组分在复杂的混合物。
2016-05-24 cs.SD
If You Hold Me Without Hurting Me: Pathways to Designing Game Audio for Healthy Escapism and Player Well-being
Federal University of Ceará（巴西塞阿拉联邦大学）
本文探讨游戏音频在健康逃避现实中的作用，指出其调节唤醒、标记过渡等价值，并针对方法论与可及性差距提出整合路径，以促进玩家福祉。
2025-10-16 cs.HC cs.MM cs.SD
LambdaMark: Semantic Audio Watermarking for Robustness and Radioactivity
University of Toronto, Canada（多伦多大学，加拿大）
提出LambdaMark，首个通用放射性水印方案，通过将多比特水印嵌入语义音频潜在表示实现鲁棒性和放射性，实验证明在常见失真和去除攻击下表现优异。
2026-06-23 cs.AI cs.SD
RIPPLE: Generating Multi-Channel Phase, Not Recovering It
该研究针对多通道波形相位恢复的缺陷，提出RIPPLE方法，将Griffin-Lim作为相位先验，结合校正流细化相位，在Ambisonics和地震任务中优于传统恢复方法，降低了S波极化误差。
2026-08-03 cs.LG cs.SD
