Regularized autoregressive modeling and its application to audio signal reconstruction
Brno University of Technology（布尔诺理工大学）
本文提出了一种正则化自回归建模框架，用于音频信号重建，展示了在去 clipping 音乐和语音中的竞争力与优越性。
2025-12-30 cs.SD eess.AS
APPLADE: Adjustable Plug-and-play Audio Declipper Combining DNN with Sparse Optimization
Waseda University（早稻田大学）；NTT Corporation（日本电报电话公司）
在本文中，我们提出了一种兼顾稀疏优化和深度学习的音频去唇方法。由于基于稀疏性的音频去唇方法是在约束优化的基础上发展起来的，因此它们是可调节的，并且在理论上得到了充分的研究。然而，它们总是一致地促进稀疏性，而忽略信号的个体属性。基于深度神经网络（DNN）的方法可以学习目标信号的属性，并将其用于音频去唇。然而，如果训练数据具有不匹配和/或没有施加时域中的约束，则它们不能很好地执行。在所提出的方法中，我们在优化算法中使用DNN。它的灵感来自于一种称为即插即用（PIPE）的想法，使我们能够根据学习到的数据信息来提高稀疏性，同时考虑时域中的约束。我们的实验证实，所提出的方法是稳定的和强大的训练和测试数据之间的不匹配。
2022-02-16 cs.SD eess.AS eess.SP
Flexible framework for audio reconstruction
Brno University of Technology（布尔诺技术大学）
本文提出了一个统一的，灵活的框架，音频修复，declipping和去量化的任务。该概念被进一步扩展以覆盖变换域中的类似退化模型，例如信号的时频系数的量化。从两个不同的域中的退化观测值重建音频信号的任务被制定为逆问题，并开发了几种算法解决方案。所提出的概念的可行性证明了一个例子，其中进行音频重建从部分和量化的观察的时域信号和它的时间-频率系数。
2020-07-29 cs.SD eess.AS
Introducing SPAIN (SParse Audio INpainter)
Brno University of Technology（布尔诺理工大学）
提出了一种新的基于稀疏性的音频修复算法。它是Kitić等人的SPADE算法的改编，最初是为音频declipping开发的，现在是音频修复的任务。新的SPAIN（SParse Audio INpainter）有合成和分析变体。实验结果表明，A-SPAIN和S-SPAIN算法的修复效果优于其他基于稀疏性的修复算法。此外，A-SPAIN在SNR方面与基于线性预测的最新方法不相上下，并且对于较大的间隙，SPAIN在PEMO-Q心理声学标准方面甚至稍好。
2019-06-18 cs.SD eess.AS math.OC
Multiple Hankel matrix rank minimization for audio inpainting
本文将Sasaki等人基于Hankel矩阵的音频去削波算法应用于解决样本缺失的音频修复问题，通过算法分析与修改提升了性能，发现新方法在语音信号上表现良好但在音乐信号上缺乏竞争力。
2023-07-14 eess.AS
Distortion Audio Effects: Learning How to Recover the Clean Signal
RWTH Aachen University（亚琛工业大学）；Sony Europe B.V.（索尼欧洲有限公司）；Sony Group Corporation（索尼集团公司）
考虑到音乐源分离和自动混音的最新进展，去除音轨中的音频效果是朝着开发自动混音系统迈出的有意义的一步。本文主要研究如何在音乐制作中去除吉他音轨上的失真音效。我们探讨效果去除是否可以通过为源分离和音频效果建模而设计的神经网络来解决。我们的方法被证明对于混合处理过的和干净的信号的效果特别有效。与基于稀疏优化的最新解决方案相比，该模型实现了更好的质量和更快的推理。我们证明，该模型不仅适用于倾斜，但也适用于其他类型的失真效果。通过讨论结果，我们强调多个评估指标的有用性，以评估不同方面的重建失真效果去除。
2022-09-13 cs.LG cs.SD eess.AS
Soft Smoothness for Audio Inpainting Using a Latent Matrix Model in Delay-embedded Space
Nagoya Institute of Technology（名古屋工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文提出了一种新的平滑时间序列信号重构方法。本研究的一个关键概念是不考虑信号空间中的模型，而是考虑延迟嵌入空间。换句话说，我们间接地将时间序列信号表示为矩阵的逆延迟嵌入的输出，并且矩阵是受约束的。基于逆延迟嵌入下的模型，我们提出用光滑因子向量约束矩阵为秩1。该模型与卷积模型和二次变分（QV）正则化密切相关。特别地，所提出的方法可以表征为QV正则化的推广。此外，我们表明，该方法提供了软光滑比QV正则化。通过音频修复和去唇的实验，与现有的几种插值方法和稀疏建模方法进行了比较，证明了该方法的优越性。
2022-03-18 cs.LG cs.SD eess.AS
Revisiting Synthesis Model of Sparse Audio Declipper
音频去削的最新技术水平目前已经由Kitić等人的SPADE（SParse Audio DEClipper）算法实现。到目前为止，合成/稀疏变体S-SPADE被认为比其分析/cosparse对应物A-SPADE慢得多。事实证明，相反的情况是正确的：通过利用最近的投影引理，两种算法的单独迭代可以同样计算昂贵，而S-SPADE往往需要相当少的迭代收敛。在本文中，这两种算法进行了比较，在一系列的参数，如窗口长度，窗口重叠和冗余的变换。实验表明，虽然S-SPADE通常收敛更快，但在恢复质量方面的平均性能并不优于A-SPADE。
2018-07-11 eess.AS eess.SP
Equivariance-based self-supervised learning for audio signal recovery from clipped measurements
CNRS（法国国家科学研究中心）；ENS de Lyon（里昂高等师范学院）；UCLouvain（天主教鲁汶大学）
针对从削波测量中恢复音频信号的非线性逆问题，提出一种基于等变性的自监督学习方法，仅需削波数据训练即可取得媲美全监督学习的性能。
2024-09-03 cs.IR cs.LG cs.SD
DECIBEL: Improving Audio Chord Estimation for Popular Music by Alignment and Integration of Crowd-Sourced Symbolic Representations
Utrecht University（乌得勒支大学）
自动和弦估计（ACE）是音乐信息检索（MIR）中的一项基本任务，在音乐演奏和音乐信息检索研究中都有重要的应用。该任务包括分割音乐录音或乐谱，并为每个片段分配和弦标签。虽然ACE已经成为MIREX年度基准评估的一项任务超过10年，但ACE尚未成为一个解决的问题，因为性能停滞不前，现代系统已经开始根据主观训练数据调整自己。我们提出DECIBEL，一个新的ACE系统，利用广泛可用的标签和标签表示，以提高ACE从音频。DECIBEL首先从对应于同一流行音乐歌曲的音频文件和一组MIDI和Tab文件中估计和弦序列。对于音频，使用最先进的音频ACE方法。将音频文件与音频对齐，然后执行重和弦估计步骤。标签文件被转换成不计时的和弦序列，然后与音频对齐。接下来，DECIBEL使用数据融合将所有估计的和弦序列集成到一个最终输出序列中。DECIBEL将所有经过测试的最先进的ACE方法平均提高了3%以上。这一结果表明，从异构的符号音乐表示的音乐知识的整合是一个合适的策略，解决具有挑战性的MIR任务，如ACE。
2020-02-22 cs.MM cs.SD eess.AS
Tweaking autoregressive methods for inpainting of gaps in audio signals
Department of Telecommunications Brno University of Technology Czech Republic（电信系布拉格技术大学捷克共和国）
本文提出了一种改进的Janssen方法，用于音频信号中缺口的修复，通过实验验证了其在客观指标和听觉测试中的优越性。
2025-06-20 cs.SD eess.AS
Audio Enhancement from Multiple Crowdsourced Recordings: A Simple and Effective Baseline
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文针对多个未知位置设备录制同一事件时各自含局部不相关噪声的问题，提出一种先去除各录音局部噪声再对清理信号进行平均的简单众包音频增强方法，并在合成与真实录音上验证其有效性，为后续更复杂方法提供基线。
2024-08-30 cs.SD eess.AS
Pyroomacoustics: A Python package for audio room simulations and array processing algorithms
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出pyroomacoustics，一个软件包，旨在快速开发和测试的音频阵列处理算法。该软件包的内容可以分为三个主要部分：直观的Python面向对象界面，用于快速构建涉及2D和3D房间中多个声源和麦克风的不同模拟场景;用于一般多面体房间的图像源模型的快速C实现，用于高效生成房间脉冲响应并模拟源和接收器之间的传播;最后是波束形成、测向和自适应滤波的常用算法的参考实现。总之，它们形成了一个包，通过显著减少性能评估步骤中的实现开销，有可能加快新算法的上市时间。
2017-10-11 cs.SD eess.AS
Forensic Analysis and Localization of Multiply Compressed MP3 Audio Using Transformers
Purdue University（普渡大学）；Politecnico di Milano（米兰理工大学）
音频信号通常以压缩格式存储和传输。在众多可用的音频压缩方案中，MPEG-1音频层III（MP3）是非常流行和广泛使用的。由于MP3是有损的，它会在压缩音频中留下特征痕迹，这些痕迹可用于取证，以暴露音频文件的过去历史。在本文中，我们考虑的情况下，压缩和未压缩的音频信号的时间拼接完成的音频信号操纵。我们提出了一种基于Transformer网络的拼接点时间定位方法。我们的方法识别音频信号的哪些时间部分在时间帧级别（这是MP3压缩的最小时间单位）经历了单次或多次压缩。我们在486，743个MP3音频片段的数据集上测试了我们的方法。我们的方法取得了更高的性能和表现出的鲁棒性与不同的MP3数据相比，与现有的方法。
2022-04-28 cs.MM cs.SD eess.AS
Temporal separation of whale vocalizations from background oceanic noise using a power calculation
University of Stellenbosch（斯泰伦博斯大学）
在许多情况下，分析音频信号以寻找鲸目动物发声的过程是一项非常艰巨的任务，需要许多复杂的计算、过多的数字处理技术以及用细梳仔细检查音频信号以确定发声的位置。为了简化这一过程，一个计算效率和抗噪声的方法，用于确定是否包含一个潜在的鲸类动物的音频段调用在这里开发的帮助下，一个强大的功率计算平稳高斯噪声信号和递归方法，用于确定一个给定的样本帧的均值和方差。由此产生的检测器在包含南露脊鲸声音的音频记录上进行测试，并将其性能与当代能量检测器和流行的深度学习方法进行比较。该检测器表现出良好的性能，在中等到高的信噪比值。该检测器易于实现，使用计算效率高，并且足够强大，可以在嘈杂的水下环境中准确检测鲸鱼的发声。
2022-03-20 cs.SD eess.AS
VI-PANN: Harnessing Transfer Learning and Uncertainty-Aware Variational Inference for Improved Generalization in Audio Pattern Recognition
Naval Postgraduate School（海军研究生院）；Data Science and Analytics Group（数据科学与分析组）
本文提出在AudioSet上预训练的ResNet-54变分推理模型VI-PANNs，并证明其可向多个声学分类下游任务同时迁移知识与校准的认知不确定性。
2024-03-01 cs.LG cs.SD eess.AS
Learning Robust Heterogeneous Signal Features from Parallel Neural Network for Audio Sentiment Analysis
Tsinghua University（清华大学）；Beijing Forestry University（北京林业大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
音频情感分析是一个热门的研究领域，它扩展了传统的基于文本的情感分析，依赖于从语音中提取的声学特征的有效性。然而，目前的音频情感分析主要集中在提取同质声学特征或没有有效地融合异质特征。在本文中，我们提出了一种基于话语的深度神经网络模型，该模型具有卷积神经网络（CNN）和基于长短期记忆（LSTM）的网络的并行组合，以获得称为音频情感向量（ASV）的代表性特征，该特征可以最大限度地反映音频中的情感信息。具体来说，我们的模型是由话语级标签训练和ASV可以提取和融合创造性地从两个分支。在CNN模型分支中，由信号产生的频谱图被馈送作为输入，而在LSTM模型分支中，输入包括从音频中的相关话语提取的频谱特征和倒谱系数。此外，双向长短期记忆（BiLSTM）与注意力机制用于特征融合。大量的实验表明，我们的模型可以准确快速地识别音频情感，并证明我们的ASV优于传统的声学特征或从其他深度学习模型中提取的向量。实验结果表明，在多模态意见级情感强度数据集（MOSI）上，该模型的性能比现有方法提高了9.33%.
2019-07-31 cs.CL cs.SD eess.AS
You Only Hear Once: A YOLO-like Algorithm for Audio Segmentation and Sound Event Detection
University of Plymouth（普利茅斯大学）；Plymouth Marine Laboratory（普利茅斯海洋实验室）
音频分割和声音事件检测是机器听力中的关键主题，旨在检测声学类别及其各自的边界。它对音频内容分析、语音识别、音频索引和音乐信息检索都很有用。近年来，大多数研究文章采用逐类分段的方法。该技术将音频划分为小帧，并单独对这些帧执行分类。在本文中，我们提出了一种名为You Only Hear Once（YOHO）的新方法，该方法受到计算机视觉中普遍采用的YOLO算法的启发。我们将声学边界的检测转换为回归问题，而不是基于帧的分类。这是通过使用单独的输出神经元来检测音频类的存在并预测其开始和结束点来完成的。与最先进的卷积递归神经网络相比，YOHO的F度量的相对改进在音频分割和声音事件检测的多个数据集上的范围从1%到6%。由于YOHO的输出是端到端的，并且需要预测的神经元更少，因此推理速度至少比分段分类快6倍。此外，由于这种方法直接预测声学边界，因此后处理和平滑速度约为7倍。
2022-09-18 cs.LG cs.SD eess.AS
Unsupervised Learning of Deep Features for Music Segmentation
Gracenote Inc.（格雷斯诺特公司）
音乐分段指的是识别不同音乐段之间的边界和标记不同音乐段的双重问题，例如，流行音乐中的合唱、诗歌、桥牌等。一系列音乐分割算法的性能已被证明取决于选择来表示音频的音频特征。一些方法已经提出了从音乐片段注释数据学习特征变换，尽管创建这样的数据是耗时的或昂贵的，并且因此这些方法可能受到其数据集的大小的限制。虽然带注释的音乐分段数据是稀缺资源，但可用的音乐音频量要大得多。在语义音频的邻近领域，无监督深度学习在提高示例查询和声音分类任务的解决方案的性能方面表现出了希望。在这项工作中，使用卷积神经网络（CNN）对深度特征嵌入进行无监督训练，以进行音乐分割。所提出的技术仅利用在任何音频时间轴中隐含的音频特征的时间接近度。采用这些嵌入在一个经典的音乐分割算法，不仅显着提高了该算法的性能，但在无监督音乐分割获得最先进的性能。
2021-08-30 cs.LG cs.MM cs.SD
SyncNet: correlating objective for time delay estimation in audio signals
本文提出SyncNet，通过基于相关函数的新型目标函数训练深度神经网络，将音频信号变换为在真实时延处高互相关的序列，从而在噪声混响环境下实现鲁棒时延估计。
2025-09-02 eess.AS eess.SP
Audio Prototypical Network For Controllable Music Recommendation
针对传统音乐推荐系统黑盒建模缺乏可解释性与可控性的问题，提出音频原型网络，以音乐语义特征原型表示用户偏好，在保持推荐性能竞争力的同时实现了可解释可控的用户画像构建。
2025-07-31 cs.IR eess.AS
A Survey on Audio Diffusion Models: Text To Speech Synthesis and Enhancement in Generative AI
KAIST（韩国科学技术院）；Kyung Hee University（庆熙大学）；Beijing Institute of Technology（北京理工大学）
本综述系统梳理了音频扩散模型在文本到语音合成与语音增强任务中的最新进展，按扩散模型应用阶段对TTS方法分类，并按信号增减对语音增强任务分类，同时比较了实验结果。
2023-04-02 cs.AI cs.LG cs.MM
