What Do Neurons Listen To? A Neuron-level Dissection of a General-purpose Audio Model
Graduate School of Systems Design, Tokyo Metropolitan University(东京 Metropolitan 大学系统设计研究生院)
本文通过神经元层面分析,揭示了通用音频SSL模型中类别特定神经元的产生机制及其对分类性能的影响。
2026-02-17 cs.SD eess.AS
DECAR: Deep Clustering for learning general-purpose Audio Representations
IIT Madras(印度理工学院马德拉斯分校)
我们介绍DECAR,一种用于学习通用音频表示的自监督预训练方法。我们的系统基于聚类:它利用离线聚类步骤来提供目标标签,这些标签充当用于解决预测任务的伪标签。我们在计算机视觉的自监督学习的最新进展之上开发,并设计了一个轻量级,易于使用的自监督预训练方案。我们在大规模Audioset数据集的平衡子集上预训练DECAR嵌入,并将这些表示转移到9个下游分类任务,包括语音,音乐,动物声音和声学场景。此外,我们进行消融研究,确定关键的设计选择,并公开我们所有的代码和预训练模型。
2023-03-14 cs.CL cs.SD eess.AS
M2D-CLAP: Exploring General-purpose Audio-Language Representations Beyond CLAP
M2D-CLAP通过结合自监督掩码建模M2D与CLAP,并利用LLM语义嵌入进行多阶段联合训练,学习高性能的通用音频与CLAP特征,实现了超越CLAP的通用音频-语言表示。
2025-09-15 eess.AS
GRAM: Spatial general-purpose audio representation models for real-world applications
Donders Institute, Radboud University, Nijmegen, The Netherlands(多纳茨研究所,拉德堡德大学,尼姆韦根,荷兰);Mortimer B Zuckerman Institute, Columbia University, New York, United States(莫蒂默·B·祖克erman研究所,哥伦比亚大学,纽约,美国)
GRAM通过多通道掩码自编码器学习空间音频表示,提升真实世界声学环境中的音频任务性能。
2026-02-04 cs.AI cs.SD eess.AS
Exploring Pre-trained General-purpose Audio Representations for Heart Murmur Detection
Communication Science Laboratories, Nippon Telegraph and Telephone Corporation(日本电报电话公司通信科学实验室)
本研究探索利用大规模数据集预训练的通用音频表示进行心脏杂音检测迁移学习,实验表明M2D模型在CirCor数据集上优于现有方法,并通过模型集成进一步提升性能。
2024-04-26 cs.SD eess.AS
M2D-CLAP: Masked Modeling Duo Meets CLAP for Learning General-purpose Audio-Language Representation
NTT Corporation(NTT公司);Doshisha University(同志社大学)
提出M2D-CLAP方法,结合自监督学习M2D与CLAP,学习同时支持零样本推理和迁移学习的通用音频-语言表示,在多个任务上表现优异并在GTZAN达到75.17%的最先进水平。
2024-06-04 cs.MM cs.SD eess.AS
Integrated Parameter-Efficient Tuning for General-Purpose Audio Models
University of Seoul(首尔大学)
超大规模和通用预训练模型的出现正在改变为目标任务构建特定任务模型的范式。在音频研究领域,具有高度可移植性和适应性的任务无关预训练模型通过对下游任务的微调实现了最先进的性能。然而,重新训练这些庞大模型的所有参数需要大量的时间和成本,以及巨大的碳足迹。为了克服这些局限性,本研究在音频领域探索并应用有效的迁移学习方法。我们还提出了一个集成的参数有效的调整(IPET)框架,通过聚合的嵌入提示(一种基于学习的方法),和适配器(一种有效的迁移学习方法)。我们使用两个具有不同特征的骨干预训练音频模型来证明所提出的框架的有效性:音频频谱图Transformer和wav2vec 2.0。所提出的IPET框架表现出显着的性能相比,微调的方法,在四个下游的任务:声音事件分类,音乐流派分类,关键字定位,说话人验证,具有较少的可训练参数。此外,作者识别并分析了IPET框架的缺点,为音频领域的参数有效调整提供了经验教训和研究方向。
2023-03-02 cs.SD eess.AS
Revisiting Audio-language Pretraining for Learning General-purpose Audio Representation
University of Texas at Austin(德克萨斯大学奥斯汀分校);Zhejiang University(浙江大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tencent AI Lab Seattle(腾讯AI实验室西雅图)
本文通过构建大规模数据集CaptionStew并系统对比对比学习和字幕生成目标,揭示了音频-语言预训练在数据效率和可扩展性上的权衡,为通用音频表示学习提供了实证指导。
2026-07-01 cs.AI eess.AS
OpenBEATs: A Fully Open-Source General-Purpose Audio Encoder
Carnegie Mellon University, USA(卡内基梅隆大学,美国);National Institute of Advanced Industrial Science and Technology (AIST), Japan(国家工业科学与技术研究院(AIST),日本)
研究旨在填补通用音频理解中掩码令牌预测应用空白,提出开源框架OpenBEATs,通过多域音频预训练扩展BEATs。经多任务、多数据集和多音频域全面评估,其在多个数据集上达最优性能,证明方法有效性并开源相关代码等。
2026-07-14 cs.SD eess.AS
Characterizing dynamically varying acoustic scenes from egocentric audio recordings in workplace setting
University of Southern California(南加州大学)
能够对声学场景进行检测和分类的设备具有许多应用,诸如提供上下文感知的用户体验。在本文中,我们解决的任务,从可穿戴麦克风收集的录音在工作场所设置的声学场景的特征。声学场景,跟踪与蓝牙收发器,动态变化与时间从自我中心的角度来看,移动用户。我们的数据集包含从医院的临床提供者收集的经验采样长音频记录,他们在多个轮班期间佩戴音频徽章。为了处理长时间的自我中心记录,我们提出了一个基于时间延迟神经网络(TDNN)的分段级建模。实验表明,TDNN在声学场景分类任务中优于其他模型。我们调查的影响,主要发言人的讲话确定声学场景从音频徽章,并提供了不同的模型之间的性能比较。此外,我们探讨了用户所经历的声学场景的序列和他们的工作性质之间的关系,并发现我们的模型预测的场景序列往往具有类似的关系。初步的有希望的结果揭示了许多研究方向的声学场景分类通过可穿戴设备以及自我中心的分析,动态声学场景中遇到的用户。
2019-11-10 cs.LG cs.SD eess.AS
General Purpose Audio Effect Removal
Queen Mary University of London(伦敦玛丽女王大学)
针对现有音频效果去除方法仅处理单一效果或源类型的局限,本文提出通用任务并构建多效果数据集,通过训练效果特定模型并利用分类器动态组合模型图,实现优于单一基线的去除性能。
2023-08-30 cs.SD eess.AS
Modelling black-box audio effects with time-varying feature modulation
Centre for Digital Music(数字音乐中心);Amazon(亚马逊)
针对现有音频效果建模在长时依赖上的不足,提出将时变特征调制集成到时间卷积网络中,以更准确地建模模糊和压缩器效果,并提供代码与模型。
2023-05-09 cs.AI cs.LG cs.SD
Visually Exploring Multi-Purpose Audio Data
Lincoln University(林肯大学);Queen Mary University of London(伦敦玛丽女王大学)
我们使用工具分析多用途音频,以可视化可通过无监督方法观察到的数据中的相似性。机器学习分类器的成功受到系统输入中包含的信息的影响,因此我们研究数据中的潜在模式是否可以解释此类分类器的性能限制。我们使用聚类趋势(VAT)技术的视觉评估一个众所周知的数据集,观察样本如何自然聚类,我们进行比较,用于音频地理标记和声学场景分类的标签。我们证明,增值税有助于解释和证实在以前的工作中观察到的混乱,以分类这种音频,产生更深入的了解监督分类系统的性能和局限性。虽然这种探索性分析是在我们知道“地面实况”标签的数据上进行的,但这种将数据所指示的自然分组可视化的方法导致了关于未标记数据的重要问题,这些问题可以帮助评估和现实的期望未来(包括自我监督)分类系统。
2021-10-09 cs.HC cs.SD eess.AS
Self-supervised learning method using multiple sampling strategies for general-purpose audio representation
LINE Corporation(LINE公司);Nagoya University(名古屋大学)
提出一种采用多种采样策略(片段级、帧级、任务特定)的自监督学习方法,提升通用音频表征在片段分类、声音事件检测和音高检测上的性能,分别提高25%、20%和3.6%。
2025-05-25 cs.SD eess.AS
Masked Modeling Duo for Speech: Specializing General-Purpose Audio Representation to Speech using Denoising Distillation
NTT Corporation(日本电报电话公司)
本文提出去噪蒸馏任务与M2D-S模型,联合学习细粒度聚类特征与掩码预测,将通用音频表示M2D特化至语音领域,在SUPERB基准上达到或超越SOTA语音模型性能。
2023-08-03 cs.SD eess.AS
Unlocking Strong Supervision: A Data-Centric Study of General-Purpose Audio Pre-Training Methods
Zhejiang University(浙江大学);Tencent AI Lab(腾讯AI实验室);UT-Austin(德克萨斯大学奥斯汀分校)
本文提出通过高质量数据构建强监督框架,对比不同预训练目标,发现数据质量和覆盖范围是性能关键因素,目标选择决定下游任务专精。
2026-03-26 cs.AI cs.SD eess.AS
DeSTA2.5-Audio: Toward General-Purpose Large Audio Language Model with Self-Generated Cross-Modal Alignment
本文提出DeSTA2.5-Audio,一种通用大规模音频语言模型,通过自我生成的跨模态对齐策略解决知识保留与音频感知的平衡问题,展示了在多个音频-语言基准测试中的优异性能。
2026-03-19 cs.CL cs.SD eess.AS
Audio2Face: Generating Speech/Face Animation from Single Audio with Attention-Based Bidirectional LSTM Networks
Zhejiang University(浙江大学);Netease(网易)
我们提出了一种端到端的深度学习方法,用于仅从音频生成实时面部动画。具体而言,我们的深层架构采用深层双向长短期记忆网络和注意力机制来发现语音中时变上下文信息的潜在表征,并识别有助于特定人脸状态的不同信息的重要性。因此,我们的模型能够在推理时驱动不同级别的面部运动,并自动跟上输入音频中相应的音高和潜在的说话风格,而无需假设或进一步的人为干预。实验结果表明,该方法不仅可以从音频中准确地生成嘴唇运动,而且可以成功地回归说话人随时间变化的面部运动。
2019-05-27 cs.CV cs.LG cs.SD
BYOL for Audio: Exploring Pre-trained General-purpose Audio Representations
Communication Science Laboratories, Nippon Telegraph and Telephone Corporation(日本电报电话公司通信科学实验室)
预训练模型是现代机器学习系统中各个领域的特征提取器。在这项研究中,我们假设,表示有效的一般音频任务应该提供多个方面的强大功能的输入声音。为了识别声音而不管诸如变化的音高或音色的扰动,特征应该对这些扰动是鲁棒的。为了满足诸如情感或音乐类型识别等任务的不同需求,表征应该提供多方面的信息,例如局部和全局特征。为了实现我们的原则,我们提出了一种自监督学习方法:Bootstrap Your Own Latent(BYOL)for Audio(BYOL-A,发音为“viola”)。BYOL-A预训练对音频数据增强不变量的输入声音的表示,这使得学习的表示对声音的扰动具有鲁棒性。而BYOL-A编码器结合了局部和全局特征,并计算它们的统计信息,使表示提供多方面的信息。因此,学习的表示应该提供强大的和多方面的信息,以满足不同任务的各种需求。我们评估了BYOL-A与以前最先进的方法相比的一般音频任务性能,BYOL-A表现出了最佳平均结果72.4%和最佳VoxCeleb 1结果57.6%的泛化能力。大量的烧蚀实验表明,BYOL-A编码器架构有助于大部分性能,最后的关键部分诉诸BYOL框架和BYOL-A增强。我们的代码可以在https://github.com/nttcslab/byol-a上在线获得,以供将来研究。
2022-06-16 cs.SD eess.AS
A Multi-Purpose Audio-Visual Corpus for Multi-Modal Persian Speech Recognition: the Arman-AV Dataset
Iran University of Science and Technology(伊朗科技大学);Amirkabir University of Technology(阿米尔卡比尔理工大学)
近年来,自动唇读研究取得了重大进展。但是这些方法需要大规模的数据集,而这些数据集对于许多低资源语言来说是不存在的。在本文中,我们提出了一个新的多用途的波斯语视听数据集。该数据集包含近220小时的视频,其中有1760个对应的发言者。除了唇读之外,该数据集还适用于自动语音识别、视听语音识别和说话人识别。它也是第一个大规模的波斯语唇读数据集。为每项提到的任务提供了一个基线方法。此外,我们提出了一种技术来检测视位(一个视觉相当于一个音素)在波斯语。通过这种方法获得的视位,提高了7%的唇读任务的准确性相比,以前提出的视位,这可以适用于其他语言以及。
2023-01-21 cs.CL cs.SD eess.AS
Sketch2Sound: Controllable Audio Generation via Time-Varying Signals and Sonic Imitations
Adobe Research(奥多比研究院);Northwestern University(西北大学)
该研究提出Sketch2Sound模型,通过时变控制信号(响度、亮度、音高)、文本提示及声音模仿生成可控高质量音频,基于DiT微调更轻量,支持灵活时间特异性控制,提升声音创作的语义灵活性与表达精确性。
2025-04-14 cs.SD eess.AS
Audio Mamba: Selective State Spaces for Self-Supervised Audio Representations
Aalborg University(奥尔堡大学);Pioneer Center for AI(先锋人工智能中心)
本文提出Audio Mamba,一种基于选择性状态空间模型的自监督音频表示学习方法,在AudioSet预训练后于多个音频任务上显著优于SSAST基线。
2024-06-07 cs.AI cs.SD eess.AS
Masked Spectrogram Modeling using Masked Autoencoders for Learning General-purpose Audio Representation
NTT Communication Science Laboratories(NTT通信科学实验室);NTT Corporation(NTT公司)
最近的通用音频表示在各种音频任务上显示出最先进的性能。这些表示是通过自监督学习方法预先训练的,该方法从输入中创建训练信号。例如,典型的音频对比学习使用输入声音之间的时间关系来创建训练信号,而一些方法使用由数据增强创建的输入视图之间的差异。然而,这些训练信号不提供从完整的输入声音中导出的信息,我们认为这对于描述输入的学习表示来说是次优的。在本文中,我们试图从输入本身学习音频表示作为监督,使用掩蔽频谱图补丁的自动编码的借口任务,掩蔽频谱图建模(MSM,应用于音频频谱图的掩蔽图像建模的变体)。为了实现MSM,我们使用了Masked Autoencoders(MAE),这是一种图像自监督学习方法。MAE学习有效地将少量可见补丁编码为潜在表示,以携带用于重建大量掩蔽补丁的基本信息。在训练时,MAE将输入作为训练信号,使重建误差最小化,从而达到了我们的目标。我们在HEAR 2021 NeurIPS Challenge的评估基准下,使用MAE(MSM-MAE)模型对MSM进行了实验。我们的MSM-MAE模型在15项任务中的7项上的表现优于HEAR 2021挑战赛的结果(例如,CREMA-D上的准确率为73.4%,LibriCount上的准确率为85.8%),同时在其他任务上表现出最佳性能,其中专业模型表现更好。我们还研究了MSM-MAE的设计选择如何影响性能,并对可视化结果进行定性分析,以了解学…
2022-04-26 cs.SD eess.AS
MT2KD: Towards A General-Purpose Encoder for Speech, Speaker, and Audio Events
University of Cambridge(剑桥大学);Tsinghua University(清华大学);Google DeepMind(谷歌DeepMind)
提出 MT2KD 两阶段多教师蒸馏与多任务微调框架,用 66M 参数构建兼顾 ASR、AT 和 SV 的通用语音音频编码器,并以较小性能损失超越从头多任务基线。
2025-02-20 cs.SD eess.AS
Modeling of nonlinear audio effects with end-to-end deep neural networks
Queen Mary University of London(伦敦玛丽女王大学)
在音乐制作的背景下,失真效果主要用于美学原因,通常应用于电子乐器。大多数现有的非线性建模方法往往是简化或优化到一个非常具体的电路。在这项工作中,我们研究了用于音频处理的深度学习架构,我们的目标是找到一个通用的端到端深度神经网络来执行非线性音频效果的建模。我们展示了网络建模的各种非线性,我们讨论了不同的仪器之间的泛化能力。
2019-03-06 cs.LG cs.SD eess.AS
Auden-Voice: General-Purpose Voice Encoder for Speech and Language Understanding
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Texas at Austin(德克萨斯大学奥斯汀分校);Tencent AI Lab, USA(腾讯AI实验室(美国))
针对大型音频语言模型编码器难以平衡语音身份与副语言线索的问题,本研究提出通用语音编码器Auden-Voice,通过多任务训练实现平衡表示,与LLMs集成表现优异,代码等将随Auden工具包发布。
2025-11-19 cs.SD eess.AS
On Synchronization of Wireless Acoustic Sensor Networks in the Presence of Time-varying Sampling Rate Offsets and Speaker Changes
Paderborn University(帕德博恩大学)
如果网络设备的模数转换器(ADC)不同步,则无线声学传感器网络记录具有音频流之间的采样时间和采样速率偏移的音频信号。在这里,我们引入了一个新的采样率偏移模型来模拟时变采样频率,例如,由ADC晶体振荡器的温度变化引起的,并提出了一种估计算法来处理这种动态方面与不断变化的声源位置相结合。此外,我们还展示了如何使用基于深度神经网络的麦克风和人类说话者之间距离的估计来确定采样时间偏移。这使得音频流能够同步以反映飞行的物理时差。
2021-10-25 cs.SD eess.AS
SALMONN-2: Advancing General-Purpose Hearing Abilities with Self-Supervised Representations
University of Cambridge(剑桥大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Tsinghua University(清华大学)
研究探索自监督学习音频表示能否为音频大语言模型提供基础,提出基于统一SSL编码器的SALMONN-2,用多层特征融合适配器,还探索多模态上下文学习。实验表明通用SSL编码器性能良好,SALMONN-2达先进水平,且特定训练可获多模态上下文学习能力。
2026-07-21 eess.AS
HEAR: Holistic Evaluation of Audio Representations
Google(谷歌);Adobe(奥多比);IRCAM(声学与音乐研究中心)
本研究推出HEAR基准并举办NeurIPS 2021共享挑战赛,通过多领域下游任务评估通用音频表征,开源相关资源,同时指出单一通用音频表征能否媲美人类听觉仍是开放问题。
2022-05-29 cs.AI cs.LG cs.SD
On the performance of residual block design alternatives in convolutional neural networks for end-to-end audio classification
Visualfy;Universitat de València(瓦伦西亚大学)
残差学习是最近提出的一种学习框架,用于促进非常深的神经网络的训练。剩余块或单元由一组堆叠的层组成,其中输入被添加回其输出,目的是创建身份映射。在实践中,这种身份映射是通过所谓的跳过或剩余连接来完成的。然而,关于在构成残余块的堆叠层的集合内应用此类跳过连接的位置出现多个实现替代。虽然使用卷积神经网络(CNN)进行图像分类的ResNet架构在文献中已被广泛讨论,但到目前为止,很少有作品将ResNet架构用于1D音频分类任务。因此,用于原始音频分类的不同残差块设计的适用性是部分未知的。本文的目的是分析和讨论几个残留块实现的性能在一个国家的最先进的CNN为基础的架构端到端的音频分类使用原始音频波形。为了比较的目的,我们分析,以及在一个类似的2D架构下,使用传统的时间-频率音频表示作为输入的残留块的性能。结果表明,实现的精度是相当依赖的,不仅对特定的残留块的实现,而且对选定的输入归一化。
2019-09-26 cs.LG cs.SD eess.AS
Prompting Large Language Models with Audio for General-Purpose Speech Summarization
Massachusetts Institute of Technology(麻省理工学院)
本研究提出结合指令微调LLM与音频编码器的端到端语音摘要框架,经语音-文本配对数据训练后可通过提示实现跨领域多风格语音摘要,性能优于级联基线系统。
2024-06-10 cs.CL eess.AS
Music ControlNet: Multiple Time-varying Controls for Music Generation
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(Adobe研究院)
Music ControlNet提出基于扩散的时变控制音乐生成方法,支持旋律、动态和节奏控制,相比MusicGen在参数少35倍、数据少11倍下旋律忠实度提升49%。
2023-11-13 cs.SD eess.AS
Gull: A Generative Multifunctional Audio Codec
本文提出Gull,一种生成式多功能神经音频编解码器,通过子带建模、增益-形状表示、改进残差向量量化和弹性解码器设计,在多种采样率与比特率下实现与现有方法相当或更优的压缩性能,并内置不增加比特率的音频超分辨率能力。
2024-06-07 cs.AI cs.LG cs.SD
A Deep Reinforcement Learning Approach for Audio-based Navigation and Audio Source Localization in Multi-speaker Environments
National and Kapodistrian University of Athens(雅典国家与卡波季斯特里安大学)
在这项工作中,我们将深度强化学习应用于导航三维环境和推断人类扬声器音频源的位置的问题,在唯一可用信息是来自环境的原始声音的情况下,因为放置在环境中的模拟人类听众会听到它。为此,我们使用Unity游戏引擎创建了两个虚拟环境,一个提出基于音频的导航问题,一个提出音频源定位问题。我们还创建了一个自主智能体的基础上PPO在线强化学习算法,并试图训练它来解决这些环境。我们的实验表明,我们的代理实现足够的性能和泛化能力,在这两种环境中,通过定量指标测量,即使当有限的训练数据或环境参数的变化,在训练过程中没有遇到的方式。我们还表明,一定程度的代理知识转移是可能的环境之间。
2021-11-27 cs.LG cs.SD eess.AS
Evaluating Pretrained General-Purpose Audio Representations for Music Genre Classification
Indian Institute of Technology Patna(巴特那印度理工学院);Indian Institute of Technology Jammu(詹穆印度理工学院)
本文研究了自监督学习嵌入(特别是BYOL-A)与深度神经网络分类器结合在音乐流派分类中的应用,发现BYOL-A在GTZAN数据集上达到81.5%的准确率,且DNN分类器比线性分类器提升了10-16%的性能。
2026-03-14 eess.AS
Structure-Aware Audio-to-Score Alignment using Progressively Dilated Convolutional Neural Networks
Queen Mary University of London(伦敦玛丽女王大学);Institute for Research and Coordination in Acoustics/Music(声学/音乐研究与协调研究所)
音乐演奏和乐谱之间的结构差异的识别是音频-乐谱对齐的一个具有挑战性但不可或缺的步骤,音频-乐谱对齐是音乐信息检索的一个重要子任务。我们提出了一种新颖的方法,使用逐渐扩大的卷积神经网络来检测给定音乐作品的乐谱和演奏之间的差异。我们的方法在不同层采用不同的膨胀率来捕获短期和长期的上下文,并且可以在有限的注释数据的情况下成功地使用。我们进行实验的真实表演,从结构上不同的分数的音频记录,我们的结果表明,我们的模型优于标准方法的结构感知音频到分数对齐。
2021-02-14 cs.LG cs.SD eess.AS
Deep Convolutional and Recurrent Networks for Polyphonic Instrument Classification from Monophonic Raw Audio Waveforms
National Technical University of Athens(雅典国立技术大学);Athena Research Center(雅典娜研究中心)
声音事件检测和音频分类任务传统上通过音频信号的时间-频率表示(诸如频谱图)来解决。然而,深度神经网络作为高效特征提取器的出现使得能够直接使用音频信号用于分类目的。在本文中,我们尝试通过仅将原始波形馈送到深度学习模型中来识别复调音频中的乐器。各种经常性和卷积架构,包括残留的连接进行检查和参数化,以建立端到端的分类器,计算成本低,只有最小的预处理。我们通过IRMAS测试集获得了竞争性分类分数和有用的仪器洞察力,利用具有多个残差连接的并行CNN-BiGRU模型,同时保持可训练参数的数量显着减少。
2021-02-13 cs.LG cs.SD eess.AS
Sparse Gaussian Process Audio Source Separation Using Spectrum Priors in the Time-Domain
Queen Mary University of London(伦敦玛丽女王大学);The University of Sheffield(谢菲尔德大学)
高斯过程(GP)音频源分离是一种时域方法,它避免了基于频谱图的方法固有的相位近似问题。此外,通过其内核,GP优雅地将有关源的先验知识纳入分离模型。尽管有这些令人信服的优点,GP推理的计算复杂度与音频样本的数量成立方比例。因此,源分离GP模型已被限制在短音频帧的分析。我们介绍了一个有效的应用GP时域音频源分离,而不影响性能。为此,我们使用GP回归,连同光谱混合内核,变分稀疏GP。我们比较了我们的方法与LD-PSDTF(半正定张量分解),KL-NMF(Kullback-Leibler非负矩阵分解),IS-NMF(Itakura-Saito NMF)。结果表明,该方法优于这些技术。
2018-11-21 cs.LG cs.SD eess.AS
Masked Modeling Duo: Towards a Universal Audio Pre-training Framework
Communication Science Laboratories, Nippon Telegraph and Telephone Corporation(日本电报电话公司通信科学实验室)
本文提出掩码预测自监督方法 M2D 及其面向专用任务的扩展 M2D-X,通过掩码部分编码、可配置附加任务和背景噪声去噪,在通用音频、AudioSet、语音及小样本医疗任务上达到顶级性能。
2024-04-09 cs.SD eess.AS
WavJEPA: Semantic learning unlocks robust audio foundation models for raw waveforms
Donders Institute, Radboud University Nijmegen(多纳尔斯研究所,拉德堡德大学尼美根分校);Mortimer B Zuckerman Institute, Columbia University(莫蒂默·B·茨克erman研究所,哥伦比亚大学)
本文提出基于原始波形的 WavJEPA 及其多通道扩展 WavJEPA-Nat,通过高层语义表示学习在低计算成本下实现鲁棒、低延迟的通用音频基础模型,并在多种下游任务中显著超越现有方法。
2025-11-10 cs.SD eess.AS
SpliceOut: A Simple and Efficient Audio Augmentation Method
Indian Institute of Technology Bombay(印度孟买理工学院);Verisk Analytics(威睿凯分析公司)
时间掩蔽已经成为语音和音频任务的事实上的增强技术,包括自动语音识别(ASR)和音频分类,最显著的是作为SpecAugment的一部分。在这项工作中,我们提出了SpliceOut,一个简单的修改时间掩蔽,使其计算更有效。SpliceOut在各种语音和音频任务上的表现都超过(有时甚至超过)SpecAugment,包括使用不同数量的训练数据针对七种不同语言的ASR,以及语音翻译,声音和音乐分类,从而将自己确立为广泛适用的音频增强方法。当与其他增强技术结合使用时,SpliceOut还提供了额外的增益。除了全监督设置,我们还证明了SpliceOut可以补充无监督表示学习与半监督和自监督设置中的性能增益。
2021-10-13 cs.AI cs.LG cs.SD
PIAVE: A Pose-Invariant Audio-Visual Speaker Extraction Network
Shenzhen Research Institute of Big Data(深圳大数据研究院);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);National University of Singapore(新加坡国立大学)
针对音视频说话人提取中难以处理变化说话人脸庞的问题,提出PIAVE网络,通过生成姿态不变视角构建多视角视觉输入,在MEAD和LRS3数据集上优于现有方法且对姿态变化更具鲁棒性。
2023-09-13 cs.MM cs.SD eess.AS
Towards generalizing deep-audio fake detection networks
University of Bonn(波恩大学)
针对深度分类器难以泛化到未知音频生成器的问题,该研究利用当前生成器的频域指纹训练轻量级检测器,并通过纳入 Avocodo 与 BigVGAN 样本扩展 WaveFake,实现了更好的跨生成器检测效果。
2024-04-09 cs.LG cs.SD eess.AS
Sudo rm -rf: Efficient Networks for Universal Audio Source Separation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(Adobe研究院)
在本文中,我们提出了一个有效的神经网络端到端的通用音频源分离。具体来说,这个卷积网络的骨干结构是多分辨率特征的连续下采样和恢复(SuDoRMRF)以及通过简单的一维卷积执行的聚合。通过这种方式,我们能够获得高质量的音频源分离,具有有限数量的浮点运算,内存要求,参数数量和延迟。我们在语音和环境声音分离数据集上的实验表明,SuDoRMRF的性能优于甚至超过了各种最先进的方法,但计算资源要求明显更高。
2020-07-14 cs.CL cs.LG cs.SD
Modulation Extraction for LFO-driven Audio Effects
Christopher Mitcheltree Christian J. Steinmetz Marco Comunità Joshua D. Reiss
提出一种从处理后的音频中提取任意LFO信号的框架,并将其与处理网络耦合,实现了仅用干湿音频对训练未见过的LFO驱动音频效果的端到端黑盒模型。
2023-05-22 cs.LG cs.SD eess.AS
Learning General Audio Representations with Large-Scale Training of Patchout Audio Transformers
Johannes Kepler University(约翰内斯·开普勒大学)
监督式深度学习方法的成功很大程度上归功于它们从原始数据中学习相关特征的能力。在大规模数据集上训练的深度神经网络(DNN)能够捕获各种特征集,并学习一种表示,这种表示可以概括到来自同一领域的看不见的任务和数据集。因此,这些模型可以用作强大的特征提取器,结合较浅的模型作为分类器,用于较小的任务和数据集,其中训练数据的量不足以从头开始学习端到端模型。在过去的几年中,卷积神经网络(CNN)在很大程度上是音频处理的首选方法。然而,最近基于注意力的Transformer模型在监督环境中表现出巨大的潜力,优于CNN。在这项工作中,我们研究了使用在大规模数据集上训练的音频Transformers来学习通用表示。我们研究了这些音频Transformers中的不同设置如何影响其嵌入的质量。在HEAR 2021 NeurIPS挑战评估设置之后,我们对模型的时间分辨率、提取的嵌入水平和感受野进行了实验,以了解它们如何影响各种任务和数据集的性能。我们的研究结果表明,音频Transformers提取的表示优于CNN表示。此外,我们将证明,在Audioset上训练的Transformers可以成为非常有效的表示提取器,用于各种下游任务。
2023-03-02 cs.LG cs.SD eess.AS
Fx-Encoder++: Extracting Instrument-Wise Audio Effects Representations from Mixtures
本文提出Fx-Encoder++模型,通过对比学习与提取器机制,从音乐混音中提取乐器级音频效果表示,在检索和参数匹配任务上优于以往混音级方法,弥补了智能音乐制作中乐器级效果理解的能力缺口。
2025-07-03 cs.SD eess.AS
DPLM: A Deep Perceptual Spatial-Audio Localization Metric
Facebook Reality Labs Research(Facebook现实实验室研究院)
主观评估对于评估音频合成驱动技术(如增强现实和虚拟现实)中声音的感知真实性至关重要。然而,它们的设置具有挑战性,用户会感到疲劳,而且价格昂贵。在这项工作中,我们解决了捕捉本地化声音的感知特性的问题。具体来说,我们提出了一个框架,用于建立一个通用的质量指标,以评估两个双耳录音之间的空间定位差异。我们通过利用来自经过波达方向(DOA)估计训练的深度网络的激活级距离来对定位相似性进行建模。我们提出的指标(DPLM)在与不同数据集上的主观评级相关性方面优于基线指标,即使没有任何人工标记的训练数据。
2021-05-29 cs.SD eess.AS
Network Modulation Synthesis: New Algorithms for Generating Musical Audio Using Autoencoder Networks
University of California San Diego(加州大学圣迭戈分校);New York University(纽约大学)
提出 network modulation synthesis 框架及新生成算法,帮助用户在自编码器潜在空间中构造时变参数,扩展音乐音频合成的听觉可能性。
2021-09-04 cs.SD eess.AS
Composing General Audio Representation by Fusing Multilayer Features of a Pre-trained Model
NTT Corporation(日本电信电话株式会社);NTT Communication Science Laboratories(NTT通信科学实验室)
许多应用研究依赖于在大规模数据集上预训练的音频DNN模型作为基本特征提取器,并且它们从最后一层提取特征。在这项研究中,我们专注于我们的发现,即现有监督预训练模型的中间层特征对于某些任务比后期层特征更有效。我们提出了一种简单的方法来组合对通用应用有效的特征,包括两个步骤:(1)从中间/后期层输出沿时间帧计算特征向量,以及(2)融合它们。该方法提高了频率和信道信息在下游过程中的效用,并结合了针对不同任务的中间层和后期层特征的有效性。因此,特征向量对于一般目的变得有效。在使用VGGish、PANNs的CNN 14和AST对9个下游任务进行的实验中,我们首先展示了这些模型的每一层输出服务于不同的任务。然后,我们证明所提出的方法显着提高了它们的性能,并使其达到与最先进水平相当的水平。特别是,非语义语音(NOSS)任务的性能大大提高,尤其是在VGGish为+77.1(14.3%至91.4%)的语音命令V2上。
2022-05-17 cs.SD eess.AS
Domain Adaptation for Contrastive Audio-Language Models
Carnegie Mellon University(卡内基梅隆大学);Microsoft(微软公司)
本文提出一种无需标注的测试时域适应方法,通过增强视图一致性学习域向量,在12个下游任务上平均零样本性能提升3.2%,且保持泛化能力。
2024-07-22 cs.SD eess.AS
SnakeSynth: New Interactions for Generative Audio Synthesis
University of British Columbia(不列颠哥伦比亚大学)
本文提出基于 Web 和 TensorFlow.js 的轻量合成器 SnakeSynth,利用二维触摸/拖拽手势实时控制深度生成音频的长度、强度与音色插值。
2023-07-11 cs.HC cs.SD eess.AS
Creating Aesthetic Sonifications on the Web with SIREN
Stanford University(斯坦福大学)
本文介绍基于 Web 的通用可听化接口 SIREN,阐述其合成器模块结构与支持的多种声音合成技术,并提出提升实用性的后续开发方向。
2024-03-28 cs.HC cs.MM cs.SD
Weakly-supervised Audio Temporal Forgery Localization via Progressive Audio-language Co-learning Network
MoE Key Laboratory of Information Technology(信息科技联合实验室);Sun Yat-sen University(中山大学);State Key Laboratory of Mathematical Engineering and Advanced Computing(数学工程与先进计算国家重点实验室);Alibaba Group(阿里巴巴集团)
本文提出渐进式音频-语言协同学习网络LOCO,通过协同学习与自监督在弱监督下实现音频时序伪造定位,并在三个公开基准上取得SOTA性能。
2025-05-07 cs.CV cs.MM cs.SD