Evaluation of Deep Audio Representations for Hearables
Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学);Sonova AG(索诺瓦公司);University of Basel(巴塞尔大学)
本文提出首个耳戴设备音频表征评估基准DEAR,含1158条30秒音频和八项任务,证明BEATs模型在捕获环境声学属性上显著优于其他模型。
2025-02-24 cs.AI cs.LG cs.SD
Creating an A Cappella Singing Audio Dataset for Automatic Jingju Singing Evaluation Research
Universitat Pompeu Fabra(庞培法布拉大学)
数据驱动的京剧演唱自动评价计算研究缺乏合适的、全面的无伴奏合唱音频数据集。在这项工作中,我们提出了一个无伴奏合唱音频数据集,其中包括120个咏叹调,占1265旋律线。这个数据集也是我们现有的CompMusic京剧语料库的扩展。专业和业余歌手都被邀请参加数据集录制,最常见的京剧音乐元素都被涵盖在内。该数据集还附有每个咏叹调和旋律线的元数据注释,用于自动歌唱评估研究目的。所有收集的数据都可以在网上公开获取。
2017-08-14 cs.DL cs.SD
FoleyGRAM: Video-to-Audio Generation with GRAM-Aligned Multimodal Encoders
Dept. Information Engineering, Electronics and Telecommunications (DIET), Sapienza University of Rome(信息工程、电子与电信系(DIET),罗马萨皮恩扎大学)
FoleyGRAM提出一种基于GRAM对齐多模态编码器的视频到音频生成方法,利用扩散模型和波形包络实现语义与时间对齐,在Greatest Hits基准上提升生成音频与视频的语义一致性。
2025-10-07 cs.CV cs.LG cs.MM
Audio Caption: Listen and Tell
Shanghai Jiao Tong University(上海交通大学)
越来越多的研究揭示了机器感知音频事件,其中大部分涉及检测和分类任务。然而,对音频场景的类人感知不仅涉及对音频声音的检测和分类,还涉及总结不同音频事件之间的关系。类似的研究如图像字幕已经进行,但音频领域仍然相当贫瘠。本文介绍了一个人工标注的音频字幕数据集。其目的是自动生成自然语句的音频场景描述和弥合机器感知的音频和图像之间的差距。整个数据集以普通话标记,我们还包括翻译的英语注释。为英语和普通话提供了一个基线编码器-解码器模型。这两种语言的BLEU分数相似:我们的模型可以基于数据集生成可理解的和数据相关的字幕。
2019-05-31 cs.CL cs.SD eess.AS
Probing Spatial Structure in Pretrained Audio Representations
Music and Audio Research Laboratory, New York University, USA(音乐与音频研究实验室,纽约大学,美国)
通过提出SARL基准,系统评估预训练音频模型对空间信息的编码能力,发现源因素比房间因素更易解码,且不同编码器对空间变化响应存在异质性。
2026-07-17 cs.SD eess.AS
AxLSTMs: learning self-supervised audio representations with xLSTMs
Department of Electronic Systems(电子系统系);Department of Informatics and Telecommunications(信息与电信系)
本文提出AxLSTM方法,利用xLSTM架构从掩码频谱图块中自监督学习音频表示,在AudioSet预训练后于十个下游任务上以最多减少45%的参数量实现比SSAST基线最高25%的相对性能提升。
2025-08-19 cs.SD eess.AS
VAST : The Virtual Acoustic Space Traveler Dataset
Inria Rennes - Bretagne Atlantique(法国国家信息与自动化研究所雷恩-布列塔尼大西洋中心);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
本文介绍了一种新的声源定位的范例,称为虚拟声学空间旅行(VAST),并提出了为此目的设计的第一个数据集。现有的声源定位方法要么是基于近似的物理模型(物理驱动)或特定目的的校准集(数据驱动)。VAST的想法是使用模拟房间脉冲响应的大量数据集来学习从音频特征到所需音频属性的映射。该虚拟数据集被设计为最大限度地代表所考虑的系统可能正在发展的潜在音频场景,同时保持合理的紧凑性。我们表明,在这个数据集上的虚拟学习映射推广到真实数据,克服了传统的基于到达时间差的双耳声音定位方法的一些固有局限性。
2016-12-14 cs.LG cs.SD
Parameter Sensitivity of Deep-Feature based Evaluation Metrics for Audio Textures
National University of Singapore(新加坡国立大学)
诸如Inception分数和Fréchet音频距离之类的标准评估度量提供了合成音频和参考干净音频之间的一般音频质量距离度量。然而,这些度量对定义音频纹理的统计参数的变化的敏感性没有得到很好的研究。在这项工作中,我们提供了一个系统的研究,一些现有的音频质量评价指标的音频纹理参数变化的敏感性。此外,我们还研究了三个更潜在的参数敏感的度量音频纹理合成,(a)基于Gram矩阵的距离,(b)使用Gram矩阵的汇总版本的累积Gram度量,以及(c)基于耳蜗模型的统计特征度量。这些度量使用总结任何给定音频纹理的统计的深度特征,因此固有地对定义音频纹理的统计参数的变化敏感。我们研究和评估现有的标准指标以及革兰氏矩阵和耳蜗模型为基础的指标,以控制参数的变化,在音频纹理在广泛的纹理和参数类型的敏感性,并验证与主观评价。我们发现,每个指标是敏感的纹理参数类型的不同集合。这是第一步调查客观指标评估参数的敏感性,在音频纹理。
2022-08-23 cs.SD eess.AS
TimberAgent: Gram-Guided Retrieval for Executable Music Effect Control
College of Electronics and Information Engineering, Shenzhen University(深圳大学电子与信息工程学院)
TimberAgent通过纹理共振检索实现可编辑的音频效果控制,利用Gram矩阵构建音频表示,降低参数误差,提供更精确的效果控制方案。
2026-03-10 cs.AI cs.SD
BYOL for Audio: Self-Supervised Learning for General-Purpose Audio Representation
NTT Corporation(日本电信电话公司)
受计算机视觉自监督学习的最新进展的启发,我们探索了一种新的通用音频表示学习方法。我们建议从单个音频段学习通用音频表示,而不期望音频样本的不同时间段之间的关系。为了实现这一原则,我们引入了Bootstrap Your Own Latent(BYOL)for Audio(BYOL-A,发音为“viola”),这是一种基于BYOL的音频自监督学习方法,用于学习通用音频表示。与依赖于附近音频段的一致性或远程音频段的不一致性的大多数先前的音频自监督学习方法不同,BYOL-A在从单个音频段导出的增强音频段对中创建对比。通过标准化和增强技术的结合,BYOL-A在各种下游任务中实现了最先进的结果。广泛的消融研究也阐明了每个组件及其组合的贡献。
2021-04-21 cs.LG cs.SD eess.AS
Natural Language Supervision for General-Purpose Audio Representations
Microsoft(微软)
提出对比语言-音频预训练模型,利用460万音频-文本对和两种创新编码器,在26个下游任务上实现最先进性能,推动通用音频表示发展。
2024-02-06 cs.SD eess.AS
What Do Neurons Listen To? A Neuron-level Dissection of a General-purpose Audio Model
Graduate School of Systems Design, Tokyo Metropolitan University(东京 Metropolitan 大学系统设计研究生院)
本文通过神经元层面分析,揭示了通用音频SSL模型中类别特定神经元的产生机制及其对分类性能的影响。
2026-02-17 cs.SD eess.AS
Contrastive Learning of General-Purpose Audio Representations
Google(谷歌)
我们介绍COLA,一种用于学习通用音频表示的自我监督预训练方法。我们的方法是基于对比学习:它学习一种表示,该表示将高相似性分配给从同一录音中提取的音频片段,同时将较低相似性分配给来自不同录音的片段。我们基于计算机视觉对比学习和强化学习的最新进展,设计了一个轻量级的,易于实现的自监督音频模型。我们在大规模Audioset数据库上预训练嵌入,并将这些表示转移到9个不同的分类任务中,包括语音,音乐,动物声音和声学场景。我们表明,尽管它的简单性,我们的方法显着优于以前的自我监督系统。我们还进行消融研究以确定关键的设计选择,并发布一个库来预训练和微调COLA模型。
2020-10-21 cs.LG cs.SD eess.AS
Exploring Pre-trained General-purpose Audio Representations for Heart Murmur Detection
Communication Science Laboratories, Nippon Telegraph and Telephone Corporation(日本电报电话公司通信科学实验室)
本研究探索利用大规模数据集预训练的通用音频表示进行心脏杂音检测迁移学习,实验表明M2D模型在CirCor数据集上优于现有方法,并通过模型集成进一步提升性能。
2024-04-26 cs.SD eess.AS
Integrated Parameter-Efficient Tuning for General-Purpose Audio Models
University of Seoul(首尔大学)
超大规模和通用预训练模型的出现正在改变为目标任务构建特定任务模型的范式。在音频研究领域,具有高度可移植性和适应性的任务无关预训练模型通过对下游任务的微调实现了最先进的性能。然而,重新训练这些庞大模型的所有参数需要大量的时间和成本,以及巨大的碳足迹。为了克服这些局限性,本研究在音频领域探索并应用有效的迁移学习方法。我们还提出了一个集成的参数有效的调整(IPET)框架,通过聚合的嵌入提示(一种基于学习的方法),和适配器(一种有效的迁移学习方法)。我们使用两个具有不同特征的骨干预训练音频模型来证明所提出的框架的有效性:音频频谱图Transformer和wav2vec 2.0。所提出的IPET框架表现出显着的性能相比,微调的方法,在四个下游的任务:声音事件分类,音乐流派分类,关键字定位,说话人验证,具有较少的可训练参数。此外,作者识别并分析了IPET框架的缺点,为音频领域的参数有效调整提供了经验教训和研究方向。
2023-03-02 cs.SD eess.AS
Exploring Federated Self-Supervised Learning for General Purpose Audio Understanding
TCL AI Lab(TCL人工智能实验室)
本文提出联邦自监督学习框架FASSL,在非独立同分布的大规模异构客户端上学习音频特征,实现与集中式方法相当的检索性能,并助力最优全局模型聚合。
2024-02-05 cs.CV cs.LG cs.SD
DECAR: Deep Clustering for learning general-purpose Audio Representations
IIT Madras(印度理工学院马德拉斯分校)
我们介绍DECAR,一种用于学习通用音频表示的自监督预训练方法。我们的系统基于聚类:它利用离线聚类步骤来提供目标标签,这些标签充当用于解决预测任务的伪标签。我们在计算机视觉的自监督学习的最新进展之上开发,并设计了一个轻量级,易于使用的自监督预训练方案。我们在大规模Audioset数据集的平衡子集上预训练DECAR嵌入,并将这些表示转移到9个下游分类任务,包括语音,音乐,动物声音和声学场景。此外,我们进行消融研究,确定关键的设计选择,并公开我们所有的代码和预训练模型。
2023-03-14 cs.CL cs.SD eess.AS
OpenBEATs: A Fully Open-Source General-Purpose Audio Encoder
Carnegie Mellon University, USA(卡内基梅隆大学,美国);National Institute of Advanced Industrial Science and Technology (AIST), Japan(国家工业科学与技术研究院(AIST),日本)
研究旨在填补通用音频理解中掩码令牌预测应用空白,提出开源框架OpenBEATs,通过多域音频预训练扩展BEATs。经多任务、多数据集和多音频域全面评估,其在多个数据集上达最优性能,证明方法有效性并开源相关代码等。
2026-07-14 cs.SD eess.AS
M2D-CLAP: Masked Modeling Duo Meets CLAP for Learning General-purpose Audio-Language Representation
NTT Corporation(NTT公司);Doshisha University(同志社大学)
提出M2D-CLAP方法,结合自监督学习M2D与CLAP,学习同时支持零样本推理和迁移学习的通用音频-语言表示,在多个任务上表现优异并在GTZAN达到75.17%的最先进水平。
2024-06-04 cs.MM cs.SD eess.AS
Self-supervised learning method using multiple sampling strategies for general-purpose audio representation
LINE Corporation(LINE公司);Nagoya University(名古屋大学)
提出一种采用多种采样策略(片段级、帧级、任务特定)的自监督学习方法,提升通用音频表征在片段分类、声音事件检测和音高检测上的性能,分别提高25%、20%和3.6%。
2025-05-25 cs.SD eess.AS
Masked Modeling Duo for Speech: Specializing General-Purpose Audio Representation to Speech using Denoising Distillation
NTT Corporation(日本电报电话公司)
本文提出去噪蒸馏任务与M2D-S模型,联合学习细粒度聚类特征与掩码预测,将通用音频表示M2D特化至语音领域,在SUPERB基准上达到或超越SOTA语音模型性能。
2023-08-03 cs.SD eess.AS
Visually Exploring Multi-Purpose Audio Data
Lincoln University(林肯大学);Queen Mary University of London(伦敦玛丽女王大学)
我们使用工具分析多用途音频,以可视化可通过无监督方法观察到的数据中的相似性。机器学习分类器的成功受到系统输入中包含的信息的影响,因此我们研究数据中的潜在模式是否可以解释此类分类器的性能限制。我们使用聚类趋势(VAT)技术的视觉评估一个众所周知的数据集,观察样本如何自然聚类,我们进行比较,用于音频地理标记和声学场景分类的标签。我们证明,增值税有助于解释和证实在以前的工作中观察到的混乱,以分类这种音频,产生更深入的了解监督分类系统的性能和局限性。虽然这种探索性分析是在我们知道“地面实况”标签的数据上进行的,但这种将数据所指示的自然分组可视化的方法导致了关于未标记数据的重要问题,这些问题可以帮助评估和现实的期望未来(包括自我监督)分类系统。
2021-10-09 cs.HC cs.SD eess.AS
BYOL for Audio: Exploring Pre-trained General-purpose Audio Representations
Communication Science Laboratories, Nippon Telegraph and Telephone Corporation(日本电报电话公司通信科学实验室)
预训练模型是现代机器学习系统中各个领域的特征提取器。在这项研究中,我们假设,表示有效的一般音频任务应该提供多个方面的强大功能的输入声音。为了识别声音而不管诸如变化的音高或音色的扰动,特征应该对这些扰动是鲁棒的。为了满足诸如情感或音乐类型识别等任务的不同需求,表征应该提供多方面的信息,例如局部和全局特征。为了实现我们的原则,我们提出了一种自监督学习方法:Bootstrap Your Own Latent(BYOL)for Audio(BYOL-A,发音为“viola”)。BYOL-A预训练对音频数据增强不变量的输入声音的表示,这使得学习的表示对声音的扰动具有鲁棒性。而BYOL-A编码器结合了局部和全局特征,并计算它们的统计信息,使表示提供多方面的信息。因此,学习的表示应该提供强大的和多方面的信息,以满足不同任务的各种需求。我们评估了BYOL-A与以前最先进的方法相比的一般音频任务性能,BYOL-A表现出了最佳平均结果72.4%和最佳VoxCeleb 1结果57.6%的泛化能力。大量的烧蚀实验表明,BYOL-A编码器架构有助于大部分性能,最后的关键部分诉诸BYOL框架和BYOL-A增强。我们的代码可以在https://github.com/nttcslab/byol-a上在线获得,以供将来研究。
2022-06-16 cs.SD eess.AS
A general-purpose deep learning approach to model time-varying audio effects
Queen Mary University of London(伦敦玛丽女王大学)
其参数随时间周期性地修改的音频处理器通常被称为时变或基于调制的音频效果。大多数现有的建模方法,这些类型的效果单位往往是一个非常具体的电路优化,不能有效地推广到其他随时间变化的影响。基于卷积和递归神经网络,我们提出了一种深度学习架构,用于具有长期记忆的音频处理器的通用黑盒建模。我们探索了深度神经网络学习这种长时间依赖性的能力,并展示了网络对各种线性和非线性、时变和时不变音频效果的建模。为了衡量该模型的性能,我们提出了一个客观的度量调制频率感知的心理声学的基础上。我们还分析了模型实际上在学习什么,以及给定的任务是如何完成的。
2019-06-21 cs.LG cs.SD eess.AS
FireRedAudio: A General-Purpose Audio Language Model with Decoupled Continuous Representations for Understanding and Generation
Xiaohongshu(小红书)
FireRedAudio是首个公开的统一音频-语言模型,采用解耦连续表示,支持音频理解、多语种ASR、各类TTS及语音编辑,性能优于相关模型。
2026-08-28 cs.CL cs.SD
Unlocking Strong Supervision: A Data-Centric Study of General-Purpose Audio Pre-Training Methods
Zhejiang University(浙江大学);Tencent AI Lab(腾讯AI实验室);UT-Austin(德克萨斯大学奥斯汀分校)
本文提出通过高质量数据构建强监督框架,对比不同预训练目标,发现数据质量和覆盖范围是性能关键因素,目标选择决定下游任务专精。
2026-03-26 cs.AI cs.SD eess.AS
DeSTA2.5-Audio: Toward General-Purpose Large Audio Language Model with Self-Generated Cross-Modal Alignment
本文提出DeSTA2.5-Audio,一种通用大规模音频语言模型,通过自我生成的跨模态对齐策略解决知识保留与音频感知的平衡问题,展示了在多个音频-语言基准测试中的优异性能。
2026-03-19 cs.CL cs.SD eess.AS
Masked Spectrogram Modeling using Masked Autoencoders for Learning General-purpose Audio Representation
NTT Communication Science Laboratories(NTT通信科学实验室);NTT Corporation(NTT公司)
最近的通用音频表示在各种音频任务上显示出最先进的性能。这些表示是通过自监督学习方法预先训练的,该方法从输入中创建训练信号。例如,典型的音频对比学习使用输入声音之间的时间关系来创建训练信号,而一些方法使用由数据增强创建的输入视图之间的差异。然而,这些训练信号不提供从完整的输入声音中导出的信息,我们认为这对于描述输入的学习表示来说是次优的。在本文中,我们试图从输入本身学习音频表示作为监督,使用掩蔽频谱图补丁的自动编码的借口任务,掩蔽频谱图建模(MSM,应用于音频频谱图的掩蔽图像建模的变体)。为了实现MSM,我们使用了Masked Autoencoders(MAE),这是一种图像自监督学习方法。MAE学习有效地将少量可见补丁编码为潜在表示,以携带用于重建大量掩蔽补丁的基本信息。在训练时,MAE将输入作为训练信号,使重建误差最小化,从而达到了我们的目标。我们在HEAR 2021 NeurIPS Challenge的评估基准下,使用MAE(MSM-MAE)模型对MSM进行了实验。我们的MSM-MAE模型在15项任务中的7项上的表现优于HEAR 2021挑战赛的结果(例如,CREMA-D上的准确率为73.4%,LibriCount上的准确率为85.8%),同时在其他任务上表现出最佳性能,其中专业模型表现更好。我们还研究了MSM-MAE的设计选择如何影响性能,并对可视化结果进行定性分析,以了解学…
2022-04-26 cs.SD eess.AS
MT2KD: Towards A General-Purpose Encoder for Speech, Speaker, and Audio Events
University of Cambridge(剑桥大学);Tsinghua University(清华大学);Google DeepMind(谷歌DeepMind)
提出 MT2KD 两阶段多教师蒸馏与多任务微调框架,用 66M 参数构建兼顾 ASR、AT 和 SV 的通用语音音频编码器,并以较小性能损失超越从头多任务基线。
2025-02-20 cs.SD eess.AS
A Multi-Purpose Audio-Visual Corpus for Multi-Modal Persian Speech Recognition: the Arman-AV Dataset
Iran University of Science and Technology(伊朗科技大学);Amirkabir University of Technology(阿米尔卡比尔理工大学)
近年来,自动唇读研究取得了重大进展。但是这些方法需要大规模的数据集,而这些数据集对于许多低资源语言来说是不存在的。在本文中,我们提出了一个新的多用途的波斯语视听数据集。该数据集包含近220小时的视频,其中有1760个对应的发言者。除了唇读之外,该数据集还适用于自动语音识别、视听语音识别和说话人识别。它也是第一个大规模的波斯语唇读数据集。为每项提到的任务提供了一个基线方法。此外,我们提出了一种技术来检测视位(一个视觉相当于一个音素)在波斯语。通过这种方法获得的视位,提高了7%的唇读任务的准确性相比,以前提出的视位,这可以适用于其他语言以及。
2023-01-21 cs.CL cs.SD eess.AS
Auden-Voice: General-Purpose Voice Encoder for Speech and Language Understanding
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Texas at Austin(德克萨斯大学奥斯汀分校);Tencent AI Lab, USA(腾讯AI实验室(美国))
针对大型音频语言模型编码器难以平衡语音身份与副语言线索的问题,本研究提出通用语音编码器Auden-Voice,通过多任务训练实现平衡表示,与LLMs集成表现优异,代码等将随Auden工具包发布。
2025-11-19 cs.SD eess.AS
Spatial Audio Rendering for Real-Time Speech Translation in Virtual Meetings
Berkeley AI Research Laboratory(伯克利人工智能研究实验室);Microsoft Corporation(微软公司)
本研究针对虚拟会议实时翻译忽略感知线索的问题,通过实验探究空间音频渲染对多语言会议理解度、认知负荷等的影响,发现空间渲染可使理解度翻倍,为会议平台集成实时翻译提供设计启示。
2025-11-12 cs.HC cs.SD
Applying Visual Domain Style Transfer and Texture Synthesis Techniques to Audio - Insights and Challenges
National University of Singapore(新加坡国立大学)
风格转移是一种基于深度学习神经网络架构中的激活和特征统计来组合两个图像的技术。本文研究了音频领域的类似任务,并对采用原始的基于视觉的框架来处理声谱图表示时出现的问题进行了批判性的研究。我们的结论是,具有基于2D表示和卷积的特征的CNN架构更适合于视觉图像,而不是音频的时频表示。尽管不合适,但实验表明,确定音频“风格”的Gram矩阵与没有时间结构的音色签名更接近,而确定音频“内容”的网络层活动似乎捕获更多的音高和节奏结构。我们通过说明性的例子深入了解了域差异的几个原因。我们鼓励使用几种类型的一维CNN,这些CNN生成的结果比基于为图像构建的现有架构的结果更好地与音频纹理的直观概念保持一致。这些想法也促使探索音频纹理合成与建筑的变体扩展到无限的纹理,多纹理,参数控制的感受野和恒定Q变换作为一种替代的频谱图的频率缩放。
2019-01-29 cs.SD eess.AS
From General-Purpose Audio Tagging to Spatially Grounded Sound Event Localization and Detection
DISIM Department, University of L’Aquila(拉奎拉大学DISIM系);ESAT Department, KU Leuven(布鲁塞尔自由大学ESAT系);CNIT, Research Unit of L’Aquila, Italy(意大利拉奎拉CNIT研究中心);ESAT - STADIUS Department, KU Leuven(布鲁塞尔自由大学ESAT-STADIUS系)
提出AT2SELD框架,利用预训练通用音频标记骨干网络,结合一阶声场空间处理、逐轨迹声音事件检测和笛卡尔到达方向估计,通过多阶段神经架构搜索实现语义到空间的迁移,并在多个数据集上验证其有效性。
2026-06-29 cs.AI cs.SD
Masked Modeling Duo: Towards a Universal Audio Pre-training Framework
Communication Science Laboratories, Nippon Telegraph and Telephone Corporation(日本电报电话公司通信科学实验室)
本文提出掩码预测自监督方法 M2D 及其面向专用任务的扩展 M2D-X,通过掩码部分编码、可配置附加任务和背景噪声去噪,在通用音频、AudioSet、语音及小样本医疗任务上达到顶级性能。
2024-04-09 cs.SD eess.AS
WavJEPA: Semantic learning unlocks robust audio foundation models for raw waveforms
Donders Institute, Radboud University Nijmegen(多纳尔斯研究所,拉德堡德大学尼美根分校);Mortimer B Zuckerman Institute, Columbia University(莫蒂默·B·茨克erman研究所,哥伦比亚大学)
本文提出基于原始波形的 WavJEPA 及其多通道扩展 WavJEPA-Nat,通过高层语义表示学习在低计算成本下实现鲁棒、低延迟的通用音频基础模型,并在多种下游任务中显著超越现有方法。
2025-11-10 cs.SD eess.AS
HEAR: Holistic Evaluation of Audio Representations
Google(谷歌);Adobe(奥多比);IRCAM(声学与音乐研究中心)
本研究推出HEAR基准并举办NeurIPS 2021共享挑战赛,通过多领域下游任务评估通用音频表征,开源相关资源,同时指出单一通用音频表征能否媲美人类听觉仍是开放问题。
2022-05-29 cs.AI cs.LG cs.SD
Spectro-Temporal Interference Confounds Phase Encoding in Spatial Audio Foundation Models
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Jilin University(吉林大学);Hunan University(湖南大学);University of Electronic Science and Technology of China(电子科技大学)
提出基于双耳掩蔽级差的心理声学基准,评估空间自监督音频模型对微秒级耳间相位精细结构的编码能力,发现通用双耳SSL模型依赖频谱-时间干扰纹理而非真实相位计算。
2026-06-16 cs.AI cs.CL cs.SD
The Interspeech 2026 Audio Encoder Capability Challenge for Large Audio Language Models
MiLM Plus, Xiaomi Inc., Beijing, China(小米公司,北京);DataoceanAI Inc., USA(DataoceanAI公司,美国);Centre for Vision Speech and Signal Processing, University of Surrey, Guildford, UK(视觉语音与信号处理中心, Surrey大学, Guildford,英国);Shenzhen International Graduate School, Tsinghua University, Shenzhen, China(深圳国际研究生院,清华大学,深圳,中国)
本文提出Interspeech 2026音频编码能力挑战,旨在评估和提升预训练音频编码器在大型音频语言模型中的性能,通过统一的生成评估框架XARES-LLM,评估编码器在多种下游任务中的表现。
2026-03-24 cs.SD eess.AS
Fx-Encoder++: Extracting Instrument-Wise Audio Effects Representations from Mixtures
本文提出Fx-Encoder++模型,通过对比学习与提取器机制,从音乐混音中提取乐器级音频效果表示,在检索和参数匹配任务上优于以往混音级方法,弥补了智能音乐制作中乐器级效果理解的能力缺口。
2025-07-03 cs.SD eess.AS
DPLM: A Deep Perceptual Spatial-Audio Localization Metric
Facebook Reality Labs Research(Facebook现实实验室研究院)
主观评估对于评估音频合成驱动技术(如增强现实和虚拟现实)中声音的感知真实性至关重要。然而,它们的设置具有挑战性,用户会感到疲劳,而且价格昂贵。在这项工作中,我们解决了捕捉本地化声音的感知特性的问题。具体来说,我们提出了一个框架,用于建立一个通用的质量指标,以评估两个双耳录音之间的空间定位差异。我们通过利用来自经过波达方向(DOA)估计训练的深度网络的激活级距离来对定位相似性进行建模。我们提出的指标(DPLM)在与不同数据集上的主观评级相关性方面优于基线指标,即使没有任何人工标记的训练数据。
2021-05-29 cs.SD eess.AS
Composing General Audio Representation by Fusing Multilayer Features of a Pre-trained Model
NTT Corporation(日本电信电话株式会社);NTT Communication Science Laboratories(NTT通信科学实验室)
许多应用研究依赖于在大规模数据集上预训练的音频DNN模型作为基本特征提取器,并且它们从最后一层提取特征。在这项研究中,我们专注于我们的发现,即现有监督预训练模型的中间层特征对于某些任务比后期层特征更有效。我们提出了一种简单的方法来组合对通用应用有效的特征,包括两个步骤:(1)从中间/后期层输出沿时间帧计算特征向量,以及(2)融合它们。该方法提高了频率和信道信息在下游过程中的效用,并结合了针对不同任务的中间层和后期层特征的有效性。因此,特征向量对于一般目的变得有效。在使用VGGish、PANNs的CNN 14和AST对9个下游任务进行的实验中,我们首先展示了这些模型的每一层输出服务于不同的任务。然后,我们证明所提出的方法显着提高了它们的性能,并使其达到与最先进水平相当的水平。特别是,非语义语音(NOSS)任务的性能大大提高,尤其是在VGGish为+77.1(14.3%至91.4%)的语音命令V2上。
2022-05-17 cs.SD eess.AS
wav2tok 2.0: Scalable Audio Tokenization Maintaining Explicit Pairwise Token Alignment for Efficient Audio Retrieval
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);KU Leuven(鲁汶大学)
提出wav2tok 2.0,通过分阶段训练(对比学习、向量量化、CTC对齐损失和DTW对齐帧预测)实现可扩展的语音分词,在查询示例的口语术语检测中优于基线方法。
2026-06-26 cs.SD eess.AS
Learning to Detect Novel and Fine-Grained Acoustic Sequences Using Pretrained Audio Representations
Apple(苹果公司)
本研究针对无可用非目标音频的新型细粒度声学序列小样本检测问题,开发了预训练音频表示的流程及迁移方法,实验验证了预训练嵌入的通用性及对小样本检测框架的支撑作用。
2023-05-03 cs.LG cs.SD eess.AS
A Deep Reinforcement Learning Approach for Audio-based Navigation and Audio Source Localization in Multi-speaker Environments
National and Kapodistrian University of Athens(雅典国家与卡波季斯特里安大学)
在这项工作中,我们将深度强化学习应用于导航三维环境和推断人类扬声器音频源的位置的问题,在唯一可用信息是来自环境的原始声音的情况下,因为放置在环境中的模拟人类听众会听到它。为此,我们使用Unity游戏引擎创建了两个虚拟环境,一个提出基于音频的导航问题,一个提出音频源定位问题。我们还创建了一个自主智能体的基础上PPO在线强化学习算法,并试图训练它来解决这些环境。我们的实验表明,我们的代理实现足够的性能和泛化能力,在这两种环境中,通过定量指标测量,即使当有限的训练数据或环境参数的变化,在训练过程中没有遇到的方式。我们还表明,一定程度的代理知识转移是可能的环境之间。
2021-11-27 cs.LG cs.SD eess.AS
AudioMosaic: Contrastive Masked Audio Representation Learning
School of Computing and Information Systems, The University of Melbourne, Australia(墨尔本大学计算机与信息系统学院);Baskin School of Engineering, University of California, Santa Cruz, USA(加州大学圣克鲁兹分校工程学院);Institute of Trustworthy Embodied AI, Fudan University, China(复旦大学可信具身人工智能研究所)
AudioMosaic通过结构化时频掩码构建正样本对,提升音频表示学习效果,实现跨数据集和声学条件的强迁移能力,优于生成方法。
2026-05-14 cs.AI cs.LG cs.SD
LiSTEN: Learning Soft Token Embeddings for Neural Audio LLMs
Concordia University(康科迪亚大学);Université Laval(拉瓦尔大学);Mila - Quebec AI Institute(魁北克人工智能研究所)
LiSTEN通过动态提示选择策略为音频大语言模型学习软令牌嵌入,平衡通用与任务特定知识,减少数据依赖并提升可解释性。
2025-05-24 cs.AI cs.LG cs.SD
Learning music audio representations via weak language supervision
Queen Mary University of London(伦敦玛丽女王大学);Universal Music Group(环球音乐集团)
用于音乐信息检索的音频表示通常以特定于任务的方式经由监督学习来学习。虽然有效地产生最先进的结果,这种方案缺乏灵活性的应用范围的模型可以有,并需要广泛的注释数据集。在这项工作中,我们提出的问题,是否有可能利用弱对齐的文本作为唯一的监督信号来学习通用的音乐音频表示。为了解决这个问题,我们设计了一个多模式架构的音乐和语言预训练(MuLaP)优化通过一组代理任务。弱监督以传达音轨的整体音乐内容的嘈杂自然语言描述的形式提供。在预训练之后,我们将模型的音频骨干转换为一组音乐音频分类和回归任务。我们通过比较相同音频骨干与不同训练策略产生的音频表示的性能来证明我们方法的有用性,并表明我们的预训练方法在所有考虑的任务和数据集上始终获得可比或更高的分数。我们的实验还证实,MuLaP有效地利用音频字幕对来学习表示,这与文献中的仅音频和跨模态自监督方法具有竞争力。
2022-02-17 cs.CL cs.IR cs.LG