Fully Few-shot Class-incremental Audio Classification Using Multi-level Embedding Extractor and Ridge Regression Classifier
针对基类和增量类样本均稀少的完全少样本类增量音频分类问题,提出解耦的多级嵌入提取器与岭回归分类器方法,在三个数据集上准确率领先且复杂度占优。
2025-06-23 eess.AS
Few-Shot Class-Incremental Audio Classification Using Pseudo-Incrementally Trained Embedding Learner and Continually Updated Stochastic Classifier
研究少样本类别增量音频分类问题,提出将模型解耦为伪增量训练的嵌入学习器和持续更新的随机分类器,能在识别增量类别的同时不忘基础类,经实验验证该方法准确率高且复杂度低。
2026-07-08 eess.AS
AudioCIL: A Python Toolbox for Audio Class-Incremental Learning with Multiple Scenes
National University of Defense Technology(国防科技大学);College of Computer Science and Technology(计算机科学与技术学院)
本文提出了AudioCIL,一个面向多场景的音频类增量学习Python工具箱,旨在解决深度学习模型在动态音频环境中增量学习新类别知识而不遗忘旧知识的问题,推动音频信号处理算法与真实场景对齐。
2024-12-18 cs.SD eess.AS
Few-shot Class-incremental Audio Classification Using Dynamically Expanded Classifier with Self-attention Modified Prototypes
本文提出一种少样本类增量音频分类方法,通过冻结的 ResNet 嵌入提取器与基于原型自适应网络动态扩展的分类器解耦构建,利用少量新类样本持续学习新音频类别而不遗忘旧类,并在三个音频数据集上验证了其在准确率、性能下降率及资源开销方面的优势。
2023-05-31 eess.AS
CAAD: Contrastive Audio-Aware Distillation for Efficient Speech Language Models
Graduate Institute of Electrical Engineering, National Taiwan University(国立台湾大学电机工程学研究所);Graduate Institute of Communication Engineering, National Taiwan University(国立台湾大学通讯工程学研究所);NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(国立台湾大学人工智能卓越研究中心)
提出对比音频感知蒸馏(CAAD)框架,通过同步教师强制策略将教师模型的对比推理内化到学生模型权重中,在Dynamic-SUPERB上相对提升约8%,并减少语言偏倚。
2026-06-23 eess.AS
Improving Query-by-Vocal Imitation with Contrastive Learning and Audio Pretraining
本文提出一种利用预训练卷积神经网络和对比学习改进基于声音模仿的音频检索系统,在粗粒度和细粒度任务上达到最新最优性能。
2024-08-21 eess.AS
FairASR: Fair Audio Contrastive Learning for Automatic Speech Recognition
针对大规模自动语音识别模型存在的人口统计偏差问题,提出FairASR系统,结合梯度反转层与无监督对比学习学习公平表征,在保持整体性能的同时显著降低群体间性能差距。
2025-06-12 eess.AS
Towards Zero-Shot Attribution of Synthetic Speech via Audio-Text Contrastive Retrieval
POLITEHNICA Bucharest(布加勒斯特理工大学);Bitdefender(比特(defender))
针对合成语音归因,提出基于音频-文本对比检索的零样本方法,通过自然语言描述生成器并检索匹配,无需重训即可识别未见TTS系统,在MLAAD v9上MRR达58.4%。
2026-09-21 eess.AS
On Negative Sampling for Contrastive Audio-Text Retrieval
Tampere University(坦佩雷大学)
本文研究了音频文本检索中的对比学习中的负采样问题。负采样的策略是指从正音频-文本对的候选池中选择负(音频片段或文本描述)。我们通过模型估计的音频和文本样本的模态内和跨模态相关性分数探索采样策略。在文献[1]的检索系统上,我们研究了八种抽样策略,包括硬和半硬负抽样。实验结果表明,不同策略的检索性能差异很大.特别地,通过选择具有跨模态分数的半硬否定,检索系统在文本到音频和音频到文本检索中获得改进的性能。此外,我们发现,功能崩溃时发生采样硬否定与跨模态分数。
2023-02-17 cs.SD eess.AS
Advancing Multi-grained Alignment for Contrastive Language-Audio Pre-training
针对现有音频-语言对比预训练模型忽略帧级文本对应、细粒度对齐不足的问题,提出基于共享码本、局部感知模块与难负例损失的多粒度对齐方法,在11项零样本任务上显著超越CLAP基线,性能比肩或优于当前最优水平。
2024-08-15 eess.AS
Large-scale Contrastive Language-Audio Pretraining with Feature Fusion and Keyword-to-Caption Augmentation
Mila, Quebec Artificial Intelligence Institute(米拉魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);University of California San Diego(加州大学圣地亚哥分校);LAION
本文提出一种结合特征融合与关键词到字幕增强的对比语言-音频预训练流程,并发布633,526对音频-文本数据集,模型在零样本分类等任务上达到或接近非零样本的最先进性能。
2024-03-21 cs.SD eess.AS
Cacophony: An Improved Contrastive Audio-Text Model
University of Rochester(罗切斯特大学)
本文提出Cacophony音频-文本模型,通过构建13,000小时大规模音频-文本数据集,并结合掩码自编码器预训练与辅助字幕目标训练对比模型,在音频-文本检索等任务上取得最先进性能。
2024-09-30 cs.SD eess.AS
Human-CLAP: Human-perception-based contrastive language-audio pretraining
The University of Tokyo, Japan(东京大学);Ritsumeikan University, Japan(立命馆大学)
Human-CLAP通过引入人类主观评价分数提升CLAPScore与人类评价的相关性
2026-03-10 cs.SD eess.AS
Fully Few-shot Class-incremental Audio Classification Using Expandable Dual-embedding Extractor
South China University of Technology(华南理工大学)
本文针对所有会话训练样本均稀少的全少样本类增量音频分类问题,提出基于预训练与微调双AST嵌入提取器和原型可扩展分类器的方法,在三个数据集上显著超越七个基线。
2024-06-12 cs.SD eess.AS
Towards Robust Few-shot Class Incremental Learning in Audio Classification using Contrastive Representation
IISER Bhopal(印度博帕尔印度科学教育与研究学院)
本文针对音频分类中的少样本类增量学习问题,提出在基会话训练中引入监督对比学习以优化表示空间,从而提升判别力和泛化能力,并在多个音频数据集上取得最先进性能。
2024-08-07 cs.LG cs.SD eess.AS
Interactive Audio-text Representation for Automated Audio Captioning with Contrastive Learning
Nanyang Technological University(南洋理工大学)
自动音频字幕(AAC)是一个跨模态的任务,它生成自然语言来描述输入音频的内容。大多数先前的作品通常提取单模态声学特征,因此对于跨模态解码任务是次优的。在这项工作中,我们提出了一种新的AAC系统称为CLIP-AAC学习交互式跨模态表示与声学和文本信息。具体地说,CLIP-AAC在预训练的编码器中引入音频头和文本头来提取音频文本信息。此外,我们还应用对比学习,通过学习音频信号与其配对字幕之间的对应关系来缩小域差异。实验结果表明,所提出的CLIP-AAC方法在Clotho数据集上的NLP评估指标方面超过了最佳基线。消融研究表明,预训练模型和对比学习都有助于AAC模型的性能增益。
2022-04-12 cs.CL cs.SD eess.AS
Augmented Contrastive Self-Supervised Learning for Audio Invariant Representations
Microsoft(微软)
由于标记数据的稀缺性,提高泛化能力是音频分类的主要挑战。自监督学习(SSL)方法通过利用未标记的数据来学习下游分类任务的有用特征来解决这个问题。在这项工作中,我们提出了一个增强的对比SSL框架,学习不变表示从未标记的数据。我们的方法将各种扰动应用于未标记的输入数据,并利用对比学习来学习对这种扰动具有鲁棒性的表示。在Audioset和DESED数据集上的实验结果表明,我们的框架在声音/事件分类任务上的性能明显优于最先进的SSL和监督学习方法。
2021-12-21 cs.LG cs.SD eess.AS
Contrastive Unsupervised Learning for Audio Fingerprinting
Bytedance AI Lab(字节跳动人工智能实验室)
视频分享平台的兴起吸引了越来越多的人拍摄视频并上传到互联网。这些视频大多包含精心编辑的背景音轨,其中可能涉及严重的语音变化、音高偏移和各种类型的音频效果,并且现有的音频识别系统可能无法识别音频。为了解决这个问题,本文将对比学习的思想引入到音频指纹识别(AFP)中。对比学习是一种无监督的学习方法,可以有效地对相似样本进行分组,并区分不同的样本。在我们的工作中,我们认为一个音轨和它的不同失真的版本是相似的,而认为不同的音轨是不相似的。基于动量对比(MoCo)框架,提出了一种基于对比学习的AFP指纹识别方法,该方法能够生成具有鉴别力和鲁棒性的指纹。一组实验表明,我们的AFP方法是有效的音频识别,与严重的音频失真的鲁棒性,包括具有挑战性的速度变化和音高变化。
2020-10-26 cs.LG cs.MM cs.SD
CALM: Contrastive Aligned Audio-Language Multirate and Multimodal Representations
Apple(苹果公司)
获得音频和词汇输入的多模态表示是自然语言理解(NLU)的核心问题。在本文中,我们提出了对比对齐的音频语言多速率和多模态表示(CALM),一种使用音频和词汇输入中固有的对比和多速率信息来学习多模态表示的方法。该模型将声学和词汇信息对齐在预训练的仅语言上下文嵌入模型的输入嵌入空间中。通过将音频表示与预训练的语言表示对齐,并利用声学输入之间的对比信息,CALM能够在短短几个小时的训练时间内引导音频嵌入,与现有的音频表示模型竞争。在操作上,通过频谱Transformer(SpecTran)使用线性化补丁来处理音频频谱图,频谱transformer(SpecTran)使用对比音频语言预训练目标来训练,以将来自类似查询的音频和语言对齐。随后,所导出的声学和词汇标记表示被输入到多模态Transformer中以并入话语级上下文并导出所提出的CALM表示。我们表明,这些预训练的嵌入随后可以用于多模态监督任务,并证明了所提出的预训练步骤在两个嵌入空间的对齐和预训练的多速率性质方面的好处。我们的系统表现出10- 25%的改进,现有的情感识别系统,包括国家的最先进的三模态系统在各种评价目标。
2022-02-08 cs.SD eess.AS eess.SP
Incremental learning for audio classification with Hebbian Deep Neural Networks
Signal Processing Research Centre, Tampere University, Tampere, Finland(塔尔库大学信号处理研究中心,芬兰塔尔库);Department of Electronics, Information and Bioengineering (DEIB), Politecnico di Milano, Italy(米兰理工学院电子、信息与生物工程系)
本文提出基于Hebbian学习的核可塑性方法,用于音频分类增量学习,通过选择性调节网络核实现新信息学习与旧知识保留,实验显示在ESC-50数据集上准确率提升且稳定性更优。
2026-04-20 cs.LG eess.AS
Contrastive Learning of General-Purpose Audio Representations
Google(谷歌)
我们介绍COLA,一种用于学习通用音频表示的自我监督预训练方法。我们的方法是基于对比学习:它学习一种表示,该表示将高相似性分配给从同一录音中提取的音频片段,同时将较低相似性分配给来自不同录音的片段。我们基于计算机视觉对比学习和强化学习的最新进展,设计了一个轻量级的,易于实现的自监督音频模型。我们在大规模Audioset数据库上预训练嵌入,并将这些表示转移到9个不同的分类任务中,包括语音,音乐,动物声音和声学场景。我们表明,尽管它的简单性,我们的方法显着优于以前的自我监督系统。我们还进行消融研究以确定关键的设计选择,并发布一个库来预训练和微调COLA模型。
2020-10-21 cs.LG cs.SD eess.AS
Multi-Format Contrastive Learning of Audio Representations
Google DeepMind(谷歌DeepMind)
最近的进展表明,与单一模式方法相比,多模式培训具有优势。与此相反,在我们的工作中,我们发现,可以从不同格式的单一模态的训练中获得类似的增益。特别是,我们研究了使用的对比学习框架来学习音频表示最大限度地提高原始音频和它的频谱表示之间的协议。我们发现,使用这种多格式的策略对单一格式的同行显着的收益。此外,在下游的AudioSet和ESC-50分类任务中,我们的纯音频方法分别以0.376的平均精度和90.5%的准确率实现了最新的最先进的结果。
2021-03-24 cs.LG cs.SD eess.AS
Language-Guided Contrastive Audio-Visual Masked Autoencoder with Automatically Generated Audio-Visual-Text Triplets from Videos
LY Corporation(LY公司);Keio University(庆应大学)
本文提出 LG-CAV-MAE,通过引入预训练文本编码器和自动生成音视频文本三元组,实现音频、视觉与文本的联合表示学习,在检索和分类任务上显著超越现有方法。
2025-07-16 cs.CV eess.AS eess.IV
Class-Incremental Learning for Multi-Label Audio Classification
Tampere University(坦佩雷大学)
本文提出一种多标签音频分类的类增量学习方法,结合基于余弦相似度和Kullback-Leibler散度的蒸馏损失保留旧类知识,在50类数据集上平均F1分数达40.9%,性能下降仅0.7个百分点。
2024-01-09 cs.SD eess.AS
Anomalous Sound Detection using Audio Representation with Machine ID based Contrastive Learning Pretraining
Harbin Engineering University(哈尔滨工程大学);Harbin Institute of Technology(哈尔滨工业大学);University of Technology Sydney(悉尼科技大学);University of Surrey(萨里大学)
本文提出一种两阶段对比学习方法,通过结合机器ID预训练音频表示模型并利用自监督ID分类器微调,增强同一ID的音频特征关系,在DCASE 2020数据集上显著提升了异常声音检测的性能与稳定性。
2023-04-10 cs.LG cs.SD eess.AS
TAIL: Text-Audio Incremental Learning
National University of Singapore(新加坡国立大学);Renmin University of China(中国人民大学);Zhejiang University(浙江大学)
该研究提出文本-音频增量学习任务 TAIL 及 PTAT 方法,通过提示调优、音频-文本相似度与特征蒸馏缓解灾难性遗忘,并以极少参数显著提升检索性能。
2025-07-28 cs.AI cs.CV cs.SD
Adapter Incremental Continual Learning of Efficient Audio Spectrogram Transformers
Rapid-Rich Object Search (ROSE) Lab, Nanyang Technological University(南洋理工大学快速丰富目标搜索(ROSE)实验室);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);DSO National Laboratories(DSO国家实验室)
本文提出用于音频分类器任务增量持续学习的AI-CL方法,结合参数高效的卷积适配器和计算高效的频率-时间分解注意力(FTA),在大幅减少可训练参数和计算量的同时有效防止灾难性遗忘。
2024-01-02 cs.SD eess.AS
Domain-incremental audio classification using domain-specific experts and prototype classifier
针对DCASE 2026挑战赛任务7,提出将域增量学习视为冻结特征重放问题,训练多个紧凑专家模型并冻结,最终用原型分类器聚合特征,通过生成式重放和跨阶段回归插补避免灾难性遗忘,在开发集上达到78.15%微观/77.03%宏观准确率。
2026-06-23 cs.LG eess.AS
CCStereo: Audio-Visual Contextual and Contrastive Learning for Binaural Audio Generation
Australian Institute for Machine Learning, University of Adelaide(澳大利亚机器学习研究所,阿德莱德大学);Sony Group Corporation(索尼集团);Sony AI, Sony Group Corporation(索尼人工智能,索尼集团)
提出CCStereo模型,通过音视频条件归一化层和对比学习增强双耳音频生成的空间敏感性,并在FAIR-Play和MUSIC-Stereo基准上取得最先进性能。
2025-08-06 cs.CV cs.SD eess.AS
Cross-domain Semi-Supervised Audio Event Classification Using Contrastive Regularization
Seoul National University(首尔大学);Artificial Intelligence Institute, Seoul National University(首尔大学人工智能研究院)
在这项研究中,我们提出了一种新的半监督训练方法,该方法使用具有与目标数据或没有目标标签的数据完全不同的类分布的未标记数据。为此,我们引入了一种对比正则化,它被设计为面向目标任务并同时进行训练。此外,我们提出了一种基于音频混合的简单增强策略,在批量样本中执行。实验结果表明,该方法有效地提高了性能,尤其是在稳定训练和泛化能力方面具有优势。
2021-09-29 cs.SD eess.AS
A Framework for Generative and Contrastive Learning of Audio Representations
Stanford University(斯坦福大学)
在本文中,我们提出了一个框架,对比学习音频表示,在一个自我监督的框架工作,没有访问任何地面真理标签。自监督对比学习的核心思想是映射音频信号及其各种增强版本(代表音频的突出方面,如音高,音色等)。到一个空间,在那里它们靠近在一起,并与其他不同的信号分开。此外,我们还探索了基于最先进的Transformer架构的生成模型,用于学习音频信号的潜在空间,而无需访问任何标签。在这里,我们将较小规模的音频信号映射到离散字典元素,并训练Transformers来预测下一个字典元素。我们只使用数据作为监督的方法,而不需要标签作为训练深度神经网络的监督。然后,我们使用一个线性分类器头,以评估我们的模型的性能,为自我监督的对比和生成Transformer为基础的表示,学习。我们的系统实现了相当大的性能,相比一个完全监督的方法,与地面实况标签的访问训练的神经网络模型。这些表示方法具有大规模音频数据的可用性,在音频理解任务的各种任务中显示出希望
2021-03-16 cs.LG cs.SD eess.AS
Self-supervised learning of audio representations using angular contrastive loss
Tampere University(坦佩雷大学)
在自监督学习(SSL)中,各种借口任务被设计用于通过对比损失来学习特征表示。然而,以前的研究表明,这种损失是不太宽容的语义相似的样本,由于固有的缺陷,实例歧视目标,这可能会损害质量的学习特征嵌入在下游任务中使用。为了提高SSL中特征嵌入的鉴别能力,我们提出了一个新的损失函数,称为角度对比损失(ACL),角度裕度和对比损失的线性组合。ACL通过在SSL中的正和负增广对之间显式地添加角度余量来改进对比学习。实验结果表明,使用ACL的监督和无监督学习显着提高性能。我们使用FSDnoisy18k数据集验证了我们的新损失函数,其中我们使用监督和自监督学习分别实现了73.6%和77.1%的声音事件分类准确率。
2023-03-05 cs.SD eess.AS
RA-CLAP: Relation-Augmented Emotional Speaking Style Contrastive Language-Audio Pretraining For Speech Retrieval
Nankai University(南开大学);TMCC, College of Computer Science(TMCC计算机学院);Hithink RoyalFlush AI Research Institute(Hithink RoyalFlush人工智能研究院);University of Exeter(埃克塞特大学)
本文提出情感说话风格检索任务及RA-CLAP模型,通过自蒸馏学习语音与描述间的局部匹配关系,克服传统二元关系假设,提升泛化能力,实验验证其有效性。
2025-05-26 cs.SD eess.AS
Contrastive Learning With Audio Discrimination For Customizable Keyword Spotting In Continuous Speech
Shanghai Jiao Tong University(上海交通大学);AISpeech Ltd(思必驰科技有限公司)
针对连续语音关键词识别中协同发音和流式分词易导致误报的问题,提出CLAD方法,通过滑动窗口级InfoNCE损失同时学习音频-文本匹配与音频-音频判别,在LibriSpeech上显著优于无音频判别的对比学习及两阶段方法。
2024-01-12 cs.SD eess.AS
Cross-Modal Contrastive Representation Learning for Audio-to-Image Generation
Korea University(高丽大学)
某些信息的多种形式提供了关于该信息的各种观点,这可以改善对信息的理解。因此,从现有数据中生成不同模态的数据以增强理解可能至关重要。在本文中,我们研究了跨模态音频到图像的生成问题,并提出跨模态对比表示学习(CMCRL)提取有用的功能,从音频和使用它在生成阶段。实验结果表明,CMCRL提高了图像质量比以前的研究。
2022-07-20 cs.CV cs.GR cs.SD
A Reference-free Metric for Language-Queried Audio Source Separation using Contrastive Language-Audio Pretraining
Harbin Engineering University(哈尔滨工程大学);University of Technology Sydney(悉尼科技大学);University of Surrey(萨里大学);Harbin Institute of Technology(哈尔滨工业大学);University of Sheffield(谢菲尔德大学)
针对LASS中SDR指标依赖参考信号且忽略文本语义的问题,本文提出基于CLAP的无参考指标CLAPScore,通过衡量分离音频与文本查询的语义相似度实现有效评估。
2025-01-06 cs.SD eess.AS
CoLLAP: Contrastive Long-form Language-Audio Pretraining with Musical Temporal Structure Augmentation
UC San Diego(加利福尼亚大学圣地亚哥分校);UC Los Angeles(加利福尼亚大学洛杉矶分校)
CoLLAP提出一种对比式长音频-语言预训练方法,通过音乐时间结构增强和注意力融合机制扩展音频与文本的感知窗口,并在长音频音乐文本检索及下游音乐信息检索任务中取得一致性能提升。
2024-10-03 cs.AI cs.SD eess.AS
Neural Audio Fingerprint for High-specific Audio Retrieval based on Contrastive Learning
Seoul National University(首尔国立大学);SK Telecom(SK电讯)
大多数现有的音频指纹识别系统在用于大规模的高特异性音频检索方面具有局限性。在这项工作中,我们从音频的短单元段生成一个低维表示,并将此指纹与快速最大内积搜索相结合。为此,我们提出了一个对比学习框架,来自段级搜索目标。训练中的每次更新都使用一批由一组伪标签、随机选择的原始样本及其增强副本组成的批。这些复制品可以通过应用小的时间偏移和各种类型的失真(例如背景噪声和房间/麦克风脉冲响应)来模拟对原始音频信号的降级效果。在段级搜索任务中,传统的音频指纹识别系统过去常常失败,我们的系统使用10倍的小存储空间,显示出有希望的结果。我们的代码和数据集可在\url{https://mimbres.github.io/neural-audio-fp/}上获得。
2021-02-10 cs.IR cs.LG cs.SD
T-CLAP: Temporal-Enhanced Contrastive Language-Audio Pretraining
University of Surrey(萨里大学);ByteDance(字节跳动);Shanghai Jiao Tong University(上海交通大学)
针对CLAP难以捕捉时间信息的问题,提出T-CLAP模型,利用LLM生成时间对比描述并设计时间聚焦对比损失微调模型,显著提升了音频事件时间关系的捕捉能力。
2024-04-27 cs.CL cs.LG cs.SD
Contrastive Learning from Synthetic Audio Doppelgängers
Massachusetts Institute of Technology(麻省理工学院);Dartmouth College(达特茅斯学院)
提出利用随机扰动声音合成器参数生成合成音频替身作为正样本对,解决音频对比学习中的数据规模和变换限制,方法轻量且在多个标准分类任务上超越真实数据。
2025-03-02 cs.LG cs.SD eess.AS
Attention-Guided Reliability Scaling for Contrastive Decoding in Robust Audio-Visual Speech Recognition
Hanyang University(汉阳大学)
本研究针对鲁棒视听语音识别问题,提出注意力引导的对比解码可靠性缩放方法,在LRS3数据集上实现了干净与低信噪比条件下的性能提升。
2026-08-28 cs.CV cs.SD eess.AS
Temporally Heterogeneous Graph Contrastive Learning for Multimodal Acoustic event Classification
Harbin University of Science(哈尔滨理工大学);Technology The University of Melbourne(技术墨尔本大学)
本文提出时序异构图对比学习框架THGCL,通过高斯过程、Hawkes过程和对比学习区分模态内与模态间时序依赖,在AudioSet上实现多模态声学事件分类的最优性能。
2025-09-18 cs.SD eess.AS
Language-Based Audio Retrieval with Converging Tied Layers and Contrastive Loss
ST Engineering Mission Software & Services Pte. Ltd(ST工程任务软件与服务私人有限公司)
在本文中,我们解决了DCASE 2022中提出的新的基于数据库的音频检索任务。首先,我们介绍了一个简单的,可扩展的架构,将音频和文本编码器联系在一起。其次,我们表明,使用这种架构以及对比损失允许模型显着击败基线模型的性能。最后,除了具有极低的训练内存要求外,我们还能够使用预训练的模型,而无需对它们进行微调。我们测试了我们的方法,并表明使用我们的方法的组合击败了基线分数显着。
2022-06-29 cs.CL cs.IR cs.SD
Contrastive Audio-Visual Masked Autoencoder
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);UT Austin(德克萨斯大学奥斯汀分校);IBM Research AI(IBM研究院人工智能部门);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Goethe University Frankfurt(法兰克福大学)
本文提出CAV-MAE,将MAE扩展到音视频多模态,并融合对比学习与掩码数据建模,实现完全自监督的联合音视频表示学习,在VGGSound上达到65.9%的新SOTA准确率。
2023-04-11 cs.CV cs.MM cs.SD
Few-shot Class-variable Incremental Audio Classification via Prototype Adaptation and Pseudo Class-variable Training
School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息学院)
针对实际中类别数量增减的少样本类变量增量音频分类问题,提出一种结合原型适应网络和伪类变量训练策略的方法,在三个公开数据集上平均准确率超过现有方法。
2026-06-16 cs.AI cs.LG eess.AS
SmoothCLAP: Soft-Target Enhanced Contrastive Language\--Audio Pretraining for Affective Computing
CHI -- Chair of Health Informatics, TUM University Hospital, Munich, Germany(健康信息学系,塔尔博特大学医院,德国慕尼黑);Huawei, Netherlands(华为,荷兰);GLAM, Imperial College London, UK(GLAM,伦敦帝国学院,英国)
SmoothCLAP通过引入软目标和副语言特征,改进了对比语言-音频预训练,以更准确地捕捉情感的连续性,从而提升情感计算任务的性能。
2026-01-18 cs.SD eess.AS
SIGNL: A Label-Efficient Audio Deepfake Detection System via Spectral-Temporal Graph Non-Contrastive Learning
Institute of Innovation, Science and Sustainability, Federation University Australia(创新、科学与可持续性研究所,联邦大学澳大利亚)
SIGNL通过频谱-时间图非对比学习实现高效音频深度伪造检测,利用未标记数据预训练编码器并微调,实现低标签数据下的高检测性能。
2026-01-12 cs.SD eess.AS
How Contrastive Decoding Enhances Large Audio Language Models
本研究通过对比解码策略评估,发现音频感知解码和音频对比解码在不同模型中效果各异,揭示了CD在纠正特定错误类型上的有效性及局限性。
2026-09-15 cs.CL cs.SD eess.AS
CMMD: Contrastive Multi-Modal Diffusion for Video-Audio Conditional Modeling
University of California Irvine(加利福尼亚大学欧文分校);Microsoft Research(微软研究院)
本研究提出用于视频音频双向条件生成的多模态扩散模型CMMD,通过联合对比损失和跨模态简易融合模块,在生成质量、速度及音视频对齐上优于基线。
2024-10-09 cs.CV cs.LG cs.MM
Sequential Contrastive Audio-Visual Learning
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Dolby Laboratories(杜比实验室)
针对传统音视对比学习依赖时间聚合、忽视序列结构的问题,提出 SCAV,用多维序列距离在非聚合表示空间中对比,显著提升检索召回率并支持高效混合检索。
2025-03-16 cs.CV cs.LG cs.MM
Towards Proper Contrastive Self-supervised Learning Strategies For Music Audio Representation
Tmap Mobility Co., Ltd(Tmap移动有限公司)
自监督学习的共同研究目标是提取一个通用的表示,任意下游任务将从中受益。在这项工作中,我们调查音乐音频表示从不同的对比自监督学习计划和经验评估的嵌入式向量的各种音乐信息检索(MIR)的任务,不同层次的音乐感知关注。本文通过对实验结果的分析,探讨了不同任务下对比学习策略的使用方向。我们发现,这些表示传达了一个全面的信息的听觉特性的音乐一般,虽然每个自我监督策略有自己的有效性,在某些方面的信息。
2022-07-10 cs.AI cs.MM cs.SD
CL4AC: A Contrastive Loss for Audio Captioning
University of Surrey(萨里大学);Southern University of Science and Technology(南方科技大学)
自动音频字幕(AAC)是一种跨模态翻译任务,旨在使用自然语言来描述音频片段的内容。正如DCASE 2021挑战的任务6所收到的意见书中所示,这个问题在社区中引起了越来越多的兴趣。现有的AAC系统通常基于编解码器架构,其中音频信号被编码成潜在表示,并与其对应的文本描述对齐,然后解码器用于生成字幕。然而,AAC系统的训练经常遇到数据稀缺的问题,这可能导致不准确的表示和音频文本对齐。为了解决这个问题,我们提出了一种新的编码器-解码器框架,称为音频字幕的对比损失(CL 4AC)。在CL 4AC中,来自原始音频-文本配对数据的自监督信号被用于通过对比样本来利用音频和文本之间的对应关系,这可以在有限的数据训练的情况下提高潜在表示的质量和音频与文本之间的对齐。在Clotho数据集上进行的实验表明了该方法的有效性。
2021-11-22 cs.AI cs.SD eess.AS
GLAP: General contrastive audio-text pretraining across domains and languages
MiLM Plus, Xiaomi Inc., China(小米公司)
GLAP通过多语言和多领域能力扩展CLAP,实现跨语言和跨领域的音频-文本预训练,在多个基准测试中表现优异。
2026-01-19 cs.CL cs.SD eess.AS
Listen, Analyze, and Adapt to Learn New Attacks: An Exemplar-Free Class Incremental Learning Method for Audio Deepfake Source Tracing
The University of Melbourne(墨尔本大学);Fortemedia Singapore(新加坡Fortemedia)
针对音频深度伪造溯源的类别增量学习中存在的灾难性遗忘问题,提出AnaST方法,固定特征提取器并以闭式解析解单轮更新分类器,性能优于基线,兼顾隐私与内存效率。
2025-05-20 cs.SD eess.AS