Enhancing Audio-Language Models through Self-Supervised Post-Training with Text-Audio Pairs
College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）
本文提出TeminAL两阶段自监督后训练方法，为音频-语言模型注入时间理解能力，在ESC-50上提升5.28%，同时保持零样本检索和分类性能，并引入ZSTE评估策略。
2025-04-21 cs.LG cs.SD eess.AS
Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Beijing Jiaotong University（北京交通大学）
本文提出时间对比解码方法，通过对比原始和模糊的输入路径来减少时间平滑偏差，提升音频基础输出的精确性。
2026-04-16 cs.AI cs.SD
TAD: Token-Adaptive Contrastive Decoding with Confidence-Guided Gating for Hallucination Mitigation in Large Audio-Language Models
Information Engineering University（信息工程大学）
针对大型音频语言模型的幻觉问题，提出无需训练的令牌自适应对比解码（TAD），通过置信度引导门控对比真实与静音音频逻辑分数，在多个基准上显著提升F1分数。
2026-09-09 cs.CL cs.CV cs.SD
MUKA: Multi Kernel Audio Adaptation Of Audio-Language Models
Inria, University Rennes, IRISA, CNRS（Inria、里昂大学、IRISA、CNRS）
MUKA通过结合细粒度表示与全局语义表示，实现音频-语言模型的少样本适应，展现了在适应性和效率上的平衡性能。
2026-02-15 cs.SD
CSTNet: Contrastive Speech Translation Network for Self-Supervised Speech Representation Learning
Le Mans University（勒芒大学）
世界上7,000种语言中有一半以上濒临灭绝。记录语言的传统方法是收集音频数据，然后由训练有素的语言学家在不同的粒度级别上进行手动注释。这个耗时而艰苦的过程可以从机器学习中受益。许多濒危语言没有任何正字法形式，但通常有双语和受过高资源语言训练的发言者。获得与语音对应的文本翻译相对容易。在这项工作中，我们提供了一个多模态机器学习框架的语音表示学习，通过利用两种模态之间的相关性，即语音及其相应的文本翻译。在这里，我们构建了一个卷积神经网络音频编码器，能够从语音中提取语言表示。训练音频编码器以在对比学习框架中执行语音翻译检索任务。通过评估电话识别任务上的学习表示，我们证明了语言表示出现在音频编码器的内部表示作为学习的副产品执行检索任务。
2020-08-05 cs.CL cs.LG cs.SD
On Negative Sampling for Contrastive Audio-Text Retrieval
Tampere University（坦佩雷大学）
本文研究了音频文本检索中的对比学习中的负采样问题。负采样的策略是指从正音频-文本对的候选池中选择负（音频片段或文本描述）。我们通过模型估计的音频和文本样本的模态内和跨模态相关性分数探索采样策略。在文献[1]的检索系统上，我们研究了八种抽样策略，包括硬和半硬负抽样。实验结果表明，不同策略的检索性能差异很大.特别地，通过选择具有跨模态分数的半硬否定，检索系统在文本到音频和音频到文本检索中获得改进的性能。此外，我们发现，功能崩溃时发生采样硬否定与跨模态分数。
2023-02-17 cs.SD eess.AS
Large-scale Contrastive Language-Audio Pretraining with Feature Fusion and Keyword-to-Caption Augmentation
Mila, Quebec Artificial Intelligence Institute（米拉魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；University of California San Diego（加州大学圣地亚哥分校）；LAION
本文提出一种结合特征融合与关键词到字幕增强的对比语言-音频预训练流程，并发布633,526对音频-文本数据集，模型在零样本分类等任务上达到或接近非零样本的最先进性能。
2024-03-21 cs.SD eess.AS
Cacophony: An Improved Contrastive Audio-Text Model
University of Rochester（罗切斯特大学）
本文提出Cacophony音频-文本模型，通过构建13,000小时大规模音频-文本数据集，并结合掩码自编码器预训练与辅助字幕目标训练对比模型，在音频-文本检索等任务上取得最先进性能。
2024-09-30 cs.SD eess.AS
Human-CLAP: Human-perception-based contrastive language-audio pretraining
The University of Tokyo, Japan（东京大学）；Ritsumeikan University, Japan（立命馆大学）
Human-CLAP通过引入人类主观评价分数提升CLAPScore与人类评价的相关性
2026-03-10 cs.SD eess.AS
Cross-domain Semi-Supervised Audio Event Classification Using Contrastive Regularization
Seoul National University（首尔大学）；Artificial Intelligence Institute, Seoul National University（首尔大学人工智能研究院）
在这项研究中，我们提出了一种新的半监督训练方法，该方法使用具有与目标数据或没有目标标签的数据完全不同的类分布的未标记数据。为此，我们引入了一种对比正则化，它被设计为面向目标任务并同时进行训练。此外，我们提出了一种基于音频混合的简单增强策略，在批量样本中执行。实验结果表明，该方法有效地提高了性能，尤其是在稳定训练和泛化能力方面具有优势。
2021-09-29 cs.SD eess.AS
Self-supervised learning of audio representations using angular contrastive loss
Tampere University（坦佩雷大学）
在自监督学习（SSL）中，各种借口任务被设计用于通过对比损失来学习特征表示。然而，以前的研究表明，这种损失是不太宽容的语义相似的样本，由于固有的缺陷，实例歧视目标，这可能会损害质量的学习特征嵌入在下游任务中使用。为了提高SSL中特征嵌入的鉴别能力，我们提出了一个新的损失函数，称为角度对比损失（ACL），角度裕度和对比损失的线性组合。ACL通过在SSL中的正和负增广对之间显式地添加角度余量来改进对比学习。实验结果表明，使用ACL的监督和无监督学习显着提高性能。我们使用FSDnoisy18k数据集验证了我们的新损失函数，其中我们使用监督和自监督学习分别实现了73.6%和77.1%的声音事件分类准确率。
2023-03-05 cs.SD eess.AS
RA-CLAP: Relation-Augmented Emotional Speaking Style Contrastive Language-Audio Pretraining For Speech Retrieval
Nankai University（南开大学）；TMCC, College of Computer Science（TMCC计算机学院）；Hithink RoyalFlush AI Research Institute（Hithink RoyalFlush人工智能研究院）；University of Exeter（埃克塞特大学）
本文提出情感说话风格检索任务及RA-CLAP模型，通过自蒸馏学习语音与描述间的局部匹配关系，克服传统二元关系假设，提升泛化能力，实验验证其有效性。
2025-05-26 cs.SD eess.AS
Contrastive Learning With Audio Discrimination For Customizable Keyword Spotting In Continuous Speech
Shanghai Jiao Tong University（上海交通大学）；AISpeech Ltd（思必驰科技有限公司）
针对连续语音关键词识别中协同发音和流式分词易导致误报的问题，提出CLAD方法，通过滑动窗口级InfoNCE损失同时学习音频-文本匹配与音频-音频判别，在LibriSpeech上显著优于无音频判别的对比学习及两阶段方法。
2024-01-12 cs.SD eess.AS
Interactive Audio-text Representation for Automated Audio Captioning with Contrastive Learning
Nanyang Technological University（南洋理工大学）
自动音频字幕（AAC）是一个跨模态的任务，它生成自然语言来描述输入音频的内容。大多数先前的作品通常提取单模态声学特征，因此对于跨模态解码任务是次优的。在这项工作中，我们提出了一种新的AAC系统称为CLIP-AAC学习交互式跨模态表示与声学和文本信息。具体地说，CLIP-AAC在预训练的编码器中引入音频头和文本头来提取音频文本信息。此外，我们还应用对比学习，通过学习音频信号与其配对字幕之间的对应关系来缩小域差异。实验结果表明，所提出的CLIP-AAC方法在Clotho数据集上的NLP评估指标方面超过了最佳基线。消融研究表明，预训练模型和对比学习都有助于AAC模型的性能增益。
2022-04-12 cs.CL cs.SD eess.AS
Augmented Contrastive Self-Supervised Learning for Audio Invariant Representations
Microsoft（微软）
由于标记数据的稀缺性，提高泛化能力是音频分类的主要挑战。自监督学习（SSL）方法通过利用未标记的数据来学习下游分类任务的有用特征来解决这个问题。在这项工作中，我们提出了一个增强的对比SSL框架，学习不变表示从未标记的数据。我们的方法将各种扰动应用于未标记的输入数据，并利用对比学习来学习对这种扰动具有鲁棒性的表示。在Audioset和DESED数据集上的实验结果表明，我们的框架在声音/事件分类任务上的性能明显优于最先进的SSL和监督学习方法。
2021-12-21 cs.LG cs.SD eess.AS
A Reference-free Metric for Language-Queried Audio Source Separation using Contrastive Language-Audio Pretraining
Harbin Engineering University（哈尔滨工程大学）；University of Technology Sydney（悉尼科技大学）；University of Surrey（萨里大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Sheffield（谢菲尔德大学）
针对LASS中SDR指标依赖参考信号且忽略文本语义的问题，本文提出基于CLAP的无参考指标CLAPScore，通过衡量分离音频与文本查询的语义相似度实现有效评估。
2025-01-06 cs.SD eess.AS
CALM: Contrastive Aligned Audio-Language Multirate and Multimodal Representations
Apple（苹果公司）
获得音频和词汇输入的多模态表示是自然语言理解（NLU）的核心问题。在本文中，我们提出了对比对齐的音频语言多速率和多模态表示（CALM），一种使用音频和词汇输入中固有的对比和多速率信息来学习多模态表示的方法。该模型将声学和词汇信息对齐在预训练的仅语言上下文嵌入模型的输入嵌入空间中。通过将音频表示与预训练的语言表示对齐，并利用声学输入之间的对比信息，CALM能够在短短几个小时的训练时间内引导音频嵌入，与现有的音频表示模型竞争。在操作上，通过频谱Transformer（SpecTran）使用线性化补丁来处理音频频谱图，频谱transformer（SpecTran）使用对比音频语言预训练目标来训练，以将来自类似查询的音频和语言对齐。随后，所导出的声学和词汇标记表示被输入到多模态Transformer中以并入话语级上下文并导出所提出的CALM表示。我们表明，这些预训练的嵌入随后可以用于多模态监督任务，并证明了所提出的预训练步骤在两个嵌入空间的对齐和预训练的多速率性质方面的好处。我们的系统表现出10- 25%的改进，现有的情感识别系统，包括国家的最先进的三模态系统在各种评价目标。
2022-02-08 cs.SD eess.AS eess.SP
Temporally Heterogeneous Graph Contrastive Learning for Multimodal Acoustic event Classification
Harbin University of Science（哈尔滨理工大学）；Technology The University of Melbourne（技术墨尔本大学）
本文提出时序异构图对比学习框架THGCL，通过高斯过程、Hawkes过程和对比学习区分模态内与模态间时序依赖，在AudioSet上实现多模态声学事件分类的最优性能。
2025-09-18 cs.SD eess.AS
Contrastive Learning of General-Purpose Audio Representations
Google（谷歌）
我们介绍COLA，一种用于学习通用音频表示的自我监督预训练方法。我们的方法是基于对比学习：它学习一种表示，该表示将高相似性分配给从同一录音中提取的音频片段，同时将较低相似性分配给来自不同录音的片段。我们基于计算机视觉对比学习和强化学习的最新进展，设计了一个轻量级的，易于实现的自监督音频模型。我们在大规模Audioset数据库上预训练嵌入，并将这些表示转移到9个不同的分类任务中，包括语音，音乐，动物声音和声学场景。我们表明，尽管它的简单性，我们的方法显着优于以前的自我监督系统。我们还进行消融研究以确定关键的设计选择，并发布一个库来预训练和微调COLA模型。
2020-10-21 cs.LG cs.SD eess.AS
Multi-Format Contrastive Learning of Audio Representations
Google DeepMind（谷歌DeepMind）
最近的进展表明，与单一模式方法相比，多模式培训具有优势。与此相反，在我们的工作中，我们发现，可以从不同格式的单一模态的训练中获得类似的增益。特别是，我们研究了使用的对比学习框架来学习音频表示最大限度地提高原始音频和它的频谱表示之间的协议。我们发现，使用这种多格式的策略对单一格式的同行显着的收益。此外，在下游的AudioSet和ESC-50分类任务中，我们的纯音频方法分别以0.376的平均精度和90.5%的准确率实现了最新的最先进的结果。
2021-03-24 cs.LG cs.SD eess.AS
Anomalous Sound Detection using Audio Representation with Machine ID based Contrastive Learning Pretraining
Harbin Engineering University（哈尔滨工程大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Technology Sydney（悉尼科技大学）；University of Surrey（萨里大学）
本文提出一种两阶段对比学习方法，通过结合机器ID预训练音频表示模型并利用自监督ID分类器微调，增强同一ID的音频特征关系，在DCASE 2020数据集上显著提升了异常声音检测的性能与稳定性。
2023-04-10 cs.LG cs.SD eess.AS
Contrastive Unsupervised Learning for Audio Fingerprinting
Bytedance AI Lab（字节跳动人工智能实验室）
视频分享平台的兴起吸引了越来越多的人拍摄视频并上传到互联网。这些视频大多包含精心编辑的背景音轨，其中可能涉及严重的语音变化、音高偏移和各种类型的音频效果，并且现有的音频识别系统可能无法识别音频。为了解决这个问题，本文将对比学习的思想引入到音频指纹识别（AFP）中。对比学习是一种无监督的学习方法，可以有效地对相似样本进行分组，并区分不同的样本。在我们的工作中，我们认为一个音轨和它的不同失真的版本是相似的，而认为不同的音轨是不相似的。基于动量对比（MoCo）框架，提出了一种基于对比学习的AFP指纹识别方法，该方法能够生成具有鉴别力和鲁棒性的指纹。一组实验表明，我们的AFP方法是有效的音频识别，与严重的音频失真的鲁棒性，包括具有挑战性的速度变化和音高变化。
2020-10-26 cs.LG cs.MM cs.SD
SmoothCLAP: Soft-Target Enhanced Contrastive Language\--Audio Pretraining for Affective Computing
CHI -- Chair of Health Informatics, TUM University Hospital, Munich, Germany（健康信息学系，塔尔博特大学医院，德国慕尼黑）；Huawei, Netherlands（华为，荷兰）；GLAM, Imperial College London, UK（GLAM，伦敦帝国学院，英国）
SmoothCLAP通过引入软目标和副语言特征，改进了对比语言-音频预训练，以更准确地捕捉情感的连续性，从而提升情感计算任务的性能。
2026-01-18 cs.SD eess.AS
SIGNL: A Label-Efficient Audio Deepfake Detection System via Spectral-Temporal Graph Non-Contrastive Learning
Institute of Innovation, Science and Sustainability, Federation University Australia（创新、科学与可持续性研究所，联邦大学澳大利亚）
SIGNL通过频谱-时间图非对比学习实现高效音频深度伪造检测，利用未标记数据预训练编码器并微调，实现低标签数据下的高检测性能。
2026-01-12 cs.SD eess.AS
CCStereo: Audio-Visual Contextual and Contrastive Learning for Binaural Audio Generation
Australian Institute for Machine Learning, University of Adelaide（澳大利亚机器学习研究所，阿德莱德大学）；Sony Group Corporation（索尼集团）；Sony AI, Sony Group Corporation（索尼人工智能，索尼集团）
提出CCStereo模型，通过音视频条件归一化层和对比学习增强双耳音频生成的空间敏感性，并在FAIR-Play和MUSIC-Stereo基准上取得最先进性能。
2025-08-06 cs.CV cs.SD eess.AS
A Framework for Generative and Contrastive Learning of Audio Representations
Stanford University（斯坦福大学）
在本文中，我们提出了一个框架，对比学习音频表示，在一个自我监督的框架工作，没有访问任何地面真理标签。自监督对比学习的核心思想是映射音频信号及其各种增强版本（代表音频的突出方面，如音高，音色等）。到一个空间，在那里它们靠近在一起，并与其他不同的信号分开。此外，我们还探索了基于最先进的Transformer架构的生成模型，用于学习音频信号的潜在空间，而无需访问任何标签。在这里，我们将较小规模的音频信号映射到离散字典元素，并训练Transformers来预测下一个字典元素。我们只使用数据作为监督的方法，而不需要标签作为训练深度神经网络的监督。然后，我们使用一个线性分类器头，以评估我们的模型的性能，为自我监督的对比和生成Transformer为基础的表示，学习。我们的系统实现了相当大的性能，相比一个完全监督的方法，与地面实况标签的访问训练的神经网络模型。这些表示方法具有大规模音频数据的可用性，在音频理解任务的各种任务中显示出希望
2021-03-16 cs.LG cs.SD eess.AS
CoLLAP: Contrastive Long-form Language-Audio Pretraining with Musical Temporal Structure Augmentation
UC San Diego（加利福尼亚大学圣地亚哥分校）；UC Los Angeles（加利福尼亚大学洛杉矶分校）
CoLLAP提出一种对比式长音频-语言预训练方法，通过音乐时间结构增强和注意力融合机制扩展音频与文本的感知窗口，并在长音频音乐文本检索及下游音乐信息检索任务中取得一致性能提升。
2024-10-03 cs.AI cs.SD eess.AS
Contrastive Learning from Synthetic Audio Doppelgängers
Massachusetts Institute of Technology（麻省理工学院）；Dartmouth College（达特茅斯学院）
提出利用随机扰动声音合成器参数生成合成音频替身作为正样本对，解决音频对比学习中的数据规模和变换限制，方法轻量且在多个标准分类任务上超越真实数据。
2025-03-02 cs.LG cs.SD eess.AS
Attention-Guided Reliability Scaling for Contrastive Decoding in Robust Audio-Visual Speech Recognition
Hanyang University（汉阳大学）
本研究针对鲁棒视听语音识别问题，提出注意力引导的对比解码可靠性缩放方法，在LRS3数据集上实现了干净与低信噪比条件下的性能提升。
2026-08-28 cs.CV cs.SD eess.AS
Multi-Source Contrastive Learning from Musical Audio
Institute of Language and Speech Proc., Athena Research Center（雅典娜研究中心语言与语音研究所）；Institute of Robotics, Athena Research Center（雅典娜研究中心机器人研究所）；School of ECE, National Technical University of Athens（雅典国家技术大学电气与计算机工程学院）
本文提出一种基于音乐源关联的多源对比学习预训练方法，通过修改COLA框架和对比损失，在三个下游任务中取得竞争性结果并加速收敛。
2023-05-10 cs.SD eess.AS
Cross-Modal Contrastive Representation Learning for Audio-to-Image Generation
Korea University（高丽大学）
某些信息的多种形式提供了关于该信息的各种观点，这可以改善对信息的理解。因此，从现有数据中生成不同模态的数据以增强理解可能至关重要。在本文中，我们研究了跨模态音频到图像的生成问题，并提出跨模态对比表示学习（CMCRL）提取有用的功能，从音频和使用它在生成阶段。实验结果表明，CMCRL提高了图像质量比以前的研究。
2022-07-20 cs.CV cs.GR cs.SD
Neural Audio Fingerprint for High-specific Audio Retrieval based on Contrastive Learning
Seoul National University（首尔国立大学）；SK Telecom（SK电讯）
大多数现有的音频指纹识别系统在用于大规模的高特异性音频检索方面具有局限性。在这项工作中，我们从音频的短单元段生成一个低维表示，并将此指纹与快速最大内积搜索相结合。为此，我们提出了一个对比学习框架，来自段级搜索目标。训练中的每次更新都使用一批由一组伪标签、随机选择的原始样本及其增强副本组成的批。这些复制品可以通过应用小的时间偏移和各种类型的失真（例如背景噪声和房间/麦克风脉冲响应）来模拟对原始音频信号的降级效果。在段级搜索任务中，传统的音频指纹识别系统过去常常失败，我们的系统使用10倍的小存储空间，显示出有希望的结果。我们的代码和数据集可在\url{https://mimbres.github.io/neural-audio-fp/}上获得。
2021-02-10 cs.IR cs.LG cs.SD
T-CLAP: Temporal-Enhanced Contrastive Language-Audio Pretraining
University of Surrey（萨里大学）；ByteDance（字节跳动）；Shanghai Jiao Tong University（上海交通大学）
针对CLAP难以捕捉时间信息的问题，提出T-CLAP模型，利用LLM生成时间对比描述并设计时间聚焦对比损失微调模型，显著提升了音频事件时间关系的捕捉能力。
2024-04-27 cs.CL cs.LG cs.SD
Contrastive Regularization for Multimodal Emotion Recognition Using Audio and Text
Harbin Institute of Technology（哈尔滨工业大学）
语音情感识别是一个挑战，也是迈向更自然的人机交互（HCI）的重要一步。流行的方法是基于模型级融合的多模态情感识别，这意味着可以对多模态信号进行编码以获得嵌入，然后将嵌入连接在一起以进行最终分类。然而，由于噪声或其他因素的影响，每种模态并不总是倾向于相同的情感类别，这影响了模型的泛化。在本文中，我们提出了一种新的正则化方法，通过对比学习的多模态情感识别使用音频和文本。通过引入一种区分相同情感对和不同情感对的特征码，明确地限制每种模态的潜码包含相同的情感信息，从而减少噪声干扰，得到更有区别的表示。在标准IEMOCAP数据集上进行了4类情感识别的实验。结果表明，与基线系统相比，加权精度（WA）和非加权精度（UA）分别提高了1.44%和1.53%。
2022-11-20 cs.SD eess.AS
Language-Based Audio Retrieval with Converging Tied Layers and Contrastive Loss
ST Engineering Mission Software & Services Pte. Ltd（ST工程任务软件与服务私人有限公司）
在本文中，我们解决了DCASE 2022中提出的新的基于数据库的音频检索任务。首先，我们介绍了一个简单的，可扩展的架构，将音频和文本编码器联系在一起。其次，我们表明，使用这种架构以及对比损失允许模型显着击败基线模型的性能。最后，除了具有极低的训练内存要求外，我们还能够使用预训练的模型，而无需对它们进行微调。我们测试了我们的方法，并表明使用我们的方法的组合击败了基线分数显着。
2022-06-29 cs.CL cs.IR cs.SD
Contrastive Audio-Visual Masked Autoencoder
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；UT Austin（德克萨斯大学奥斯汀分校）；IBM Research AI（IBM研究院人工智能部门）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Goethe University Frankfurt（法兰克福大学）
本文提出CAV-MAE，将MAE扩展到音视频多模态，并融合对比学习与掩码数据建模，实现完全自监督的联合音视频表示学习，在VGGSound上达到65.9%的新SOTA准确率。
2023-04-11 cs.CV cs.MM cs.SD
CL4AC: A Contrastive Loss for Audio Captioning
University of Surrey（萨里大学）；Southern University of Science and Technology（南方科技大学）
自动音频字幕（AAC）是一种跨模态翻译任务，旨在使用自然语言来描述音频片段的内容。正如DCASE 2021挑战的任务6所收到的意见书中所示，这个问题在社区中引起了越来越多的兴趣。现有的AAC系统通常基于编解码器架构，其中音频信号被编码成潜在表示，并与其对应的文本描述对齐，然后解码器用于生成字幕。然而，AAC系统的训练经常遇到数据稀缺的问题，这可能导致不准确的表示和音频文本对齐。为了解决这个问题，我们提出了一种新的编码器-解码器框架，称为音频字幕的对比损失（CL 4AC）。在CL 4AC中，来自原始音频-文本配对数据的自监督信号被用于通过对比样本来利用音频和文本之间的对应关系，这可以在有限的数据训练的情况下提高潜在表示的质量和音频与文本之间的对齐。在Clotho数据集上进行的实验表明了该方法的有效性。
2021-11-22 cs.AI cs.SD eess.AS
GLAP: General contrastive audio-text pretraining across domains and languages
MiLM Plus, Xiaomi Inc., China（小米公司）
GLAP通过多语言和多领域能力扩展CLAP，实现跨语言和跨领域的音频-文本预训练，在多个基准测试中表现优异。
2026-01-19 cs.CL cs.SD eess.AS
DSCLAP: Domain-Specific Contrastive Language-Audio Pre-Training
NIO（蔚来）
针对智能语音助手领域跨模态预训练数据稀缺、模态表示不佳的问题，提出仅用原始音频的DSCLAP框架，通过ASR转写结合双目标对齐模态，在车载数据上预训练后性能全面优于基线。
2024-09-14 cs.MM cs.SD eess.AS
COCOLA: Coherence-Oriented Contrastive Learning of Musical Audio Representations
Sapienza University of Rome（罗马智慧大学）；Sony Europe B.V.（索尼欧洲有限公司）
本文提出 COCOLA 对比学习方法，利用分轨及 HPS 特征建模音乐片段间的和声与节奏连贯性，为音乐伴奏生成模型提供客观评估基准，并公开多数据集训练检查点。
2025-01-09 cs.LG cs.SD eess.AS
AC-Mix: Self-Supervised Adaptation for Low-Resource Automatic Speech Recognition using Agnostic Contrastive Mixup
INESC-ID & Instituto Superior Técnico（INESC-ID与理工学院）
本文提出AC-Mix方法，通过源域与目标域样本插值的对比混合进行自监督域自适应，在仅约11小时数据和1小时单GPU训练下持续提升低资源ASR性能。
2024-10-18 cs.SD eess.AS
Music Mixing Style Transfer: A Contrastive Learning Approach to Disentangle Audio Effects
Sony（索尼）
本文提出一种基于对比学习预训练编码器的端到端音乐混音风格迁移系统，以自监督方式从湿多轨数据中解耦音频效果信息，并通过客观与主观评估验证其风格迁移性能及对音乐源分离的鲁棒性。
2023-04-11 cs.LG cs.SD eess.AS
Retrieval Augmented Generation in Prompt-based Text-to-Speech Synthesis with Context-Aware Contrastive Language-Audio Pretraining
Beijing University of Posts and Telecommunications（北京邮电大学）
本文针对基于提示的TTS中语音提示选择问题，提出将检索增强生成（RAG）适配到TTS，并设计上下文感知对比语言-音频预训练模型CA-CLAP来提取风格相关特征，实验证明该方法优于基线。
2024-06-06 cs.SD eess.AS
Towards Proper Contrastive Self-supervised Learning Strategies For Music Audio Representation
Tmap Mobility Co., Ltd（Tmap移动有限公司）
自监督学习的共同研究目标是提取一个通用的表示，任意下游任务将从中受益。在这项工作中，我们调查音乐音频表示从不同的对比自监督学习计划和经验评估的嵌入式向量的各种音乐信息检索（MIR）的任务，不同层次的音乐感知关注。本文通过对实验结果的分析，探讨了不同任务下对比学习策略的使用方向。我们发现，这些表示传达了一个全面的信息的听觉特性的音乐一般，虽然每个自我监督策略有自己的有效性，在某些方面的信息。
2022-07-10 cs.AI cs.MM cs.SD
CMMD: Contrastive Multi-Modal Diffusion for Video-Audio Conditional Modeling
University of California Irvine（加利福尼亚大学欧文分校）；Microsoft Research（微软研究院）
本研究提出用于视频音频双向条件生成的多模态扩散模型CMMD，通过联合对比损失和跨模态简易融合模块，在生成质量、速度及音视频对齐上优于基线。
2024-10-09 cs.CV cs.LG cs.MM
Towards Attention-based Contrastive Learning for Audio Spoof Detection
Reality Defender Inc.（Reality Defender公司）
本文提出基于注意力的对比学习框架SSAST-CL，利用交叉注意力改进音频欺骗检测中的表示学习，并在ASVSpoof 2021挑战赛上取得有竞争力的性能。
2024-07-03 cs.AI cs.SD eess.AS
Sequential Contrastive Audio-Visual Learning
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Dolby Laboratories（杜比实验室）
针对传统音视对比学习依赖时间聚合、忽视序列结构的问题，提出 SCAV，用多维序列距离在非聚合表示空间中对比，显著提升检索召回率并支持高效混合检索。
2025-03-16 cs.CV cs.LG cs.MM
Towards Robust Few-shot Class Incremental Learning in Audio Classification using Contrastive Representation
IISER Bhopal（印度博帕尔印度科学教育与研究学院）
本文针对音频分类中的少样本类增量学习问题，提出在基会话训练中引入监督对比学习以优化表示空间，从而提升判别力和泛化能力，并在多个音频数据集上取得最先进性能。
2024-08-07 cs.LG cs.SD eess.AS
CDPAM: Contrastive learning for perceptual audio similarity
Princeton University（普林斯顿大学）；Adobe Research（奥多比研究院）
许多基于深度学习的语音处理方法都需要一个自动的、可微分的音频度量作为损失函数。Manocha等人的DPAM方法学习了直接根据人类判断训练的全参考度量，因此与人类感知很好地相关。然而，它需要大量的人类注释，并且在训练的扰动范围之外不能很好地泛化。本文介绍了CDPAM，一个建立在DPAM的基础上并对其进行了改进的度量。主要的改进是结合对比学习和多维表示，从有限的数据中构建强大的模型。此外，我们收集人类对三重比较的判断，以提高对更广泛的音频扰动的泛化能力。CDPAM在九个不同的数据集上与人类反应良好相关。我们还表明，将此度量添加到现有的语音合成和增强方法产生显着的改善，客观和主观的测试。
2021-02-09 cs.LG cs.SD eess.AS
Contrastive Latent Space Reconstruction Learning for Audio-Text Retrieval
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Nanjing University（南京大学）
本文提出对比潜空间重建学习（CLSR），通过引入模态内可分离性、自适应温度控制和潜表示重建模块，提升音频-文本跨模态检索性能。
2023-09-16 cs.MM cs.SD eess.AS
Contrastive Audio-Language Learning for Music
Queen Mary University of London（伦敦玛丽女王大学）；Universal Music Group（环球音乐集团）
作为人类所知的最直观的界面之一，自然语言有潜力调解许多涉及人机交互的任务，特别是在以应用为中心的领域，如音乐信息检索。在这项工作中，我们探索跨模态学习，试图在音乐领域的音频和语言的桥梁。为此，我们提出了MusCALL，一个音乐对比音频语言学习的框架。我们的方法包括一个双编码器架构，学习音乐音频和描述性句子对之间的对齐，产生多模态嵌入，可用于文本到音频和音频到文本检索的开箱即用。由于这个属性，MusCALL可以被转移到几乎任何可以被转换为基于文本的检索的任务。我们的实验表明，我们的方法在检索与文本描述相匹配的音频时的性能明显优于基线，相反，检索与音频查询相匹配的文本。我们还证明了我们的模型的多模态对齐能力可以成功地扩展到zero-shot传输场景，用于两个公共数据集上的体裁分类和自动标记。
2022-08-25 cs.CL cs.LG cs.SD
SACM: SEEG-Audio Contrastive Matching for Chinese Speech Decoding
Hongbin Wang（王宏斌）；Zhihong Jia（贾志宏）；Yuanzhong Shen（沈元中）；Ziwei Wang（王子伟）；Siyang Li（李思阳）；Kai Shu（舒凯）；Feng Hu（胡峰）；Dongrui Wu（吴东瑞）
本文提出SACM框架，利用SEEG和音频对比匹配进行中文语音解码，在八名患者上验证了显著高于偶然水平的准确率，并发现单个电极即可达到全阵列性能，为在线BCI开发提供洞见。
2025-05-26 cs.HC cs.SD eess.AS
Emotion-Aware Contrastive Adaptation Network for Source-Free Cross-Corpus Speech Emotion Recognition
Southeast University（东南大学）；Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）
针对无源跨语料库SER中无法访问源数据的问题，本文提出ECAN，结合最近邻对比学习与监督对比学习实现局部一致性和类别级适应，并在多个语料库上显著优于现有方法。
2024-01-23 cs.SD eess.AS
Optimizing Audio Augmentations for Contrastive Learning of Health-Related Acoustic Signals
Google Research（谷歌研究院）
本文利用带有 Slowfast NFNet 主干网络的自监督框架 SimCLR 进行健康声学对比学习，通过深入分析音频数据增强策略，发现合适的增强组合能产生超越单一增强的协同效应，有效提升了模型在多种健康声学任务上的性能。
2023-09-11 cs.LG cs.SD eess.AS
