Contrastive Positive Sample Propagation along the Audio-Visual Event Line
Hefei University of Technology（合肥工业大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
在自然环境中，视听信号常常共存，形成视听事件。给定一个视频，我们的目标是本地化包含AVE的视频片段，并确定其类别。学习每个视频片段的区分特征是关键。与现有的工作侧重于视听特征融合，在本文中，我们提出了一种新的对比积极的样本传播（CPSP）方法更好的深度特征表示学习。CPSP的贡献是引入可用的完整或弱标签作为先验，构造用于对比学习的精确正负样本。具体而言，CPSP涉及全面的对比约束：对级阳性样本传播（PSP）、片段级和视频级阳性样本激活（PSA $_S$和PSA $_V$）。提出了三个新的对比目标（\emph{i.e.}、$\mathcal{L}_{\text{avpsp}}$、$\mathcal{L}_\text{spsa}$和$\mathcal{L}_\text{vpsa}$）并将其引入到完全监督和弱监督AVE定位中。为了更全面地描述AVE定位中的对比学习，我们还研究了自监督正样本传播算法。因此，CPSP更有助于获得可与底片区分的精细视听特征，从而有利于分类器预测。在AVE和新采集的VGGSound-AVEL 100 k数据集上的实验验证了该方法的有效性和泛化能力。
2022-11-18 cs.CV
Learning Audio-Visual Source Localization via False Negative Aware Contrastive Learning
Australian National University（澳大利亚国立大学）；OPPO Research Institute（OPPO研究院）；The University of Oxford（牛津大学）；Shanghai AI Lab（上海人工智能实验室）；Beihang University（北京航空航天大学）
自监督音视频源定位的目标是在没有额外注释的情况下定位视频帧中的声源对象。最近的方法通常在对比学习的帮助下接近这个目标，该方法假设只有来自同一视频的音频和视觉内容是彼此的正样本。然而，这种假设在现实世界的训练中会受到假阴性样本的影响。例如，对于音频样本，将来自相同音频类的帧视为负样本可能会误导模型，并因此损害学习到的表示，警报器哀号的音频可以合理地对应于多个图像中的救护车）。基于这一观察，我们提出了一种新的学习策略，称为假阴性感知对比（FNAC），以减轻这种假阴性样本误导训练的问题。具体来说，我们利用模态内相似性来识别潜在的相似样本，并构造相应的邻接矩阵来指导对比学习。此外，我们建议通过明确利用声源的视觉特征来促进真实声源区域的区分，从而加强真阴性样本的作用。FNAC在Flickr-SoundNet，VGG-Sound和AVSBench上实现了最先进的性能，这证明了我们的方法在减轻假阴性问题方面的有效性。代码可在\url{https://github.com/OpenNLPLab/FNAC_AVL}上获得。
2023-03-25 cs.CV
Supervision Exists Everywhere: A Data Efficient Contrastive Language-Image Pre-training Paradigm
SenseTime Research（商汤科技研究院）；University of Sydney（悉尼大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
近年来，大规模的对比图像预训练（CLIP）以其令人印象深刻的zero-shot识别能力和良好的向下游任务的可移植性，引起了前所未有的关注。然而，CLIP非常需要数据，需要4亿个图像-文本对进行预训练，从而限制了其采用。这项工作提出了一种新的训练范式，数据高效CLIP（DeCLIP），以减轻这一限制。我们证明，通过仔细利用图像-文本对之间的广泛监督，我们的De-CLIP可以更有效地学习通用的视觉特征。我们不使用单一的图像-文本对比监督，而是通过使用（1）每个模态内的自我监督;（2）跨模态的多视图监督;（3）来自其他相似对的最近邻监督来充分利用数据潜力。得益于内在监督，我们的DeCLIP-ResNet 50可以在ImageNet上实现60.4%的zero-shot top1准确率，比CLIP-ResNet 50高出0.8%，同时使用的数据减少了7.1倍。当转移到下游任务时，我们的DeCLIP-ResNet 50在11个视觉数据集中的8个中表现优于其对手。此外，在我们的框架中，扩展模型和计算也很好。我们的代码，数据集和模型发布在：https://github.com/Sense-GVT/DeCLIP
2022-03-14 cs.CV
Contrastive Centroid Supervision Alleviates Domain Shift in Medical Image Classification
Baidu Inc（百度公司）
基于深度学习的医学成像分类模型通常会遇到域偏移问题，当训练数据和真实世界数据在成像设备制造商、图像采集协议、患者人群等方面存在差异时，分类性能会下降。该方法通过在训练过程中对实例和类质心之间的对比度损失进行额外的监督，可以提高目标域分类性能。与现有的无监督领域自适应和领域泛化方法相比，FCCL方法性能更好，而且只需要单个源域的标记图像数据，不需要目标域。我们通过大量的实验验证，FCCL可以实现至少三种成像方式，即眼底照片，皮肤镜图像，H & E组织图像的优异性能。
2022-05-31 cs.CV
Direct Diffusion Score Preference Optimization via Stepwise Contrastive Policy-Pair Supervision
Dept. of CSE, Korea University（韩国大学计算机科学与工程系）；NVIDIA
提出DDSPO方法，通过对比策略对直接监督反向去噪步骤，无需奖励建模或人工标注，在文本-图像对齐和美学质量任务上优于现有方法。
2026-07-03 cs.CV
Democratizing Contrastive Language-Image Pre-training: A CLIP Benchmark of Data, Model, and Supervision
Beihang University（北京航空航天大学）；SenseTime Research（商汤科技研究院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
对比图像预训练（CLIP）是一种从语言监督中学习视觉模型的新范式。虽然研究人员继续推动CLIP的前沿，但复制这些作品仍然具有挑战性。这是因为研究人员没有选择一致的训练食谱，甚至使用不同的数据，阻碍了不同方法之间的公平比较。在这项工作中，我们提出了CLIP基准，第一次尝试评估，分析和基准CLIP及其变体。我们对三个关键因素进行了全面分析：数据，监督和模型架构。我们发现相当多的直觉或反直觉的见解：（1）。数据质量对性能有很大影响。（二）、特定的监督对于卷积网络（ConvNets）和视觉Transformer（ViT）具有不同的效果。采用更合理的监督可以有效地提高CLIP的绩效。（三）、减少文本编码器可以降低训练成本，但对最终性能影响不大。此外，我们进一步将DeCLIP与FILIP结合起来，为我们带来了最强大的变体DeFILIP。CLIP基准将在https://github.com/Sense-GVT/DeCLIP上发布，供未来的CLIP研究使用。
2022-03-11 cs.CV
Contextualized Spatio-Temporal Contrastive Learning with Self-Supervision
Google Research（谷歌研究院）；Cornell University（康奈尔大学）
现代的自监督学习算法通常会在视图之间强制执行实例表示的持久化。虽然在学习整体图像和视频表示方面非常有效，但这样的目标对于学习视频中的时空细粒度特征变得次优，其中场景和实例通过空间和时间演变。在本文中，我们提出了上下文时空对比学习（ConST-CL），有效地学习时空细粒度的视频表示，通过自我监督。我们首先设计了一个基于区域的借口任务，需要模型转换的立场表示从一个视图到另一个，指导上下文功能。此外，我们介绍了一个简单的网络设计，成功地调和整体和局部表示的同时学习过程。我们评估了我们在各种下游任务上的学习表示，并表明ConST-CL在6个数据集上取得了有竞争力的结果，包括Kinetics，UCF，HMDB，AVA-Kinetics，AVA和OTB。
2022-04-02 cs.CV
Few-Shot Point Cloud Semantic Segmentation via Contrastive Self-Supervision and Multi-Resolution Attention
National University of Singapore（新加坡国立大学）；Singapore Institute of Manufacturing Technology (SIMTech), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局制造技术研究所）
本文提出了一种有效的Few-Shot点云语义分割方法。现有的基于点云的Few-Shot分割方法严重依赖于大规模标注数据集的全监督预训练，这会导致学习到的特征提取偏向于那些预训练的类。然而，由于少样本学习的目的是处理未知/不可见的类，因此预训练中的这种类特定的特征提取对于推广到少样本学习的新类并不理想。此外，点云数据集几乎没有大量的类，由于注释的困难。为了解决这些问题，我们提出了一个对比自监督框架，用于少样本学习预训练，其目的是通过类不可知的对比监督来消除特征提取偏差。具体来说，我们实现了一种新的对比学习方法，具有可学习的增强器，用于3D点云，以实现逐点区分，从而通过自我监督来增强预训练与管理过拟合。此外，我们开发了一个多分辨率的注意力模块，使用最近和最远的点，以更有效地提取局部和全局点信息，并采用中心集中的多原型，以减轻类内稀疏。综合实验进行了评估所提出的方法，这表明我们的方法达到了最先进的性能。此外，一个实际的CAM/CAD分割的案例研究，以证明我们的方法在现实世界中的应用的有效性。
2023-02-21 cs.CV
PreViTS: Contrastive Pretraining with Video Tracking Supervision
Columbia University（哥伦比亚大学）；Salesforce Research（Salesforce研究院）
由于对象的自然时间变换的存在，视频是视觉表示的自监督学习（SSL）的丰富来源。然而，目前的方法通常随机采样视频剪辑用于学习，这导致不完美的监督信号。在这项工作中，我们提出了PreViTS，SSL框架，利用无监督的跟踪信号选择包含相同对象的剪辑，这有助于更好地利用对象的时间变换。PreViTS进一步使用跟踪信号来空间约束帧区域，以通过对Grad-CAM注意力图进行监督来学习和训练模型以定位有意义的对象。为了评估我们的方法，我们用PreViTS在VGG-Sound和Kinetics-400数据集上训练动量对比（MoCo）编码器。使用PreViTS进行训练在视频下游任务上优于单独通过对比策略学习的表示，在动作分类上获得最先进的性能。PreViTS有助于学习对背景和上下文变化更鲁棒的特征表示，正如在背景变化的数据集上进行的实验所示。使用PreViTS从大规模视频中学习可以带来更准确和更强大的视觉特征表示。
2022-09-27 cs.CV
Complementary and Contrastive Learning for Audio-Visual Segmentation
School of Information and Communication Engineering, Dalian University of Technology（信息与通信工程学院，大连理工大学）；School of Future Technology and the School of Artificial Intelligence, Dalian University of Technology（未来技术学院和人工智能学院，大连理工大学）
提出CCFormer框架，通过早期集成模块、多查询Transformer模块和双模态对比学习全面捕捉音视频时空上下文，在S4、MS3和AVSS数据集上达到最先进水平。
2025-10-11 cs.CV
CLIP-Joint-Detect: End-to-End Joint Training of Object Detectors with Contrastive Vision-Language Supervision
Sharif University of Technology（谢里夫理工大学）
CLIP-Joint-Detect通过端到端联合训练整合CLIP风格的对比视觉语言监督，提升对象检测性能，适用于多种架构和数据集。
2026-08-06 cs.CV
The Impact of Spatiotemporal Augmentations on Self-Supervised Audiovisual Representation Learning
University of Western Ontario（西安大略大学）
听觉和视觉感知的对比学习在单独研究时非常成功。然而，我们如何整合从这两个领域学到的原则，以实现有效的视听表现，仍然存在重大问题。在本文中，我们提出了一个对比框架，学习视听表示从未标记的视频。在自我监督预训练期间使用的增强的类型和强度对于对比框架充分工作起着至关重要的作用。因此，我们广泛研究适合学习视听表示的时间增强的组成;我们发现不破坏视频的时间一致性的有损时空变换是最有效的。此外，我们表明，这些变换的有效性尺度更高的时间分辨率和更强的变换强度。与仅基于采样的时间增强预训练的自监督模型相比，使用我们的时间增强预训练的自监督模型在AVE数据集上的线性分类器性能上获得了大约6.5%的增益。最后，我们表明，尽管它们很简单，但我们提出的转换在自监督学习框架（SimSiam，MoCoV 3等）和基准视听数据集（AVE）中运行良好。
2021-10-13 cs.CV
RCPS: Rectified Contrastive Pseudo Supervision for Semi-Supervised Medical Image Segmentation
Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；Huashan Hospital（华山医院）；National Center for Neurological Disorders（国家神经疾病医学中心）；ShanghaiTech University（上海科技大学）
针对半监督医学图像分割中伪标签噪声大、特征类别可分性不足的问题，提出结合校正伪监督与双向体素对比学习的RCPS方法，经多数据集验证性能优于现有最优方法。
2023-10-09 cs.CV
Language-Guided Contrastive Audio-Visual Masked Autoencoder with Automatically Generated Audio-Visual-Text Triplets from Videos
LY Corporation（LY公司）；Keio University（庆应大学）
本文提出 LG-CAV-MAE，通过引入预训练文本编码器和自动生成音视频文本三元组，实现音频、视觉与文本的联合表示学习，在检索和分类任务上显著超越现有方法。
2025-07-16 cs.CV eess.AS eess.IV
Contrastive-center loss for deep neural networks
Beijing University of Posts and Telecommunications（北京邮电大学）
深度卷积神经网络（CNN）显著提高了图像分类和人脸识别的性能。Softmax通常用作监督，但它只惩罚分类损失。在本文中，我们提出了一种新的辅助监督信号，称为对比度中心损失，它可以进一步提高区分能力的功能，因为它为每个类学习一个类中心。所提出的对比中心损失同时考虑类内紧致性和类间可分性，通过惩罚以下两个值之间的对比值：（1）训练样本到其对应的类中心的距离，以及（2）训练样本到其非对应的类中心的距离之和。在不同数据集上的实验证明了对比中心丢失的有效性。
2017-08-23 cs.CV
Contrastive Deep Supervision
Tsinghua University（清华大学）；Intel Corporation（英特尔公司）；Xi’an Jiaotong University（西安交通大学）
深度学习的成功通常伴随着神经网络深度的增长。然而，传统的训练方法只对神经网络的最后一层进行监督，并将监督逐层传播，导致中间层的优化困难。最近，已经提出了深度监督，以向深度神经网络的中间层添加辅助分类器。通过优化这些辅助分类器与监督的任务损失，监督可以直接应用于浅层。然而，深度监督与众所周知的观察相冲突，即浅层学习低级特征，而不是任务偏向的高级语义特征。为了解决这个问题，本文提出了一种名为对比深度监督的新型训练框架，该框架通过基于增强的对比学习来监督中间层。在9个常用数据集上的11个模型上的实验结果表明，该方法在监督学习、半监督学习和知识蒸馏中对一般图像分类、细粒度图像分类和目标检测都有较好的效果。代码已在Github中发布。
2022-07-12 cs.AI cs.CV
CCStereo: Audio-Visual Contextual and Contrastive Learning for Binaural Audio Generation
Australian Institute for Machine Learning, University of Adelaide（澳大利亚机器学习研究所，阿德莱德大学）；Sony Group Corporation（索尼集团）；Sony AI, Sony Group Corporation（索尼人工智能，索尼集团）
提出CCStereo模型，通过音视频条件归一化层和对比学习增强双耳音频生成的空间敏感性，并在FAIR-Play和MUSIC-Stereo基准上取得最先进性能。
2025-08-06 cs.CV cs.SD eess.AS
Identify, locate and separate: Audio-visual object extraction in large video collections using weak supervision
Technicolor（特艺集团）
我们解决了弱标记数据的视听景物分析问题。为此，我们建立在我们以前的视听表示学习框架，在嘈杂的声学环境中进行对象分类，并集成音频源增强功能。这是可能的，通过一种新的使用非负矩阵分解的音频模态。我们的方法是建立在多实例学习范式。它的有效性是通过对具有挑战性的乐器表演视频数据集的实验来建立的。我们还显示了令人鼓舞的视觉对象定位结果。
2018-11-09 cs.CV cs.NE
Probing Visual-Audio Representation for Video Highlight Detection via Hard-Pairs Guided Contrastive Learning
Sensetime Research（商汤科技研究院）；The Hong Kong Polytechnic University（香港理工大学）
视频精彩片段检测是一个重要而又具有挑战性的问题，旨在识别未修剪视频中的有趣时刻。这一任务的关键在于有效的视频表示，共同追求两个目标，\textit{i.e.}，跨模态表示学习和细粒度的特征歧视。在本文中，这两个挑战，不仅丰富内模态和跨模态的关系表示建模，但也形成了有区别的方式的功能来解决。我们提出的方法主要利用内模态编码和跨模态同现编码的充分表示建模。具体而言，模态内编码增强了模态方面的功能，并通过在音频和视觉信号中的模态内关系学习来抑制不相关的模态。同时，跨模态同现编码关注同现的模态间关系，有选择地捕捉多模态之间的有效信息。从局部上下文中提取的全局信息进一步增强了多模态表示。此外，我们扩大了识别能力的特征嵌入与硬对引导对比学习（HPCL）计划。为了提高HPCL的特征区分度，进一步采用了硬对采样策略来挖掘硬样本。在两个基准上进行的大量实验证明了我们所提出的方法与其他最先进的方法相比的有效性和优越性。
2022-06-21 cs.CV
AVCD: Mitigating Hallucinations in Audio-Visual Large Language Models through Contrastive Decoding
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
针对 AV-LLM 中音频、视频与语言交互引发的幻觉，本文提出免训练的 AVCD 框架，通过模态感知扰动、三模态对比解码和熵引导自适应步骤提升性能。
2025-09-30 cs.CV
Cross-Modal Contrastive Representation Learning for Audio-to-Image Generation
Korea University（高丽大学）
某些信息的多种形式提供了关于该信息的各种观点，这可以改善对信息的理解。因此，从现有数据中生成不同模态的数据以增强理解可能至关重要。在本文中，我们研究了跨模态音频到图像的生成问题，并提出跨模态对比表示学习（CMCRL）提取有用的功能，从音频和使用它在生成阶段。实验结果表明，CMCRL提高了图像质量比以前的研究。
2022-07-20 cs.CV cs.GR cs.SD
Modality-Aware Contrastive Instance Learning with Self-Distillation for Weakly-Supervised Audio-Visual Violence Detection
Fudan University（复旦大学）
弱监督的视听暴力检测旨在用视频级标签区分包含多模态暴力事件的片段。许多先前的研究都是以早期或中期的方式进行视听整合和互动，但忽略了弱监督环境下的模态异质性。本文分析了多示例学习过程中的模态混淆和未区分示例现象，并进一步探讨了其对弱监督视听学习的负面影响。为了解决这些问题，我们提出了一个模态感知的对比实例学习与自蒸馏（MACIL-SD）策略。具体来说，我们利用一个轻量级的双流网络来生成音频和视觉包，其中单峰背景，暴力和正常实例以无监督的方式聚集到半包中。然后，音频和视觉的暴力半袋表征组装为积极的对，和暴力半袋与背景和正常的情况下，在相反的模态作为对比的消极对相结合。此外，一个自蒸馏模块被应用到单模态视觉知识转移到视听模型，消除噪音和关闭单模态和多模态特征之间的语义差距。实验表明，我们的框架优于以前的方法，具有较低的复杂性，在大规模的XD-Violence数据集。结果还表明，我们提出的方法可以作为插件模块，以提高其他网络。代码可在https://github.com/JustinYuu/MACIL_SD上获得。
2022-07-12 cs.CV cs.MM
Attention-Guided Reliability Scaling for Contrastive Decoding in Robust Audio-Visual Speech Recognition
Hanyang University（汉阳大学）
本研究针对鲁棒视听语音识别问题，提出注意力引导的对比解码可靠性缩放方法，在LRS3数据集上实现了干净与低信噪比条件下的性能提升。
2026-08-28 cs.CV cs.SD eess.AS
Active Contrastive Learning of Audio-Visual Video Representations
Microsoft（微软）；Sun Yat-sen University（中山大学）；Microsoft Research（微软研究院）
对比学习已被证明通过最大化实例的不同视图之间的互信息（MI）的下限来产生音频和视觉数据的可概括表示。然而，获得严格的下限需要MI中的样本量指数，因此需要大量的阴性样本。我们可以通过构建一个大型的基于负样本的字典来合并更多的样本，但是即使有大量的负样本，性能改进也有理论上的限制。我们假设，\textit{random negative sampling}导致一个高度冗余的字典，导致下游任务的次优表示。在本文中，我们提出了一种主动对比学习方法，该方法构建了一个具有多样性和信息性项目的\textit{actively sampled}字典，该字典提高了负样本的质量，并提高了数据中具有高互信息的任务的性能，例如，视频分类我们的模型在具有挑战性的音频和视频下游基准测试中实现了最先进的性能，包括UCF 101，HMDB 51和ESC 50。\footnote{Code is available at: \url{https://github.com/yunyikristy/CM-ACC}}
2021-04-16 cs.CV cs.LG
Contrastive Audio-Visual Masked Autoencoder
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；UT Austin（德克萨斯大学奥斯汀分校）；IBM Research AI（IBM研究院人工智能部门）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Goethe University Frankfurt（法兰克福大学）
本文提出CAV-MAE，将MAE扩展到音视频多模态，并融合对比学习与掩码数据建模，实现完全自监督的联合音视频表示学习，在VGGSound上达到65.9%的新SOTA准确率。
2023-04-11 cs.CV cs.MM cs.SD
Teacher-Guided Pseudo Supervision and Cross-Modal Alignment for Audio-Visual Video Parsing
针对弱监督音视频解析缺乏片段级监督与跨模态对齐的问题，提出EMA引导的伪监督框架与类感知CMA损失，在LLP和UnAV-100数据集上达到SOTA。
2025-09-17 cs.CV cs.MM
CMMD: Contrastive Multi-Modal Diffusion for Video-Audio Conditional Modeling
University of California Irvine（加利福尼亚大学欧文分校）；Microsoft Research（微软研究院）
本研究提出用于视频音频双向条件生成的多模态扩散模型CMMD，通过联合对比损失和跨模态简易融合模块，在生成质量、速度及音视频对齐上优于基线。
2024-10-09 cs.CV cs.LG cs.MM
Sequential Contrastive Audio-Visual Learning
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Dolby Laboratories（杜比实验室）
针对传统音视对比学习依赖时间聚合、忽视序列结构的问题，提出 SCAV，用多维序列距离在非聚合表示空间中对比，显著提升检索召回率并支持高效混合检索。
2025-03-16 cs.CV cs.LG cs.MM
Does Visual Self-Supervision Improve Learning of Speech Representations for Emotion Recognition?
Imperial College London（伦敦帝国学院）；Facebook（脸书）
自监督学习最近吸引了大量的研究兴趣。然而，大多数作品的自我监督的讲话是典型的单峰和已经有有限的工作，研究音频和视觉模态之间的相互作用，跨模态的自我监督。本文的工作（1）研究了通过人脸重建的视觉自我监督来指导音频表示的学习;（2）提出了一种用于语音表示学习的仅音频自我监督方法;（3）表明所提出的视觉和音频自我监督的多任务组合有利于学习更丰富的特征，这些特征在噪声条件下更鲁棒;（4）表明自监督预训练可以优于完全监督训练，并且对于防止较小数据集的过拟合特别有用。我们评估我们学习的音频表示离散情感识别，连续的影响识别和自动语音识别。对于所有测试的下游任务，我们都优于现有的自监督方法。我们的研究结果表明，潜在的视觉自我监督的音频特征学习，并建议联合视觉和音频自我监督导致更多的信息音频表示语音和情感识别。
2021-03-18 cs.CL cs.CV cs.LG
CLAWS: Contrastive Learning with hard Attention and Weak Supervision
Iowa State University（爱荷华州立大学）
在没有人类监督的情况下学习有效的视觉表示是计算机视觉中的一个长期问题。自监督学习算法的最新进展已经利用了对比学习，其具有诸如Simplified的方法，Simplified将增强的合成应用于图像，并且最小化两个增强图像之间的对比损失。在本文中，我们提出了CLAWS，一个注释高效的学习框架，解决了手动标记大规模农业数据集的问题，以及异常检测和植物生长分析等潜在应用。CLAWS使用受Simplified启发的网络骨干和弱监督来调查类集群内的对比学习的效果。此外，我们注入一个硬注意力掩模的裁剪输入图像之前，最大限度地利用对比损失函数的图像对之间的协议。该遮罩迫使网络专注于相关的对象特征，而忽略背景特征。我们使用农业数据集比较了监督Simplified和CLAWS之间的结果，该数据集包含227，060个样本，包括11种不同的作物类别。我们的实验和广泛的评估表明，CLAWS实现了0.7325的竞争力NMI分数。此外，CLAWS产生了非常大的数据集的低维表示的创建，具有最小的参数调整和形成定义良好的集群，这有助于使用高效，透明和高度可解释的聚类方法，如高斯混合模型。
2022-01-31 cs.CV cs.LG
TAD: Token-Adaptive Contrastive Decoding with Confidence-Guided Gating for Hallucination Mitigation in Large Audio-Language Models
Information Engineering University（信息工程大学）
针对大型音频语言模型的幻觉问题，提出无需训练的令牌自适应对比解码（TAD），通过置信度引导门控对比真实与静音音频逻辑分数，在多个基准上显著提升F1分数。
2026-09-09 cs.CL cs.CV cs.SD
Space Engage: Collaborative Space Supervision for Contrastive-based Semi-Supervised Semantic Segmentation
Northeastern University（东北大学）；Microsoft Research Asia（微软亚洲研究院）；The Chinese University of Hong Kong（香港中文大学）
针对基于对比学习的半监督语义分割仅依赖logit空间监督的不足，提出协同利用logit与表征空间监督的方法，以表征相似度优化低效表征训练，在两个公开基准上取得了比肩当前最优方法的性能。
2023-07-19 cs.AI cs.CV
Strumming to the Beat: Audio-Conditioned Contrastive Video Textures
University of California, Berkeley（加州大学伯克利分校）；University of Michigan（密歇根大学）
我们介绍了一种非参数的方法，无限的视频纹理合成使用的表示通过对比学习。我们从Video Textures中获得灵感，它表明可以通过将其帧以新颖但一致的顺序拼接在一起来从单个视频中生成看似合理的新视频。然而，这一经典作品受到手动设计距离度量的限制，仅限于简单重复的视频。我们利用自监督学习的最新技术来学习这种距离度量，使我们能够以一种更具有挑战性的动态方式来比较帧，并以其他数据（如音频）为条件。我们通过拟合使用对比学习训练的视频特定模型来学习视频帧和帧到帧的转换概率的表示。为了合成纹理，我们随机采样具有高转换概率的帧，以生成具有新颖序列和转换的不同时间平滑视频。该模型自然地扩展到音频调节设置，而不需要任何微调。我们的模型在人类感知分数上优于基线，可以处理各种各样的输入视频，并且可以结合语义和视听线索，以合成与音频信号同步的视频。
2021-04-06 cs.AI cs.CV cs.MM
Distilling Audio-Visual Knowledge by Compositional Contrastive Learning
University of Tübingen（蒂宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；Tencent PCG（腾讯平台与内容事业群）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
与从单一模态学习相比，获得多模态提示（例如视觉和音频）使一些认知任务能够更快地完成。在这项工作中，我们建议跨异构模态的知识转移，即使这些数据模态可能不语义相关。我们不是直接对齐不同模态的表示，而是跨模态组合音频、图像和视频表示，以揭示更丰富的多模态知识。我们的主要思想是学习一个复合嵌入，关闭跨模态的语义差距，并捕捉任务相关的语义，这有利于拉在一起的组合对比学习跨模态的表示。我们在三个视频数据集上建立了一个新的，全面的多模态蒸馏基准：UCF101，ActivityNet和VGGSound。此外，我们证明，我们的模型显着优于各种现有的知识蒸馏方法在转移视听知识，以提高视频表示学习。代码发布在这里：https://github.com/yanbeic/CCL。
2021-04-22 cs.AI cs.CV cs.LG
ContraCluster: Learning to Classify without Labels by Contrastive Self-Supervision and Prototype-Based Semi-Supervision
Samsung SDS（三星SDS）
ContraCluster 提出一种结合对比自监督预训练、对比原型采样和基于原型的半监督微调三阶段的无监督图像分类方法，在 CIFAR-10 等基准上以 90.8% 准确率显著超越现有方法，逼近监督学习性能。
2023-04-19 cs.CV cs.LG
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS（三星数据系统）
本文介绍了SelfMatch，一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段：（1）基于对比学习的自监督预训练和（2）基于增强一致性正则化的半监督微调。我们通过经验证明，SelfMatch在标准基准数据集（如CIFAR-10和SVHN）上实现了最先进的结果。例如，对于包含40个标记示例的CIFAR-10，SelfMatch实现了93.19%的准确率，优于MixMatch（52.46%），UDA（70.95%），ReMixMatch（80.9%）和FixMatch（86.19%）等强大的先前方法。我们注意到，SelfMatch可以缩小监督学习（95.87%）和半监督学习（93.19%）之间的差距，因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
Can representation learning for multimodal image registration be improved by supervision of intermediate layers?
Uppsala University（乌普萨拉大学）
多模态成像和相关分析通常需要图像对准。对比学习可以生成多模态图像的表示，将多模态图像配准的挑战性任务减少到单模态。以前，在对比学习中对中间层的额外监督已经改进了生物医学图像分类。我们评估了类似的方法是否可以改进注册学习的表示，以提高注册性能。我们探索了三种方法来增加对比监督的潜在功能的瓶颈层的U-Nets编码的多模态图像和评估三个不同的批评功能。我们的研究结果表明，在没有对潜在特征进行额外监督的情况下学习的表示在两个公共生物医学数据集的注册下游任务中表现最好。我们研究的性能下降，利用最近的见解在分类和自监督学习的对比学习。我们通过多维尺度可视化学习表示的空间关系，并表明对瓶颈层的额外监督可能导致中间嵌入空间的部分维度崩溃。
2023-03-01 cs.CV cs.LG
Joint Debiased Representation and Image Clustering Learning with Self-Supervision
LMU Munich（慕尼黑大学）；Google Research（谷歌研究院）
对比学习是视觉表示学习最成功的方法之一，其性能可以通过对学习到的表示联合执行聚类来进一步提高。然而，现有的联合聚类和对比学习的方法在长尾数据分布上表现不佳，因为多数类压倒并扭曲少数类的损失，从而防止学习有意义的表示。出于这一动机，我们开发了一种新的联合聚类和对比学习框架，通过调整去偏对比损失，以避免不平衡数据集的少数类别的聚类不足。我们表明，我们提出的改进的去偏对比损失和发散聚类损失提高了多个数据集和学习任务的性能。源代码可在https://anonymous.4open.science/r/SSL-debiased-clustering上获得
2022-09-14 cs.CV cs.LG
Multiple Consistency-guided Test-Time Adaptation for Contrastive Audio-Language Models with Unlabeled Audio
College of Computer and Science, Zhejiang University（浙江大学计算机科学与技术学院）；AI Lab, Giant Network（巨人网络人工智能实验室）
针对音频-语言模型零样本分类易陷入错误预测的问题，提出无标签的多重一致性引导测试时自适应方法，通过上下文与领域token一致性及多视图对比学习提升性能，在12个下游任务上实现平均4.41%的零样本提升。
2024-12-23 cs.CV cs.SD eess.AS
Supervision Accelerates Pre-training in Contrastive Semi-Supervised Learning of Visual Representations
Mila – Quebec AI Institute（Mila-魁北克人工智能研究所）；McGill University（麦吉尔大学）；Facebook AI Research（Facebook人工智能研究院）；University of Montreal（蒙特利尔大学）
我们研究了一种策略，通过在预训练期间利用少量的监督信息来提高视觉表示的对比学习的效率。我们提出了一个半监督损失，SuNCEt，基于噪声对比估计和邻域成分分析，其目的是区分不同类别的例子，除了自我监督的实例借口任务。在ImageNet上，我们发现SuNCEt可以用来匹配以前对比方法的半监督学习准确性，同时使用不到一半的预训练和计算量。我们的主要观点是，在预训练期间，而不仅仅是在微调期间，即使是少量的标记数据，也可以提供一个重要的信号，可以显着加速视觉表示的对比学习。我们的代码可在github.com/facebookresearch/suncet上获得。
2020-12-01 cs.CV cs.LG stat.ML
Exploiting Audio-Visual Consistency with Partial Supervision for Spatial Audio Generation
National Taiwan University（台湾大学）；ASUS Intelligent Cloud Services（华硕智能云服务）
人的听觉体验是丰富的，耳朵所听到的声音是清晰的.用双耳音频录制的视频特别模拟人类如何接收环境声音。然而，大量视频仅具有单声道音频，这将由于缺乏环境信息而降低用户体验。为了解决这个问题，我们提出了一个音频空间化框架，利用音频和视觉组件之间的关系将单声道视频转换为双耳视频。通过在音频和视觉模态中保持左右一致性，我们的学习策略可以被视为一种自监督学习技术，并在训练期间使用地面真实双耳音频数据来消除对大量视频数据的依赖性。在基准数据集上的实验证实了我们提出的框架在半监督和全监督场景中的有效性，消融研究和可视化进一步支持使用我们的模型进行音频空间化。
2021-05-03 cs.CV cs.MM cs.SD
GMS-CAVP: Improving Audio-Video Correspondence with Multi-Scale Contrastive and Generative Pretraining
Carnegie Mellon University（卡内基梅隆大学）；MBZUAI；Tsinghua University（清华大学）
GMS-CAVP通过多尺度对比和生成预训练方法提升音频视频对应关系建模，实现更深入的跨模态理解和高保真生成。
2026-01-27 cs.AI cs.CV cs.LG
On the Effectiveness of Supervision in Asymmetric Non-Contrastive Learning
Yonsei University（延世大学）
针对非对称非对比学习在监督表示学习中研究不足的问题，提出 SupSiam 与 SupBYOL，通过引入标签并调节监督贡献来降低类内方差、避免坍塌，并在多数据集和任务上验证其优越性。
2024-06-16 cs.AI cs.CV cs.LG
Contrastive Conditional Latent Diffusion for Audio-visual Segmentation
School of Electronics and Information, Northwestern Polytechnical University（电子与信息学院，西北工业大学）；Shanghai AI Laboratory（上海人工智能实验室）；Shaanxi Key Laboratory of Information Acquisition and Processing（信息获取与处理陕西省重点实验室）
本文提出对比条件潜在扩散模型用于视听分割，通过密度比优化和对比学习约束最大化音频对分割的贡献，并在基准数据集上验证了有效性。
2025-07-01 cs.CV cs.MM cs.SD
On the Effects of Self-supervision and Contrastive Alignment in Deep Multi-view Clustering
UiT The Arctic University of Norway（挪威北极大学）；Norwegian Computing Center（挪威计算中心）；University of Copenhagen（哥本哈根大学）
自监督学习是最近深度多视图聚类（MVC）方法的核心组成部分。然而，我们发现在深度MVC的基于自我监督的方法的开发中存在很大的差异，这可能会减缓该领域的进展。为了解决这个问题，我们提出了DeepMVC，这是一个统一的深度MVC框架，其中包括许多最新的方法作为实例。我们利用我们的框架，使自我监督的效果，特别是调整表示与对比学习的缺点的关键意见。此外，我们证明了对比对齐会对聚类可分性产生负面影响，并且当视图数量增加时，这种影响会变得更糟。在我们的研究结果的激励下，我们开发了几个新的DeepMVC实例，具有新的自我监督形式。我们进行了大量的实验，发现（i）与我们的理论研究结果一致，对比比对降低了具有许多视图的数据集的性能;（ii）所有方法都受益于某种形式的自我监督;（iii）我们的新实例在几个数据集上优于以前的方法。根据我们的研究结果，我们提出了几个有前途的未来研究方向。为了增强该领域的开放性，我们提供了DeepMVC的开源实现，包括最近的模型和我们的新实例。我们的实施包括一个一致的评估协议，促进公平和准确的方法和组件的评估。
2023-03-17 cs.CV cs.LG stat.ML
CoGenAV: Versatile Audio-Visual Representation Learning via Contrastive-Generative Synchronization
Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团）
提出 CoGenAV，利用对比特征对齐与生成式文本预测的同步目标，仅用 LRS2 的 223 小时标注数据学习通用音视频表示，并在识别、增强分离和说话者检测等任务上取得优异结果。
2025-05-15 cs.CV cs.SD eess.AS
Audio-Vision Contrastive Learning for Phonological Class Recognition
Pattern Recognition Lab, Friedrich-Alexander-Universität Erlangen-Nürnberg, Germany（模式识别实验室，弗里德里希-亚历山大-埃森纳赫大学）；Smart Imaging Lab, Friedrich-Alexander-Universität Erlangen-Nürnberg, Germany（智能成像实验室，弗里德里希-亚历山大-埃森纳赫大学）；GITA Lab, Universidad de Antioquia UdeA, Medellín, Colombia（GITA实验室，安托法加斯塔大学）
提出融合rtMRI与语音信号的音频-视觉对比学习框架，用于15个音系类别识别，在USC-TIMIT上取得0.81的平均F1分数。
2025-07-23 cs.CV cs.MM cs.SD
DiffGAP: A Lightweight Diffusion Module in Contrastive Space for Bridging Cross-Model Gap
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Shengshu AI（昇树科技）
本文提出 DiffGAP，在对比空间中加入轻量级双向扩散模块，通过模态条件去噪增强文本、视频与音频交互，并在 VGGSound、AudioCaps 上提升生成与检索性能。
2025-03-15 cs.AI cs.CV cs.LG
MultiSoundGen: Video-to-Audio Generation for Multi-Event Scenarios via SlowFast Contrastive Audio-Visual Pretraining and Direct Preference Optimization
MiLM Plus, Xiaomi Inc.（小米公司 MiLM Plus）；School of Electronic Information, Wuhan University（武汉大学电子信息学院）
针对复杂多事件场景的视频到音频生成难题，提出MultiSoundGen框架，通过SlowFast对比视听预训练显式对齐语义与动态特征，并引入直接偏好优化量化语义-时间匹配，实现了多维度SOTA性能。
2025-11-04 cs.CV cs.MM cs.SD
OP-CAD: On-Policy Clean-Audio Distillation for Robust Audio-Visual Reasoning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
针对视听问答中的噪声干扰问题，提出基于课程学习的在线策略干净音频蒸馏框架OP-CAD，通过选择性token级监督提升稳健性，优于现有方法且不损失干净准确率。
2026-10-01 cs.CV cs.SD
Deep Video Inpainting Guided by Audio-Visual Self-Supervision
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出利用音频-视觉自监督先验引导视频修复，通过两个新损失函数增强修复结果与同步音频的对应性，显著提升部分遮挡场景的修复质量。
2023-10-11 cs.CV cs.SD eess.AS
MoSAiC: Multi-Modal Multi-Label Supervision-Aware Contrastive Learning for Remote Sensing
City University of Hong Kong（香港城市大学）
提出MoSAiC框架，通过多标签监督对比损失联合优化模态内与模态间对比学习，解决遥感多模态影像在低标签多标签场景下的表示学习难题，显著提升语义解耦与泛化性能。
2025-07-11 cs.AI cs.CV
LiRA: Learning Visual Speech Representations from Audio through Self-supervision
Imperial College London（伦敦帝国理工学院）；Facebook London（脸书伦敦）；University of Augsburg（奥格斯堡大学）
当今在线共享的大量视听内容引起了人们对视听自监督学习前景的极大关注。最近的作品集中在这些模式分别，而其他人试图同时在一个跨模态的方式建模。然而，相对而言，很少有人注意利用一种方式作为培训目标，向另一种方式学习。在这项工作中，我们提出了通过自我监督从音频中学习视觉语音表示（LiRA）。具体来说，我们训练ResNet+Conformer模型来预测来自未标记视觉语音的声学特征。通过特征提取和微调实验，我们发现这种预训练模型可以用于单词级和句子级唇读。我们表明，我们的方法在野生唇读（LRW）数据集上的表现明显优于其他自监督方法，并且仅使用总标记数据的一小部分就在唇读句子2（LRS2）上实现了最先进的性能。
2021-06-16 cs.CV cs.LG cs.SD
HiCMAE: Hierarchical Contrastive Masked Autoencoder for Self-Supervised Audio-Visual Emotion Recognition
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Department of Automation, Tsinghua University（清华大学自动化系）；Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学北京信息科学与技术国家研究中心）
本文提出自监督框架HiCMAE，通过掩码数据建模、对比学习及三管齐下的分层特征学习策略，在9个数据集上显著超越现有监督与自监督视听情感识别方法。
2024-04-01 cs.CV cs.HC cs.MM
