Conditional Alignment and Uniformity for Contrastive Learning with Continuous Proxy Labels
NeuroSpin, CEA Saclay, Université Paris-Saclay（法国原子能和替代能源委员会萨克雷中心 NeuroSpin，巴黎萨克雷大学）；LTCI, Télécom Paris, IPParis（巴黎电信学院 LTCI，巴黎理工学院）
对比学习在自然和医学图像上显示出令人印象深刻的结果，而不需要注释数据。然而，医学图像的特殊性是可以用于学习表示的元数据（例如年龄或性别）的可用性。在这里，我们表明，最近提出的对比y-Aware InfoNCE损失，集成多维元数据，渐近优化两个属性：条件对齐和全局均匀性。与[Wang，2020]类似，条件对齐意味着相似的样本应该具有相似的特征，但条件是基于元数据。相反，全局均匀性意味着（归一化）特征应该均匀分布在单位超球体上，与元数据无关。在这里，我们建议定义条件的一致性，依赖于元数据，只排斥样本与不同的元数据。我们表明，直接优化的条件对齐和均匀性提高了表示，在线性评价方面，CIFAR-100和脑MRI数据集。
2021-11-10 cs.LG
Heterogeneous Graph Contrastive Learning with Meta-path Contexts and Adaptively Weighted Negative Samples
School of Data Science and Engineering, East China Normal University（华东师范大学数据科学与工程学院）
针对异构图对比学习中元路径上下文缺失和负样本未区分的问题，提出 MEOW 及自适应变体 AdaMEOW，通过粗细粒度视图和加权负样本提升节点表示性能。
2024-04-05 cs.LG
Self-Supervised Video Representation Learning with Meta-Contrastive Network
University of Washington（华盛顿大学）；Microsoft Research Asia（微软亚洲研究院）
自监督学习已成功应用于预训练视频表示，其目的是从预训练域到下游任务的有效适应。现有的方法仅仅利用对比损失来学习实例级区分。然而，缺乏类别信息将导致硬正问题，限制了这类方法的推广能力。我们发现元学习的多任务过程可以为这个问题提供解决方案。在本文中，我们提出了一个元对比网络（MCN），它结合了对比学习和元学习，以提高现有的自监督方法的学习能力。我们的方法包含两个基于模型不可知元学习（MAML）的训练阶段，每个阶段由一个对比分支和一个元分支组成。广泛的评估表明我们的方法的有效性。对于两个下游任务，即，在视频动作识别和视频检索方面，MCN在UCF 101和HMDB 51数据集上的性能优于最先进的方法。更具体地说，使用R（2 + 1）D主干，MCN在视频动作识别方面达到了84.8%和54.5%的Top-1准确率，在视频检索方面达到了52.5%和23.7%。
2021-08-23 cs.AI cs.CV cs.LG
Graph Contrastive Learning Meets Graph Meta Learning: A Unified Method for Few-shot Node Tasks
Washington University in St. Louis（圣路易斯华盛顿大学）；Peking University（北京大学）；JD Explore Academy（京东探索研究院）
本文提出统一对比学习与元学习的新范式COLA，利用图增强识别语义相似节点以无标签构建元任务，从而充分利用所有节点并降低过拟合，在少样本节点分类任务上取得最优性能。
2023-09-19 cs.AI cs.LG
Efficient block contrastive learning via parameter-free meta-node approximation
University of Queensland（昆士兰大学）
对比学习近年来在包括图在内的许多领域取得了显著的成功。然而，对比度损失，特别是对于图，需要大量的负样本，这是不可扩展的和计算上禁止的二次时间复杂度。二次抽样不是最优的，不正确的负抽样会导致抽样偏差。在这项工作中，我们提出了一个基于元节点的近似技术，可以（a）代理所有的负组合（b）在二次集群大小时间复杂度，（c）在图形级别，而不是节点级别，（d）利用图形稀疏。通过将节点对替换为加性簇对，我们在图级计算簇时间的负值。基于简单优化的GPU操作，得到的代理近似元节点对比度（PamC）损失捕获了全部负数集，但具有线性时间复杂度。通过避免抽样，我们有效地消除了样本偏差。我们满足更大数量的样本的标准，从而实现块对比度，这被证明优于成对损失。我们使用学习软集群分配的元节点收缩，并避免可能的异质性和噪声添加在边缘创建。理论上，我们表明，现实世界的图形很容易满足我们的近似所需的条件。从经验上讲，我们在6个基准测试中显示了比最先进的图聚类更有希望的准确性。重要的是，我们的效率大幅提升;训练时间提高了3倍，推理时间提高了1.8倍，GPU内存减少了5倍以上。
2022-09-28 cs.IR cs.LG
Decoupled conditional contrastive learning with variable metadata for prostate lesion detection
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI）；Incepto Medical（Incepto医疗公司）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（LIP6实验室）
针对PI-RADS报告间差异问题，提出融合多标注者弱元数据、元数据置信度与未标注数据的条件对比损失，在PI-CAI数据集上将前列腺病变检测AUC提升3%。
2023-08-18 cs.CV cs.LG
Provably Improved Context-Based Offline Meta-RL with Attention and Contrastive Learning
Tencent AI Lab（腾讯AI实验室）；Megvii Research Shanghai（上海旷视研究院）；Tsinghua University（清华大学）；Peking University（北京大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
离线强化学习（OMRL）的元学习是一个未充分研究的问题，通过在许多现实世界的应用中启用RL算法，具有巨大的潜在影响。一个流行的解决方案，这个问题是推断任务身份的增强状态使用基于上下文的编码器，有效的学习强大的任务表示仍然是一个开放的挑战。在这项工作中，我们可证明的SOTA OMRL算法之一，FOCAL，通过将任务内的注意力机制和任务间的对比学习目标，鲁棒任务表示学习对稀疏奖励和分布偏移。理论分析和实验证明了我们的端到端和无模型框架的优越性能和鲁棒性相比，以前的算法在多个元RL基准。
2021-10-15 cs.AI cs.LG
Spatio-Temporal Meta Contrastive Learning
University of Hong Kong（香港大学）；Southwest Jiaotong University（西南交通大学）
本文提出时空元对比学习框架CL4ST，通过元视图生成器自动定制节点和边的增强策略，结合时空图注意力网络与双分支对比学习，在交通和犯罪预测任务上显著超越现有方法。
2023-10-26 cs.LG
Towards Effective Context for Meta-Reinforcement Learning: an Approach based on Contrastive Learning
Tianjin University（天津大学）；Tsinghua University（清华大学）
上下文，以前收集的轨迹的嵌入，是Meta-强化学习（Meta-RL）算法的一个强大的结构。通过对有效上下文的调节，元强化学习策略可以在几个适应步骤内轻松地推广到新任务。我们认为，提高上下文的质量涉及到回答两个问题：1。如何训练一个紧凑和足够的编码器，可以嵌入先前轨迹中包含的特定于任务的信息？2.如何收集信息的轨迹，相应的上下文反映了任务的规范？为此，我们提出了一种新的元RL框架称为CCM（对比学习增强的基于上下文的元RL）。我们首先专注于不同任务背后的对比性质，并利用它来训练一个紧凑和足够的上下文编码器。此外，我们训练一个单独的探索政策，并从理论上推导出一个新的信息增益为基础的目标，其目的是在几个步骤中收集翔实的轨迹。从经验上讲，我们评估我们的方法在共同的基准以及几个复杂的稀疏奖励环境。实验结果表明，CCM优于国家的最先进的算法，通过解决上述问题分别。
2020-12-15 cs.AI cs.LG stat.ML
Hyper Meta-Path Contrastive Learning for Multi-Behavior Recommendation
University of Technology Sydney（悉尼科技大学）；Wuhan University of Technology（武汉理工大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
多行为信息下的用户购买预测仍然是当前推荐系统的一个挑战性问题。已经提出了各种方法来通过利用图神经网络（GNN）或多任务学习的优点来解决它。然而，大多数现有的工作没有考虑到用户的不同行为之间的复杂依赖关系。它们利用简单而固定的方案，如邻域信息聚合或向量的数学计算，融合不同用户行为的嵌入，以获得一个统一的嵌入来表示用户的行为模式，这将用于下游的推荐任务。为了解决这一问题，本文首先提出了超元路径的概念来构造超元路径或超元图，以明确地表示用户不同行为之间的依赖关系。如何从超元路径中为用户获得统一的嵌入，同时避免前面提到的限制是至关重要的。由于图对比学习最近的成功，我们利用它来学习用户行为模式的自适应嵌入，而不是分配一个固定的方案来理解不同行为之间的依赖关系。通过与超元路径的耦合，提出了一种新的基于图的对比学习框架HMG-CR，在大量的对比实验中，该框架的性能始终显著优于所有基线。
2021-09-07 cs.IR cs.LG
Heterogeneous Graph Contrastive Multi-view Learning
University of Leeds（利兹大学）；Shaoxing University（绍兴文理学院）；Nanjing University of Information Science and Technology（南京信息工程大学）；University of Eastern Finland（东芬兰大学）；Huzhou University（湖州师范学院）
受计算机视觉和自然语言处理中对比学习（CL）成功的启发，图对比学习（GCL）已经被开发用于学习图数据集上的区分性节点表示。然而，异构信息网络上的GCL的发展还处于起步阶段。例如，目前还不清楚如何在不显著改变底层语义的情况下增强HIN，以及如何设计对比目标以完全捕获丰富的语义。此外，早期的调查表明，CL遭受采样偏差，而传统的去偏置技术的经验表明，是不够的GCL。如何减小异质GCL的抽样偏差是另一个重要问题。为了解决上述挑战，我们提出了一种新的异构图对比多视图学习（HGCML）模型。特别是，我们使用元路径作为增广生成多个子图作为多视图，并提出了一个对比的目标，以最大限度地提高任何对元路径引起的意见之间的互信息。为了减轻抽样偏差，我们进一步提出了一个积极的抽样策略，明确选择积极的每个节点通过共同考虑保留在每个元路径视图的语义和结构信息。大量的实验表明，HGCML在五个真实世界的基准数据集上始终优于最先进的基线。
2023-01-01 cs.LG
Pretraining Respiratory Sound Representations using Metadata and Contrastive Learning
IMT Atlantique（大西洋国立高等矿业电信学校）；Lab-STICC（法国国家科学研究中心6285联合研究实验室（STICC实验室））；CNRS（法国国家科学研究中心）
本文提出将监督对比学习与性别、年龄等元数据结合，通过多预训练任务学习呼吸音表示，在低数据和类别不平衡场景下提升呼吸异常分类性能，并证明仅用元数据也能达到与仅用标签的交叉熵相当的效果。
2023-08-11 cs.LG cs.SD eess.AS
Supervised Graph Contrastive Learning for Few-shot Node Classification
Arizona State University（亚利桑那州立大学）；Bytedance AI Lab（字节跳动人工智能实验室）
图存在于许多现实世界的应用中，例如金融欺诈检测、商业推荐和社会网络分析。但是考虑到图注释或标记的高成本，我们面临着严重的图标记稀缺问题，即，一个图可能有几个标记的节点。这种问题的一个例子是所谓的\textit{few-shot node classification}。解决这个问题的主要方法是求助于\textit{episodic meta-learning}。在这项工作中，我们提出了一个基本问题，元学习是否是一个必须的Few-Shot节点分类任务的挑战现状。我们提出了一个新的和简单的框架下的标准Few-Shot节点分类设置作为替代元学习一个有效的图形编码器。该框架由监督图对比学习与新的机制，数据增强，子图编码，和多尺度对比图。在三个基准数据集（CoraFull，Reddit，Ogbn）上的大量实验表明，新框架的性能明显优于最先进的基于元学习的方法。
2022-08-05 cs.LG
Generating and Weighting Semantically Consistent Sample Pairs for Ultrasound Contrastive Learning
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
注释良好的医学数据集使深度神经网络（DNN）能够在提取病变相关特征方面获得强大的能力。由于需要高水平的专业知识，构建如此大型且设计良好的医疗数据集成本高昂。基于ImageNet的模型预训练是一种常见的做法，可以在数据量有限的情况下获得更好的泛化。然而，它遭受自然和医学图像之间的域差距。在这项工作中，我们在超声（US）领域而不是ImageNet上预训练DNN，以减少医疗US应用中的领域差距。为了学习基于未标记的US视频的US图像表示，我们提出了一种新的基于元学习的对比学习方法，即Meta Ultrasound对比学习（Meta-USCL）。为了解决对比学习中获得语义一致的样本对的关键挑战，我们提出了一个正对生成模块以及一个基于元学习的自动样本加权模块。在肺炎检测、乳腺癌分类和乳腺肿瘤分割等多个计算机辅助诊断（CAD）问题上的实验结果表明，所提出的自监督方法达到了最先进水平（SOTA）。这些代码可在https://github.com/Schuture/Meta-USCL上获得。
2022-12-08 cs.CV cs.LG
Multimodal contrastive learning for diagnosing cardiovascular diseases from electrocardiography (ECG) signals and patient metadata
VinUniversity（文大学）；Hanoi University of Science and Technology（河内科技大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对12导联 ECG 难以完整获取的问题，本文通过对比损失对齐全导联与少导联信号的嵌入表示，提升了所有导联组合的心血管疾病诊断性能。
2023-04-18 cs.LG eess.SP
MedAug: Contrastive learning leveraging patient metadata improves representations for chest X-ray interpretation
Stanford University（斯坦福大学）；School of Medicine, Stanford University（斯坦福大学医学院）
同一图像的多个视图对之间的自监督对比学习已被证明可以成功地利用未标记的数据来为自然图像和医学图像生成有意义的视觉表示。然而，在确定如何为医学图像选择配对方面的工作有限，其中可以利用患者元数据的可用性来改进表示。在这项工作中，我们开发了一种方法，通过使用患者元数据来选择来自可能不同图像的视图的正对。我们比较了选择阳性对进行胸部X线解读的策略，包括要求它们来自同一患者、成像研究或偏侧性。我们通过对胸腔积液分类的1%标记数据集上的线性层进行微调来评估下游任务性能。我们表现最好的正对选择策略，包括使用来自同一研究的同一患者的图像，在所有侧边，从ImageNet预训练基线的平均AUC中实现了14.4%的性能提升。我们的对照实验表明，提高疾病分类下游性能的关键是（1）使用患者元数据从具有相同基础病理的不同图像中适当地创建阳性对，以及（2）最大化查询配对中使用的不同图像的数量。此外，我们探索利用患者元数据来选择用于对比学习的硬阴性对，但没有发现与不使用元数据的基线相比的改进。我们的方法广泛适用于医学图像解释，并允许灵活地将医学见解选择对对比学习。
2021-10-17 cs.CV cs.LG eess.IV
Metadata-Induced Contrastive Learning for Zero-Shot Multi-Label Text Classification
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft（微软）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究零样本多标签文本分类，提出利用文档元数据诱导对比学习（MICoL）方法，通过文档元数据构建相似文档对训练分类器，在无需标注数据下性能媲美有监督方法并缓解长尾标签问题。
2022-03-24 cs.CL cs.LG
Function Contrastive Learning of Transferable Meta-Representations
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Mila（米拉研究所）；University of Montreal（蒙特利尔大学）
元学习算法可以快速适应来自与训练任务相同的任务分布的新任务。导致快速适应的机制是下游预测模型对任务的底层数据生成过程的推断表示或\emph{function}的调节。该\emph{meta-representation}是从基础函数的几个观察到的示例计算的，与预测模型联合学习。在这项工作中，我们研究的影响，这种联合培训的元表征的可转移性。我们的目标是学习对数据中的噪声具有鲁棒性的元表示，并促进解决共享相同底层功能的各种下游任务。为此，我们提出了一种解耦的编码器-解码器方法来进行监督元学习，其中编码器使用对比目标进行训练，以找到底层函数的良好表示。特别是，我们的训练方案是由自我监督信号驱动的，该信号指示两组示例是否来自同一函数。我们在一些合成和真实世界数据集上的实验表明，我们获得的表示在下游性能和噪声鲁棒性方面优于强基线，即使这些基线是以端到端的方式训练的。
2021-07-22 cs.LG stat.ML
Contrastive Conditional Neural Processes
The University of New South Wales（新南威尔士大学）
Conditional Neural Processes~(CNPs) bridge neural networks with probabilistic inference to approximate functions of Stochastic Processes under meta-learning settings. Given a batch of non-{ \it i.i.d} function instantiations, CNPs are jointly optimized for in-instantiation observation prediction and cross-instantiation meta-representation adaptation within a generative reconstruction pipeline. There can be a challenge in tying together such two targets when the distribution of function observations scales to high-dimensional and noisy spaces. Instead, noise contrastive estimation might be able…
2022-03-25 cs.LG stat.ML
Task-Adaptive Neural Network Search with Meta-Contrastive Learning
KAIST（韩国科学技术院）；AITRICS；Samsung（三星）
大多数传统的神经结构搜索（NAS）方法的局限性在于，它们只生成结构，而不搜索最佳参数。虽然一些NAS方法通过利用在大规模数据集（如ImageNet）上训练的超网来处理这个问题，但如果目标任务与超网训练的数据集高度不相似，则它们可能是次优的。为了解决这些限制，我们引入了一个新的问题\emph{Neural Network Search}（NNS），其目标是为新的数据集和约束搜索最优的预训练网络（例如参数的数量），来自模型动物园。然后，我们提出了一个新的框架来解决这个问题，即\emph{Task-Adaptive Neural Network Search}（TANS）。给定一个由在不同数据集上预训练的网络组成的模型动物园，我们使用一种新的摊销元学习框架来学习具有对比损失的跨模态潜在空间，以最大化数据集与其上的高性能网络之间的相似性，并最小化不相关的网络-网络对之间的相似性。我们验证了我们的方法的有效性和效率在十个现实世界的数据集，对现有的NAS/AutoML基线。结果表明，我们的方法可以立即检索出性能优于基线模型的网络，并且训练步骤明显减少，从而达到目标性能，从而最大限度地降低了获得任务最优网络的总成本。我们的代码和模型动物园可以在https://github.com/wyjeong/TANS上找到。
2021-10-28 cs.LG
Spatio-Temporal Contrastive Self-Supervised Learning for POI-level Crowd Flow Inference
Shanghai Jiao Tong University（上海交通大学）；JD Intelligent Cities Research（京东智能城市研究院）；JD iCity, JD Technology（京东科技京东智能城市）
针对POI级客流推断中数据质量低、标注少等挑战，提出自监督对比学习框架CSST，通过构建空间邻接图并利用交换预测从无标签数据预训练，再结合精确数据微调，在真实数据集上显著优于从头训练的模型。
2023-09-12 cs.AI cs.LG
Unsupervised Meta-Learning via Few-shot Pseudo-supervised Contrastive Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；LG AI Research（LG人工智能研究院）
无监督元学习的目标是在由未标记数据构建的任务分布中学习可推广的知识。在这里，主要的挑战是如何在没有标签信息的情况下为元学习构建不同的任务;最近的工作已经提出创建，例如，通过预训练的表示进行伪标记或通过生成模型创建合成样本。然而，由于在元学习期间严重依赖不可变的伪标签以及表示或生成的样本的质量，这样的任务构建策略从根本上受到限制。为了克服这些局限性，我们提出了一个简单而有效的无监督元学习框架，即伪监督对比度（PsCo），用于Few-Shot分类。我们受到最近的自监督学习文献的启发; PsCo利用动量网络和先前批次的队列来改进伪标记并以渐进的方式构建各种任务。我们广泛的实验表明，PsCo优于现有的无监督元学习方法在各种域内和跨域的Few-Shot分类基准。我们还验证了PsCo是很容易扩展到一个大规模的基准，而最近的现有技术的元计划没有。
2023-03-02 cs.AI cs.CV cs.LG
Contrastive Linearized Laplace: Loss Geometry, Valid Repairs, and Reliable Cores
University of Granada（格拉纳达大学）；Aalborg University（奥尔堡大学）
本文针对对比学习无法提供可靠逐点不确定性估计的问题，提出基于线性化拉普拉斯近似的事后框架，通过半正定修复获得有效局部高斯近似，在宏基因组分箱和图像分类任务上实现了性能与校准度的提升。
2026-10-14 cs.LG
CLMB: deep contrastive learning for robust metagenomic binning
CUHK（香港中文大学）；University of Science and Technology of China（中国科学技术大学）；HIT（哈尔滨工业大学）；The CUHK Shenzhen Research Institute（香港中文大学深圳研究院）
从大型宏基因组数据集重建微生物基因组是发现未培养微生物种群并确定其微生物功能作用的关键步骤。为了实现这一点，我们需要执行宏基因组分箱，将组装的重叠群聚类到基因组草案中。尽管现有的计算工具，大多数都忽略了宏基因组数据的一个重要属性，即噪声。为了进一步改进宏基因组分箱步骤，重构出更好的宏基因组，本文提出了一种用于宏基因组分箱的深度对比学习框架（CLMB），该框架可以有效地消除噪声的干扰，产生更稳定和鲁棒的结果。从本质上讲，我们不是显式地对数据进行去噪，而是将模拟噪声添加到训练数据中，并迫使深度学习模型为无噪声数据和失真数据生成相似且稳定的表示。因此，经过训练的模型将对噪声具有鲁棒性，并在使用过程中隐式地处理它。CLMB显著优于之前最先进的分箱方法，在几乎所有基准数据集上恢复最接近完整的基因组（与第二好的方法相比，重建的基因组多17%）。它还提高了bin细化的性能，比第二好的结果多重建8 - 22个高质量基因组和15 - 32个中等质量基因组。令人印象深刻的是，除了与分级细化器兼容之外，单个CLMB甚至比VAMB和Maxbin的细化器在基准数据集上平均多恢复15个HQ基因组。CLMB是开源的，可在www.example.com上获得。
2021-11-18 cs.AI cs.LG q-bio.GN
Uncertainty-Aware Metabolic Stability Prediction with Dual-View Contrastive Learning
School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学计算机科学与工程学院）；School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件学院）；School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）；Union Hospital, Tongji Medical College, Huazhong University of Science and Technology（华中科技大学同济医学院附属同济医院）
针对分子代谢稳定性预测中分子建模不完整和缺乏不确定性量化的问题，提出TrustworthyMS框架，通过拓扑重映射、对比拓扑-键对齐和Beta-Binomial不确定性建模提升预测性能与可靠性。
2025-06-01 cs.AI cs.LG q-bio.QM
Skin Lesion Phenotyping via Nested Multi-modal Contrastive Learning
National Technical University of Athens（雅典国立技术大学）；Universitas Mercatorum（墨卡托姆大学）
SLIMP通过嵌套多模态对比学习，结合图像与元数据提升皮肤病变分类性能。
2026-01-22 cs.AI cs.CV cs.LG
Few-shot Visual Reasoning with Meta-analogical Contrastive Learning
Samsung Advanced Institute of Technology（三星先进技术研究院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
虽然人类可以通过观察少量样本来解决需要逻辑推理的视觉难题，但对于最先进的深度推理模型来说，需要在大量数据上进行训练，才能在同一任务上获得类似的性能。在这项工作中，我们建议解决这样一个Few-Shot（或低镜头）的视觉推理问题，通过诉诸类比推理，这是一种独特的人类能力，以确定两组之间的结构或关系相似性。具体来说，给定包含相同类型的视觉推理问题的训练集和测试集，我们提取两个域中元素之间的结构关系，并通过类比学习使它们尽可能相似。我们反复应用这个过程，在假设它不影响训练样本和测试样本之间的关系的情况下，对同一问题的查询进行稍微修改。这允许以有效的方式学习两个样本之间的关系相似性，即使是单对样本。我们验证了我们的方法在RAVEN数据集上，它优于国家的最先进的方法，具有更大的增益时，训练数据是稀缺的。我们进一步元学习我们的类比对比学习模型在相同的任务与不同的属性，并表明，它推广到相同的视觉推理问题与看不见的属性。
2020-07-23 cs.AI cs.LG stat.ML
Reducing and Exploiting Data Augmentation Noise through Meta Reweighting Contrastive Learning for Text Classification
Worcester Polytechnic Institute（伍斯特理工学院）
针对文本分类中增强数据质量参差不齐的问题，提出结合元学习与对比学习的框架，通过重加权增强样本并优化特征表示，在七个GLUE数据集上取得显著性能提升。
2024-09-26 cs.CL cs.LG
A Brief Summary of Interactions Between Meta-Learning and Self-Supervised Learning
本文简要回顾了元学习和自监督学习之间的联系。元学习可用于提高模型泛化能力和构造通用的人工智能算法。自监督学习利用原始数据的自监督，通过无监督的预训练或对比损失目标的优化来提取更高级别的可概括特征。在自监督学习中，数据增强技术被广泛应用，并且不需要数据标签，因为可以从类似任务的训练模型中估计伪标签。元学习旨在调整训练的深度模型以解决各种任务并开发通用AI算法。我们回顾了元学习与生成和对比自监督学习模型的关联。来自多个源的未标记数据可以联合考虑，即使数据源非常不同。我们表明，整合元学习和自监督学习模型可以最好地提高模型的泛化能力。由元学习者引导的自监督学习和在自监督下的一般元学习算法都是可能的组合的示例。
2021-11-16 cs.AI cs.LG
Quantifying Event Impacts on Time Series via Multiscale Contrastive Learning
Rutgers University（罗格斯大学）；NEC Laboratories America（美国NEC实验室）
本文提出多分辨率框架EventTime，结合多维度信息与动态对比目标，在自主构建的SECURE数据集上，实现了对网络安全事件后短期金融异常损失的更精准估计。
2026-08-21 cs.LG
ChemCLIP: Bridging Organic and Inorganic Anticancer Compounds Through Contrastive Learning
Li Ka Shing Faculty of Medicine, The University of Hong Kong（香港大学李嘉诚医学院）；Department of Diagnostic Radiology, Li Ka Shing Faculty of Medicine, The University of Hong Kong（香港大学李嘉诚医学院诊断放射学系）；Department of Chemistry, The University of Hong Kong（香港大学化学系）
本文提出ChemCLIP框架，通过对比学习统一有机和无机抗癌化合物的表示，利用共享抗癌活性而非结构相似性，提升跨领域化学知识迁移能力。
2026-03-30 cs.AI cs.LG
Cross-Platform and Cross-Domain Abusive Language Detection with Supervised Contrastive Learning
The University of British Columbia（不列颠哥伦比亚大学）
在不同的在线平台上滥用语言的流行一直是一个主要的问题，提出了自动跨平台滥用语言检测的需要。然而，以前的工作集中在连接来自多个平台的数据，固有地采用经验风险最小化（ERM）方法。在这项工作中，我们从领域泛化目标的角度来解决这一挑战。我们设计了SCL-Fish，这是一种有监督的对比学习集成Meta学习算法，可以在看不见的平台上检测滥用语言。我们的实验分析表明，SCL-Fish实现了更好的性能比ERM和现有的国家的最先进的模型。我们还表明，SCL-Fish是数据高效的，并且在对滥用语言检测任务进行微调时，与大规模预训练模型的性能相当。
2022-11-11 cs.CL cs.LG
Supervised Momentum Contrastive Learning for Few-Shot Classification
Amazon Web Services（亚马逊云科技）；UMass Amherst（马萨诸塞大学阿默斯特分校）；UCLA（加州大学洛杉矶分校）
少样本学习的目的是从一个任务中转移信息，以使新的任务的泛化给出了一些例子。这些信息在域和类标签中都有。在这项工作中，我们调查的互补作用，这两个来源的信息相结合的实例判别对比学习和监督学习在一个单一的框架称为监督动量对比学习（SUPMOCO）。我们的方法避免了在监督学习中观察到的一个问题，即图像中与任务无关的信息被丢弃，这阻碍了它们对新任务的推广。我们表明，（自监督）对比学习和监督学习是互惠互利的，导致一个新的国家的最先进的元数据集-最近推出的基准少样本学习。我们的方法是基于一个简单的修改MOCO和规模比以前的工作相结合的监督和自监督学习。这使我们能够轻松地组合来自多个领域的数据，从而进一步改进。
2021-06-21 cs.CV cs.LG
FewUser: Few-Shot Social User Geolocation via Contrastive Learning
Singapore University of Technology and Design（新加坡科技设计大学）
针对社交用户地理定位中带标签数据稀缺问题，提出融合对比学习与地理提示的FewUser框架，构建新数据集验证其在零/少样本场景下的性能优势。
2024-03-28 cs.IR cs.LG cs.SI
Representative Image Feature Extraction via Contrastive Learning Pretraining for Chest X-ray Report Generation
Chang Gung Memorial Hospital（长庚纪念医院）
医疗报告生成是一项具有挑战性的任务，因为它是耗时的，需要经验丰富的放射科医生的专业知识。医学报告生成的目标是准确地捕获和描述图像发现。以往的研究工作都是用不同领域的大数据集对视觉编码神经网络进行预训练，无法学习特定医学领域的通用视觉表征。在这项工作中，我们提出了一个医疗报告生成框架，使用对比学习的方法来预训练的视觉编码器，不需要额外的Meta信息。此外，我们采用肺部分割作为对比学习框架中的增强方法。这种分割引导网络专注于对肺部区域内的视觉特征进行编码。实验结果表明，该框架提高了性能和质量的生成的医疗报告定量和定性。
2023-01-08 cs.CV cs.LG
MetaMask: Revisiting Dimensional Confounder for Self-Supervised Learning
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；Southern Marine Science and Engineering Guangdong Laboratory (Guangzhou)（南方海洋科学与工程广东省实验室（广州））；Gaoling School of Artificial Intelligence（高瓴人工智能学院）；Renmin University of China（中国人民大学）；Beijing Key Laboratory of Big Data Management and Analysis Methods（北京市大数据管理与分析方法重点实验室）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Guangzhou HKUST Fok Ying Tung Research Institute（广州香港科技大学霍英东研究院）
本文提出 MetaMask 方法，通过元学习训练维度掩码并结合冗余减少技术，解决自监督对比学习中的维度冗余与维度混淆因素问题，从而提升下游分类性能并在多个基准上达到最优效果。
2023-08-09 cs.CV cs.LG
Conditional Negative Sampling for Contrastive Learning of Visual Representations
Stanford University（斯坦福大学）
最近的方法学习无监督的视觉表示，被称为对比学习，优化噪声对比估计（NCE）之间的互信息的图像的两个视图。NCE使用随机抽样的负面例子来规范目标。在本文中，我们表明，选择困难的否定，或那些更相似的当前实例，可以产生更强的表示。为了做到这一点，我们引入了一个家庭的互信息估计，抽样消极的条件-在一个“环”周围的每个积极的。我们证明了这些估计下界互信息，具有较高的偏差，但较低的方差比NCE。在实验中，我们发现我们的方法，应用于现有的模型（IR，CMC和MoCo），在每种情况下，通过对四个标准图像数据集进行线性评估，准确度提高了2-5%。此外，我们发现在将特征从元数据集集合转移到各种新的图像分布以及转移到各种下游任务（如目标检测、实例分割和关键点检测）时，仍有好处。
2020-10-05 cs.LG stat.ML
Cross-Layer Misalignment Detection in Agent Skills: A Progressive Loading-Aware Contrastive Learning Approach
Indiana University Bloomington（印第安纳大学布卢明顿分校）
研究智能体技能跨层错位问题，提出渐进式加载感知分层对比学习框架PL-HCL，通过建模技能分层结构和学习跨层一致性来检测错位，使用相关语料库与挑战集，提升宏F1指标，为用户和运营商提供筛选工具与设计原则。
2026-07-14 cs.AI cs.CR cs.LG
TINC: Temporally Informed Non-Contrastive Learning for Disease Progression Modeling in Retinal OCT Volumes
Medical University of Vienna（维也纳医科大学）
最近的对比学习方法在低标签制度中达到了最先进的水平。然而，训练需要大批量和大量的增强来创建图像的多个视图。在非对比方法中，阴性被隐含地包含在损失中，允许不同的图像和模态成对出现。虽然元信息（即，年龄、性别）在医学成像中是丰富的，注释是嘈杂的并且易于类别不平衡。在这项工作中，我们利用纵向光学相干断层扫描（OCT）数据集中已经存在的时间信息（来自患者的不同访问），使用时间信息非对比度损失（TINC），而不增加复杂性和需要负对。此外，我们的新的对形成方案可以避免沉重的增广，并隐含地将时间信息的对。最后，从预训练中学习的这些表示在预测疾病进展方面更成功，其中时间信息对于下游任务至关重要。更具体地说，我们的模型在预测从中期年龄相关性黄斑变性（AMD）到晚期湿性AMD阶段的时间范围内的转换风险方面优于现有模型。
2022-06-30 cs.CV cs.LG
CLEF: Clinically-Guided Contrastive Learning for Electrocardiogram Foundation Models
University College London（伦敦大学学院）；Nokia Bell Labs（诺基亚贝尔实验室）；University of Glasgow（格拉斯哥大学）；Heart Hospital, Tampere University（塔尔皮奥大学心医院）
CLEF通过临床指导的对比学习方法，在未标注的ECG数据上预训练单导联基础模型，提升分类和回归任务的性能，实现更准确的远程健康监测。
2025-12-01 cs.AI cs.LG
Self-Supervised Contrastive BERT Fine-tuning for Fusion-based Reviewed-Item Retrieval
University of Toronto（多伦多大学）；LG Electronics（LG电子）
针对评论项检索（RIR）任务缺乏标注数据的问题，提出利用自监督对比学习微调BERT嵌入，结合物品-评论两级结构和元数据进行正负样本选择，实验证明后期融合方法显著优于其他基线。
2023-08-01 cs.CL cs.IR cs.LG
Evaluating Contrastive Learning on Wearable Timeseries for Downstream Clinical Outcomes
University of Cambridge（剑桥大学）
大量的个人生成的健康数据（可穿戴设备）被收集，但注释以馈送到机器学习模型的过程是不切实际的。本文讨论了使用对比度损失的自监督方法，如Simplified和BYOL，以前应用于视觉领域，可以应用于高维健康信号，用于跨越睡眠，心脏和代谢条件的各种疾病的下游分类任务。为此，我们调整数据增强步骤和整体架构，以适应数据的时间性质（可穿戴痕迹），并通过比较其他最先进的方法，包括监督学习和对抗性无监督表示学习方法，对5个下游任务进行评估。我们表明，Simplified在大多数下游评估任务中优于对抗方法和全监督方法，并且所有自监督方法都优于全监督方法。这项工作为应用于可穿戴时间序列领域的对比方法提供了一个全面的基准，显示了下游临床结果的任务不可知表示的前景。
2021-11-13 cs.LG eess.SP
Federated Contrastive Learning for Decentralized Unlabeled Medical Images
Department of Computer Science, University of Oxford（牛津大学计算机科学系）；University of Oxford（牛津大学）；Oxford, UK（英国牛津（这里仅保留城市和国家，实际机构为牛津大学））
计算机视觉中的标签效率范例是基于对未标记数据的自监督对比预训练，然后用少量标签进行微调。在临床领域实际使用联合计算环境和学习医学图像带来了特定的挑战。在这项工作中，我们提出了FedMoCo，一个强大的联邦对比学习（FCL）框架，它可以有效地利用分散的未标记的医疗数据。FedMoCo有两个新颖的模块：元数据传输、节点间统计数据增强模块和自适应聚合、基于表征相似性分析的聚合模块。据我们所知，这是第一个关于医学图像的FCL工作。我们的实验表明，FedMoCo可以始终优于FedAvg，一个开创性的联邦学习框架，在提取有意义的表示下游任务。我们进一步表明，FedMoCo可以大幅减少下游任务（如COVID-19检测）所需的标记数据量，以实现合理的性能。
2021-09-15 cs.CV cs.LG eess.IV
Extracting Governing Equations from Latent Dynamics via Multi-View Contrastive Learning
EPFL（瑞士联邦理工学院洛桑）
提出DYSCO算法，利用多视图时间对比学习从噪声高维观测中联合恢复潜在轨迹和动力学方程，并通过结构化基函数实现符号恢复，理论保证强可识别性。
2026-06-12 cs.LG q-bio.NC
Unbiased and Efficient Self-Supervised Incremental Contrastive Learning
Beihang University（北京航空航天大学）；Macquarie University（麦考瑞大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
对比学习（CL）已被证明是一个强大的自我监督的方法，在广泛的领域，包括计算机视觉和图形表示学习。然而，CL的增量学习问题很少被研究，这给CL的实际应用带来了限制。对比学习从增量场景中变化的噪声分布中识别具有负样本的样本。因此，只拟合数据的变化而不考虑噪声分布会产生偏差，直接再训练效率低。为了弥补这一研究差距，我们提出了一个自监督增量对比学习（ICL）框架，该框架由以下组成：（i）一个新型增量InfoNCE（NCE-II）损失函数，通过估计旧数据的噪声分布变化来保证再训练没有偏差，（ii）具有深度强化学习率学习（LRL）的元优化该机制可以根据训练过程的状态自适应地学习学习率，并实现对增量学习至关重要的快速收敛。从理论上讲，所提出的ICL相当于再训练，这是基于坚实的数学推导。在实践中，不同领域的大量实验表明，在不重新训练新模型的情况下，ICL实现了高达16.7倍的训练加速和16.8倍的收敛速度，并具有竞争力。
2023-01-28 cs.AI cs.LG
EAGLE: Contrastive Learning for Efficient Graph Anomaly Detection
Institute of Innovation, Science and Sustainability, Federation University Australia（创新、科学与可持续性研究所，联邦大学澳大利亚）；School of Software, Dalian University of Technology（软件学院，大连理工大学）；Computing Center, Anshan Normal University（计算机中心，鞍山师范学院）
针对嵌入式设备上图异常检测方法效率不足的问题，本文提出基于对比学习的EAGLE模型，通过元路径实例采样、图自编码器和判别器实现高效异常评分，并在三个异质网络数据集上超过现有最优方法。
2025-05-12 cs.AI cs.LG
Prototypical Contrastive Learning For Improved Few-Shot Audio Classification
Multimedia Analysis Group of the Computational Intelligence Laboratory (MagCIL) Institute of Informatics
本研究将监督对比损失（特别是角度损失）整合进原型少样本训练，结合SpecAugment和自注意力机制，在MetaAudio基准的5-way 5-shot音频分类任务上取得最先进性能。
2025-09-12 cs.LG cs.SD
Disentangling Learnable and Memorizable Data via Contrastive Learning for Semantic Communications
Virginia Tech（弗吉尼亚理工学院）
实现人工智能原生无线网络对于未来6G应用（如Metaverse）的运行是必要的。尽管如此，目前的通信计划本质上只是一个缺乏推理的重建过程。使无线通信能够发展为类似人类对话的一个关键解决方案是语义通信。本文提出了一种新的机器推理框架，对源数据进行预处理和分离，使其具有语义就绪性。特别是，提出了一种新的对比学习框架，从而对数据进行实例和聚类判别。这两个任务使得能够增加映射到语义上相似的内容元素的数据点之间的内聚性，并且解开语义上不同的内容元素的数据点。随后，形成的语义深层聚类根据它们的置信水平进行排名。最高置信度的深度语义聚类被认为是可学习的、语义丰富的数据，即，可以用于在语义通信系统中构建语言的数据。最不可信的被认为是随机的，语义差的，并且必须以经典方式传输的可记忆数据。我们的模拟结果展示了我们的对比学习方法在语义影响和极简主义方面的优越性。事实上，与普通语义通信系统相比，所实现的语义表示的长度最小化了57.22%，从而实现了最低限度的语义表示。
2022-12-18 cs.IT cs.LG cs.NI
Learning to Learn with Contrastive Meta-Objective
Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）；Beijing Institute of Mathematical Sciences and Applications（北京数学科学研究院）；Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系）；State Key laboratory of Space Network and Communications, Tsinghua University（清华大学空间网络与通信国家重点实验室）
本文提出ConML方法，利用任务身份作为额外监督，通过对比模型表示来优化对比元目标，可无缝集成到现有元学习器和上下文学习模型中，以较小成本显著提升性能。
2025-11-07 cs.LG
Noise Contrastive Meta-Learning for Conditional Density Estimation using Kernel Mean Embeddings
University of Oxford（牛津大学）
当前的元学习方法专注于学习变量之间关系的函数表示，即在回归中估计条件期望。然而，在许多应用中，我们面临着条件分布，它不能仅仅用期望值来有意义地概括（由于多模态等原因）。因此，我们考虑元学习环境中的条件密度估计问题。我们引入了一种新的元学习技术，它结合了神经表示和噪声对比估计与再生核希尔伯特空间的条件均值嵌入的既定文献。该方法在合成和现实世界的问题上进行了验证，展示了在多个条件密度估计任务中共享学习表示的实用性。
2021-02-23 cs.LG stat.ML
Contrastive Meta-Learning for Partially Observable Few-Shot Learning
University of Edinburgh（爱丁堡大学）；Microsoft Research（微软研究院）
许多对比和元学习方法通过识别多个视图中的共同特征来学习表示。然而，这些方法的形式主义通常假设要在一致地捕获的视图之间共享的特征。我们考虑的问题，学习一个统一的表示从部分观测，其中有用的功能可能只存在于一些意见。我们通过概率的形式主义，使视图映射到不同组件中具有不同程度的不确定性的表示方法，这些视图可以通过边缘化的不确定性相互整合。我们的方法，部分观察专家建模（POEM），然后使我们能够从部分观察元学习一致的表示。我们评估了我们的方法适应一个全面的少样本学习基准，元数据集，并证明了POEM的好处比其他元学习方法在表示学习从部分观察。我们进一步证明了POEM的效用，通过元学习来表示从代理探索环境所观察到的部分视图的环境。
2023-01-30 cs.LG
Contrastive Knowledge-Augmented Meta-Learning for Few-Shot Classification
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
模型无关的元学习算法旨在从几个观察到的任务中推断先验知识，然后可以使用这些先验知识来适应具有少量示例的新任务。鉴于现有基准中出现的任务的固有多样性，最近的方法使用单独的，可学习的结构，如层次结构或图形，使任务特定的适应之前。虽然这些方法产生了显着更好的Meta学习器，我们的目标是提高他们的性能时，异构任务分布包含具有挑战性的分布偏移和语义差异。为此，我们引入CAML（对比知识增强元学习），知识增强的少样本学习，发展的知识图谱，有效地编码历史经验，并采用对比蒸馏策略，利用编码的知识，任务意识调制的基础学习者的新方法。使用标准的基准测试，我们评估的性能CAML在不同的少样本学习方案。除了标准的Few-Shot任务自适应，我们还考虑了更具挑战性的多域任务自适应和Few-Shot数据集泛化设置在我们的实证研究。我们的研究结果表明，CAML始终优于最知名的方法，并实现了改进的泛化。
2022-07-25 cs.LG
Fine-Grained Classification: Connecting Metadata via Cross-Contrastive Pre-Training
New York University（纽约大学）
本文提出通过跨对比预训练整合图像、文本与元数据的统一细粒度分类框架，在 NABirds 上以 84.44% top-1 准确率超过基线 7.83%，并优于强多模态方法。
2025-10-18 cs.CV cs.LG
Transformer-Based Contrastive Meta-Learning For Low-Resource Generalizable Activity Recognition
University of California, Irvine（加州大学欧文分校）
本文提出TACO方法，通过Transformer对比元学习合成虚拟目标域并引入监督对比损失，以解决低资源条件下人类活动识别中的分布偏移问题，实验证明其在多种低资源场景下性能显著提升。
2024-12-28 cs.AI cs.CV cs.LG
