T-JEPA: A Joint-Embedding Predictive Architecture for Trajectory Similarity Computation
The University of New South Wales（新南威尔士大学）
针对现有对比学习类轨迹相似性计算方法依赖人工数据增强、难以捕捉高层语义变化的问题，提出基于JEPA的自监督方法T-JEPA，通过表示空间采样预测学习鲁棒轨迹表示，在多类数据集上验证了有效性。
2024-06-13 cs.AI cs.LG
PreTraM: Self-Supervised Pre-training via Connecting Trajectory and Map
University of California, Berkeley（加州大学伯克利分校）；University of California San Diego（加州大学圣地亚哥分校）；Google Research（谷歌研究院）
深度学习最近在轨迹预测方面取得了重大进展。然而，轨迹数据的稀缺阻碍了数据饥渴的深度学习模型学习良好的表示。虽然在计算机视觉和自然语言处理中存在成熟的表示学习方法，但这些预训练方法需要大规模数据。由于缺乏足够的轨迹数据（例如，nuScenes数据集中的34 K样本）。为了解决轨迹数据稀缺的问题，我们求助于另一种与地图密切相关的数据形式-HD地图，这在现有数据集中有大量的提供。在本文中，我们提出了PreTraM，这是一种通过连接轨迹和地图进行轨迹预测的自监督预训练方案。具体来说，PreTraM由两部分组成：1）轨迹地图对比学习，我们将轨迹和地图投影到跨模态对比学习的共享嵌入空间，以及2）地图对比学习，我们在大量HD地图上通过对比学习增强地图表示。除了AgentFormer和Trajectron++等流行的基线之外，PreTraM在FDE-10中对具有挑战性的nuScenes数据集的性能相对提高了5.5%和6.9%。我们表明，PreTraM提高了数据效率，并与模型大小的规模。
2022-04-21 cs.AI cs.CV
MoCo-AIS: A Contrastive Learning Framework for Similarity Computation of Vessel Trajectories
Dalhousie University（达尔豪斯大学）；Linnaeus University（林奈大学）；University of Sao Paulo（圣保罗大学）
提出基于动量对比（MoCo）的统一对比学习框架MoCo-AIS，通过正负轨迹对学习嵌入，在真实AIS数据集上评估多种深度学习模型，显著提升轨迹相似度学习性能。
2026-08-25 cs.AI
Provably Improved Context-Based Offline Meta-RL with Attention and Contrastive Learning
Tencent AI Lab（腾讯AI实验室）；Megvii Research Shanghai（上海旷视研究院）；Tsinghua University（清华大学）；Peking University（北京大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
离线强化学习（OMRL）的元学习是一个未充分研究的问题，通过在许多现实世界的应用中启用RL算法，具有巨大的潜在影响。一个流行的解决方案，这个问题是推断任务身份的增强状态使用基于上下文的编码器，有效的学习强大的任务表示仍然是一个开放的挑战。在这项工作中，我们可证明的SOTA OMRL算法之一，FOCAL，通过将任务内的注意力机制和任务间的对比学习目标，鲁棒任务表示学习对稀疏奖励和分布偏移。理论分析和实验证明了我们的端到端和无模型框架的优越性能和鲁棒性相比，以前的算法在多个元RL基准。
2021-10-15 cs.AI cs.LG
MovSemCL: Movement-Semantics Contrastive Learning for Trajectory Similarity (Extension)
MovSemCL通过运动-语义对比学习框架提升轨迹相似性计算的精度与效率，有效解决现有方法在语义建模、计算成本和增强合理性方面的不足。
2025-12-17 cs.AI cs.CV cs.DB
X-VORTEX: Spatio-Temporal Contrastive Learning for Wake Vortex Trajectory Forecasting
Department of Computer Science, TU Dresden, Dresden, Germany（计算机科学系，德累斯顿技术大学，德累斯顿，德国）
X-VORTEX通过时空对比学习方法，利用未标注数据高效预测尾涡轨迹，解决了传感器稀疏性和时间变化涡旋动力学问题。
2026-02-13 cs.AI cs.CV cs.LG
SupCLAP: Controlling Optimization Trajectory Drift in Audio-Text Contrastive Learning with Support Vector Regularization
Peking University（北京大学）；Central Conservatory of Music（中央音乐学院）；The Chinese University of Hong Kong（香港中文大学）；University of Electronic Science and Technology of China（电子科技大学）
SupCLAP通过支持向量正则化有效控制音频-文本对比学习中的优化轨迹漂移，提升多模态学习的稳定性与性能。
2026-01-31 cs.AI cs.SD
Self-Supervised Video Representation Learning with Meta-Contrastive Network
University of Washington（华盛顿大学）；Microsoft Research Asia（微软亚洲研究院）
自监督学习已成功应用于预训练视频表示，其目的是从预训练域到下游任务的有效适应。现有的方法仅仅利用对比损失来学习实例级区分。然而，缺乏类别信息将导致硬正问题，限制了这类方法的推广能力。我们发现元学习的多任务过程可以为这个问题提供解决方案。在本文中，我们提出了一个元对比网络（MCN），它结合了对比学习和元学习，以提高现有的自监督方法的学习能力。我们的方法包含两个基于模型不可知元学习（MAML）的训练阶段，每个阶段由一个对比分支和一个元分支组成。广泛的评估表明我们的方法的有效性。对于两个下游任务，即，在视频动作识别和视频检索方面，MCN在UCF 101和HMDB 51数据集上的性能优于最先进的方法。更具体地说，使用R（2 + 1）D主干，MCN在视频动作识别方面达到了84.8%和54.5%的Top-1准确率，在视频检索方面达到了52.5%和23.7%。
2021-08-23 cs.AI cs.CV cs.LG
Beyond Success and Failure: Length-Aware Contrastive Learning for GUI Agents
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Baidu Inc.（百度公司）；University of Alberta（阿尔伯塔大学）
针对GUI智能体现有对比RLVR方法无法捕获轨迹细粒度质量差异的问题，提出LACL-GUI框架，引入轨迹级质量信号，在基准测试中实现性能提升。
2026-08-25 cs.AI
DGCPath: Distribution-Aware Generative Contrastive Framework for Self-supervised Path Representation Learning -- Extended Version
Aalborg University（奥尔堡大学）；The Hong Kong Polytechnic University（香港理工大学）；Chongqing Univeristy of Posts and Telecommunications（重庆邮电大学）；East China Normal University（华东师范大学）
DGCPath提出分布感知生成对比框架，结合扩散视图生成、变分对比与交叉监督，在三个真实轨迹数据集上超越基线，提升路径表示泛化能力。
2026-09-10 cs.AI
Contrastive Representation Learning of Longitudinal Disease Trajectories on Temporal Graphs
针对从纵向临床数据理解疾病轨迹的难题，提出以时间图建模多变量疾病轨迹，用对比图神经网络学习表示，借结构感知随机游走引导对比学习，实现相似疾病进展模式患者的稳健聚类并揭示数据潜在结构。
2026-07-29 cs.AI cs.LG q-bio.QM
Transformer-Based Contrastive Meta-Learning For Low-Resource Generalizable Activity Recognition
University of California, Irvine（加州大学欧文分校）
本文提出TACO方法，通过Transformer对比元学习合成虚拟目标域并引入监督对比损失，以解决低资源条件下人类活动识别中的分布偏移问题，实验证明其在多种低资源场景下性能显著提升。
2024-12-28 cs.AI cs.CV cs.LG
Metapath-based Hyperbolic Contrastive Learning for Heterogeneous Graph Embedding
提出MHCL框架，利用多个双曲空间捕获异构图中多样幂律结构，通过对比学习增强元路径嵌入可区分性，实验证明其优于现有基线。
2025-06-20 cs.AI cs.LG cs.SI
Towards Effective Context for Meta-Reinforcement Learning: an Approach based on Contrastive Learning
Tianjin University（天津大学）；Tsinghua University（清华大学）
上下文，以前收集的轨迹的嵌入，是Meta-强化学习（Meta-RL）算法的一个强大的结构。通过对有效上下文的调节，元强化学习策略可以在几个适应步骤内轻松地推广到新任务。我们认为，提高上下文的质量涉及到回答两个问题：1。如何训练一个紧凑和足够的编码器，可以嵌入先前轨迹中包含的特定于任务的信息？2.如何收集信息的轨迹，相应的上下文反映了任务的规范？为此，我们提出了一种新的元RL框架称为CCM（对比学习增强的基于上下文的元RL）。我们首先专注于不同任务背后的对比性质，并利用它来训练一个紧凑和足够的上下文编码器。此外，我们训练一个单独的探索政策，并从理论上推导出一个新的信息增益为基础的目标，其目的是在几个步骤中收集翔实的轨迹。从经验上讲，我们评估我们的方法在共同的基准以及几个复杂的稀疏奖励环境。实验结果表明，CCM优于国家的最先进的算法，通过解决上述问题分别。
2020-12-15 cs.AI cs.LG stat.ML
Contrastive Meta Learning with Behavior Multiplicity for Recommendation
University of Hong Kong（香港大学）；South China University of Technology（华南理工大学）；Wilfrid Laurier University（威尔弗里德·劳雷尔大学）；Baidu Inc（百度公司）
一个消息灵通的推荐框架不仅可以帮助用户识别他们感兴趣的项目，而且还可以使各种在线平台的收入受益（例如，电子商务、社交媒体）。传统的推荐模型通常假设用户与商品之间只存在单一的交互行为，无法从多类型的用户行为数据（如页面浏览、添加到收藏夹和购买）中建模出用户与商品之间的多重关系。虽然最近的一些研究提出了捕获不同类型行为之间的依赖关系，但两个重要的挑战很少被探索：i）处理目标行为下的稀疏监督信号（例如，购买）。ii）利用定制的依赖建模来捕获个性化的多行为模式。为了解决上述问题，我们设计了一个新的模型CML，对比Meta学习（CML），为不同的用户维护专用的跨类型的行为依赖。特别是，我们提出了一个多行为对比学习框架，通过构建对比损失提取跨不同类型的行为的可转移知识。此外，为了捕捉不同的多行为模式，我们设计了一个对比Meta网络来编码不同用户的定制行为异质性。在三个真实数据集上的大量实验表明，我们的方法始终优于各种最先进的推荐方法。我们的实证研究进一步表明，对比Meta学习范式提供了很大的潜力，捕捉行为多样性的建议。我们在https://github.com/weiwei1206/CML.git上发布我们的模型实现。
2022-02-17 cs.AI cs.IR cs.LG
Robust Task Representations for Offline Meta-Reinforcement Learning via Contrastive Learning
Peking University（北京大学）
我们研究离线Meta强化学习，这是一种实用的强化学习范式，它从离线数据中学习以适应新任务。离线数据的分布由行为策略和任务共同决定。现有的离线Meta强化学习算法无法区分这些因素，使得任务表示对行为策略的变化不稳定。为了解决这个问题，我们提出了一个对比学习框架的任务表示，是强大的分布不匹配的行为政策在训练和测试。我们设计了一个双层编码器结构，使用互信息最大化来形式化任务表示学习，推导出一个对比学习目标，并介绍了几种方法来近似负对的真实分布。在多种离线Meta强化学习基准测试上的实验证明了该方法相对于现有方法的优势，特别是在推广到分布外行为策略方面。该代码可在https://github.com/PKU-AI-Edge/CORRO上获得。
2022-06-21 cs.LG
Trial and Error: Exploration-Based Trajectory Optimization for LLM Agents
Allen Institute for AI（艾伦人工智能研究所）；School of Computer Science, Peking University（北京大学计算机学院）；UCLA（加利福尼亚大学洛杉矶分校）；Ohio State University（俄亥俄州立大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
该研究提出基于探索的轨迹优化方法ETO，让LLM智能体从探索失败中构建对比轨迹对，结合DPO等对比学习迭代更新策略，在三项复杂任务上性能大幅优于基线，且在无专家轨迹场景下具备潜力。
2024-07-10 cs.AI cs.CL cs.LG
Contrastive Meta-Learning for Few-shot Node Classification
University of Virginia（弗吉尼亚大学）；Arizona State University（亚利桑那州立大学）
针对少样本节点分类标签不足问题，提出对比元学习框架COSMIC，通过对比两步优化增强类内泛化能力，并利用相似性敏感混合策略生成困难节点类别提升类间泛化能力，实验验证其优于现有基线。
2023-06-27 cs.AI cs.LG
LAMP: Learnable Meta-Path Guided Adversarial Contrastive Learning for Heterogeneous Graphs
University of New South Wales（新南威尔士大学）；Yonsei University（延世大学）；RIKEN AIP（理化学研究所人工智能项目）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对无监督异构图对比学习对预定义元路径组合敏感的问题，提出LAMP框架，通过整合多类元路径子图并采用对抗边剪枝与双视图对比学习，在HGB四个数据集上显著提升准确率与鲁棒性。
2024-09-10 cs.AI cs.LG cs.SI
Learning Multi-Agent Communication with Contrastive Learning
Dyson Robot Learning Lab（戴森机器人学习实验室）；JPMorgan Chase（摩根大通）；University of Oxford（牛津大学）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
本文提出将多智能体间通信消息视为环境状态的不同不完整视图，利用对比学习最大化轨迹内消息互信息，在通信关键环境中提升性能与收敛速度，并诱导更对称的通信。
2024-02-01 cs.AI cs.LG
Conditional Alignment and Uniformity for Contrastive Learning with Continuous Proxy Labels
NeuroSpin, CEA Saclay, Université Paris-Saclay（法国原子能和替代能源委员会萨克雷中心 NeuroSpin，巴黎萨克雷大学）；LTCI, Télécom Paris, IPParis（巴黎电信学院 LTCI，巴黎理工学院）
对比学习在自然和医学图像上显示出令人印象深刻的结果，而不需要注释数据。然而，医学图像的特殊性是可以用于学习表示的元数据（例如年龄或性别）的可用性。在这里，我们表明，最近提出的对比y-Aware InfoNCE损失，集成多维元数据，渐近优化两个属性：条件对齐和全局均匀性。与[Wang，2020]类似，条件对齐意味着相似的样本应该具有相似的特征，但条件是基于元数据。相反，全局均匀性意味着（归一化）特征应该均匀分布在单位超球体上，与元数据无关。在这里，我们建议定义条件的一致性，依赖于元数据，只排斥样本与不同的元数据。我们表明，直接优化的条件对齐和均匀性提高了表示，在线性评价方面，CIFAR-100和脑MRI数据集。
2021-11-10 cs.LG
ContraBAR: Contrastive Bayes-Adaptive Deep RL
Technion（以色列理工学院）
提出 ContraBAR 元强化学习算法，用对比预测编码 CPC 替代变分信念推断，并证明其表征足以实现贝叶斯最优性，可在线上、离线及图像观测场景中取得先进性能。
2023-06-04 cs.AI cs.LG stat.ML
Heterogeneous Graph Contrastive Learning with Meta-path Contexts and Adaptively Weighted Negative Samples
School of Data Science and Engineering, East China Normal University（华东师范大学数据科学与工程学院）
针对异构图对比学习中元路径上下文缺失和负样本未区分的问题，提出 MEOW 及自适应变体 AdaMEOW，通过粗细粒度视图和加权负样本提升节点表示性能。
2024-04-05 cs.LG
Unsupervised Meta-Learning via Few-shot Pseudo-supervised Contrastive Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；LG AI Research（LG人工智能研究院）
无监督元学习的目标是在由未标记数据构建的任务分布中学习可推广的知识。在这里，主要的挑战是如何在没有标签信息的情况下为元学习构建不同的任务;最近的工作已经提出创建，例如，通过预训练的表示进行伪标记或通过生成模型创建合成样本。然而，由于在元学习期间严重依赖不可变的伪标签以及表示或生成的样本的质量，这样的任务构建策略从根本上受到限制。为了克服这些局限性，我们提出了一个简单而有效的无监督元学习框架，即伪监督对比度（PsCo），用于Few-Shot分类。我们受到最近的自监督学习文献的启发; PsCo利用动量网络和先前批次的队列来改进伪标记并以渐进的方式构建各种任务。我们广泛的实验表明，PsCo优于现有的无监督元学习方法在各种域内和跨域的Few-Shot分类基准。我们还验证了PsCo是很容易扩展到一个大规模的基准，而最近的现有技术的元计划没有。
2023-03-02 cs.AI cs.CV cs.LG
Efficient block contrastive learning via parameter-free meta-node approximation
University of Queensland（昆士兰大学）
对比学习近年来在包括图在内的许多领域取得了显著的成功。然而，对比度损失，特别是对于图，需要大量的负样本，这是不可扩展的和计算上禁止的二次时间复杂度。二次抽样不是最优的，不正确的负抽样会导致抽样偏差。在这项工作中，我们提出了一个基于元节点的近似技术，可以（a）代理所有的负组合（b）在二次集群大小时间复杂度，（c）在图形级别，而不是节点级别，（d）利用图形稀疏。通过将节点对替换为加性簇对，我们在图级计算簇时间的负值。基于简单优化的GPU操作，得到的代理近似元节点对比度（PamC）损失捕获了全部负数集，但具有线性时间复杂度。通过避免抽样，我们有效地消除了样本偏差。我们满足更大数量的样本的标准，从而实现块对比度，这被证明优于成对损失。我们使用学习软集群分配的元节点收缩，并避免可能的异质性和噪声添加在边缘创建。理论上，我们表明，现实世界的图形很容易满足我们的近似所需的条件。从经验上讲，我们在6个基准测试中显示了比最先进的图聚类更有希望的准确性。重要的是，我们的效率大幅提升;训练时间提高了3倍，推理时间提高了1.8倍，GPU内存减少了5倍以上。
2022-09-28 cs.IR cs.LG
Decoupled conditional contrastive learning with variable metadata for prostate lesion detection
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI）；Incepto Medical（Incepto医疗公司）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（LIP6实验室）
针对PI-RADS报告间差异问题，提出融合多标注者弱元数据、元数据置信度与未标注数据的条件对比损失，在PI-CAI数据集上将前列腺病变检测AUC提升3%。
2023-08-18 cs.CV cs.LG
Uncertainty-Aware Metabolic Stability Prediction with Dual-View Contrastive Learning
School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学计算机科学与工程学院）；School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件学院）；School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）；Union Hospital, Tongji Medical College, Huazhong University of Science and Technology（华中科技大学同济医学院附属同济医院）
针对分子代谢稳定性预测中分子建模不完整和缺乏不确定性量化的问题，提出TrustworthyMS框架，通过拓扑重映射、对比拓扑-键对齐和Beta-Binomial不确定性建模提升预测性能与可靠性。
2025-06-01 cs.AI cs.LG q-bio.QM
A Brief Summary of Interactions Between Meta-Learning and Self-Supervised Learning
本文简要回顾了元学习和自监督学习之间的联系。元学习可用于提高模型泛化能力和构造通用的人工智能算法。自监督学习利用原始数据的自监督，通过无监督的预训练或对比损失目标的优化来提取更高级别的可概括特征。在自监督学习中，数据增强技术被广泛应用，并且不需要数据标签，因为可以从类似任务的训练模型中估计伪标签。元学习旨在调整训练的深度模型以解决各种任务并开发通用AI算法。我们回顾了元学习与生成和对比自监督学习模型的关联。来自多个源的未标记数据可以联合考虑，即使数据源非常不同。我们表明，整合元学习和自监督学习模型可以最好地提高模型的泛化能力。由元学习者引导的自监督学习和在自监督下的一般元学习算法都是可能的组合的示例。
2021-11-16 cs.AI cs.LG
Spatio-Temporal Meta Contrastive Learning
University of Hong Kong（香港大学）；Southwest Jiaotong University（西南交通大学）
本文提出时空元对比学习框架CL4ST，通过元视图生成器自动定制节点和边的增强策略，结合时空图注意力网络与双分支对比学习，在交通和犯罪预测任务上显著超越现有方法。
2023-10-26 cs.LG
Skin Lesion Phenotyping via Nested Multi-modal Contrastive Learning
National Technical University of Athens（雅典国立技术大学）；Universitas Mercatorum（墨卡托姆大学）
SLIMP通过嵌套多模态对比学习，结合图像与元数据提升皮肤病变分类性能。
2026-01-22 cs.AI cs.CV cs.LG
Hyper Meta-Path Contrastive Learning for Multi-Behavior Recommendation
University of Technology Sydney（悉尼科技大学）；Wuhan University of Technology（武汉理工大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
多行为信息下的用户购买预测仍然是当前推荐系统的一个挑战性问题。已经提出了各种方法来通过利用图神经网络（GNN）或多任务学习的优点来解决它。然而，大多数现有的工作没有考虑到用户的不同行为之间的复杂依赖关系。它们利用简单而固定的方案，如邻域信息聚合或向量的数学计算，融合不同用户行为的嵌入，以获得一个统一的嵌入来表示用户的行为模式，这将用于下游的推荐任务。为了解决这一问题，本文首先提出了超元路径的概念来构造超元路径或超元图，以明确地表示用户不同行为之间的依赖关系。如何从超元路径中为用户获得统一的嵌入，同时避免前面提到的限制是至关重要的。由于图对比学习最近的成功，我们利用它来学习用户行为模式的自适应嵌入，而不是分配一个固定的方案来理解不同行为之间的依赖关系。通过与超元路径的耦合，提出了一种新的基于图的对比学习框架HMG-CR，在大量的对比实验中，该框架的性能始终显著优于所有基线。
2021-09-07 cs.IR cs.LG
Few-shot Visual Reasoning with Meta-analogical Contrastive Learning
Samsung Advanced Institute of Technology（三星先进技术研究院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
虽然人类可以通过观察少量样本来解决需要逻辑推理的视觉难题，但对于最先进的深度推理模型来说，需要在大量数据上进行训练，才能在同一任务上获得类似的性能。在这项工作中，我们建议解决这样一个Few-Shot（或低镜头）的视觉推理问题，通过诉诸类比推理，这是一种独特的人类能力，以确定两组之间的结构或关系相似性。具体来说，给定包含相同类型的视觉推理问题的训练集和测试集，我们提取两个域中元素之间的结构关系，并通过类比学习使它们尽可能相似。我们反复应用这个过程，在假设它不影响训练样本和测试样本之间的关系的情况下，对同一问题的查询进行稍微修改。这允许以有效的方式学习两个样本之间的关系相似性，即使是单对样本。我们验证了我们的方法在RAVEN数据集上，它优于国家的最先进的方法，具有更大的增益时，训练数据是稀缺的。我们进一步元学习我们的类比对比学习模型在相同的任务与不同的属性，并表明，它推广到相同的视觉推理问题与看不见的属性。
2020-07-23 cs.AI cs.LG stat.ML
Pretraining Respiratory Sound Representations using Metadata and Contrastive Learning
IMT Atlantique（大西洋国立高等矿业电信学校）；Lab-STICC（法国国家科学研究中心6285联合研究实验室（STICC实验室））；CNRS（法国国家科学研究中心）
本文提出将监督对比学习与性别、年龄等元数据结合，通过多预训练任务学习呼吸音表示，在低数据和类别不平衡场景下提升呼吸异常分类性能，并证明仅用元数据也能达到与仅用标签的交叉熵相当的效果。
2023-08-11 cs.LG cs.SD eess.AS
MERIt: Meta-Path Guided Contrastive Learning for Logical Reasoning
Shandong University（山东大学）；National University of Singapore（新加坡国立大学）
逻辑推理对自然语言理解至关重要。以往的研究要么采用基于图的模型来整合关于逻辑关系的先验知识，要么通过数据增强将符号逻辑引入神经模型。然而，这些方法严重依赖于带注释的训练数据，并且因此由于数据集稀疏而遭受过拟合和差的泛化问题。为了解决这两个问题，在本文中，我们提出MERIt，元路径引导的对比学习方法的逻辑推理的文本，进行自我监督的预训练丰富的未标记的文本数据。两个新的策略作为我们的方法不可或缺的组成部分。特别地，设计了一种基于元路径的策略来发现自然文本中的逻辑结构，然后采用反事实数据增强策略来消除预训练导致的信息捷径。在两个具有挑战性的逻辑推理基准上的实验结果，即，ReClor和LogiQA证明，我们的方法优于SOTA基线，具有显着的改进。
2022-03-01 cs.AI cs.CL
CLMB: deep contrastive learning for robust metagenomic binning
CUHK（香港中文大学）；University of Science and Technology of China（中国科学技术大学）；HIT（哈尔滨工业大学）；The CUHK Shenzhen Research Institute（香港中文大学深圳研究院）
从大型宏基因组数据集重建微生物基因组是发现未培养微生物种群并确定其微生物功能作用的关键步骤。为了实现这一点，我们需要执行宏基因组分箱，将组装的重叠群聚类到基因组草案中。尽管现有的计算工具，大多数都忽略了宏基因组数据的一个重要属性，即噪声。为了进一步改进宏基因组分箱步骤，重构出更好的宏基因组，本文提出了一种用于宏基因组分箱的深度对比学习框架（CLMB），该框架可以有效地消除噪声的干扰，产生更稳定和鲁棒的结果。从本质上讲，我们不是显式地对数据进行去噪，而是将模拟噪声添加到训练数据中，并迫使深度学习模型为无噪声数据和失真数据生成相似且稳定的表示。因此，经过训练的模型将对噪声具有鲁棒性，并在使用过程中隐式地处理它。CLMB显著优于之前最先进的分箱方法，在几乎所有基准数据集上恢复最接近完整的基因组（与第二好的方法相比，重建的基因组多17%）。它还提高了bin细化的性能，比第二好的结果多重建8 - 22个高质量基因组和15 - 32个中等质量基因组。令人印象深刻的是，除了与分级细化器兼容之外，单个CLMB甚至比VAMB和Maxbin的细化器在基准数据集上平均多恢复15个HQ基因组。CLMB是开源的，可在www.example.com上获得。
2021-11-18 cs.AI cs.LG q-bio.GN
Heterogeneous Graph Contrastive Multi-view Learning
University of Leeds（利兹大学）；Shaoxing University（绍兴文理学院）；Nanjing University of Information Science and Technology（南京信息工程大学）；University of Eastern Finland（东芬兰大学）；Huzhou University（湖州师范学院）
受计算机视觉和自然语言处理中对比学习（CL）成功的启发，图对比学习（GCL）已经被开发用于学习图数据集上的区分性节点表示。然而，异构信息网络上的GCL的发展还处于起步阶段。例如，目前还不清楚如何在不显著改变底层语义的情况下增强HIN，以及如何设计对比目标以完全捕获丰富的语义。此外，早期的调查表明，CL遭受采样偏差，而传统的去偏置技术的经验表明，是不够的GCL。如何减小异质GCL的抽样偏差是另一个重要问题。为了解决上述挑战，我们提出了一种新的异构图对比多视图学习（HGCML）模型。特别是，我们使用元路径作为增广生成多个子图作为多视图，并提出了一个对比的目标，以最大限度地提高任何对元路径引起的意见之间的互信息。为了减轻抽样偏差，我们进一步提出了一个积极的抽样策略，明确选择积极的每个节点通过共同考虑保留在每个元路径视图的语义和结构信息。大量的实验表明，HGCML在五个真实世界的基准数据集上始终优于最先进的基线。
2023-01-01 cs.LG
ChemCLIP: Bridging Organic and Inorganic Anticancer Compounds Through Contrastive Learning
Li Ka Shing Faculty of Medicine, The University of Hong Kong（香港大学李嘉诚医学院）；Department of Diagnostic Radiology, Li Ka Shing Faculty of Medicine, The University of Hong Kong（香港大学李嘉诚医学院诊断放射学系）；Department of Chemistry, The University of Hong Kong（香港大学化学系）
本文提出ChemCLIP框架，通过对比学习统一有机和无机抗癌化合物的表示，利用共享抗癌活性而非结构相似性，提升跨领域化学知识迁移能力。
2026-03-30 cs.AI cs.LG
Generating and Weighting Semantically Consistent Sample Pairs for Ultrasound Contrastive Learning
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
注释良好的医学数据集使深度神经网络（DNN）能够在提取病变相关特征方面获得强大的能力。由于需要高水平的专业知识，构建如此大型且设计良好的医疗数据集成本高昂。基于ImageNet的模型预训练是一种常见的做法，可以在数据量有限的情况下获得更好的泛化。然而，它遭受自然和医学图像之间的域差距。在这项工作中，我们在超声（US）领域而不是ImageNet上预训练DNN，以减少医疗US应用中的领域差距。为了学习基于未标记的US视频的US图像表示，我们提出了一种新的基于元学习的对比学习方法，即Meta Ultrasound对比学习（Meta-USCL）。为了解决对比学习中获得语义一致的样本对的关键挑战，我们提出了一个正对生成模块以及一个基于元学习的自动样本加权模块。在肺炎检测、乳腺癌分类和乳腺肿瘤分割等多个计算机辅助诊断（CAD）问题上的实验结果表明，所提出的自监督方法达到了最先进水平（SOTA）。这些代码可在https://github.com/Schuture/Meta-USCL上获得。
2022-12-08 cs.CV cs.LG
Contrast encodes inductive bias: separating slow noise from dynamics in predictive representation learning
Emory University（埃默里大学）
针对自监督方法在潜在空间预测动力学时混淆慢噪声与信号的问题，本文分析其根源为跨轨迹采样负样本的对比目标，提出通过轨迹内采样负样本消除预测捷径，从而强制编码动力学相关变量。
2026-06-05 cs.LG
Supervised Graph Contrastive Learning for Few-shot Node Classification
Arizona State University（亚利桑那州立大学）；Bytedance AI Lab（字节跳动人工智能实验室）
图存在于许多现实世界的应用中，例如金融欺诈检测、商业推荐和社会网络分析。但是考虑到图注释或标记的高成本，我们面临着严重的图标记稀缺问题，即，一个图可能有几个标记的节点。这种问题的一个例子是所谓的\textit{few-shot node classification}。解决这个问题的主要方法是求助于\textit{episodic meta-learning}。在这项工作中，我们提出了一个基本问题，元学习是否是一个必须的Few-Shot节点分类任务的挑战现状。我们提出了一个新的和简单的框架下的标准Few-Shot节点分类设置作为替代元学习一个有效的图形编码器。该框架由监督图对比学习与新的机制，数据增强，子图编码，和多尺度对比图。在三个基准数据集（CoraFull，Reddit，Ogbn）上的大量实验表明，新框架的性能明显优于最先进的基于元学习的方法。
2022-08-05 cs.LG
MedAug: Contrastive learning leveraging patient metadata improves representations for chest X-ray interpretation
Stanford University（斯坦福大学）；School of Medicine, Stanford University（斯坦福大学医学院）
同一图像的多个视图对之间的自监督对比学习已被证明可以成功地利用未标记的数据来为自然图像和医学图像生成有意义的视觉表示。然而，在确定如何为医学图像选择配对方面的工作有限，其中可以利用患者元数据的可用性来改进表示。在这项工作中，我们开发了一种方法，通过使用患者元数据来选择来自可能不同图像的视图的正对。我们比较了选择阳性对进行胸部X线解读的策略，包括要求它们来自同一患者、成像研究或偏侧性。我们通过对胸腔积液分类的1%标记数据集上的线性层进行微调来评估下游任务性能。我们表现最好的正对选择策略，包括使用来自同一研究的同一患者的图像，在所有侧边，从ImageNet预训练基线的平均AUC中实现了14.4%的性能提升。我们的对照实验表明，提高疾病分类下游性能的关键是（1）使用患者元数据从具有相同基础病理的不同图像中适当地创建阳性对，以及（2）最大化查询配对中使用的不同图像的数量。此外，我们探索利用患者元数据来选择用于对比学习的硬阴性对，但没有发现与不使用元数据的基线相比的改进。我们的方法广泛适用于医学图像解释，并允许灵活地将医学见解选择对对比学习。
2021-10-17 cs.CV cs.LG eess.IV
Multimodal contrastive learning for diagnosing cardiovascular diseases from electrocardiography (ECG) signals and patient metadata
VinUniversity（文大学）；Hanoi University of Science and Technology（河内科技大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对12导联 ECG 难以完整获取的问题，本文通过对比损失对齐全导联与少导联信号的嵌入表示，提升了所有导联组合的心血管疾病诊断性能。
2023-04-18 cs.LG eess.SP
Metadata-Induced Contrastive Learning for Zero-Shot Multi-Label Text Classification
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft（微软）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究零样本多标签文本分类，提出利用文档元数据诱导对比学习（MICoL）方法，通过文档元数据构建相似文档对训练分类器，在无需标注数据下性能媲美有监督方法并缓解长尾标签问题。
2022-03-24 cs.CL cs.LG
Function Contrastive Learning of Transferable Meta-Representations
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Mila（米拉研究所）；University of Montreal（蒙特利尔大学）
元学习算法可以快速适应来自与训练任务相同的任务分布的新任务。导致快速适应的机制是下游预测模型对任务的底层数据生成过程的推断表示或\emph{function}的调节。该\emph{meta-representation}是从基础函数的几个观察到的示例计算的，与预测模型联合学习。在这项工作中，我们研究的影响，这种联合培训的元表征的可转移性。我们的目标是学习对数据中的噪声具有鲁棒性的元表示，并促进解决共享相同底层功能的各种下游任务。为此，我们提出了一种解耦的编码器-解码器方法来进行监督元学习，其中编码器使用对比目标进行训练，以找到底层函数的良好表示。特别是，我们的训练方案是由自我监督信号驱动的，该信号指示两组示例是否来自同一函数。我们在一些合成和真实世界数据集上的实验表明，我们获得的表示在下游性能和噪声鲁棒性方面优于强基线，即使这些基线是以端到端的方式训练的。
2021-07-22 cs.LG stat.ML
REFINE: Trajectory Representation Learning via Closed-Loop Transcription -- Extended Version
Aalborg University（奥尔堡大学）；East China Normal University（华东师范大学）
REFINE提出闭环转录框架，结合路网感知重建与反馈对比学习，实现高效可扩展的轨迹表示学习，在四个数据集上优于现有方法。
2026-09-09 cs.AI cs.LG
Latent Trajectory Discrimination for AI-Generated Text Detection
Polytechnic University of Marche（马尔凯理工大学）；University of Modena and Reggio Emilia（摩德纳大学和雷焦艾米利亚大学）
该研究针对人工智能生成文本检测问题，提出几何轨迹和对比学习框架GTCL，通过分割文档为局部单元、编码并构建序列级表示，再应用对比学习学习几何规律，实验表明此方法优于基线，为AIGTD开辟新动态方向。
2026-07-17 cs.AI cs.CL
Contrastive Conditional Neural Processes
The University of New South Wales（新南威尔士大学）
Conditional Neural Processes~(CNPs) bridge neural networks with probabilistic inference to approximate functions of Stochastic Processes under meta-learning settings. Given a batch of non-{ \it i.i.d} function instantiations, CNPs are jointly optimized for in-instantiation observation prediction and cross-instantiation meta-representation adaptation within a generative reconstruction pipeline. There can be a challenge in tying together such two targets when the distribution of function observations scales to high-dimensional and noisy spaces. Instead, noise contrastive estimation might be able…
2022-03-25 cs.LG stat.ML
Few-Shot Image Classification via Contrastive Self-Supervised Learning
School of Information；Communications Xi’an Jiaotong University Xi'an, P.R. China
大多数以前的少样本学习算法都是基于元训练，使用假的Few-Shot任务作为训练样本，其中需要大的标记基类。训练模型也受到任务类型的限制。在本文中，我们提出了一个新的无监督少样本学习的范例来修复的不足。我们分两个阶段解决了Few-Shot任务：通过对比自监督学习对可转移特征提取器进行元训练，并使用图聚合、自蒸馏和流形增强训练分类器。一旦经过元训练，该模型就可以用于任何类型的任务，并进行任务相关的分类器训练。我们的方法在标准Few-Shot视觉分类数据集上的各种既定Few-Shot任务中实现了最先进的性能，与可用的无监督少样本学习方法相比，提高了8- 28%。
2020-08-23 cs.AI cs.CV
Task-Adaptive Neural Network Search with Meta-Contrastive Learning
KAIST（韩国科学技术院）；AITRICS；Samsung（三星）
大多数传统的神经结构搜索（NAS）方法的局限性在于，它们只生成结构，而不搜索最佳参数。虽然一些NAS方法通过利用在大规模数据集（如ImageNet）上训练的超网来处理这个问题，但如果目标任务与超网训练的数据集高度不相似，则它们可能是次优的。为了解决这些限制，我们引入了一个新的问题\emph{Neural Network Search}（NNS），其目标是为新的数据集和约束搜索最优的预训练网络（例如参数的数量），来自模型动物园。然后，我们提出了一个新的框架来解决这个问题，即\emph{Task-Adaptive Neural Network Search}（TANS）。给定一个由在不同数据集上预训练的网络组成的模型动物园，我们使用一种新的摊销元学习框架来学习具有对比损失的跨模态潜在空间，以最大化数据集与其上的高性能网络之间的相似性，并最小化不相关的网络-网络对之间的相似性。我们验证了我们的方法的有效性和效率在十个现实世界的数据集，对现有的NAS/AutoML基线。结果表明，我们的方法可以立即检索出性能优于基线模型的网络，并且训练步骤明显减少，从而达到目标性能，从而最大限度地降低了获得任务最优网络的总成本。我们的代码和模型动物园可以在https://github.com/wyjeong/TANS上找到。
2021-10-28 cs.LG
Meta-GPS++: Enhancing Graph Meta-Learning with Contrastive Learning and Self-Training
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；University of Trento（特伦托大学）；Zhuhai College of Science and Technology（珠海科技学院）
针对少样本节点分类中同质/异质图适配、随机干扰、未标记数据利用不足及任务差异化缺失等问题，提出Meta-GPS++框架，结合原型初始化、对比学习、自训练及S²变换，在真实数据集上取得优越性能。
2024-07-20 cs.LG cs.SI
Contrastive Diffuser: Planning Towards High Return States via Contrastive Learning
Jilin University（吉林大学）；Shanghai Jiaotong University（上海交通大学）
针对离线强化学习中低回报轨迹占比高导致策略学习困难的问题，本文提出对比扩散器CDiffuser，通过对比机制将状态分为高回报正样本和低回报负样本，引导智能体远离低回报区域，并在14个D4RL基准上验证了有效性。
2024-06-15 cs.LG
GCL: Gradient-Guided Contrastive Learning for Medical Image Segmentation with Multi-Perspective Meta Labels
Zhejiang University（浙江大学）；University of Notre Dame（圣母大学）
本文提出GCL方法，通过梯度缓解器统一多视角元标签以解决语义矛盾，并利用梯度过滤器筛选判别性像素对，从而在有限标注下提升医学图像分割性能与泛化能力。
2023-09-16 cs.AI cs.CV
CLIPO: Contrastive Learning in Policy Optimization Generalizes RLVR
Qwen Large Model Application Team, Alibaba Institute of Automation, Chinese Academy of Sciences（文勤大模型应用团队，阿里巴巴自动化研究所，中国科学院）；Qwen Large Model Application Team, Alibaba（文勤大模型应用团队，阿里巴巴）
CLIPO通过对比学习机制改进RLVR，提升大语言模型的策略优化泛化与鲁棒性
2026-03-10 cs.AI cs.CL cs.LG
Towards Deviation-Robust Agent Navigation via Perturbation-Aware Contrastive Learning
Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）；Dark Matter Inc.（暗物质公司）；Sun Yat-sen University（中山大学）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Monash University（莫纳什大学）
针对传统视觉语言导航智能体抗干扰能力弱的问题，提出渐进式扰动感知对比学习范式，通过渐进扰动增强与对比学习提升鲁棒性，在R2R及自建PP-R2R数据集上验证了有效性。
2024-03-09 cs.AI cs.CV cs.RO
