Contrastive Meta Learning with Behavior Multiplicity for Recommendation
University of Hong Kong（香港大学）；South China University of Technology（华南理工大学）；Wilfrid Laurier University（威尔弗里德·劳雷尔大学）；Baidu Inc（百度公司）
一个消息灵通的推荐框架不仅可以帮助用户识别他们感兴趣的项目，而且还可以使各种在线平台的收入受益（例如，电子商务、社交媒体）。传统的推荐模型通常假设用户与商品之间只存在单一的交互行为，无法从多类型的用户行为数据（如页面浏览、添加到收藏夹和购买）中建模出用户与商品之间的多重关系。虽然最近的一些研究提出了捕获不同类型行为之间的依赖关系，但两个重要的挑战很少被探索：i）处理目标行为下的稀疏监督信号（例如，购买）。ii）利用定制的依赖建模来捕获个性化的多行为模式。为了解决上述问题，我们设计了一个新的模型CML，对比Meta学习（CML），为不同的用户维护专用的跨类型的行为依赖。特别是，我们提出了一个多行为对比学习框架，通过构建对比损失提取跨不同类型的行为的可转移知识。此外，为了捕捉不同的多行为模式，我们设计了一个对比Meta网络来编码不同用户的定制行为异质性。在三个真实数据集上的大量实验表明，我们的方法始终优于各种最先进的推荐方法。我们的实证研究进一步表明，对比Meta学习范式提供了很大的潜力，捕捉行为多样性的建议。我们在https://github.com/weiwei1206/CML.git上发布我们的模型实现。
2022-02-17 cs.AI cs.IR cs.LG
Partial Multi-View Clustering via Meta-Learning and Contrastive Feature Alignment
针对部分视图缺失导致聚类性能欠佳的问题，提出基于对比学习的双优化框架，结合微调Vision Transformer、KNN填补缺失视图并利用自监督与元学习动态调整权重，在BDGP和HW数据集上优于现有方法。
2024-11-14 cs.CV cs.LG
Many or Few Samples? Comparing Transfer, Contrastive and Meta-Learning in Encrypted Traffic Classification
Universitá degli Studi di Napoli Federico II（那不勒斯费德里科二世大学）；Huawei Technology France（法国华为技术有限公司）
本文在MIRAGE19与AppClassNet上比较16种方法，发现对比学习最适合学习跨任务流量表示，元学习最差，且DL借助表示复用可在小任务上追平基于树的ML。
2023-06-03 cs.LG cs.NI
MAML is a Noisy Contrastive Learner in Classification
National Yang Ming Chiao Tung University（阳明交通大学）；IBM Research（IBM研究院）
模型不可知元学习（MAML）是最流行和广泛采用的元学习算法之一，在各种学习问题上取得了显着的成功。然而，由于MAML独特的内循环更新和外循环更新设计，MAML的底层学习目标仍然是隐含的，从而阻碍了对MAML工作机制的更直接的理解。我们发现MAML类似于使用监督对比目标的元学习器。查询特征被拉向同一类的支持特征，并反对不同类的支持特征。这种对比性通过基于余弦相似性的分析得到了实验验证。此外，我们发现，香草MAML有一个不希望的干扰来自随机初始化和跨任务的相互作用。因此，我们提出了一个简单而有效的技术，调零技巧，以减轻干扰。在mini-ImageNet和Omniglot数据集上进行了大量的实验，以证明我们提出的方法带来的一致改进，验证了其有效性。
2022-03-14 cs.AI cs.LG
Task-Level Contrastiveness for Cross-Domain Few-Shot Learning
New York University（纽约大学）
针对跨域小样本学习泛化难、现有方案准确率低且计算成本高的问题，提出任务级对比性方法，通过任务增强和任务级对比损失实现轻量高效的泛化提升，在MetaDataset基准上取得更优性能。
2025-10-03 cs.LG
A Contrastive Learning-Guided Confident Meta-learning for Zero Shot Anomaly Detection
Dept. of Engineering for Innovation Medicine, University of Verona（创新医学工程系，威尼斯大学）；Faculty of Computer and Information Science, University of Ljubljana（计算机与信息科学系，卢布尔雅那大学）；Qualyco S.r.l.（Qualyco公司）
针对工业和医疗异常检测的数据稀缺与标注成本问题，提出CoZAD零样本异常检测框架，结合软置信学习、元学习和对比特征表示，通过置信权重保留边界信息，量化不确定性并创建判别特征空间，在10个数据集上实现SOTA性能。
2025-08-25 cs.CV cs.LG
Meta-Learning Biologically Plausible Plasticity Rules with Random Feedback Pathways
University of Notre Dame（圣母大学）
反向传播被广泛用于训练人工神经网络，但其与大脑中突触可塑性的关系尚不清楚。一些反向传播的生物模型依赖于与前馈连接对称的反馈投影，但实验并不能证实这种对称的反向连接的存在。随机反馈对齐提供了一种替代模型，其中错误通过固定的随机向后连接向后传播。这种方法成功地训练了浅层模型，但学习速度很慢，并且在更深层的模型或在线学习中表现不佳。在这项研究中，我们开发了一种元学习方法来发现可解释的，生物学上合理的可塑性规则，这些规则可以提高固定随机反馈连接的在线学习性能。由此产生的可塑性规则显示了在低数据状态下深度模型的改进在线训练。我们的研究结果突出了元学习发现有效的，可解释的学习规则，满足生物约束的潜力。
2023-02-07 cs.LG cs.NE q-bio.NC
Contrastive Meta-Learning for Few-shot Node Classification
University of Virginia（弗吉尼亚大学）；Arizona State University（亚利桑那州立大学）
针对少样本节点分类标签不足问题，提出对比元学习框架COSMIC，通过对比两步优化增强类内泛化能力，并利用相似性敏感混合策略生成困难节点类别提升类间泛化能力，实验验证其优于现有基线。
2023-06-27 cs.AI cs.LG
Meta-Learning Bidirectional Update Rules
Google Research（谷歌研究院）
本文介绍了一种新的广义神经网络，其中神经元和突触保持多个状态。我们表明，经典的基于梯度的反向传播神经网络可以被看作是一个特殊的情况下，一个状态是用于激活和另一个梯度的两个状态的网络，更新规则来自链规则。在我们的广义框架中，网络既没有明确的梯度概念，也没有接收梯度。突触和神经元使用由共享的低维“基因组”参数化的双向Hebb式更新规则来更新。我们表明，这样的基因组可以从头开始元学习，使用传统的优化技术，或进化策略，如CMA-ES。所得到的更新规则推广到看不见的任务，并且对于若干标准计算机视觉和合成任务，比基于梯度下降的优化器更快地进行训练。
2021-06-11 cs.LG cs.NE
On Contrastive Representations of Stochastic Processes
University of Oxford（牛津大学）；DeepMind
随机过程的学习表示是机器学习中的一个新兴问题，其应用范围从元学习到物理对象模型再到时间序列。典型的方法依赖于观测的精确重建，但是当观测变得高维或噪声分布变得复杂时，这种方法就会失效。为了解决这个问题，我们提出了一个统一的框架，用于学习随机过程的对比表示（CReSP），消除了精确的重建。我们剖析了随机过程表示的潜在用例，并提出了适应每个用例的方法。经验上，我们表明，我们的方法是有效的学习表示的周期函数，3D对象和动态过程。我们的方法比传统方法更好地容忍嘈杂的高维观测，并且学习到的表示转移到一系列下游任务。
2021-10-29 cs.LG stat.ML
Augmenting Supervised Learning by Meta-learning Unsupervised Local Rules
University of Pennsylvania（宾夕法尼亚大学）
大脑执行无监督学习和（可能）同时的监督学习。这就提出了一个问题，即监督和无监督方法的混合是否会产生更好的学习。受Hebbian学习规则的丰富空间的启发，我们开始直接学习关于局部信息的无监督学习规则，该规则最好地增强了监督信号。我们提出了Hebbian增强训练算法（HAT），用于将基于梯度的学习与突触前活动，突触后活动和当前权重的无监督规则相结合。我们测试了HAT对一个简单问题（Fashion-MNIST）的影响，并发现其性能始终高于单独的监督学习。这一发现提供了经验证据，表明对突触活动的无监督学习提供了可用于增强基于梯度的方法的强信号。我们进一步发现，元学习的更新规则是一个随时间变化的函数;因此，很难确定一个可解释的Hebbian更新规则，以帮助训练。我们发现，元学习器最终退化成一个非赫布规则，保留重要的权重，以免干扰学习器的收敛。
2021-03-17 cs.AI cs.LG
Local plasticity rules can learn deep representations using self-supervised contrastive predictions
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
人们对大脑中的学习知之甚少，尊重生物学约束但产生深层层次表示的学习规则仍然是未知的。在这里，我们提出了一个学习规则，它的灵感来自神经科学和自我监督深度学习的最新进展。学习使简单的层特定损失函数最小化，并且不需要在层内或层之间反向传播误差信号。相反，权重更新遵循局部赫布学习规则，该规则仅取决于突触前和突触后神经元活动、预测性树突输入和广泛传播的调制因子，这些调制因子对于大群神经元是相同的。学习规则使用扫视（即注视方向的快速转移）将对比预测学习应用于因果生物环境。我们发现，用这种自我监督和局部规则训练的网络可以构建图像、语音和视频的深层层次表示。
2021-10-25 cs.AI cs.AR cs.CV
M2HGCL: Multi-Scale Meta-Path Integrated Heterogeneous Graph Contrastive Learning
Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Defence Industry Secrecy Examination and Certification Center（国防工业保密审查认证中心）
提出M2HGCL模型，通过多尺度元路径集成与联合聚合邻居信息，摒弃异构-同构转换，并采用正采样策略解决难负样本问题，在三个真实数据集上超越现有基线。
2023-09-03 cs.AI cs.LG
Improving Context-Based Meta-Reinforcement Learning with Self-Supervised Trajectory Contrastive Learning
University of California, Berkeley（加利福尼亚大学伯克利分校）；Tsinghua University（清华大学）；Facebook Research（Facebook研究院）
Meta-强化学习通常需要比单任务强化学习方法多几个数量级的样本。这是因为元训练需要处理更多样化的分布和训练额外的组件，如上下文编码器。为了解决这个问题，我们提出了一种新的自监督学习任务，我们称之为轨迹对比学习（TCL），以改善元训练。TCL采用对比学习并训练上下文编码器来预测是否从同一轨迹采样两个过渡窗口。TCL利用了基于上下文的元RL的自然层次结构，并做出了最少的假设，使其能够普遍适用于基于上下文的元RL算法。它加速了上下文编码器的训练，并从整体上改进了元训练。实验表明，在大多数环境中，TCL在元RL MuJoCo（6个中的5个）和元世界基准测试（50个中的44个）上的表现都优于或优于强元RL基线。
2021-03-10 cs.AI cs.LG
Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum
Beijing University of Posts and Telecommunications（北京邮电大学）；Peng Cheng Laboratory（鹏城实验室）；Simon Fraser University（西蒙菲莎大学）
图对比学习（GCL）是通过扩充图来学习节点表示的一种学习方法。尽管各种图增强策略的扩散，一些基本的问题仍然不清楚：什么信息本质上是编码到学习表示的GCL？在不同的扩充背后是否有一些通用的图扩充规则？如果是，它们是什么，它们能带来什么样的见解？本文通过建立GCL与图谱之间的联系，回答了这些问题。通过谱域的实验研究，我们首先发现了GCL的广义grAph增强（GAME）规则，即，两个增广图之间的高频部分的差异应该大于低频部分的差异。该规则揭示了重新审视现有图扩充和设计新的有效图扩充的基本原理。然后，我们从理论上证明了GCL能够通过对比不变性定理学习不变性信息，结合我们的GAME规则，我们首次发现GCL学习的表示本质上编码了低频信息，这解释了为什么GCL工作。在此规则的指导下，我们提出了一个谱图对比学习模块（SpCo），这是一个通用的和GCL友好的插件。我们将其与不同的现有GCL模型相结合，大量的实验表明，它可以进一步提高各种不同的GCL方法的性能。
2022-10-05 cs.LG
Robust Task Representations for Offline Meta-Reinforcement Learning via Contrastive Learning
Peking University（北京大学）
我们研究离线Meta强化学习，这是一种实用的强化学习范式，它从离线数据中学习以适应新任务。离线数据的分布由行为策略和任务共同决定。现有的离线Meta强化学习算法无法区分这些因素，使得任务表示对行为策略的变化不稳定。为了解决这个问题，我们提出了一个对比学习框架的任务表示，是强大的分布不匹配的行为政策在训练和测试。我们设计了一个双层编码器结构，使用互信息最大化来形式化任务表示学习，推导出一个对比学习目标，并介绍了几种方法来近似负对的真实分布。在多种离线Meta强化学习基准测试上的实验证明了该方法相对于现有方法的优势，特别是在推广到分布外行为策略方面。该代码可在https://github.com/PKU-AI-Edge/CORRO上获得。
2022-06-21 cs.LG
Self-Supervised Video Representation Learning with Meta-Contrastive Network
University of Washington（华盛顿大学）；Microsoft Research Asia（微软亚洲研究院）
自监督学习已成功应用于预训练视频表示，其目的是从预训练域到下游任务的有效适应。现有的方法仅仅利用对比损失来学习实例级区分。然而，缺乏类别信息将导致硬正问题，限制了这类方法的推广能力。我们发现元学习的多任务过程可以为这个问题提供解决方案。在本文中，我们提出了一个元对比网络（MCN），它结合了对比学习和元学习，以提高现有的自监督方法的学习能力。我们的方法包含两个基于模型不可知元学习（MAML）的训练阶段，每个阶段由一个对比分支和一个元分支组成。广泛的评估表明我们的方法的有效性。对于两个下游任务，即，在视频动作识别和视频检索方面，MCN在UCF 101和HMDB 51数据集上的性能优于最先进的方法。更具体地说，使用R（2 + 1）D主干，MCN在视频动作识别方面达到了84.8%和54.5%的Top-1准确率，在视频检索方面达到了52.5%和23.7%。
2021-08-23 cs.AI cs.CV cs.LG
Graph Contrastive Learning Meets Graph Meta Learning: A Unified Method for Few-shot Node Tasks
Washington University in St. Louis（圣路易斯华盛顿大学）；Peking University（北京大学）；JD Explore Academy（京东探索研究院）
本文提出统一对比学习与元学习的新范式COLA，利用图增强识别语义相似节点以无标签构建元任务，从而充分利用所有节点并降低过拟合，在少样本节点分类任务上取得最优性能。
2023-09-19 cs.AI cs.LG
Conditional Alignment and Uniformity for Contrastive Learning with Continuous Proxy Labels
NeuroSpin, CEA Saclay, Université Paris-Saclay（法国原子能和替代能源委员会萨克雷中心 NeuroSpin，巴黎萨克雷大学）；LTCI, Télécom Paris, IPParis（巴黎电信学院 LTCI，巴黎理工学院）
对比学习在自然和医学图像上显示出令人印象深刻的结果，而不需要注释数据。然而，医学图像的特殊性是可以用于学习表示的元数据（例如年龄或性别）的可用性。在这里，我们表明，最近提出的对比y-Aware InfoNCE损失，集成多维元数据，渐近优化两个属性：条件对齐和全局均匀性。与[Wang，2020]类似，条件对齐意味着相似的样本应该具有相似的特征，但条件是基于元数据。相反，全局均匀性意味着（归一化）特征应该均匀分布在单位超球体上，与元数据无关。在这里，我们建议定义条件的一致性，依赖于元数据，只排斥样本与不同的元数据。我们表明，直接优化的条件对齐和均匀性提高了表示，在线性评价方面，CIFAR-100和脑MRI数据集。
2021-11-10 cs.LG
Heterogeneous Graph Contrastive Learning with Meta-path Contexts and Adaptively Weighted Negative Samples
School of Data Science and Engineering, East China Normal University（华东师范大学数据科学与工程学院）
针对异构图对比学习中元路径上下文缺失和负样本未区分的问题，提出 MEOW 及自适应变体 AdaMEOW，通过粗细粒度视图和加权负样本提升节点表示性能。
2024-04-05 cs.LG
Efficient block contrastive learning via parameter-free meta-node approximation
University of Queensland（昆士兰大学）
对比学习近年来在包括图在内的许多领域取得了显著的成功。然而，对比度损失，特别是对于图，需要大量的负样本，这是不可扩展的和计算上禁止的二次时间复杂度。二次抽样不是最优的，不正确的负抽样会导致抽样偏差。在这项工作中，我们提出了一个基于元节点的近似技术，可以（a）代理所有的负组合（b）在二次集群大小时间复杂度，（c）在图形级别，而不是节点级别，（d）利用图形稀疏。通过将节点对替换为加性簇对，我们在图级计算簇时间的负值。基于简单优化的GPU操作，得到的代理近似元节点对比度（PamC）损失捕获了全部负数集，但具有线性时间复杂度。通过避免抽样，我们有效地消除了样本偏差。我们满足更大数量的样本的标准，从而实现块对比度，这被证明优于成对损失。我们使用学习软集群分配的元节点收缩，并避免可能的异质性和噪声添加在边缘创建。理论上，我们表明，现实世界的图形很容易满足我们的近似所需的条件。从经验上讲，我们在6个基准测试中显示了比最先进的图聚类更有希望的准确性。重要的是，我们的效率大幅提升;训练时间提高了3倍，推理时间提高了1.8倍，GPU内存减少了5倍以上。
2022-09-28 cs.IR cs.LG
Towards Effective Context for Meta-Reinforcement Learning: an Approach based on Contrastive Learning
Tianjin University（天津大学）；Tsinghua University（清华大学）
上下文，以前收集的轨迹的嵌入，是Meta-强化学习（Meta-RL）算法的一个强大的结构。通过对有效上下文的调节，元强化学习策略可以在几个适应步骤内轻松地推广到新任务。我们认为，提高上下文的质量涉及到回答两个问题：1。如何训练一个紧凑和足够的编码器，可以嵌入先前轨迹中包含的特定于任务的信息？2.如何收集信息的轨迹，相应的上下文反映了任务的规范？为此，我们提出了一种新的元RL框架称为CCM（对比学习增强的基于上下文的元RL）。我们首先专注于不同任务背后的对比性质，并利用它来训练一个紧凑和足够的上下文编码器。此外，我们训练一个单独的探索政策，并从理论上推导出一个新的信息增益为基础的目标，其目的是在几个步骤中收集翔实的轨迹。从经验上讲，我们评估我们的方法在共同的基准以及几个复杂的稀疏奖励环境。实验结果表明，CCM优于国家的最先进的算法，通过解决上述问题分别。
2020-12-15 cs.AI cs.LG stat.ML
Provably Improved Context-Based Offline Meta-RL with Attention and Contrastive Learning
Tencent AI Lab（腾讯AI实验室）；Megvii Research Shanghai（上海旷视研究院）；Tsinghua University（清华大学）；Peking University（北京大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
离线强化学习（OMRL）的元学习是一个未充分研究的问题，通过在许多现实世界的应用中启用RL算法，具有巨大的潜在影响。一个流行的解决方案，这个问题是推断任务身份的增强状态使用基于上下文的编码器，有效的学习强大的任务表示仍然是一个开放的挑战。在这项工作中，我们可证明的SOTA OMRL算法之一，FOCAL，通过将任务内的注意力机制和任务间的对比学习目标，鲁棒任务表示学习对稀疏奖励和分布偏移。理论分析和实验证明了我们的端到端和无模型框架的优越性能和鲁棒性相比，以前的算法在多个元RL基准。
2021-10-15 cs.AI cs.LG
Hyper Meta-Path Contrastive Learning for Multi-Behavior Recommendation
University of Technology Sydney（悉尼科技大学）；Wuhan University of Technology（武汉理工大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
多行为信息下的用户购买预测仍然是当前推荐系统的一个挑战性问题。已经提出了各种方法来通过利用图神经网络（GNN）或多任务学习的优点来解决它。然而，大多数现有的工作没有考虑到用户的不同行为之间的复杂依赖关系。它们利用简单而固定的方案，如邻域信息聚合或向量的数学计算，融合不同用户行为的嵌入，以获得一个统一的嵌入来表示用户的行为模式，这将用于下游的推荐任务。为了解决这一问题，本文首先提出了超元路径的概念来构造超元路径或超元图，以明确地表示用户不同行为之间的依赖关系。如何从超元路径中为用户获得统一的嵌入，同时避免前面提到的限制是至关重要的。由于图对比学习最近的成功，我们利用它来学习用户行为模式的自适应嵌入，而不是分配一个固定的方案来理解不同行为之间的依赖关系。通过与超元路径的耦合，提出了一种新的基于图的对比学习框架HMG-CR，在大量的对比实验中，该框架的性能始终显著优于所有基线。
2021-09-07 cs.IR cs.LG
Contrastive Hebbian Learning with Random Feedback Weights
神经网络通常被训练成通过学习算法进行预测。对比赫布学习是一种受梯度反向传播启发的强大规则，它基于赫布规则和对比发散算法。它在两个阶段中操作，前向（或自由）阶段，其中数据被馈送到网络，以及后向（或箝位）阶段，其中目标信号被箝位到网络的输出层，并且反馈信号通过转置突触权重矩阵进行变换。这意味着突触水平上的对称性，而大脑中没有证据表明这一点。在这项工作中，我们提出了一个新的变种的算法，称为随机对比赫布学习，它不依赖于任何突触权重对称性。相反，它使用随机矩阵变换的反馈信号在箝位阶段，和神经动力学描述的一阶非线性微分方程。通过解决布尔逻辑任务、分类任务（手写数字和字母）和自动编码任务，对该算法进行了实验验证。本文还展示了参数如何影响学习，特别是随机矩阵。我们使用伪谱分析来进一步研究随机矩阵如何影响学习过程。最后，我们讨论了所提出的算法的生物相容性，以及它如何能产生更好的计算模型的学习。
2018-06-19 cs.LG q-bio.NC stat.ML
Generating and Weighting Semantically Consistent Sample Pairs for Ultrasound Contrastive Learning
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
注释良好的医学数据集使深度神经网络（DNN）能够在提取病变相关特征方面获得强大的能力。由于需要高水平的专业知识，构建如此大型且设计良好的医疗数据集成本高昂。基于ImageNet的模型预训练是一种常见的做法，可以在数据量有限的情况下获得更好的泛化。然而，它遭受自然和医学图像之间的域差距。在这项工作中，我们在超声（US）领域而不是ImageNet上预训练DNN，以减少医疗US应用中的领域差距。为了学习基于未标记的US视频的US图像表示，我们提出了一种新的基于元学习的对比学习方法，即Meta Ultrasound对比学习（Meta-USCL）。为了解决对比学习中获得语义一致的样本对的关键挑战，我们提出了一个正对生成模块以及一个基于元学习的自动样本加权模块。在肺炎检测、乳腺癌分类和乳腺肿瘤分割等多个计算机辅助诊断（CAD）问题上的实验结果表明，所提出的自监督方法达到了最先进水平（SOTA）。这些代码可在https://github.com/Schuture/Meta-USCL上获得。
2022-12-08 cs.CV cs.LG
Spatio-Temporal Meta Contrastive Learning
University of Hong Kong（香港大学）；Southwest Jiaotong University（西南交通大学）
本文提出时空元对比学习框架CL4ST，通过元视图生成器自动定制节点和边的增强策略，结合时空图注意力网络与双分支对比学习，在交通和犯罪预测任务上显著超越现有方法。
2023-10-26 cs.LG
AutoPPA: Automated Circuit PPA Optimization via Contrastive Code-based Rule Library Learning
State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China（中国科学院计算技术研究所处理器重点实验室，北京，中国）；University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国）；University of Science and Technology of China, Hefei, China（中国科学技术大学，合肥，中国）；Institute of AI for Industries, Chinese Academy of Sciences, Nanjing, China（中国科学院工业人工智能研究所，南京，中国）
本文提出AutoPPA框架，通过对比生成的代码对自动生成优化规则，提升RTL设计中PPA优化效率，实验表明优于手动优化和现有方法SymRTLO和RTLRewriter。
2026-04-28 cs.AR cs.LG
Neuron-Anchored Rule Extraction for Large Language Models via Contrastive Hierarchical Ablation
Università della Svizzera italiana（瑞士意大利大学）
提出MechaRule方法，通过定位稀疏激动剂激活将规则提取锚定在LLM电路中，利用自适应组测试和置信引导剪枝，以极低代价高召回率识别关键神经元，并在算术和越狱任务中验证其有效性。
2026-06-06 cs.AI cs.LG
Metadata-Induced Contrastive Learning for Zero-Shot Multi-Label Text Classification
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft（微软）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究零样本多标签文本分类，提出利用文档元数据诱导对比学习（MICoL）方法，通过文档元数据构建相似文档对训练分类器，在无需标注数据下性能媲美有监督方法并缓解长尾标签问题。
2022-03-24 cs.CL cs.LG
Function Contrastive Learning of Transferable Meta-Representations
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Mila（米拉研究所）；University of Montreal（蒙特利尔大学）
元学习算法可以快速适应来自与训练任务相同的任务分布的新任务。导致快速适应的机制是下游预测模型对任务的底层数据生成过程的推断表示或\emph{function}的调节。该\emph{meta-representation}是从基础函数的几个观察到的示例计算的，与预测模型联合学习。在这项工作中，我们研究的影响，这种联合培训的元表征的可转移性。我们的目标是学习对数据中的噪声具有鲁棒性的元表示，并促进解决共享相同底层功能的各种下游任务。为此，我们提出了一种解耦的编码器-解码器方法来进行监督元学习，其中编码器使用对比目标进行训练，以找到底层函数的良好表示。特别是，我们的训练方案是由自我监督信号驱动的，该信号指示两组示例是否来自同一函数。我们在一些合成和真实世界数据集上的实验表明，我们获得的表示在下游性能和噪声鲁棒性方面优于强基线，即使这些基线是以端到端的方式训练的。
2021-07-22 cs.LG stat.ML
LAMP: Learnable Meta-Path Guided Adversarial Contrastive Learning for Heterogeneous Graphs
University of New South Wales（新南威尔士大学）；Yonsei University（延世大学）；RIKEN AIP（理化学研究所人工智能项目）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对无监督异构图对比学习对预定义元路径组合敏感的问题，提出LAMP框架，通过整合多类元路径子图并采用对抗边剪枝与双视图对比学习，在HGB四个数据集上显著提升准确率与鲁棒性。
2024-09-10 cs.AI cs.LG cs.SI
CoRMA: Contrastive RMA for Contact-Rich Meta-Adaptation
Synthoid AI
提出CoRMA框架，通过语义接触上下文和对比学习实现力主导装配任务的元适应，无需演示或梯度更新，在仿真和真实机器人上优于基线。
2026-05-28 cs.LG cs.RO
ContraBAR: Contrastive Bayes-Adaptive Deep RL
Technion（以色列理工学院）
提出 ContraBAR 元强化学习算法，用对比预测编码 CPC 替代变分信念推断，并证明其表征足以实现贝叶斯最优性，可在线上、离线及图像观测场景中取得先进性能。
2023-06-04 cs.AI cs.LG stat.ML
Supervised Graph Contrastive Learning for Few-shot Node Classification
Arizona State University（亚利桑那州立大学）；Bytedance AI Lab（字节跳动人工智能实验室）
图存在于许多现实世界的应用中，例如金融欺诈检测、商业推荐和社会网络分析。但是考虑到图注释或标记的高成本，我们面临着严重的图标记稀缺问题，即，一个图可能有几个标记的节点。这种问题的一个例子是所谓的\textit{few-shot node classification}。解决这个问题的主要方法是求助于\textit{episodic meta-learning}。在这项工作中，我们提出了一个基本问题，元学习是否是一个必须的Few-Shot节点分类任务的挑战现状。我们提出了一个新的和简单的框架下的标准Few-Shot节点分类设置作为替代元学习一个有效的图形编码器。该框架由监督图对比学习与新的机制，数据增强，子图编码，和多尺度对比图。在三个基准数据集（CoraFull，Reddit，Ogbn）上的大量实验表明，新框架的性能明显优于最先进的基于元学习的方法。
2022-08-05 cs.LG
Contrastive Conditional Neural Processes
The University of New South Wales（新南威尔士大学）
Conditional Neural Processes~(CNPs) bridge neural networks with probabilistic inference to approximate functions of Stochastic Processes under meta-learning settings. Given a batch of non-{ \it i.i.d} function instantiations, CNPs are jointly optimized for in-instantiation observation prediction and cross-instantiation meta-representation adaptation within a generative reconstruction pipeline. There can be a challenge in tying together such two targets when the distribution of function observations scales to high-dimensional and noisy spaces. Instead, noise contrastive estimation might be able…
2022-03-25 cs.LG stat.ML
Unsupervised Meta-Learning via Few-shot Pseudo-supervised Contrastive Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；LG AI Research（LG人工智能研究院）
无监督元学习的目标是在由未标记数据构建的任务分布中学习可推广的知识。在这里，主要的挑战是如何在没有标签信息的情况下为元学习构建不同的任务;最近的工作已经提出创建，例如，通过预训练的表示进行伪标记或通过生成模型创建合成样本。然而，由于在元学习期间严重依赖不可变的伪标签以及表示或生成的样本的质量，这样的任务构建策略从根本上受到限制。为了克服这些局限性，我们提出了一个简单而有效的无监督元学习框架，即伪监督对比度（PsCo），用于Few-Shot分类。我们受到最近的自监督学习文献的启发; PsCo利用动量网络和先前批次的队列来改进伪标记并以渐进的方式构建各种任务。我们广泛的实验表明，PsCo优于现有的无监督元学习方法在各种域内和跨域的Few-Shot分类基准。我们还验证了PsCo是很容易扩展到一个大规模的基准，而最近的现有技术的元计划没有。
2023-03-02 cs.AI cs.CV cs.LG
Meta-GPS++: Enhancing Graph Meta-Learning with Contrastive Learning and Self-Training
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；University of Trento（特伦托大学）；Zhuhai College of Science and Technology（珠海科技学院）
针对少样本节点分类中同质/异质图适配、随机干扰、未标记数据利用不足及任务差异化缺失等问题，提出Meta-GPS++框架，结合原型初始化、对比学习、自训练及S²变换，在真实数据集上取得优越性能。
2024-07-20 cs.LG cs.SI
CHAM-net: A Contrastive Hierarchical Adaptive Meta-network for Robust Global Methane Flux Prediction
University of Pittsburgh（匹兹堡大学）；Purdue University（普渡大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；NOAA Global Monitoring Laboratory（国家海洋大气管理局全球监测实验室）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of Maryland（马里兰大学）
提出对比层次自适应元网络（CHAM-net），通过层次编码器-解码器架构从历史数据中学习站点特异性动态，解决时空异质性问题，在模拟和观测数据集上优于基线方法。
2026-05-29 cs.LG
Debiased Graph Poisoning Attack via Contrastive Surrogate Objective
KAIST（韩国科学技术院）
针对现有基于元梯度的图攻击偏向训练节点导致次优的问题，提出基于对比代理目标的攻击方法Metacon，通过新代理损失缓解偏差，在基准数据集上显著提升了攻击性能。
2024-07-27 cs.CR cs.LG
Task-Adaptive Neural Network Search with Meta-Contrastive Learning
KAIST（韩国科学技术院）；AITRICS；Samsung（三星）
大多数传统的神经结构搜索（NAS）方法的局限性在于，它们只生成结构，而不搜索最佳参数。虽然一些NAS方法通过利用在大规模数据集（如ImageNet）上训练的超网来处理这个问题，但如果目标任务与超网训练的数据集高度不相似，则它们可能是次优的。为了解决这些限制，我们引入了一个新的问题\emph{Neural Network Search}（NNS），其目标是为新的数据集和约束搜索最优的预训练网络（例如参数的数量），来自模型动物园。然后，我们提出了一个新的框架来解决这个问题，即\emph{Task-Adaptive Neural Network Search}（TANS）。给定一个由在不同数据集上预训练的网络组成的模型动物园，我们使用一种新的摊销元学习框架来学习具有对比损失的跨模态潜在空间，以最大化数据集与其上的高性能网络之间的相似性，并最小化不相关的网络-网络对之间的相似性。我们验证了我们的方法的有效性和效率在十个现实世界的数据集，对现有的NAS/AutoML基线。结果表明，我们的方法可以立即检索出性能优于基线模型的网络，并且训练步骤明显减少，从而达到目标性能，从而最大限度地降低了获得任务最优网络的总成本。我们的代码和模型动物园可以在https://github.com/wyjeong/TANS上找到。
2021-10-28 cs.LG
Few-shot Visual Reasoning with Meta-analogical Contrastive Learning
Samsung Advanced Institute of Technology（三星先进技术研究院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
虽然人类可以通过观察少量样本来解决需要逻辑推理的视觉难题，但对于最先进的深度推理模型来说，需要在大量数据上进行训练，才能在同一任务上获得类似的性能。在这项工作中，我们建议解决这样一个Few-Shot（或低镜头）的视觉推理问题，通过诉诸类比推理，这是一种独特的人类能力，以确定两组之间的结构或关系相似性。具体来说，给定包含相同类型的视觉推理问题的训练集和测试集，我们提取两个域中元素之间的结构关系，并通过类比学习使它们尽可能相似。我们反复应用这个过程，在假设它不影响训练样本和测试样本之间的关系的情况下，对同一问题的查询进行稍微修改。这允许以有效的方式学习两个样本之间的关系相似性，即使是单对样本。我们验证了我们的方法在RAVEN数据集上，它优于国家的最先进的方法，具有更大的增益时，训练数据是稀缺的。我们进一步元学习我们的类比对比学习模型在相同的任务与不同的属性，并表明，它推广到相同的视觉推理问题与看不见的属性。
2020-07-23 cs.AI cs.LG stat.ML
Reducing and Exploiting Data Augmentation Noise through Meta Reweighting Contrastive Learning for Text Classification
Worcester Polytechnic Institute（伍斯特理工学院）
针对文本分类中增强数据质量参差不齐的问题，提出结合元学习与对比学习的框架，通过重加权增强样本并优化特征表示，在七个GLUE数据集上取得显著性能提升。
2024-09-26 cs.CL cs.LG
Enhancing Ethereum Fraud Detection via Generative and Contrastive Self-supervision
Zhejiang University of Technology（浙江工业大学）；Binjiang Institute of Artificial Intelligence, ZJUT（浙江工业大学滨江人工智能研究院）；Science and Technology on Communication Information Security Control Laboratory（通信信息安全控制技术实验室）
针对以太坊交易中交互频率和类型的不平衡问题，提出双自监督增强的欺诈检测框架Meta-IFD，通过生成式与对比式机制及多视图特征学习有效提升了庞氏骗局等欺诈行为的检测性能。
2024-12-20 cs.LG
Autonomous Aerial Manipulation via Contextual Contrastive Meta Reinforcement Learning
National Key Laboratory of Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；Faculty of Robot Science and Engineering, Northeastern University（东北大学机器人科学与工程学院）；National Key Lab of Autonomous Intelligent Unmanned Systems, Beijing Institute of Technology（北京理工大学自主智能无人系统国家重点实验室）
提出Aco2方法，通过上下文对比元强化学习，使四旋翼无人机在无需人工干预下自主完成不同载荷的抓取、运输和投递，并直接迁移到真实世界。
2026-06-07 cs.LG cs.RO
Multi-Label Contrastive Learning for Abstract Visual Reasoning
本研究将RPM求解转化为多标签分类，提出多标签噪声对比估计和稀疏规则编码，在Balanced-RAVEN和PGM上超越现有最先进方法。
2020-12-03 cs.AI cs.CV cs.LG
Meta-Learning Update Rules for Unsupervised Representation Learning
Google Brain（谷歌大脑）；University of California, Berkeley（加州大学伯克利分校）
无监督学习的一个主要目标是发现对后续任务有用的数据表示，而无需在训练期间访问监督标签。通常，这涉及最小化替代目标，例如生成模型的负对数似然，希望对后续任务有用的表示将作为副作用出现。在这项工作中，我们提出，而不是直接针对稍后所需的任务，通过元学习的无监督学习规则，导致这些任务有用的表示。具体来说，我们的目标是半监督分类性能，我们元学习一种算法-一种无监督的权重更新规则-产生对这项任务有用的表示。此外，我们将我们的无监督更新规则限制为生物激励的神经元局部函数，这使其能够推广到不同的神经网络架构，数据集和数据模式。我们表明，元学习的更新规则产生有用的功能，有时优于现有的无监督学习技术。我们进一步表明，元学习的无监督更新规则推广到具有不同宽度，深度和非线性的训练网络。它还可以推广到对具有随机排列的输入维度的数据进行训练，甚至可以从图像数据集推广到文本任务。
2019-02-26 cs.LG cs.NE stat.ML
AdaCap: An Adaptive Contrastive Approach for Small-Data Neural Networks
Université Paris Dauphine-PSL - CEREMADE（巴黎Dauphine-PSL大学 - CEREMADE）；Ecole Polytechnique - CMAP（巴黎高等理工学院 - CMAP）
AdaCap通过结合对比损失与闭式输出映射，提升小样本情况下神经网络的性能，特别是在残差模型中表现突出。
2025-11-25 cs.LG
RadBERT-CL: Factually-Aware Contrastive Learning For Radiology Report Classification
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Central University of Gujarat（古吉拉特中央大学）；Dell Medical School（戴尔医学院）；Weill Cornell Medicine（威尔康奈尔医学院）
放射学报告是非结构化的，并且包含由放射科医师转录的成像发现和相应的诊断，其包括临床事实和否定和/或不确定的陈述。从放射学报告中提取病理学发现和诊断对于质量控制、人群健康和疾病进展的监测是重要的。现有的工作，主要依赖于基于规则的系统或基于变压器的预训练模型微调，但不能考虑到事实和不确定的信息，因此产生假阳性输出。在这项工作中，我们介绍了三个刻意增强技术，保留事实和关键的信息，同时产生增强对比学习。我们引入RadBERT-CL，它通过自监督对比损失将这些信息融合到BlueBert中。我们在MIMIC-CXR上的实验显示了RadBERT-CL在多类、多标签报告分类的微调方面的优越性能。我们说明，当很少标记的数据是可用的，RadBERT-CL优于传统的SOTA Transformers（BERT/BlueBert）显着更大的利润率（6-11%）。我们还表明，RadBERT-CL学习的表示可以捕获潜在空间中的关键医学信息。
2021-11-19 cs.CL cs.LG
Self-Supervised Contrastive BERT Fine-tuning for Fusion-based Reviewed-Item Retrieval
University of Toronto（多伦多大学）；LG Electronics（LG电子）
针对评论项检索（RIR）任务缺乏标注数据的问题，提出利用自监督对比学习微调BERT嵌入，结合物品-评论两级结构和元数据进行正负样本选择，实验证明后期融合方法显著优于其他基线。
2023-08-01 cs.CL cs.IR cs.LG
Representation learning with a transformer by contrastive learning for money laundering detection
Shine（Shine公司）
本文提出了一种基于Transformer和对比学习的两阶段洗钱检测方法，通过无标签学习表征生成评分，并结合BH程序控制假阳性率，在最少专家监督下显著提升了欺诈识别能力。
2025-07-07 cs.AI cs.LG math.ST
