HCL: Improving Graph Representation with Hierarchical Contrastive Learning
Ping An Healthcare Technology(平安医疗科技);Xidian University(西安电子科技大学);Ping An Health Cloud Company Limited(平安健康云有限公司);Ping An International Smart City Technology Company Limited(平安国际智慧城市科技股份有限公司)
对比学习已经成为图表示学习的有力工具。然而,大多数对比学习方法学习具有固定粗粒度尺度的图的特征,这可能低估局部或全局信息。为了捕获更层次和更丰富的表示,我们提出了一种新的分层对比学习(HCL)框架,显式地学习图表示的分层方式。具体来说,HCL包括两个关键组件:一个新的自适应学习池(L2Pool)方法,以构建更合理的多尺度图拓扑结构,更全面的对比目标,一个新的多通道伪连体网络,以进一步实现更有表现力的学习互信息在每个尺度。综合实验结果表明,HCL在涉及节点分类、节点聚类和图分类的12个数据集上取得了较好的性能。此外,可视化的学习表示表明,HCL成功地捕捉有意义的特性的图形。
2022-10-21 cs.AI cs.LG
LInK: Learning Joint Representations of Design and Performance Spaces through Contrastive Learning for Mechanism Synthesis
Massachusetts Institute of Technology(麻省理工学院);IBM Research(IBM研究院)
本文提出LInK框架,结合对比学习与优化技术解决工程设计逆问题,聚焦平面连杆轨迹综合,通过联合表示实现千万级数据集快速检索,在现有基准上误差降28倍、耗时减20倍,还引入更难的LINK ABC基准,推动机构设计并拓宽对比学习应用。
2024-10-04 cs.AI cs.LG
Understanding Contrastive Learning Through the Lens of Margins
Sungkyunkwan University(成均馆大学);Hyundai Mobis(现代摩比斯);NC Soft(NCSoft公司)
该研究从梯度分析新视角拆解间隔对对比学习梯度的影响,明确强化正样本、按正样本角度与logits缩放梯度是提升其泛化性能的关键,为对比学习改进提供方向。
2023-10-10 cs.LG
Correct-N-Contrast: A Contrastive Approach for Improving Robustness to Spurious Correlations
Stanford University(斯坦福大学);Northeastern University(东北大学)
针对虚假相关性导致机器学习模型最差组性能差、且无虚假属性标签时难优化的问题,提出对比学习方法CNC,借助ERM模型识别同类异虚假特征样本并做对比学习,大幅降低对齐损失,刷新无属性标签下最差组准确率最优水平。
2024-12-11 cs.LG
Improving Music Performance Assessment with Contrastive Learning
Georgia Institute of Technology(佐治亚理工学院)
过去已经提出了几种用于客观音乐表演评估(MPA)的自动方法,然而,现有系统还不能以与专业评委相同的准确度可靠地预测评级。本研究探讨对比学习作为一种潜在的方法,以改善现有的MPA系统。对比学习是表示学习中广泛使用的技术,用于学习能够单独聚类多个类的结构化潜在空间。它已被证明产生基于图像的分类问题的最先进的结果。我们引入了一个加权的对比损失适用于回归任务的卷积神经网络,并表明对比损失的结果在回归任务MPA的性能增益。我们的研究结果表明,基于对比的方法能够通过在神经网络的潜在空间内创建更好的类聚类来匹配并超过MPA回归任务的SoTA性能。
2021-08-03 cs.IR cs.LG cs.SD
Improving Context-Based Meta-Reinforcement Learning with Self-Supervised Trajectory Contrastive Learning
University of California, Berkeley(加利福尼亚大学伯克利分校);Tsinghua University(清华大学);Facebook Research(Facebook研究院)
Meta-强化学习通常需要比单任务强化学习方法多几个数量级的样本。这是因为元训练需要处理更多样化的分布和训练额外的组件,如上下文编码器。为了解决这个问题,我们提出了一种新的自监督学习任务,我们称之为轨迹对比学习(TCL),以改善元训练。TCL采用对比学习并训练上下文编码器来预测是否从同一轨迹采样两个过渡窗口。TCL利用了基于上下文的元RL的自然层次结构,并做出了最少的假设,使其能够普遍适用于基于上下文的元RL算法。它加速了上下文编码器的训练,并从整体上改进了元训练。实验表明,在大多数环境中,TCL在元RL MuJoCo(6个中的5个)和元世界基准测试(50个中的44个)上的表现都优于或优于强元RL基线。
2021-03-10 cs.AI cs.LG
Clustering based Contrastive Learning for Improving Face Representations
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Massachusetts Institute of Technology(麻省理工学院);Inria Paris(法国国家信息与自动化研究所巴黎中心);Daimler TSS(戴姆勒TSS公司)
一个好的聚类算法可以发现数据中的自然分组。这些分组,如果使用得当,为学习表征提供了一种弱监督形式。在这项工作中,我们提出了基于聚类的对比学习(CCL),一种新的基于聚类的表示学习方法,使用从聚类中获得的标签以及视频约束来学习区分人脸特征。我们展示了我们的方法对视频人脸聚类的学习表示的挑战性任务。通过几项消融研究,我们分析了从不同来源创建成对的阳性和阴性标签的影响。在BBT-0101、BF-0502和ACCIO三个具有挑战性的视频人脸聚类数据集上的实验表明,CCL在所有数据集上都达到了新的水平。
2020-04-05 cs.CV cs.LG
Edge Guided GANs with Contrastive Learning for Semantic Image Synthesis
ETH Zurich(苏黎世联邦理工学院);University of Hong Kong(香港大学);HKUST(香港科技大学);University of Trento(特伦托大学);University of Wurzburg(维尔茨堡大学)
我们提出了一种新的ECGAN具有挑战性的语义图像合成任务。虽然已经取得了相当大的改善,合成图像的质量是远远不能令人满意的,由于三个基本上未解决的挑战。1)语义标签不提供详细的结构信息,使得难以综合局部细节和结构。2)广泛采用的CNN操作,如卷积,下采样和归一化通常会导致空间分辨率损失,从而无法完全保留原始语义信息,导致语义不一致的结果。3)现有的语义图像合成方法集中于从单个输入语义布局建模局部语义信息。然而,它们忽略了多个输入语义布局的全局语义信息,即,跨不同输入布局的像素之间的语义交叉关系。为了解决1),我们提出使用边缘作为中间表示,其进一步通过所提出的注意力引导边缘转移模块来引导图像生成。边缘信息由卷积生成器产生,并引入详细的结构信息。为了解决2),我们设计了一个有效的模块,根据原始的语义布局有选择地突出类相关的特征图,以保留语义信息。为了解决3)问题,受当前对比学习方法的启发,提出了一种新的对比学习方法,该方法的目的是使属于同一语义类的像素嵌入比来自不同语义类的像素嵌入生成更相似的图像内容。这样做可以通过显式地探索来自多个输入语义布局的标记像素的结构来捕获更多的语义关系。在三个具有挑战性的数据集上的实验表明,我们的ECGAN比最先进的方法取得了更好的结果。
2023-03-28 cs.CV cs.LG eess.IV
Self-supervised Graph Transformer with Contrastive Learning for Brain Connectivity Analysis towards Improving Autism Detection
University of Arizona(亚利桑那大学);Children's National Hospital(儿童国家医院);Imperial College London(伦敦帝国学院)
本文提出一种结合对比学习与随机图改变的自监督图Transformer框架,通过脑网络Transformer编码器分析fMRI数据,在ABIDE数据集上实现82.6 AUROC和74%准确率,显著提升了自闭症检测性能。
2025-01-18 cs.AI cs.LG
Towards Improving Robustness Against Common Corruptions in Object Detectors Using Adversarial Contrastive Learning
Laboratory of Intelligent Systems(智能系统实验室)
本文提出对抗对比学习框架,通过生成实例级对抗样本并优化对比损失,同时增强目标检测器对对抗攻击和常见损坏的鲁棒性,以提升安全关键应用中的可靠性。
2023-11-14 cs.AI cs.CV cs.LG
Improving Transformation Invariance in Contrastive Representation Learning
University of Oxford(牛津大学)
我们提出的方法来加强通过对比学习获得的表示的不变性。虽然现有的方法隐式地诱导一定程度的不变性表示学习,我们希望更直接地执行编码过程中的不变性。为此,我们首先介绍了一个对比学习的训练目标,它使用一种新的正则化器来控制变换下的表示变化。我们表明,用这个目标训练的表示在下游任务上表现得更好,并且对测试时引入的滋扰变换更鲁棒。其次,我们提出了一个变化,如何测试时间表示是通过引入一个功能平均的方法,结合编码从原始输入的多个变换,发现这导致全面的性能增益产生。最后,我们介绍了新的Spirograph数据集,在具有多个下游任务的可微分生成过程的背景下探索我们的想法,表明我们的学习不变性的技术非常有益。
2021-03-22 cs.AI cs.LG stat.ML
SamToNe: Improving Contrastive Loss for Dual Encoder Retrieval Models with Same Tower Negatives
Google Inc.(谷歌公司)
本文提出 SamToNe 对比损失,将同编码器塔中的查询或文档作为负样本,提升对称与非对称双编码器在多个检索基准上的表现,并从嵌入对齐和正则化角度解释其机理。
2023-06-05 cs.IR cs.LG
$\mathbb{X}$-Sample Contrastive Loss: Improving Contrastive Learning with Sample Similarity Graphs
Meta FAIR;New York Univeristy(纽约大学);Brown University(布朗大学);Genentech(基因泰克);CIFAR(加拿大高级研究院)
针对传统对比损失仅采用二元相似图、忽略样本间跨相似性的不足,提出$\mathbb{X}$-样本对比损失,显式编码样本关联关系,在多数据集视觉任务中性能优于CLIP等基线模型。
2024-09-11 cs.CV cs.LG
Improving Multimodal Sentiment Analysis: Supervised Angular Margin-based Contrastive Learning for Enhanced Fusion Representation
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
本文提出基于监督角度间隔的对比学习框架,通过关注同类情感分数差异和单模态重要性,增强多模态情感分析中融合表示的判别力与泛化性。
2023-12-04 cs.CL cs.LG
Improving Contrastive Learning with Model Augmentation
Salesforce Research(赛富时研究院);Arizona State University(亚利桑那州立大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
序列推荐的目的是预测用户行为中的下一个项目,可以通过描述序列中项目之间的关系来解决。针对序列中数据稀疏性和噪声问题,提出了一种新的自监督学习(SSL)方法,利用序列正反两个视角之间的对比学习来提高学习性能。然而,现有的方法都是从数据的角度采用增强来构建视图,而我们认为:1)最佳的数据增强方法很难设计,2)数据增强方法破坏序列相关性,3)数据增强未能纳入全面的自监督信号。因此,我们调查的可能性模型增强构建视图对。我们提出了三个层次的模型增强方法:神经元掩蔽,层下降,和编码器补充。这项工作开辟了一个新的方向,在构建对比SSL的意见。实验验证了模型增强方法在SSL序列推荐中的有效性。代码为\footnote{\url{https://github.com/salesforce/SRMA}}。
2022-03-25 cs.AI cs.IR cs.LG
Improving Medical Multi-modal Contrastive Learning with Expert Annotations
Aalto University(阿尔托大学)
本研究提出整合放射科医生眼动热图标注的eCLIP模型,通过热图处理器与mixup增强解决医学多模态对比学习的数据稀缺与模态鸿沟问题,适用于各类CLIP变体,在多任务上实现嵌入质量提升。
2024-07-15 cs.CV cs.LG
Improving Domain Generalization in Contrastive Learning using Adaptive Temperature Control
Massachusetts Institute of Technology(麻省理工学院)
本文提出通过自适应温度控制提升对比学习中的领域泛化能力,通过引入领域标签增强表示的领域不变性,从而提升模型在分布外场景下的性能。
2026-01-12 cs.AI cs.LG
Improving Molecular-Morphology Contrastive Pretraining using Deep-Learning-based Morphology Profiles
GSK(葛兰素史克)
本研究通过引入深度学习形态特征提取,改进MoCoP对比预训练方法,增强分子嵌入对细胞形态扰动的编码,提升QSAR、毒性等预测性能。
2026-09-28 cs.LG q-bio.BM
Improving Multi-Label Contrastive Learning by Leveraging Label Distribution
College of Computer Science and Software Engineering, Hohai University(河海大学计算机与软件学院);State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
本文提出一种利用标签分布改进多标签对比学习的方法,通过标签交集选择正负样本,并引入基于RBF和对比损失的两种方法恢复标签分布,在九个数据集的六项指标上优于现有方法。
2025-01-31 cs.AI cs.CV cs.LG
DimCL: Dimensional Contrastive Learning For Improving Self-Supervised Learning
Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
本文提出维度对比学习 DimCL,通过沿维度方向进行对比学习增强特征多样性,作为正则化器融入自监督学习框架,在多种数据集和骨干架构上显著提升性能。
2023-09-21 cs.AI cs.CV cs.LG
Improving Molecular Contrastive Learning via Faulty Negative Mitigation and Decomposed Fragment Contrast
Carnegie Mellon University(卡内基梅隆大学)
深度学习已经在计算化学中流行,并广泛应用于分子性质预测。近年来,自监督学习(SSL),特别是对比学习(CL),因其具有学习推广到巨大化学空间的分子表征的潜力而受到越来越多的关注。与监督学习不同,SSL可以直接利用大量未标记的数据,这大大减少了通过昂贵且耗时的模拟或实验来获取分子属性标签的工作。然而,大多数分子SSL方法借用了来自机器学习社区的见解,但忽视了独特的化学信息学(例如,分子指纹)和多级图形结构(例如,官能团)的分子。在这项工作中,我们提出了iMoltron:改进的分子对比学习的表示与图神经网络(GNNs)在两个方面,(1)减少错误的负面对比情况下,通过考虑分子对之间的化学信息学相似性;(2)片段水平之间的对比分子内和分子间的子结构分解。实验表明,所提出的策略显着提高GNN模型的性能,对各种具有挑战性的分子性质的预测。与之前的CL框架相比,iMoltron在7个分类基准上的ROC-AUC平均提高了1.3%,在5个回归基准上的误差平均降低了4.8%。在大多数基准测试中,由iMoltron预训练的通用GNN可以与具有复杂架构设计和工程特性的监督学习模型相媲美,甚至超过后者。进一步的研究表明,通过iMolybdenum学习的表征本质上嵌入了可以推理分子相似性的支架和官能团。
2022-02-18 cs.LG physics.chem-ph
Perfectly Balanced: Improving Transfer and Robustness of Supervised Contrastive Learning
Stanford University(斯坦福大学);Adobe Research(奥多比研究院)
一个理想的学习表示应该表现出可移植性和鲁棒性。监督对比学习(SupCon)是一种很有前途的训练精确模型的方法,但由于类崩溃,当类中的所有点映射到相同的表示时,会产生无法捕获这些属性的表示。最近的研究表明,“展开”这些表征可以改善它们,但确切的机制知之甚少。我们认为,单独创建传播是不够的更好的表示,因为传播是不变的类内的排列。相反,正确的扩散程度和打破这种不变性的机制都是必要的。我们首先证明,增加一个加权类条件InfoNCE损失SupCon控制的程度蔓延。接下来,我们研究了三种机制来打破排列不变性:使用约束编码器,添加类条件自动编码器和使用数据增强。我们发现,后两个鼓励聚类的潜在子类比前者更现实的条件下。使用这些见解,我们表明,将适当加权的类条件InfoNCE损失和类条件自动编码器添加到SupCon中,在5个标准数据集上的粗到细传输上实现了11.1个提升点,在3个数据集上的最差组鲁棒性上实现了4.7个提升点,在CelebA上设置了11.5个点。
2022-07-14 cs.LG stat.ML
Improving Paratope and Epitope Prediction by Multi-Modal Contrastive Learning and Interaction Informativeness Estimation
College of Informatics, Huazhong Agricultural University(华中农业大学信息学院);Hubei Key Laboratory of Agricultural Bioinformatics, Huazhong Agricultural University(华中农业大学湖北省农业生物信息重点实验室);Engineering Research Center of Intelligent Technology for Agriculture, Ministry of Education(教育部农业智能技术工程研究中心)
提出MIPE方法,通过多模态对比学习整合序列与结构数据并利用交互信息量估计空间交互,显著提升了抗体-抗原结合残基(paratope和epitope)的预测性能。
2024-05-31 cs.LG q-bio.BM q-bio.QM
Improving Node Representation by Boosting Target-Aware Contrastive Loss
Purdue University(普渡大学);Microsoft Research(微软研究院)
针对现有图节点表示学习方法泛化受限或信号任务相关性不足的问题,提出目标感知对比学习框架,通过XGSampler采样正例优化XTCL损失,提升节点分类与链路预测性能并增强可解释性。
2024-11-01 cs.AI cs.LG
GMS-CAVP: Improving Audio-Video Correspondence with Multi-Scale Contrastive and Generative Pretraining
Carnegie Mellon University(卡内基梅隆大学);MBZUAI;Tsinghua University(清华大学)
GMS-CAVP通过多尺度对比和生成预训练方法提升音频视频对应关系建模,实现更深入的跨模态理解和高保真生成。
2026-01-27 cs.AI cs.CV cs.LG
Understanding and Improving the Role of Projection Head in Self-Supervised Learning
Australian National University(澳大利亚国立大学);Amazon(亚马逊)
自监督学习(SSL)的目的是产生有用的特征表示,而无需访问任何人类标记的数据注释。由于最近基于对比学习的SSL方法的成功,如Simplified,这个问题已经得到了普及。目前大多数对比学习方法都是在骨干网络的末端附加一个参数化的投影头来优化InfoNCE目标,然后在训练后丢弃学习到的投影头。这就提出了一个根本性的问题:如果我们在训练后要丢弃一个可学习的投影头,为什么还需要它呢?在这项工作中,我们首先对SSL训练的行为进行了系统的研究,重点是投影头层的作用。通过将投影头制定为InfoNCE目标的参数组件而不是网络的一部分,我们提出了一种替代的优化方案,用于训练基于对比学习的SSL框架。我们对多个图像分类数据集的实验研究证明了所提出的方法在SSL文献中的替代品的有效性。
2022-12-22 cs.CV cs.LG
Contrastive Weighted Learning for Near-Infrared Gaze Estimation
通过使用深度学习,基于外观的注视估计已经非常成功。许多后续工作改进了用于注视估计的领域泛化。然而,尽管在用于凝视估计的领域泛化方面已经取得了很大进展,但最近的大多数工作都集中在跨数据集性能上-考虑照明,头部姿势和照明的不同分布。虽然改进RGB图像的不同分布中的注视估计是重要的,但是基于近红外图像的注视估计对于黑暗环境中的注视估计也是至关重要的。此外,对于回归任务,仅依赖于监督学习也存在固有的局限性。本文致力于解决这些问题,并提出了GazeCWL,一种新的框架与近红外图像使用对比学习的视线估计。这利用了用于数据增强的对抗攻击技术和专门用于回归任务的新型对比损失函数,该回归任务有效地聚类了潜在空间中不同样本的特征。在基于红外图像的视线估计中,我们的模型优于以前的领域泛化模型,比基线模型的性能提高了45.6%,同时比最先进的模型提高了8.6%,证明了我们的方法的有效性.
2022-12-08 cs.CV cs.LG
Contrastive Neural Processes for Self-Supervised Learning
Panasonic AI Lab(松下人工智能实验室);Panasonic Technology Division(松下技术部门);AIoli Labs(AIoli实验室)
最近的对比方法显示了自监督学习在几个领域的显着改善。特别地,对比方法在例如计算机视觉中可以容易地构造数据增强的情况下是最有效的。然而,它们在没有建立数据转换(如时间序列数据)的领域中不太成功。在本文中,我们提出了一种新的自监督学习框架,结合对比学习与神经过程。它依赖于神经过程的最新进展来执行时间序列预测。这允许通过采用一组各种采样函数来生成数据的增强版本,从而避免手动设计的增强。我们扩展了传统的神经过程,并提出了一种新的对比损失,以在自监督设置中学习时间序列表示。因此,与以前的自监督方法不同,我们的增强管道是任务不可知的,使我们的方法能够在各种应用程序中表现良好。特别是,使用我们的方法训练的具有线性分类器的ResNet能够在工业,医疗和音频数据集上超越最先进的技术,将ECG周期性数据的准确性提高10%以上。我们进一步证明了我们的自监督表示在潜在空间中更有效,提高了多个聚类指数,并且在10%的标签上微调我们的方法可以获得与完全监督学习竞争的结果。
2021-12-08 cs.LG eess.SP
Improving Word Translation via Two-Stage Contrastive Learning
University of Cambridge(剑桥大学)
本文提出两阶段对比学习框架用于双语词典归纳,先精化静态词嵌入的跨语言映射,再对 mBERT 进行面向 BLI 的对比微调,在 28 个语言对的 112 个设置上均取得提升。
2024-10-17 cs.AI cs.CL cs.IR
Understanding and Achieving Efficient Robustness with Adversarial Supervised Contrastive Learning
Monash University(莫纳什大学);Defence Science and Technology Group, Australia(澳大利亚国防科技集团);CSIRO Data61, Australia(澳大利亚联邦科学与工业研究组织Data61)
对比学习(CL)是近年来兴起的一种有效的表征学习方法。这种方法的核心是选择正(相似)和负(不相似)集,为模型提供在潜在空间中的数据和类表示之间进行“对比”的机会。在本文中,我们研究CL提高模型的鲁棒性使用对抗样本。我们首先设计并进行了一项全面的研究,以了解对抗性脆弱性在潜在空间中的表现。基于这些经验证据,我们提出了一种有效和高效的监督对比学习,以实现对对抗攻击的模型鲁棒性。此外,我们提出了一种新的样本选择策略,通过去除冗余和提高与锚的相关性来优化正/负集。大量的实验表明,我们的对抗监督对比学习(ASCL)方法实现了与最先进的防御相当的性能,同时通过仅使用$42.8\%$阳性和$6.3\%$阴性,显着优于其他基于CL的防御方法。
2021-10-22 cs.AI cs.CV cs.LG
Improving Self-Supervised Learning by Characterizing Idealized Representations
Stanford University(斯坦福大学)
尽管自监督学习(SSL)方法在经验上取得了成功,但尚不清楚其表示的哪些特征导致高下游准确性。在这项工作中,我们的特性,SSL表示应该理想地满足。具体地说,我们证明了必要和充分条件,使得对于给定的数据增强的任何任务不变,所需的探针(例如,线性或MLP)在该表示上训练达到完美的准确度。这些要求导致了一个统一的概念框架,用于改进现有的SSL方法和派生新的方法。对于对比学习,我们的框架规定了简单但显着的改进以前的方法,如使用不对称的投影头。对于非对比学习,我们使用我们的框架,以获得一个简单而新颖的目标。我们得到的SSL算法在标准基准测试中优于基线,包括ImageNet线性探测的SwAV+ multicrop。
2022-12-12 cs.LG stat.ML
Contrastive Learning Via Equivariant Representation
Xi’an Jiaotong-Liverpool University(西交利物浦大学);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);University of Science and Technology of China(中国科学技术大学);University of Liverpool(利物浦大学)
本文提出CLeVER等变对比学习框架,通过兼容任意复杂增强策略提取并融入等变信息,有效提升了主流CL模型的训练效率、鲁棒性及下游任务性能,并增强了旋转不变性与敏感性。
2024-10-10 cs.AI cs.LG
Improving Pediatric Pneumonia Diagnosis with Adult Chest X-ray Images Utilizing Contrastive Learning and Embedding Similarity
Bangladesh University of Engineering and Technology(孟加拉工程技术大学);Qatar University(卡塔尔大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出一种三分支并行学习框架,利用成人CXR数据及对比学习与嵌入相似性损失,提升儿科肺炎诊断性能,AUROC达0.8464,优于传统联合训练。
2024-04-19 cs.CV cs.LG eess.IV
GAugLLM: Improving Graph Contrastive Learning for Text-Attributed Graphs with Large Language Models
New York University(Shanghai)(上海纽约大学);Rice University(莱斯大学)
针对文本属性图自监督学习中文本扰动难、图文不对齐的问题,提出GAugLLM框架,通过混合提示专家和协同边修改器实现增强,可即插即用提升多种图学习方法性能。
2024-06-17 cs.AI cs.IR cs.LG
Augmented Contrastive Self-Supervised Learning for Audio Invariant Representations
Microsoft(微软)
由于标记数据的稀缺性,提高泛化能力是音频分类的主要挑战。自监督学习(SSL)方法通过利用未标记的数据来学习下游分类任务的有用特征来解决这个问题。在这项工作中,我们提出了一个增强的对比SSL框架,学习不变表示从未标记的数据。我们的方法将各种扰动应用于未标记的输入数据,并利用对比学习来学习对这种扰动具有鲁棒性的表示。在Audioset和DESED数据集上的实验结果表明,我们的框架在声音/事件分类任务上的性能明显优于最先进的SSL和监督学习方法。
2021-12-21 cs.LG cs.SD eess.AS
Tumor Location-weighted MRI-Report Contrastive Learning: A Framework for Improving the Explainability of Pediatric Brain Tumor Diagnosis
The Hospital for Sick Children(病童医院);University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(矢量人工智能研究所);University Hospital Augsburg(奥格斯堡大学医院)
针对卷积神经网络在脑肿瘤MRI诊断中可解释性不足的问题,提出整合肿瘤位置的MRI-放射报告对比学习框架,提升了儿童低级别胶质瘤基因标记分类的性能与可解释性。
2024-11-01 cs.CV cs.LG eess.IV
Exemplar Learning for Medical Image Segmentation
Carleton University(卡尔顿大学);Amii(阿尔伯塔机器智能研究所)
医学图像标注通常需要专业知识,因此会产生耗时且昂贵的数据标注成本。为了减轻这一负担,我们提出了一种新的学习方案,范例学习(EL),探索自动学习过程中的医学图像分割与一个单一的注释图像的例子。这种创新的学习任务特别适用于医学图像分割,其中所有类别的器官都可以在一张图像中呈现并一次性注释。为了解决这一具有挑战性的EL任务,我们提出了一个基于范例学习的合成网络(ELSNet)框架,用于医学图像分割,实现了创新的基于范例的数据合成,基于像素原型的对比嵌入学习,以及基于伪标签的未标记数据的利用。具体来说,ELSNet引入了两个新的模块用于图像分割:一个样本指导的合成模块,它通过从给定的样本合成注释样本来丰富和多样化训练集,以及一个基于像素原型的对比嵌入模块,它通过对比表示学习来增强基本分割模型的区分能力。此外,我们部署了一个两阶段的分割模型训练过程,该过程利用具有预测伪分割标签的未标记数据。为了评估这个新的学习框架,我们对几个器官分割数据集进行了广泛的实验,并进行了深入的分析。实验结果表明,所提出的范例学习框架产生有效的分割结果。
2022-10-08 cs.CV cs.LG eess.IV
ACTION++: Improving Semi-supervised Medical Image Segmentation with Adaptive Anatomical Contrast
Yale University(耶鲁大学)
针对医学数据长尾分布及类别不平衡问题,提出带自适应解剖对比的ACTION++半监督分割框架,通过自适应监督对比损失与动态温度τ提升性能,在两个基准上实现SOTA且标签效率更优。
2023-07-17 cs.AI cs.CV cs.LG
A Question-centric Multi-experts Contrastive Learning Framework for Improving the Accuracy and Interpretability of Deep Sequential Knowledge Tracing Models
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Guangdong Institute of Smart Education, Jinan University(暨南大学广东智慧教育研究院);Halicioglu Data Science Institute, University of California, San Diego(加州大学圣地亚哥分校哈利奇奥格鲁数据科学学院)
针对深度知识追踪中问题个体信息建模不足和预测结果缺乏可解释性的问题,本文提出以问题为中心的多专家对比学习框架Q-MCKT,以提升知识追踪的准确性与可解释性。
2024-07-05 cs.AI cs.CY cs.LG
Contrastive Private Data Synthesis via Weighted Multi-PLM Fusion
Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR));Harbin Institute of Technology(哈尔滨工业大学);Shanghai Jiao Tong University(上海交通大学);AsiaInfo Technologies(亚信科技)
提出WASP框架,通过Top-Q投票机制和动态加权多个预训练模型协作进行对比生成,在确保差分隐私的同时有效提升数据缺乏场景下的合成数据质量及下游任务性能。
2025-02-01 cs.LG
DAPO: Design Structure-Aware Pass Ordering in High-Level Synthesis with Graph Contrastive and Reinforcement Learning
The Hong Kong University of Science and Technology(香港科学与技术大学);Indian Institute of Technology (Palakkad)(印度理工学院(帕拉卡德));Indian Institute of Technology (Goa)(印度理工学院(果阿));The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
DAPO通过对比学习和强化学习,实现高阶综合中设计结构感知的流程排序,提升优化策略的效率和准确性。
2025-12-12 cs.LG
CoDi: Co-evolving Contrastive Diffusion Models for Mixed-type Tabular Synthesis
Yonsei University(延世大学)
本文提出CoDi方法,通过两个互为条件且协同演化的扩散模型分别处理连续与离散变量,并引入对比学习与负采样强化二者关联,在11个数据集上验证了其在混合类型表格合成中的有效性。
2023-09-21 cs.AI cs.LG
CALDA: Improving Multi-Source Time Series Domain Adaptation with Contrastive Adversarial Learning
Washington State University(华盛顿州立大学)
该研究提出CALDA框架,结合对比与对抗学习实现多源时间序列无监督域适应,无需数据增强和伪标记,利用跨源标签信息提升性能,弱监督可进一步增强效果,在多个数据集上验证了有效性。
2023-07-21 cs.LG
Distillation Contrastive Decoding: Improving LLMs Reasoning with Contrastive Decoding and Distillation
VietAI Research(VietAI研究院)
提出Distillation Contrastive Decoding(DCD)方法,结合对比提示与Dropout、Quantization等蒸馏技术,免除业余模型需求并降低内存,在GSM8K和StrategyQA等基准上显著提升LLMs推理性能。
2024-08-23 cs.AI cs.CL cs.LG
Improving Adversarial Robustness by Contrastive Guided Diffusion Process
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of California, Los Angeles(加州大学洛杉矶分校)
本文提出对比引导扩散过程(Contrastive-DP),通过对比损失增强生成数据的可区分性,从而提高对抗鲁棒性,并在理论和图像数据集实验中验证了其有效性。
2023-07-04 cs.CV cs.LG
Mitigating Sampling Bias and Improving Robustness in Active Learning
Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
本文提出了简单有效的方法,以减轻采样偏差在主动学习,同时实现最先进的精度和模型的鲁棒性。我们引入了监督对比主动学习,利用对比损失的主动学习在监督设置。我们提出了一个无偏的查询策略,选择信息丰富的数据样本的不同特征表示与我们的方法:监督对比主动学习(SCAL)和深度特征建模(DFM)。我们经验证明,我们提出的方法减少采样偏差,实现最先进的准确性和模型校准的主动学习设置与查询计算26倍的速度比贝叶斯主动学习的分歧和11倍的速度比CoreSet。所提出的SCAL方法在对数据集移位和分布外的鲁棒性方面有很大的优势。
2021-09-13 cs.LG
Scalable Maximum Entropy Population Synthesis via Persistent Contrastive Divergence
Department of Physics and Astronomy, City Science Lab University of Bologna(物理与天文学系,城市科学实验室博洛尼亚大学)
本文提出GibbsPCDSolver方法,通过持续对比散度实现高效最大熵人口合成,解决了传统方法在计算效率和样本多样性上的不足。
2026-04-17 cs.LG
Analyzing and Improving the Optimization Landscape of Noise-Contrastive Estimation
Carnegie Mellon University(卡内基梅隆大学)
噪声对比估计(NCE)是一种用于学习非归一化概率模型的统计一致性方法。根据经验观察到,噪声分布的选择对于NCE的性能至关重要。然而,这种观察从未被正式或量化。事实上,甚至不清楚由选择不当的噪声分布引起的困难本质上是统计的还是算法的。在这项工作中,我们正式查明NCE的性能不佳的原因时,使用不适当的噪声分布。也就是说,我们证明这些挑战是由于一个行为不端(更准确地说,平坦)的损失景观。为了解决这个问题,我们引入了一种称为“eNCE”的NCE变体,它使用指数损失,并且当目标和噪声分布在给定的指数族中时,归一化梯度下降可证明地解决了景观问题。
2021-10-21 cs.LG stat.ML
Improving embedding with contrastive fine-tuning on small datasets with expert-augmented scores
BA Inc.(BA公司)
本文提出在带有专家增强分数的小数据集上通过对比微调改进文本嵌入模型,使用软标签微调以提升语义相似性和检索能力,在MTEB多个检索任务上优于基准模型,适用于标记数据稀缺的现实场景。
2024-08-19 cs.AI cs.CL cs.LG
Improving Large Language Model Safety with Contrastive Representation Learning
ETH Zurich(苏黎世联邦理工学院);MPI for Intelligent Systems(智能系统最大计划);University of Toronto(多伦多大学)
本文提出基于对比表征学习的框架,通过三元组损失和对抗性难负样本挖掘提升大语言模型对对抗攻击的鲁棒性。
2025-12-28 cs.AI cs.CL cs.LG
VQCPC-GAN: Variable-Length Adversarial Audio Synthesis Using Vector-Quantized Contrastive Predictive Coding
Sony Computer Science Laboratory(索尼计算机科学实验室);LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI,巴黎电信学院,巴黎综合理工学院)
受计算机视觉领域的影响,生成对抗网络(GANs)通常用于音频域,使用固定大小的二维频谱图表示作为“图像数据”。然而,在(音乐)音频域中,通常期望生成可变持续时间的输出。本文提出了VQCPC-GAN,一个对抗性的框架,通过利用矢量量化对比预测编码(VQCPC)合成可变长度的音频。从真实音频数据中提取的VQCPC令牌序列用作GAN架构的条件输入,提供所生成内容的逐步时间相关特征。输入噪声z(对抗架构中的特征)随时间保持固定,确保全局特征的时间一致性。我们通过比较不同的指标集对各种强基线来评估所提出的模型。结果表明,即使基线得分最好,VQCPC-GAN即使在生成可变长度音频时也能实现相当的性能。在附带的网站中提供了许多合理的示例,我们发布了可重复性的代码。
2021-07-30 cs.AI cs.LG cs.SD
Improving Weakly Supervised Visual Grounding by Contrastive Knowledge Distillation
The Chinese University of Hong Kong(香港中文大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Tencent AI Lab(腾讯AI实验室);University of Rochester(罗切斯特大学)
弱监督短语接地旨在仅使用图像-句子对来学习区域-短语对应关系。因此,一个主要的挑战在于训练过程中图像区域和句子短语之间的缺失链接。为了解决这一挑战,我们利用一个通用的对象检测器在训练时,并提出了一个对比学习框架,占区域短语和图像句子匹配。我们的核心创新是学习区域短语得分函数,在此基础上进一步构建图像句子得分函数。重要的是,我们的区域-短语得分函数是通过从图像-句子对内检测到的对象名称和候选短语之间的软匹配得分中提取来学习的,而图像-句子得分函数是由地面实况图像-句子对监督的。这种评分函数的设计消除了在测试时进行目标检测的需要,从而显著降低了推理成本。在没有花里胡哨的情况下,我们的方法在视觉短语基础上实现了最先进的结果,超过了以前在测试时需要昂贵的对象检测器的方法。
2021-04-25 cs.CV cs.LG
LLM Probing with Contrastive Eigenproblems: Improving Understanding and Applicability of CCS
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文重新审视了无监督探针方法CCS,将其双项目标优化问题重新表述为特征值问题,提出相对对比一致性以获得闭式解,在保持性能的同时解决了随机初始化敏感性问题,并扩展了多变量适用性。
2025-11-03 cs.CL cs.LG
Neural Speech Synthesis on a Shoestring: Improving the Efficiency of LPCNet
Amazon Web Services(亚马逊云科技)
神经语音合成模型可以合成高质量的语音,但是通常需要高计算复杂度来这样做。在以前的工作中,我们介绍了LPCNet,它使用线性预测来显着降低神经合成的复杂性。在这项工作中,我们进一步提高了LPCNet的效率-针对算法和计算改进-使其可用于各种设备。我们证明了合成质量的提高,同时操作速度提高了2.5倍。由此产生的开源LPCNet算法可以在大多数现有手机上执行实时神经合成,甚至可以在某些嵌入式设备中使用。
2022-02-22 cs.LG cs.SD eess.AS