Hard Negative Sampling via Regularized Optimal Transport for Contrastive Representation Learning
Tufts University(塔夫茨大学);Boston University(波士顿大学)
该研究针对无监督对比表示学习的难负例采样问题,提出基于正则化最优传输的极小极大框架,通过正则化传输耦合控制负例难度,设计新的基代价函数,提升了下游任务性能。
2023-12-14 cs.LG math.ST stat.TH
Semi-supervised Domain Adaptive Medical Image Segmentation through Consistency Regularized Disentangled Contrastive Learning
Stony Brook University(石溪大学)
本文提出一种两阶段半监督域自适应医学图像分割方法,通过域-内容解耦对比学习与像素级一致性约束预训练编码器,再结合少量目标域标签微调,在SSDA和UDA设置下均优于现有最优方法。
2023-07-06 cs.AI cs.CV
Lung-SRAD: Spectral-Aware Regularized Audio DASS with Dual-Axis Patch-Mix Contrastive Learning for Respiratory Sound Classification
RSC LAB, MODULABS(RSC实验室,MODULABS);Department of Electronic Engineering, Wonkwang University(圆光大学电子工程系);AI Convergence Research Institute, Wonkwang University(圆光大学人工智能融合研究所)
针对呼吸音分类中AST模型对局部异常模式不敏感的问题,提出基于状态空间模型的谱感知层正则化和双轴补丁混合对比学习,在ICBHI基准上达到64.48%分数,比AST基线提升5%。
2026-06-11 cs.AI cs.SD
Hyperspherically Regularized Networks for Self-Supervision
University of Aberdeen(阿伯丁大学)
Bootstrap Your Own Latent(BYOL)引入了一种自监督学习的方法,避免了对比范式,并随后消除了与此类方法相关的负采样的计算负担。然而,我们的经验发现,下BYOL的自蒸馏范式产生的图像表示是不好的分布在表示空间相比,对比方法。这项工作经验表明,对比度损失所实施的功能多样性是有益的图像表示的均匀性时,采用BYOL,因此,提供了更大的类间表示可分性。此外,我们探索并提倡使用正则化方法,特别是网络权重的超球能量的逐层最小化(即熵的最大化),以鼓励表示的均匀性。我们表明,直接优化标准损失的均匀性度量,或正则化BYOL架构的网络以最小化神经元的超球面能量,可以产生更均匀分布的表示,从而更好地执行下游任务。
2022-03-27 cs.LG
SinSim: Sinkhorn-Regularized SimCLR
University of Waterloo(滑铁卢大学)
本文提出 SinSim,将最优传输中的 Sinkhorn 正则化引入 SimCLR,以构建更具几何结构的特征空间,并在多个数据集上验证其优于或比肩主流自监督方法。
2025-02-13 cs.CV cs.LG stat.ML
Contrastive Unsupervised Learning of World Model with Invariant Causal Features
Cambridge Research Laboratory(剑桥研究实验室);Toshiba Europe Limited(东芝欧洲有限公司);University of Cambridge(剑桥大学)
在本文中,我们提出了一个世界模型,学习因果关系的特点,使用不变性原则。特别是,我们使用对比无监督学习来学习不变的因果特征,这使得不相关部分或观察风格的增强具有不变性。基于世界模型的强化学习方法独立地优化表示学习和策略。因此,由于缺乏对表示学习模块的监督信号,天真的对比损失实现崩溃。我们提出了一个干预不变的辅助任务,以减轻这个问题。具体来说,我们利用深度预测来明确地执行不变性,并使用数据增强作为对RGB观察空间的样式干预。我们的设计利用无监督表示学习来学习具有不变因果特征的世界模型。我们提出的方法在iGibson数据集上的分布点导航任务上显着优于当前最先进的基于模型和无模型强化学习方法。此外,我们提出的模型擅长于我们的感知学习模块的仿真到现实迁移。最后,我们在DeepMind控制套件上评估了我们的方法,并且由于深度不可用,因此只能隐式地执行不变性。尽管如此,我们提出的模型与最先进的对应模型表现相当。
2022-09-29 cs.AI cs.CV cs.LG
A Framework using Contrastive Learning for Classification with Noisy Labels
EURA NOVA BE
我们提出了一个框架,使用对比学习作为一个预训练任务来执行图像分类的存在噪声标签。最近的策略,如伪标记,高斯混合模型的样本选择,加权监督对比学习已被结合到一个微调阶段后的预训练。本文提供了一个广泛的实证研究表明,一个初步的对比学习步骤带来了显着的增益性能时,使用不同的损失函数:非鲁棒性,鲁棒性,和早期学习正则化。我们在标准基准测试和真实世界数据集上进行的实验表明:i)对比预训练增加了任何损失函数对噪声标签的鲁棒性,ii)额外的微调阶段可以进一步提高准确性,但代价是额外的复杂性。
2021-04-19 cs.CV cs.LG
Multi-view Contrastive Graph Clustering
University of Electronic Science and Technology of China(电子科技大学)
随着信息技术的爆炸式增长,多视图图形数据变得越来越普遍和有价值。大多数现有的多视图聚类技术要么集中在多个图形或多视图属性的情况下。在本文中,我们提出了一个通用的框架来聚类多视图属性图数据。具体地说,受对比学习成功的启发,我们提出了多视图对比图聚类(MCGC)方法来学习一致性图,因为原始图可能是嘈杂的或不完整的,并不直接适用。我们的方法由两个关键步骤组成:首先通过图过滤过滤掉不需要的高频噪声,同时保留图的几何特征,并获得节点的平滑表示;然后通过图对比度损失学习正则化的共识图。几个基准数据集上的结果显示了我们的方法相对于最先进的方法的优越性。特别是,我们的简单方法优于现有的基于深度学习的方法。
2021-10-22 cs.AI cs.CV cs.LG
Contrastive Learning of Structured World Models
University of Amsterdam(阿姆斯特丹大学);UvA-Bosch Delta Lab(阿姆斯特丹大学-博世三角洲实验室);CIFAR(加拿大高等研究院)
从对象、关系和层级的角度对我们的世界进行结构化的理解是人类认知的重要组成部分。从原始感官数据中学习这样一个结构化的世界模型仍然是一个挑战。作为实现这一目标的一步,我们引入了对比训练的结构化世界模型(C-SWM)。C-SWMs利用对比方法在具有组成结构的环境中进行表征学习。我们将每个状态嵌入构造为一组对象表示及其关系,由图神经网络建模。这允许从原始像素观察中发现对象,而无需作为学习过程的一部分进行直接监督。我们评估C-SWM的组成环境,涉及多个相互作用的对象,可以独立操作的代理,简单的雅达利游戏,和多对象物理模拟。我们的实验表明,C-SWMs可以克服基于像素重建的模型的局限性,并在高度结构化的环境中优于该模型类的典型代表,同时学习可解释的基于对象的表示。
2020-01-05 cs.AI cs.LG stat.ML
Learning Transformer-based World Models with Contrastive Predictive Coding
Computer Vision Lab, CAIDAS & IFI, University of Würzburg(计算机视觉实验室、CAIDAS与IFI、乌尔姆大学)
针对基于Transformer的世界模型学习性能受限的问题,提出TWISTER模型,利用动作条件对比预测编码学习高层时间特征,在Atari 100k基准上取得162%的人类标准化平均得分,创下新纪录。
2025-05-25 cs.AI cs.CV cs.LG
Contrastive Self-Supervised Learning for Commonsense Reasoning
SAP AI Research(SAP人工智能研究院)
我们提出了一个自我监督的方法来解决代词消歧和Winograd模式挑战问题。我们的方法利用了与所谓的“触发”词相关的训练语料库的特征结构,这些词负责在代词消歧中翻转答案。我们通过构造成对对比辅助预测来实现这种常识推理。为此,我们利用由对比保证金规范化的互斥损失。我们的架构是基于最近推出的Transformer网络,BERT,表现出强大的性能在许多NLP基准。实验结果表明,我们的方法消除了现有的监督方法的局限性常识推理。这项研究开辟了利用廉价的自我监督,以实现性能增益常识推理任务的途径。
2020-05-02 cs.AI cs.CL
The Impact of Negative Sampling on Contrastive Structured World Models
Northeastern University(东北大学);University of Amsterdam(阿姆斯特丹大学);Google Research(谷歌研究院)
通过对比学习训练的世界模型是基于自动编码器的世界模型的一种引人注目的替代方案,后者通过重建像素状态来学习。在本文中,我们描述了三种情况下,我们如何在对比损失中采样负状态的微小变化会导致模型性能的急剧变化。在先前研究的Atari数据集中,我们表明,利用时间步长相关性可以使对比结构化世界模型的性能提高一倍。我们还收集了完整版本的数据集,以研究在更多样化的经验下的对比学习。
2021-07-24 cs.LG
Contrastive World Models
针对像素重建世界模型在视觉复杂环境中易受干扰的问题,提出对比世界模型,用互信息下界替代重建损失,在干扰背景下显著优于Dreamer,且训练更高效。
2026-09-22 cs.AI cs.CV cs.LG
OpenCon: Open-world Contrastive Learning
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
部署在野外的机器学习模型自然会遇到来自已知和新类别的未标记样本。在以开放世界半监督的方式从标记和未标记数据中学习时会出现挑战。在本文中,我们介绍了一种新的学习框架,开放世界的对比学习(OpenCon)。OpenCon解决了学习已知和新颖类的紧凑表示的挑战,并促进了新颖性的发现。我们证明了OpenCon在具有挑战性的基准数据集上的有效性,并建立了具有竞争力的性能。在ImageNet数据集上,OpenCon在新颖性和整体分类准确性上分别比目前最好的方法高出11.9%和7.4%。从理论上讲,OpenCon可以从EM算法的角度进行严格的解释-通过在嵌入空间中聚类相似样本,最小化我们的对比损失部分地最大化可能性。该代码可在https://github.com/deeplearning-wisc/opencon上获得。
2023-01-08 cs.CV cs.LG
On the modality gap and the contrastive loss in multi-modal representation learning
Technical University of Denmark(丹麦技术大学)
研究CLIP风格双编码器对比学习中的模态差距,发现是InfoNCE公式在低温下的模式失败所致。提出xNCE方法,使用跨模态和模态内负对比对,能缩小模态差距,提升零样本分类性能且不牺牲判别几何。
2026-07-14 cs.CV cs.LG
Generalization properties of contrastive world models
Baylor College of Medicine(贝勒医学院);Shirley Ryan AbilityLab(雪莉·瑞安能力实验室);Northwestern University(西北大学)
本文系统测试对比式世界模型在多种OOD场景下的泛化性质,发现其因对象属性变化破坏表征分解而泛化失败,表明当前模型学习以对象为中心表征的能力有限。
2023-12-29 cs.CV cs.LG
CLAP: Contrastive Latent-space Prompt Optimization for End-to-end Autonomous Driving
University of Michigan(密歇根大学);University of Arizona(亚利桑那大学)
本文提出CLAP方法,通过对比潜在空间提示优化解决自动驾驶中罕见但安全关键的长尾场景问题,利用V2X通信获取数据并优化提示,从而提升规划性能。
2026-05-17 cs.AI cs.CV cs.LG
RegionPLC: Regional Point-Language Contrastive Learning for Open-World 3D Scene Understanding
The University of Hong Kong(香港大学);SenseTime Research(商汤科技研究院)
本文提出轻量可扩展的区域点-语言对比学习框架RegionPLC,通过融合多二维基础模型生成密集区域语言监督,在多个3D数据集上显著超越现有开放世界场景理解方法,并支持与语言模型集成进行开放式三维推理。
2024-05-05 cs.AI cs.CV
Multi-View Dreaming: Multi-View World Model with Contrastive Learning
Panasonic Corporation(松下公司);Ritsumeikan University(立命馆大学)
在本文中,我们提出了多视图的梦想,一种新的强化学习代理集成识别和控制从多个视图的意见,通过扩展梦想。当前的大多数强化学习方法假设单视图观察空间,这对观察到的数据施加了限制,例如缺乏空间信息和遮挡。这使得从环境中获得理想的观测信息变得困难,并且是现实世界机器人应用的瓶颈。在本文中,我们使用对比学习训练共享的潜在空间之间的不同观点,并显示如何产品的专家方法可以用来集成和控制的概率分布的潜在状态的多个观点。我们还提出了Multi-View DreamingV 2,这是Multi-View Dreaming的一个变体,它使用分类分布来模拟潜在状态,而不是高斯分布。实验表明,该方法优于现有的方法在一个现实的机器人控制任务的简单扩展。
2022-03-15 cs.AI cs.RO cs.SY
Margin-Regularized Structured Semantic Alignment for Brain-Language Correspondence
School of Computer Science and Technology, Northwestern Polytechnical University(西北工业大学计算机科学与技术学院)
本文针对脑-语言解码的模糊性问题,提出MD-SigLIP框架,通过边际正则化结构化语义对齐实现基于检索的解码,在全词汇与子集评估下均取得最优检索性能。
2026-08-19 cs.CL cs.LG
Regularized Generative Adversarial Network
Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学)
我们提出了一个框架,用于从不同于训练集的概率分布的概率分布生成样本。我们使用一个对抗过程,同时训练三个网络,一个生成器和两个判别器。我们将这种新模型称为正则化生成对抗网络(RegGAN)。我们在由灰度图像组成的合成数据集上评估RegGAN,并进一步表明它可以用于学习拓扑中的一些预先指定的概念(基本拓扑属性)。这项工作的动机是在艺术世界中使用生成方法时遇到的实际问题。
2021-02-09 cs.AI cs.CV cs.LG
Mind's Eye: Image Recognition by EEG via Multimodal Similarity-Keeping Contrastive Learning
National Yang Ming Chiao Tung University(国立阳明交通大学)
本文提出多模态保相似性对比学习(MUSE)框架,通过定制多元时间序列编码器和正则化对比EEG-Image预训练,解决零样本EEG图像分类问题,在200路分类中达到SOTA,并揭示了人脑视觉处理动态。
2024-06-05 cs.AI cs.HC cs.LG
Best-of-three-worlds Analysis for Linear Bandits with Follow-the-regularized-leader Algorithm
Shanghai Jiao Tong University(上海交通大学)
针对线性老虎机在未知随机或对抗损失环境下的自适应问题,本文证明带负熵正则化器的 FTRL 可实现三优世界遗憾界,且设计比检测-切换方法更简单。
2023-07-18 cs.LG stat.ML
C-SENN: Contrastive Self-Explaining Neural Network
Aisin(爱信)
在这项研究中,我们使用一个自我解释的神经网络(SENN),它学习无监督的概念,以获取概念,易于人们自动理解。在概念学习中,隐藏层保留与输出相关的可言语化特征,这在适应需要解释的现实世界环境时至关重要。然而,已知SENN输出的概念的可解释性在诸如自动驾驶场景的一般设置中降低。因此,本研究将对比学习与概念学习相结合,以提高概念的可读性和任务的准确性。我们称这种模型为对比自解释神经网络(C-SENN)。
2022-06-27 cs.AI cs.CV cs.LG
Towards Improving Robustness Against Common Corruptions in Object Detectors Using Adversarial Contrastive Learning
Laboratory of Intelligent Systems(智能系统实验室)
本文提出对抗对比学习框架,通过生成实例级对抗样本并优化对比损失,同时增强目标检测器对对抗攻击和常见损坏的鲁棒性,以提升安全关键应用中的可靠性。
2023-11-14 cs.AI cs.CV cs.LG
Probing Negative Sampling Strategies to Learn GraphRepresentations via Unsupervised Contrastive Learning
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
图的表示学习一直是一个重要的,但具有挑战性的任务,为各种现实世界的应用。然而,它们的下游任务主要是在监督或半监督学习的设置中执行的。受无监督对比学习最新进展的启发,本文旨在研究如何进行节点级对比学习。特别地,我们分别解决了类冲突问题和负数据分布不平衡问题。在三个真实数据集上进行了大量的实验,所提出的方法达到了SOTA模型的性能。
2021-04-13 cs.LG
Beyond Random Couplings: Contrastive Noise Alignment in Generative Flows
ETH Zürich(苏黎世联邦理工学院);Disney Research | Studios(迪士尼研究院与工作室)
提出对比噪声对齐(CNA),通过动态优化噪声表示并利用InfoNCE目标及正则化项,改善生成流中噪声与数据的耦合,减少流曲率,在少步生成中显著降低FID。
2026-09-17 cs.CV cs.LG
Depth-Regularized JEPA World Models Learn More Transferable Representations from Real Outdoor Robot Data
Aigen(爱igen)
研究针对从真实户外机器人数据学习世界模型的挑战,引入深度作为训练几何先验,结合SIGReg等方法,训练18M参数模型,实验表明该方法在降低视觉里程计误差、增加意外分数分离及提高多步展开保真度等方面有显著提升,增强了模型泛化能力。
2026-07-21 cs.CV cs.LG cs.RO
On Regularized Sparse Logistic Regression
Clemson University(克莱姆森大学)
本文提出统一框架求解L1正则化逻辑回归,可扩展至非凸正则项,并用新线搜索保证单调收敛,实验证明算法在二分类中高效实现分类与特征选择。
2023-10-12 cs.AI cs.LG stat.ML
SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption
Google Research(谷歌研究院)
自监督对比表示学习已被证明在视觉和自然语言领域取得了令人难以置信的成功,能够以数量级更少的标记数据实现最先进的性能。然而,这些方法是特定于域的,并且很少有人在现实世界的表格数据集上利用这种技术。我们提出了SCARF,一个简单的,广泛适用的技术对比学习,其中的意见是通过破坏一个随机子集的功能。当应用于在OpenML-CC 18基准测试的69个真实世界表格分类数据集上预训练深度神经网络时,SCARF不仅提高了全监督设置中的分类准确性,而且在存在标签噪声和半监督设置中也能做到这一点,其中只有一小部分可用的训练数据被标记。我们表明,SCARF补充现有的策略,并优于替代品,如自动编码器。我们进行全面的消融,详细说明一系列因素的重要性。
2022-03-15 cs.AI cs.LG
Adaptive Learning Rate for Follow-the-Regularized-Leader: Competitive Analysis and Best-of-Both-Worlds
NEC Corporation(日本电气公司);RIKEN(理化学研究所);The University of Tokyo(东京大学);Kyoto University(京都大学)
本研究将FTRL的学习率调整建模为序列决策问题,通过竞争分析推导竞争比上下界,提出稳定性-惩罚匹配更新规则,还可构建双优算法以获得更紧遗憾界并拓宽多类老虎机场景的适用性。
2024-03-10 cs.LG stat.ML
ViTaS: Visual Tactile Soft Fusion Contrastive Learning for Visuomotor Learning
ViTaS通过融合视觉和触觉信息,利用软融合对比学习提升视觉-运动学习的性能。
2026-02-12 cs.AI cs.CV cs.RO
Weak Supervision for Real World Graphs
McGill University(麦吉尔大学)
本文提出弱监督图对比学习框架 WSNET,利用图结构、节点特征和多个带噪监督信号进行鲁棒表示学习,在多个真实与合成数据集上以最高15%的F1提升超越现有方法。
2025-06-03 cs.LG
Contrastive Learning to Improve Retrieval for Real-world Fact Checking
The University of Texas at Austin(得克萨斯大学奥斯汀分校)
针对事实核查中证据检索需推理的瓶颈,提出基于多训练信号对比微调的CFR重排器,在AVeriTeC上准确率提升6%,且增益可迁移至多个相关数据集。
2024-10-07 cs.AI cs.CL cs.LG
GLaS-JEPA: Gaussian-Regularized Speech SSL without Engineered Prediction Targets
Concordia University(康考迪亚大学);CNRS(法国国家科学研究中心);Univ Toulon(土伦大学);Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Aix Marseille Univ(艾克斯-马赛大学);Grenoble INP(格勒诺布尔国立理工学院)
GLaS-JEPA通过直接预测掩码位置的连续表示并采用SIGReg正则化,简化语音自监督学习,在LibriSpeech预训练后显著超越非蒸馏基线。
2026-09-30 cs.AI cs.LG cs.SD
Enhancing Contrastive Learning for Geolocalization by Discovering Hard Negatives on Semivariograms
Professorship Big Geospatial Data Management, Technical University of Munich Germany(技术大学慕尼黑大数据地理空间管理教授职位);University of Maine United States(缅因大学);University of the Bundeswehr Munich Germany(联邦国防军大学慕尼黑)
针对地理定位中对比学习忽视空间依赖导致难负样本与假负样本问题,提出基于半变异函数的空间正则化对比学习策略,集成于GeoCLIP并在OSV5M上提升细粒度定位性能。
2025-09-25 cs.AI cs.CV
Attention Mechanism for Contrastive Learning in GAN-based Image-to-Image Translation
Technical University of Munich(慕尼黑工业大学)
使用真实道路测试来优化自动驾驶算法是耗时且资本密集型的。为了解决这个问题,我们提出了一个基于GAN的模型,该模型能够在不同的领域生成高质量的图像。我们进一步利用对比学习以自我监督的方式训练模型,使用真实传感器在现实世界中获取的图像数据和来自3D游戏的模拟图像。在本文中,我们还应用了一个注意力机制模块,强调功能,包含更多的信息,根据其测量的重要性的源域。最后,生成的图像被用作数据集来训练神经网络以执行各种下游任务,以验证该方法可以填补虚拟和现实世界之间的空白。
2023-02-23 cs.CV cs.LG eess.IV
Deep Graph Contrastive Representation Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing University of Posts and Telecommunications(北京邮电大学);RealAI(瑞莱智慧);Tsinghua University(清华大学)
图表示学习现在成为分析图结构数据的基础。受对比方法最近成功的启发,在本文中,我们提出了一个新的框架,无监督图表示学习,利用对比目标在节点级别。具体来说,我们通过腐败生成两个图形视图,并通过最大化这两个视图中节点表示的一致性来学习节点表示。为了提供不同的节点上下文的对比目标,我们提出了一个混合方案,用于生成图视图的结构和属性级别。此外,我们从互信息和经典三重态损失两个角度对我们的动机进行了理论论证。我们使用各种真实世界的数据集进行实证实验的转导和归纳学习任务。实验结果表明,尽管它的简单性,我们提出的方法始终优于现有的最先进的方法的大利润率。此外,我们的无监督方法甚至超过了其监督对应的转换任务,展示了其在现实世界中的应用潜力。
2020-07-13 cs.LG stat.ML
SymRegFlow: Symmetry-Regularized Flow Matching for Video World Models
Tsinghua University(清华大学);Bosch (China) Investment Ltd.(博世(中国)投资有限公司);University of Chinese Academy of Sciences(中国科学院大学)
SymRegFlow提出对称正则化流匹配框架,通过几何扭曲与双锚点监督实现连续视点多视图一致视频生成,无需新视图RGB监督,在nuScenes上FVD降低超31%。
2026-10-05 cs.CV
CREMA: A Contrastive Regularized Masked Autoencoder for Robust ECG Diagnostics across Clinical Domains
AI Group, Medical AI Co., Ltd.(医疗AI公司人工智能小组)
CREMA通过对比正则化掩码自编码与信号Transformer架构,在12导联心电图上进行自监督预训练,实现跨临床领域稳健且优于现有方法的心电图诊断基础模型。
2025-08-21 cs.AI cs.LG eess.SP
Regularized Vector Quantization for Tokenized Image Synthesis
Nanyang Technological University(南洋理工大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本文提出正则化向量量化框架,通过先验分布正则化和随机掩码正则化解决码本崩溃、利用率低及推理不对齐问题,并引入概率对比损失,在自回归和扩散模型中持续优于现有方法。
2023-10-14 cs.CV
Bootstrapping Your Own Positive Sample: Contrastive Learning With Electronic Health Record Data
Indiana University Bloomington(印第安纳大学伯明顿分校);Renmin University of China(中国人民大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院)
电子健康记录(EHR)数据在医疗保健人工智能(AI)中具有巨大的实用性,例如预测未来的临床事件。然而,当使用经典机器学习模型时,由于包括类不平衡和数据异构性(即,复杂的类内方差)。为了解决这些研究空白,本文利用令人兴奋的对比学习框架,提出了一种新的对比正则化临床分类模型。对比损失被发现大大增强了基于EHR的预测:它有效地表征了相似/不相似的模式(通过其“推拉”形式),同时通过学习更平衡的特征空间来减轻高度偏斜的类分布(最近的研究结果也与此相呼应)。特别地,当天真地将对比学习导出到EHR数据时,一个障碍是生成正样本,因为EHR数据不像图像数据那样可用于数据增强。为此,我们引入了两种独特的正采样策略,专门为EHR数据量身定制:基于特征的正采样,利用特征空间邻域结构来加强特征学习;基于属性的正采样,结合预先生成的患者相似性度量来定义样本接近度。这两种抽样方法的设计与EHR数据中独特的高类内方差的意识。我们的整体框架在预测真实世界COVID-19 EHR数据的死亡率风险方面产生了极具竞争力的实验结果,共有5,712名患者被大型城市卫生系统收治。具体来说,我们的方法达到了0.959的高AUROC预测得分,优于其他基线和替代方案:交叉熵(0.873)和焦点丢失(0.931)。
2021-04-07 cs.AI cs.CY cs.LG
Underwater Image Restoration via Contrastive Learning and a Real-world Dataset
Commonwealth Scientific and Industrial Research Organisation (CSIRO)(澳大利亚联邦科学与工业研究组织);Australian National University(澳大利亚国立大学)
水下图像复原对于揭示水下世界具有重要意义。在过去的几十年中,已经开发了许多技术和算法。然而,由于基本的困难与成像/传感,照明和折射几何失真,在捕捉清晰的水下图像,没有进行全面的评估水下图像恢复。为了解决这一差距,我们构建了一个大规模的真实水下图像数据集,称为“Heron Island Coral Reef Dataset”(苍鹭岛珊瑚礁数据集),目的是对现有方法进行基准测试,并支持开发新的基于深度学习的方法。我们采用准确的水参数(漫衰减系数)在生成参考图像。在非配对训练集中,有2000幅参考恢复图像和6003幅原始水下图像。此外,我们提出了一种新的方法,用于水下图像恢复的基础上无监督的图像到图像的翻译框架。我们提出的方法利用对比学习和生成对抗网络来最大化原始图像和恢复图像之间的互信息。与最近的方法进行比较的广泛实验进一步证明了我们所提出的方法的优越性。我们的代码和数据集在GitHub上公开。
2021-06-20 cs.CV eess.IV
RegCLR: A Self-Supervised Framework for Tabular Representation Learning in the Wild
Johns Hopkins University(约翰斯·霍普金斯大学);AKASA, Inc(AKASA公司)
自监督学习(SSL)的最新进展使用大型模型从自然图像学习视觉表示,正在迅速缩小完全监督学习产生的结果与SSL在下游视觉任务上产生的结果之间的差距。受这一进步的启发,并主要受到表格和结构化文档图像应用程序的出现的激励,我们研究了哪些自我监督的预训练目标,架构和微调策略是最有效的。为了解决这些问题,我们引入了Regulatory,这是一个新的自监督框架,它结合了对比和正则化方法,并与标准的视觉Transformer架构兼容。然后,通过将掩码自编码器集成为对比方法的代表性示例,并将增强的Barlow Twins集成为正则化方法的代表性示例,在两个分支中都具有可配置的输入图像增强,来实例化Regulator。几个真实世界的表格识别场景(例如,从文档图像中提取表格),从标准的Word和Latex文档到更具挑战性的电子健康记录(EHR)计算机屏幕图像,已经显示出极大地受益于从这个新框架中学习的表示,其中检测平均精度(AP)相对提高了4.8%,对于列,11.8%,和11.1%的GUI对象在以前的完全监督基线上的真实世界的EHR屏幕图像。
2022-11-02 cs.CV cs.LG
Continuous Regularized Wasserstein Barycenters
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
瓦瑟斯坦重心提供了一种几何意义的方法来聚合概率分布,建立在最优运输理论的基础上。他们是很难计算在实践中,但是,导致以前的工作限制其支持有限的点集。利用一个新的对偶公式的正则化Wasserstein重心问题,我们引入了一个随机算法,构造一个连续近似的重心。我们建立强对偶性,并使用相应的原始对偶关系参数化的重心隐式使用正则化运输问题的对偶势。由此产生的问题可以解决随机梯度下降,这产生了一个有效的在线算法来近似的重心连续分布给定的样本访问。我们证明了我们的方法的有效性,并与以前的工作合成的例子和现实世界的应用程序进行比较。
2020-10-25 cs.LG stat.ML
HiTeC: Hierarchical Contrastive Learning on Text-Attributed Hypergraph with Semantic-Aware Augmentation
The University of New South Wales(新南威尔士大学);University of Wollongong(沃拉彭大学)
提出HiTeC框架,通过两阶段层次对比学习,结合结构感知文本编码预训练和语义感知增强,解决文本属性超图中文本与拓扑关联不足、随机增强噪声及长程依赖捕获问题。
2026-05-25 cs.AI cs.LG
Prior-Fitted and Frozen Scorers for Multimodal Contrastive Learning
Berlin Institute of Health(柏林卫生研究所);Charité - Universitätsmedizin Berlin(柏林夏里特医学院);Freie Universität Berlin(柏林自由大学);Intelligent Medicine Institute(智能医学研究所);Fudan University(复旦大学)
该研究针对多模态对比学习,提出先验拟合评分器(PFS),发现冻结的Transformer评分器性能优于手工基线,先验拟合可进一步提升效果,表明Transformer结合因果预置可替代人工相似度函数。
2026-10-14 cs.AI cs.LG
AmGCL: Feature Imputation of Attribute Missing Graph via Self-supervised Contrastive Learning
Qifu Technology, Inc.(奇富科技有限公司)
提出AmGCL框架,利用Dirichlet能量最小化特征预编码和自监督图增强对比学习,解决属性缺失图的特征插补与节点分类问题,并在多个数据集上超越现有方法。
2023-05-05 cs.AI cs.LG
A Note on Connecting Barlow Twins with Negative-Sample-Free Contrastive Learning
Carnegie Mellon University(卡内基梅隆大学)
在这份报告中,我们将Barlow Twins方法的算法设计与Hilbert-Schmidt独立准则(HSIC)联系起来,从而将其建立为一种无负样本的对比学习方法。通过这个角度来看,我们认为,巴洛双胞胎(从而类的负样本无对比学习方法)提出了一种可能性,以弥合两大家族的自监督学习哲学:非对比和对比的方法。特别是,Barlow双胞胎举例说明了我们如何结合两个世界的最佳实践:避免需要大的训练批量和负样本配对(如非对比方法),避免破坏网络设计(如对比方法)。
2021-04-28 cs.LG
Robust Contrastive Learning against Noisy Views
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Microsoft Research(微软研究院)
对比学习依赖于肯定对包含相关视图的假设,例如,图像的块或视频的共同出现的多模态信号,其共享关于实例的某些基础信息。但如果这个假设被违背了呢?文献表明,对比学习在存在噪声视图的情况下产生次优表示,例如,没有明显共享信息的假阳性对。在这项工作中,我们提出了一个新的对比损失函数,是强大的噪声视图。我们提供了严格的理论依据,显示连接到强大的对称损失的嘈杂的二进制分类,并通过建立一个新的对比界互信息最大化的基础上的Wasserstein距离测量。所提出的损失是完全模态不可知的,并且是InfoNCE损失的简单替代品,这使得它很容易应用于现有的对比框架。我们表明,我们的方法提供了一致的改进,在国家的最先进的图像,视频和图形对比学习基准,表现出各种现实世界的噪声模式。
2022-01-12 cs.CV cs.LG
EquiNMF: Graph Regularized Multiview Nonnegative Matrix Factorization
SickKids Research Institute(SickKids研究所);University of Toronto(多伦多大学)
本文提出EquiNMF方法,通过图正则化多视图非负矩阵分解实现数据整合,自动设置参数以提升聚类效果,实验显示其优于其他单视图和多视图方法。
2014-09-14 cs.LG cs.NA math.NA
Stability-penalty-adaptive follow-the-regularized-leader: Sparsity, game-dependency, and best-of-both-worlds
Kyoto University(京都大学);RIKEN(理化学研究所);The University of Tokyo(东京大学);NEC Corporation(日本电气公司)
本文提出FTRL的SPA自适应学习率,实现了稀疏性、博弈依赖性和BOBW三种适应性,建立了首个稀疏依赖的BOBW算法并在部分监测中同时实现博弈依赖界与BOBW。
2024-02-13 cs.LG stat.ML
Improving Long Tailed Document-Level Relation Extraction via Easy Relation Augmentation and Contrastive Learning
Zhejiang University(浙江大学);IBM Research(IBM研究院)
面向现实世界的信息抽取场景,关系抽取的研究正在向文档级关系抽取(DocRE)发展。现有的DocRE方法旨在通过新的模型架构对长上下文中的各种信息源进行编码来提取关系。然而,DocRE固有的长尾分布问题被以前的工作所忽视。我们认为,减轻长尾分布问题是至关重要的DocRE在现实世界中的场景。受长尾分布问题的启发,我们提出了一种简单的关系增强(ERA)方法,通过增强尾部关系的性能来改进DocRE。此外,我们进一步提出了一个新的对比学习框架,即基于我们的ERA,ERACL,它可以进一步提高模型在尾关系上的性能,并实现与最先进的DocRE相比具有竞争力的整体性能。
2022-05-21 cs.AI cs.CL
Focus Your Distribution: Coarse-to-Fine Non-Contrastive Learning for Anomaly Detection and Localization
SenseTime Research(商汤科技研究院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);University of California, Los Angeles(加州大学洛杉矶分校)
无监督异常检测的本质是学习正态样本的紧致分布,将异常点检测为测试中的异常。同时,在现实世界中的异常通常是微妙的和细粒度的高分辨率图像,特别是对于工业应用。为此,我们提出了一个新的框架,无监督的异常检测和定位。我们的方法的目的是学习密集和紧凑的分布从正常的图像与粗到精的对齐过程。粗对准阶段在图像和特征级别上对对象的像素位置进行定位。然后,精细对准阶段密集地最大化一批中所有对应位置之间的特征的相似性。为了便于学习只有正常的图像,我们提出了一个新的借口任务称为非对比学习的精细对齐阶段。非对比学习在不对异常样本进行假设的情况下提取鲁棒且有区别的正常图像表示,因此它使我们的模型能够推广到各种异常场景。在MVTec AD和BenTech AD两个典型工业数据集上的大量实验表明,我们的框架在检测各种真实世界的缺陷方面是有效的,并在工业无监督异常检测方面取得了新的进展。
2022-07-19 cs.AI cs.CV