FUSSL: Fuzzy Uncertain Self Supervised Learning
West Virginia University(西弗吉尼亚大学)
自监督学习(SSL)已经成为一种非常成功的技术,可以利用未标记数据的力量,而无需注释。一些成熟的方法正在发展,目标是超越相对成功的监督替代方法。SSL中的一个主要问题是在不同设置下方法的鲁棒性。在本文中,我们第一次认识到SSL的基本限制来自使用单一的监督信号。为了解决这个问题,我们利用不确定性表示的力量,为任何SSL基线设计一个强大的和通用的标准分层学习/训练协议,无论他们的假设和方法。从本质上讲,使用信息瓶颈原理,我们将特征学习分解为两个阶段的训练过程,每个阶段都有一个不同的监督信号。这种双重监督方法分为两个关键步骤:1)对数据增强的不变性强制,以及2)模糊伪标记(硬注释和软注释)。这种简单而有效的协议,使跨类/集群特征学习,是通过初始训练的整体模型,通过不变性强制数据增强作为第一训练阶段,然后分配模糊标签的原始样本的第二训练阶段实例化。我们考虑多个替代方案与双重监督和评估我们的方法对最近的基线的有效性,涵盖四个不同的SSL范例,包括几何,对比,非对比,和硬/软白化(冗余减少)基线。在多种设置下的大量实验表明,所提出的训练协议一致地提高了以前的基线的性能,独立于它们各自的基本原则。
2022-10-28 cs.CV cs.LG
AAG: Self-Supervised Representation Learning by Auxiliary Augmentation with GNT-Xent Loss
Shanghai Jiao Tong University(上海交通大学);Haohua Technology Co., Ltd(浩华科技有限公司)
自监督表示学习是一个新兴的研究课题,它具有强大的学习能力与未标记的数据。作为一种主流的自监督学习方法,基于增强的对比学习在各种缺乏人工标注的计算机视觉任务中取得了巨大的成功。尽管目前的进展,现有的方法往往受到额外的内存或存储成本的限制,其性能仍然有很大的改进空间。在这里,我们提出了一种自监督的表示学习方法,即AAG,其特点是辅助增强策略和GNT-Xent损失。辅助增强能够通过增加图像的多样性来提高对比学习的性能。所提出的GNT-Xent损失能够实现稳定和快速的训练过程,并产生有竞争力的准确性。在CIFAR 10、CIFAR 100和SVHN上的实验结果证明了AAG方法的优越性。特别是,AAG在CIFAR 10上达到了94.5%的top-1准确率,批量为64,比Simplified在批量为1024时的最佳结果高出0.5%。
2020-10-20 cs.CV cs.LG
WhiteCon: Semi-Supervised Domain Adaptation Regression Through Whitening Transform and Dual Consistency
Korea University(高丽大学)
针对半监督域适应回归中标记目标数据有限的问题,提出WhiteCon方法,结合域特定白化变换与双重一致性正则化,稳定训练并提升域适应性能,在基准数据集上达到最先进水平。
2026-09-29 cs.AI cs.CV
Learning the Relation between Similarity Loss and Clustering Loss in Self-Supervised Learning
Nanjing University(南京大学);Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室);Amazon.com L.L.C.(亚马逊有限责任公司);Alibaba Group(阿里巴巴集团);The Hong Kong University of Science and Technology(香港科技大学);Southern Methodist University(南卫理公会大学)
本文研究自监督学习中相似性损失与特征级交叉熵损失的关系,提出结合两幅不同图像的相似性信息,理论分析与实验证明两者的合适组合能取得最先进的结果。
2023-06-05 cs.CV cs.LG
Supervised Quantile Normalization for Low-rank Matrix Approximation
Google Research, Brain Team(谷歌研究院脑团队);New York University(纽约大学)
低秩矩阵分解是机器学习中的基本构建块,例如用于总结基因表达谱数据或单词文档计数。为了对离群值和特征之间的尺度差异具有鲁棒性,矩阵因子分解步骤通常在ad-hoc特征归一化步骤之前,例如\texttt{tf-idf}缩放或数据白化。我们建议在这项工作中学习这些归一化运算符与因子分解本身。更确切地说,给定$n$个体上测量的$d$特征的$d\times n$矩阵$X$,我们建议学习分位数归一化算子的参数,该分位数归一化算子可以对$X$和/或其因子分解$UV$的值进行逐行操作,以提高$X$本身的低秩表示的质量。通过引入使用最优传输构建的新的可微分位数归一化算子来促进这种优化,从而在现有工作的基础上提供新的结果(Cuturi et al. 2019)。我们证明了这些技术在合成和基因组学数据集上的适用性。
2020-07-03 cs.LG stat.ML
Unsupervised Domain Adaptation using Feature-Whitening and Consensus Loss
DISI, University of Trento, Italy(意大利特伦托大学DISI(信息工程与自动化系));Fondazione Bruno Kessler, Trento, Italy(意大利特伦托布鲁诺·凯斯勒基金会);Mapillary Research(Mapillary研究(注:Mapillary为公司名称,此处保留英文机构名))
在一个数据集上训练的分类器由于域移位而很少能在不同条件下获得的其他数据集上工作。这个问题通常通过领域自适应方法来解决。在这项工作中,我们介绍了一种新的深度学习框架,它统一了无监督领域自适应中的不同范式。具体来说,我们提出了域对齐层,实现特征白化的目的匹配源和目标特征分布。此外,我们通过提出Min-Entropy Consensus loss来利用未标记的目标数据,该损失使训练规则化,同时避免采用许多用户定义的超参数。我们报告结果公开可用的数据集,同时考虑数字分类和对象识别任务。我们表明,在我们的大多数实验中,我们的方法改进了以前的方法,设置新的最先进的性能。
2020-02-16 cs.CV
Similarity-Dissimilarity Loss for Multi-label Supervised Contrastive Learning
University of Essex(埃塞克斯大学);Queen Mary University of London(伦敦大学玛丽女王学院)
本文提出相似性-差异性损失,通过动态加权样本解决多标签场景下正样本确定问题,提供理论证明并统一单标签与多标签对比学习框架,实验表明方法在图像、文本和医疗领域均优于基线。
2026-06-13 cs.CL cs.CV cs.LG
Normalized Cut Loss for Weakly-supervised CNN Segmentation
Disney Research(迪士尼研究院);University of Waterloo(滑铁卢大学)
最新的语义分割方法训练深度卷积神经网络,具有完全注释的掩码,需要像素精度以获得高质量的训练。常见的弱监督方法使用标准的交互式分割方法作为预处理,从部分输入(例如,涂鸦或种子)生成完整的掩码。但是,由于标准损失函数(例如交叉熵)不能将种子与潜在的错误标记的其他像素区分开,因此这种掩模中的错误导致较差的训练。受半监督学习一般思想的启发,我们通过一种新的原则性损失函数来评估网络输出,并以"浅"分割为标准,如归一化割,来解决这些问题。与之前的工作不同,我们损失的交叉熵部分仅评估标签已知的种子,而归一化切割软评估所有像素的一致性。我们专注于归一化的截止损失,其中密集高斯内核是有效地实现在线性时间内的快速双边滤波。我们的归一化切损分割方法使弱监督训练的质量显着接近完全监督方法。
2018-04-04 cs.CV
Supervised Contrastive Learning
Google Research(谷歌研究院);Boston University(波士顿大学);Snap Inc.(森宝公司);MIT(麻省理工学院)
近年来,应用于自监督表示学习的对比学习已经出现了复苏,导致了深度图像模型的无监督训练的最新表现。现代批量对比方法的性能优于或显著优于传统的对比损失,如三重,最大余量和N对损失。在这项工作中,我们将自监督批量对比方法扩展到完全监督设置,使我们能够有效地利用标签信息。属于同一类的点簇在嵌入空间中被拉到一起,同时将来自不同类的样本簇推开。我们分析了两种可能的版本的监督对比(SupCon)损失,确定性能最好的制定的损失。在ResNet-200上,我们在ImageNet数据集上实现了81.4%的top-1准确率,比该架构报告的最佳数字高出0.8%。我们在其他数据集和两个ResNet变体上显示出一致的优于交叉熵的性能。损失显示出对自然损坏的鲁棒性的益处,并且对超参数设置(例如优化器和数据增强)更稳定。我们的损失函数易于实现,参考TensorFlow代码在https://t.ly/supcon上发布。
2021-03-10 cs.CV cs.LG stat.ML
Probabilistic Contrastive Loss for Self-Supervised Learning
National University of Singapore(新加坡国立大学);Youtu Lab Tencent(腾讯优图实验室)
提出了一种适用于自监督学习的概率对比损失函数。众所周知的对比度损失是确定性的,并且涉及温度超参数,该温度超参数缩放两个赋范特征嵌入之间的内积。通过重新解释的温度超参数作为一个量有关的半径的超球,我们推导出一个新的损失函数,涉及到一个置信度的措施,量化的不确定性在数学接地的方式。一些有趣的性质的建议损失函数的经验证明,这与人类的预测。我们相信本研究为对比学习的研究提供了一个新的视角。
2021-12-02 cs.LG
Structured Consistency Loss for semi-supervised semantic segmentation
SNUAILAB(首尔大学人工智能实验室);Seoul National Univ.(首尔大学);KyeongBook Univ.(庆北大学)
一致性损失是近年来半监督学习研究中解决问题的关键。然而,现有的研究与一致性损失仅限于其应用于分类任务;现有的研究半监督语义分割依赖于像素分类,这并不反映结构化的性质的特征预测。我们提出了一个结构化的一致性损失,以解决现存研究的这一局限性。结构化一致性损失促进教师和学生网络之间像素间相似性的一致性。具体来说,与CutMix的合作通过显著降低计算负担来优化具有结构化一致性损失的半监督语义分割的高效性能。在Cityscapes上验证了所提方法的优越性,Cityscapes的基准测试结果(包括验证和测试数据)分别为81.9 mIoU和83.84 mIoU。这在Cityscapes基准测试套件的像素级语义标记任务中排名第一。据我们所知,我们是第一个提出最先进的半监督学习在语义分割的优势。
2021-11-22 cs.CV
Unsupervised Total Variation Loss for Semi-supervised Deep Learning of Semantic Segmentation
Scientific Computing and Imaging Institute, University of Utah(犹他大学科学计算与成像研究所)
我们引入了一种新的无监督损失函数,用于在密集标记的训练图像不可用时使用深度卷积神经网络(ConvNet)学习语义分割。更具体地,所提出的损失函数惩罚由ConvNet产生的标签概率向量图像的梯度的L1范数,即总变差。这可以被看作是一个正则化项,它促进了ConvNet在学习过程中产生的标签概率向量图像的分段平滑。将无监督损失函数与半监督设置中的监督损失相结合,以学习ConvNets,即使在训练图像中只有很小比例的像素被标记时,也可以实现高语义分割精度。我们展示了显着的改进,在魏茨曼马,斯坦福背景和Sift Flow数据集的纯监督设置。此外,我们表明,在学习阶段使用建议的分段平滑约束显着优于后处理结果从一个纯粹的监督方法与马尔可夫随机场(MRF)。最后,我们注意到,我们介绍的框架是通用的,可以用来学习标记其他类型的结构,如曲线结构,通过相应地修改无监督损失函数。
2018-08-07 cs.CV
SCEHR: Supervised Contrastive Learning for Clinical Risk Prediction using Electronic Health Records
Weill Cornell Medicine(威尔康奈尔医学院)
对比学习在图像和文本领域以自监督或监督的方式表现出很好的性能。在这项工作中,我们将监督对比学习框架扩展到基于纵向电子健康记录(EHR)的临床风险预测问题。我们提出了一种通用的监督对比损失$\mathcal{L}_{\text{Contrastive Cross Entropy} } + λ\mathcal{L}_{\text{Supervised Contrastive Regularizer}}$,用于在统一的框架中学习二元分类(例如,住院死亡率预测)和多标签分类(例如,表型)。我们的监督对比损失实践了对比学习的关键思想,即同时通过其两个组件将相似的样本拉近并将不相似的样本彼此分开:$\mathcal{L}_{\text{Contrastive Cross Entropy} }$尝试将样本与代表正和负集群的学习锚进行对比,而$\mathcal{L}_{\text{Supervised Contrastive Regularizer}}$尝试根据其监督标签将样本彼此进行对比。我们提出了上述监督对比损失的两个版本,并且我们对真实世界EHR数据的实验表明,我们提出的损失函数在提高强基线甚至最先进模型在临床风险预测基准任务上的性能方面表现出益处。我们的损失函数可以很好地处理临床风险预测问题中常见的极不平衡数据。我们的损失函数可以很容易地用来取代现有临床预测模型中采用的(二进制或多标记)交…
2021-10-11 cs.LG
Does Self-supervised Learning Really Improve Reinforcement Learning from Pixels?
Stony Brook University(石溪大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
我们研究了自监督学习(SSL)是否可以改善像素的在线强化学习(RL)。我们扩展了对比强化学习框架(例如,CURL),共同优化SSL和RL损失,并对各种自监督损失进行大量实验。我们的观察结果表明,现有的RL SSL框架在使用相同数量的数据和增强时,仅利用图像增强,无法带来比基线有意义的改进。我们进一步进行进化搜索,以找到RL的多个自监督损失的最佳组合,但发现即使这样的损失组合也未能有意义地优于仅利用精心设计的图像增强的方法。在包括真实世界机器人环境在内的多个不同环境中对这些方法进行评估后,我们确认没有任何一种自监督丢失或图像增强方法可以主导所有环境,并且当前SSL和RL联合优化的框架是有限的。最后,我们对多个因素进行了消融研究,并展示了用不同方法学习的表征的性质。
2023-01-13 cs.CV cs.LG cs.RO
SimO Loss: Anchor-Free Contrastive Loss for Fine-Grained Supervised Contrastive Learning
Henery M.Rowan College of Engineering(亨利·M·罗恩工程学院);Rowan University(罗恩大学);MLNomads
本研究提出一种基于SimO损失的无锚点对比学习方法,通过半度量损失同时优化相似/不相似样本的嵌入距离与正交性,在CIFAR-10上验证其能形成结构良好的类别邻域,为表征几何特性的应用提供新思路。
2024-10-07 cs.AI cs.CV cs.LG
An Inclusive Theoretical Framework of Robust Supervised Contrastive Loss against Label Noise
Peking University(北京大学);The Chinese University of Hong Kong(香港中文大学)
本文提出统一理论框架,首次推导任意对比损失的鲁棒条件,证明InfoNCE不鲁棒并提出对称InfoNCE(SymNCE),同时解释最近邻样本选择等已有技术,实验验证其抗标签噪声优势。
2025-01-02 cs.LG
Supervised Contrastive Learning to Classify Paranasal Anomalies in the Maxillary Sinus
Hamburg University of Technology(汉堡工业大学);University Medical Center Hamburg-Eppendorf(汉堡-埃彭多夫大学医学中心);University Heart and Vascular Center(大学心血管中心)
使用深度学习技术,可以在MRI图像中自动检测鼻窦系统中的异常,并可以根据其体积,形状和其他参数(如局部对比度)进行进一步分析和分类。然而,由于训练数据有限,传统的监督学习方法往往无法推广。鼻旁异常分类中的现有深度学习方法已被用于诊断最多一个异常。在我们的工作中,我们考虑三个异常。具体而言,我们采用3D CNN将无异常的上颌窦体积与有异常的上颌窦体积分开。为了从一个小的标签数据集学习鲁棒的表示,我们提出了一种新的学习范式,结合对比损失和交叉熵损失。特别地,我们使用监督对比损失,其鼓励具有和不具有异常的上颌窦体积的嵌入以形成两个不同的聚类,而交叉熵损失鼓励3D CNN保持其辨别能力。我们报告说,优化与两个损失是有利的优化只有一个损失。我们还发现,我们的训练策略导致标签效率。使用我们的方法,3D CNN分类器实现了0.85的AUROC,而使用交叉熵损失优化的3D CNN分类器实现了0.66的AUROC。
2022-09-05 cs.CV cs.LG eess.IV
Performance or Trust? Why Not Both. Deep AUC Maximization with Self-Supervised Learning for COVID-19 Chest X-ray Classifications
National Research Council Canada(加拿大国家研究委员会);University of Waterloo(滑铁卢大学)
有效的表示学习是提高医学图像分析模型性能的关键。在训练深度学习模型时,通常必须在性能和信任之间做出妥协,这两者对于医疗应用都是必不可少的。此外,使用交叉熵损失优化的模型往往会在多数类中遭受不必要的过度自信,而在少数类中则会过度谨慎。在这项工作中,我们将新的替代损失与自监督学习相结合,使用放射摄影图像对COVID-19患者进行计算机辅助筛查。此外,我们采用了一种新的量化分数来衡量模型的可信度。对特征学习方法和损失函数的性能和信任度进行了消融研究。比较表明,在自监督模型上利用新的代理损失可以产生高性能和值得信赖的标签效率网络。
2021-12-14 cs.CV cs.LG eess.IV
Annotation by Clicks: A Point-Supervised Contrastive Variance Method for Medical Semantic Segmentation
Carleton University(卡尔顿大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能讲席)
医学图像分割方法通常依赖于大量的密集注释图像进行模型训练,这是众所周知的昂贵和耗时的收集。为了减轻这一负担,弱监督技术已被利用来训练分割模型与较便宜的注释。本文提出了一种新的点监督对比方差医学图像语义分割方法(PSCV),它只需要一个像素点从每个器官类别进行注释。该方法通过使用一种新的对比方差(CV)损失来利用未标记的像素和标记像素上的部分交叉熵损失来训练基本分割网络。CV损失函数被设计为利用医学图像中器官的统计空间分布特性及其方差分布图表示来对未标记的像素执行区分性预测。在两个标准医学图像数据集上的实验结果表明,该方法在点监督医学图像语义分割任务上优于现有的弱监督方法.
2022-12-23 cs.AI cs.CV cs.LG
Gated CRF Loss for Weakly Supervised Semantic Image Segmentation
最先进的语义分割方法依赖于在完全注释的数据集上训练的深度卷积神经网络,众所周知,收集这些数据集在时间和金钱方面都非常昂贵。为了补救这种情况,弱监督方法利用其他形式的监督,这些监督需要显著更少的注释工作,但由于这些区域中监督信号的近似性质,它们通常无法预测精确的对象边界。虽然在提高性能方面已经取得了很大的进展,但这些弱监督方法中的许多都是针对其特定设置的。这对重用算法和取得稳定进展提出了挑战。在本文中,我们有意避免这种做法时,处理弱监督语义分割。特别是,我们训练标准的神经网络与部分交叉熵损失函数的标记像素和我们提出的门控CRF损失的未标记像素。门控CRF损失被设计为提供几个重要的资产:1)它使内核构造具有灵活性,以屏蔽来自不期望的像素位置的影响; 2)它将学习上下文关系卸载到CNN并集中于语义边界; 3)它不依赖于高维滤波,因此具有简单的实现。在整个文件中,我们提出的损失函数的优点,分析了弱监督训练的几个方面,并表明我们的“纯粹主义”的方法实现了最先进的性能,基于点击和基于涂鸦的注释。
2019-10-30 cs.CV
Understanding Self-supervised Contrastive Learning through Supervised Objectives
KAIST(韩国科学技术院)
本研究通过将自监督表示学习表述为监督学习目标的近似,推导出与InfoNCE相关的损失函数,引入原型表示偏差和平衡对比损失概念,从理论角度解释并改进了自监督对比学习算法。
2025-10-12 cs.LG
On Regularized Losses for Weakly-supervised CNN Segmentation
University of Waterloo(滑铁卢大学);Disney Research(迪士尼研究院);École de Technologie Supérieure, University of Quebec(魁北克大学高等技术学院)
一般来说,最小化正则化损失是深度学习中公认的弱监督的原则性方法。然而,它在很大程度上被忽视的语义分割目前占主导地位的方法模仿充分监督通过“假”完全标记的训练掩码(建议)从可用的部分输入。为了获得这样的全掩模,典型的方法明确地使用标准正则化技术用于“浅”分割,例如图切割或密集CRF。相比之下,我们将这样的标准正则化器直接集成到部分输入上的损失函数中。这种方法通过避免额外的MRF/CRF推理步骤或显式生成完整掩码的层来简化弱监督训练,同时提高训练的质量和效率。本文提出并实验比较了不同的损失集成MRF/CRF正则化项。我们将我们的正则化损失与早期使用显式正则化步骤或层的提案生成方法并列。我们的方法在语义分割中达到了最先进的准确性,并且具有接近全监督的质量。
2018-04-10 cs.CV
ACCL: Adversarial constrained-CNN loss for weakly supervised medical image segmentation
Beijing Institute of Technology(北京理工大学)
我们提出了对抗性约束CNN损失,约束CNN损失方法的一个新范例,用于弱监督医学图像分割。在新的范例中,先验知识被编码和描述的参考掩码,并进一步采用通过对抗学习与参考掩码的分割输出施加约束。与用于弱监督分割的伪标签方法不同,这样的参考掩模用于训练神经元而不是分割网络,因此不需要与特定图像配对。我们的新范式不仅大大方便了对网络输出施加先验知识,而且还提供了更强和更高阶的约束,即,分布近似,通过对抗学习。广泛的实验涉及不同的医疗方式,不同的解剖结构,不同的拓扑结构的感兴趣的对象,不同水平的先验知识和弱监督注释与不同的注释比率进行评估我们的ACCL方法。实验结果表明,该方法的分割效果优于CNN损失法,部分分割结果接近全监督的分割结果,充分验证了该方法的有效性和推广性。具体而言,我们报告了75.4%的平均Dice分数,平均注释率为0.65%,超过了现有技术,即,尺寸受限的CNN损失方法,大幅度提高了11.4%。我们的代码可在https://github.com/PengyiZhang/ACCL上公开获取。
2020-05-01 cs.CV
AsyInst: Asymmetric Affinity with DepthGrad and Color for Box-Supervised Instance Segmentation
Tongji University(同济大学);The City University of New York(纽约城市大学);Johns Hopkins University(约翰斯·霍普金斯大学);Tsinghua University(清华大学)
弱监督实例分割是一个具有挑战性的任务。现有的方法通常使用边界框作为监督,并使用正则化损失项(例如用于实例分割的成对颜色亲和度损失)来优化网络。通过系统分析,我们发现常用的成对亲和度损失有两个局限性:(1)它适用于颜色亲和度,但导致其他模态(如深度梯度)的性能较差,(2)原始亲和度损失并不能阻止预期的琐碎预测,但实际上加速了这个过程,因为亲和度损失项是对称的。为了克服这两个限制,在本文中,我们提出了一种新的不对称的亲和力损失,它提供了对平凡的预测和概括以及从不同的方式与亲和力损失的惩罚。在提出的非对称亲和力损失的情况下,我们的方法在Cityscapes数据集上的性能优于最先进的方法,并且在掩模AP中的性能优于我们的基线方法3.5%。
2022-12-07 cs.CV
Local contrastive loss with pseudo-label based self-training for semi-supervised medical image segmentation
Computer Vision Laboratory, ETH Zurich(苏黎世联邦理工学院计算机视觉实验室)
基于监督式深度学习的方法可为医学图像分割提供准确的结果。然而,它们需要大型标记数据集,并且获得它们是一项艰巨的任务,需要临床专业知识。基于半/自监督学习的方法通过利用未标记的数据以及有限的注释数据来解决这个限制。最近的自监督学习方法使用对比损失从未标记图像中学习良好的全局水平表示,并在流行的自然图像数据集(如ImageNet)上实现高性能的分类任务。在像素级预测任务(如分割)中,学习良好的局部表示和全局表示以实现更好的准确性至关重要。然而,现有的本地对比损失为基础的方法的影响仍然有限的学习良好的本地表示,因为相似和不相似的本地区域的定义基于随机扩增和空间接近,而不是基于本地区域的语义标签,由于缺乏大规模的专家注释在半/自我监督设置。在本文中,我们提出了一个本地对比损失学习良好的像素级功能,通过利用语义标签信息,从伪标签的未标记的图像旁边有限的注释图像分割有用。特别地,我们定义了建议的损失,以鼓励具有相同伪标签/标签的像素的类似表示,同时与数据集中具有不同伪标签/标签的像素的表示不同。我们执行基于伪标签的自训练和训练网络,通过联合优化建议的对比损失的标记和未标记的集和分割损失的有限的标记集。我们在三个公共心脏和前列腺数据集上进行了评估,并获得了较高的分割性能。
2021-12-17 cs.AI cs.CV cs.LG
GraphVICRegHSIC: Towards improved self-supervised representation learning for graphs with a hyrbid loss function
University of Toronto(多伦多大学)
自监督学习和预训练策略在过去的几年里得到了发展,特别是对于卷积神经网络(CNN)。近年来,这些方法在图神经网络(GNNs)中也得到了广泛的应用。在本文中,我们使用了一种基于图的具有不同损失函数的自监督学习策略(Bar-low Twins [Zbontaret等人,2021],HSIC [Tsaiet al.,2021],VICReg [Bardeset等人,2021])与CNN结合应用,取得了良好的效果。我们还提出了一种结合VICReg和HSIC优点的混合损失函数,称之为VICRegHSIC。在MUTAG、PROTEINS、IMDB-Binary等7个数据集上比较了上述方法的性能。实验表明,在7个数据集中,我们的混合损失函数的性能优于其他方法。此外,还探讨了不同批量、投影仪尺寸和数据扩充策略的影响。
2021-11-26 cs.AI cs.CG cs.CV
Adaptive Affinity Loss and Erroneous Pseudo-Label Refinement for Weakly Supervised Semantic Segmentation
Xidian University(西安电子科技大学);Xi’an Jiaotong University(西安交通大学);University of Leicester(莱斯特大学)
语义分割在过去的十年中得到了不断的研究,并且大多数已建立的技术都是基于监督模型的。近年来,图像级弱监督语义分割(WSSS),包括单阶段和多阶段的过程,吸引了大量的关注,由于数据标记效率。在本文中,我们提出将多阶段方法的亲和学习嵌入到单阶段模型中。具体来说,我们引入了自适应的亲和力损失,以彻底学习局部成对亲和力。因此,深度神经网络用于在训练阶段传递全面的语义信息,同时提高最终预测模块的性能。另一方面,考虑到伪标签中存在错误,我们提出了一种新的标签重分配损失来减轻过拟合。在PASCAL VOC 2012数据集上进行了大量的实验,以评估我们提出的方法的有效性,该方法优于其他标准的单阶段方法,并与几种多阶段方法实现了相当的性能。
2021-08-03 cs.CV
Uncertainty and Energy based Loss Guided Semi-Supervised Semantic Segmentation
Indian Institute of Science Education and Research Bhopal(印度科学教育与研究学院博帕尔分校)
本文提出在半监督语义分割的交并伪监督网络中引入任意不确定性与基于能量的损失,利用逐像素方差和生成建模提升分割性能,并通过实验验证其优于现有方法。
2025-01-03 cs.CV
On the Surrogate Gap between Contrastive and Supervised Losses
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心)
对比表示学习鼓励数据表示使语义相似的对比随机抽取的负样本更接近,这在视觉、语言和图形等各个领域都取得了成功。最近的理论研究试图解释的好处,大负样本量的上限下游分类损失的对比损失。然而,以前的替代边界有两个缺点:它们只适用于有限范围的负样本大小,即使在该范围内也过大。由于这些缺点,在负样本量理论上如何与下游分类性能相关方面仍然没有达成共识。根据简化设置,其中从真实分布中提取阳性对(不是通过数据增强生成的;如先前研究中所假设的),本研究为所有阴性样本量的下游分类损失建立了替代上限和下限,最好地解释了早期研究中阴性样本量的经验观察结果。我们的界限表明,对比损失可以被视为下游损失的替代目标,较大的负样本量可以改善下游分类,因为对比损失和监督损失之间的替代差距衰减。我们验证了我们的理论与合成,视觉和语言数据集上的实验是一致的。
2022-05-30 cs.LG
SimCon Loss with Multiple Views for Text Supervised Semantic Segmentation
Czech Technical University in Prague(布拉格捷克理工大学);AWS AI Labs(AWS人工智能实验室)
纯粹依靠来自web数据的图文对齐来学习分割图像会由于数据中的噪声而导致次优性能。噪声来自相关文本与图像的视觉内容不相关的样本。本文提出了一种新的损失函数SimCon,而不是纯粹依赖于噪声数据的对齐,该函数考虑了模态内的相似性,以确定要对齐的适当的正样本集。此外,使用图像的多个视图(合成创建)进行训练并将SimCon损失与之结合,使训练更加稳健。这个版本的损失被称为MV-SimCon。实验结果表明,使用所提出的损失函数导致一致的改进zero-shot,文本监督语义分割和性能优于最先进的$+3.0\%$,$+3.3\%$和$+6.9\%$ PASCAL VOC,PASCAL上下文和MSCOCO,分别。随着测试时间的增加,我们通过将这些结果分别改进为PASCAL VOC、PASCAL Context和MSCOCO上的$58.7\%$、$26.6\%$和$33.3\%$,从而创造了新的记录。此外,使用所提出的损失函数导致鲁棒的训练和更快的收敛。
2023-02-07 cs.CV
Self-Supervised Contrastive Learning is Approximately Supervised Contrastive Learning
Texas A&M University(德克萨斯农工大学)
该研究填补自监督对比学习(CL)理论空白,证明其隐式近似仅负样本监督对比损失(NSCL),且两者差距随类别数增加消失,还刻画NSCL几何结构并提出少样本误差边界,实证验证理论发现。
2025-11-10 cs.LG
Dynamic Feature Regularized Loss for Weakly Supervised Semantic Segmentation
University of Liverpool(利物浦大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学);Beijing Jiaotong University(北京交通大学)
我们专注于解决弱监督语义分割与涂鸦级注释。规则化损失已被证明是解决这一问题的有效方法。然而,大多数现有的正则化损失仅利用静态浅层特征(颜色、空间信息)来计算正则化核,这限制了其最终性能,因为这种静态浅层特征在复杂情况下无法描述成对像素关系。在本文中,我们提出了一种新的正则化损失,它利用浅层和深层的功能,动态更新,以聚合足够的信息来表示不同像素的关系。此外,为了提供准确的深度特征,我们采用视觉Transformer作为骨干,并设计了一个特征一致性头训练成对的特征关系。与大多数采用多阶段训练策略且有很多花里胡哨的方法不同,我们的方法可以以端到端的方式直接训练,其中特征一致性头部和我们的规则化损失可以互相受益。大量的实验表明,我们的方法实现了新的国家的最先进的性能,优于其他方法的显着保证金超过6\%的mIoU增加。
2021-08-03 cs.CV
Self-supervised Learning with Local Contrastive Loss for Detection and Semantic Segmentation
Nvidia(英伟达);Microsoft(微软);Rensselaer Polytechnic Institute(伦斯勒理工学院)
我们提出了一种自监督学习(SSL)方法,适用于半全局任务,如目标检测和语义分割。我们通过在训练过程中最小化像素级局部对比度(LC)损失,来增强自学特征之间的局部一致性,这些特征代表同一图像的变换版本的相应图像位置。LC损失可以以最小的开销添加到现有的自监督学习方法中。我们评估我们的SSL方法的两个下游任务-目标检测和语义分割,使用COCO,PASCAL VOC和CityScapes数据集。我们的方法在COCO目标检测、PASCAL VOC检测和CityScapes分割上分别比现有的最先进的SSL方法高出1.9%、1.4%和0.6%。
2022-12-08 cs.AI cs.CV
Box for Mask and Mask for Box: weak losses for multi-task partially supervised learning
IRISA(法国国家信息与自动化研究所雷恩分院(IRISA));Université Bretagne Sud(南布列塔尼大学)
针对多任务部分监督学习中样本仅单任务标注的问题,提出Box-for-Mask、Mask-for-Box及组合BoMBo策略,结合弱损失与监督损失,利用单任务标注信息训练另一任务,VOC和COCO实验验证有效性。
2024-11-26 cs.CV
Background-Aware Pooling and Noise-Aware Loss for Weakly-Supervised Semantic Segmentation
Yonsei University(延世大学)
我们解决的问题,弱监督语义分割(WSSS)使用限界框注释。虽然对象边界框是分割相应对象的良好指示器,但它们不指定对象边界,使得难以训练卷积神经网络(CNN)进行语义分割。我们发现,背景区域在图像中部分是感知一致的,这可以用来区分对象边界框内的前景和背景区域。为了实现这一想法,我们提出了一种新的池化方法,称为背景感知池化(BAP),它更侧重于使用注意力地图聚合边界框内的前景特征。这允许提取高质量的伪分割标签来训练CNN进行语义分割,但标签仍然包含噪声,特别是在对象边界处。为了解决这个问题,我们还引入了噪声感知损失(NAL),使网络不太容易受到错误标签的影响。实验结果表明,在PASCAL VOC 2012数据集上,使用我们的伪标签学习的性能已经超过了最先进的弱监督和半监督方法,NAL进一步提高了性能。
2021-04-02 cs.CV
Region-level Contrastive and Consistency Learning for Semi-Supervised Semantic Segmentation
Jilin University(吉林大学);Baidu Research(百度研究院);National Engineering Laboratory for Deep Learning Technology and Application(深度学习技术及应用国家工程实验室)
目前的半监督语义分割方法主要集中在设计像素级一致性和对比正则化。然而,像素级正则化对来自具有不正确预测的像素的噪声敏感,并且像素级对比正则化具有O(pixel_num^2)的内存和计算成本。为了解决这些问题,我们提出了一种新的区域级对比和一致性学习框架(RC ^2L)的半监督语义分割。具体来说,我们首先提出了一个区域掩码对比(RMC)损失和区域特征对比(RFC)损失,以实现区域级的对比属性。此外,区域类一致性(RCC)损失和语义掩码一致性(SMC)损失提出了实现区域级的一致性。基于提出的区域级对比和一致性正则化,我们开发了一个用于半监督语义分割的区域级对比和一致性学习框架(RC ^2L),并在两个具有挑战性的基准测试(PASCAL VOC 2012和Cityscapes)上评估了我们的RC $^2$ L,性能优于最先进的。
2022-04-28 cs.CV
Adaptive von Mises-Fisher Likelihood Loss for Supervised Deep Time Series Hashing
The University of Texas Rio Grande Valley(德克萨斯理工大学里奥格兰德谷分校);University of Connecticut(康涅狄格大学)
本文提出一种基于 von Mises-Fisher 分布的哈希损失,将数据映射到超球面空间以减少信息损失,并通过最大化类别分布间隔提升监督深度时间序列哈希性能,实验优于现有基线。
2025-09-23 cs.LG
Pixel Contrastive-Consistent Semi-Supervised Semantic Segmentation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);X The Moonshot Factory(X 登月工厂)
提出了一种新的半监督语义分割方法,该方法同时满足了分割模型的两个要求:图像增强之间的标签空间一致性和不同像素之间的特征空间对比性。我们分别利用像素级L2损失和像素对比度损失来实现这两个目的。为了解决像素对比度损失中的计算效率问题和假负噪声问题,我们进一步介绍和研究了几种负采样技术。广泛的实验证明了我们的方法(PC 2Seg)与DeepLab-v3+架构的最新性能,在来自VOC,Cityscapes和COCO数据集的几个具有挑战性的半监督设置中。
2021-08-20 cs.CV
DSV: An Alignment Validation Loss for Self-supervised Outlier Model Selection
Carnegie Mellon University(卡内基梅隆大学)
针对自监督异常检测中增强超参数缺乏系统调优方法的问题,提出无监督验证损失DSV,通过代理损失衡量增强与异常机制的对齐,并在理论分析和21个真实任务上验证其优于基线。
2023-07-13 cs.LG
Depth Edge Alignment Loss: DEALing with Depth in Weakly Supervised Semantic Segmentation
DTU - Technical University of Denmark(丹麦技术大学);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃朗根-纽伦堡弗里德里希-亚历山大大学)
提出深度边缘对齐损失以提升弱监督语义分割性能,通过像素级深度信息增强模型表现。
2026-01-14 cs.CV
C-MIL: Continuation Multiple Instance Learning for Weakly Supervised Object Detection
University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室)
弱监督目标检测(WSOD)是一个具有挑战性的任务时,提供了图像类别的监督,但需要同时学习对象的位置和对象检测器。许多WSOD方法采用多实例学习(MIL)并且具有非凸的损失函数,这些损失函数在训练期间容易陷入局部最小值(错误地定位对象部分),同时丢失整个对象范围。在本文中,我们将连续优化方法引入MIL,从而创建连续多实例学习(C-MIL),旨在以系统的方式缓解非凸性问题。我们将实例划分为空间相关和类相关的子集,并在子集内定义一系列平滑的损失函数来近似原始损失函数。优化平滑的损失函数可以防止训练过程过早地陷入局部极小值,并有助于发现指示完整对象范围的稳定语义极值区域(SSERs)。在PASCAL VOC 2007和2012数据集上,C-MIL改进了弱监督目标检测和弱监督对象定位的最新技术水平。
2019-04-11 cs.CV
Seed, Expand and Constrain: Three Principles for Weakly-Supervised Image Segmentation
IST Austria(奥地利科学技术学院)
我们引入了一个新的损失函数的语义图像分割模型的弱监督训练的基础上的三个指导原则:种子与弱本地化线索,扩大对象的基础上的信息,哪些类可以出现在图像中,并限制分割,以符合对象的边界。我们通过实验证明,使用所提出的损失函数训练深度卷积神经网络,在具有挑战性的PASCAL VOC 2012数据集上,比以前最先进的方法得到了更好的分割。此外,我们深入了解我们的方法的工作机制,详细的实验研究,说明了如何分割质量的影响所提出的损失函数,以及它们的组合。
2016-08-06 cs.CV
Distance Metric Learning Loss Functions in Few-Shot Scenarios of Supervised Language Models Fine-Tuning
Warsaw University of Technology(华沙理工大学);NASK - National Research Institute(NASK国家研究所)
本文分析了距离度量学习(DML)损失函数对分类任务的语言模型的监督微调的影响。我们使用来自SentEval Transfer Tasks的已知数据集进行了实验。我们的实验表明,应用DML损失函数可以提高Few-Shot场景中RoberTa大型模型的下游分类任务的性能。使用SoftTriple损失进行微调的模型可以比使用标准分类交叉熵损失函数的模型获得更好的结果,从0.04到13.48个百分点,具体取决于训练数据集。此外,我们完成了一个全面的分析与解释性技术,以评估模型的可靠性和解释他们的结果。
2022-11-28 cs.AI cs.CL cs.LG
A Weakly-Supervised Semantic Segmentation Approach based on the Centroid Loss: Application to Quality Control and Inspection
University of the Balearic Islands(巴利阿里群岛大学);IDISBA (Institut d'Investigacio Sanitaria de les Illes Balears)(巴利阿里群岛卫生研究所(IDISBA))
人们普遍认为,基于深度学习和卷积神经网络的当前视觉算法的关键部分之一是对足够数量的图像进行注释,以实现有竞争力的性能。这对于语义分割任务来说尤其困难,因为注释必须在像素级上理想地生成。弱监督的语义分割旨在通过采用更简单的注释来减少这种成本,因此,更容易,更便宜,更快地产生。在本文中,我们提出并评估了一种新的弱监督语义分割方法,利用一种新的损失函数,其目标是抵消弱注释的影响。为此,该损失函数包括基于部分交叉熵损失的若干项,其中之一是质心损失。该术语在所考虑的对象类中引入图像像素的聚类,其目的是通过指导优化来改进分割网络的训练。该方法的性能进行评估对数据集从两个不同的行业相关的案例研究:而一个涉及到检测的质量控制应用程序的上下文中的一些不同的对象类的实例,另一个源于视觉检测域和处理的图像区域的本地化,其像素对应于受特定种类的缺陷的场景表面点。针对这两种情况报告的检测结果表明,尽管它们之间存在差异和特定的挑战,但弱注释的使用并不妨碍实现两者的竞争性能水平。
2021-03-04 cs.CV
What shapes the loss landscape of self-supervised learning?
The University of Tokyo(东京大学);Physics & Informatics Laboratories, NTT Research, Inc.(NTT研究公司物理与信息学实验室);Harvard University(哈佛大学);University of Michigan(密歇根大学);RIKEN Center for Emergent Matter Science (CEMS)(理化学研究所涌现物质科学中心)
防止表示的完全和维度崩溃最近已经成为自监督学习(SSL)的设计原则。然而,在我们的理论理解中仍然存在问题:这些崩溃何时发生?机制和原因是什么?我们回答这些问题,推导和彻底分析SSL损失景观的分析听话的理论。在这个理论中,我们确定了维度崩溃的原因,并研究了归一化和偏差的影响。最后,我们利用分析理论提供的可解释性来理解维度崩溃是如何有益的,以及是什么影响了SSL对数据不平衡的鲁棒性。
2023-03-12 cs.LG physics.data-an
Sentence Embeddings using Supervised Contrastive Learning
Princeton University(普林斯顿大学)
句子嵌入将句子编码在固定的密集向量中,并在各种NLP任务和系统中发挥了重要作用。构建句子嵌入的方法包括无监督学习(如Quick-Thoughts)和监督学习(如Infersent)。随着预训练的NLP模型的成功,最近的研究表明,在SNLI和Multi-NLI数据上微调预训练的BERT可以创建最先进的句子嵌入,在各种评估基准上优于以前的句子嵌入方法。在本文中,我们提出了一种新的方法来建立句子嵌入进行监督对比学习。具体来说,我们的方法在SNLI数据上微调预训练的BERT,同时包含监督交叉熵损失和监督对比损失。与仅使用类似于当前最先进方法SBERT的监督交叉熵损失进行微调的基线相比,我们的监督对比方法在语义文本相似性(STS)基准测试中平均提高了2.8%,在各种句子迁移任务中平均提高了1.05%。
2021-06-09 cs.CL cs.LG
Mixed Supervised Graph Contrastive Learning for Recommendation
University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
提出MixSGCL方法,将推荐与对比损失整合为监督对比学习损失以统一优化方向,并引入节点级和边级混合挖掘监督信号,有效缓解数据稀疏性,在准确率和效率上超越现有方法。
2024-04-25 cs.IR cs.LG
Intrinsically Motivated Self-supervised Learning in Reinforcement Learning
Peking University(北京大学);Tsinghua University(清华大学)
在基于视觉的强化学习(RL)任务中,为了获得更多的语义表示并提高样本效率,通常采用代理自监督损失来分配辅助任务。然而,由于表示学习部分和决策部分被分离,自监督辅助任务中的丰富信息被忽视。为了充分利用辅助任务中的信息,我们提出了一个简单而有效的想法,采用自我监督损失作为内在奖励,称为强化学习中的内在激励自监督学习(IM-SSR)。我们正式表明,自我监督的损失可以分解为探索新的状态和鲁棒性的提高,从滋扰消除。IM-SSR可以毫不费力地插入任何具有自监督辅助目标的强化学习,几乎没有额外的成本。结合IM-SSR,以前的底层算法在DeepMind控制套件的各种基于视觉的机器人任务中,特别是在奖励信号稀疏时,在样本效率和泛化方面都取得了显着的改进。
2022-05-13 cs.AI cs.LG
FeaRLESS: Feature Refinement Loss for Ensembling Self-Supervised Learning Features in Robust End-to-end Speech Recognition
University of Texas at Dallas(德克萨斯大学达拉斯分校)
自监督学习表示(SSLR)在许多领域中为下游任务提供了鲁棒的功能。最近,几个SSLR在自动语音识别(ASR)基准语料库上显示出有希望的结果。然而,以前的研究只显示了作为ASR模型输入特征的孤立SSLR的性能。在这项研究中,我们建议调查不同的SSLR组合使用各种融合方法在端到端(E2E)ASR模型的有效性。此外,我们将展示这些提取的SSLR之间的相关性。因此,我们进一步提出了去相关的特征细化损失,以有效地组合输入特征集。对于评估,我们表明,建议的“FeaRLESS学习功能”比系统更好地执行没有建议的功能细化损失的华尔街日报和无畏的步骤挑战(FSC)语料库。
2022-06-30 cs.LG cs.SD eess.AS
Multimodal-Aware Weakly Supervised Metric Learning with Self-weighting Triplet Loss
Dalian University of Technology(大连理工大学)
近年来,我们目睹了从弱监督数据中学习合适的距离度量的兴趣激增。大多数现有的方法旨在将所有相似的样本拉得更近,而将不相似的样本推得尽可能远。然而,当数据集的某些类别表现出多峰分布时,这些目标相互冲突,因此很难同时满足。此外,为了确保有效的度量,许多方法需要重复的特征值分解过程,这是昂贵的和数值不稳定的。因此,如何从弱监督数据中学习合适的距离度量仍然是一个开放但具有挑战性的问题。为了解决这个问题,在本文中,我们提出了一种新的弱监督度量学习算法,命名为Multimodal Aware weakly supervised Metric Learning(MDaML)。MDaML将数据空间划分为多个聚类,并为每个样本分配局部聚类中心和权重。然后,将其与加权三元组损失相结合,可以进一步增强局部可分性,这鼓励局部不相似样本与局部相似样本保持较大的距离。同时,MDaML将度量学习问题转化为SPD流形上的无约束优化问题,利用黎曼共轭梯度下降(RCGD)算法可以有效地求解该问题.在13个数据集上进行的大量实验验证了所提出的MDaML的优越性。
2021-02-03 cs.AI cs.LG cs.MM
Bayes-Sufficient Representations in Supervised Learning
Athena Research Center, Kimmeria Campus, Xanthi, Greece(阿塔尼亚研究中心,基米里亚校区,辛提斯,希腊);Democritus University of Thrace, Vas. Sofias Campus, Xanthi, Greece(德摩根大学,瓦斯·索菲亚校区,辛提斯,希腊);International Hellenic University, Serres, Greece(国际希腊大学,塞雷斯,希腊)
本文定义了监督学习中表示对损失函数的贝叶斯充分性,引入贝叶斯商概念,并证明最小充分表示等价于贝叶斯商,通过实验区分了充分性、最小性和非必要信息保留。
2026-06-02 cs.AI cs.LG
ROBUST-WT: Robust Uncertainty-aware Segmentation Transform via Whitening and Training Enhancements
SEECs, University of Engineering and Technology, Lahore, Pakistan(工程与技术大学,拉合尔,巴基斯坦)
针对WT-PSE框架的四个局限性,提出域自适应增强、混合损失函数、课程式权重调度和消融控制标志四种改进,在眼底视盘分割中Dice达0.956。
2026-06-02 cs.AI cs.CV cs.LG
Self-supervised Auxiliary Loss for Metric Learning in Music Similarity-based Retrieval and Auto-tagging
Sony Computer Science Laboratories, Inc(索尼计算机科学实验室公司);Koozyt, Inc(Koozyt公司)
本文提出一种结合自监督辅助损失的度量学习方法,用于提升音乐相似度检索与自动标注性能,并发现联合训练监督与自监督信号、微调阶段不使用数据增强更有效。
2023-04-15 cs.IR cs.LG cs.SD
Direct Coloring for Self-Supervised Enhanced Feature Decoupling
West Virginia University(西弗吉尼亚大学)
本文提出一种基于增强数据贝叶斯先验的直接特征着色方法,通过尽早促进有用特征实现自监督特征解耦,以补充白化并避免表示坍缩,性能优于对比与非对比方法。
2024-12-03 cs.CV