SSL^2: Self-Supervised Learning meets Semi-Supervised Learning: Multiple Sclerosis Segmentation in 7T-MRI from large-scale 3T-MRI
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心)
从MRI扫描中自动分割多发性硬化(MS)病变对于量化疾病进展非常重要。近年来,当大量标记数据可用时,卷积神经网络(CNN)在此任务中表现出最佳性能。然而,当处理很少和/或稀疏标记的数据集时,CNN的准确性会受到影响。一个潜在的解决方案是利用大型公共数据集中可用的信息,结合只有有限标记数据的目标数据集。在本文中,我们提出了一个训练框架,SSL2(自我监督-半监督),用于有限监督的多模态MS病变分割。我们采用自监督学习来利用来自大型公共3T数据集的知识来解决小型7T目标数据集的限制。为了利用来自未标记的7T数据的信息,我们还评估了用于其他有限注释设置的最先进的半监督方法,例如小标记训练大小和稀疏注释。我们使用移窗(Swin)transformer1作为我们的骨干网络。在我们的内部7T MRI数据集中评估了自监督和半监督训练策略的有效性。结果表明,每种策略都改善了有限的训练数据大小和稀疏标记情况下的病变分割。与单独的任一组件相比,组合的整体框架进一步显著提高了性能。因此,我们提出的框架为未来的数据/标签饥饿的7T MS研究提供了一个有前途的解决方案。
2023-03-09 cs.CV cs.LG eess.IV
When Noisy Labels Meet Long Tail Dilemmas: A Representation Calibration Method
SIGS, Tsinghua University(清华大学深圳国际研究生院);Peking University(北京大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Qing Yuan Research Institute, SEIEE, Shanghai Jiao Tong University(上海交通大学清源研究院)
针对真实数据中标签噪声与类别不平衡共存的问题,提出基于无监督对比学习表征的RCAL校准方法,通过恢复潜在高斯分布采样补充数据,结合对比学习鲁棒性提升分类性能,经理论与多基准实验验证有效。
2023-11-07 cs.LG
AusSmoke meets MultiNatSmoke: a fully-labelled diverse smoke segmentation dataset
Bushfire Research Centre of Excellence(火灾研究卓越中心)
本文提出AusSmoke和MultiNatSmoke数据集,通过整合国际公开数据和澳大利亚实地采集数据,解决烟雾分割数据集规模小、地域局限和依赖合成图像的问题,并验证了模型在不同地理环境下的性能提升。
2026-04-26 cs.CV
LiDAR Remote Sensing Meets Weak Supervision: Concepts, Methods, and Perspectives
aircas.ac.cn(航空科学研究院)
本文从弱监督学习视角系统回顾了LiDAR遥感的最新进展,探讨了弱监督方法在数据解释、参数反演及跨域适应中的应用,并展望了WSL在提升LiDAR遥感性能与泛化能力方面的未来方向。
2025-10-28 cs.CV
Deep Metric Learning Meets Deep Clustering: An Novel Unsupervised Approach for Feature Embedding
AIOZ;University of Liverpool(利物浦大学);University of Adelaide(阿德莱德大学)
无监督深度距离度量学习(UDML)旨在从未标记的数据集中学习嵌入空间中的样本相似性。传统的UDML方法通常使用三重损失或成对损失,这需要挖掘正样本和负样本w.r.t.锚数据点。然而,这在无监督设置中具有挑战性,因为标签信息不可用。在本文中,我们提出了一种新的UDML方法,克服了这一挑战。特别地,我们建议使用深度聚类损失来学习质心,即,伪标签,表示语义类。在学习过程中,这些质心也用于重建输入样本。因此,它确保了质心的代表性-每个质心代表视觉上相似的样本。因此,质心给出了关于阳性(视觉上相似)和阴性(视觉上不相似)样品的信息。基于伪标签,我们提出了一种新的无监督度量损失,它强制执行嵌入空间中样本的正集中和负分离。基准数据集上的实验结果表明,该方法优于其他UDML方法。
2020-09-09 cs.CV
Category Adaptation Meets Projected Distillation in Generalized Continual Category Discovery
IDEAS NCBR;Warsaw University of Technology(华沙理工大学);Gdańsk University of Technology(格但斯克理工大学);Tooploox;Autonomous University of Barcelona(巴塞罗那自治大学);Computer Vision Center(计算机视觉中心)
针对GCCD中特征蒸馏限制模型适应新类别的问题,提出结合可学习投影器与辅助类别适应网络的CAMP方法,有效平衡新旧知识学习并在多种场景下取得优异性能。
2024-07-25 cs.CV cs.LG
Large Language Models Meet Extreme Multi-label Classification: Scaling and Multi-modal Framework
针对极端多标签分类任务,本文提出多模态框架ViXML,结合大参数仅解码器模型与视觉信息,在多组数据集上取得SOTA性能,同时公开了带视觉元数据的扩展数据集。
2025-11-17 cs.CV cs.IR
Contrastive Learning Meets Pseudo-label-assisted Mixup Augmentation: A Comprehensive Graph Representation Framework from Local to Global
School of Information Science and Technology, Beijing University of Technology(北京工业大学信息科学与技术学院);The University of Sydney Business School, The University of Sydney(悉尼大学商学院);College of Information Science and Technology, Beijing University of Chemical Technology(北京化工大学信息科学与技术学院)
针对现有GNN忽略全局消息传递导致局部与全局信息缺乏协同的问题,提出ComGRL框架,通过图对比学习、多头自注意力及伪标签辅助的Mixup增强实现局部到全局的协同表示学习,在节点分类任务中表现优异。
2025-01-30 cs.LG
CLIP meets DINO for Tuning Zero-Shot Classifier using Unlabeled Image Collections
Mohamed Bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);The Johns Hopkins University(约翰斯·霍普金斯大学);IBM Research(IBM研究院)
本文提出无标签提示微调框架NoLA,结合DINO的视觉特征与LLM的文本知识,通过生成文本嵌入、训练对齐模块并微调CLIP视觉编码器,在11个数据集上超越LaFTer平均3.6%。
2025-04-10 cs.CL cs.CV cs.LG
When Semi-Supervised Learning Meets Transfer Learning: Training Strategies, Models and Datasets
YouTu Lab, Tencent(腾讯优图实验室);Google Brain(谷歌大脑);Nanjing University(南京大学)
半监督学习(Semi-Supervised Learning,SSL)已被证明是同时利用标记和未标记数据的有效方法。最近的半监督方法专注于深度神经网络,并在几个基准上取得了可喜的成果:CIFAR 10,CIFAR 100和SVHN。然而,他们的大多数实验都是基于从头开始训练的模型,而不是预先训练的模型。另一方面,迁移学习在目标域具有有限标记数据时已经证明了其价值。这里有一个直观的问题:在微调预训练模型时,是否可以合并SSL?我们全面研究了从预训练模型开始的SSL方法在不同条件下的表现,包括训练策略,架构选择和数据集。从这项研究中,我们得到了一些有趣和有用的观察。虽然从业者对这些观察结果有直观的理解,但我们进行了全面的实证分析,并证明:(1)当从预训练模型训练时,SSL技术在完全监督基线上的增益比从随机初始化训练时小,(2)当用于训练预训练模型的源数据的域与目标任务的域显著不同时,来自SSL的收益显著更高,以及(3)一些SSL方法能够推进完全监督的基线(如伪标签)。我们希望我们的研究可以加深对SSL研究的理解,并促进开发更有效的SSL方法来利用预训练模型的过程。代码现在可以在github上找到。
2018-12-13 cs.CV
Robust Trajectory Distillation: Hybrid Reweighting Meets Teacher-Inspired Targets
Hefei University of Technology(合肥工业大学);Jianghuai Advance Technology Center(江淮先进技术中心);Anhui Provincial Key Laboratory of Humanoid Robots(安徽省人形机器人重点实验室);Kaiyang Laboratory, Chery(凯阳实验室,中国奇瑞);Zhejiang University of Technology(浙江工业大学)
提出一种基于轨迹的数据集蒸馏框架,通过选择性指导重加权和教师启发辅助目标,在噪声监督下联合抑制噪声并保留可迁移知识,无需重标注或干净子集。
2026-06-29 cs.CV
Evolutionary Machine Learning meets Self-Supervised Learning: a comprehensive survey
University of Coimbra, CISUC/LASI, DEI(科英布拉大学,CISUC/LASI,DEI)
本文综述了 Evolutionary Machine Learning 与 self-supervised learning 的结合研究,提出了新子领域 Evolutionary Self-Supervised Learning 及其分类法,并指出了主要挑战与未来方向。
2025-11-04 cs.LG cs.NE
Joint Binary Neural Network for Multi-label Learning with Applications to Emotion Classification
Nanjing University of Science and Technology(南京理工大学)
近年来,深度学习技术由于其自动表示学习能力和端到端学习框架而在多标签分类中取得了成功。现有的用于多标签分类的深度神经网络可以分为两类:二进制相关神经网络(BRNN)和阈值依赖神经网络(TDNN)。然而,前者需要训练一组孤立的二进制网络,忽略了标签间的依赖关系,计算量大;而后者需要额外的阈值函数机制将多类概率转换为多标签输出。在本文中,我们提出了一个联合二进制神经网络(JBNN),以解决这些缺点。在JBNN中,文本的表示被馈送到一组逻辑函数而不是softmax函数,并且在一个神经网络框架中同步执行多个二进制分类。此外,标签之间的关系是通过训练联合二进制交叉熵(JBCE)损失来捕获的。为了更好地满足多标签情感分类,我们进一步提出了将先验标签关系纳入JBCE损失。在基准数据集上的实验结果表明,我们的模型在分类性能和计算效率方面都明显优于最先进的多标签情感分类方法。
2018-02-03 cs.LG stat.ML
When Contrastive Learning Meets Active Learning: A Novel Graph Active Learning Paradigm with Self-Supervision
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文研究了图上的主动学习,其目的是发现信息量最大的节点,以最大化图神经网络的性能。以前,大多数图AL方法专注于从精心选择的标记数据集中学习节点表示,忽略了大量未标记的数据。受对比学习(CL)成功的启发,我们提出了一种新的范式,无缝集成图AL与CL。在能够以自我监督的方式利用丰富的未标记数据的能力的同时,由AL选择的节点进一步提供可以更好地指导表示学习的语义信息。此外,以前的工作测量节点的信息量,而不考虑GNN的邻域传播方案,因此可能会选择噪声节点。我们认为,由于GNN的平滑性质,来自同构子图的中心节点应该最有利于模型训练。为此,我们提出了一个极大极小选择方案,明确利用邻域信息和发现同伦子图,以促进积极的选择。在五个公共数据集上进行的全面、无混淆的实验表明,我们的方法优于最先进的方法。
2021-04-16 cs.LG stat.ML
Pseudo-labelling meets Label Smoothing for Noisy Partial Label Learning
IIIT Hyderabad(海得拉巴印度理工学院)
本文针对噪声部分标签学习问题,提出一种结合加权最近邻伪标签生成、标签平滑训练和迭代伪标签细化的框架,在多个数据集上取得了最先进性能。
2025-06-06 cs.CV cs.LG
NP-Match: When Neural Processes meet Semi-Supervised Learning
University of Oxford(牛津大学);TU Wien(维也纳工业大学);Microsoft Research(微软研究院);Tsinghua University(清华大学);Rutgers University(罗格斯大学);Microsoft(微软)
半监督学习(Semi-supervised learning,SSL)是近年来被广泛研究的一种利用未标记数据减少对标记数据依赖的有效方法。在这项工作中,我们调整神经过程(NPs)的半监督图像分类任务,从而在一个新的方法命名为NP-Match。NP-Match适合这项任务有两个原因。首先,NP-Match在进行预测时隐式地比较数据点,因此,每个未标记的数据点的预测受到与其相似的标记数据点的影响,这提高了伪标签的质量。其次,NP-Match能够估计不确定性,可以用作选择具有可靠伪标签的未标记样本的工具。与基于不确定性的蒙特卡罗(MC)退出实现的SSL方法相比,NP-Match估计不确定性的计算开销要少得多,这可以节省训练和测试阶段的时间。我们在四个公共数据集上进行了广泛的实验,NP-Match的性能优于最先进的(SOTA)结果或在它们上取得了竞争性结果,这表明了NP-Match的有效性及其在SSL中的潜力。
2022-07-03 cs.CV cs.LG
To Smooth or Not? When Label Smoothing Meets Noisy Labels
University of California, Santa Cruz(加州大学圣克鲁兹分校);Brown University(布朗大学);The University of Sydney(悉尼大学);RIKEN AIP(理化学研究所人工智能研究中心);University of Tokyo(东京大学)
标签平滑(LS)是一种新兴的学习范式,它使用硬训练标签和均匀分布的软标签的正加权平均值。结果表明,LS作为一个正规化的训练数据与硬标签,因此提高了模型的推广。后来有报道称,LS甚至有助于提高使用噪声标签学习时的鲁棒性。然而,我们观察到,当我们在高标签噪声状态下操作时,LS的优势消失。直观地说,这是由于当噪声率高时$\mathbb{P}(\text{noisy label}|X)$的熵增加,在这种情况下,进一步应用LS倾向于“过度平滑”估计的后验。我们继续发现,文献中的几种带噪声标签的学习解决方案与负/非标签平滑(NLS)更密切相关,NLS与LS相反,并定义为使用负权重来组合硬标签和软标签!我们提供的LS和NLS的属性的理解时,学习与噪声标签。在其他既定的属性,我们理论上表明NLS被认为是更有益的标签噪声率高时。我们也提供了多个基准的广泛实验结果来支持我们的发现。代码可在https://github.com/UCSC-REAL/negative-label-smoothing上公开获取。
2022-06-24 cs.LG
Revisiting Early-Learning Regularization When Federated Learning Meets Noisy Labels
KAIST AI(韩国科学技术院人工智能学院);Medipixel(美迪像素公司)
针对联邦学习中的标签噪声问题,本文提出联邦标签混合正则化(FLR),通过融合局部与全局模型预测生成伪标签,在独立同分布和非独立同分布下提升全局模型精度并抵抗噪声记忆。
2024-02-08 cs.DC cs.LG
When Noisy Labels Meet Class Imbalance on Graphs: A Graph Augmentation Method with LLM and Pseudo Label
本文针对含噪声标签的类别不平衡图节点分类,提出融合 LLM 过采样、动态加权伪标签与二次 LLM 过采样的 GraphALP 框架,性能优于现有方法。
2025-07-25 cs.AI cs.LG
Semantic Role Labeling Meets Definition Modeling: Using Natural Language to Describe Predicate-Argument Structures
Sapienza University of Rome(罗马第一大学);Babelscape(巴贝尔斯凯普)
过去和现在的语义角色标注(SRL)方法的一个共同特点是它们依赖于从预定义的语言库中提取的离散标签来对谓词意义及其论元进行分类。然而,我们认为情况不一定如此。在本文中,我们提出了一种方法,利用定义建模引入一个广义的制定SRL的任务描述谓词参数结构使用自然语言定义,而不是离散的标签。我们的新配方的第一步,把可解释性和灵活性放在首位,但我们的实验和分析PropBank风格和FrameNet风格,依赖性为基础的和跨度为基础的SRL也表明,一个灵活的模型与可解释的输出不一定是以牺牲性能。我们在https://github.com/SapienzaNLP/dsrl上发布我们的软件用于研究目的。
2022-12-02 cs.AI cs.CL cs.LG
NP-SemiSeg: When Neural Processes meet Semi-Supervised Semantic Segmentation
University of Oxford(牛津大学);Microsoft Research(微软研究院);Tsinghua University(清华大学);Rutgers University(罗格斯大学);Vienna University of Technology(维也纳工业大学)
本文提出NP-SemiSeg,将神经过程引入半监督语义分割以实现高效不确定性量化,并在PASCAL VOC 2012和Cityscapes上验证了其有效性。
2023-08-05 cs.CV cs.LG
Curiosity Meets Cooperation: A Game-Theoretic Approach to Long-Tail Multi-Label Learning
School of Cyber Science and Technology, Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区计算机科学与技术学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Department of Statistics and Data Science, National University of Singapore(新加坡国立大学统计与数据科学系);NExT++ Research Centre, National University of Singapore(新加坡国立大学NExT++研究中心)
本文提出 CD-GTMLL 合作势博弈框架,利用随标签稀有度和参与者分歧增长的好奇心奖励缓解长尾多标签学习不平衡,并证明其收敛性与 Rare-F1 下界收益。
2025-10-20 cs.LG
Online Label Shift: Optimal Dynamic Regret meets Practical Algorithms
UC Santa Barbara(加州大学圣巴巴拉分校);Carnegie Mellon University(卡内基梅隆大学)
本文针对在线标签偏移问题,提出将适应问题归约为在线回归的新算法,在无需漂移先验知识的情况下实现最优动态遗憾,并在实验中取得1-3%的准确率提升。
2023-05-31 cs.LG stat.ML
The Majority Vote Paradigm Shift: When Popular Meets Optimal
Amazon(亚马逊);Sapienza University of Rome(罗马第一大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);i3s(i3s研究所);IIIT Hyderabad(印度海得拉巴国际信息技术学院)
本文提出多数投票在标签汇总中的最优性条件,通过理论分析和实验验证,证明其在特定噪声限制下能最优恢复标签,为更高效的数据标注方法提供了新思路。
2026-02-13 cs.AI cs.LG stat.ML
Social Bias Meets Data Bias: The Impacts of Labeling and Measurement Errors on Fairness Criteria
The Ohio State University(俄亥俄州立大学)
该研究探究标注与测量两类数据偏差下多种人口统计学公平性准则的鲁棒性,通过理论分析与三个真实数据集实验验证不同准则的抗偏差异,为有偏数据场景下公平性准则的选择与设计提供指导。
2023-05-02 cs.CY cs.LG
When LLMs meet open-world graph learning: a new perspective for unlabeled data uncertainty
Department of Computer Science and Technology(计算机科学与技术系);Beijing Institude of Technology(北京理工大学);Ant Group(蚂蚁集团)
针对开放世界文本属性图学习中标签有限、未知类别节点处理不足及缺乏有效标注流程的问题,提出结合自适应标签可追溯性与图标注器的LLM框架OGA,经实验验证其有效且实用。
2025-05-21 cs.AI cs.LG
Weakly Supervised Learning Meets Ride-Sharing User Experience Enhancement
Nanjing University(南京大学);Didi Chuxing(滴滴出行)
弱监督学习的目的是处理稀缺的标记数据。以往的弱监督研究通常假设数据中只有一种弱监督。然而,在许多应用中,原始数据通常同时包含一种以上的弱监督。例如,在最大的在线拼车平台之一滴滴的用户体验提升中,乘车评论数据包含严重的标签噪音(由于乘客的主观因素)和严重的标签分布偏差(由于抽样偏差)。我们称之为“复合弱监督学习“。本文基于滴滴拼车评论数据,提出了CWSL方法来解决这一问题。具体而言,实例重新加权策略,以应付严重的标签噪声的评论数据,其中有害的噪声实例的权重很小。稳健的标准,如AUC,而不是准确度和验证性能进行了优化,以纠正偏倚的数据标签。交替优化和随机梯度方法加速了大规模数据的优化。在滴滴拼车评论数据上的实验清楚地验证了有效性。我们希望这项工作可以为弱监督学习在复杂的实际情况中的应用提供一些启示。
2020-01-19 cs.LG stat.ML
Reverse Supervision at Scale: Exponential Search Meets the Economics of Annotation
Ontariotechu(安大略技术大学)
该研究提出反监督策略,利用生成模型作为标签放大器,在大规模未标记数据上通过主动学习和自训练循环减少对人工标注的依赖,但强调初始人类输入仍不可或缺。
2025-12-18 cs.AI cs.LG
When Minute-Resolution Monitoring Meets Session-Level Injury Labels: Landmark-Based Discrimination in Elite Women's Football
National Technical University of Athens(雅典国立技术大学)
该研究针对分钟级监测数据与时段级损伤标签的不匹配问题,提出固定地标点的运动员时段表示方法,结合2020年SoccerMon数据,用多种模型评估了不同表示的损伤区分性能。
2026-09-14 cs.LG
From Common to Special: When Multi-Attribute Learning Meets Personalized Opinions
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学)
视觉属性是指人类标记的语义注释,在广泛的现实世界应用中越来越受欢迎。一般来说,现有的属性学习方法分为两类:一类侧重于学习用户特定的标签分别为不同的属性,而另一个侧重于学习众包的全球标签联合为多个属性。然而,这两个类别忽略了两个提到的因素的联合作用:个人的多样性,相对于全球共识;和多个属性之间的内在相关性。为了克服这一挑战,我们提出了一种新的模型来学习跨多个属性的用户特定的预测。在我们提出的模型中,个性化意见的多样性和多个属性之间的内在联系是统一的共同到特殊的方式。为此,我们采用了三分量分解。具体来说,我们的模型集成了一个共同的认知因素,属性特定的偏见因素和用户特定的偏见因素。同时采用Lasso和Group Lasso罚函数来提高特征选择的效率。理论分析表明,该方法可以达到较好的性能.最后,本文进行的实证研究表明,我们提出的方法的有效性。
2018-08-04 cs.LG
Semi-Supervised Graph Learning Meets Dimensionality Reduction
University of Missouri(密苏里大学)
半监督学习(SSL)最近受到了机器学习研究人员越来越多的关注。通过在基于图的深度学习(GDL)算法中实现已知标签的有效传播,SSL有望在未来几年成为GDL中越来越多使用的技术。然而,目前很少有探索在基于图的SSL文献利用经典的降维技术,以改善标签传播。在这项工作中,我们研究了PCA,t-SNE和UMAP等降维技术的使用,以了解它们对用于节点标签半监督传播的图神经网络(GNNs)性能的影响。我们的研究利用基准半监督GDL数据集,如Cora和Citeseer数据集,以便在与降维技术配对时对每个算法学习的表示进行有意义的比较。我们全面的基准测试和聚类可视化定量和定性地证明,在一定条件下,分别对GNN输入和输出进行先验和后验降维,可以同时提高半监督节点标签传播和节点聚类的有效性。我们的源代码在GitHub上免费提供。
2022-03-23 cs.AI cs.LG
When Hardness of Approximation Meets Hardness of Learning
The Hebrew University(希伯来大学)
监督学习算法可以访问标记示例的分布,并且需要返回正确标记示例的函数(假设)。学习器的假设取自某个固定的函数类(例如,线性分类器、神经网络等)。学习算法的失败可能由于两个可能的原因而发生:假设类的错误选择(近似的困难),或未能在假设类内找到最佳函数(学习的困难)。虽然近似性和可学习性对于算法的成功都很重要,但它们通常被单独研究。在这项工作中,我们展示了一个单一的硬度属性,这意味着使用线性类和浅网络的近似硬度,以及使用相关查询和梯度下降的学习硬度。这使我们能够获得新的结果的硬度近似和学习的奇偶函数,DNF公式和$AC^0$电路。
2020-08-23 cs.LG stat.ML
When LLM Agents Meet Graph Optimization: An Automated Data Quality Improvement Approach
Shenzhen Institute of Technology(深圳理工大学)
LAGA是一种统一的多代理框架,通过协调多模态优化全面提升文本属性图的数据质量,验证了数据驱动的质量优化在可靠分析中的重要性。
2026-01-31 cs.LG
Ensemble Methods for Multi-label Classification
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Academic College of Tel-Aviv Yafo(特拉维夫雅法学院)
包围方法已被证明是解决多标签分类任务的有效工具。在RAKEL算法中,集合的每个成员都与随机选择的k个标签的小子集相关联。然后,根据子集中元素的每个组合训练单个标签分类器。在本文中,我们采用了类似的方法,但是,而不是随机选择子集,我们选择覆盖所有标签的k个标签的最小所需子集,并满足额外的约束,如标签间相关性的覆盖。覆盖的构造是通过将子集选择公式化为最小集覆盖问题(SCP)并使用近似算法求解来实现的。每个封面只需要准备一次离线算法。一旦准备好,覆盖就可以应用于任何给定的多标签数据集的分类,所述多标签数据集的属性符合覆盖的属性。本文的贡献是双重的。首先,我们引入SCP作为一个通用的框架,用于构建标签封面,同时允许用户将封面建设的约束。我们证明了这个框架的有效性,提出了两个建设约束,其执行产生的覆盖,提高随机选择的预测性能。其次,我们提供了理论界,量化随机选择的概率,以产生覆盖,满足建议的建设标准。实验结果表明,与RAKEL算法和其他先进算法相比,本文提出的方法提高了多标签分类的准确性和稳定性。
2013-07-06 cs.LG stat.ML
When Does Group Invariant Learning Survive Spurious Correlations?
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);Baidu Inc.(百度公司);Institute for AI Industry Research, Tsinghua University(清华大学智能产业研究院);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
通过推断潜在的组中的训练数据,最近的作品引入不变学习的情况下,环境注释是不可用的。通常,经验表明,在多数/少数分裂下的学习组不变性在许多数据集上有效地改善了分布外泛化。然而,这些方法的学习不变机制缺乏理论保证。在本文中,我们揭示了现有的组不变学习方法在防止分类器依赖于训练集中的虚假相关性的不足。具体而言,我们提出了两个标准来判断这种充分性。理论和经验,我们表明,现有的方法可以违反这两个标准,从而无法概括到虚假的相关位移。基于此,本文设计了一种新的组不变学习方法,该方法通过统计独立性检验构造组,并根据组标签比例对样本进行重新加权以满足标准。在合成数据和真实数据上的实验表明,新方法在推广伪相关移位方面明显优于现有的组不变学习方法。
2022-10-18 cs.LG stat.ML
When Design Rules Break: Benchmark Composition Determines Whether Label Informativeness Predicts GNN Aggregator Choice
Department of Computer Science(计算机科学系);Virginia Commonwealth University(弗吉尼亚 Commonwealth 大学);Department of Electrical and Computer Engineering(电气与计算机工程系)
研究图神经网络聚合器选择(sum/mean/max)在24个节点分类数据集上的泛化性,发现标签信息性仅在传统基准上有效,在Facebook-100密集图中失效,且谱间隙能区分这些图。
2026-09-01 cs.LG cs.SI
Invariance Principle Meets Information Bottleneck for Out-of-Distribution Generalization
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
因果关系的不变性原则是一些著名方法的核心,例如寻求解决分布外(OOD)泛化失败的不变风险最小化(Invariant Risk Minimization,简称VRM)。尽管理论很有前途,但基于不变性原理的方法在常见的分类任务中失败了,其中不变(因果)特征捕获了关于标签的所有信息。这些失败是由于方法未能捕获不变性吗?或者说,不变性原理本身是不够的?为了回答这些问题,我们重新审视了线性回归任务中的基本假设,其中基于不变性的方法被证明可以推广OOD。与线性回归任务相比,我们表明,对于线性分类任务,我们需要更强的限制分布偏移,否则OOD推广是不可能的。此外,即使有适当的限制分布偏移到位,我们表明,不变性原理本身是不够的。我们证明了一种形式的信息瓶颈约束以及不变性有助于解决关键故障时,不变的功能捕获的标签的所有信息,也保留了现有的成功时,他们没有。我们提出了一种方法,结合这两个原则,并在几个实验中证明其有效性。
2022-11-20 cs.LG stat.ML
Text Meets Topology: Rethinking Out-of-distribution Detection in Text-Rich Networks
The University of Queensland(昆士兰大学)
针对富文本网络中现有OOD检测方法忽略文本-结构多样性的问题,提出TextTopoOOD多场景评估框架与融合文本拓扑的TNT-OOD模型,实验验证了该评估任务的复杂性及方法的有效性。
2025-09-02 cs.CL cs.LG
Optimization meets Machine Learning: An Exact Algorithm for Semi-Supervised Support Vector Machines
Sapienza University of Rome(罗马第一大学);Alpen-Adria-Universität Klagenfurt(克拉根福阿尔卑斯-亚得里亚大学)
提出一种基于半定规划松弛的分支定界算法精确求解非凸的半监督支持向量机(S3VMs),通过界限紧致化与有效不等式加强下界,并利用局部搜索获取上界,显著提升了求解规模与效率。
2024-11-25 cs.LG math.OC
Enhancing Label Consistency on Document-level Named Entity Recognition
Korea University(高丽大学);AIGEN Sciences(AIGEN科学)
命名实体识别(NER)是从生物医学应用中的文档中提取信息的基本部分。NER的一个显著优点是它在文档上下文中提取生物医学实体的一致性。虽然现有的文件NER模型显示一致的预测,他们仍然没有达到我们的期望。我们研究了实体中的形容词和介词是否会导致低标签一致性,从而导致不一致的预测。在本文中,我们提出了我们的方法,ConNER,它增强了修饰符的标签依赖性(例如,形容词和介词),以实现更高的标签一致性。ConNER细化修改器的草稿标签,以改进生物医学实体的输出表示。在四个流行的生物医学NER数据集上证明了我们方法的有效性;特别是,在两个数据集上证明了它的有效性,F1分数绝对提高了7.5-8.6%。我们解释说,我们的ConNER方法是有效的数据集,具有内在的低标签的一致性。在定性分析中,我们展示了我们的方法如何使NER模型产生一致的预测。我们的代码和资源可以在https://github.com/dmis-lab/ConNER/上找到。
2022-10-24 cs.AI cs.CL cs.LG
Multi-Source Domain Adaptation meets Dataset Distillation through Dataset Dictionary Learning
CEA, List(法国原子能和替代能源委员会李斯特研究所);Université Paris-Saclay(巴黎萨克雷大学)
本文研究多源领域适应与数据集蒸馏的交叉问题MSDA-DD,通过结合Wasserstein重心传输、数据集字典学习和分布匹配方法,在四个基准上实现每类仅1样本的最先进适应性能。
2023-09-14 cs.AI cs.LG stat.ML
PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning
University of California, Davis(加利福尼亚大学戴维斯分校);University of Louisiana at Lafayette(路易斯安那大学拉斐特分校)
针对基于GAN的联邦学习中客户端数据异质性问题,提出新型PFL-GAN框架,通过客户端相似性学习与加权协作聚合实现个性化联邦学习,经多数据集实验验证有效。
2023-08-23 cs.AI cs.LG eess.SP