Learning from a Complementary-label Source Domain: Theory and Algorithms
University of Technology Sydney(悉尼科技大学);Tsinghua University(清华大学)
在无监督领域自适应(UDA)中,目标域的分类器是用来自源域的大量真实标记数据和来自目标域的未标记数据训练的。然而,在源域中收集完全真实标签数据的成本很高,有时甚至是不可能的。与真实标签相比,补充标签指定了模式不属于的类,因此收集补充标签比收集真实标签更不费力。因此,在本文中,我们提出了一种新的设置,源域是由互补标签数据,并首先证明了它的理论界。我们考虑两种情况,一种是源域仅包含补充标签数据(完全补充无监督领域自适应,CC-UDA),另一种是源域具有大量补充标签数据和少量真实标签数据(部分补充无监督领域自适应,PC-UDA)。为此,提出了一种互补标签对抗网络(CINET)来解决CC-UDA和PC-UDA问题。CNOINET同时维护两个深度网络,其中一个专注于对补充标签源数据进行分类,另一个负责源到目标的分布适应。实验结果表明,在手写数字识别和物体识别任务上,该算法的性能明显优于一系列合格的基线。
2020-08-04 cs.LG stat.ML
Learning from Complementary Labels
Sumitomo Mitsui Asset Management(三井住友资产管理);The University of Tokyo(东京大学);RIKEN(理化学研究所)
收集标记的数据是昂贵的,因此在现实世界的分类任务的关键瓶颈。为了缓解这个问题,我们提出了一种新的设置,即从多类分类的互补标签中学习。补充标签指定模式不属于的类。收集补充标签比收集普通标签更省力,因为用户不必从一长串候选类中仔细选择正确的类。然而,互补标签比普通标签信息量少,因此需要一种合适的方法来更好地从中学习。在本文中,我们证明了一个无偏估计量的分类风险只能得到互补标记的数据,如果一个损失函数满足一个特定的对称条件。我们推导出所提出的方法的估计误差界,并证明了最佳的参数收敛速度。我们进一步表明,从互补标签学习可以很容易地与从普通标签学习相结合(即,普通的监督学习),提供了所提出的方法的高度实用的实现。最后,我们通过实验证明了所提出的方法的实用性。
2017-11-12 cs.LG stat.ML
Learning with Biased Complementary Labels
UBTECH Sydney AI Centre(优必选悉尼人工智能中心);The University of Sydney(悉尼大学);University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们研究的分类问题,我们有机会很容易获得的替代品的真正的标签,即互补标签,指定类的意见不属于\textbf{not}。令$Y$和$\bar{Y}$分别为真标记和互补标记。我们首先通过转移概率$P(\bar{Y}=i|Y=j), i\neq j\in\{1,\cdots,c\}$对互补标签的注释进行建模,其中$c$是类的数量。先前的方法隐含地假设$P(\bar{Y}=i|Y=j), \forall i\neq j$是相同的,这在实践中是不正确的,因为人类偏向于他们自己的经验。例如,如图1所示,如果注释者在为猫鼬提供补充标签时对猴子比土拨鼠更熟悉,那么她更有可能使用“monkey”作为补充标签。因此,我们推断转移概率将不同。在本文中,我们提出了一个框架,贡献了三个主要的创新学习与\textbf{biased}互补标签:(1)估计转移概率没有偏见。(2)它提供了一种通用的方法来修改传统的损失函数,并扩展了标准的深度神经网络分类器,以使用有偏的互补标签进行学习。(3)它从理论上保证了用互补标签学习的分类器收敛到用真实标签学习的最优分类器。在多个基准数据集上的综合实验验证了该方法的优越性。
2018-08-08 cs.LG stat.ML
Rethinking Consistent Multi-Label Classification Under Inexact Supervision
RIKEN, Japan(日本RIKEN);The University of Tokyo, Japan(东京大学)
本文提出了一种不依赖传统假设的一致多标签分类方法,通过两种风险估计器统一处理部分和互补多标签学习问题,并在多个数据集上验证了其有效性。
2026-02-25 cs.LG
Multi-Complementary and Unlabeled Learning for Arbitrary Losses and Models
College of Science, China Agricultural University(中国农业大学理学院)
最近提出了一种称为互补标签学习的弱监督学习框架,其中每个样本都配备了一个互补标签,该标签表示样本不属于的类别之一。然而,现有的互补标签学习方法不能从容易获得的未标记样本和具有多个互补标签的样本中学习,这些样本具有更多的信息。在本文中,为了消除这些限制,我们提出了一种新的多互补和未标记的学习框架,允许对任意损失函数和模型的任何数量的互补标签和未标记样本的分类风险进行无偏估计。我们首先给出了多个互补标签样本分类风险的一个无偏估计量,然后通过将未标记样本加入到风险公式中来进一步改进估计量。估计误差界表明,所提出的方法是在最佳参数收敛速度。最后,在线性模型和深度模型上的实验表明了我们的方法的有效性。
2020-07-23 cs.LG stat.ML
Complementary-Label Learning for Arbitrary Losses and Models
The University of Tokyo(东京大学);RIKEN(理化学研究所);Google Research(谷歌研究院)
与标准分类范式不同,在标准分类范式中,每个训练模式都被赋予了真正的类别,互补标签学习只使用每个训练模式都配备了一个互补标签,它只指定模式不属于的类别之一。本文的目标是得到一个新的框架的互补标签学习的分类风险的无偏估计量,任意损失和模型-所有现有的方法都未能实现这一目标。这不仅有利于学习阶段,还使得模型/超参数选择(通过交叉验证)成为可能,而不需要任何通常标记的验证数据,同时使用任何线性/非线性模型或凸/非凸损失函数。通过非负校正和梯度上升技巧进一步改进了风险估计,并通过实验证明了其优越性。
2019-11-19 cs.LG stat.ML
Complementary Classifier Induced Partial Label Learning
Southeast University(东南大学);Shanghai Jiao Tong University(上海交通大学)
针对偏标签学习的候选标签消歧问题,提出利用非候选标签构建互补分类器并结合动态图拓扑信息,在多个UCI和真实数据集上优于现有方法。
2023-05-17 cs.CV cs.LG
Class-Distribution-Aware Pseudo Labeling for Semi-Supervised Multi-Label Learning
RIKEN Center for AIP(理化学研究所人工智能研究中心);University of Tokyo(东京大学)
本文针对半监督多标签学习(SSMLL)中伪标签易出现假阳性或漏标问题,提出类感知伪标签标注方法(CAP),通过引入类感知阈值与类分布感知策略对齐伪标签与真实分布,并在理论上验证了估计分布正确性及泛化误差界,多基准实验证实其有效性。
2023-05-20 cs.LG
CLImage: Human-Annotated Datasets for Complementary-Label Learning
Department of Computer Science and Information Engineering National Taiwan University(国立台湾大学计算机科学与信息工程系)
针对现有互补标签学习算法仅在合成数据集评估、缺乏真实数据验证的问题,研究者构建了首批人工标注的真实世界CLL数据集CLImage,实验发现标注噪声等因素导致算法性能下降,为鲁棒性算法研发提供支撑。
2025-06-14 cs.CV cs.LG
Generative-Discriminative Complementary Learning
University of Pittsburgh(匹兹堡大学);The University of Melbourne(墨尔本大学);The University of Sydney(悉尼大学);Carnegie Mellon University(卡内基梅隆大学)
大多数最先进的深度学习方法都是判别式方法,它们对给定输入特征的标签的条件分布进行建模。这种方法的成功在很大程度上取决于高质量的标记实例,这是不容易获得的,特别是随着候选类的数量增加。本文研究了互补学习问题。与普通标签不同,互补标签很容易获得,因为注释器只需要为每个实例随机选择一个候选类提供一个是/否的答案。我们提出了一种生成-判别互补学习方法,该方法通过对条件(判别)和实例(生成)分布进行建模来估计普通标签。我们的方法,我们称之为互补条件GAN(CC GAN),提高了预测普通标签的准确性,并可以生成高质量的实例,尽管监管不力。除了大量的实证研究,我们还从理论上证明了我们的模型可以从互补标记的数据中恢复真实的条件分布。
2019-09-11 cs.LG stat.ML
NLNL: Negative Learning for Noisy Labels
KAIST(韩国科学技术院)
卷积神经网络(CNN)在用于图像分类时提供优异的性能。训练CNN的经典方法是以监督的方式标记图像,如“输入图像属于此标签”(正学习; PL),如果标签被正确分配给所有图像,这是一种快速准确的方法。然而,如果存在不准确的标签或噪声标签,则使用PL进行训练将提供错误的信息,从而严重降低性能。为了解决这个问题,我们从一种称为负学习(NL)的间接学习方法开始,其中CNN使用互补标签进行训练,如“输入图像不属于这个互补标签”。由于选择真实标签作为补充标签的机会很低,NL降低了提供错误信息的风险。此外,为了提高收敛性,我们扩展了我们的方法,有选择地采用PL,称为选择性消极学习和积极学习(SelNLPL)。PL被选择性地用于训练预期是干净的数据,其选择成为可能,因为NL的进展,从而导致过滤出噪声数据的优异性能。通过简单的半监督训练技术,我们的方法在噪声数据分类方面达到了最先进的精度,证明了SelNLPL的噪声数据过滤能力的优越性。
2019-08-19 cs.LG
SimFair: A Unified Framework for Fairness-Aware Multi-Label Classification
Purdue University(普渡大学)
近年来,人们越来越关注机器学习算法做出的不公平决策。为了提高模型决策的公平性,人们提出了各种公平性概念,并开发了许多公平性感知方法。然而,大多数现有的定义和方法只关注单标签分类。多标签分类的公平性,其中每个实例与多个标签相关联,仍然有待建立。为了填补这一空白,本文研究了公平感知的多标签分类。我们首先扩展人口均等(DP)和机会均等(EOP),两个流行的公平概念,多标签分类的情况下。通过系统的研究,我们表明,在多标签数据,由于不均匀分布的标签,EOp通常无法构建一个可靠的估计标签的实例很少。然后,我们提出了一个新的框架命名为相似性$s$ -诱导公平($s_γ$ -SimFair).这个新的框架在估计特定标签组的公平性时利用具有相似标签的数据以获得更好的稳定性,并且可以统一DP和EOp。理论分析和在真实数据集上的实验结果表明,与现有的多标签分类方法$s_γ$ -SimFair相比,该方法具有更好的分类性能.
2023-02-22 cs.LG
Leveraging weak complementary labels to improve semantic segmentation of hepatocellular carcinoma and cholangiocarcinoma in H&E-stained slides
Technische Universität Berlin(柏林工业大学);Aignostics GmbH(Aignostics 公司);Charité Universitätsmedizin Berlin(柏林夏里特医学院);Berlin Institute of Health at Charité – Universitätsmedizin Berlin(柏林健康研究所(夏里特医学院));University Hospital Düsseldorf(杜塞尔多夫大学医院);Ludwig-Maximilians-Universität München(慕尼黑大学);German Cancer Research Center(德国癌症研究中心)
在本文中,我们提出了一种深度学习分割方法,用于从苏木精和伊红(H&E)染色的全切片图像中对两种最常见的原发性肝癌-肝细胞癌和肝内胆管癌进行分类和量化。虽然医学图像的语义分割通常需要领域专家进行昂贵的像素级注释,但通常存在在临床诊断中常规获得但很少用于模型训练的附加信息。我们建议通过推导补充标签来利用来自患者诊断的这种弱信息,该标签指示样本不能属于哪个类别。为了整合这些标签,我们制定了一个互补的损失分割。受医学应用的启发,我们证明了在模型训练期间包含仅具有弱互补标签的额外补丁可以显着提高模型的预测性能和鲁棒性。在肝细胞癌和肝内胆管细胞癌之间的诊断鉴别的任务,我们达到了平衡的准确性为0.91(95%置信区间:0.86 - 0.95),在案件水平的165个坚持。此外,我们还表明,利用互补标签提高了分割的鲁棒性,并提高了案例级的性能。
2023-02-03 cs.CV cs.LG
Class Label-aware Graph Anomaly Detection
KAIST GSDS(韩国科学技术院数据科学研究生院);KAIST ISysE(韩国科学技术院工业与系统工程系);KAIST ISysE & AI(韩国科学技术院工业与系统工程系及人工智能学院)
本研究针对现有无监督图异常检测方法未利用类别标签的问题,提出CLAD框架,借助少量带标签节点提升检测性能,实验证明其在10个数据集上效果优于现有方法,且无需真实类别标签。
2023-08-22 cs.LG
Intra-Cluster Mixup: An Effective Data Augmentation Technique for Complementary-Label Learning
National Taiwan University(台湾大学)
本文提出簇内混合技术,通过改进数据增强方法提升互补标签学习的性能,实验证明在MNIST和CIFAR数据集上准确率分别提高30%和10%。
2026-01-31 cs.AI cs.CV cs.LG
An Uncertainty-Aware Pseudo-Label Selection Framework using Regularized Conformal Prediction
针对伪标签因模型校准差而产生错误高置信预测的问题,本文提出基于保形正则化不确定性集合的不确定性感知伪标签选择框架,以减少噪声训练样本。
2023-08-30 cs.LG
Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels
National Taiwan University(国立台湾大学);RIKEN(理化学研究所);The University of Tokyo(东京大学)
在弱监督学习中,当训练数据和测试数据来自不同的分布时,无偏风险估计器(URE)是训练分类器的有力工具。然而,当模型像深度网络一样复杂时,URES会在许多问题设置中导致过拟合。在本文中,我们通过研究一个称为互补标签学习的弱监督问题来研究这种过拟合的原因。我们认为梯度估计的质量在风险最小化中更重要。从理论上讲,我们证明了一个URE给出了一个无偏梯度估计(UGE)。然而,实际上,UGE可能遭受巨大的方差,这导致经验梯度通常远离真实梯度在最小化期间。为此,我们提出了一种新的替代互补损失(SCL)框架,交易零偏差减少方差,使经验梯度更符合真实梯度的方向。由于这一特性,SCL成功地缓解了过拟合问题,并改进了基于URE的方法。
2020-08-21 cs.LG stat.ML
Extreme Multi-label Completion for Semantic Document Labelling with Taxonomy-Aware Parallel Learning
University of Fribourg(弗里堡大学);armasuisse S+T(瑞士武器采购局科技分部)
针对极限多标签补全任务中标签数量庞大且训练数据不足的挑战,本文提出了TAMLEC方法,通过分类法感知多任务划分和动态并行特征共享,结合改进的transformer架构在弱半格结构上预测标签序列,有效提升了预测性能并在少样本场景中表现优异。
2024-12-18 cs.LG
Embracing Biased Transition Matrices for Complementary-Label Learning with Many Classes
National Taiwan University(国立台湾大学);The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(日本理化学研究院先进智能项目中心)
本文提出了一种新的框架BICL,通过设计偏置的标签生成过程来克服传统互补标签学习在多类设置中的限制,从而在CIFAR-100和TinyImageNet-200上实现了传统方法的七倍以上准确率提升。
2026-05-18 cs.AI cs.CV cs.LG
libcll: an Extendable Python Toolkit for Complementary-Label Learning
National Taiwan University(台湾大学)
本文提出可扩展Python工具包libcll,通过统一接口支持多种互补标签生成假设、数据集和算法,以解决CLL研究中的结果不一致和评估标准化缺失问题。
2024-11-19 cs.AI cs.CV cs.LG
Adversarial Training with Complementary Labels: On the Benefit of Gradually Informative Attacks
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);The University of Sydney(悉尼大学);The University of Tokyo(东京大学);Hong Kong Baptist University(香港浸会大学)
不完全监督下的对抗性训练(AT)意义重大,但受到的关注有限。为了将AT推向更实用的场景,我们探索了一个全新但具有挑战性的设置,即,带有互补标签(CL)的AT,其指定数据样本不属于的类。然而,AT与现有的CL方法的直接组合导致一致的失败,但不是在两阶段训练的简单基线上。在本文中,我们进一步探讨了这一现象,并确定了AT与CL的潜在挑战,即棘手的对抗性优化和低质量的对抗性示例。为了解决上述问题,我们提出了一种新的使用渐进信息攻击的学习策略,该策略由两个关键部分组成:1)预热攻击(Warm-up)轻轻地提高对抗扰动预算,以减轻CL的对抗优化; 2)伪标签攻击(PLA)将渐进信息模型预测合并到校正的互补损失中。进行了大量的实验,以证明我们的方法在一系列基准数据集的有效性。该代码可在https://github.com/RoyalSkye/ATCL上公开获取。
2022-11-01 cs.CR cs.LG
CAST: Modeling Semantic-Level Transitions for Complementary-Aware Sequential Recommendation
School of Computing, University of Otago(奥塔哥大学计算机学院);University of New South Wales(新南威尔士大学)
本文提出CAST框架,通过语义级转换模块和互补先验注入模块,有效捕捉可靠互补关系,提升序列推荐性能。
2026-04-21 cs.IR cs.LG
Self-training and Pre-training are Complementary for Speech Recognition
Facebook AI Research(Facebook人工智能研究院)
自训练和无监督预训练已经成为使用未标记数据改进语音识别系统的有效方法。然而,目前还不清楚它们是否学习类似的模式,或者它们是否可以有效地结合起来。在本文中,我们证明了wav 2 vec 2.0的伪标记和预训练在各种标记数据设置中是互补的。使用来自Libri-light的10分钟标记数据以及来自LibriVox的53 k小时未标记数据,在Librispeech的干净和其他测试集上实现了3.0%/5.2%的WER-与一年前在960小时标记数据上训练的最佳已发布系统相媲美。在Librispeech的所有标记数据上进行训练,获得了1.5%/3.1%的WER。
2020-10-22 cs.LG cs.SD eess.AS
Dynamics-Aware Loss for Learning with Label Noise
Institute of Automation, Chinese Academy of Science(中国科学院自动化研究所);The University of Sydney(悉尼大学)
本文提出动态感知损失(DAL),根据DNN在标签噪声下先学有益模式后过拟合噪声的动态过程,在训练初期增强拟合能力、后期逐步提高鲁棒性,并结合简单样本加权与自举项以同时缓解噪声影响和欠拟合。
2023-08-05 cs.LG
RCPN: towards robust pseudo-labels in unsupervised CLIP adaptation via consistent prototypes and neighborhoods
Mohamed Bin Zayed University of Artificial Intelligence(莫扎德·本·扎耶德人工智能大学);Indian Institute of Technology Delhi(印度德里理工学院);Alexandria University(亚历山大大学)
针对CLIP等视觉-语言模型无监督适配中伪标签噪声大、传统过滤方法不可靠的问题,提出融合原型与邻域一致性的自适应伪标签框架,含PICS、NALR模块及自适应加权机制,在11个基准上实现无监督适配SOTA。
2026-10-19 cs.LG
Learning with Multiple Complementary Labels
Nanyang Technological University(南洋理工大学);The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Hong Kong Baptist University(香港浸会大学)
一个互补标签(CL)只是表示一个不正确的类的例子,但学习与CL的结果在多类分类器,可以预测正确的类。不幸的是,问题设置只允许每个示例使用一个CL,这明显限制了它的潜力,因为我们的标记器可以很容易地将多个CL(MCL)识别为一个示例。在本文中,我们提出了一种新的问题设置,允许MCL为每个例子和两种方式学习MCL。在第一种方法中,我们设计了两个包装器,将MCL分解为许多单个CL,以便我们可以使用任何方法来学习CL。然而,MCL持有的监督信息在分解后被概念上稀释了。因此,在第二种方式中,我们得到一个无偏的风险估计,最小化它处理的每一组MCL作为一个整体,并拥有一个估计误差界。我们进一步改进了第二种方法,以最小化适当选择的上界。实验表明,前一种方法对于使用MCL的学习效果很好,但后者更好。
2022-08-06 cs.LG stat.ML
Class-aware and Augmentation-free Contrastive Learning from Label Proportion
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tencent America(腾讯美国公司);Tencent Europe B.V.(腾讯欧洲有限责任公司)
针对表格数据从标签比例学习中存在的增强不可行、类别区分难等问题,提出无增强对比框架TabLLP-BDC,通过两阶段包差异对比学习和多任务预训练实现实例级类别感知监督,取得表格领域LLP任务最优性能。
2024-08-13 cs.LG
Label-Aware Neural Tangent Kernel: Toward Better Generalization and Local Elasticity
University of Pennsylvania(宾夕法尼亚大学)
神经切线核(NTK)是训练过参数化神经网络(NN)的一种常用方法,但其泛化能力远低于真实世界的NN。这种性能差距部分是由于NTK的\textit{label agnostic}性质,这使得生成的内核不像NN ~ \citep{he2019local}那样是\textit{locally elastic}。在本文中,我们介绍了一种新的方法,从\emph{label-awareness}的角度来减少这个差距的NTK。具体来说,我们提出了两个标签感知内核,每个是一个标签不可知的部分和标签感知部分的层次结构与标签依赖的复杂性不断增加的叠加,使用Hoeffding分解。通过理论和经验证据,我们证明了用所提出的内核训练的模型在泛化能力和局部弹性方面更好地模拟了NN。
2020-10-29 cs.LG stat.ML
Label-aware Document Representation via Hybrid Attention for Extreme Multi-Label Text Classification
Beijing Jiaotong University(北京交通大学)
极端多标签文本分类(XMTC)的目的是从一个非常大规模的标签集标记的最相关的标签的文档。这是一个具有挑战性的问题,特别是对于尾部标签,因为只有很少的训练文件来构建分类器。本文的动机是更好地探索每个文档和极端标签之间的语义关系,利用文档内容和标签的相关性。我们的目标是建立一个明确的标签感知表示为每个文件的混合注意力深度神经网络模型(LAHA)。LAHA由三部分组成。第一部分采用多标签自注意机制来检测每个词对标签的贡献。第二部分利用标签结构和文档内容来确定同一潜在空间中单词和标签之间的语义联系。第三部分设计了一种自适应的融合策略,以获得最终的标签感知文档表示,使前两部分的本质可以充分融合。在六个基准数据集上进行了大量的实验,并与现有的方法进行了比较。结果表明,我们提出的LAHA方法的优越性,特别是在尾部标签。
2019-07-12 cs.LG stat.ML
Semi-supervised Adversarial Learning for Complementary Item Recommendation
Meta;Amazon(亚马逊公司);University of Klagenfurt(克拉根福大学)
补充项目推荐是现代电子商务网站的普遍特征。当这些建议基于合作信号(如共同购买统计数据)时,它们非常有效。然而,在某些在线市场中,例如,在网上拍卖网站上,不断有新的物品被添加到目录中。在这种情况下,由于缺乏交互数据,补充项目推荐通常基于项目边信息。在这项工作中,我们提出了一种新的方法,可以利用项目边信息和标记的互补项目对,以产生有效的互补推荐冷项目,即,对于尚不存在共同购买统计数据的项目。考虑到补充项通常必须属于与种子项不同的类别,我们在技术上为每个项类别保留了一个潜在空间。同时,我们学习项目分布项目表示到这些类别空间,以确定合适的建议。在我们的架构中的主要学习过程利用标记的互补项对。此外,我们采用了循环生成对抗网络(CycleGAN)的思想,即使在给定项目和类别不存在标记数据的情况下,也可以利用可用的项目信息。在三个电子商务数据集上的实验表明,该方法是非常有效的。
2023-03-10 cs.IR cs.LG
Knowledge-aware Complementary Product Representation Learning
Walmart Labs(沃尔玛实验室)
在电子商务推荐系统中,学习能反映互补关系的产品表征是一个核心问题。在缺乏现有方法所依赖的产品关系图的情况下,需要直接从嘈杂和稀疏的客户购买活动中检测互补关系。此外,与相似性等简单关系不同,互补性是不对称和非传递的。表示学习的标准用法只强调一组嵌入,这对于建模这种互补性质是有问题的。我们建议使用知识感知学习与双产品嵌入来解决上述挑战。我们通过多任务学习将上下文知识编码到产品表示中,以减轻稀疏性问题。通过明确建模与用户偏见的条款,我们分开的噪音,客户特定的偏好的互补性。此外,我们采用对偶嵌入框架来捕捉互补性的内在属性,并提供经典分离超平面理论的几何解释。最后,我们提出了一个贝叶斯网络结构,统一的所有组件,其中还包括几个流行的模型作为特例。所提出的方法相比,有利的最先进的方法,在下游的分类和推荐任务。我们还开发了一个实现,可以有效地扩展到具有数百万项和客户的数据集。
2019-11-28 cs.IR cs.LG stat.ML
HopGAT: Hop-aware Supervision Graph Attention Networks for Sparsely Labeled Graphs
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
由于标记节点的成本,在保持预测精度的同时对稀疏标记图中的节点进行分类值得关注。算法的关键是如何从多个不同跳距的邻居节点中学习到足够的信息。本研究首先提出一个跳感知的注意力监督机制的节点分类任务。然后采用模拟退火学习策略来平衡两个学习任务,节点分类和跳感知注意系数,沿训练时间轴。实验结果表明,与现有模型相比,所提出的HopGAT模型具有更好的性能.特别是对于蛋白质-蛋白质相互作用网络,在40%标记图中,与完全标记图相比,性能损失仅为3.9%,从98.5%到94.6%。大量的实验也证明了监督注意系数和学习策略的有效性。
2020-04-09 cs.LG stat.ML
Multi-Label Zero-Shot Learning with Transfer-Aware Label Embedding Projection
Temple University(天普大学);Carleton University(卡尔顿大学)
零样本学习将知识从可见类转移到新的不可见类,以减少标记数据以构建新分类器的人工劳动。然而,关于零样本学习的许多努力都集中在标准的多类设置上,更具挑战性的多标签zero-shot问题受到了有限的关注。在本文中,我们提出了一个转移感知嵌入投影方法来解决多标签零样本学习。该方法将标签嵌入向量投影到低维空间中,以诱导更好的标签间关系,并显式地促进从可见标签到不可见标签的信息传输,同时使用投影的标签嵌入学习最大余量多标签分类器。辅助信息可以方便地被纳入,以指导标签嵌入投影,以进一步改善标签关系结构的zero-shot知识转移。我们进行了zero-shot多标签图像分类的实验。实验结果证明了该方法的有效性。
2018-08-07 cs.CV cs.LG stat.ML
In Defense of Pseudo-Labeling: An Uncertainty-Aware Pseudo-label Selection Framework for Semi-Supervised Learning
Center for Research in Computer Vision(计算机视觉研究中心);University of Central Florida(中佛罗里达大学)
目前半监督学习的研究主要集中在基于一致性正则化的学习方法上,这些方法具有很好的性能。然而,它们严重依赖于特定领域的数据增强,这并不容易为所有数据模式生成。伪标记(PL)是一种通用的SSL方法,它没有这种约束,但在其原始公式中表现相对较差。我们认为PL表现不佳是由于校准不良的模型的错误高置信度预测;这些预测生成许多不正确的伪标签,导致噪声训练。我们提出了一个不确定性感知的伪标签选择(UPS)框架,通过大幅减少训练过程中遇到的噪声量来提高伪标签的准确性。此外,UPS概括了伪标签过程,允许创建负伪标签;这些负伪标签可用于多标签分类以及负学习以改进单标签分类。与最近的SSL方法相比,我们在CIFAR-10和CIFAR-100数据集上实现了强大的性能。此外,我们证明了我们的方法在视频数据集UCF-101和多标签数据集Pascal VOC上的多功能性。
2021-04-19 cs.CV cs.LG
Cost-Accuracy Aware Adaptive Labeling for Active Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
传统的主动学习算法假设一个单一的标签,产生无噪声的标签在一个给定的,固定的成本,并旨在实现最佳的泛化性能,为给定的分类器下的预算约束。然而,在许多实际环境中,不同的贴标机具有不同的贴标成本,并且可以产生不同的贴标精度。此外,给定的贴标签器可以针对不同的情况展现不同的贴标签准确度。这种设置可以被称为主动学习,具有不同的成本和准确性的不同标签器,并且它出现在许多重要的实际设置中。因此,了解如何有效地权衡不同实例的标记精度、标记成本以及训练实例的信息量,从而以最低的标记成本实现最佳的泛化性能是有益的。在本文中,我们提出了一个新的算法选择的实例,标签(及其相应的成本和标签精度),采用泛化范围的学习与标签噪声选择信息的实例和标签,以实现更高的泛化精度在较低的成本。我们提出的算法在五个UCI和一个真正的众包数据集上展示了最先进的性能。
2021-05-24 cs.LG stat.AP
Clarinet: A One-step Approach Towards Budget-friendly Unsupervised Domain Adaptation
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Centre for Artificial Intelligence, University of Technology Sydney(悉尼科技大学人工智能中心)
在无监督领域自适应(UDA)中,目标域的分类器使用来自源域的大量真实标签数据和来自目标域的未标记数据进行训练。然而,在给定有限预算的情况下,在源域中收集完全真实标签数据可能是困难的。为了缓解这个问题,我们考虑了一个新的问题设置,其中目标域的分类器必须使用来自源域的互补标签数据和来自目标域的未标记数据进行训练,该目标域称为对数据库友好的UDA(BFUDA)。关键的好处是,收集补充标签源数据(BFUDA要求)的成本比收集真实标签源数据(普通UDA要求)的成本低得多。为此,提出了互补标签对抗网络(CNOINET)来解决BFUDA问题。CNOINET同时维护两个深度网络,其中一个专注于对补充标签源数据进行分类,另一个负责源到目标的分布适应。实验表明,CLARINET的性能显着优于一系列合格的基线。
2021-03-04 cs.CV cs.LG stat.ML
Disentangled Variational Autoencoder based Multi-Label Classification with Covariance-Aware Multivariate Probit Model
Cornell University(康奈尔大学)
多标签分类是一个具有挑战性的任务,预测存在和不存在的多个目标,涉及表示学习和标签相关性建模。我们提出了一种新的多标签分类框架,多变量概率变分自编码器(MPVAE),有效地学习潜在的嵌入空间以及标签相关性。MPVAE分别为标签和特征学习和对齐两个概率嵌入空间。MPVAE的解码器从嵌入空间中获取样本,并通过学习共享协方差矩阵,在多变量Probit模型下对输出目标的联合分布进行建模。我们表明,MPVAE优于现有的国家的最先进的方法在各种应用领域,使用公共的真实世界的数据集。MPVAE进一步示出在噪声设置下保持稳健。最后,我们通过一个鸟类观测数据集的案例研究证明了学习协方差的可解释性。
2020-07-12 cs.LG stat.ML
SqueezeFit: Label-aware dimensionality reduction by semidefinite programming
The Ohio State University(俄亥俄州立大学);New York University(纽约大学)
给定高维向量空间中的标记点,我们寻找一个低维子空间,使得投影到这个子空间上保持不同标记点之间的某个指定距离。预期应用包括压缩分类。受大间隔最近邻分类法的启发,本文提出了一种半定松弛方法。不像它的前辈,这种放松是服从理论分析,使我们能够证明恢复种植投影算子的数据。
2018-12-06 cs.LG math.OC stat.ML
Noise-Aware Framework for Correcting Corrupted Labels
Faculty of Information Technology, VNU University of Engineering and Technology(越南国立大学工程与技术学院信息技术系)
提出CANOLA框架,通过噪声感知学习和迭代标签精炼来纠正损坏标签,在六个数据集上相比现有方法错误率降低19%-52%。
2026-06-11 cs.AI cs.LG
GFLC: Graph-based Fairness-aware Label Correction for Fair Classification
University of Tartu, Institute of Computer Science(塔尔图大学计算机科学研究所)
本文提出GFLC方法,通过结合预测置信度、Ricci流优化的图正则化及人口统计均等激励,在保持公平性的同时有效修正标签噪声,显著改善性能与公平性的权衡。
2025-06-18 cs.AI cs.LG
NCSAM Noise-Compensated Sharpness-Aware Minimization for Noisy Label Learning
Beijing University of Technology(北京理工大学)
提出NCSAM方法,通过噪声补偿扰动修正噪声标签引起的优化偏差,缓解对噪声标签的记忆,在合成和真实噪声标签基准上优于SAM基线。
2026-05-28 cs.AI cs.CV cs.LG
Attribute-aware Explainable Complementary Clothing Recommendation
The University of Queensland(昆士兰大学)
现代电子商务推荐系统对时尚商品之间的混搭关系建模的要求越来越高,但也越来越具有挑战性。在进行服装匹配时,大多数现有的方法利用从时尚物品图像中提取的潜在视觉特征进行兼容性建模,这缺乏对所生成的匹配结果的可解释性,并且难以说服用户推荐。尽管最近的方法开始结合预定义的属性信息(例如,颜色、款式、长度等)对于学习项目表示和改进模型可解释性,它们对属性信息的利用仍然主要保留用于增强所学习的项目表示和经由后处理生成解释。因此,当我们试图提高推荐准确性并生成细粒度的解释时,这会产生严重的瓶颈,因为显式属性与实际推荐过程只有松散的联系。本文提出了一种新颖的属性感知的时尚推荐器(AFRec),旨在解决时尚推荐任务中的可解释性挑战。具体而言,AFRec推荐器通过明确利用从每个项目的视觉特征中提取的属性级表示来评估服装兼容性。属性作为两个时尚物品之间的桥梁,我们通过学习它们属性之间的兼容性来量化一对物品的亲和力。大量的实验表明,通过充分利用推荐过程中的显式属性,AFRec能够实现最先进的推荐准确率,同时生成直观的解释。
2021-07-04 cs.IR cs.LG
Correlation-Aware Graph Convolutional Networks for Multi-Label Node Classification
Zhejiang University(浙江大学);The Hong Kong Polytechnic University(香港理工大学);Emory University(埃默里大学);Alibaba Group(阿里巴巴集团);Institute for Clarity in Documentation(文档清晰研究所);Inria Paris-Rocquencourt(巴黎-拉鲁维耶尔研究所);Rajiv Gandhi University(拉贾夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕勒研究实验室)
针对多标签节点分类中现有GCN方法存在的特征与拓扑模糊、忽略标签相关性的问题,本文提出CorGCN模型,通过相关性感知图分解和相关性增强图卷积提升分类效果,实验验证了其有效性。
2025-06-17 cs.LG cs.SI
Incomplete Multi-View Multi-Label Learning via Label-Guided Masked View- and Category-Aware Transformers
Shenzhen Key Laboratory of Visual Object Detection and Recognition, Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Pengcheng Laboratory, Shenzhen, China(鹏城实验室)
多视图数据比单视图数据具有更好的表现力,多标签标注比单标签标注具有更丰富的监督信息,这使得多视图多标签学习广泛适用于各种模式识别任务。在这个复杂的表示学习问题中,三个主要的挑战可以被描述如下:i)如何在所有视图中学习样本的一致表示?ii)如何开发和利用多标签的类别相关性来指导推理?(iii)如何避免因视图或标签不完整而产生的负面影响?为了解决这些问题,本文提出了一个通用的多视图多标签学习框架,称为标签引导的屏蔽视图和类别感知Transformers。首先,我们设计了两个基于transformer风格的模块,分别用于跨视图特征聚合和多标签分类。前者在提取视图特定特征的过程中聚合来自不同视图的信息,后者学习子类别嵌入以提高分类性能。其次,考虑到视图间表达能力的不均衡性,提出了一种自适应加权视图融合模块,以获得视图一致的嵌入特征。第三,我们在样本级表示学习中施加标签流形约束,以最大限度地利用监督信息。最后,所有的模块都是在视图和标签不完全的前提下设计的,这使得我们的方法能够适应任意的多视图和多标签数据。在五个数据集上的广泛实验证实,我们的方法比其他最先进的方法具有明显的优势。
2023-03-13 cs.CV cs.LG
Adversary-Aware Partial label learning with Label distillation
University of Technology Sydney(悉尼科技大学);A*STAR Centre for Frontier AI Research(新加坡科技研究局前沿人工智能研究中心)
针对高比例噪声部分标签学习问题,提出对抗感知部分标签学习方法并引入竞争标签,结合动量内对抗教师消歧算法获得一致的分类器和风险函数,在多个数据集上取得优异结果。
2023-04-02 cs.CV cs.LG
Handling Noisy Labels for Robustly Learning from Self-Training Data for Low-Resource Sequence Labeling
Heidelberg University(海德堡大学);Aalto University(阿尔托大学);Saarland University(萨尔兰大学)
在本文中,我们解决的问题,有效地自我训练神经网络在低资源设置。自训练经常用于自动增加训练数据的量。然而,在低资源场景中,由于使用未标记数据的自标记创建的不可靠注释,它的效率较低。我们建议将自训练与自标记数据的噪声处理相结合。在组合的干净训练集和自标记数据上直接估计噪声可能导致干净数据的损坏,因此性能更差。因此,我们提出了清洁和嘈杂的标签神经网络,通过明确地分别对清洁和嘈杂的标签进行建模,同时对清洁和嘈杂的自标记数据进行训练。在我们对组块和NER的实验中,这种方法比基线更鲁棒。作为这种显式方法的补充,噪声也可以在辅助学习任务的帮助下隐式处理。对于这种补充方法,我们的方法比其他基线方法更有益,并且一起提供了最佳的整体性能。
2019-03-28 cs.CL cs.LG
Context-Based Semantic-Aware Alignment for Semi-Supervised Multi-Label Learning
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
本文针对半监督多标签学习问题,提出基于上下文的语义感知对齐方法,利用视觉-语言模型知识提取标签特定图像特征并设计半监督上下文识别辅助任务,以生成高质量伪标签并增强特征表示。
2024-12-25 cs.CV cs.LG
Incremental Uncertainty-aware Performance Monitoring with Active Labeling Intervention
Siemens AG(西门子公司);Goethe University Frankfurt(法兰克福歌德大学);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);German Cancer Research Center (DKFZ)(德国癌症研究中心);German Cancer Consortium (DKTK)(德国癌症联盟)
针对渐进式分布漂移导致模型性能悄然下降的问题,提出无标签的IUPM方法,利用最优传输估计性能变化并结合不确定性驱动的主动标注,在有限预算下实现更准确监控。
2025-05-11 cs.AI cs.LG stat.ML
Label-Aware Automatic Verbalizer for Few-Shot Text Classification
Chulalongkorn University(朱拉隆功大学);Google(谷歌)
针对少样本文本分类中手动 verbalizer 非最优的问题,提出 LAAV 方法,利用手动标签和连词“and”引导语言模型生成更优的单词,在五个多语言数据集上显著提升了分类效果。
2023-10-19 cs.CL cs.LG
Label-Aware Graph Convolutional Networks
Beihang University(北京航空航天大学);Alibaba Group(阿里巴巴集团);Jinan University(暨南大学);CUHK(香港中文大学);Tsinghua University(清华大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Wechat, Tencent Inc.(腾讯公司微信)
图卷积网络(GCN)的最新进展导致了各种图相关任务的最新性能。然而,大多数现有的GCN模型没有明确地识别所有的聚合邻居是否有价值的学习任务,这可能会损害学习性能。在本文中,我们考虑的节点分类问题,并提出了标签感知图卷积网络(LAGCN)框架,可以直接识别有价值的邻居,以提高现有的GCN模型的性能。我们的贡献是三方面的。首先,我们提出了一个标签感知的边缘分类器,可以过滤分散的邻居,并添加有价值的邻居为每个节点,以改善原始图到标签感知的~(LA)图。现有的GCN模型可以直接从LA图中学习,以提高性能,而无需改变其模型架构。其次,我们引入了正比的概念来评估LA图中有价值邻居的密度。理论分析表明,使用边缘分类器提高阳性率可以改善现有GCN模型的学习性能。第三,我们在基准数据集上进行了广泛的节点分类实验。实验结果表明,LAGCN在节点分类方面可以显著提高现有GCN模型的性能。
2020-09-05 cs.LG stat.ML
Towards Scalable Oversight via Partitioned Human Supervision
The University of Tokyo(东京大学);RIKEN(理化学研究所)
通过分区人类监督实现可扩展的监督,利用互补标签评估和训练AI系统。
2026-02-24 cs.AI cs.CL cs.LG
AttentionXML: Label Tree-based Attention-Aware Deep Model for High-Performance Extreme Multi-Label Text Classification
Fudan University(复旦大学);Kyoto University(京都大学);Aalto University(阿尔托大学)
极端多标签文本分类(XMTC)是大数据时代的一个重要问题,用于从超大规模的标签集中使用最相关的多个标签标记给定的文本。XMTC可以在许多应用中找到,例如项目分类、网页标记和新闻注释。传统的方法大多使用词袋(BOW)作为输入,忽略了词的上下文以及深层语义信息。最近通过深度学习克服BOW问题的尝试仍然存在以下问题:1)未能捕获每个标签的重要潜台词; 2)缺乏针对大量标签的可扩展性。我们为XMTC提出了一种新的基于标签树的深度学习模型,称为AttentionXML,具有两个独特的功能:1)以原始文本为输入的多标签注意力机制,可以捕获文本中与每个标签最相关的部分; 2)浅而宽的概率标签树(PLT),可以处理数百万个标签,特别是“尾部标签”。我们在六个基准数据集上实证比较了AttentionXML与八种最先进方法的性能,包括Amazon-3 M约300万个标签。在所有实验设置下,AttentionXML的性能优于所有竞争方法。实验结果还表明,AttentionXML在基于标签树的方法中对尾部标签的性能最好。代码和数据集可在http://github.com/yourh/AttentionXML上获得。
2019-11-04 cs.CL cs.LG
Overcoming label shift with target-aware federated learning
RISE Research Institutes of Sweden(瑞典RISE研究机构);KTH Royal Institute of Technology(皇家理工学院);Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
针对联邦学习中客户端与目标域标签分布偏移导致的性能下降问题,提出FedPALS目标感知聚合方案,利用中央服务器标签分布知识实现无偏更新,在图像分类任务中持续优于基线,解决极端标签稀疏性场景下的性能受损问题。
2025-08-26 cs.AI cs.LG
Point Label Aware Superpixels for Multi-species Segmentation of Underwater Imagery
Queensland University of Technology(昆士兰科技大学);Data61, CSIRO(联邦科学与工业研究组织数据61研究所)
使用水下航行器监测珊瑚礁,通过收集大量图像,扩大了海洋调查的范围和历史生态数据的可用性。可以使用经过训练以执行语义分割的模型来自动分析该图像,但是密集地标记图像以用于训练监督模型太昂贵和耗时。在这封信中,我们利用照片样方图像标记的生态学家与稀疏的点标签。我们提出了一种点标签感知方法,用于在超像素区域内传播标签,以获得用于训练语义分割模型的增强地面实况。我们的点标签感知超像素方法利用稀疏的点标签,并使用学习到的特征对像素进行聚类,以准确地在杂乱复杂的珊瑚图像中生成单物种片段。我们的方法在UCSD Mosaics数据集上的像素准确度和标签传播任务的平均IoU分别比之前的方法高出3.62%和8.35%,同时将之前方法报告的计算时间减少了76%。我们训练了DeepLabv3+架构,并在UCSD Mosaics数据集上的像素准确度和平均IoU分别为2.91%和9.65%,在Eilat数据集上的像素准确度和平均IoU分别为4.19%和14.32%,优于最先进的语义分割。
2022-07-10 cs.CV cs.LG cs.RO