Complementary to Multiple Labels: A Correlation-Aware Correction Approach
Southeast University(东南大学);The University of Queensland(昆士兰大学)
针对多类互补标签学习无法适配多标签数据的问题,提出基于二分类分解加标签相关性校正的两步转移矩阵估计法,证明其分类器一致性并引入MSE正则项缓解过拟合,实验验证了方法有效性。
2023-02-25 cs.LG
Learning from Complementary Labels
Sumitomo Mitsui Asset Management(三井住友资产管理);The University of Tokyo(东京大学);RIKEN(理化学研究所)
收集标记的数据是昂贵的,因此在现实世界的分类任务的关键瓶颈。为了缓解这个问题,我们提出了一种新的设置,即从多类分类的互补标签中学习。补充标签指定模式不属于的类。收集补充标签比收集普通标签更省力,因为用户不必从一长串候选类中仔细选择正确的类。然而,互补标签比普通标签信息量少,因此需要一种合适的方法来更好地从中学习。在本文中,我们证明了一个无偏估计量的分类风险只能得到互补标记的数据,如果一个损失函数满足一个特定的对称条件。我们推导出所提出的方法的估计误差界,并证明了最佳的参数收敛速度。我们进一步表明,从互补标签学习可以很容易地与从普通标签学习相结合(即,普通的监督学习),提供了所提出的方法的高度实用的实现。最后,我们通过实验证明了所提出的方法的实用性。
2017-11-12 cs.LG stat.ML
Learning with Biased Complementary Labels
UBTECH Sydney AI Centre(优必选悉尼人工智能中心);The University of Sydney(悉尼大学);University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们研究的分类问题,我们有机会很容易获得的替代品的真正的标签,即互补标签,指定类的意见不属于\textbf{not}。令$Y$和$\bar{Y}$分别为真标记和互补标记。我们首先通过转移概率$P(\bar{Y}=i|Y=j), i\neq j\in\{1,\cdots,c\}$对互补标签的注释进行建模,其中$c$是类的数量。先前的方法隐含地假设$P(\bar{Y}=i|Y=j), \forall i\neq j$是相同的,这在实践中是不正确的,因为人类偏向于他们自己的经验。例如,如图1所示,如果注释者在为猫鼬提供补充标签时对猴子比土拨鼠更熟悉,那么她更有可能使用“monkey”作为补充标签。因此,我们推断转移概率将不同。在本文中,我们提出了一个框架,贡献了三个主要的创新学习与\textbf{biased}互补标签:(1)估计转移概率没有偏见。(2)它提供了一种通用的方法来修改传统的损失函数,并扩展了标准的深度神经网络分类器,以使用有偏的互补标签进行学习。(3)它从理论上保证了用互补标签学习的分类器收敛到用真实标签学习的最优分类器。在多个基准数据集上的综合实验验证了该方法的优越性。
2018-08-08 cs.LG stat.ML
Rethinking Consistent Multi-Label Classification Under Inexact Supervision
RIKEN, Japan(日本RIKEN);The University of Tokyo, Japan(东京大学)
本文提出了一种不依赖传统假设的一致多标签分类方法,通过两种风险估计器统一处理部分和互补多标签学习问题,并在多个数据集上验证了其有效性。
2026-02-25 cs.LG
Multi-Complementary and Unlabeled Learning for Arbitrary Losses and Models
College of Science, China Agricultural University(中国农业大学理学院)
最近提出了一种称为互补标签学习的弱监督学习框架,其中每个样本都配备了一个互补标签,该标签表示样本不属于的类别之一。然而,现有的互补标签学习方法不能从容易获得的未标记样本和具有多个互补标签的样本中学习,这些样本具有更多的信息。在本文中,为了消除这些限制,我们提出了一种新的多互补和未标记的学习框架,允许对任意损失函数和模型的任何数量的互补标签和未标记样本的分类风险进行无偏估计。我们首先给出了多个互补标签样本分类风险的一个无偏估计量,然后通过将未标记样本加入到风险公式中来进一步改进估计量。估计误差界表明,所提出的方法是在最佳参数收敛速度。最后,在线性模型和深度模型上的实验表明了我们的方法的有效性。
2020-07-23 cs.LG stat.ML
Complementary-Label Learning for Arbitrary Losses and Models
The University of Tokyo(东京大学);RIKEN(理化学研究所);Google Research(谷歌研究院)
与标准分类范式不同,在标准分类范式中,每个训练模式都被赋予了真正的类别,互补标签学习只使用每个训练模式都配备了一个互补标签,它只指定模式不属于的类别之一。本文的目标是得到一个新的框架的互补标签学习的分类风险的无偏估计量,任意损失和模型-所有现有的方法都未能实现这一目标。这不仅有利于学习阶段,还使得模型/超参数选择(通过交叉验证)成为可能,而不需要任何通常标记的验证数据,同时使用任何线性/非线性模型或凸/非凸损失函数。通过非负校正和梯度上升技巧进一步改进了风险估计,并通过实验证明了其优越性。
2019-11-19 cs.LG stat.ML
Complementary Classifier Induced Partial Label Learning
Southeast University(东南大学);Shanghai Jiao Tong University(上海交通大学)
针对偏标签学习的候选标签消歧问题,提出利用非候选标签构建互补分类器并结合动态图拓扑信息,在多个UCI和真实数据集上优于现有方法。
2023-05-17 cs.CV cs.LG
CLImage: Human-Annotated Datasets for Complementary-Label Learning
Department of Computer Science and Information Engineering National Taiwan University(国立台湾大学计算机科学与信息工程系)
针对现有互补标签学习算法仅在合成数据集评估、缺乏真实数据验证的问题,研究者构建了首批人工标注的真实世界CLL数据集CLImage,实验发现标注噪声等因素导致算法性能下降,为鲁棒性算法研发提供支撑。
2025-06-14 cs.CV cs.LG
Generative-Discriminative Complementary Learning
University of Pittsburgh(匹兹堡大学);The University of Melbourne(墨尔本大学);The University of Sydney(悉尼大学);Carnegie Mellon University(卡内基梅隆大学)
大多数最先进的深度学习方法都是判别式方法,它们对给定输入特征的标签的条件分布进行建模。这种方法的成功在很大程度上取决于高质量的标记实例,这是不容易获得的,特别是随着候选类的数量增加。本文研究了互补学习问题。与普通标签不同,互补标签很容易获得,因为注释器只需要为每个实例随机选择一个候选类提供一个是/否的答案。我们提出了一种生成-判别互补学习方法,该方法通过对条件(判别)和实例(生成)分布进行建模来估计普通标签。我们的方法,我们称之为互补条件GAN(CC GAN),提高了预测普通标签的准确性,并可以生成高质量的实例,尽管监管不力。除了大量的实证研究,我们还从理论上证明了我们的模型可以从互补标记的数据中恢复真实的条件分布。
2019-09-11 cs.LG stat.ML
NLNL: Negative Learning for Noisy Labels
KAIST(韩国科学技术院)
卷积神经网络(CNN)在用于图像分类时提供优异的性能。训练CNN的经典方法是以监督的方式标记图像,如“输入图像属于此标签”(正学习; PL),如果标签被正确分配给所有图像,这是一种快速准确的方法。然而,如果存在不准确的标签或噪声标签,则使用PL进行训练将提供错误的信息,从而严重降低性能。为了解决这个问题,我们从一种称为负学习(NL)的间接学习方法开始,其中CNN使用互补标签进行训练,如“输入图像不属于这个互补标签”。由于选择真实标签作为补充标签的机会很低,NL降低了提供错误信息的风险。此外,为了提高收敛性,我们扩展了我们的方法,有选择地采用PL,称为选择性消极学习和积极学习(SelNLPL)。PL被选择性地用于训练预期是干净的数据,其选择成为可能,因为NL的进展,从而导致过滤出噪声数据的优异性能。通过简单的半监督训练技术,我们的方法在噪声数据分类方面达到了最先进的精度,证明了SelNLPL的噪声数据过滤能力的优越性。
2019-08-19 cs.LG
Reduction-based Pseudo-label Generation for Instance-dependent Partial Label Learning
School of Computer Science and Engineering(计算机科学与工程学院);Southeast University(东南大学)
针对实例依赖偏标签学习中模型易过拟合错误候选标签的问题,提出多分支归约伪标签生成方法,并从理论上证明其更贴近Bayes最优分类器。
2024-10-28 cs.LG
Leveraging weak complementary labels to improve semantic segmentation of hepatocellular carcinoma and cholangiocarcinoma in H&E-stained slides
Technische Universität Berlin(柏林工业大学);Aignostics GmbH(Aignostics 公司);Charité Universitätsmedizin Berlin(柏林夏里特医学院);Berlin Institute of Health at Charité – Universitätsmedizin Berlin(柏林健康研究所(夏里特医学院));University Hospital Düsseldorf(杜塞尔多夫大学医院);Ludwig-Maximilians-Universität München(慕尼黑大学);German Cancer Research Center(德国癌症研究中心)
在本文中,我们提出了一种深度学习分割方法,用于从苏木精和伊红(H&E)染色的全切片图像中对两种最常见的原发性肝癌-肝细胞癌和肝内胆管癌进行分类和量化。虽然医学图像的语义分割通常需要领域专家进行昂贵的像素级注释,但通常存在在临床诊断中常规获得但很少用于模型训练的附加信息。我们建议通过推导补充标签来利用来自患者诊断的这种弱信息,该标签指示样本不能属于哪个类别。为了整合这些标签,我们制定了一个互补的损失分割。受医学应用的启发,我们证明了在模型训练期间包含仅具有弱互补标签的额外补丁可以显着提高模型的预测性能和鲁棒性。在肝细胞癌和肝内胆管细胞癌之间的诊断鉴别的任务,我们达到了平衡的准确性为0.91(95%置信区间:0.86 - 0.95),在案件水平的165个坚持。此外,我们还表明,利用互补标签提高了分割的鲁棒性,并提高了案例级的性能。
2023-02-03 cs.CV cs.LG
Intra-Cluster Mixup: An Effective Data Augmentation Technique for Complementary-Label Learning
National Taiwan University(台湾大学)
本文提出簇内混合技术,通过改进数据增强方法提升互补标签学习的性能,实验证明在MNIST和CIFAR数据集上准确率分别提高30%和10%。
2026-01-31 cs.AI cs.CV cs.LG
Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels
National Taiwan University(国立台湾大学);RIKEN(理化学研究所);The University of Tokyo(东京大学)
在弱监督学习中,当训练数据和测试数据来自不同的分布时,无偏风险估计器(URE)是训练分类器的有力工具。然而,当模型像深度网络一样复杂时,URES会在许多问题设置中导致过拟合。在本文中,我们通过研究一个称为互补标签学习的弱监督问题来研究这种过拟合的原因。我们认为梯度估计的质量在风险最小化中更重要。从理论上讲,我们证明了一个URE给出了一个无偏梯度估计(UGE)。然而,实际上,UGE可能遭受巨大的方差,这导致经验梯度通常远离真实梯度在最小化期间。为此,我们提出了一种新的替代互补损失(SCL)框架,交易零偏差减少方差,使经验梯度更符合真实梯度的方向。由于这一特性,SCL成功地缓解了过拟合问题,并改进了基于URE的方法。
2020-08-21 cs.LG stat.ML
Embracing Biased Transition Matrices for Complementary-Label Learning with Many Classes
National Taiwan University(国立台湾大学);The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(日本理化学研究院先进智能项目中心)
本文提出了一种新的框架BICL,通过设计偏置的标签生成过程来克服传统互补标签学习在多类设置中的限制,从而在CIFAR-100和TinyImageNet-200上实现了传统方法的七倍以上准确率提升。
2026-05-18 cs.AI cs.CV cs.LG
libcll: an Extendable Python Toolkit for Complementary-Label Learning
National Taiwan University(台湾大学)
本文提出可扩展Python工具包libcll,通过统一接口支持多种互补标签生成假设、数据集和算法,以解决CLL研究中的结果不一致和评估标准化缺失问题。
2024-11-19 cs.AI cs.CV cs.LG
Adversarial Training with Complementary Labels: On the Benefit of Gradually Informative Attacks
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);The University of Sydney(悉尼大学);The University of Tokyo(东京大学);Hong Kong Baptist University(香港浸会大学)
不完全监督下的对抗性训练(AT)意义重大,但受到的关注有限。为了将AT推向更实用的场景,我们探索了一个全新但具有挑战性的设置,即,带有互补标签(CL)的AT,其指定数据样本不属于的类。然而,AT与现有的CL方法的直接组合导致一致的失败,但不是在两阶段训练的简单基线上。在本文中,我们进一步探讨了这一现象,并确定了AT与CL的潜在挑战,即棘手的对抗性优化和低质量的对抗性示例。为了解决上述问题,我们提出了一种新的使用渐进信息攻击的学习策略,该策略由两个关键部分组成:1)预热攻击(Warm-up)轻轻地提高对抗扰动预算,以减轻CL的对抗优化; 2)伪标签攻击(PLA)将渐进信息模型预测合并到校正的互补损失中。进行了大量的实验,以证明我们的方法在一系列基准数据集的有效性。该代码可在https://github.com/RoyalSkye/ATCL上公开获取。
2022-11-01 cs.CR cs.LG
A Reduction to Binary Approach for Debiasing Multiclass Datasets
Google Research(谷歌研究院)
我们提出了一种新的减少到二进制(R2B)的方法,通过减少到一系列的二进制去偏任务,强制人口统计奇偶性的多类分类与非二进制敏感属性。我们证明了R2B满足最优性和偏置保证,并实证证明了它可以导致两个基线的改进:(1)通过独立地消除标签的偏置来将多类问题视为多标签,以及(2)转换特征而不是标签。令人惊讶的是,我们还表明,独立的标签去偏置产生竞争力的结果,在大多数(但不是所有)设置。我们在来自社会科学、计算机视觉和医疗保健的合成和真实世界数据集上验证了这些结论。
2022-10-10 cs.LG
Learning with Multiple Complementary Labels
Nanyang Technological University(南洋理工大学);The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Hong Kong Baptist University(香港浸会大学)
一个互补标签(CL)只是表示一个不正确的类的例子,但学习与CL的结果在多类分类器,可以预测正确的类。不幸的是,问题设置只允许每个示例使用一个CL,这明显限制了它的潜力,因为我们的标记器可以很容易地将多个CL(MCL)识别为一个示例。在本文中,我们提出了一种新的问题设置,允许MCL为每个例子和两种方式学习MCL。在第一种方法中,我们设计了两个包装器,将MCL分解为许多单个CL,以便我们可以使用任何方法来学习CL。然而,MCL持有的监督信息在分解后被概念上稀释了。因此,在第二种方式中,我们得到一个无偏的风险估计,最小化它处理的每一组MCL作为一个整体,并拥有一个估计误差界。我们进一步改进了第二种方法,以最小化适当选择的上界。实验表明,前一种方法对于使用MCL的学习效果很好,但后者更好。
2022-08-06 cs.LG stat.ML
Classes are not Clusters: Improving Label-based Evaluation of Dimensionality Reduction
Seoul National University(首尔国立大学);University of California, Davis(加州大学戴维斯分校);Qatar Computing Research Institute, Hamad Bin Khalifa University(哈马德·本·哈利法大学卡塔尔计算研究所)
本文提出 Label-Trustworthiness 和 Label-Continuity 两种新度量,通过比较原始空间与嵌入空间中类形成簇的程度差异来评估降维质量,解决了传统基于类标签评估假设类即簇的缺陷,实验证明其准确性和可扩展性优于现有方法。
2023-08-11 cs.LG
Clarinet: A One-step Approach Towards Budget-friendly Unsupervised Domain Adaptation
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Centre for Artificial Intelligence, University of Technology Sydney(悉尼科技大学人工智能中心)
在无监督领域自适应(UDA)中,目标域的分类器使用来自源域的大量真实标签数据和来自目标域的未标记数据进行训练。然而,在给定有限预算的情况下,在源域中收集完全真实标签数据可能是困难的。为了缓解这个问题,我们考虑了一个新的问题设置,其中目标域的分类器必须使用来自源域的互补标签数据和来自目标域的未标记数据进行训练,该目标域称为对数据库友好的UDA(BFUDA)。关键的好处是,收集补充标签源数据(BFUDA要求)的成本比收集真实标签源数据(普通UDA要求)的成本低得多。为此,提出了互补标签对抗网络(CNOINET)来解决BFUDA问题。CNOINET同时维护两个深度网络,其中一个专注于对补充标签源数据进行分类,另一个负责源到目标的分布适应。实验表明,CLARINET的性能显着优于一系列合格的基线。
2021-03-04 cs.CV cs.LG stat.ML
Noisy multi-label semi-supervised dimensionality reduction
UiT The Arctic University of Norway(挪威北极大学);Universidad Rey Juan Carlos(胡安·卡洛斯国王大学)
噪声标记数据代表了丰富的信息源,这些信息通常很容易获得,而且获取成本很低,但如果不考虑标签噪声,也可能产生许多负面后果。如何充分利用噪声标签已经在标准监督机器学习的框架内被广泛研究了几十年。然而,很少有研究已经进行了解决在非标准的设置嘈杂的标签所带来的挑战。这包括只有一小部分样本被标记(半监督)并且每个高维样本与多个标签相关联的情况。在这项工作中,我们提出了一种新的半监督和多标签的降维方法,有效地利用信息,从嘈杂的多标签和未标记的数据。提出的噪声多标签半监督降维(NMLSDR)方法,通过专门设计的标签传播算法对噪声多标签进行去噪,同时对未标记数据进行标记。然后,NMLSDR学习投影矩阵,通过最大化放大和去噪的多标签空间与投影空间中的特征之间的依赖性来降低维度。在合成数据、基准数据集以及真实案例研究上的大量实验证明了该算法的有效性,并表明其性能优于最先进的多标签特征提取算法。
2019-02-20 cs.LG stat.ML
Bounded Expectation of Label Assignment: Dataset Annotation by Supervised Splitting with Bias-Reduction Techniques
Virginia Tech(弗吉尼亚理工大学);Tufts University(塔夫茨大学)
注释大型未标记数据集可能是机器学习应用程序的主要瓶颈。我们介绍了一个方案,用于推断标签的未标记的数据在一小部分的成本标记整个数据集。我们的计划,有界期望的标签分配(BELA),greenhouse查询的甲骨文(或人类labeler)和分区的数据集,以找到数据子集,大多具有相同的标签。然后,BELA可以通过每个子集中已知标签的多数投票来推断标签。BELA通过最大化正确标记示例的预期数量的下限来确定是否从子集中分割或标记。我们的方法与现有的分层标签方案不同,使用监督模型来划分数据,从而避免依赖可能无法按标签准确分组数据的无监督聚类方法。我们设计BELA的策略,以避免偏见,可以通过这种自适应分区。我们在三个数据集上评估了BELA,发现它优于现有的自适应标签策略。
2021-02-25 cs.LG stat.ML
Automated Label Generation for Time Series Classification with Representation Learning: Reduction of Label Cost for Training
TCS Research, TATA Consultancy Services(塔塔咨询服务公司TCS研究院)
由终端用户、边缘设备和不同的可穿戴设备生成的时间序列大多没有标记。我们提出了一种方法来自动生成标签的未标记的时间序列,利用很少有代表性的标记的时间序列。我们的方法是基于表示学习使用自动编码紧凑序列(AECS)的最佳距离测量的选择。它通过学习潜在结构在迭代中执行自校正,以及使用变分自动编码器(VAE)来综合提升代表性时间序列以提高标签的质量。我们已经实验了UCR和UCI档案,公共现实世界的单变量,多变量时间序列取自不同的应用领域。实验结果表明,该方法是非常接近的性能实现全监督分类。所提出的方法不仅产生接近基准的结果,但在某些情况下优于基准性能。
2021-07-12 cs.AI cs.LG
Towards Scalable Oversight via Partitioned Human Supervision
The University of Tokyo(东京大学);RIKEN(理化学研究所)
通过分区人类监督实现可扩展的监督,利用互补标签评估和训练AI系统。
2026-02-24 cs.AI cs.CL cs.LG
SqueezeFit: Label-aware dimensionality reduction by semidefinite programming
The Ohio State University(俄亥俄州立大学);New York University(纽约大学)
给定高维向量空间中的标记点,我们寻找一个低维子空间,使得投影到这个子空间上保持不同标记点之间的某个指定距离。预期应用包括压缩分类。受大间隔最近邻分类法的启发,本文提出了一种半定松弛方法。不像它的前辈,这种放松是服从理论分析,使我们能够证明恢复种植投影算子的数据。
2018-12-06 cs.LG math.OC stat.ML
Class2Simi: A Noise Reduction Perspective on Learning with Noisy Labels
The University of Sydney(悉尼大学);Hong Kong Baptist University(香港浸会大学);The University of Melbourne(墨尔本大学);Xidian University(西安电子科技大学);Brain-Inspired Technology Co., Ltd.(脑启发技术有限公司);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
近年来,带噪声标签的学习吸引了很多关注,其中主流方法是逐点方式。同时,成对方式在有监督的度量学习和无监督的对比学习中显示出巨大的潜力。因此,一个自然的问题被提出来了:以成对的方式学习是否可以减轻标签噪声?为了给出肯定的答案,在本文中,我们提出了一个名为Class2Simi的框架:它将具有噪声类标签的数据点转换为具有噪声相似性标签的数据对,其中相似性标签表示一对是否共享类标签。通过这种变换,理论上保证了噪声率的降低,因此原则上更容易处理有噪声的相似性标签。令人惊讶的是,预测干净类别标签的DNN可以从嘈杂的数据对中训练出来,如果它们首先从嘈杂的数据点中进行预训练的话。Class2Simi在计算上是高效的,因为这种转换不仅是在小批量中进行的,而且它只是将模型预测之上的损失计算改为成对的方式。通过大量的实验验证了其有效性。
2021-06-17 cs.LG stat.ML
NoiseRank: Unsupervised Label Noise Reduction with Dependence Models
University of Southern California(南加州大学);Facebook AI(Facebook人工智能)
标签噪声在从噪声通道获取的数据集中越来越普遍。现有的检测和去除标签噪声的方法通常依赖于某种形式的监督,这是不可扩展的和容易出错的。在本文中,我们提出了NoiseRank,使用马尔可夫随机场(MRF)的无监督标签降噪。我们构建了一个依赖模型来估计给定数据集的实例被错误标记的后验概率,并根据估计的概率对实例进行排名。我们的方法1)不需要来自地面真实标签的监督,或者标签或噪声分布的先验。2)它是可解释的设计,使标签噪声去除的透明度。3)它对分类器架构/优化框架和内容模态是不可知的。这些优点使得在真实噪声设置中具有广泛的适用性,不像受一个或多个条件约束的现有工作。NoiseRank改进了Food 101-N(~20%噪声)的最新分类,并对高噪声Clothing-1 M(~40%噪声)有效。
2020-03-15 cs.CV cs.LG stat.ML
Label Noise Reduction in Entity Typing by Heterogeneous Partial-Label Embedding
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Army Research Laboratory(美国陆军研究实验室);Rensselaer Polytechnic Institute(伦斯勒理工学院)
当前的细粒度实体分类系统结合现有的知识库使用远程监督来为实体提及分配类别(类型标签)。然而,这样从知识库获得的类型标签通常是有噪声的(即,对于实体提及的本地上下文不正确)。我们定义了一个新的任务,标签噪声减少实体分型(LNR),是正确的类型标签(类型路径)的训练样本的自动识别,给定的候选类型标签集通过远程监督与给定的类型层次结构。单个实体提及的未知类型标签和实体类型之间的语义相似性为解决LNR任务提出了独特的挑战。我们提出了一个通用的框架,称为PLE,共同嵌入实体提到,文本功能和实体类型到同一个低维空间,在该空间中,对象的类型是语义接近有类似的表示。然后,我们使用学习的嵌入以自顶向下的方式估计每个训练样本的类型路径。我们制定了一个全球性的目标,学习嵌入文本语料库和知识库,它采用了一种新的边缘为基础的损失,是强大的噪声标签和忠实的模型类型相关性来自知识库。我们在三个公共类型数据集上的实验证明了PLE的有效性和鲁棒性,与次优方法相比,准确率平均提高了25%。
2016-02-17 cs.CL cs.LG
NamedMask: Distilling Segmenters from Complementary Foundation Models
University of Oxford(牛津大学);Shanghai Jiao Tong University(上海交通大学);University of Cambridge(剑桥大学)
这项工作的目标是分割和命名图像区域,而无需在训练期间访问像素级标签。为了解决这个问题,我们构造分割器,通过提取两个基础模型的互补优势。第一种是CLIP(Radford et al. 2021),它具有为图像内容分配名称的能力,但缺乏对象结构的可访问表示。第二种是DINO(Caron et al. 2021),它捕获对象的空间范围,但不知道对象名称。我们的方法称为NamedMask,首先使用CLIP构建特定于类别的图像档案。这些图像使用从DINO引导的类别不可知的显着对象检测器进行伪标记,然后由特定于类别的分割器使用CLIP存档标签进行细化。由于高质量的精致的面具,我们表明,一个标准的分割架构训练这些档案与适当的数据增强实现了令人印象深刻的语义分割能力的单对象和多对象图像。因此,我们提出的NamedMask在包括VOC 2012,COCO和大规模ImageNet-S数据集在内的五个基准上的一系列先前工作中表现良好。
2022-09-22 cs.AI cs.CV cs.LG
Semantic Label Reduction Techniques for Autonomous Driving
TUM(慕尼黑工业大学);Artisense;Audi Electronics Venture(奥迪电子创业公司)
语义分割图可以用作模型的输入,用于操纵汽车的控制。然而,并非所有标签都是做出控制决策所必需的。人们可能会期望,与可能对汽车的驾驶决策没有直接影响的植被或建筑物的标签相比,某些标签(如道路车道或人行道)将更加关键。在本附录中,我们评估并量化了不同语义标签对控制汽车的敏感性和重要性。不影响驾驶决策的标签被重新映射到其他类别,从而通过减少到仅对车辆驾驶至关重要的标签来简化任务。
2019-02-11 cs.AI cs.CV cs.LG
FALCON: Feature-Label Constrained Graph Net Collapse for Memory Efficient GNNs
Imperial College London(伦敦帝国理工学院)
提出FALCON,一种拓扑感知的图缩减方法,通过保留特征-标签分布,结合迷你批处理和量化,实现内存高效GNN训练,并在公共数据集上保持预测质量。
2023-12-27 cs.AI cs.LG
Top-label calibration and multiclass-to-binary reductions
Carnegie Mellon University(卡内基梅隆大学)
一个多类分类器被称为顶标签校准,如果报告的概率预测类-顶标签-是校准的,条件是顶标签。这种条件反射的顶级标签是不存在的密切相关的和流行的概念的信心校准,我们认为这使得信心校准难以解释的决策。我们提出了顶标签校准作为校正的信心校准。此外,我们还概述了一个多类到二进制(M2 B)的简化框架,该框架统一了置信度、顶标签和类校准等。顾名思义,M2 B的工作原理是将多类校准简化为众多的二进制校准问题,每个问题都可以使用简单的二进制校准例程解决。我们实例化的M2 B框架与良好的研究直方图分箱(HB)二进制校准器,并证明整个过程是多类校准,而不作任何假设的基础数据分布。在CIFAR-10和CIFAR-100上使用四种深度网络架构进行的经验评估中,我们发现M2 B + HB过程比其他方法(如温度缩放)实现了更低的顶部标签和类校准误差。可在\url{https://github.com/aigen/df-posthoc-calibration}上获得此工作的代码。
2022-09-02 cs.AI cs.LG stat.ME
Semi-Supervised Graph Learning Meets Dimensionality Reduction
University of Missouri(密苏里大学)
半监督学习(SSL)最近受到了机器学习研究人员越来越多的关注。通过在基于图的深度学习(GDL)算法中实现已知标签的有效传播,SSL有望在未来几年成为GDL中越来越多使用的技术。然而,目前很少有探索在基于图的SSL文献利用经典的降维技术,以改善标签传播。在这项工作中,我们研究了PCA,t-SNE和UMAP等降维技术的使用,以了解它们对用于节点标签半监督传播的图神经网络(GNNs)性能的影响。我们的研究利用基准半监督GDL数据集,如Cora和Citeseer数据集,以便在与降维技术配对时对每个算法学习的表示进行有意义的比较。我们全面的基准测试和聚类可视化定量和定性地证明,在一定条件下,分别对GNN输入和输出进行先验和后验降维,可以同时提高半监督节点标签传播和节点聚类的有效性。我们的源代码在GitHub上免费提供。
2022-03-23 cs.AI cs.LG
From Haystack to Needle: Label Space Reduction for Zero-shot Classification
IDLab, Ghent University - imec(IDLab,根特大学 - imec)
本文提出标签空间缩减方法,通过迭代排序和缩减候选类别来优化大语言模型零样本分类的标签空间,并利用蒸馏降低计算开销,在多个基准上显著提升宏观 F1 分数。
2025-11-05 cs.AI cs.CL cs.LG
Extracting Label-specific Key Input Features for Neural Code Intelligence Models
University of Houston(休斯顿大学)
代码智能(CI)模型通常是黑盒的,并且不提供任何关于输入特征的见解,这些特征是他们为了做出正确的预测而学习的。这种不透明性可能会导致对它们的预测的不信任,并阻碍它们在安全关键应用中的广泛采用。最近,程序简化技术被广泛用于识别关键输入特征,以解释CI模型的预测。该方法从输入程序中删除不相关的部分,并保留CI模型维持其预测所需的最小片段。然而,国家的最先进的方法主要使用的语法不知道的程序减少技术,不遵循程序的语法,这增加了显着的开销减少输入程序和模型的可解释性。在本文中,我们采用了语法指导的程序减少技术,减少过程中的输入程序的语法。我们在不同类型的输入程序的多个模型上的实验表明,语法引导的程序缩减技术在减少输入程序的大小方面显着优于语法未知的程序缩减技术。从约简程序中提取关键输入特征表明,语法引导的约简程序包含更多的标签特定的关键输入特征,并且在重命名程序中的关键标记时更容易受到对抗性变换的影响。这些标签特定的关键输入特征可以帮助从不同的角度理解模型预测的推理,并增加CI模型给出的正确分类的可信度。
2022-02-14 cs.LG cs.PL cs.SE
Anti-drift in electronic nose via dimensionality reduction: a discriminative subspace projection approach
School of Computing, National University of Singapore(新加坡国立大学计算机学院);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
传感器漂移是传感器和测量领域的一个众所周知的问题,并且多年来一直困扰着传感器社区。在本文中,我们提出了一种传感器漂移校正方法来处理传感器漂移问题。具体来说,我们提出了一个歧视性的子空间投影方法的传感器漂移减少电子鼻。该方法继承了子空间投影方法的优点,称为域正则化分量分析。此外,该方法考虑了源数据的标签信息,使得投影源样本的类内方差最小,同时类间方差最大.标签信息被用来避免子空间中具有不同标签的样本的重叠。两个传感器漂移数据集上的实验表明了该方法的有效性。
2018-12-14 cs.LG stat.ML
The Offset Tree for Learning with Partial Labels
Yahoo Research(雅虎研究院);Microsoft Research(微软研究院);IBM Research(IBM研究院)
我们提出了一种算法,称为偏移树,学习决策的情况下,只有一个选择的回报,而不是所有的选择。该算法将此设置减少到二进制分类,允许在此部分信息设置中重用任何现有的完全监督的二进制分类算法。我们表明,偏移树是一个最佳的减少二进制分类。特别是,它的遗憾最多是它所使用的二元分类器的遗憾的$(k-1)$倍(其中$k$是选择的数量),并且没有减少到二元分类可以做得更好。在训练和测试时,这种减少也是计算上最优的,只需要$O(\log_2 k)$工作来对示例进行训练或进行预测。实验表明,偏移树的性能一般优于其他几种方法。
2016-04-03 cs.AI cs.LG
A Scalable Multilabel Classification to Deploy Deep Learning Architectures For Edge Devices
Tennessee Technological University(田纳西理工大学)
卷积神经网络(CNN)在目标检测、模式识别、视频监控等领域有着良好的应用前景,CNN通过对标记数据进行特征提取来进行分类。多标签分类为数据集中的特定数据样本分配多个标签。在多标签分类中,被认为是互斥的数据点的属性被分类。然而,现有的多标签分类需要某种形式的数据预处理,其涉及图像训练数据裁剪或图像平铺。这些多标签CNN模型的计算和内存需求使得它们在边缘设备上的部署具有挑战性。在本文中,我们提出了一种方法,通过扩展现有多标签分类的能力来解决这个问题,并提供具有较低延迟的模型,这些模型在部署在边缘设备上时需要较小的内存大小。我们使用一个单一的CNN模型,设计了多个损失层和多个准确性层。这种方法在最先进的深度学习算法上进行了测试,如AlexNet,GoogleNet和SqueezeNet,使用斯坦福汽车数据集,并部署在Raspberry Pi3上。从结果来看,与实现多标签分类的传统方法(如将多标签实例硬编码为单个标签)相比,所提出的方法分别为生成的AlexNet、GoogleNet和SqueezeNet CNN模型实现了相当的准确性,MACC操作减少了1.8倍,延迟减少了0.97倍,大小减少了0.5倍、0.84倍和0.97倍。该方法还产生了CNN模型,与使用2个不同的单标签模型实现多标签分类的传统方法相比,分别实现了50%的MACC操作减少,AlexNet,GoogleNet和Squeez…
2021-01-27 cs.LG stat.ML
Deep Variational Sufficient Dimensionality Reduction
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
我们考虑充分降维(SDR)的问题,其中高维观测被转换到一个低维的子空间,在该子空间中,关于标签变量的观测信息被保留。我们提出了DVSDR,一个深度变分方法,充分降维。我们模型中的深层结构有一个瓶颈,代表数据的低维嵌入。我们使用图形模型解释SDR问题,并使用变分自编码器的框架来最大化观察和标签的联合分布的对数似然的下限。我们表明,这样的最大化问题可以解释为解决SDR问题。DVSDR可以很容易地应用到半监督学习环境中。在我们的实验中,我们表明,DVSDR在分类任务上具有竞争力,同时能够生成新的数据样本。
2018-12-18 cs.LG stat.ML
DRUPI: Dataset Reduction Using Privileged Information
EPIC Lab, SJTU(EPIC实验室,上海交通大学);ICBC;Shanghai AI Lab(上海人工智能实验室);HKUST(GZ)(香港科技大学(广州))
本文提出DCPI方法,通过合成特权信息提升数据集凝练效果,在多个数据集上实现性能提升。
2026-03-10 cs.AI cs.CV cs.LG
The Dice loss in the context of missing or empty labels: Introducing $Φ$ and $ε$
KU Leuven(鲁汶大学);icometrix(icometrix公司)
尽管Dice损失是医学图像分割中的主要损失函数之一,但大多数研究忽略了对其导数的仔细观察,即当使用梯度下降时优化的实际马达。在本文中,我们强调的特殊行动的骰子损失的存在下,丢失或空的标签。首先,我们制定了一个理论基础,给出了一个一般性的描述骰子损失及其衍生物。事实证明,约简维度$Φ$和平滑项$ε$的选择并非微不足道,并且极大地影响了其行为。我们发现并提出了启发式组合的$Φ$和$ε$,在分割设置中的工作与缺失或空标签。其次,我们经验验证这些发现在一个二进制和多类分割设置使用两个公开的数据集。我们证实选择$Φ$和$ε$确实是关键。通过选择$Φ$,使得减少发生在单个批次(和类)元素上,并且通过可忽略的$ε$,Dice损失自然地处理缺失标签,并且与最近针对缺失标签的调整相比,其性能类似。如果选择$Φ$以使减少发生在多个批处理元素上,或者使用$ε$的启发式值,则Dice loss会正确处理空标签。我们相信,这项工作突出了一些重要的观点,并希望它鼓励研究人员在未来的工作中更好地描述他们的确切实施骰子损失。
2022-11-09 cs.AI cs.CV cs.LG
Causal Feature Selection with Dimension Reduction for Interpretable Text Classification
Temple University(天普大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
与类别标签相关但不直接导致类别标签的文本特征有时对预测有用,但它们可能没有洞察力。作为传统的基于相关性的特征选择的替代方案,因果推理可以揭示文本特征和标签之间更有原则、更有意义的关系。为了帮助研究人员深入了解文本数据,例如社会科学应用,在本文中,我们研究了一类基于匹配的因果推理方法的文本特征选择。文档分类中使用的特征通常是高维的,然而现有的因果特征选择方法使用倾向分数匹配(PSM),这在高维空间中是无效的。本文提出了一种新的因果特征选择框架,将降维与因果推理相结合,改进了文本特征选择。在合成数据和真实数据上的实验证明了我们的方法在提高分类和增强可解释性方面的潜力。
2020-10-09 cs.CL cs.IR cs.LG