Ranking-Guided Semi-Supervised Domain Adaptation for Severity Classification
Kyushu University（九州大学）；Kyoto Second Red Cross Hospital（京都第二红十字医院）
本文提出利用排名得分对源域和目标域进行对齐，以解决严重程度分类中类间边界不明确的问题，通过跨域排名和连续分布对齐方法提升领域适应效果。
2026-04-02 cs.CV
Encoding Video and Label Priors for Multi-label Video Classification on YouTube-8M dataset
Seoul National University（首尔大学）；SK Telecom（SK电讯）
YouTube-8 M是用于多标签视频分类的最大视频数据集。为了解决这个具有挑战性的数据集上的多标签分类，有必要解决几个问题，例如视频的时间建模，标签不平衡以及标签之间的相关性。我们开发了一个深度神经网络模型，该模型由四个组件组成：帧编码器、分类层、标签处理层和损失函数。我们介绍了我们新提出的方法，并讨论了现有的模型如何在YouTube-8 M分类任务中运行，它们有什么见解，以及为什么它们成功（或失败）实现良好的性能。与基线模型相比，我们提出的大多数模型都非常高，我们使用的模型集合在Kaggle竞赛中排名第8。
2017-07-12 cs.CV
Harmless label noise and informative soft-labels in supervised classification
University of Queensland（昆士兰大学）
手动标记训练示例是监督学习中的常见做法。当标签任务具有非平凡难度时，提供的标签可能不等于地面真实标签，并且标签噪声被引入训练数据集中。如果由多个专家进行手动注释，则相同的训练示例可以由不同的专家给予不同的类分配，这指示标签噪声。在基于模型的分类框架中，一个简单但关键的观察结果是，当使用类别成员的后验概率对手动标签进行采样时，噪声标签在统计信息方面与地面实况标签一样有价值。这个过程的一个放松是一个随机效应模型，用于使用类成员资格的近似后验概率的组的不完美标记。然后可以导出使用噪声标签的逻辑斯谛回归与使用地面实况标签的逻辑斯谛回归相比的相对效率。主要发现是，当标签噪声和分类难度正相关时，逻辑斯谛回归可以对标签噪声具有鲁棒性。特别是，当分类难度是标签错误的唯一来源时，与单组地面真实标签相比，多组噪声标签可以为分类规则的估计提供更多的信息。
2021-04-07 cs.LG stat.ML
An Online Universal Classifier for Binary, Multi-class and Multi-label Classification
Nanyang Technological University（南洋理工大学）；Dalian Maritime University（大连海事大学）
分类涉及将输入样本与相应的目标标签相关联的映射函数的学习。分类问题有两大类：单标签分类和多标签分类。传统的二元和多类分类是单标签分类的子类别。几个分类器被开发用于二进制，多类和多标签分类问题，但在文献中没有分类器能够执行所有三种类型的分类。在本文中，提出了一种新的在线通用分类器能够执行所有三种类型的分类。作为一种高速在线分类器，该技术可以应用于流数据应用。所开发的分类器的性能进行评估，使用数据集从二进制，多类和多标签的问题。所获得的结果进行比较，与国家的最先进的技术，从每个分类类型。
2016-09-03 cs.AI cs.LG cs.NE
Deep Semantic Ranking Based Hashing for Multi-Label Image Retrieval
Center for Research on Intelligent Perception and Computing（智能感知与计算研究中心）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
随着网络图像的快速增长，哈希算法在大规模图像检索中受到越来越多的关注。研究工作一直致力于学习紧凑的二进制代码，保持基于标签的语义相似性。然而，这些哈希方法中的大多数被设计为处理简单的二进制相似性。与多个标签相关联的图像的复杂的多级语义结构尚未得到很好的探索。在这里，我们提出了一种基于深度语义排名的方法来学习哈希函数，该方法可以保持多标签图像之间的多级语义相似性。在我们的方法中，深度卷积神经网络被纳入哈希函数，以共同学习特征表示和从它们到哈希码的映射，这避免了手工特征的语义表示能力的限制。同时，采用编码多级相似性信息的排序列表来指导这种深度哈希函数的学习。一个有效的计划的基础上替代损失是用来解决棘手的优化问题的非光滑和多变量的排名措施的学习过程。实验结果表明，我们提出的方法优于几个国家的最先进的哈希方法在多标签图像数据集上测试时，在排名评价指标。
2015-04-19 cs.CV cs.LG
Semi-Supervised Variational Adversarial Active Learning via Learning to Rank and Agreement-Based Pseudo Labeling
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
针对变分对抗主动学习未利用任务信息和未标记数据训练的局限，提出基于排序的损失预测模块和半监督伪标签算法，在分类与分割基准上取得更优性能。
2024-08-23 cs.CV cs.LG
RankSim: Ranking Similarity Regularization for Deep Imbalanced Regression
Simon Fraser University（西蒙弗雷泽大学）；Borealis AI（Borealis人工智能研究院）
数据不平衡，其中多个数据样本来自小比例的标签，对训练深度神经网络提出了挑战。与分类不同，在回归中，标签是连续的，可能是无限的，并形成自然的排序。回归的这些独特特征需要新的技术来利用标签空间关系中编码的附加信息。本文提出了用于深度不平衡回归的RankSim（ranking similarity）正则化器，它编码了一种归纳偏差，即在标签空间中更接近的样本在特征空间中也应该更接近。与最近的基于分布平滑的方法相比，RankSim捕获了附近和远处的关系：对于给定的数据样本，RankSim鼓励其标签空间中的邻居的排序列表与其特征空间中的邻居的排序列表相匹配。RankSim是对传统不平衡学习技术的补充，包括重新加权，两阶段训练和分布平滑，并提升了三个不平衡回归基准的最新性能：IMDB-WIKI-BLOG，STS-B-BLOG。
2022-06-24 cs.AI cs.CV cs.LG
RankingMatch: Delving into Semi-Supervised Learning with Consistency Regularization and Ranking Loss
KAIST（韩国科学技术院）
半监督学习（SSL）在有标记数据有限的情况下，在利用未标记数据方面发挥了重要作用。最成功的SSL方法之一是基于一致性正则化，它鼓励模型在扰动输入的情况下保持不变。然而，对具有相同标签的投入的关注较少。受具有相同标签的输入应该具有相似的模型输出的观察的启发，我们提出了一种新的方法，RankingMatch，该方法不仅考虑了扰动输入，而且考虑了具有相同标签的输入之间的相似性。我们特别引入了一个新的目标函数，称为BatchMean Triplet loss，它具有计算效率的优点，同时考虑到所有输入样本。我们的RankingMatch在许多标准SSL基准测试中具有最先进的性能，具有各种标记的数据量，包括CIFAR-10的95.13%准确率（250个标签），CIFAR-100的77.65%准确率（10000个标签），SVHN的97.76%准确率（250个标签）和SVHN的97.77%准确率（1000个标签）。我们还进行了一项消融研究，以证明所提出的BatchMean三重损失对现有版本的三重损失的有效性。
2021-10-09 cs.CV
Improving Pairwise Ranking for Multi-label Image Classification
University of Rochester（罗切斯特大学）；Yahoo Research（雅虎研究院）
学习排序最近已经成为一种有吸引力的技术，用于为各种计算机视觉任务训练深度卷积神经网络。特别是，成对排序在多标签图像分类中取得了成功，在各种基准上取得了最先进的结果。然而，大多数现有方法使用铰链损失来训练它们的模型，这是不平滑的，因此难以优化，特别是对于深度网络。此外，它们采用简单的算法，如top-k或阈值，来确定哪些标签包含在标签排名列表的输出中，这限制了它们在现实世界中的使用。在这项工作中，我们提出了两种技术，以提高成对排序的多标签图像分类：（1）我们提出了一种新的损失函数的成对排序，这是光滑的，因此更容易优化;和（2）我们将标签决策模块到模型中，估计每个视觉概念的最佳置信阈值。我们提供了我们的损失函数的贝叶斯一致性和风险最小化框架的理论分析，并显示其优势，现有的成对排序配方。我们证明了我们的方法在三个大规模的数据集，VOC 2007，NUS-WIDE和MS-COCO的有效性，实现了文献中最好的报告结果。
2017-06-01 cs.CV
Ranking Distillation for Open-Ended Video Question Answering with Insufficient Labels
Sun Yat-sen University（中山大学）；Huazhong University of Science and Technology（华中科技大学）
本文提出排序蒸馏框架（RADI），通过教师模型生成潜在答案排序以丰富不充分标签信息，并设计成对和列表两种鲁棒蒸馏方法，有效提升了开放式视频问答的泛化能力。
2024-03-21 cs.CV
RankSeg: Adaptive Pixel Classification with Image Category Ranking for Segmentation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；UC Berkeley（加州大学伯克利分校）
分割任务传统上被制定为完整标签像素分类任务，以从所有图像或视频共享的固定数量的预定义语义类别中预测每个像素的类别。然而，在这种表述之后，标准架构将不可避免地在更现实的设置下遇到各种挑战，其中类别的范围扩大（例如，超过1 K的水平）。另一方面，在典型的图像或视频中，只有少数类别，即，存在完整标签的一个小子集。出于这种直觉，在本文中，我们提出将分割分解为两个子问题：（i）图像级或视频级多标签分类和（ii）像素级秩自适应选择标签分类。给定一个输入图像或视频，我们的框架首先对完整的标签进行多标签分类，然后对完整的标签进行排序，并根据它们的类置信度得分选择一个小子集。然后，我们使用秩自适应像素分类器仅对选定的标签执行逐像素分类，该分类器使用一组面向秩的可学习温度参数来调整像素分类分数。我们的方法在概念上是通用的，并且可以通过简单地使用轻量级的多标签分类头和秩自适应像素分类器来改进各种现有的分割框架。我们证明了我们的框架的有效性与竞争力的实验结果在四个任务，包括图像语义分割，图像全景分割，视频实例分割，视频语义分割。特别是，通过我们的RankSeg，Mask 2Former在ADE 20 K全景分割/YouTubeVIS 2019视频实例分割/VSPW视频语义分割基准测试中分别获得了+0.8%/+0.7%/+0.7%的收益。
2022-07-20 cs.CV
Unsupervised Person Re-identification via Multi-label Classification
Peking University（北京大学）
无监督人员重新识别（ReID）的挑战在于学习没有真实标签的区分特征。本文将无监督人ReID制定为多标签分类任务，以逐步寻找真正的标签。我们的方法首先为每个人的图像分配一个单类标签，然后通过利用更新后的ReID模型进行标签预测，发展到多标签分类。标签预测包括相似度计算和循环一致性，以确保预测标签的质量。为了提高ReID模型在多标签分类中的训练效率，我们进一步提出了基于记忆的多标签分类损失（MMCL）。MMCL与基于记忆的非参数分类器一起工作，将多标签分类和单标签分类集成在一个统一的框架中。我们的标签预测和MMCL迭代工作，并大大提高了ReID的性能。在几个大规模的人ReID数据集上的实验表明，我们的方法在无监督的人ReID的优越性。我们的方法还允许在其他领域中使用标记的人物图像。在这种迁移学习设置下，我们的方法也达到了最先进的性能。
2020-04-20 cs.CV
Learning a Deep ConvNet for Multi-label Classification with Partial Labels
Borealis AI（北极光人工智能）；Simon Fraser University（西蒙弗雷泽大学）
深度ConvNets在单标签图像分类（例如ImageNet）方面表现出了出色的性能，但有必要超越单标签分类任务，因为日常生活的图片本质上是多标签的。多标签分类是一个比单标签分类更困难的任务，因为输入图像和输出标签空间都更复杂。此外，收集干净的多标签注释比单标签注释更难以扩展。为了降低标注成本，我们建议用部分标签训练模型，即每个图像只知道一些标签。我们首先经验比较不同的标签策略，以显示在多标签数据集上使用部分标签的潜力。然后，为了使用部分标签进行学习，我们引入了一种新的分类损失，它利用了每个示例中已知标签的比例。我们的方法允许使用与使用所有注释学习时相同的训练设置。我们进一步探讨了几种基于课程学习的策略来预测缺失的标签。实验在三个大规模多标签数据集上进行：MS COCO，NUS-WIDE和Open Images。
2019-02-26 cs.CV
LNEMLC: Label Network Embeddings for Multi-Label Classification
Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）；University of Notre Dame（圣母大学）
多标签分类的目的是对具有离散非排他性标签的实例进行分类。大多数多标签分类方法都专注于现有二进制和多类学习方法的有效适应或转换，但无法对标签的联合概率进行建模，或者不保留不可见标签组合的泛化能力。为了解决这些问题，我们提出了一个新的多标签分类方案，LNEMLC -标签网络嵌入的多标签分类，嵌入标签网络，并使用它来扩展输入空间的学习和推理的任何基础多标签分类。该方法允许捕获标签的联合概率在低计算复杂性提供的结果相比，在文献中报道的最佳方法。我们演示了该方法如何揭示简单的kNN基线分类器在统计上的显着改进。我们还提供了选择跨数据域令人满意的健壮配置的提示。
2019-01-01 cs.CV cs.LG cs.NE
Information-theoretical label embeddings for large-scale image classification
Google, Inc.（谷歌公司）
我们提出了一种用于训练多标签、大规模多类图像分类模型的方法，该方法比通过S形交叉熵损失（逻辑回归）的监督更快、更准确。我们的方法包括将高维稀疏标签嵌入到单位赋范向量的低维稠密球体上，并将分类问题视为该球体上的余弦近似回归问题。我们在一个包含3亿张高分辨率图像和17，000个标签的数据集上测试了我们的方法，与逻辑回归相比，它的收敛速度要快得多，平均精度也高出7%。
2016-07-19 cs.CV cs.LG stat.ML
General Multi-label Image Classification with Transformers
University of Virginia（弗吉尼亚大学）
多标签图像分类是预测与图像中存在的对象、属性或其他实体相对应的标签集合的任务。在这项工作中，我们提出了分类Transformer（C-Tran），多标签图像分类，利用Transformers利用视觉功能和标签之间的复杂依赖关系的一般框架。我们的方法由一个Transformer编码器组成，该编码器被训练来预测一组目标标签，给定一组掩码标签，以及来自卷积神经网络的视觉特征。我们的方法的一个关键成分是标签掩码训练目标，它使用三元编码方案来表示标签的状态为正，负或未知。我们的模型在COCO和Visual Genome等具有挑战性的数据集上表现出最先进的性能。此外，由于我们的模型在训练过程中显式地表示了标签的不确定性，因此通过允许我们在推理过程中为具有部分或额外标签注释的图像产生改进的结果，它更加通用。我们在COCO，Visual Genome，News 500和CUB图像数据集中展示了这种额外的功能。
2020-11-27 cs.AI cs.CV cs.LG
An Effective Approach for Multi-label Classification with Missing Labels
University of South Carolina（南卡罗来纳大学）
与多类分类相比，包含多个类的多标签分类更适合于现实生活场景。然而，对于多标签分类问题，获得完全标记的高质量数据集是非常昂贵的，有时甚至是不可行的，特别是当标签空间太大时。这激发了部分标签分类的研究，其中只有有限数量的标签被注释，其他标签缺失。为了解决这个问题，我们首先提出了一种基于伪标签的方法来降低注释的成本，而不会给现有的分类网络带来额外的复杂性。然后定量研究了标签缺失对分类器性能的影响。此外，通过设计一个新的损失函数，我们能够放松的要求，每个实例必须包含至少一个积极的标签，这是常用的大多数现有的方法。通过在三个大规模多标签图像数据集（MS-COCO，NUS-WIDE和Pascal VOC12）上的综合实验，我们证明了我们的方法可以处理正标签和负标签之间的不平衡，同时在大多数情况下仍然优于现有的缺失标签学习方法，在某些情况下甚至是完全标记数据集的方法。
2022-10-24 cs.CV
Probabilistic Zero-shot Classification with Semantic Rankings
The Ohio State University（俄亥俄州立大学）
在本文中，我们提出了一个非度量排名为基础的表示语义相似性，允许自然聚合的语义信息从多个异构源。我们将基于排名的表示应用于零样本学习问题，并提出了确定性和概率性的zero-shot分类器，可以从预先训练的分类器中构建，而无需重新训练。我们在两个大型的真实世界图像数据集上展示了它们的优势。特别是，我们表明，聚合不同来源的语义信息，包括众包，导致更准确的分类。
2015-02-27 cs.AI cs.CV cs.LG
Multi-Label Image Classification with Contrastive Learning
Faculty of Information Technology（信息技术学院）；Monash University（莫纳什大学）
近年来，对比学习作为一种学习潜在表征的有效方法，在各个领域都得到了广泛的应用。主动学习在单标签分类中的成功促使我们利用这种学习框架来增强多标签图像分类的独特性，以获得更好的性能。在本文中，我们表明，直接应用对比学习很难提高在多标签的情况下。因此，我们提出了一个新的框架，多标签分类与对比学习在一个完全监督的设置，学习不同的标签的背景下的图像的多个表示。这使得我们的模型能够简单而直观地适应对比学习，以提高其在多标签图像分类中的性能。在两个基准数据集上的大量实验表明，与先进的多标签分类方法相比，所提出的框架实现了最先进的性能。
2021-07-24 cs.CV
Cross-Modality Attention with Semantic Graph Embedding for Multi-Label Classification
Baidu VIS（百度视觉技术部）；Xiamen University（厦门大学）；Tsinghua University（清华大学）
多标签图像和视频分类是计算机视觉中的一个基本而又具有挑战性的任务。主要的挑战在于捕捉标签之间的空间或时间依赖关系，并发现每个类别的判别特征的位置。为了克服这些挑战，我们提出了使用跨模态注意与语义图嵌入多标签分类。基于构造的标签图，我们提出了一种基于邻接的相似图嵌入方法来学习语义标签嵌入，它显式地利用标签关系。然后，我们的新的跨通道注意力地图的指导下，学习的标签嵌入。在两个多标签图像分类数据集（MS-COCO和NUS-WIDE）上的实验表明，该方法优于其他现有的最先进的方法。此外，我们验证了我们的方法在一个大型的多标签视频分类数据集（YouTube-8 M段）和评估结果表明，我们的方法的泛化能力。
2020-03-27 cs.CV
Semi-supervised Ranking for Object Image Blur Assessment
Hikvision Research Institute（海康威视研究院）
评估目标图像的模糊程度对于提高目标识别和检索的性能具有重要意义。主要挑战在于缺乏具有可靠标签和有效学习策略的丰富图像。目前的数据集被标记为有限和混乱的质量级别。为了克服这一限制，我们建议标记成对图像之间的排名关系，而不是它们的质量水平，因为它是更容易为人类标记，并建立一个大规模的真实人脸图像模糊评估数据集与可靠的标签。基于此数据集，我们提出了一种方法来获得模糊分数，只有成对的排名标签作为监督。此外，为了进一步提高性能，我们提出了一种基于四元组排序一致性的自监督方法，以更有效地利用未标记的数据。监督和自监督方法构成最终的半监督学习框架，该框架可以端到端地训练。实验结果证明了该方法的有效性。
2022-07-13 cs.CV
Ranked from Within: Ranking Large Multimodal Models Without Labels
Australian National University；Sydney AI Centre, The University of Sydney；Curtin University；University of \'OBuda
针对无标签下LMM性能排序难题，提出利用模型自身不确定性信号实现无监督排序，经47个SOTA LMM在9个视觉问答基准测试验证，softmax不确定性得分可稳健排序，为无标注场景选模型提供实用方案。
2025-10-03 cs.CV
PercentMatch: Percentile-based Dynamic Thresholding for Multi-Label Semi-Supervised Classification
Northeastern University（东北大学）；Autodesk, Inc.（欧特克公司）
虽然半监督学习（SSL）的许多研究在单标签分类问题上取得了很好的性能，但一个同样重要但尚未探索的问题是如何在多标签分类任务中利用未标记数据的优势。为了将SSL的成功扩展到多标签分类，我们首先通过示例分析来直观地了解多标签分类中存在的额外挑战。在分析的基础上，我们提出了一种基于阈值调整的阈值调整方案--在不损失简单性的情况下，与最近的SSL方法相比，我们在Pascal VOC 2007和MS-COCO数据集上实现了强大的性能。
2022-08-30 cs.CV
A patch-based architecture for multi-label classification from single label annotations
Lectra（力克公司）；Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立理工学院）；CNRS（法国国家科学研究中心）
在本文中，我们提出了一个基于补丁的多标签分类问题的架构，只有一个积极的标签是在图像中观察到的数据集。我们的贡献是双重的。首先，我们介绍了一个轻补丁架构的基础上的注意力机制。接下来，利用补丁嵌入的自相似性，我们提供了一种新的策略来估计负的例子，并处理积极的和未标记的学习问题。实验表明，我们的架构可以从头开始训练，而文献中的相关方法需要在类似数据库上进行预训练。
2022-09-14 cs.CV
Large Loss Matters in Weakly Supervised Multi-Label Classification
Seoul National University（首尔国立大学）；University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；HodooAI Lab（HodooAI实验室）
弱监督多标签分类（WSML）任务是使用每个图像的部分观察标签来学习多标签分类，由于其巨大的注释成本而变得越来越重要。在这项工作中，我们首先将未观察到的标签视为负标签，将WSML任务转换为嘈杂的多标签分类。从这个角度来看，我们经验性地观察到，记忆效果，这是第一次发现在嘈杂的多类设置，也发生在一个多标签设置。也就是说，模型首先学习干净标签的表示，然后开始记忆嘈杂标签。基于这一发现，我们提出了新的方法WSML拒绝或纠正大损失的样本，以防止模型从记忆噪声标签。在没有繁重和复杂的组件的情况下，我们提出的方法在几个部分标签设置上优于以前最先进的WSML方法，包括Pascal VOC 2012，MS COCO，NUSWIDE，CUB和OpenImages V3数据集。各种分析也表明，我们的方法实际上工作得很好，验证了在弱监督多标签分类中正确处理大损失的重要性。我们的代码可在https://github.com/snucml/LargeLossMatters上获得。
2022-06-08 cs.CV
Rank-Consistency Deep Hashing for Scalable Multi-Label Image Search
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
随着散列成为大规模图像检索的一种越来越有吸引力的技术，多标签散列也因其能够利用多层次语义内容的能力而受到越来越多的关注。在本文中，我们提出了一种新的深度哈希方法可扩展的多标签图像搜索。与具有对比度和三重态损失等传统目标的现有方法不同，我们采用排名列表，而不是成对或三重态，为所有样本提供足够的全局监督信息。具体地说，一个新的秩一致性目标被应用到对齐两个空间，原始空间和汉明空间的相似顺序。设计了一个强大的损失函数，对两个空间中语义相似度和汉明距离不匹配的样本进行惩罚。此外，提出了一种多标记softmax交叉熵损失，以提高鉴别能力与一个简洁的公式的导函数。为了操纵不同标签样本的邻域结构，设计了一种多标签聚类损失算法，通过减小样本与其多个对应类中心之间的距离，对相同标签样本的哈希向量进行聚类。在MIRFLICKR-25 K、IAPRTC 12和NUS-WIDE三个公共多标签数据集上的实验结果表明了该方法的有效性。
2021-02-02 cs.CV cs.MM
Superpixelwise Low-rank Approximation based Partial Label Learning for Hyperspectral Image Classification
Southern University of Science and Technology（南方科技大学）；Peng Cheng Laboratory（鹏城实验室）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）
针对高光谱图像分类中标签模糊问题，提出基于超像素低秩近似的部分标签学习方法SLAP，通过标签消歧与判别表示提取提升分类性能，实验验证其优于现有方法。
2024-05-27 cs.AI cs.CV
Self-Calibrating BCIs: Ranking and Recovery of Mental Targets Without Labels
GrizAI University of Glasgow（GrizAI 格拉斯哥大学）；University of Helsinki（赫尔辛基大学）；LUT University University of Copenhagen（LUT 大学 哥本哈根大学）
CURSOR通过自校准方法实现无需标签的思维目标恢复，能预测图像相似度、排名刺激并生成逼真的新刺激。
2025-12-01 cs.CV cs.HC
