Automated Intracranial Artery Labeling using a Graph Neural Network and Hierarchical Refinement
University of Washington（华盛顿大学）
自动标注颅内动脉（ICA）的解剖名称有利于特征提取和颅内血管结构的详细分析。由于自然和病理原因，ICA存在显著变化，这使得自动标记具有挑战性。然而，用于评价解剖标记的现有公共数据集有限。我们构建了一个全面的数据集与729磁共振血管造影扫描，并提出了一个图神经网络（GNN）的方法来标记动脉分类类型的节点和边缘的属性关系图。此外，一个分层细化框架的发展，以进一步改善GNN的输出，以纳入结构和相关知识的ICA。我们的方法实现了97.5%的节点标记的准确性，63.8%的扫描正确标记的所有环威利斯节点，在测试集的105扫描与健康和患病的受试者。这是对现有技术方法的显著改进。自动动脉标记有望最大限度地减少人工描述复杂ICA网络的工作量，并为识别血管疾病的几何风险因素提供有价值的信息。我们的代码和数据集可以在https://github.com/clatfd/GNN-ARTLABEL上找到。
2020-07-11 cs.CV cs.LG eess.IV
Multi-Label Contrastive Learning : A Comprehensive Study
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文系统研究了多标签分类中的对比学习损失，发现其优势来自标签交互建模与鲁棒优化，并在大规模标签数据集上Macro-F1表现突出。
2026-11-10 cs.LG
Deep Learning for Multi-Label Learning: A Comprehensive Survey
University of Bergen（卑尔根大学）；Norwegian University of Science and Technology（挪威科技大学）
本综述全面回顾了深度学习在多标签学习（MLC）中的最新进展，涵盖多种神经网络架构，并总结了现有方法的比较分析及未来的开放研究问题。
2024-06-25 cs.CV cs.LG
Delving into Instance-Dependent Label Noise in Graph Data: A Comprehensive Study and Benchmark
Pohang University of Science（光州科学技术大学）；Korea University（韩国大学）
针对现有图标签噪声研究忽略实例依赖噪声的问题，研究者推出BeGIN基准，含多类真实感噪声图数据集与模拟方法，实验揭示该噪声挑战及节点参数化的作用，为鲁棒GNN研究提供支撑。
2025-06-17 cs.AI cs.LG stat.ML
Self-supervised Learning for Label-Efficient Sleep Stage Classification: A Comprehensive Evaluation
Nanyang Technological University（南洋理工大学）
在过去的几年里，基于EEG的睡眠阶段分类（SSC）的深度学习取得了显着的进步。然而，这些模型的成功归因于拥有大量用于训练的标记数据，限制了它们在现实世界场景中的适用性。在这种情况下，睡眠实验室可以生成大量数据，但标记这些数据可能既昂贵又耗时。最近，自监督学习（SSL）范式已经成为克服标记数据稀缺性的最成功的技术之一。在本文中，我们评估SSL的功效，以提高现有的SSC模型的性能，在少标签制度。我们对三个SSC数据集进行了深入的研究，我们发现，仅用5%的标记数据对预训练的SSC模型进行微调，就可以实现与全标记监督训练相竞争的性能。此外，自我监督的预训练有助于SSC模型对数据不平衡和域转移问题更具鲁棒性。该代码可在https://github.com/emadeldeen24/eval_ssl_ssc上公开获取。
2022-10-10 cs.LG eess.SP
LabelBench: A Comprehensive Framework for Benchmarking Adaptive Label-Efficient Learning
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；University of Washington（华盛顿大学）；Georgia Institute of Technology（佐治亚理工学院）；University of California, Riverside（加州大学河滨分校）
本文提出 LabelBench 框架，联合评估迁移、半监督与主动学习等标签高效技术，并通过视觉 Transformer 微调基准验证其更优标签效率。
2024-03-01 cs.AI cs.CV cs.LG
Comprehensive and Efficient Data Labeling via Adaptive Model Scheduling
University of Science and Technology of China（中国科学技术大学）；Rutgers University（罗格斯大学）
标签数据（例如，标记图像中的人、物体、动作和场景）是一项广泛需要但具有挑战性的任务。许多模型被提出来标记各种数据，许多方法被设计来增强深度学习模型的能力或加速它们。不幸的是，单一的机器学习模型不足以从数据中提取各种语义信息。给定某些应用，例如图像检索平台和相册管理应用，通常需要执行模型集合以获得足够的标签。在有限的计算资源和严格的延迟情况下，给定数据流和一组适用的资源消耗型深度学习模型，我们设计了一种新方法来自适应地调度这些模型的子集对每个数据项执行，旨在最大化模型输出的价值（例如，高置信度标签的数量）。实现这一崇高的目标是不平凡的，因为模型对任何数据项的输出都是依赖于内容的，并且在我们执行之前是未知的。为了解决这个问题，我们提出了一个自适应模型调度框架，包括1）一个基于深度强化学习的方法，通过挖掘不同模型之间的语义关系来预测未执行模型的值，2）两种启发式算法，分别在截止期约束和截止期-内存约束下自适应调度模型执行顺序。所提出的框架不需要任何数据的先验知识，这是对现有模型优化技术的有力补充。我们对五个不同的图像数据集和30个流行的图像标记模型进行了广泛的评估，以证明我们的设计的有效性：我们的设计可以节省约53%的执行时间，而不会丢失任何有价值的标签。
2020-02-08 cs.LG stat.ML
All Mistakes Are Not Equal: Comprehensive Hierarchy Aware Multi-label Predictions (CHAMP)
Google Research India（谷歌印度研究院）
本文考虑层次多标签分类（HMC）问题，其中（i）每个示例可以有多个标签，（ii）标签通过特定于域的层次树相关联。在所有错误都不相等的直觉指导下，我们提出了综合层次感知多标签预测（CHAMP），这是一个根据层次树的严重程度惩罚错误预测的框架。虽然已经有作品将这样的想法应用于单标签分类，但据我们所知，对于多标签分类，专注于错误严重性的此类作品有限。关键原因是，在多标签环境中，没有明确的方法来量化先验错误预测的严重程度。在这项工作中，我们提出了一个简单但有效的指标来量化HMC中错误的严重程度，自然导致CHAMP。在六个公共HMC数据集上进行的广泛实验（图像，音频和文本）表明，结合分层信息会带来实质性的收益，因为CHAMP改善了AUPRC（2.6%的中位数百分比改善）和分层指标（2.85%的中位数百分比改善），超过了独立的分层或多标签分类方法。与标准多标签基线相比，CHAMP在稳健性（平均百分比改善8.87%）和更少的数据机制方面提供了改进的AUPRC。此外，我们的方法提供了一个框架，以提高现有的多标签分类算法更好的错误（18.1%的平均百分比增量）。
2022-06-17 cs.AI cs.CV cs.LG
Predicting COVID-19 Patient Shielding: A Comprehensive Study
University of Waikato（怀卡托大学）
机器学习和大数据分析可用于抗击COVID-19大流行病，包括预测、风险管理、诊断和预防。这项研究的重点是预测COVID-19患者屏蔽-识别和保护临床上极易受到冠状病毒感染的患者。本研究的重点是用于医学文本的多标签分类技术。利用英国NHS和世界卫生组织发布的信息，我们提出了一种新的方法来预测COVID-19患者屏蔽作为一个多标签分类问题。我们使用公开的、去识别的ICU医疗文本数据进行实验。这些标签来自已发布的COVID-19患者屏蔽数据。我们提出了一个广泛的比较12个多标签分类器从简单的二进制相关的神经网络和最新的Transformers。据我们所知，这是第一次全面的研究，在这样一个范围内的多标签分类器的医疗文本被认为是。我们强调了各种方法的好处，并认为，对于手头的任务，预测精度和处理时间都是必不可少的。
2021-10-01 cs.AI cs.LG
Comprehensive Attention Self-Distillation for Weakly-Supervised Object Detection
Carnegie Mellon University（卡内基梅隆大学）
弱监督目标检测（WSOD）已经成为一种有效的工具，训练对象检测器使用的图像级类别标签。然而，如果没有对象级别的标签，WSOD检测器很容易检测到显着的对象，聚类对象和歧视性的对象部分的边界框。此外，图像级类别标签不强制跨相同图像的不同变换的一致的目标检测。针对上述问题，我们提出了一个全面的注意力自我蒸馏（CASD）训练方法的WSOD。为了平衡所有对象实例之间的特征学习，CASD计算从相同图像的多个变换和特征层聚合的综合注意力。为了对对象进行一致的空间监督，CASD在WSOD网络上进行自蒸馏，使得综合注意力同时由相同图像的多个变换和特征层来近似。CASD在PASCAL VOC 2007/2012和MS-COCO等标准基准上生成最新的WSOD结果。
2020-10-22 cs.CV cs.LG
Contrastive Learning Meets Pseudo-label-assisted Mixup Augmentation: A Comprehensive Graph Representation Framework from Local to Global
School of Information Science and Technology, Beijing University of Technology（北京工业大学信息科学与技术学院）；The University of Sydney Business School, The University of Sydney（悉尼大学商学院）；College of Information Science and Technology, Beijing University of Chemical Technology（北京化工大学信息科学与技术学院）
针对现有GNN忽略全局消息传递导致局部与全局信息缺乏协同的问题，提出ComGRL框架，通过图对比学习、多头自注意力及伪标签辅助的Mixup增强实现局部到全局的协同表示学习，在节点分类任务中表现优异。
2025-01-30 cs.LG
SoK: A Comprehensive Analysis of the Current Status of Neural Tangent Generalization Attacks with Research Directions
University of South Florida（佛罗里达州立大学）
本文对神经切线泛化攻击的最新状态进行全面分析，探讨其攻击分类、黑盒攻击分类及改进方法，指出NTGA的脆弱性及未来研究方向。
2026-05-12 cs.LG
Comprehensive Comparative Study of Multi-Label Classification Methods
Technical University Berlin（柏林工业大学）；Jožef Stefan Institute（约瑟夫·斯特凡研究所）；Jožef Stefan International Postgraduate School（约瑟夫·斯特凡国际研究生院）；University of Ljubljana（卢布尔雅那大学）；Faculty of Public Administration, University of Ljubljana（卢布尔雅那大学公共管理学院）；Bias Variance Labs, d.o.o.（Bias Variance Labs有限责任公司）
多标签分类（MLC）最近受到机器学习社区越来越多的关注。一些研究提供了MLC的方法和数据集的审查，一些提供了MLC方法的经验比较。然而，它们在所考虑的方法和数据集的数量上是有限的。这项工作提供了一个全面的实证研究，广泛的MLC方法对来自各个领域的大量数据集。更具体地说，我们的研究使用20个评估指标在42个基准数据集上评估了26种方法。所采用的评价方法坚持设计和执行大规模，时间预算的实验研究的最高文献标准。首先，根据社区的使用情况选择方法，确保方法在MLC方法分类和不同基础学习器中的表示。其次，数据集涵盖了广泛的复杂性和应用领域。所选择的评估措施评估的预测性能和效率的方法。分析结果表明，RFPCT、RFDTBR、ECCJ 48、EBRJ 48和AdaBoostMH是性能指标范围内的最佳性能方法。无论何时引入一种新方法，都应将其与根据不同评价标准确定的MLC方法的不同子集进行比较。
2021-02-16 cs.AI cs.CC cs.LG
Nervus: A Comprehensive Deep Learning Classification, Regression, and Prognostication Tool for both Medical Image and Clinical Data Analysis
Osaka Metropolitan University（大阪公立大学）；Smart Life Science Lab, Center for Health Science Innovation, Osaka Metropolitan University（大阪公立大学健康科学创新中心智能生命科学实验室）
我们研究的目标是创建一个全面而灵活的库，易于用于医学成像研究，并能够处理灰度图像，多输入（图像和表格数据）和多标签任务。我们把它命名为神经。基于PyTorch库，它适合用于研究目的的AI，我们创建了一个由四部分组成的模型来处理全面的输入和输出。神经由四部分组成。首先是数据加载器，然后是特征提取器，特征混合器，最后是分类器。数据加载器对输入数据进行预处理，特征提取器提取训练数据和地面真值标签之间的特征，特征混合器混合提取器的特征，分类器基于任务对来自特征混合器的输入数据进行分类。我们创建了Nervus，这是一个全面而灵活的模型库，易于用于医学成像研究，可以处理灰度图像，多输入和多标签任务。这将有助于放射学领域的研究人员。
2022-12-12 cs.CV cs.LG eess.IV
Adapting Vision-Language Models Without Labels: A Comprehensive Survey
ETH Zürich（苏黎世联邦理工学院）；University of Science and Technology of China（中国科学技术大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；EPFL（苏黎世联邦理工学院）
本文提出了一种基于无标注视觉数据可用性及性质的分类法，将无监督视觉-语言模型适配方法分为无数据迁移、无监督域迁移、情景式测试时适配和在线测试时适配四类，并系统分析了各范式的方法、基准与未来方向。
2025-08-07 cs.AI cs.CV cs.LG
A Comprehensive Benchmark Framework for Active Learning Methods in Entity Matching
Arizona State University（亚利桑那州立大学）；IBM Research, Almaden（IBM阿尔马登研究中心）
实体匹配（Entity Matching，EM）是一个核心的数据清理任务，旨在识别同一真实世界实体的不同提及。主动学习是一种解决实践中缺乏标记数据的挑战的方法，它通过动态收集要由Oracle标记的必要示例并在其上改进学习的模型（分类器）。在本文中，我们建立了一个统一的主动学习基准框架EM，允许用户轻松地结合不同的学习算法与适用的例子选择算法。该框架的目标是为从业人员提供具体的指导方针，说明什么样的主动学习组合对EM有效。为此，我们对来自产品和出版物领域的公开EM数据集进行全面的实验，以评估主动学习方法，使用各种指标，包括EM质量，#标签和示例选择延迟。我们最令人惊讶的结果发现，具有较少标签的主动学习可以学习与监督学习相当质量的分类器。事实上，对于几个数据集，我们证明了有一种主动学习组合可以击败最先进的监督学习结果。我们的框架还包括新的优化，将学习模型的质量提高了大约9%（F1分数），并将示例选择延迟减少了10倍，而不会影响模型的质量。
2020-03-29 cs.DB cs.LG
Zero-shot and Few-shot Learning with Knowledge Graphs: A Comprehensive Survey
University of Oxford（牛津大学）；Zhejiang University（浙江大学）；The University of Edinburgh（爱丁堡大学）
机器学习，特别是深度神经网络已经取得了巨大的成功，但其中许多往往依赖于大量的标记样本进行监督。由于足够的标记训练数据并不总是准备好的，例如，在现实世界的应用中，不断出现的预测目标和昂贵的样本注释，样本短缺的机器学习现在被广泛研究。在所有这些研究中，许多人倾向于利用辅助信息，包括知识图（KG）的形式，以减少对标记样本的依赖。在这次调查中，我们全面回顾了90多篇关于KG感知研究的论文，其中包括两个主要的样本短缺设置-零次学习（Zero-shot learning，简称ZRL），其中一些要预测的类没有标记样本，以及少样本学习（few-shot learning，简称FSL），其中一些要预测的类只有少量可用的标记样本。本文首先介绍了知识库及其构造方法，然后对知识库感知的知识库方法进行了系统的分类和总结，将其分为基于映射的知识库方法、基于数据增强的知识库方法、基于传播的知识库方法和基于优化的知识库方法。接下来，我们介绍不同的应用程序，不仅包括KG增强预测任务，如图像分类，问答，文本分类和知识提取，而且KG完成任务，以及每个任务的一些典型的评估资源。最后，我们从不同的角度讨论了一些挑战和开放的问题。
2022-12-03 cs.AI cs.LG
Few-Shot Named Entity Recognition: A Comprehensive Study
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft（微软）
本文提出了一个全面的研究，以有效地建立命名实体识别（NER）系统时，少量的领域内标记的数据是可用的。基于最近的基于transformer的自监督预训练语言模型（PLM），我们研究了三种正交方案来提高Few-Shot设置的模型泛化能力：（1）元学习来构建不同实体类型的原型，（2）在有噪声的Web数据上进行监督预训练以提取实体相关的通用表示，以及（3）自我训练以利用未标记的域内数据。还考虑了这些方案的不同组合。我们对10个公共NER数据集进行了广泛的实证比较，这些数据集具有不同比例的标记数据，为未来的研究提供了有用的见解。我们的实验表明，（i）在少样本学习设置中，所提出的NER方案显着改善或优于常用的基线，基于PLM的线性分类器在域标签上进行了微调;（ii）与现有方法相比，我们在Few-Shot和无训练设置上创建了新的最先进的结果。我们将发布我们的代码和预训练模型，用于可重复的研究。
2020-12-29 cs.CL cs.IR cs.LG
FedNoisy: Federated Noisy Label Learning Benchmark
University of Michigan（密歇根大学）；Artifical Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与产业研究院）；Michigan State University（密歇根州立大学）
本研究推出首个标准化联邦噪声标签学习基准FedNoisy，涵盖6个数据集的20种基础设置、标准化模拟流程及9种基线实现，通过全面实验为该领域方法开发提供参考与验证支持。
2025-02-22 cs.AI cs.LG
NTDH: Complex Reasoning for Comprehensive Affective Analysis
Columbia University（哥伦比亚大学）；The University of Manchester（曼彻斯特大学）
针对综合情感分析的挑战，提出NTDH方法，通过自然化、感知容差门等策略，在少数据量下提升性能，获最优EI-reg结果。
2026-08-10 cs.CL cs.LG
CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems
Huawei Technologies Co., Ltd.（华为技术有限公司）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
由于面向任务的对话（ToD）系统中不同模块的标记成本很高，实际上的主要挑战是用最少的标记数据学习不同的任务。最近，基于预训练语言模型（PLM）的提示方法在ToD中的少样本学习方面显示出了有希望的结果。为了更好地利用PLM的力量，本文提出了综合指令（CINS），利用PLM与额外的任务特定的指令。我们设计了一个模式（定义，约束，提示）的指令和他们的定制实现的三个重要的下游任务在ToD，即意图分类，对话状态跟踪，和自然语言生成。采用序列到序列模型（T5）在统一的框架中解决这三个任务。在这些ToD任务上进行了大量的实验，在现实的少样本学习场景中，小验证数据。实证结果表明，所提出的CINS方法不断提高技术，微调PLM与原始输入或短提示。
2022-03-21 cs.CL cs.LG
Multi-Class, Multi-Tier Network Intrusion Detection: A Comprehensive and Reproducible Benchmark
RENCI, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校文艺复兴计算研究所）；Fordham University（福特汉姆大学）
本文提出一个全面且可复现的网络入侵检测基准，修正了CIC-IDS2017的标注错误，在三个嵌套级别评估多种模型，软投票集成达到最优细粒度宏F1 0.955，并提供开源可配置流程。
2026-09-30 cs.CR cs.LG
MTOP: A Comprehensive Multilingual Task-Oriented Semantic Parsing Benchmark
Facebook（脸书）
由于缺乏可用的数据集，将面向任务的对话系统的语义解析模型扩展到新的语言通常是昂贵且耗时的。现有的数据集有几个缺点：a）它们包含很少的语言b）它们包含少量的每种语言的标记示例c）它们基于非组合查询的简单意图和槽检测范式。在本文中，我们提出了一个新的多语言数据集，称为MTOP，包括10万注释话语6种语言在11个领域。我们使用这个数据集和其他公开可用的数据集，对使用各种最先进的多语言预训练模型进行面向任务的语义解析进行全面的基准测试研究。对于两个现有的多语言数据集，我们在Slot F1上实现了+6.3点的平均改进，超过了他们实验中报告的最佳结果。此外，我们展示了强大的zero-shot性能，使用预训练模型结合自动翻译和对齐，并提出了远程监督方法，以减少槽标签投影中的噪声。
2021-01-27 cs.CL cs.LG
Rethinking Weak Supervision in Anomaly Detection: A Comprehensive Benchmark
Shanghai University of Finance and Economics（上海金融学院）；Ant Group（蚂蚁集团）；Key Laboratory of Interdisciplinary Research of Computation and Economics（计算与经济交叉学科重点实验室）
提出WSADBench，首个统一评估不完全、不精确和不准确三种弱监督异常检测场景的基准，通过系统变化标签数量、粒度和质量，揭示36种算法在4种模态上的性能边界，并发现弱监督场景间存在强相关性、专用WSAD算法仅在极端标签稀缺时占优等关键洞察。
2026-05-30 cs.AI cs.LG
How Many Validation Labels Do You Need? Exploring the Design Space of Label-Efficient Model Ranking
HKUST (GZ)（香港科技大学（广州））；University of Washington（华盛顿大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出LEMR框架和MoraBench基准，通过策略性标注未标记验证集实例实现标签高效的模型选择，在23个NLP任务上显著降低标注成本，为资源受限环境提供经济准确的解决方案。
2024-02-17 cs.LG
WRENCH: A Comprehensive Benchmark for Weak Supervision
Microsoft Research Asia（微软亚洲研究院）；University of Washington（华盛顿大学）；Georgia Institute of Technology（佐治亚理工学院）
最近的弱监督（WS）方法通过合成来自多个潜在噪声监督源的标签，在缓解标记机器学习的训练数据的瓶颈方面取得了广泛的成功。然而，对这些方法进行适当的衡量和分析仍然是一个挑战。首先，现有作品中使用的数据集通常是私有和/或自定义的，限制了标准化。其次，具有相同名称和基础数据的WS数据集通常在标签和使用的弱监督源方面有所不同，这是评估方差的一个重要“隐藏”来源。最后，WS研究通常在评价方案和所用消融方面存在分歧。为了解决这些问题，我们引入了一个基准平台，扳手，彻底和标准化的WS方法的评估。它由22个用于分类和序列标记的不同真实世界数据集组成;一系列真实的，合成的和程序生成的弱监督源;以及用于WS评估的模块化，可扩展的框架，包括流行WS方法的实现。我们使用WRENCH对120多种方法变体进行了广泛的比较，以证明其作为基准平台的有效性。该代码可在https://github.com/JieyuZ2/wrench上获得。
2021-10-11 cs.AI cs.CL cs.LG
GraphGen: A Scalable Approach to Domain-agnostic Labeled Graph Generation
Indian Institute of Technology, Delhi（德里印度理工学院）
图生成模型在数据采掘文献中得到了广泛的研究。虽然传统的技术是基于生成遵循预定分布的结构，但最近的技术已经转向直接从数据中学习这种分布。虽然以学习为基础的方法大大提高了质量，但仍有一些局限性有待解决。首先，学习图分布引入了额外的计算开销，这限制了它们对大型图数据库的可扩展性。其次，许多技术只学习结构，而不解决学习节点和边标签的需要，这些标签编码重要的语义信息并影响结构本身。第三，现有的技术往往包含特定领域的规则，缺乏普遍性。第四，现有技术的实验不够全面，因为使用的评估指标较弱，或者主要集中在合成或小数据集上。在这项工作中，我们开发了一种名为GraphGen的领域不可知技术来克服所有这些限制。GraphGen使用最少的DFS代码将图形转换为序列。最小DFS代码是规范的标签，并精确地捕获图结构以及标签信息。结构和语义标签之间的复杂联合分布是通过一种新的LSTM架构来学习的。在数百万大小的真实图形数据集上进行的大量实验表明，GraphGen的平均速度比最先进的技术快4倍，同时在11个不同指标的综合集合中质量明显更好。我们的代码发布在https://github.com/idea-iitd/graphgen。
2020-04-08 cs.LG stat.ML
Land Cover Mapping in Limited Labels Scenario: A Survey
University of Minnesota（明尼苏达大学）；University of Pittsburgh（匹兹堡大学）
土地覆盖物测绘对于监测全球环境变化和管理自然资源至关重要。不幸的是，传统的分类模型受到现有土地覆盖产品中有限的训练数据以及空间和时间上的数据异质性的困扰。在这次调查中，我们提供了一个结构化的和全面的概述，在土地覆盖制图和机器学习方法来解决这些问题的挑战。我们还讨论了在这个有前途的方向推进研究存在的差距和机会。
2021-09-14 cs.CV cs.LG
The Emerging Trends of Multi-Label Learning
Wuhan University（武汉大学）；Zhejiang University（浙江大学）；Nanjing University of Science and Technology（南京理工大学）；University of Technology Sydney（悉尼科技大学）
人类每天都会产生大量的数据，这使得人们越来越需要做出新的努力来应对大数据带来的多标签学习的巨大挑战。例如，极端多标签分类是一个活跃且快速增长的研究领域，它处理具有极其大量类别或标签的分类任务;利用有限监督的海量数据来构建多标签分类模型对于实际应用等变得有价值。除此之外，在如何收获深度学习的强学习能力以更好地捕获多标签学习中的标签依赖性方面存在巨大的努力，这是深度学习解决现实世界分类任务的关键。然而，值得注意的是，一直缺乏系统的研究，明确集中在分析大数据时代多标签学习的新趋势和新挑战。为了完成这一使命，必须进行全面的调查，并确定未来的研究方向和新的应用。
2021-11-17 cs.LG
A Systematic Literature Review on Multi-label Data Stream Classification
University of Porto - INESC TEC（波尔图大学 - INESC TEC）；University of Texas at Dallas - UTD（德克萨斯大学达拉斯分校）
针对多标签数据流分类面临的动态环境问题，本综述深入分析相关方案，刻画最新方法、构建层次结构、探讨问题应对方式，还分析评估策略与复杂度等，指出研究空白并给出未来方向建议。
2025-08-24 cs.LG
Multi-Label Transfer Learning in Non-Stationary Data Streams
Insight Centre for Data Analytics, School of Computer Science, University College Dublin, Ireland（数据分析洞察中心、计算机科学学院、都柏林大学学院，爱尔兰）；School of Computer Science, University of Birmingham, United Kingdom（计算机科学学院、伯明翰大学，英国）；School of Computing and Mathematical Sciences, University of Leicester, United Kingdom（计算与数学科学学院、莱斯特大学，英国）
针对非平稳多标签数据流中的概念漂移，提出BR-MARLENE和BRPW-MARLENE两种迁移学习方法，通过标签间知识及成对依赖迁移，在实验中优于现有方法。
2025-09-09 cs.AI cs.LG
Extended T: Learning with Mixed Closed-set and Open-set Noisy Labels
University of Sydney（悉尼大学）；Hong Kong Baptist University（香港浸会大学）；Xidian University（西安电子科技大学）；Imperial College London（帝国理工学院）；Meituan（美团）
标签噪声转移矩阵$T$反映了真实标签转变为噪声标签的概率，对于标签噪声建模和统计一致性分类器的设计具有重要意义。传统的转移矩阵仅限于对闭集标签噪声进行建模，其中有噪声的训练数据在有噪声的标签集中具有真实的类别标签。它是不适合采用这样的转移矩阵模型开集标签噪声，其中一些真正的类标签是在嘈杂的标签集。因此，当考虑更现实的情况时，即，出现闭集和开集标签噪声，现有方法将不期望地给出有偏差的解决方案。此外，传统的转移矩阵仅限于模型实例无关的标签噪声，这可能在实践中表现不佳。本文主要研究闭集和开集混合标签噪声下的学习问题。我们通过扩展传统的转移矩阵来解决上述问题，使其能够对混合标签噪声进行建模，并进一步扩展到依赖于集群的转移矩阵，以更好地近似现实世界应用中的依赖于实例的标签噪声。我们提出的过渡矩阵集群相关的扩展转移矩阵。无偏估计器（即，扩展的$T$ -估计器）已经被设计成仅通过利用噪声数据来估计依赖于簇的扩展转移矩阵。综合的合成和真实实验验证了该方法可以更好地建模混合标签噪声，具有比现有的最先进的标签噪声学习方法更强大的性能。
2020-12-02 cs.LG
Comprehensive Benchmarking of Entropy and Margin Based Scoring Metrics for Data Selection
Alexa AI (Amazon)（亚马逊Alexa人工智能部门）
本文针对低资源语言工业场景，提出用熵和EL2N分数评估样本难度与有用性，从弱信号标注数据中筛选高质量训练集，实验表明相比随机选择可显著降低语义错误率和领域分类错误率。
2023-11-27 cs.CL cs.LG
LLM-Enhanced Log Anomaly Detection: A Comprehensive Benchmark of Large Language Models for Automated System Diagnostics
Department of Computer Science（计算机科学系）；California State University, Fullerton（加州州立大学弗雷斯诺分校）
本文通过四个公开数据集评估了基于大语言模型和传统方法的日志异常检测，发现微调的Transformer模型在F1分数上表现最佳，而基于提示的LLM在零样本设置中展现出显著优势，且无需标注数据。
2026-04-14 cs.LG cs.SE
Addressing Imbalance in Multi-Label Data via Label-Specific Distance-based Oversampling
Key Laboratory of Data Engineering and Visual Computing, Chongqing University of Posts and Telecommunications, China（数据工程与视觉计算重点实验室，重庆邮电大学，中国）；School of Computer Science and Technology, Chongqing University of Posts and Telecommunications, China（计算机科学与技术学院，重庆邮电大学，中国）；State Key Laboratory of Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国）；School of Informatics, Aristotle University of Thessaloniki, Greece（信息学院，希腊阿尔蒂米斯大学）
针对多标签分类中的标签不平衡问题，提出基于标签特定距离的过采样方法LSDMLO，通过加权相关特征空间识别标签一致邻居，生成更有效的合成实例，实验表明优于现有方法。
2026-06-04 cs.LG
Exploring the Numerical Reasoning Capabilities of Language Models: A Comprehensive Analysis on Tabular Data
University of Pennsylvania（宾夕法尼亚大学）；University of Utah（犹他大学）；Meesho
该研究提出涵盖四类十余种推理类型的数值推理层级分类体系，以TNLI任务为案例半自动化构建探测集评估前沿模型，发现无模型全能，FlanT5与GPT-3.5整体表现更优，且模型常利用数据集偏差预测标签。
2023-11-03 cs.CL cs.LG
REMEDI: A Benchmark for Retention and Unlearning Evaluation in Multi-label Clinical Disease Inference
IIT Kharagpur（印度理工学院Kharagpur分校）；Carnegie Mellon University（卡内基梅隆大学）；L3S Research Center, Leibniz University Hannover（Leibniz汉诺威大学L3S研究中心）
提出REMEDI基准，针对多标签临床疾病推断中的机器遗忘问题，利用MIMIC-III数据库评估现有方法在效用与遗忘性能间的权衡，并发现其不适用于多标签任务。
2026-06-05 cs.AI cs.LG
Learning Discriminative Dynamics with Label Corruption for Noisy Label Detection
POSTECH（浦项科技大学）；Yonsei University（延世大学）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出DynaCor框架，通过引入标签腐败策略扩充数据集并利用训练动力学潜在表示形成可分簇，有效检测噪声标签，提升了对多种噪声类型和噪声率的鲁棒性。
2024-05-30 cs.LG stat.ML
DeePKS: a comprehensive data-driven approach towards chemically accurate density functional theory
Princeton University（普林斯顿大学）；Institute of Applied Physics and Computational Mathematics（北京应用物理与计算数学研究所）
我们提出了一个通用的基于机器学习的框架内建立一个准确的和广泛适用的能量泛函广义Kohn-Sham密度泛函理论的框架。为此，我们开发了一种训练自洽模型的方法，这些模型能够从不同的系统和不同类型的标签中获取大型数据集。我们证明，从这个训练过程中得到的功能，给出了化学准确的预测能量，力，偶极子，和电子密度为一大类分子。当有越来越多的数据可用时，它可以不断改进。
2020-12-10 cs.LG physics.chem-ph physics.comp-ph
Contrastive Representations for Label Noise Require Fine-Tuning
Orange Labs（Orange实验室）；AgroParisTech（巴黎高科农业学院）
在本文中，我们表明，对比表示与标签噪声鲁棒分类头的组合需要微调表示，以实现最先进的性能。由于微调表示优于冻结的，可以得出结论，噪声鲁棒的分类头确实能够促进有意义的表示，如果提供一个合适的起点。进行实验，以绘制一个全面的图片的性能，具有六种方法和九个噪声的情况下，三种不同的（无，对称，不对称）。实验结果表明，在存在噪声的情况下，对比表示的微调使得这六种方法比端到端学习获得了更好的结果，并代表了一种新的参考。
2021-08-20 cs.CV cs.LG
Learning with Imbalanced Noisy Data by Preventing Bias in Sample Selection
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；Terminus Group（特步集团）；School of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院）
针对类别不平衡数据集中噪声标签导致基于损失的样本选择失效的问题，提出CBS、CSA方法并结合预测历史纠正标签与ACM指标，有效提升了模型在不平衡噪声场景下的性能。
2024-02-17 cs.AI cs.LG
Transfer Learning for Future Wireless Networks: A Comprehensive Survey
University of Technology Sydney（悉尼科技大学）；Pusan National University（釜山国立大学）；Nanyang Technological University（南洋理工大学）
凭借出色的功能，机器学习（ML）已成为无线网络中众多应用的支柱。然而，传统的ML方法在实际实现中面临着许多挑战，例如缺乏标记数据，不断变化的无线环境，训练过程长，以及无线设备容量有限。如果这些挑战得不到解决，将阻碍ML在未来无线网络中的有效性和适用性。为了解决这些问题，迁移学习（TL）最近出现了一个非常有前途的解决方案。TL的核心思想是利用和综合从类似任务中提炼出来的知识，以及从过去积累的宝贵经验，以促进新问题的学习。这样，TL技术可以减少对标记数据的依赖，提高学习速度，并增强ML方法对不同无线环境的鲁棒性。本文旨在对TL在无线网络中的应用进行全面的调查。特别是，我们首先提供了一个概述，包括正式的定义，分类，和各种类型的TL技术。然后，我们讨论了不同的TL方法提出解决无线网络中出现的问题。这些问题包括频谱管理、定位、信号识别、安全性、人类活动识别和缓存，这些都对5G等下一代网络非常重要。最后，我们强调了重要的挑战，开放的问题，和未来的研究方向TL在未来的无线网络。
2021-08-08 cs.LG cs.NI
Explaining the Performance of Multi-label Classification Methods with Data Set Properties
Jožef Stefan Institute（约瑟夫·斯特凡研究所）；Jožef Stefan IPSchool（约瑟夫·斯特凡知识产权学院）；Faculty of Mathematics and Physics, University of Ljubljana（卢布尔雅那大学数学与物理学院）；TU Berlin（柏林工业大学）；Bias Variance Labs（偏差方差实验室）
元学习概括了不同学习任务的经验，并有望为机器学习算法的行为提供重要的经验见解。在本文中，我们提出了一个全面的元学习研究的数据集和方法的多标签分类（MLC）。MLC是一个实际相关的机器学习任务，其中每个示例同时标记有多个标签。在这里，我们分析了40 MLC数据集，使用50 Meta功能描述不同属性的数据。这项研究的主要结果如下。首先，描述MLC数据集的空间的最突出的Meta特征是评估标签空间的不同方面的元特征。其次，Meta模型表明，最重要的Meta特征描述了标签空间，并且，描述标签之间关系的Meta特征往往比描述单个标签之间和内部分布的Meta特征更频繁地出现。第三，超参数的优化可以提高预测性能，然而，通常情况下，改进的程度并不总是合理的资源利用。
2021-06-28 cs.AI cs.LG
A Comprehensive Survey of Deep Transfer Learning for Anomaly Detection in Industrial Time Series: Methods, Applications, and Directions
Centre for Artificial Intelligence（人工智能中心）；ZHAW School of Engineering（苏黎世应用科技大学工程学院）；Institute of Embedded Systems（嵌入式系统研究所）；Kistler Instrumente AG（奇石乐仪器股份公司）；Institute of Neuroinformatics（神经信息学研究所）；ETH & University of Zürich（苏黎世联邦理工学院与苏黎世大学）；ZHAW Centre for Artificial Intelligence（苏黎世应用科技大学人工智能中心）；European Centre for Living Technology (ECLT)（欧洲活技术中心（ECLT））
本文系统综述了深度迁移学习在工业时间序列异常检测中的问题设定、方法分类、应用场景及挑战，并提出了面向动态生产环境的实用方向与建议。
2024-01-10 cs.AI cs.LG
Learning Label Modular Prompts for Text Classification in the Wild
Nanyang Technological University（南洋理工大学）；Salesforce Research（赛富时研究院）
机器学习模型通常在训练和测试过程中假设i.i.d数据，但现实世界中的数据和任务经常随时间而变化。为了模拟现实世界的瞬态性质，我们提出了一个具有挑战性但实际的任务：野外文本分类，它引入了不同的非平稳训练/测试阶段。将复杂任务分解为模块化组件可以在这种非静态环境下实现鲁棒的泛化。然而，当前NLP中的模块化方法没有利用预训练语言模型的参数有效调整的最新进展。为了缩小这一差距，我们提出了MODULARPROMPT，标签模块化的文本分类任务的提示微调框架。在MODULARPROMPT中，输入提示由一系列软标签提示组成，每个软标签提示编码与相应的类标签相关的模块知识。在两个最令人生畏的设置中，MODULARPROMPT的表现大大优于相关基线，表现出强大的泛化能力。我们还进行了全面的分析，以验证是否学到的提示满足模块化表示的属性。
2022-12-05 cs.AI cs.LG
OpinionRank: Extracting Ground Truth Labels from Unreliable Expert Opinions with Graph-Based Spectral Ranking
Rowan University（罗文大学）
随着更大、更全面的数据集成为当代机器学习的标准，获得可靠、可信的标签信息来训练复杂模型变得越来越困难。为了解决这个问题，众包已经成为一种流行的，廉价的，高效的数据采掘解决方案，用于执行分布式标签收集。然而，众包注释本质上是不可信的，因为标签是由匿名志愿者提供的，他们可能具有不同的、不可靠的专业知识。更糟糕的是，亚马逊Mechanical Turk等常用平台上的一些参与者可能是敌对的，并在最终用户不知情的情况下故意提供不正确的标签信息。我们讨论了三个传统的模型的标签生成过程中，描述其参数化和基于模型的方法来解决它们。然后，我们提出了OpinionRank，一个无模型的，可解释的，基于图形的光谱算法，用于将众包注释集成到可靠的标签中，以执行监督或半监督学习。我们的实验表明，OpinionRank表现良好，与更高度参数化的算法相比。我们还表明，OpinionRank可扩展到非常大的数据集和标签源的数量，并且需要比以前的方法少得多的计算资源。
2021-05-15 cs.AI cs.LG stat.ML
Collaborative Graph Walk for Semi-supervised Multi-Label Node Classification
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Symantec（赛门铁克）
本文提出协作图游走方法Multi-Label-Graph-Walk，利用强化学习精细调整节点嵌入，通过多智能体协作游走捕获标签与结构关系及任务相关性，实现半监督多标签节点分类性能显著提升。
2019-11-17 cs.AI cs.LG stat.ML
Learning from Noisy Labels for Long-tailed Data via Optimal Transport
Beijing University of Posts and Telecommunications（北京邮电大学）
本文针对长尾分布与噪声标签并存的数据，提出损失-距离交叉选择模块结合最优传输生成伪标签的半监督方法，有效提升模型鲁棒性并超越现有最优方法。
2024-08-07 cs.AI cs.LG
Context-Based Semantic-Aware Alignment for Semi-Supervised Multi-Label Learning
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
本文针对半监督多标签学习问题，提出基于上下文的语义感知对齐方法，利用视觉-语言模型知识提取标签特定图像特征并设计半监督上下文识别辅助任务，以生成高质量伪标签并增强特征表示。
2024-12-25 cs.CV cs.LG
Regretful Decisions under Label Noise
University of Toronto（多伦多大学）；UC Santa Cruz（加州大学圣克鲁兹分校）；Harvard SEAS（哈佛大学工程与应用科学学院）；UC San Diego（加州大学圣地亚哥分校）
本文研究标签噪声导致的个体层面未预见错误，提出遗憾概念并通过无噪数据集的合理实现估计个人错误风险，在临床预测任务中验证其可提升可靠性。
2025-06-08 cs.LG stat.ML
A Comprehensive Approach to Unsupervised Embedding Learning based on AND Algorithm
KAIST（韩国科学技术院）；National Cheng Kung University（国立成功大学）；Institute for Basic Science（基础科学研究所）
无监督嵌入学习旨在从数据中提取良好的表示，而不需要任何人工标签，这一直是许多监督学习任务的关键挑战。本文提出了一种新的无监督嵌入方法，称为Super-AND，它扩展了当前最先进的模型。Super-AND具有其独特的损失集，可以在低密度空间内收集附近的相似样本，同时保持不变的特征不受数据增强的影响。Super-AND优于所有现有的方法，并在CIFAR-10的图像分类任务上实现了89.2%的准确率。我们讨论了这种方法在协助半监督任务的实际意义。
2020-02-26 cs.CV cs.LG stat.ML
Learning from Noisy Labels with Deep Neural Networks: A Survey
NAVER AI Lab（NAVER人工智能实验室）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
在大量大数据的帮助下，深度学习在许多领域取得了显著的成功。然而，数据标签的质量是一个问题，因为在许多现实场景中缺乏高质量的标签。由于噪声标签严重降低了深度神经网络的泛化性能，从噪声标签中学习（鲁棒训练）正在成为现代深度学习应用中的重要任务。在本调查中，我们首先从监督学习的角度描述了带有标签噪声的学习问题。接下来，我们对62种最先进的鲁棒训练方法进行了全面的回顾，所有这些方法都根据其方法学差异分为五组，然后对用于评估其优越性的六个属性进行了系统比较。随后，我们对噪声率估计进行了深入的分析，并总结了通常使用的评估方法，包括公共噪声数据集和评估指标。最后，我们提出了几个有前途的研究方向，可以作为未来研究的指导方针。所有的内容都可以在https://github.com/songhwanjun/Awesome-Noisy-Labels上找到。
2022-03-10 cs.CV cs.LG stat.ML
Context-based Virtual Adversarial Training for Text Classification with Noisy Labels
ShinhanCard（新韩卡公司）；Deargen Inc.（Deargen公司）；GC Company（GC公司）
深度神经网络（DNN）具有很高的能力，可以在足够的训练时间内完全记忆噪声标签，不幸的是，它的记忆会导致性能下降。最近，虚拟对抗训练（VAT）引起了人们的关注，因为它可以进一步提高DNN在半监督学习中的泛化能力。VAT背后的驱动力是通过强制输入和扰动输入之间的一致性来防止模型过度拟合数据点。这种策略可以帮助从噪声标签中学习，如果它阻止神经模型学习噪声样本，同时鼓励模型泛化干净样本。在本文中，我们提出了基于上下文的虚拟对抗训练（ConVAT），以防止文本分类器过度拟合噪声标签。与以前的工作不同，所提出的方法在上下文级别而不是输入级别执行对抗训练。它使分类器不仅学习它的标签，而且学习它的上下文邻居，这通过保留每个数据点上的上下文语义来简化对噪声标签的学习。我们进行了广泛的实验，四个文本分类数据集与两种类型的标签噪声。综合实验结果清楚地表明，所提出的方法工作得很好，即使在非常嘈杂的设置。
2022-05-29 cs.AI cs.CL cs.LG
Significance Analysis of High-Dimensional, Low-Sample Size Partially Labeled Data
Binghamton University, State University of New York（纽约州立大学宾汉姆顿分校）
分类和聚类都是统计学习中的重要课题。这里的一个自然问题是，预定义的类是否真的彼此不同，或者集群是否真的存在。具体来说，我们可能有兴趣知道由某些类标签定义的两个类（当它们被提供时），或者由聚类算法标记的两个聚类（其中类标签未被提供）是否来自相同的底层分布。虽然对于高维、低样本量的数据来说，这两个问题都是具有挑战性的问题，但最近这两个问题都有了一些发展。然而，当手动将标签放置在观察上的成本很高时，通常只有一小部分类别标签可用。在这篇文章中，我们提出了一个重要性分析方法，这类数据，即部分标记的数据。我们的方法利用了整个数据，并试图测试类的差异，就好像所有的标签都被观察到了一样。仿真结果表明，与忽略标签信息的测试方法相比，该方法在保持规模不变的情况下，提供了更高的功耗。所提出的方法的理论特性进行了研究，重点是高维，低样本量设置。我们的模拟示例有助于理解从标记数据中提取的信息何时以及如何有效。一个真实数据的例子进一步说明了所提出的方法的实用性。
2015-09-21 cs.LG stat.ME stat.ML
