Label-Enhanced Graph Neural Network for Semi-supervised Node Classification
Beihang University（北京航空航天大学）
图神经网络在半监督节点分类中得到了广泛的应用，其关键在于如何充分利用有限但有价值的标签信息。大多数经典的GNN只使用已知的标签来计算输出的分类损失。近年来，已经设计了几种方法来额外地利用输入处的标签。一部分方法通过连接或添加标签的独热编码来增强节点特征，而其他方法通过假设相邻节点倾向于具有相同的标签来优化图结构。为了充分发挥标签的丰富信息，本文提出了一种用于GNN的标签增强学习框架，该框架首先将每个标签建模为类内节点的虚拟中心，然后联合学习节点和标签的表示。我们的方法不仅可以平滑属于同一类的节点的表示，而且还可以显式地将标签语义编码到GNN的学习过程中。此外，训练节点的选择技术，以消除潜在的标签泄漏问题，并保证模型的泛化能力。最后，提出了一种自适应的自训练策略，在模型训练过程中，通过迭代的方式增加训练集，增加更可靠的伪标签，并区分每个伪标签节点的重要性。在真实世界和合成数据集上的实验结果表明，我们的方法不仅可以始终优于最先进的技术，而且还可以有效地平滑类内节点的表示。
2022-12-23 cs.LG
PEARL: Prototype-Enhanced Alignment for Label-Efficient Representation Learning with Deployment-Driven Insights from Digital Governance Communication Systems
Department of Politics and Public Administration（政治与公共行政系）；The University of Hong Kong（香港大学）；Department of Applied Social Sciences（应用社会科学系）；The Hong Kong Polytechnic University（香港理工大学）；School of Physical Science and Technology（物理科学与技术学院）
PEARL通过有限监督对齐嵌入向类原型，提升标签稀缺环境下嵌入几何质量，显著改善最近邻检索性能。
2026-01-24 cs.AI cs.CL cs.IR
Scalable Balanced Training of Conditional Generative Adversarial Neural Networks on Image Data
Oak Ridge National Laboratory（橡树岭国家实验室）；Politecnico di Milano（米兰理工大学）；Anthem, Inc.（Anthem公司）
我们提出了一种分布式方法来训练深度卷积生成对抗性神经网络（DC-CGAN）模型。我们的方法通过根据数据标签划分训练数据来减少生成器和训练器之间的不平衡，并通过执行并行训练来增强可扩展性，其中多个生成器同时训练，其中每个生成器都专注于单个数据标签。在MNIST，CIFAR 10，CIFAR 100和ImageNet 1 k数据集上的初始分数和图像质量方面评估了性能，与训练DC-CGAN的最先进技术相比，显示出显着的改进。在OLCF超级计算机Summit上使用多达1，000个进程和2，000个NVIDIA V100 GPU，在所有四个数据集上实现弱缩放。
2021-02-21 cs.AI cs.CV
Scientific Computing Algorithms to Learn Enhanced Scalable Surrogates for Mesh Physics
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
提出基于域分解的方法扩展MeshGraphNets，在3D网格上训练数百万节点的CFD模拟，并通过高阶数值积分降低误差和训练时间，为实际应用提供可扩展路径。
2023-04-01 cs.LG cs.NA math.NA
Future-as-Label: Scalable Supervision from Real-World Outcomes
Lightning Rod Labs（闪电棒实验室）
通过利用现实结果作为监督信号，Qwen3-32B在现实预测任务中实现了显著的性能提升，其Brier评分提高27%，校准误差减半，并在多个基准测试中超越了参数更大的模型。
2026-01-14 cs.AI cs.LG
A Scalable Curiosity-Driven Game-Theoretic Framework for Long-Tail Multi-Label Learning in Data Mining
Sun Yat-sen University（中山大学）
本文提出了一种基于好奇心驱动的游戏理论框架，用于解决数据挖掘中的长尾多标签学习问题，通过协作机制和好奇心奖励提升模型性能。
2026-02-17 cs.AI cs.LG
Improved Adaptive Algorithm for Scalable Active Learning with Weak Labeler
University of Washington（华盛顿大学）；Meta
使用强标记器和弱标记器的主动学习考虑了一个实际的设置，在该设置中，我们可以使用昂贵但准确的强标记器和由弱标记器提供的不准确但便宜的预测。我们研究这个问题的流设置，其中必须采取的决定\textit{online}。我们设计了一种新的算法模板，弱标签主动覆盖（WL-AC），这是能够鲁棒地利用低质量的弱标签，以降低查询的复杂性，同时保持所需的准确性水平。之前的主动学习算法可以访问弱标签，学习差异分类器，预测弱标签与强标签的不同之处;这需要对差异分类器的可实现性进行强假设（Zhang和Chaudhuri，2015）。WL-AC绕过了这个\textit{realizability}假设，因此适用于许多现实世界的场景，例如随机损坏的弱标签和高维差异分类器家族（\textit{e.g.,}深度神经网络）。此外，WL-AC巧妙地权衡了评估质量与充分利用弱标记器的关系，这允许将任何主动学习策略转换为可以利用弱标记器的策略。我们提供了一个实例化的模板，实现了最佳的查询复杂度为任何给定的弱标签，而不知道其准确性先验。从经验上讲，我们提出了一个WL-AC模板的实例，可以有效地实现大规模模型（\textit{e.g} .，深度神经网络），并通过显着减少标签的数量，同时保持与被动学习相同的准确性，在损坏的MNIST数据集上显示其有效性。
2022-11-04 cs.AI cs.LG
CleanNet: Transfer Learning for Scalable Image Classifier Training with Label Noise
Microsoft AI and Research（微软人工智能与研究院）；JD AI Research（京东人工智能研究院）；Facebook（脸书）
本文研究了带标签噪声的图像分类模型的学习问题。依赖于人类监督的现有方法通常是不可扩展的，因为手动识别正确或不正确的标签是耗时的，而不依赖于人类监督的方法是可扩展的，但效率较低。为了减少标签噪声清理的人工监督量，我们引入了CleanNet，这是一种联合神经嵌入网络，它只需要手动验证一小部分类，就可以提供可以转移到其他类的标签噪声知识。我们进一步将CleanNet和传统的卷积神经网络分类器集成到一个框架中进行图像分类学习。我们证明了该算法的有效性的标签噪声检测任务和图像分类的噪声数据任务上的几个大规模的数据集。实验结果表明，CleanNet可以减少标签噪声检测出错率的保持了类，其中没有人的监督由41.5%相比，目前的弱监督方法。它还实现了47%的性能增益，验证所有图像，只有3.2%的图像验证的图像分类任务。源代码和数据集将在kuanghuei.github.io/CleanNetProject上提供。
2018-03-25 cs.AI cs.CV cs.LG
On a scalable problem transformation method for multi-label learning
Shopify Inc.（Shopify公司）
二进制相关性是解决多标签学习问题的一种简单方法，其中每个标签都构建了一个独立的二进制分类器。在现实世界的应用中，一个常见的挑战是标签空间可能非常大，这使得很难使用二进制相关性来解决更大规模的问题。在本文中，我们提出了一个可扩展的替代方案，通过将多标签问题转化为一个单一的二进制分类。我们的方法的几个变化进行了实验，并表明我们的方法实现了更高的精度比二进制相关性和更快的执行时间上的前K推荐系统任务。
2019-05-27 cs.IR cs.LG
Convex and Scalable Weakly Labeled SVMs
Nanjing University（南京大学）；Nanyang Technological University（南洋理工大学）；Hong Kong University of Science & Technology（香港科技大学）
在本文中，我们研究了弱标记数据的学习问题，其中的训练样本的标签是不完整的。这包括，例如，（i）标签部分已知的半监督学习;（ii）标签隐含已知的多实例学习;以及（iii）标签完全未知的聚类。与监督学习不同，弱标签学习涉及困难的混合编程（MIP）问题。因此，它的可扩展性很差，也可能陷入局部最小值。在本文中，我们专注于支持向量机，并提出了WellSVM通过一种新的标签生成策略。这导致原始MIP的凸松弛，其至少与现有凸半定规划（SDP）松弛一样紧。此外，WellSVM可以通过一系列SVM子问题来解决，这些子问题比以前的凸SDP松弛更具可扩展性。在三个弱标记学习任务上的实验，即（i）半监督学习;（ii）基于内容的信息检索中定位感兴趣区域的多示例学习;以及（iii）聚类，清楚地表明了改进的性能，并且WellSVM也很容易适用于大数据集。
2013-08-22 cs.LG
Scalable Label Distribution Learning for Multi-Label Classification
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
本文提出可扩展标签分布学习（SLDL），通过低维潜在空间中的非对称标签分布建模和最近邻解码，使多标签分类的计算复杂度与标签数量无关，并以低计算消耗取得有竞争力的性能。
2024-10-03 cs.LG
Fast and Scalable Structural SVM with Slack Rescaling
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
本文提出了一种有效的松弛重缩放结构支持向量机的训练方法。虽然在边缘重缩放公式中找到最违反的标签通常很容易，因为目标函数相对于结构分解，但对于松弛重缩放公式来说情况并非如此，并且找到最违反的标签可能非常困难。我们的核心贡献是一个有效的方法，找到最违反标签的松弛重新缩放的制定，给定的预言机，返回最违反标签的（略有修改）边际重新缩放的制定。我们表明，我们的方法可以实现精确和可扩展的训练松弛重新缩放的SVM，减少运行时间的数量级相比，以前的方法松弛重新缩放的SVM。
2015-10-27 cs.LG
Balancing Label Quantity and Quality for Scalable Elicitation
EleutherAI
本文研究在标注成本约束下从预训练模型引出分类能力时的标签数量与质量权衡问题，识别出三种引出状态，并提出结合高低质量数据及few-shot提示的样本高效方法，在固定预算下将监督微调准确率最多提升5个百分点。
2024-10-21 cs.LG
Q-Policy: Quantum-Enhanced Policy Evaluation for Scalable Reinforcement Learning
Department of Computer Science（计算机科学系）；Illinois Mathematics and Science Academy（伊利诺伊数学与科学学院）；Siebel School of Computing and Data Science（Siebel计算与数据科学学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出混合量子-经典框架 Q-Policy，利用量子叠加、振幅编码与并行性加速策略评估，并给出样本复杂度多项式降低的策略迭代算法及概念验证。
2025-06-07 cs.AI cs.LG quant-ph
Scalable Teacher Forcing Network for Semi-Supervised Large Scale Data Streams
Nanyang Technological University（南洋理工大学）；Monash University（莫纳什大学）；Johannes Kepler University（约翰内斯·开普勒大学）；La Trobe University（乐卓博大学）；Universitas Muhammadiyah Malang（玛琅穆罕默迪亚大学）
大规模数据流问题是指在传统计算平台下无法以可扩展的方式处理的高速信息流。这个问题还带来了昂贵的标签成本，使得部署完全监督算法不可行。另一方面，半监督的大规模数据流的问题很少在文献中探讨，因为大多数作品都是在传统的单节点计算环境中设计的，同时也是完全监督的方法。本文提出了弱监督可扩展教师强迫网络（WeScatterNet），以同时应对标记样本的稀缺性和大规模数据流。WeScatterNet是在Apache Spark的分布式计算平台下构建的，采用无数据模型融合策略，在并行计算阶段后进行模型压缩。它具有一个开放的网络结构，以解决全球和本地漂移的问题，同时集成了数据增强，注释和自动校正（$DA^3$）的方法来处理部分标记的数据流。WeScatterNet的性能进行了数值评估，在六个大规模的数据流问题，只有$25\%$标签比例。即使与具有$100\%$标签比例的完全监督学习器相比，它也显示出高度竞争性的性能。
2021-06-26 cs.AI cs.DC cs.LG
AutoDO: Robust AutoAugment for Biased Data with Label Noise via Scalable Probabilistic Implicit Differentiation
Panasonic AI Lab（松下人工智能实验室）；AIoli Labs（AIoli实验室）；Panasonic Technology Division（松下技术部门）
AutoAugment引发了人们对深度学习模型自动增强方法的兴趣。这些方法估计用于训练数据的图像变换策略，其改进了对测试数据的泛化。虽然最近的论文朝着降低策略搜索复杂性的方向发展，但我们发现这些方法在应用于有偏见和有噪声的数据时并不鲁棒。为了克服这些局限性，我们将AutoAugment重新定义为广义自动数据集优化（AutoDO）任务，该任务最大限度地减少了测试数据和扭曲的训练数据集之间的分布偏移。在我们的AutoDO模型中，我们显式地估计一组每点超参数，以灵活地改变训练数据的分布。特别是，我们包括用于增强，损失权重和软标签的超参数，这些超参数使用隐式微分联合估计。我们开发了一个理论概率解释这个框架，使用Fisher信息，并表明其复杂性与数据集大小呈线性关系。我们在SVHN、CIFAR-10/100和ImageNet分类上的实验显示，与之前的方法相比，带有标签噪声的有偏数据集的性能提高了9.3%，重要的是，对于代表性不足的SVHN类，性能提高了36.6%。
2021-03-11 cs.AI cs.CV cs.LG
Scalable Penalized Regression for Noise Detection in Learning with Noisy Labels
Fudan University（复旦大学）
噪声训练集通常会导致神经网络的泛化能力和鲁棒性下降。在本文中，我们提出了使用一个理论上有保证的噪声标签检测框架来检测和删除噪声数据的学习与噪声标签（LNL）。具体来说，我们设计了一个惩罚回归模型来模拟网络特征和独热标签之间的线性关系，其中噪声数据由回归模型中求解的非零均值漂移参数来识别。为了使框架可扩展到包含大量类别和训练数据的数据集，我们提出了一种分裂算法，将整个训练集分成可以通过惩罚回归并行求解的小块，从而形成可扩展惩罚回归（SPR）框架。我们提供了SPR正确识别噪声数据的非渐近概率条件。虽然SPR可以被视为标准监督训练管道的样本选择模块，但我们进一步将其与半监督算法相结合，以进一步利用噪声数据作为未标记数据的支持。在多个基准数据集和真实噪声数据集上的实验结果表明了该框架的有效性。我们的代码和预训练模型在https://github.com/Yikai-Wang/SPR-LNL上发布。
2022-03-19 cs.CV cs.LG
Revisiting the Role of Label Smoothing in Enhanced Text Sentiment Classification
Shanghai International Studies University（上海外国语大学）
本文通过在八个情感分类数据集和三种深度学习架构上的系统实验，揭示了标签平滑不仅能提升分类性能，还能加速模型收敛并增强不同标签样本的可区分性。
2024-02-23 cs.AI cs.CL cs.LG
Scalable Multi-Output Label Prediction: From Classifier Chains to Classifier Trellises
Aalto University（阿尔托大学）；HIIT（赫尔辛基信息技术研究所）；University of Helsinki（赫尔辛基大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
多输出推理任务，如多标签分类，近年来变得越来越重要。多标签分类的一种流行方法是分类器链，其中各个分类器的预测沿着链级联，从而考虑到标签间的依赖性并提高整体性能。已经引入了几种分类器链方法，其中许多方法在广泛的基准数据集上表现得非常有竞争力。然而，在对完全级联的链进行建模时，可扩展性限制在较大的数据集上变得明显。特别是，发现和建模一个好的链结构的方法的策略构成了一个主要的计算瓶颈。在本文中，我们提出了分类器网格（CT）方法的可扩展的多标签分类。我们将CT与最近提出的几种分类器链方法进行比较，以表明它占据了一个重要的利基：它在标准的多标签问题上具有很强的竞争力，但它也可以扩展到数千甚至数万个标签。
2015-01-20 cs.CV cs.DS cs.LG
Bullseye Polytope: A Scalable Clean-Label Poisoning Attack with Improved Transferability
University of California, Santa Barbara（加州大学圣巴巴拉分校）
最近关注神经网络安全性的一个来源是干净标签数据集中毒攻击的出现，其中正确标记的中毒样本被注入到训练数据集中。虽然这些有毒样本对人类观察者来说看起来是合法的，但它们包含恶意特征，这些特征会在推理过程中触发有针对性的错误分类。针对迁移学习，提出了一种可扩展、可转移的清洁标签中毒攻击方法，该方法在特征空间中创建中心靠近目标图像的中毒图像。我们的攻击Bullseye Polytope在端到端迁移学习中将当前最先进的攻击成功率提高了26.75%，同时将攻击速度提高了12倍。我们进一步将靶心多面体扩展到更实用的攻击模型，包括同一对象的多个图像（例如，从不同的角度）制作毒药样本时。我们证明，这种扩展提高了攻击的可转移性超过16%，看不见的图像（相同的对象），而不使用额外的毒药样本。
2021-03-14 cs.CR cs.LG stat.ML
Incremental Label Distribution Learning with Scalable Graph Convolutional Networks
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文针对标签数量动态增长的场景提出增量式标签分布学习ILDL，并设计SGLDL框架，通过新标签感知梯度补偿损失和标签关系图加速新标签学习与关系重建。
2024-11-20 cs.IT cs.LG math.IT
DKEC: Domain Knowledge Enhanced Multi-Label Classification for Diagnosis Prediction
University of Virginia（弗吉尼亚大学）
针对医疗多标签分类的长尾标签分布问题，提出融合外部医疗知识构建异质图谱并结合标签级注意力的DKEC方法，在少样本类别上优于现有模型，还能让小模型达到大模型相当性能。
2024-06-19 cs.AI cs.CL cs.LG
FedEFC: Federated Learning Using Enhanced Forward Correction Against Noisy Labels
KAIST（韩国科学技术院）；Myongji University（明溪大学）
FedEFC通过预停止和损失校正技术，有效缓解联邦学习中噪声标签的影响，尤其在异构数据环境下表现优异。
2026-02-18 cs.AI cs.LG
Towards Scalable Oversight via Partitioned Human Supervision
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
通过分区人类监督实现可扩展的监督，利用互补标签评估和训练AI系统。
2026-02-24 cs.AI cs.CL cs.LG
An External Knowledge Enhanced Multi-label Charge Prediction Approach with Label Number Learning
Wuhan University of Technology（武汉理工大学）
多标签指控预测是一项为案件预测相应指控的任务，近年来成为一个热门话题。然而，目前的研究使用粗糙的方法来处理标签号。这些方法手动设置参数以选择标签编号，这对最终预测质量有影响。我们提出了一个外部知识增强的多标签电荷预测方法，有两个阶段。一个是利用法律条文中的外部知识进行费用标签预测的阶段，另一个是利用数字学习网络（NLN）进行数字学习的阶段。该方法通过外部知识的增强，可以自动调整阈值，从而得到法律案例的标签数。它将样本的输出概率与其对应的标签号相结合，得到最终的预测结果。在实验中，我们的方法连接到一些最先进的深度学习模型。通过对最大的中国法律数据集的测试，我们发现我们的方法对这些模型有改进。我们未来将在数据集的多标签样本上进行实验。在宏观F1项目中，我们的方法对基线的改善为3%-5%;在微观F1项目中，我们的方法对基线的改善为5%-15%。实验结果表明了该方法对多标记电荷预测的有效性。
2019-07-04 cs.CL cs.LG
LADA: Scalable Label-Specific CLIP Adapter for Continual Learning
Southeast University（东南大学）
针对CLIP持续学习推理时参数选择易错的问题，提出LADA，通过在冻结的CLIP图像编码器后附加轻量级标签特定记忆单元生成判别特征，并采用特征蒸馏防止灾难性遗忘，实现了高效的最先进性能。
2025-05-29 cs.CV cs.LG
EVA-GAN: Enhanced Various Audio Generation via Scalable Generative Adversarial Networks
NVIDIA Cooperation（英伟达公司）
针对音频生成领域规模化探索不足、现有模型难生成44.1kHz高保真音频且存在频谱不连续、高频模糊、域外鲁棒性差的问题，提出含2亿参数的EVA-GAN，结合大规模音频数据、上下文感知模块等人在环工具，显著提升重建效果与鲁棒性，支持高保真音频生成。
2024-01-31 cs.AI cs.LG cs.SD
Few-shot Slot Tagging with Collapsed Dependency Transfer and Label-enhanced Task-adaptive Projection Network
Harbin Institute of Technology（哈尔滨工业大学）；Northwestern University（西北大学）；Alibaba Group（阿里巴巴集团）
在本文中，我们探讨了槽标记只有几个标记的支持句（a.k.a. Few-Shot）。与其他Few-Shot分类问题相比，Few-Shot槽标记面临着独特的挑战，因为它需要对标签之间的依赖关系进行建模。但是，由于标签集的差异，很难将先前学习的标签依赖应用于未见过的域。为了解决这个问题，我们在条件随机场（CRF）中引入了一个折叠依赖转移机制，以转移抽象标签依赖模式作为转换分数。在Few-Shot设置中，CRF的发射分数可以被计算为词与每个标签的表示的相似性。为了计算这种相似性，我们提出了一个标签增强的任务自适应投影网络（L-TapNet）的基础上，国家的最先进的Few-Shot分类模型- TapNet，利用标签名称语义表示标签。实验结果表明，我们的模型显着优于最强的少样本学习基线的14.64 F1分数在一次设置。
2020-06-10 cs.CL cs.LG
OTSeq2Set: An Optimal Transport Enhanced Sequence-to-Set Model for Extreme Multi-label Text Classification
Polytechnic Institute（理工学院）；Zhejiang University（浙江大学）；College of Computer Science and Technology（计算机科学与技术学院）
极端多标签文本分类（XMTC）是从一个非常大规模的标签集合中找到最相关的子集标签的任务。最近，一些深度学习模型在XMTC任务中取得了最先进的成果。这些模型通常通过全连接层作为模型的最后一层来预测所有标签的得分。然而，这样的模型不能为每个文档预测一个相对完整和可变长度的标签子集，因为它们通过固定的阈值选择与文档相关的正标签，或者按照分数的降序取前k个标签。一种不太流行的深度学习模型称为序列到序列（Seq 2Seq），专注于预测序列风格中的可变长度正标签。然而，XMTC任务中的标签本质上是一个无序的集合，而不是一个有序的序列，标签的默认顺序限制了Seq 2Seq模型的训练。为了解决Seq 2Seq中的这一限制，我们提出了一个自回归序列到集合模型，用于XMTC任务，名为OTSeq 2Set。我们的模型生成的预测在学生强迫计划，并训练的损失函数的基础上，使置换不变性的二分匹配。同时，我们使用最佳传输距离作为度量，以迫使模型专注于语义标签空间中最近的标签。实验表明，OTSeq 2Set在4个基准数据集上的性能优于其他竞争基线。特别是，在具有31 k标签的维基百科数据集上，它在micro-F1得分上优于最先进的Seq 2Seq方法16.34%。该代码可在https://github.com/caojie54/OTSeq2Set上获得。
2022-11-14 cs.AI cs.CL cs.LG
A Scalable Approach to Clustering Embedding Projections
Apple（苹果公司）
针对嵌入投影可视化中点聚类计算成本高的问题，提出一种在投影二维空间用核密度估计的高效聚类算法，速度快数个数量级，还提供了算法设计、基准测试及标签生成等应用。
2025-05-16 cs.HC cs.LG
GraphHop: An Enhanced Label Propagation Method for Node Classification
University of Southern California（南加州大学）
提出了一种基于图结构数据的可扩展半监督节点分类方法GraphHop。该图包含所有节点的属性，但少数节点的标签。经典的标签传播（LP）方法和新兴的图卷积网络（GCN）是两个流行的半监督解决方案，这个问题。LP方法在对节点属性和标签进行联合建模时效果不佳，或者在大规模图上收敛速度较慢。GraphHop是针对其缺点提出的。通过适当的初始标签向量嵌入，GraphHop的每次迭代都包含两个步骤：1）标签聚合和2）标签更新。在步骤1中，每个节点聚合在先前迭代中获得的其邻居的标签向量。在步骤2中，基于节点自身的标签和在步骤1中获得的聚合标签信息，为每个节点预测新的标签向量。这个迭代过程利用了邻近信息，使GraphHop能够在极小的标签速率设置中表现良好，并能够很好地扩展到非常大的图形。实验结果表明，GraphHop在广泛的任务（例如，引文网络、社会图和商品消费图上的多标签和多类别分类）。我们的代码可在GitHub上公开获取（https：//github.com/TianXieUSC/GraphHop）。
2021-01-07 cs.LG
Scalable and Precise Patch Robustness Certification for Deep Learning Models with Top-k Predictions
City University of Hong Kong（香港城市大学）；The Education University of Hong Kong（香港教育大学）
针对现有top-k预测补丁鲁棒性认证方法存在的精度不足或组合爆炸问题，提出可扩展且精确的基于投票的CostCert认证方法，实验证明其性能显著优于当前最优方法PatchGuard。
2025-07-31 cs.LG cs.SE
Enhanced Meta Label Correction for Coping with Label Corruption
Technion – Israel Institute of Technology（以色列理工学院）
针对真实噪声标签问题，提出增强元标签校正方法EMLC，通过改进元梯度推导和新型教师架构，在标准基准上达到最先进性能，并在Clothing1M上提升1.52%且训练时间减半。
2023-10-17 cs.CV cs.LG
Rethinking Self-Distillation: Label Averaging and Enhanced Soft Label Refinement with Partial Labels
本文揭示固定特征线性探测下自蒸馏的标签平均机制，并提出利用教师前两个 softmax 输出的单轮 PLL student 模型，在噪声场景中以更低成本取得相当或更优性能。
2025-02-19 cs.LG stat.ML
A Scalable Multilabel Classification to Deploy Deep Learning Architectures For Edge Devices
Tennessee Technological University（田纳西理工大学）
卷积神经网络（CNN）在目标检测、模式识别、视频监控等领域有着良好的应用前景，CNN通过对标记数据进行特征提取来进行分类。多标签分类为数据集中的特定数据样本分配多个标签。在多标签分类中，被认为是互斥的数据点的属性被分类。然而，现有的多标签分类需要某种形式的数据预处理，其涉及图像训练数据裁剪或图像平铺。这些多标签CNN模型的计算和内存需求使得它们在边缘设备上的部署具有挑战性。在本文中，我们提出了一种方法，通过扩展现有多标签分类的能力来解决这个问题，并提供具有较低延迟的模型，这些模型在部署在边缘设备上时需要较小的内存大小。我们使用一个单一的CNN模型，设计了多个损失层和多个准确性层。这种方法在最先进的深度学习算法上进行了测试，如AlexNet，GoogleNet和SqueezeNet，使用斯坦福汽车数据集，并部署在Raspberry Pi3上。从结果来看，与实现多标签分类的传统方法（如将多标签实例硬编码为单个标签）相比，所提出的方法分别为生成的AlexNet、GoogleNet和SqueezeNet CNN模型实现了相当的准确性，MACC操作减少了1.8倍，延迟减少了0.97倍，大小减少了0.5倍、0.84倍和0.97倍。该方法还产生了CNN模型，与使用2个不同的单标签模型实现多标签分类的传统方法相比，分别实现了50%的MACC操作减少，AlexNet，GoogleNet和Squeez…
2021-01-27 cs.LG stat.ML
An Instance Transfer based Approach Using Enhanced Recurrent Neural Network for Domain Named Entity Recognition
Wuhan University of Technology（武汉理工大学）
最近，神经网络在命名实体识别（NER）方面取得了可喜的成果，这需要大量的标记数据来进行模型训练。当遇到一个新的领域（目标领域）的NER，没有或很少有标记的数据，这使得领域NER更加困难。由于NER的研究已经进行了很长时间，一些类似的领域已经有了很好的标记数据（源域）。因此，在本文中，我们专注于领域NER通过研究如何利用标记的数据，从这样的相似的源域的新的目标域。我们设计了一个基于核函数的实例迁移策略，通过从源域中获取相似的标记语句。此外，我们提出了一个增强的循环神经网络（ERNN），通过增加一个额外的层，将源域标记的数据结合到传统的RNN结构。在两个数据集上进行了综合实验。通过对HMM、CRF和RNN的比较，表明RNN具有更好的性能。当域目标中没有标记数据时，与直接使用源域标记数据而不选择转移实例相比，我们的增强RNN方法在F1度量方面从0.8052提高到0.9328。
2018-10-09 cs.CL cs.LG
Integrating Multi-Label Classification and Generative AI for Scalable Analysis of User Feedback
SAP SE（SAP公司）；Hochschule Fresenius Heidelberg（弗赖辛大学海德堡分校）；University of Missouri（密苏里大学）
提出结合监督多标签分类与生成式AI的方法，高效处理大量用户评论，自动分配主题标签并生成摘要，同时发现情感分析不能可靠反映产品满意度。
2026-06-18 cs.AI cs.HC cs.LG
DyGen: Learning from Noisy Labels via Dynamics-Enhanced Generative Modeling
Georgia Institute of Technology（佐治亚理工学院）；Adobe Research（奥多比研究院）
针对语言模型微调中噪声标签导致过拟合的问题，提出结合嵌入空间动态模式与变分自编码、共正则化的DyGen模型，在合成与真实噪声数据集上均取得准确率提升。
2023-06-13 cs.CL cs.LG
GraphGen: A Scalable Approach to Domain-agnostic Labeled Graph Generation
Indian Institute of Technology, Delhi（德里印度理工学院）
图生成模型在数据采掘文献中得到了广泛的研究。虽然传统的技术是基于生成遵循预定分布的结构，但最近的技术已经转向直接从数据中学习这种分布。虽然以学习为基础的方法大大提高了质量，但仍有一些局限性有待解决。首先，学习图分布引入了额外的计算开销，这限制了它们对大型图数据库的可扩展性。其次，许多技术只学习结构，而不解决学习节点和边标签的需要，这些标签编码重要的语义信息并影响结构本身。第三，现有的技术往往包含特定领域的规则，缺乏普遍性。第四，现有技术的实验不够全面，因为使用的评估指标较弱，或者主要集中在合成或小数据集上。在这项工作中，我们开发了一种名为GraphGen的领域不可知技术来克服所有这些限制。GraphGen使用最少的DFS代码将图形转换为序列。最小DFS代码是规范的标签，并精确地捕获图结构以及标签信息。结构和语义标签之间的复杂联合分布是通过一种新的LSTM架构来学习的。在数百万大小的真实图形数据集上进行的大量实验表明，GraphGen的平均速度比最先进的技术快4倍，同时在11个不同指标的综合集合中质量明显更好。我们的代码发布在https://github.com/idea-iitd/graphgen。
2020-04-08 cs.LG stat.ML
FedSDD: Scalable and Diversity-enhanced Distillation for Model Aggregation in Federated Learning
The Hong Kong University of Science and Technology（香港科技大学）
针对联邦学习中现有蒸馏聚合方法可扩展性差、集成多样性低的问题，提出FedSDD方案，通过解耦训练复杂度与客户端数量并使用时间集成增强多样性，在基准数据集上优于FedAvg和FedDF。
2023-12-28 cs.LG
Segment Anything Model (SAM) Enhanced Pseudo Labels for Weakly Supervised Semantic Segmentation
The Ohio State University（俄亥俄州立大学）；EAIGLE Inc（EAIGLE 公司）
针对弱监督语义分割中CAM伪标签边界不准的问题，提出用SAM掩码结合CAM生成兼具类别与目标感知性的高质量伪标签，可无缝集成现有方法，在主流数据集上稳定超越SOTA。
2023-11-03 cs.AI cs.CV cs.LG
Deep Learning Enhanced Road Traffic Analysis: Scalable Vehicle Detection and Velocity Estimation Using PlanetScope Imagery
Heidelberg Institute for Geoinformation Technology (HeiGIT)（海德堡地理信息技术研究所）；Heidelberg University（海德堡大学）；University of Lodz（罗兹大学）
本文提出基于PlanetScope SuperDove卫星影像和Keypoint R-CNN的车辆检测与速度估计方法，利用波段时序差异跟踪车辆轨迹，在德国和波兰高速公路上验证了其可扩展的全球交通监测潜力。
2024-10-04 cs.CV cs.LG
Towards A Scalable Solution for Improving Multi-Group Fairness in Compositional Classification
Google（谷歌）；OpenAI（开放人工智能研究中心）
针对多分类器组合且涉及多群体的复杂系统，本文提出任务过度条件化与群体交错两种技术，使多群体多标签公平性修复实现恒定扩展，并通过实验验证其有效性。
2023-07-11 cs.AI cs.CY cs.LG
LLM-Enhanced Reinforcement Learning for Time Series Anomaly Detection
dept. Computer Science Portland State University（计算机科学系波特兰州立大学）；dept. Computer Science Smith College（计算机科学系史密斯学院）
本文提出结合大语言模型与强化学习的统一框架，通过奖励塑造、动态奖励缩放和主动学习提升时间序列异常检测的准确性和效率。
2026-01-05 cs.LG
Persistent Laplacian-enhanced Algorithm for Scarcely Labeled Data Classification
Michigan State University（密歇根州立大学）
本文提出持久拉普拉斯增强图 MBO（PL-MBO）方法，将持久谱图理论与经典 MBO 格式结合，以极少的标注数据实现优于现有半监督算法的数据分类性能。
2023-05-25 cs.LG
Scalable Bayesian Preference Learning for Crowds
Technische Universität Darmstadt（达姆施塔特工业大学）
我们提出了一种可扩展的贝叶斯偏好学习方法，用于联合预测个人的偏好以及群体的共识。人们的意见往往差异很大，因此很难从少量的个人数据中预测他们的偏好。当每个项目的标签很少时，个体偏见也使得推断群体的共识变得更加困难。我们通过将矩阵分解与高斯过程相结合来解决这些挑战，使用贝叶斯方法来考虑噪声和稀疏数据所产生的不确定性。我们的方法利用输入特征，如文本嵌入和用户元数据，来预测不在训练集中的新项目和用户的偏好。由于以前基于高斯过程的解决方案不能扩展到大量的用户，项目或成对标签，我们提出了一种随机变分推理方法，限制计算和内存成本。我们的推荐任务的实验表明，我们的方法是有竞争力的，尽管我们的可扩展的推理近似与以前的方法。我们展示了该方法的可扩展性上的自然语言处理任务与成千上万的用户和项目，并显示在这个任务的最先进的改进。我们将我们的软件公开用于未来的工作。
2019-12-11 cs.CL cs.HC cs.LG
ReDiSC: A Reparameterized Masked Diffusion Model for Scalable Node Classification with Structured Predictions
Sun Yat-sen University（中山大学）；Renmin University of China（中国人民大学）；Alibaba Group（阿里巴巴集团）
针对现有节点分类方法未建模图节点标签相关性的问题，提出ReDiSC重参数化掩码扩散模型，通过变分EM框架学习，在同构/异构图上性能优异且可扩展至大规模数据，优于多数基线方法。
2026-07-30 cs.LG
Adaptive Integration of Partial Label Learning and Negative Learning for Enhanced Noisy Label Learning
Nanjing University of Science and Technology（南京理工大学）
针对现有噪声标签学习方法依赖干净样本先验假设的问题，提出集成部分标签学习与负向学习的NPN方法，通过自适应标签分解、双范式消歧、互补标签监督及一致性正则提升性能，在多数据集上优于现有最优方法。
2023-12-15 cs.LG cs.MM
ContriMix: Scalable stain color augmentation for domain generalization without domain labels in digital pathology
PathAI Inc（PathAI公司）；Spring Discovery（Spring Discovery公司）
针对数字病理图像染色差异导致深度学习模型泛化差、现有颜色增强方法依赖域标签难以规模化的问题，提出基于DRIT++的无域标签增强方法ContriMix，利用小批次样本染色变化与随机混合提取信息生成合成图像，在Camelyon17-WILDS数据集上性能优于同类方法，且鲁棒性强。
2024-03-08 cs.CV cs.LG eess.IV
ML-Decoder: Scalable and Versatile Classification Head
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
在本文中，我们介绍了ML解码器，一个新的注意力为基础的分类头。ML-Decoder通过查询预测类标签的存在，与全局平均池化相比，能够更好地利用空间数据。通过重新设计解码器的结构，并使用一种新的组解码方案，ML解码器是高效的，并可以扩展到数千类。与使用更大的主干相比，ML解码器始终提供更好的速度-准确性权衡。ML-Decoder也是通用的-它可以用作各种分类头的直接替代品，并在使用单词查询时推广到看不见的类。新的查询增强进一步提高了其泛化能力。使用ML解码器，我们在几个分类任务上实现了最先进的结果：在MS-COCO多标签上，我们达到了91.4% mAP;在NUS-WIDE zero-shot上，我们达到了31.1% mAP;在ImageNet单标签上，我们使用vanilla ResNet 50主干达到了80.7%的新最高分数，没有额外的数据或蒸馏。公共代码可在https://github.com/Alibaba-MIIL/ML_Decoder上获得
2021-12-31 cs.CV cs.LG
Enhanced Nearest Neighbor Classification for Crowdsourcing
Purdue University（普渡大学）；Binghamton University, State University of New York（纽约州立大学宾汉姆顿分校）；University of California, Los Angeles（加州大学洛杉矶分校）；Moody’s Analytics, Inc.（穆迪分析公司）
在机器学习中，众包是标记大量数据的经济方式。然而，所产生的标签中的噪声可能会降低应用于标记数据的任何分类方法的准确性。我们提出了一个增强的最近邻分类器（ENN）来克服这个问题。开发了两种算法来估计工人质量（这在实践中往往是未知的）：一种是通过将$k$ NN分类器应用于专家数据来构建基于去噪工人标签的估计;另一种是即使没有访问专家数据也能工作的迭代算法。除了强有力的数值证据，我们提出的方法被证明可以实现与基于高质量专家数据的Oracle版本相同的遗憾。作为一个技术的副产品，分配给每个工人的样本量的下限，以达到最佳的收敛速度的遗憾。
2022-02-26 cs.HC cs.LG stat.ML
ECLARE: Extreme Classification with Label Graph Correlations
IIT Delhi（德里印度理工学院）；UC San Diego（加州大学圣地亚哥分校）；Microsoft Research（微软研究院）；IIT Kanpur（坎普尔印度理工学院）
深度极端分类（XC）旨在训练深度架构，这些架构可以使用极大标签集中最相关的标签子集来标记数据点。XC的核心效用来自于预测训练过程中很少看到的标签。这种罕见的标签是个性化推荐的关键，可以让用户感到高兴和惊讶。然而，大量的稀有标签和每个稀有标签的少量训练数据提供了显著的统计和计算挑战。最先进的深度XC方法试图通过合并标签的文本描述来解决这个问题，但没有充分解决这个问题。本文介绍了ECLARE，这是一种可扩展的深度学习架构，不仅包含标签文本，还包含标签相关性，可在几毫秒内提供准确的实时预测。ECLARE的核心贡献包括一个简单的架构和可扩展的技术，以训练深度模型以及数百万标签规模的标签相关图。特别是，ECLARE提供的预测是2%至14%以上的准确性都公开可用的基准数据集，以及专有数据集的相关产品推荐任务来源于必应搜索引擎。ECLARE代码可在https://github.com/Extreme-classification/ECLARE上找到。
2021-07-31 cs.CL cs.IR cs.LG
ZeroFlow: Scalable Scene Flow via Distillation
University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）；Motional（莫申公司）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Georgia Tech（佐治亚理工学院）
ZeroFlow通过蒸馏框架利用无标签优化方法生成伪标签训练前馈模型，实现零人工标注的场景流估计，速度比优化方法快千倍以上，成本大幅降低。
2024-03-14 cs.CV cs.LG
A Scalable Multiclass Algorithm for Node Classification
我们介绍了一个可扩展的算法，MUCCA，多类节点分类加权图。与以前提出的方法相同的任务，MUCCA工程的时间线性的节点数量。我们的方法是基于一个游戏理论制定的问题，其中的测试标签表示为一个纳什均衡的某个游戏。然而，为了实现可扩展性，我们找到了原始图的生成树上的均衡。对真实数据的实验表明，MUCCA比其竞争对手快得多，同时实现了类似的预测性能。
2011-12-19 cs.GT cs.LG
