Noise-Aware Framework for Correcting Corrupted Labels
Faculty of Information Technology, VNU University of Engineering and Technology（越南国立大学工程与技术学院信息技术系）
提出CANOLA框架，通过噪声感知学习和迭代标签精炼来纠正损坏标签，在六个数据集上相比现有方法错误率降低19%-52%。
2026-06-11 cs.AI cs.LG
Co-learning: Learning from Noisy Labels with Self-supervision
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
由于人工标注错误或监督学习的网络数据采集错误而导致的噪声标注会导致神经网络过拟合误导信息，从而降低泛化性能。自监督学习在没有标签的情况下工作，从而消除了噪声标签的负面影响。受监督学习和自监督学习的共同训练的启发，我们提出了一种简单而有效的方法，称为Co-learning学习噪声标签。协同学习以协同的方式进行监督学习和自监督学习。与自监督模块的内在相似性和与噪声监督模块的结构相似性的约束施加在共享的共同特征编码器上，以正则化网络，从而最大化两个约束之间的一致性。在基准数据集上对协同学习与对等方法进行了比较，并提供了大量的结果，表明协同学习优于许多最先进的方法。
2021-10-30 cs.LG
Model-Agnostic Open-Set Air-to-Air Visual Object Detection for Reliable UAV Perception
National Technical University Athens（国家技术大学雅典）；National & Kapodistrian University of Athens（国家与卡波迪斯蒂亚大学）
针对传统闭集无人机目标检测在域偏移和数据损坏时性能下降的问题，提出一种模型无关开放集检测框架，在AOT基准及真实飞行测试中相对YOLO检测器实现最高10%的AUROC增益，提升了无人机感知的可靠性。
2026-08-27 cs.CV cs.LG cs.RO
Learning Problem-agnostic Speech Representations from Multiple Self-supervised Tasks
Amazon Research（亚马逊研究院）
在没有监督的情况下学习良好的表示仍然是机器学习中的一个开放问题，并且对于语音信号尤其具有挑战性，语音信号通常以具有复杂分层结构的长序列为特征。然而，最近的一些工作表明，它是可能的，以获得有用的语音表示，采用自监督编码器-解码器的方法。本文提出了一种改进的自监督方法，其中单个神经编码器后面跟着多个工人，共同解决不同的自监督任务。不同任务之间所需的共识自然会对编码器施加有意义的约束，有助于发现一般表征并最大限度地减少学习肤浅表征的风险。实验表明，该方法可以学习可转移的，鲁棒的，和问题不可知的功能，进行相关信息的语音信号，如说话人身份，音素，甚至更高级别的功能，如情感线索。此外，许多设计选择使编码器易于出口，便于直接使用或适应不同的问题。
2019-04-06 cs.LG cs.SD eess.AS
Better Agnostic Clustering Via Relaxed Tensor Norms
我们开发了一个新的家庭的凸松弛的$k$ -均值聚类的平方和规范的基础上，松弛的内射张量范数，是有效地计算使用平方和算法。我们给出了一个算法的基础上，这种放松，恢复一个忠实的近似在给定的数据中的真正的手段，每当在每个集群中的点的低阶矩有界的平方和规范。然后，我们证明了一个尖锐的上限的平方和范数矩张量的任何分布，满足\emph{Poincare inequality}。庞加莱不等式是概率论中的一个中心不等式，有很多分布都满足它，包括高斯分布、乘积分布、强对数凹分布以及这些分布的任意和或一致连续变换。作为一个直接的推论，对于任何$γ> 0$，我们获得了一个有效的算法学习的混合物的$k$任意\Poincare分布在$\mathbb{R}^d$的时间$d^{O(1/γ)}$，只要手段有分离$Ω(k^γ)$。这特别是产生一个算法学习高斯混合分离$Ω(k^γ)$，从而部分解决了一个开放的问题Regev和Vijayaraghavan \citet{regev2017learning}。我们的算法即使在异常值鲁棒设置中也有效，其中任意异常值的$ε$部分被添加到数据中，只要异常值的部分小于最小聚类。因此，我们得到的结果在强不可知的设置，除了不知道的分布家庭，数据本身可能会被任意损坏。
2017-11-20 cs.LG
Dual GNNs: Graph Neural Network Learning with Limited Supervision
Carleton University（卡尔顿大学）
图神经网络（GNN）需要相对大量的标记节点和可靠/未损坏的图连接结构，以便在半监督节点分类任务上获得良好的性能。GNN的性能会随着标记节点数量的减少或图连接结构被对抗攻击破坏或由于数据测量/收集中的噪声而显著降低。因此，重要的是要开发GNN模型，当监督知识有限时，能够实现良好的性能-一些标记的节点和嘈杂的图结构。在本文中，我们提出了一种新的双GNN学习框架来解决这一挑战性任务。该框架有两个基于GNN的节点预测模块。主模块使用输入图结构来诱导具有常规GNN基线的常规节点嵌入和预测，而辅助模块通过细粒度谱聚类构建新的图结构并学习新的节点嵌入和预测。通过将这两个模块集成到双GNN学习框架中，我们以端到端的方式进行联合学习。这一总体框架可以应用于许多GNN基线模型。实验结果表明，当标记节点较少且图连通结构有噪声时，所提出的对偶GNN框架可以大大优于GNN基线方法。
2021-06-29 cs.AI cs.LG
Machine Learning under Imperfect Data: Challenges and Methods
Shanghai Jiao Tong University（上海交通大学）
本文综述了不完美数据（缺失、不均衡、弱监督、分布偏移）下机器学习的挑战，归纳为信息丢失、经验风险偏差、监督模糊和表示不稳定四种机制，并探讨了相应方法及未来方向。
2026-09-15 cs.LG
Modality-agnostic Domain Generalizable Medical Image Segmentation by Multi-Frequency in Multi-Scale Attention
Inha University（仁荷大学）；DeepCardio
针对医学图像分割中的频率变化利用不足及深度监督多任务学习信息损失问题，提出MADGNet，通过MFMSA与E-SDM在六种模态、十五个数据集上取得优于现有方法的泛化分割性能。
2024-05-10 cs.CV cs.LG eess.IV
ALIGNet: Partial-Shape Agnostic Alignment via Unsupervised Learning
Tel Aviv University（特拉维夫大学）；Hebrew University（希伯来大学）；Intel Corporation（英特尔公司）
对齐一对形状的过程是计算机图形学中的基本操作。传统的方法严重依赖于匹配相应的点或特征来指导对齐，当重要的形状部分丢失时，这种范式就会动摇。这些技术通常不包含关于预期形状特征的先验知识，这可以帮助补偿由输入形状中表现出的不准确性留下的任何误导性线索。我们提出了一种基于深度神经网络的方法，利用形状数据集来学习源到目标对齐的形状感知先验，该先验对形状不完整性具有鲁棒性。在缺乏用于监督的地面实况对准的情况下，我们使用从用于自我监督的完整形状生成的不完整形状来训练关于形状对准任务的网络。我们的网络，称为ALIGNet，经过训练，可以将完整的源形状扭曲到不完整的目标，就好像目标形状是完整的一样，从而基本上呈现对齐部分形状不可知。我们的目标是让网络在每个数据集中的形状的共同特征上发展专业知识，从而实现对局部方法所忽略的预期形状空间的更高层次的理解。我们通过各向异性全变差恒等正则化来约束ALIGNet，以促进分段平滑变形场，从而促进部分形状不可知论和变形后应用。我们证明了ALIGNet学习对齐几何上不同的形状，即使目标形状明显不完整，也能够推断出合理的映射。我们表明，我们的网络学习了形状集合的共同预期特征，而没有过度拟合或记忆，使其能够在测试期间对看不见的数据产生合理的变形。
2018-10-30 cs.AI cs.CV cs.GR
Task-Agnostic Graph Neural Network Evaluation via Adversarial Collaboration
Imperial College London（帝国理工学院）；Massachusetts Institute of Technology（麻省理工学院）；Valence Discovery（Valence Discovery公司）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；University of Cambridge（剑桥大学）
越来越需要开发可靠的方法来评估用于分子表示学习的图神经网络（GNN）研究进展。现有的用于分子表示学习的GNN基准测试方法专注于比较GNN在某些数据集上的某些节点/图分类/回归任务上的性能。然而，缺乏一种原则性的、与任务无关的方法来直接比较两个GNN。此外，大多数现有的自监督学习作品将手工增强的数据，这有几个严重的困难，以应用于图，由于其独特的特点。为了解决上述问题，我们提出了GraphAC（Graph Adversarial Collaboration）--一个概念新颖、原则性强、任务不可知且稳定的框架，用于通过对比自我监督来评估GNN。我们引入了一个新颖的目标函数：竞争巴洛双胞胎，它允许两个GNN在相互直接竞争的情况下联合更新自己。GraphAC成功地区分了各个方面的不同表现力的GNN，并已被证明是一种原则性和可靠的GNN评估方法，无需任何增强。
2023-03-27 cs.LG
Unsupervised Learning by Predicting Noise
Facebook AI Research（Facebook人工智能研究院）
卷积神经网络提供在许多计算机视觉应用中表现非常好的视觉特征。然而，训练这些网络需要大量的监督。本文介绍了一种通用框架，用于在没有监督的情况下进行端到端的深度网络训练。我们建议修复一组目标表示，称为噪声作为目标（NAT），并约束深层特征与它们对齐。这种领域不可知的方法避免了标准的无监督学习问题的平凡解决方案和崩溃的功能。得益于随机批量重新分配策略和可分离平方损失函数，它可以扩展到数百万张图像。所提出的方法产生的表示与ImageNet和Pascal VOC上最先进的无监督方法相当。
2017-04-18 cs.CV cs.LG stat.ML
Smoothing the Black-Box: Signed-Distance Supervision for Black-Box Model Copying
本文提出基于符号距离的黑箱模型复制方法，通过平滑回归提升复制精度和泛化能力，同时生成不确定性信号。
2026-01-28 cs.LG
Cooperative Stochastic Multi-agent Multi-armed Bandits Robust to Adversarial Corruptions
University California San Diego（加州大学圣地亚哥分校）；Shanghai Jiao Tong University（上海交通大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
我们研究了在合作的多智能体设置，$V$代理与一个共同的$K$ -武装土匪问题，和每对代理可以相互通信，以加快学习过程中的对抗性腐败的随机土匪问题。在这个问题中，奖励是从所有代理和回合的分布中独立采样的，但它们可能会被对手破坏。我们的目标是最大限度地减少所有代理的总体遗憾和通信成本。我们首先表明，腐败的添加剂长期是不可避免的任何算法在这个问题。然后，我们提出了一个新的算法，是不可知的腐败程度。我们的算法不仅实现了近最佳的遗憾在随机设置，但也获得了遗憾与腐败的腐败设置中的附加项，同时保持有效的通信。该算法也适用于单代理腐败问题，并实现了一个高概率的遗憾，消除了腐败水平的乘法依赖$K$。我们对单药病例的结果解决了Gupta et al. [2019]的一个未决问题。
2021-06-08 cs.LG
ADBench: Anomaly Detection Benchmark
Shanghai University of Finance and Economics（上海财经大学）；Carnegie Mellon University（卡内基梅隆大学）
给定在过去几十年中开发的一长串异常检测算法，它们在（i）不同的监督级别，（ii）不同类型的异常，以及（iii）噪声和损坏的数据方面如何执行？在这项工作中，我们回答这些关键问题进行（据我们所知）最全面的异常检测基准与30算法的57个基准数据集，命名为ADBench。我们广泛的实验（总共98，436个）确定了对监督和异常类型的作用的有意义的见解，并为研究人员在算法选择和设计方面解锁了未来的方向。使用ADBench，研究人员可以轻松地对数据集（包括我们从自然语言和计算机视觉领域贡献的数据集）上新提出的方法进行全面和公平的评估。为了促进可访问性和可重复性，我们完全开源ADBench和相应的结果。
2022-09-17 cs.AI cs.LG
Pruning Convolutional Neural Networks with Self-Supervision
Facebook AI Research（脸书人工智能研究院）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
在没有监督的情况下训练的卷积神经网络接近于有监督的预训练的性能，但有时会以更高数量的参数为代价。从这些大型无监督convnets中提取子网络并保持性能是特别感兴趣的，以使它们的计算强度更低。典型的修剪方法在任务的训练期间操作，同时试图保持修剪后的网络在同一任务上的性能。然而，在自监督特征学习中，训练目标对下游任务的表示可转移性是不可知的。因此，为这个目标保留性能并不能确保修剪后的子网络仍然有效地解决下游任务。在这项工作中，我们研究了使用标准的修剪方法，主要是为监督学习，网络训练没有标签（即自我监督任务）。我们发现，在标签上重新训练时，使用或不使用标签获得的修剪掩码达到了相当的性能，这表明修剪对于自监督学习和监督学习的操作类似。有趣的是，我们还发现修剪保留了自监督子网络表示的传输性能。
2020-01-10 cs.CV cs.LG cs.NE
Combining Probabilistic Logic and Deep Learning for Self-Supervised Learning
Microsoft Research（微软研究院）；JD Finance America Corporation（京东金融美国公司）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
深度学习已被证明对各种应用任务有效，但其适用性受到对注释示例的依赖的限制。自监督学习已经成为缓解监督瓶颈的一个有前途的方向，但现有的工作集中在利用未标记数据中的同现进行任务无关的表示学习，例如掩蔽的语言模型预训练。在本章中，我们将探讨特定于任务的自我监督，它利用领域知识为最终应用程序自动注释嘈杂的训练样本，或者通过引入标记函数来注释单个实例，或者通过对相互依赖的标签决策施加约束。我们首先介绍了深度概率逻辑（DPL），它通过将概率逻辑与深度学习相结合，为特定任务的自我监督提供了一个统一的框架。DPL将未知标签表示为潜在变量，并使用概率逻辑结合了多种自我监督，以使用变分EM训练端到端的深度神经网络。接下来，我们提出了自我监督的自我监督（S4），它为DPL增加了自动学习新的自我监督的能力。从初始种子自监督开始，S4迭代地使用深度神经网络来提出新的自监督。它们要么直接添加（一种结构化的自我训练形式），要么由人类专家验证（如基于特征的主动学习）。在生物医学机器阅读和各种文本分类任务等实际应用中的实验表明，特定于任务的自我监督可以有效地利用领域专业知识，并且通常可以将监督方法的准确性与人类努力的一小部分相匹配。
2021-07-27 cs.AI cs.LG
On the intrinsic robustness to noise of some leading classifiers and symmetric loss function -- an empirical evaluation
Orange Labs（橙色实验室）
在某些工业应用中，例如欺诈检测，常见监督技术的性能可能会受到可用标签质量差的影响：在实际操作用例中，这些标签可能在数量、质量或可信度方面较弱。我们提出了一个基准测试，以评估自然的鲁棒性的不同算法采取的各种范式对人为损坏的数据集，重点是嘈杂的标签。本文研究了一些主要分类器的内在鲁棒性。正在审查的算法包括SVM，逻辑回归，随机森林，XGBoost，Khiops。此外，从最近的文献结果的基础上，该研究的补充调查的机会，以提高一些算法的对称损失函数。
2021-06-21 cs.LG
Anomalies, Representations, and Self-Supervision
Universität Heidelberg（海德堡大学）；Ulster University（阿尔斯特大学）；Indian Institute of Science Education and Research（印度科学教育与研究学院）
本文提出基于对比学习的自监督异常检测方法 AnomalyCLR，通过背景增强、Transformer Encoder 表示和 AutoEncoder 评分，在 CMS ADC2021 上显著提升各类信号检测性能。
2024-08-07 cs.LG hep-ex hep-ph
Corruption-Tolerant Asynchronous Q-Learning with Near-Optimal Rates
Electrical and Computer Engineering, North Carolina State University, Raleigh, NC, USA（北卡罗来纳州立大学电气与计算机工程系）
本文研究了在存在对抗性损坏奖励的情况下，在折扣无限时间 horizon 的强化学习设置中学习最优策略的问题。通过开发一种新的鲁棒Q学习变体，并在具有时间相关数据的挑战性异步采样模型下分析该算法，证明了在存在损坏的情况下，该方法的有限时间保证与现有界限相匹配，仅在加性项上与损坏样本的比例成比例。还建立了信息论下界，揭示了我们的保证是近最优的。值得注意的是，我们的算法对底层奖励分布不敏感，并为异步Q学习提供了首次有限时间鲁棒性保证。分析中的关键元素是针对近鞅的改进Azuma-Hoeffding不等式，这可能在研究强化学习算法时有更广泛的应用。
2026-05-21 cs.LG cs.SY eess.SY
Self-mentoring: a new deep learning pipeline to train a self-supervised U-net for few-shot learning of bio-artificial capsule segmentation
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；CRIStAL（里尔计算机、信号与自动控制实验室）
背景资料：在显微成像中对生物人工囊等微观结构的精确分割是计算机辅助理解重要生物力学现象的前提。最先进的分割性能是通过深度神经网络和相关的数据驱动方法实现的。仅从几个带注释的示例训练这些网络是具有挑战性的，而生成提供监督的手动注释图像是乏味的。方法：最近，自我监督，即设计一个提供合成或间接监督的神经管道，已被证明可以显着提高在少数镜头上训练的模型的泛化性能。本文的目的是在微胶囊图像分割的背景下，介绍一个这样的神经管道。我们的方法利用了这些图像的相当简单的内容，以便学员网络可以由裁判网络指导，裁判网络之前已经在合成生成的损坏/正确区域掩码对上进行了训练。结果：建立了实验装置。它们只涉及3到10个带注释的图像以及大量的未注释图像。在生物人工胶囊数据集中，我们的方法始终如一地大幅提高了准确性。我们还表明，学习裁判网络是可转移到另一个胶质母细胞瘤细胞数据集，它可以有效地与数据增强策略相结合。结论：实验结果表明，非常显着的准确性增量所提出的管道，从而得出结论，本文介绍的自我监督机制有可能取代人类注释。
2023-01-07 cs.CV cs.LG
Safeguarded Dynamic Label Regression for Generalized Noisy Supervision
使用噪声标签学习，旨在减少精确注释的昂贵劳动，在大数据时代已经势在必行。以前的基于噪声过渡的方法已经取得了可喜的成果，并提出了一个理论上的保证，在类条件噪声的情况下的性能。然而，这种类型的方法严重依赖于噪声过渡的准确预估，这通常是不切实际的。随后的改进通过Softmax层调整预估计以及训练进度。然而，Softmax层中的参数由于不适定的随机近似而被高度调整以用于脆弱的性能。为了解决这些问题，我们提出了一个潜在的类条件噪声模型（LCCN），自然嵌入贝叶斯框架下的噪声转换。通过将噪声过渡投影到Dirichlet分布空间中，学习被约束在基于整个数据集的单纯形上，而不是一些ad-hoc参数空间。然后，我们推导出一个动态标签回归方法LCCN迭代推断潜在的标签，随机训练分类器和建模的噪音。我们的方法保障了噪声转换的有界更新，避免了先前通过一批样本进行任意调整。我们进一步推广LCCN的开集噪声标签和半监督设置。我们用可控噪声数据集CIFAR-10和CIFAR-100以及不可知噪声数据集Clothing 1 M和WebVision 17进行了广泛的实验。实验结果表明，该模型优于几个国家的最先进的方法。
2021-08-21 cs.CV cs.LG stat.ML
FracAug: Fractional Augmentation boost Graph-level Anomaly Detection under Limited Supervision
The Chinese University of Hong Kong（香港中文大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
提出FracAug，一种即插即用的分数增强框架，通过生成语义一致的图变体和相互验证的伪标注，在有限监督下提升图级异常检测性能，实验显示在多种GNNs和数据集上显著提升AUROC、AUPRC和F1分数。
2025-09-25 cs.AI cs.LG
GraphPatcher: Mitigating Degree Bias for Graph Neural Networks via Test-time Augmentation
University of Notre Dame（圣母大学）；Snap Inc.（Snap公司）
针对图神经网络对低度节点的度偏差问题，提出测试时增强框架GraphPatcher，通过迭代生成虚拟节点修补扰动节点，兼顾高低度节点性能，且模型无关，在7个基准上效果优于现有基线。
2023-10-01 cs.AI cs.LG
OCT-FedSIR: Toward Trustworthy Federated Ophthalmic Learning under Annotation Noise
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Wake Forest School of Medicine（维克森林大学医学院）
OCT-FedSIR提出可靠性感知谱框架，结合谱估计与重标记，在异构联邦眼科数据中有效识别并纠正注释噪声，提升分类准确率至86.73%。
2026-09-15 cs.AI cs.DC cs.LG
TADIL: Task-Agnostic Domain-Incremental Learning through Task-ID Inference using Transformer Nearest-Centroid Embeddings
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Lenovo Infrastructure Solutions Group（联想基础设施方案集团）
本文提出TADIL，一种通过Transformer最近质心嵌入推断任务ID的无监督域增量学习流程，在SODA10M数据集上达到与真实标签方法相当的性能。
2023-06-21 cs.CV cs.LG
