Learning across label confidence distributions using Filtered Transfer Learning
Cyclica（赛克利卡公司）；University of Toronto（多伦多大学）；Princess Margaret Cancer Centre（玛格丽特公主癌症中心）；University Health Network（大学健康网络）；Vector Institute（向量研究所）
神经网络模型的性能依赖于具有最小不确定性水平的大型数据集的可用性。迁移学习（TL）模型已经被提出来通过让模型在更大的、任务相关的参考数据集上进行训练，然后在更小的、特定于任务的数据集上进行微调来解决小数据集大小的问题。在这项工作中，我们应用迁移学习方法来提高噪声数据系统中的预测能力与大型可变置信度数据集。我们提出了一种称为过滤迁移学习（FTL）的深度神经网络方法，该方法将多层数据置信度定义为迁移学习设置中的单独任务。深度神经网络在分层过程中通过迭代地移除（过滤）具有较低标签置信度的数据点并进行再训练来进行微调。在这份报告中，我们使用FTL预测药物和蛋白质的相互作用。我们证明了使用FTL在标签置信度分布上逐步学习，与在单个置信度范围上训练的深度神经网络模型相比，可以获得更高的性能。我们预计这种方法将使机器学习社区能够从生物学和医学等领域具有不确定标签的大型数据集中受益。
2020-06-03 cs.LG stat.ML
Part-dependent Label Noise: Towards Instance-dependent Label Noise
University of Sydney（悉尼大学）；Xidian University（西安电子科技大学）；Hong Kong Baptist University（香港浸会大学）；University of Melbourne（墨尔本大学）；Brain-Inspired Technology Co., Ltd（脑启科技有限公司）；RIKEN（理化学研究所）；University of Tokyo（东京大学）
使用\textit{instance-dependent}标签噪声进行学习具有挑战性，因为很难对这种真实世界的噪声进行建模。请注意，有心理和生理证据表明，我们人类通过将实例分解为部分来感知它们。因此，注释器更有可能基于部分而不是整个实例来注释实例，其中从部分到类的错误映射可能导致依赖于实例的标签噪声。受这种人类认知的启发，本文利用\textit{part-dependent}标签噪声来近似实例相关的标签噪声。具体地说，由于实例可以近似地由部分的组合重建，我们近似的实例依赖的\textit{transition matrix}的实例的部分的转移矩阵的组合。可以通过利用锚点（即，几乎肯定属于特定类的数据点）。对合成和真实世界数据集的实证评估表明，我们的方法优于从实例相关标签噪声中学习的最先进方法。
2020-12-03 cs.LG stat.ML
Understanding Instance-Level Label Noise: Disparate Impacts and Treatments
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文旨在提供对过参数化模型（例如，深度神经网络）记忆实例相关噪声标签的效果的理解。我们首先量化了记忆噪声实例所造成的危害，并显示了不同的代表频率的样本实例的噪声标签的不同影响。然后，我们分析了几种流行的带噪声标签的学习解决方案如何在实例级别减轻这种伤害。我们的分析表明，现有的方法导致不同的治疗时，处理嘈杂的情况。虽然通过应用这些解决方案，较高频率的实例通常有很高的改善概率，但较低频率的实例却没有。我们的分析揭示了新的理解，当这些方法的工作，并提供了理论依据，以前报道的经验观察。这一观察结果要求我们重新思考标签噪声在实例中的分布，并呼吁对不同制度中的实例进行不同的处理。
2021-07-13 cs.LG stat.ML
From matrix inversion to constraints: provably tighter confidence regions for importance weights in label shift
The Pennsylvania State University（宾夕法尼亚州立大学）
针对标签偏移中重要性权重估计的不确定性，提出直接矩阵约束框架替代基于求逆的推断，通过线性规划提取边际区间，获得可证明更紧且有限样本有效的置信域，在多个基准上优于现有方法。
2026-09-15 cs.LG stat.ML
Multi-View Multi-Instance Multi-Label Learning based on Collaborative Matrix Factorization
Southwest University（西南大学）；China University of Geosciences（中国地质大学）；George Mason University（乔治梅森大学）；Deakin University（迪肯大学）；Beijing University of Civil Engineering and Architecture（北京建筑大学）
多视图多实例多标签学习（M3L）处理包含不同实例的复杂对象，使用不同的特征视图表示，并使用多个标签进行注释。现有的M3L解决方案仅部分探索对象（或包），实例和标签之间的内部或内部关系，这些关系可以传达M3L的重要上下文信息。因此，它们可能具有受损的性能。在本文中，我们提出了一个协作矩阵分解为基础的解决方案，称为M3Lcmf。M3Lcmf首先使用由包、实例和标签节点组成的异构网络，通过多个关系数据矩阵对不同类型的关系进行编码。为了保持数据矩阵的内在结构，M3Lcmf将它们协作分解为低秩矩阵，探索包，实例和标签之间的潜在关系，并有选择地合并数据矩阵。进一步引入了一种聚合机制，将实例级标签聚合到包级，并指导因子分解。在基准数据集上的实证研究表明，M3Lcmf在实例级和包级预测方面都优于其他相关竞争解决方案。
2019-05-15 cs.LG stat.ML
Block-wise Partitioning for Extreme Multi-label Classification
University of California, Davis（加州大学戴维斯分校）
极端多标签分类的目标是学习一个分类器，该分类器使用来自极大标签集的相关标签子集来注释实例。许多现有的解决方案将标签矩阵嵌入到低维线性子空间中，或者通过线性扫描来检查测试实例与每个标签的相关性。然而，在实践中，这些方法在计算上可能过高。为了缓解这一缺点，我们提出了一个分块分区（BP）的预处理，将所有的实例划分为不相交的集群，其中每个最频繁标记的标签子集。一个多标签分类器在一对实例和标签集群上进行训练，并且通过首先将测试实例的标签集传递到最合适的实例集群来预测测试实例的标签集。在基准多标签数据集上的实验表明，BP预处理显著减少了预测时间，并保持了几乎相同的预测精度。
2018-11-04 cs.LG stat.ML
Instance-dependent Label-noise Learning under a Structural Causal Model
University of Sydney（悉尼大学）；University of Melbourne（墨尔本大学）；Hong Kong Baptist University（香港浸会大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Carnegie Mellon University（卡内基梅隆大学）
标签噪声会降低深度学习算法的性能，因为深度神经网络很容易过拟合标签错误。让X和Y分别表示实例和干净标签。当Y是X的原因时，根据该原因已经构建了许多数据集，例如，SVHN和CIFAR，P（X）和P（Y）的分布|（X）纠缠。这意味着无监督的实例有助于学习分类器，从而减少标签噪声的副作用。然而，如何利用因果信息来处理标签噪声问题仍然是难以捉摸的。在本文中，通过利用结构因果模型，我们提出了一种新的生成方法的实例依赖的标签噪声学习。特别是，我们表明，适当建模的实例将有助于识别的标签噪声转移矩阵，从而导致一个更好的分类。从经验上讲，我们的方法在合成和真实世界的标签噪声数据集上都优于所有最先进的方法。
2022-06-03 cs.LG stat.ML
Learning with Bounded Instance- and Label-dependent Label Noise
University of Sydney（悉尼大学）；University of Science and Technology of China（中国科学技术大学）；University of Melbourne（墨尔本大学）
实例和标签相关的标签噪声（ILN）广泛存在于现实世界的数据集，但很少被研究。在本文中，我们专注于有界的实例和标签相关的标签噪声（BILN），一个特殊的情况下，ILN的标签噪声率-的概率，真正的标签的例子翻转到损坏的-有上限小于$1$。具体来说，我们介绍的概念，蒸馏的例子，即例子的标签是相同的标签分配给他们的贝叶斯最优分类器，并证明在一定条件下，分类器学习蒸馏的例子将收敛到贝叶斯最优分类器。受提取的例子学习的想法的启发，我们提出了一个学习算法的理论保证其鲁棒性BILN。最后，在合成数据集和真实数据集上的实验结果表明了该算法在BILN学习中的有效性。
2020-12-11 cs.LG stat.ML
Semi-supervised learning by selective training with pseudo labels via confidence estimation
Sony Corporation（索尼公司）
我们提出了一种新的半监督学习（SSL）方法，采用选择性训练与伪标签。在我们的方法中，我们生成硬伪标签，并估计它们的置信度，这表示每个伪标签正确的可能性。然后，我们显式地选择应该使用哪些伪标记数据来更新模型。具体地，假设错误伪标记数据的损失相对于数据增强敏感地增加，我们选择与应用数据增强之后的相对小的损失相对应的数据。置信度不仅用于筛选待选择的伪标记数据的候选者，而且用于自动地决定在小批量内应该选择多少伪标记数据。由于准确估计的信心是至关重要的，在我们的方法中，我们还提出了一个新的数据增强方法，称为MixConf，使我们能够获得信心校准模型，即使当训练数据的数量很小。几个基准数据集的实验结果验证了我们的SSL方法以及MixConf的优势。
2021-03-15 cs.LG
DBC-Forest: Deep forest with binning confidence screening
School of Artificial Intelligence, Hebei University of Technology（河北工业大学人工智能学院）；Hebei Key Laboratory of Big Data Computing（河北省大数据计算重点实验室）；School of Economics and Management, Hebei University of Technology（河北工业大学经济管理学院）；State Key Laboratory of Reliability and Intelligence of Electrical Equipment, Hebei University of Technology（河北工业大学省部共建电工装备可靠性与智能化国家重点实验室）；Alibaba Group（阿里巴巴集团）
作为一种深度学习模型，深度置信度筛选森林（gcForestcs）在各种应用中取得了巨大的成功。与传统的深度森林方法相比，gcForestcs通过将高置信度区域中的一些实例直接传递到最终阶段，有效地降低了高时间成本。然而，在高置信度区域中存在一组精度较低的实例，称为误划分实例。为了发现这些错误划分的实例，本文提出了一种深度分箱置信度筛选森林（DBC-Forest）模型，该模型根据置信度将所有实例打包到bin中。通过这种方式，可以将更准确的实例传递到最后阶段，并提高性能。实验结果表明，DBC-Forest对相同的超参数实现了高度准确的预测，并且比其他类似模型更快地达到相同的精度。
2021-12-25 cs.LG
Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model
Nanjing University of Science and Technology（南京理工大学）；Hong Kong Baptist University（香港浸会大学）；The University of Sydney（悉尼大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心（AIP））；Hong Kong Polytechnic University（香港理工大学）
数据量的急剧增加往往会带来数据质量的严重下降，如不正确的标签标注，这对鲁棒训练深度神经网络（DNN）提出了很大的挑战。现有的学习\mbox{methods}与标签噪声采用ad-hoc算法或限制到特定的噪声假设。然而，更一般的情况下，如依赖实例的标签噪声，还没有得到充分的探讨，因为很少的研究集中在他们的标签腐败过程。通过将实例分类为混淆实例和非混淆实例，本文提出了一种简单而通用的概率模型，该模型将噪声标签与其实例显式关联。所得到的模型可以通过DNN来实现，其中训练过程通过采用交替优化算法来完成。在具有合成和真实世界标签噪声的数据集上的实验验证了所提出的方法在鲁棒性上比最先进的方法有显着的改进。
2022-03-17 cs.LG stat.ML
Confidence-Constrained Maximum Entropy Framework for Learning from Multi-Instance Data
Oregon State University（俄勒冈州立大学）
多实例数据（其中每个对象（包）包含实例的集合）广泛存在于机器学习、计算机视觉、生物信息学、信号处理和社会科学中。我们提出了一个最大熵（ME）框架，从多实例数据学习。在这种方法中，每个袋子表示为一个分布使用ME的原则。我们引入了置信约束ME（CME）的概念，同时学习的分布空间的结构，并推断每个分布。每个密度下的共享结构用于从每个包内的实例中学习。建议的CME是免费的调谐参数。我们设计了一个快速的优化算法，能够处理大规模的多实例数据。在实验部分中，我们评估了所提出的方法在分布空间中的精确秩恢复方面的性能，并将其与正则化ME方法进行了比较。此外，我们比较了CME的性能与多实例学习（MIL）的国家的最先进的算法，并显示出相当的性能，在准确性与降低计算复杂性。
2016-03-07 cs.IT cs.LG math.IT
Kernel Mean Embedding of Instance-wise Predictions in Multiple Instance Regression
Imperial College London（帝国理工学院）
在本文中，我们提出了一个扩展现有的算法（实例MIR），解决多实例回归（MIR）问题，也被称为分布回归。当数据是一组行李时，MIR设置出现，其中每个行李由对应于相同且唯一的实值标签的多个实例组成。MIR算法的目标是找到一个从一个看不见的包的实例到它的目标值的映射。instance-MIR算法单独处理所有实例，并将每个实例映射到一个标签。然后将最终的袋子标签作为该给定袋子的预测的平均值或中值。虽然它在概念上很简单，但采用单个统计数据来总结每个袋子中标签的分布是一个局限性。尽管存在这种性能瓶颈，实例MIR算法已被证明是有竞争力的，当与当前最先进的方法相比。我们通过计算每个袋子的预测标签分布的内核均值嵌入来解决上述问题，并从这些嵌入中学习袋子标签的回归量。我们在五个真实世界的数据集上测试了我们的算法（instance-kme-MIR），并在所有数据集上获得了比基线instance-MIR更好的结果，同时在其中两个数据集上获得了最先进的结果。
2019-08-18 cs.LG stat.ML
Multi-typed Objects Multi-view Multi-instance Multi-label Learning
Southwest University（西南大学）；Shandong University（山东大学）；Joint SDU-NTU Centre for Artificial Intelligence Research（山东大学-南洋理工大学人工智能联合研究中心）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；George Mason University（乔治梅森大学）
多类型对象多视图多实例多标签学习（M4 L）处理互连的多类型对象（或包），这些对象由不同的实例组成，用异构特征视图表示，并用一组非排他性但语义相关的标签进行注释。M4 L比典型的多视图多实例多标签学习（M3 L）更通用和强大，M3 L仅适应单一类型的包，并且缺乏对物理世界中自然互连的多类型对象进行联合建模的能力。为了应对这种新颖而具有挑战性的学习任务，我们开发了一种基于联合矩阵分解的解决方案（M4 L-JMF）。特别地，M4 L-JMF首先将多类型袋子之间的不同属性和多个内部关联编码到相应的数据矩阵中，然后将这些矩阵联合分解为低秩矩阵，以探索每个袋子及其实例（如果有的话）的复合潜在表示。此外，它还引入了一个调度和聚合项，将行李的标签分发给各个实例，并以一致的方式将实例的标签重新聚合到其附属行李。在基准数据集上的实验结果表明，M4 L-JMF在这个新问题上取得了比现有M3 L解决方案的简单适应更好的结果。
2020-10-06 cs.LG stat.ML
Confidence Self-Calibration for Multi-Label Class-Incremental Learning
School of Automation, Southeast University（东南大学自动化学院）；CRIPAC（中国科学院自动化研究所模式识别国家重点实验室）；MAIS（多模态人工智能系统实验室）；CASIA（中国科学院自动化研究所）
针对 MLCIL 中部分标签导致的高置信误报和遗忘问题，提出 CSC，以动态标签关系图和最大熵正则化实现置信度自校准，并在 MS-COCO、PASCAL VOC 上达到最先进性能。
2024-08-12 cs.CV cs.LG
Recovering Accurate Labeling Information from Partially Valid Data for Effective Multi-Label Learning
Jilin University（吉林大学）；Hefei University of Technology（合肥工业大学）
部分多标签学习（PML）旨在从带有噪声监督的数据集中诱导多标签预测器，其中每个训练实例与多个候选标签相关联，但仅部分有效。为了解决噪声问题，现有的PML方法基本上通过利用候选标签的地面实况置信度（\ie，候选标签是地面实况标签的可能性）来恢复地面实况标签。然而，它们忽略了来自非候选标签的信息，这可能有助于地面实况标签恢复。在本文中，我们提出了恢复地面真理标签，\ie估计地面真理的信心，从标签富集，组成的候选标签的相关度和非候选标签的无关度。在此基础上，我们进一步开发了一种新的两阶段PML方法，即\emph{\underline{P}artial \underline{M}ulti-\underline{L}abel \underline{L}earning with \underline{L}abel \underline{E}nrichment-\underline{R}ecovery}（\baby），其中在第一阶段，它估计标签富集与无约束的标签传播，然后联合学习地面真实的信心和多标签预测给定的标签富集。实验结果验证了\baby优于最先进的PML方法。
2020-06-20 cs.LG stat.ML
Label-Only Membership Inference Attacks
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Stanford University（斯坦福大学）；Google（谷歌）
成员推断攻击是机器学习模型中最简单的隐私泄露形式之一：给定一个数据点和模型，确定该点是否用于训练模型。现有的成员推断攻击利用模型在查询其训练数据时的异常置信度。如果对手只访问模型的预测标签，而没有置信度，这些攻击就不适用。在本文中，我们介绍了标签的唯一成员推断攻击。我们的攻击不依赖于置信度得分，而是评估模型预测标签在扰动下的鲁棒性，以获得细粒度的成员资格信号。这些扰动包括常见的数据增强或对抗性示例。我们的经验表明，我们的标签只有成员推断攻击执行与以前的攻击，需要访问模型的信心。我们进一步证明，标签攻击打破多重防御成员推断攻击（隐式或显式）依赖于一种现象，我们称之为信心掩蔽。这些防御修改模型的置信度分数以阻止攻击，但保持模型的预测标签不变。我们的标签攻击表明，信心掩蔽是不是一个可行的防御策略，对成员推理。最后，我们研究了最坏情况下的仅标签攻击，即推断少数离群数据点的成员资格。我们发现，在这种情况下，仅标签攻击也匹配基于信任的攻击。我们发现，具有差分隐私和（强）L2正则化的训练模型是唯一已知的成功阻止所有攻击的防御策略。即使在差分隐私预算太高而无法提供有意义的可证明保证时，这仍然是正确的。
2021-12-05 cs.CR cs.LG stat.ML
Constrained Instance and Class Reweighting for Robust Learning under Label Noise
Google Research（谷歌研究院）
深度神经网络在监督学习中表现出令人印象深刻的性能，这是由于它们能够很好地适应所提供的训练数据。然而，它们的性能在很大程度上取决于训练数据的质量，并且在存在噪声的情况下经常会降低。我们提出了一个原则性的方法来处理标签噪声，目的是为单个实例和类标签分配重要性权重。我们的方法通过制定一类约束优化问题，这些重要性权重产生简单的封闭形式更新。所提出的优化问题是解决每个小批量，这消除了存储和更新整个数据集的权重的需要。我们的优化框架还提供了一个理论的角度对现有的标签平滑算法，以解决标签噪声（如标签自举）。我们在几个基准数据集上评估了我们的方法，并在存在标签噪声的情况下观察到相当大的性能增益。
2021-11-09 cs.LG stat.ML
On the Role of Dataset Quality and Heterogeneity in Model Confidence
University of California, Riverside（加州大学河滨分校）
安全关键型应用需要机器学习模型来输出准确且经过校准的概率。虽然未经校准的深度网络会做出过度自信的预测，但目前还不清楚模型的置信度如何受到数据变化的影响，例如标签噪声或类别大小。在本文中，我们通过研究数据集大小和标签噪声对模型置信度的影响来研究数据集质量的作用。我们从理论上解释并通过实验证明，令人惊讶的是，训练数据中的标签噪声会导致信心不足的网络，而减少数据集大小会导致过度自信的模型。然后，我们研究了数据集异质性的影响，其中数据质量在不同类别之间存在差异，对模型的信心。我们证明，这会导致异质性的信心/准确性行为的测试数据，是不好的标准校准算法处理。为了克服这一点，我们提出了一个直观的异构校准技术，并表明所提出的方法导致CIFAR数据集上的校准指标（平均和最坏情况下的错误）的改善。
2020-02-23 cs.LG stat.ML
Improving Classifier Confidence using Lossy Label-Invariant Transformations
PRECISE Center（PRECISE中心）；University of Pennsylvania（宾夕法尼亚大学）
提供可靠的模型不确定性估计对于自主智能体和人类都能够做出稳健的决策至关重要。虽然最近在训练模型的置信度校准方面取得了重大进展，但大多数校准模型中仍然存在校准不良的例子。因此，已经提出了利用输入的标签不变变换（即，输入歧管）以改善最坏情况的置信度校准。然而，基于流形的置信度校准技术在应用于具有大输入空间的模型（例如，ImageNet）。在本文中，我们提出了递归有损标签不变校准（ReCal）技术，该技术利用标签不变的输入变换，诱导歧视性信息的损失递归分组（和校准）输入-而不需要模型再训练。我们证明了ReCal在多个数据集上的性能优于其他校准方法，特别是在ImageNet等大规模数据集上。
2020-11-09 cs.LG
Binary Classification with Instance and Label Dependent Label Noise
University of California, Berkeley（加州大学伯克利分校）
针对实例与标签共同依赖的标签噪声二分类问题，本文通过匹配上下界证明经验风险最小化达到最优超额风险，并说明无干净样本或强分布假设时无法仅靠含噪样本学习。
2023-06-06 cs.LG stat.ML
Multi-Instance Partial-Label Learning: Towards Exploiting Dual Inexact Supervision
Southeast University（东南大学）
弱监督机器学习算法能够从模糊的样本或标签中学习，例如，多示例学习或部分标记学习。然而，在一些现实任务中，每个训练样本不仅与多个实例相关联，而且与包含一个地面真值标签和一些假阳性标签的候选标签集相关联。具体而言，至少一个实例属于地面实况标签，而没有实例属于假阳性标签。在本文中，我们形式化的多实例部分标记学习（MIPL）等问题。现有的多实例学习算法和部分标签学习算法是次优的解决MIPL问题，因为前者不能消除歧义的候选标签集，后者不能处理多实例袋。为了解决这些问题，一个定制的算法命名为MIPLGP，即，提出了一种基于高斯过程的多示例部分标记学习算法。MIPLGP首先在扩展的标签空间中为每个实例分配一个候选标签集，然后通过排他消歧策略将候选标签集转换到对数空间中，得到消歧后的连续标签，最后基于高斯过程建立模型。在不同数据集上的实验结果验证了MIPLGP在解决MIPL问题上优于成熟的多示例学习和部分标记学习算法。我们的代码和数据集将公开提供。
2022-12-18 cs.LG
Distill-to-Label: Weakly Supervised Instance Labeling Using Knowledge Distillation
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；IBM Research（IBM研究院）
仅使用图像级标签代替昂贵的细粒度像素注释的弱监督实例标记在包括医学图像分析在内的几个应用中至关重要。与传统的计算机视觉中的实例分割方案相比，我们考虑的问题的特征在于少量的训练图像和导致诊断的非局部模式。在本文中，我们探讨了使用多实例学习（MIL）设计一个实例标签生成器在这种弱监督设置。由于观察到MIL模型可以处理不同大小的袋子，我们建议重新使用最初为袋子级别分类训练的MIL模型，以产生单个实例的可靠预测，即，尺寸为$1$的袋子。为此，我们引入了一种新的正则化策略，基于虚拟对抗训练，以改善MIL训练，并随后开发了一种知识蒸馏技术，用于重新利用训练的MIL模型。通过对组织病理学图像中结肠癌和乳腺癌检测的实证研究，我们证明了所提出的方法可以产生高质量的实例级预测，并且显著优于MIL方法。
2019-07-26 cs.CV cs.LG stat.ML
Confidence Calibration of Deep Learning Systems
Faculty of Engineering, Bar-Ilan University（巴伊兰大学工程学院）
本论文针对标签噪声、无监督域适应及隐私保护场景，开发深度学习系统的置信度校准方法，提升其在实际部署中的可靠性与安全性。
2026-08-13 cs.AI cs.LG stat.ML
Confidence Adaptive Regularization for Deep Learning with Noisy Labels
McMaster University（麦克马斯特大学）
最近关于深度神经网络对噪声标签的记忆效果的研究表明，网络首先拟合正确标记的训练样本，然后再记忆错误标记的样本。受这种早期学习现象的启发，我们提出了一种新的方法来防止记忆错误标记的样本。与现有的方法，使用模型输出来识别或忽略错误标记的样本，我们引入了一个指标分支到原始模型，使模型能够产生每个样本的置信度值。置信度值被纳入我们的损失函数，该函数被学习为将大置信度值分配给正确标记的样本，将小置信度值分配给错误标记的样本。我们还提出了一个辅助正则化项，以进一步提高模型的鲁棒性。为了提高性能，我们逐渐纠正噪声标签与一个精心设计的目标估计策略。我们提供了理论分析，并在合成和真实世界的数据集上进行实验，证明我们的方法取得了与最先进的方法相当的结果。
2021-09-05 cs.CV cs.LG
Multi-Instance Causal Representation Learning for Instance Label Prediction and Out-of-Distribution Generalization
Nanjing University（南京大学）；Southeast University（东南大学）
多实例学习（MIL）处理表示为实例袋的对象，并可以从袋级监督中预测实例标签。然而，显着的性能差距之间存在的实例级MIL算法和监督学习者，因为实例标签是不可用的MIL。大多数现有的MIL算法解决这个问题，处理多实例袋有害的歧义和预测实例标签，通过减少监督不准确。本文从一个新的角度研究MIL，将袋子作为辅助信息，并利用它从袋子级弱监督中识别实例级因果表示。我们提出了CauseMIL算法，它不仅擅长于实例标签预测，但也提供了鲁棒性的分布变化，协同集成MIL与可识别的变分自编码器。我们的方法是基于一个实际的和一般的假设：先验分布的实例潜在的表示属于非因式分解的指数族条件的多实例袋。在合成数据集和真实数据集上的实验表明，我们的方法在实例标签预测和分布外泛化任务上的性能明显优于各种基线。
2022-10-05 cs.LG
Iterative Label Improvement: Robust Training by Confidence Based Filtering and Dataset Partitioning
University of Kassel（卡塞尔大学）；Robert Bosch GmbH（罗伯特博世有限公司）
最先进的高容量深度神经网络不仅需要大量的标记训练数据，它们还非常容易受到该数据中的标记错误的影响，通常导致大量的工作和成本，因此限制了深度学习的适用性。为了缓解这个问题，我们提出了一种新的Meta训练和标记方案，该方案能够利用深度神经网络的泛化能力，使用廉价的未标记数据。我们的实验表明，仅依靠一个网络架构和我们提出的迭代训练和预测步骤的方案，标签质量和所得模型的准确性都可以显着提高。我们的方法实现了最先进的结果，同时与架构无关，因此具有广泛的适用性。与其他处理错误标签的方法相比，我们的方法既不需要训练另一个网络，也不一定需要额外的高度准确的参考标签集。我们的技术不是从标记的集合中删除样本，而是使用额外的传感器数据，而无需手动标记。此外，我们的方法可以用于半监督学习。
2020-07-17 cs.CV cs.LG stat.ML
Leveraging Instance Features for Label Aggregation in Programmatic Weak Supervision
University of Washington（华盛顿大学）；Waseda University（早稻田大学）
程序化弱监督（PWS）已经成为一种广泛的范式，以有效地综合训练标签。PWS的核心组成部分是标签模型，它通过聚合抽象为标签函数（LF）的多个噪声监督源的输出来推断真实标签。现有的统计标签模型通常只依赖于LF的输出，在对底层生成过程建模时忽略了实例特征。在本文中，我们试图通过建议的FABLE将实例特征纳入统计标签模型。特别是，它建立在贝叶斯标签模型的混合物上，每个模型对应于一个全局相关模式，并且混合成分的系数由基于实例特征的高斯过程分类器预测。我们采用一种基于辅助变量的变分推理算法来解决高斯过程和贝叶斯标签模型之间的非共轭问题。对11个基准数据集的广泛实证比较显示，FABLE在9个基线上实现了最高的平均性能。
2022-10-09 cs.LG stat.ME stat.ML
Confidence HNC: A Network Flow Technique for Binary Classification with Noisy Labels
University of California, Berkeley（加利福尼亚大学伯克利分校）
针对带噪声标签的二分类问题，提出基于HNC的Confidence HNC方法，通过引入置信度权重允许标签被违反并施加惩罚，利用参数化割网络流技术高效求解，在真实和合成数据上均提升了分类准确率与噪声检测能力。
2025-03-04 cs.LG
Exploiting Class Similarity for Machine Learning with Confidence Labels and Projective Loss Functions
Carnegie Mellon University（卡内基梅隆大学）
用于机器学习的类标签是相互关联的，某些类标签比其他类标签更相似（例如，猫和狗的图像比猫和汽车的图像更相似）。类之间的这种相似性通常是由于模型之间的混淆而导致模型性能差的原因。当前的标记技术不能明确地捕获这样的相似性信息。在本文中，我们而是利用类之间的相似性捕获的相似性信息与我们的新的信心标签。置信度标签是概率标签，表示类之间的相似性或易混淆性的可能性。通常，即使在训练模型以区分特征空间中的类别之后，相似类别的潜在空间仍然保持聚类。我们认为这种类型的聚类作为有价值的信息，并利用我们的新的投影损失函数。我们的投影损失函数被设计为与置信度标签一起工作，并且能够放松对混淆相似类的错误的损失惩罚。我们使用我们的方法来训练带有噪声标签的神经网络，因为我们相信噪声标签部分是由于类相似性引起的混淆。与使用标准损失函数相比，我们显示出改进的性能。我们使用CIFAR-10数据集进行了详细的分析，并展示了我们提出的方法对较大数据集的适用性，例如ImageNet和Food-101 N。
2021-03-25 cs.AI cs.CV cs.LG
Learning with Confidence: Training Better Classifiers from Soft Labels
Utrecht University（乌得勒支大学）；University Medical Center Utrecht（乌得勒支大学医学中心）
研究纳入标签不确定性（软标签）对分类模型性能的影响，通过模拟和合成数据实验表明，软标签学习（SLL）方法在多数设置下优于硬标签方法，并在现实数据上提供更准确的置信度估计。
2024-09-24 cs.LG
Learning from Noisy Label Distributions
Software Technology and Artificial Intelligence Research Laboratory (STAIR Lab), Chiba Institute of Technology（千叶工业大学软件技术与人工智能研究实验室（STAIR Lab））
在本文中，我们考虑了一个新的机器学习问题，即从噪声标签分布中学习分类器。在这个问题中，每个具有特征向量的实例至少属于一个组。然后，代替每个实例的真实标签，我们观察与组相关联的实例的标签分布，其中标签分布被未知噪声扭曲。我们的目标是（1）估计每个实例的真实标签，以及（2）学习一个分类器来预测新实例的真实标签。我们提出了一个概率模型，认为真正的标签分布的群体和参数，代表作为隐藏变量的噪声。该模型可以基于变分贝叶斯方法来学习。在数值实验中，我们表明，该模型优于现有的方法在估计的真实标签的实例。
2017-08-11 cs.AI cs.LG stat.ML
Confidence-based Graph Convolutional Networks for Semi-Supervised Learning
Indian Institute of Science（印度科学研究所）
预测图中节点的性质是一个重要的问题，在许多领域都有应用。基于图的半监督学习（SSL）方法旨在通过将节点的一小部分标记为种子，然后利用图结构来预测图中其余节点的标签分数来解决这个问题。最近，图卷积网络（GCN）在基于图的SSL任务上取得了令人印象深刻的性能。除了标签分数之外，还期望具有与其相关联的置信度分数。不幸的是，在GCN的背景下的置信度估计还没有被探索过。我们在本文中填补了这一重要空白，并提出了ConfGCN，它估计标签分数以及它们的置信度共同在基于GCN的设置。ConfGCN使用这些估计的置信度来确定在邻域聚合期间一个节点对另一个节点的影响，从而获得各向异性能力。通过对标准基准测试的广泛分析和实验，我们发现ConfGCN能够超越最先进的基线。我们提供了ConfGCN的源代码，以鼓励可重复的研究。
2019-02-12 cs.LG cs.SI stat.ML
Disambiguated Attention Embedding for Multi-Instance Partial-Label Learning
Southeast University（东南大学）；The University of Newcastle（纽卡斯尔大学）
针对现有多示例偏标签学习忽略全局包级信息且易受负示例影响的问题，提出DEMIPL，通过消歧注意力嵌入包表示并结合动量消歧识别真实标签，且在基准与真实结直肠癌数据集上验证了优势。
2023-09-28 cs.LG
Sparse Multidimensional Patient Modeling using Auxiliary Confidence Labels
University of Pittsburgh（匹兹堡大学）
在这项工作中，我们专注于学习的分类模型，对病人的电子健康记录（EHR）进行推理的问题。通常，需要大量昂贵的专家监督来学习这样的模型。为了降低这种成本，我们获得了置信度标签，表明专家在她提供的类别标签中的确定程度。如果可以将有意义的置信度信息并入学习方法中，则可能需要标记更少的患者实例来学习准确的模型。此外，虽然预测的准确性对于任何推理模型都很重要，但患者模型必须是可解释的，以便临床医生可以了解模型如何做出决策。为此，我们开发了一种新型的指标学习方法，称为基于置信度的指标学习（CAMEL），它支持包含置信度标签，但也以三种方式强调可解释性。首先，我们的方法诱导稀疏性，从而产生简单的模型，只使用患者EHR的一些功能。第二，CAMEL自然产生置信度分数，临床医生在做出治疗决定时可以考虑这些分数。第三，CAMEL学习的指标诱导多维空间，其中每个维度代表临床医生可以用来评估患者的不同“因素”。在我们的实验评估中，我们在真实世界的临床数据集上显示，我们的CAMEL方法能够学习与使用相同监督的其他方法一样或更准确的模型。此外，我们还表明，当CAMEL使用置信度分数时，它能够学习模型，甚至比我们测试的其他模型更准确，同时只使用10%的训练实例。最后，我们对CAMEL学习的指标进行了定性评估，并表明它们识别并清楚地阐明了模型如何进行推理的重要因素。
2015-07-28 cs.LG
When to Trust Confidence Thresholding: Calibration Diagnostics for Pseudo-Labelled Regression
Institute for Global Prosperity, The Bartlett, University College London（全球繁荣研究所，巴特利特学院，伦敦大学学院）
本文研究了在回归任务中使用置信度阈值的校准问题，提出了一种校准意识的诊断工具，通过分析残差分数方差预测偏倚，为伪标签流程提供决策规则。
2026-05-12 cs.LG stat.ME stat.ML
Label Noise-Robust Learning using a Confidence-Based Sieving Strategy
Technical University of Munich（慕尼黑工业大学）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；Imperial College London（帝国理工学院）
针对标签噪声导致模型记忆错误标签的问题，提出基于类别概率的置信度误差度量与 CONFES 筛选策略，并给出理论保证和实验验证。
2023-09-27 cs.LG
COLUR: Confidence-Oriented Learning, Unlearning and Relearning with Noisy-Label Data for Model Restoration and Refinement
Shanghai Jiao Tong University（上海交通大学）；Tongji University（同济大学）；Macquarie University（麦考瑞大学）；Shanghai Ballsnow Intelligent Technology Co. Ltd（上海Ballsnov智能技术有限公司）
针对噪声标签导致的模型性能退化，提出基于遗忘机制的COLUR框架，通过协同训练遗忘噪声影响并精炼置信度再学习，在四个真实数据集上优于现有方法。
2025-06-24 cs.LG
Rethinking the Value of Labels for Instance-Dependent Label Noise Learning
Southeast University（东南大学）；The University of Newcastle（纽卡斯尔大学）
针对实例相关标签噪声，提出基于因果表示学习的深度生成模型，避免显式建模噪声转移矩阵，利用结构因果模型监督信息，在合成与真实数据集上显著优于现有方法。
2023-05-14 cs.LG
Non-I.I.D. Multi-Instance Learning for Predicting Instance and Bag Labels using Variational Auto-Encoder
多示例学习是一种弱监督学习。它处理数据是一组袋子的任务，每个袋子是一组实例。仅观察到袋标签，而实例的标签未知。多实例学习的一个重要优点是，通过将对象表示为一组实例，它能够保持对象各部分之间的固有依赖关系。不幸的是，大多数现有的算法假设所有实例都是\textit{identically and independently distributed}，这违反了现实世界的场景，因为包中的实例很少是独立的。在这项工作中，我们提出了多实例变分自动编码器（MIVAE）算法，该算法显式地建模预测袋标签和实例标签的实例之间的依赖关系。在多个多实例基准测试和端到端医学成像数据集上的实验结果表明，MIVAE在实例标签和袋子标签预测任务上的表现优于最先进的算法。
2021-05-04 cs.AI cs.LG
Exploiting Conjugate Label Information for Multi-Instance Partial-Label Learning
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Key Lab. of Computer Network and Information Integration (Southeast University), MoE, China（教育部计算机网络与信息集成重点实验室（东南大学））；School of Information and Physical Sciences, The University of Newcastle（纽卡斯尔大学信息与物理科学学院）
针对多示例偏标记学习（MIPL）中忽视标签空间属性和非候选标签集监督信息的问题，提出ELIMIPL算法，通过提取候选与非候选标签集的共轭标签信息提升消歧性能，并在基准和真实数据集上验证了其优越性。
2024-08-26 cs.LG
CoVar: Confidence-Variance-Guided Pseudo-Label Selection for Semi-Supervised Learning
College of Artificial Intelligence, Shenzhen University（深圳大学人工智能学院）；School of Information and Electrical Engineering, Hunan University of Science and Technology（湖南科技大学信息与电气工程学院）；Information Hub, Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）信息中心）
提出CoVar框架，通过联合建模最大置信度和残差类方差来评估伪标签可靠性，利用SVD谱松弛分离可靠与不可靠预测，无需手动阈值，在分割和分类任务上取得提升。
2026-06-11 cs.AI cs.LG
Estimating Multi-label Accuracy using Labelset Distributions
Western Sydney University（西悉尼大学）；Ecole Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）
多标签分类器针对任何给定实例，估计概念标签集合中的每个概念标签的二进制标签状态（相关与不相关）。概率多标签分类器提供了一个预测后验分布在所有可能的标签集组合的标签状态（标签的幂集），我们可以提供最好的估计，简单地通过选择对应于最大的预期精度的标签集，在该分布。例如，在最大化精确匹配精度时，我们提供了分布的模式。但是，这与我们对这种估计的信心有什么关系呢？置信度是多标签分类器在现实世界中应用的一个重要元素（一般来说，就像在机器学习中一样），也是可解释性和可解释性的一个重要组成部分。然而，如何在多标签背景下提供与特定准确度度量相关的置信度并不明显，并且如何提供与预期准确度良好相关的置信度也不清楚，这在现实世界的决策制定中将是最有价值的。在这篇文章中，我们估计预期的准确度作为替代信心，对于一个给定的准确度度量。我们假设预期的准确性可以从多标记预测分布中估计。我们检查了七个候选函数，以确定它们从预测分布中估计预期准确度的能力。我们发现其中三个与预期的准确性相关，并且是鲁棒的。此外，我们确定每个候选函数可以单独用于估计汉明相似性，但是候选函数的组合对于预期的Jaccard索引和精确匹配是最好的。
2022-09-09 cs.LG
FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence
Google Research（谷歌研究院）
半监督学习（SSL）提供了一种利用未标记数据来提高模型性能的有效方法。在本文中，我们展示了两种常见SSL方法的简单组合：一致性正则化和伪标记。我们的算法FixMatch首先使用模型对弱增强未标记图像的预测生成伪标签。对于给定的图像，只有当模型产生高置信度预测时，才会保留伪标签。然后，该模型被训练为在输入同一图像的强增强版本时预测伪标签。尽管它很简单，但我们表明FixMatch在各种标准的半监督学习基准测试中实现了最先进的性能，包括CIFAR-10上94.93%的准确率（250个标签）和88.61%的准确率（40个标签）-每个类只有4个标签。由于FixMatch与现有的SSL方法有许多相似之处，这些方法的性能较差，因此我们进行了广泛的消融研究，以梳理对FixMatch成功最重要的实验因素。我们在https://github.com/google-research/fixmatch上提供我们的代码。
2020-11-25 cs.CV cs.LG stat.ML
Learning from Label Proportions with Instance-wise Consistency
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
从标签比例学习（LLP）是一种弱监督学习方法，其目的是从由包含多个实例的袋对和袋内的类标签比例组成的训练数据执行实例分类。以往的多类LLP研究根据学习任务的不同可以分为两大类：基于实例的标签分类和基于包的标签比例估计。然而，这些方法在应用于复杂模型时往往会导致风险的高方差估计，或者缺乏统计学习理论的论据。为了解决这个问题，我们提出了新的学习方法，基于统计学习理论的每实例和每袋的政策。我们证明了所提出的方法分别是风险一致性和分类器一致性的实例方式，并分析了估计误差界。此外，我们提出了一个启发式近似方法，利用现有的方法回归标签的比例，以减少所提出的方法的计算复杂性。通过基准实验，验证了所提方法的有效性.
2023-02-21 cs.LG
Active Learning in Incomplete Label Multiple Instance Multiple Label Learning
Oregon State University（俄勒冈州立大学）
在多实例多标签学习中，每个样本，一个袋子，由多个实例组成。为了减轻标记的复杂性，每个样本都与一组袋级标签相关联，使袋内的实例未标记。这种设置对于表示具有多个语义含义的复杂对象更方便和自然。与单实例标记相比，这种方法允许以相等的标记成本标记更大的数据集。然而，对于足够大的数据集，标记所有袋子可能变得过于昂贵。主动学习使用迭代标记和再训练方法，旨在使用少量标记样本提供合理的分类性能。据我们所知，只有少数作品在该地区的主动学习在MIML设置。这些方法可以提供实际的解决方案，以降低标签成本，但其有效性仍不清楚。在本文中，我们提出了一种新的袋类对为基础的主动学习方法在MIML设置。由于袋级标签的部分可用性，我们专注于所提出的主动学习方法的不完整标签MIML设置。我们的方法是基于一个有效率和准确的推理判别图形模型。对于查询过程中，我们适应主动学习标准的新袋类对选择策略。此外，我们引入了一个在线的随机梯度下降算法，以提供一个有效的模型更新后，每次查询。基准数据集上的数值实验表明了该方法的鲁棒性。
2021-07-26 cs.LG
Learning from Binary Labels with Instance-Dependent Corruption
Data61；Australian National University（澳大利亚国立大学）；Queensland University of Technology（昆士兰科技大学）；Microsoft Research Bangalore（微软研究院班加罗尔分院）
假设我们有一个实例样本，这些实例与被任意实例和标签相关噪声破坏的二进制标签配对。有了足够多的这样的样本，我们是否可以根据无噪声分布对实例进行最佳分类和排名？我们提供了一个理论分析这个问题，有三个主要贡献。首先，我们证明，对于依赖于实例的噪声，任何算法，是一致的分类上的噪声分布也是一致的清洁分布。其次，我们证明了，对于广泛的一类实例和标签相关的噪声，一个类似的一致性结果适用于ROC曲线下的面积。第三，对于后一种噪声模型，当无噪声类概率函数属于广义线性模型家族时，我们证明了Isotron可以有效地和可证明地从损坏的样本中学习。
2016-05-04 cs.LG
Binary Classification with Confidence Difference
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所高级智能项目中心）；Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）；Southeast University（东南大学）
针对逐点标注置信度获取困难的问题，本文提出置信度差异分类弱监督二分类任务，设计风险一致与风险校正两种方法并证明理论性质，实验验证其有效利用置信度差异监督信息。
2023-10-09 cs.LG
Reduction-based Pseudo-label Generation for Instance-dependent Partial Label Learning
School of Computer Science and Engineering（计算机科学与工程学院）；Southeast University（东南大学）
针对实例依赖偏标签学习中模型易过拟合错误候选标签的问题，提出多分支归约伪标签生成方法，并从理论上证明其更贴近Bayes最优分类器。
2024-10-28 cs.LG
Post-Calibration Reliability Reranking of Relevance Decisions via Label-wise Monotone Projection
UNIST（蔚山科学技术院）；LinqAlpha（林克阿尔法）
针对检索系统校准后仍存在的标签依赖可靠性差异，提出逐标签单调可靠性投影（MRP）方法，通过残余风险重排序提升重排序效果与弃权效用，同时保持准确率与ECE。
2026-08-12 cs.IR cs.LG
Learning from Label Proportions and Covariate-shifted Instances
Google DeepMind（谷歌DeepMind）
本文研究协变量偏移的混合 LLP 问题，在领域适应框架下提出新方法，将目标包标签与源实例标签结合以训练实例级预测器，理论证明目标泛化误差上界，并在公开数据集实验中优于 LLP 和领域适应基线。
2025-07-15 cs.LG
Delving into Instance-Dependent Label Noise in Graph Data: A Comprehensive Study and Benchmark
Pohang University of Science（光州科学技术大学）；Korea University（韩国大学）
针对现有图标签噪声研究忽略实例依赖噪声的问题，研究者推出BeGIN基准，含多类真实感噪声图数据集与模拟方法，实验揭示该噪声挑战及节点参数化的作用，为鲁棒GNN研究提供支撑。
2025-06-17 cs.AI cs.LG stat.ML
Learning from Similarity-Confidence and Confidence-Difference
Waseda University（早稻田大学）
本文提出一种新的弱监督学习框架，利用多视角互补的弱监督信号，通过整合相似性-置信度和置信度-差异两种弱标签，提升有限标注数据下的分类性能。
2026-03-23 cs.LG
Consistent Relative Confidence and Label-Free Model Selection for Convolutional Neural Networks
Research Center for Applied Mathematics and Machine Intelligence（应用数学与机器智能研究中心）；Zhejiang Lab（之江实验室）
在本文中，我们关注的是使用深度卷积神经网络（CNN）进行图像分类。我们关注以下问题：给定一组候选CNN模型，如何为当前任务选择具有最佳泛化性能的正确模型？当前的模型选择方法都需要访问一批标记数据来计算预先指定的性能度量，例如交叉熵损失、分类出错率和负对数似然。在许多实际情况下，标签无法及时提供，因为标签本身是一项耗时且昂贵的任务。为此，我们提出了一种仅使用未标记数据的CNN模型选择方法。我们开发这种方法的基础上的原则称为一致的相对置信度。在基准数据集上的实验结果证明了该方法的有效性和效率。
2022-05-31 cs.CV cs.LG
