Forming Auxiliary High-confident Instance-level Loss to Promote Learning from Label Proportions
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University（吉林大学符号计算与知识工程教育部重点实验室）
针对标签比例学习中伪标签因过度平滑而不准确的问题，提出L^2P-AHIL方法，利用双熵权重形成高置信度实例级损失并与包级损失联合优化，在基准数据集上超越现有方法，且包越大提升越显著。
2025-03-24 cs.AI cs.LG
Multi-Instance Causal Representation Learning for Instance Label Prediction and Out-of-Distribution Generalization
Nanjing University（南京大学）；Southeast University（东南大学）
多实例学习（MIL）处理表示为实例袋的对象，并可以从袋级监督中预测实例标签。然而，显着的性能差距之间存在的实例级MIL算法和监督学习者，因为实例标签是不可用的MIL。大多数现有的MIL算法解决这个问题，处理多实例袋有害的歧义和预测实例标签，通过减少监督不准确。本文从一个新的角度研究MIL，将袋子作为辅助信息，并利用它从袋子级弱监督中识别实例级因果表示。我们提出了CauseMIL算法，它不仅擅长于实例标签预测，但也提供了鲁棒性的分布变化，协同集成MIL与可识别的变分自编码器。我们的方法是基于一个实际的和一般的假设：先验分布的实例潜在的表示属于非因式分解的指数族条件的多实例袋。在合成数据集和真实数据集上的实验表明，我们的方法在实例标签预测和分布外泛化任务上的性能明显优于各种基线。
2022-10-05 cs.LG
Address Instance-level Label Prediction in Multiple Instance Learning
Fudan University（复旦大学）
\textit{Multiple Instance Learning}（MIL）关注的是从大量实例中学习，其中只给出了包标签，而实例标签是未知的。在这个领域中的有效方法主要是设计用于袋级标签预测（预测袋的标签），而不是实例级（预测实例的标签），任务丢失仅定义在袋级。这限制了它们在许多任务中的应用，在这些任务中，实例级标签更感兴趣。在本文中，我们提出了一种新的算法，其损失是专门定义在实例级，以解决实例级的标签预测在MIL。我们证明了该算法的损失可以无偏和一致的估计，而不使用实例标签，独立同分布假设。实验结果验证了上述结论，并表明，该算法可以实现优越的实例级和比较袋级的性能，相比国家的最先进的MIL方法。此外，它表明，所提出的方法可以实现类似的结果作为完全监督模型（训练与实例标签）的标签预测在实例级别。
2019-05-29 cs.LG stat.ML
Dynamic Programming for Instance Annotation in Multi-instance Multi-label Learning
Oregon State University（俄勒冈州立大学）
为分类标记数据需要大量的人力。为了降低标签成本，而不是标记每个实例，一组实例（袋）由单个袋标签标记。然后使用计算机算法来推断袋子中每个实例的标签，这一过程称为实例注释。由于实例标签的模糊性，这项任务具有挑战性。我们提出了一个判别概率模型的实例注释问题，并引入了一个期望最大化的推理框架，基于极大似然方法。对于许多概率方法，给定其袋标签的实例标签后验概率的蛮力计算是袋中实例数量的指数。我们的主要贡献是一个动态规划方法计算的后验是线性的实例数。我们评估我们的方法使用基准和现实世界的数据集，在域的鸟鸣，图像注释和活动识别。在许多情况下，所提出的框架优于，有时显着，目前最先进的MIML学习方法，无论是在实例标签预测和袋标签预测。
2014-11-14 cs.LG stat.ML
Non-Markovian Reward Modelling from Trajectory Labels via Interpretable Multiple Instance Learning
University of Southampton（南安普顿大学）；University of Bristol（布里斯托大学）；The Alan Turing Institute（阿兰·图灵研究所）
我们推广的奖励建模（RM）的问题，强化学习（RL）处理非马尔可夫奖励。现有的工作假设，人类评估员观察轨迹中的每一步独立提供反馈时，代理的行为。在这项工作中，我们删除了这个假设，扩展RM捕捉人类评估轨迹的时间依赖性。我们展示了如何RM可以作为一个多实例学习（MIL）的问题，轨迹被视为返回标签袋，和轨迹内的步骤是看不见的奖励标签的实例。我们继续开发新的MIL模型，能够捕获标记轨迹的时间依赖性。我们证明了一系列的强化学习任务，我们的新MIL模型可以重建奖励函数的高精度水平，并可用于训练高性能的代理政策。
2022-10-10 cs.AI cs.LG
Learning from Noisy Label Distributions
Software Technology and Artificial Intelligence Research Laboratory (STAIR Lab), Chiba Institute of Technology（千叶工业大学软件技术与人工智能研究实验室（STAIR Lab））
在本文中，我们考虑了一个新的机器学习问题，即从噪声标签分布中学习分类器。在这个问题中，每个具有特征向量的实例至少属于一个组。然后，代替每个实例的真实标签，我们观察与组相关联的实例的标签分布，其中标签分布被未知噪声扭曲。我们的目标是（1）估计每个实例的真实标签，以及（2）学习一个分类器来预测新实例的真实标签。我们提出了一个概率模型，认为真正的标签分布的群体和参数，代表作为隐藏变量的噪声。该模型可以基于变分贝叶斯方法来学习。在数值实验中，我们表明，该模型优于现有的方法在估计的真实标签的实例。
2017-08-11 cs.AI cs.LG stat.ML
Disambiguated Attention Embedding for Multi-Instance Partial-Label Learning
Southeast University（东南大学）；The University of Newcastle（纽卡斯尔大学）
针对现有多示例偏标签学习忽略全局包级信息且易受负示例影响的问题，提出DEMIPL，通过消歧注意力嵌入包表示并结合动量消歧识别真实标签，且在基准与真实结直肠癌数据集上验证了优势。
2023-09-28 cs.LG
MetaMIML: Meta Multi-Instance Multi-Label Learning
Southwest University（西南大学）；Shandong University（山东大学）；Joint SDU-NTU Centre for Artificial Intelligence Research（山东大学-南洋理工大学人工智能联合研究中心）；George Mason University（乔治梅森大学）
多实例多标签学习（MIML）对复杂对象（包）进行建模，每个对象都与一组相互关联的标签相关联，并由一组实例组成。当前的MIML解决方案仍然集中在单一类型的对象上，并假设训练数据的IID分布。但是这些对象与其他类型的对象链接，%（即，Facebook中的图片与各种用户链接），其还对目标对象的语义进行编码。此外，它们通常需要大量的标记数据进行训练。为了有效地挖掘不同类型的相互依赖的MIML对象，我们提出了一种基于网络嵌入和元学习的方法（MetaMIML）。MetaMIML引入网络嵌入的上下文学习器来获取不同类型对象的语义信息，引入任务学习器来提取Meta知识，以快速适应新的任务。这样，MetaMIML可以自然地处理MIML对象的数据级改进，但也利用元学习的力量，在模型增强。基准数据集上的实验表明，MetaMIML实现了显着优于国家的最先进的算法的性能。
2021-11-07 cs.AI cs.LG
Rethinking the Value of Labels for Instance-Dependent Label Noise Learning
Southeast University（东南大学）；The University of Newcastle（纽卡斯尔大学）
针对实例相关标签噪声，提出基于因果表示学习的深度生成模型，避免显式建模噪声转移矩阵，利用结构因果模型监督信息，在合成与真实数据集上显著优于现有方法。
2023-05-14 cs.LG
Exploiting Conjugate Label Information for Multi-Instance Partial-Label Learning
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Key Lab. of Computer Network and Information Integration (Southeast University), MoE, China（教育部计算机网络与信息集成重点实验室（东南大学））；School of Information and Physical Sciences, The University of Newcastle（纽卡斯尔大学信息与物理科学学院）
针对多示例偏标记学习（MIPL）中忽视标签空间属性和非候选标签集监督信息的问题，提出ELIMIPL算法，通过提取候选与非候选标签集的共轭标签信息提升消歧性能，并在基准和真实数据集上验证了其优越性。
2024-08-26 cs.LG
Part-dependent Label Noise: Towards Instance-dependent Label Noise
University of Sydney（悉尼大学）；Xidian University（西安电子科技大学）；Hong Kong Baptist University（香港浸会大学）；University of Melbourne（墨尔本大学）；Brain-Inspired Technology Co., Ltd（脑启科技有限公司）；RIKEN（理化学研究所）；University of Tokyo（东京大学）
使用\textit{instance-dependent}标签噪声进行学习具有挑战性，因为很难对这种真实世界的噪声进行建模。请注意，有心理和生理证据表明，我们人类通过将实例分解为部分来感知它们。因此，注释器更有可能基于部分而不是整个实例来注释实例，其中从部分到类的错误映射可能导致依赖于实例的标签噪声。受这种人类认知的启发，本文利用\textit{part-dependent}标签噪声来近似实例相关的标签噪声。具体地说，由于实例可以近似地由部分的组合重建，我们近似的实例依赖的\textit{transition matrix}的实例的部分的转移矩阵的组合。可以通过利用锚点（即，几乎肯定属于特定类的数据点）。对合成和真实世界数据集的实证评估表明，我们的方法优于从实例相关标签噪声中学习的最先进方法。
2020-12-03 cs.LG stat.ML
Learning from Label Proportions with Instance-wise Consistency
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
从标签比例学习（LLP）是一种弱监督学习方法，其目的是从由包含多个实例的袋对和袋内的类标签比例组成的训练数据执行实例分类。以往的多类LLP研究根据学习任务的不同可以分为两大类：基于实例的标签分类和基于包的标签比例估计。然而，这些方法在应用于复杂模型时往往会导致风险的高方差估计，或者缺乏统计学习理论的论据。为了解决这个问题，我们提出了新的学习方法，基于统计学习理论的每实例和每袋的政策。我们证明了所提出的方法分别是风险一致性和分类器一致性的实例方式，并分析了估计误差界。此外，我们提出了一个启发式近似方法，利用现有的方法回归标签的比例，以减少所提出的方法的计算复杂性。通过基准实验，验证了所提方法的有效性.
2023-02-21 cs.LG
Tackling Instance-Dependent Label Noise with Dynamic Distribution Calibration
Tsinghua University（清华大学）；Peng Cheng National Laboratory（鹏城国家实验室）
实例相关的标签噪声是现实的，但相当具有挑战性，其中标签损坏过程直接依赖于实例。它会导致训练数据和测试数据的分布之间出现严重的分布偏移，从而影响训练模型的泛化能力。以前的作品花了很大的努力来解决这个问题。不幸的是，这些作品总是高度依赖于强有力的假设，或者在没有理论保证的情况下保持启发性。本文针对实例相关标签噪声学习中的分布偏移问题，采用动态分布校正策略。具体来说，我们假设，在训练数据被标签噪声破坏之前，每个类在特征水平上符合多元高斯分布。标签噪声产生离群值以移动高斯分布。在训练过程中，我们分别提出了基于多元高斯分布均值和协方差的两种方法来校正移位分布。基于均值的方法以递归降维的方式工作，用于鲁棒均值估计，这在理论上保证了针对标签噪声训练高质量的模型。基于协方差的方法以分布扰动的方式工作，实验验证了这一点，以提高模型的鲁棒性。我们证明了我们的方法在具有合成标签噪声和真实世界未知噪声的数据集上的实用性和有效性。
2022-10-11 cs.AI cs.CV cs.LG
Active Learning in Incomplete Label Multiple Instance Multiple Label Learning
Oregon State University（俄勒冈州立大学）
在多实例多标签学习中，每个样本，一个袋子，由多个实例组成。为了减轻标记的复杂性，每个样本都与一组袋级标签相关联，使袋内的实例未标记。这种设置对于表示具有多个语义含义的复杂对象更方便和自然。与单实例标记相比，这种方法允许以相等的标记成本标记更大的数据集。然而，对于足够大的数据集，标记所有袋子可能变得过于昂贵。主动学习使用迭代标记和再训练方法，旨在使用少量标记样本提供合理的分类性能。据我们所知，只有少数作品在该地区的主动学习在MIML设置。这些方法可以提供实际的解决方案，以降低标签成本，但其有效性仍不清楚。在本文中，我们提出了一种新的袋类对为基础的主动学习方法在MIML设置。由于袋级标签的部分可用性，我们专注于所提出的主动学习方法的不完整标签MIML设置。我们的方法是基于一个有效率和准确的推理判别图形模型。对于查询过程中，我们适应主动学习标准的新袋类对选择策略。此外，我们引入了一个在线的随机梯度下降算法，以提供一个有效的模型更新后，每次查询。基准数据集上的数值实验表明了该方法的鲁棒性。
2021-07-26 cs.LG
Learning from Binary Labels with Instance-Dependent Corruption
Data61；Australian National University（澳大利亚国立大学）；Queensland University of Technology（昆士兰科技大学）；Microsoft Research Bangalore（微软研究院班加罗尔分院）
假设我们有一个实例样本，这些实例与被任意实例和标签相关噪声破坏的二进制标签配对。有了足够多的这样的样本，我们是否可以根据无噪声分布对实例进行最佳分类和排名？我们提供了一个理论分析这个问题，有三个主要贡献。首先，我们证明，对于依赖于实例的噪声，任何算法，是一致的分类上的噪声分布也是一致的清洁分布。其次，我们证明了，对于广泛的一类实例和标签相关的噪声，一个类似的一致性结果适用于ROC曲线下的面积。第三，对于后一种噪声模型，当无噪声类概率函数属于广义线性模型家族时，我们证明了Isotron可以有效地和可证明地从损坏的样本中学习。
2016-05-04 cs.LG
Understanding Instance-Level Label Noise: Disparate Impacts and Treatments
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文旨在提供对过参数化模型（例如，深度神经网络）记忆实例相关噪声标签的效果的理解。我们首先量化了记忆噪声实例所造成的危害，并显示了不同的代表频率的样本实例的噪声标签的不同影响。然后，我们分析了几种流行的带噪声标签的学习解决方案如何在实例级别减轻这种伤害。我们的分析表明，现有的方法导致不同的治疗时，处理嘈杂的情况。虽然通过应用这些解决方案，较高频率的实例通常有很高的改善概率，但较低频率的实例却没有。我们的分析揭示了新的理解，当这些方法的工作，并提供了理论依据，以前报道的经验观察。这一观察结果要求我们重新思考标签噪声在实例中的分布，并呼吁对不同制度中的实例进行不同的处理。
2021-07-13 cs.LG stat.ML
Reduction-based Pseudo-label Generation for Instance-dependent Partial Label Learning
School of Computer Science and Engineering（计算机科学与工程学院）；Southeast University（东南大学）
针对实例依赖偏标签学习中模型易过拟合错误候选标签的问题，提出多分支归约伪标签生成方法，并从理论上证明其更贴近Bayes最优分类器。
2024-10-28 cs.LG
Learning from Label Proportions and Covariate-shifted Instances
Google DeepMind（谷歌DeepMind）
本文研究协变量偏移的混合 LLP 问题，在领域适应框架下提出新方法，将目标包标签与源实例标签结合以训练实例级预测器，理论证明目标泛化误差上界，并在公开数据集实验中优于 LLP 和领域适应基线。
2025-07-15 cs.LG
Confidence Scores Make Instance-dependent Label-noise Learning Possible
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Hong Kong Baptist University（香港浸会大学）；University of Sydney（悉尼大学）；University of Tokyo（东京大学）
在带噪声标签的学习中，对于每个实例，其标签可以随机地沿着称为噪声模型的过渡分布移动到其他类。研究得很好的噪声模型都是与实例无关的，也就是说，转换只取决于原始标签，而不是实例本身，因此它们在野外不太实用。幸运的是，已经研究了基于实例相关噪声的方法，但大多数方法都依赖于对噪声模型的强假设。为了缓解这个问题，我们引入了置信度评分的实例相关噪声（CSIDN），其中每个实例标签对都配备了置信度评分。我们发现，在置信度的帮助下，每个实例的转移分布可以近似估计。类似于强大的前向校正实例无关的噪声，我们提出了一种新的CSIDN的实例级前向校正。我们证明了我们的方法的实用性和有效性，通过多个实验下的合成标签噪声和真实世界的未知噪声。
2021-02-22 cs.LG stat.ML
Delving into Instance-Dependent Label Noise in Graph Data: A Comprehensive Study and Benchmark
Pohang University of Science（光州科学技术大学）；Korea University（韩国大学）
针对现有图标签噪声研究忽略实例依赖噪声的问题，研究者推出BeGIN基准，含多类真实感噪声图数据集与模拟方法，实验揭示该噪声挑战及节点参数化的作用，为鲁棒GNN研究提供支撑。
2025-06-17 cs.AI cs.LG stat.ML
Mixed Blessing: Class-Wise Embedding guided Instance-Dependent Partial Label Learning
College of Software Engineering, Southeast University（东南大学软件学院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Yam Pak Charitable Foundation School of Computing and Information Sciences, Saint Francis University（圣弗朗西斯大学叶荫堂计算与信息科学学院）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）
针对实例依赖型部分标签学习中噪声标签既是助力又带来模糊性的问题，首次提出类别嵌入探索噪声标签关系，并引入类别原型消歧候选标签集，在六数据集上的实验证明其优于十二种现有方法。
2024-12-06 cs.LG
Polite Teacher: Semi-Supervised Instance Segmentation with Mutual Learning and Pseudo-Label Thresholding
AI Clearing, Inc.（AI Clearing公司）；University of Innsbruck（因斯布鲁克大学）；University of Warsaw（华沙大学）；Wageningen University & Research（瓦赫宁根大学及研究中心）
我们提出了礼貌的老师，一个简单而有效的方法，半监督实例分割的任务。建议的架构依赖于教师-学生相互学习的框架。为了过滤掉噪声伪标签，我们使用置信度阈值的边界框和面具得分的面具。该方法已被测试与CenterMask，一个单级无锚检测器。在COCO 2017 val数据集上进行测试，我们的架构显著（约+8页。在掩模AP中）在不同的监督制度下优于基线。据我们所知，这是解决半监督实例分割问题的第一个作品之一，也是第一个致力于无锚检测器的作品。
2022-11-07 cs.AI cs.CV cs.LG
GERIS: A Game-Theoretic Framework for Filtering Instance-Dependent Label Noise in License Plate Data Augmentation
GERIS提出博弈论框架，通过非合作博弈筛选车牌数据增强中的低质量噪声实例，提升分类准确性和鲁棒性。
2026-09-29 cs.AI cs.CV cs.LG
Novelty Detection Under Multi-Instance Multi-Label Framework
Oregon State University（俄勒冈州立大学）
新颖性检测在机器学习和信号处理中起着重要的作用。本文研究了新颖性检测在一个新的设置中，数据对象表示为一袋的实例，并与多个类标签，称为多实例多标签（MIML）学习。与MIML中的常见假设相反，即袋子中的每个实例都属于一个已知类，在新颖性检测中，我们专注于袋子可能包含新颖类实例的情况。我们的目标是确定，对于一个新包中的任何给定实例，它是属于一个已知类还是一个新类。在MIML环境中检测新奇事物可以捕获许多真实世界的现象，并具有许多潜在的应用。例如，在标记图像的集合中，标记可以仅覆盖图像中存在的对象的子集。发现其类先前未被标记的对象对于请求用于新对象类的标签的目的可能是有用的。为了解决这个新的问题，我们提出了一个判别框架检测新的类实例。实验结果表明，训练包中未标记的新实例的存在有助于测试阶段对此类实例的检测。
2013-11-25 cs.LG
Progressive Purification for Instance-Dependent Partial Label Learning
Southeast University（东南大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
针对实例相关部分标签学习，提出渐进式净化方法POP，通过逐步净化候选标签集并更新模型，理论上逼近贝叶斯最优分类器，实验验证其有效性。
2023-05-10 cs.LG
Multi-Instance Partial-Label Learning with Margin Adjustment
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；The University of Newcastle（纽卡斯尔大学）
针对多实例部分标签学习中注意力分数和预测概率边际被忽略导致泛化性能不佳的问题，提出MIPLMA算法，通过边际感知注意力和边际分布损失调整边际，实验验证其优越性。
2025-01-22 cs.LG
Decompositional Generation Process for Instance-Dependent Partial Label Learning
Southeast University（东南大学）
部分标签学习（PLL）是一个典型的弱监督学习问题，其中每个训练样本与一组候选标签相关联，其中只有一个标签是真的。现有的PLL方法大多假设每个训练样本中不正确的标签被随机挑选为候选标签，并以简单的方式对候选标签的生成过程进行建模。然而，由于候选标签的生成过程总是依赖于实例的事实，这些方法通常没有预期的那样好。因此，它值得以精细的方式建模。在本文中，我们考虑依赖于实例的PLL，并假设候选标签的生成过程可以分解为两个连续的部分，其中正确的标签首先出现在注释者的脑海中，但由于标签的不确定性，与特征相关的不正确的标签也被选择为候选标签。出于这一考虑，我们提出了一种新的PLL方法，执行最大后验（MAP）的基础上明确建模的候选标签通过分解的概率分布模型的生成过程。在人工破坏的基准数据集和真实数据集上的实验验证了该方法的有效性。源代码可在https://github.com/palm-ml/idgp上获得。
2023-02-01 cs.LG
Instance-Dependent Noisy Label Learning via Graphical Modelling
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；University of Adelaide（阿德莱德大学）；Monash University（莫纳什大学）
在深度学习的生态系统中，噪声标签是不可避免的，但也是麻烦的，因为模型很容易过拟合它们。标签噪声有许多类型，例如对称、非对称和实例相关噪声（IDN），IDN是唯一依赖于图像信息的类型。这种对图像信息的依赖使得IDN成为研究标签噪声的关键类型，因为标签错误在很大程度上是由图像中存在的视觉类的信息不足或模糊引起的。为了提供一种有效的技术来解决IDN，我们提出了一种新的图形化建模方法称为InstanceGM，它结合了判别和生成模型。InstanceGM的主要贡献是：i）使用连续伯努利分布来训练生成模型，提供显着的训练优势，以及ii）探索最先进的噪声标签判别分类器，以从依赖于实例的噪声标签样本中生成干净的标签。InstanceGM与当前的噪声标签学习方法相比具有竞争力，特别是在使用合成和真实世界数据集的IDN基准测试中，我们的方法在大多数实验中显示出比竞争对手更好的准确性。
2022-09-02 cs.CV cs.LG
Multi-View Multi-Instance Multi-Label Learning based on Collaborative Matrix Factorization
Southwest University（西南大学）；China University of Geosciences（中国地质大学）；George Mason University（乔治梅森大学）；Deakin University（迪肯大学）；Beijing University of Civil Engineering and Architecture（北京建筑大学）
多视图多实例多标签学习（M3L）处理包含不同实例的复杂对象，使用不同的特征视图表示，并使用多个标签进行注释。现有的M3L解决方案仅部分探索对象（或包），实例和标签之间的内部或内部关系，这些关系可以传达M3L的重要上下文信息。因此，它们可能具有受损的性能。在本文中，我们提出了一个协作矩阵分解为基础的解决方案，称为M3Lcmf。M3Lcmf首先使用由包、实例和标签节点组成的异构网络，通过多个关系数据矩阵对不同类型的关系进行编码。为了保持数据矩阵的内在结构，M3Lcmf将它们协作分解为低秩矩阵，探索包，实例和标签之间的潜在关系，并有选择地合并数据矩阵。进一步引入了一种聚合机制，将实例级标签聚合到包级，并指导因子分解。在基准数据集上的实证研究表明，M3Lcmf在实例级和包级预测方面都优于其他相关竞争解决方案。
2019-05-15 cs.LG stat.ML
Instance-Dependent Partial Label Learning
Southeast University（东南大学）
部分标签学习（PLL）是一个典型的弱监督学习问题，其中每个训练样本与一组候选标签相关联，其中只有一个标签是真的。大多数现有的PLL方法假设每个训练样本中的不正确标签被随机挑选为候选标签。然而，这种假设是不现实的，因为候选标签总是依赖于实例的。在本文中，我们考虑依赖于实例的PLL，并假设每个例子是与一个潜在的标签分布构成的每个标签的实数，代表的程度，每个标签描述的功能。具有高程度的不正确标签更有可能被注释为候选标签。因此，潜在标签分布是部分标记示例中的基本标记信息，值得用于预测模型训练。出于这种考虑，我们提出了一种新的PLL方法，该方法将标签分布恢复为标签增强（LE）过程，并在每个时期迭代地训练预测模型。具体来说，我们假设真正的后验密度的潜在标签分布的变分近似Dirichlet密度参数化的推理模型。然后推导出优化推理模型的证据下界，并利用变分后验概率生成的标签分布来训练预测模型。在基准数据集和真实数据集上的实验验证了该方法的有效性。源代码可在https://github.com/palm-ml/valen上获得。
2021-10-26 cs.LG
Fast Multi-Instance Multi-Label Learning
Nanjing University（南京大学）
在许多现实世界的任务中，特别是那些涉及具有复杂语义的数据对象（如图像和文本）的任务中，一个对象可以由多个实例表示，并同时与多个标签相关联。这些任务可以被表述为多实例多标签学习（MIML）问题，并在过去几年中得到了广泛的研究。现有的MIML方法已经被发现在许多应用中是有用的，但是，他们中的大多数只能处理中等大小的数据。为了有效地处理大数据集，本文提出了MIMLfast方法，该方法首先构造所有标签共享的低维子空间，然后训练标签特定的线性模型，通过随机梯度下降来优化近似的排名损失。虽然MIML问题是复杂的，MIMLfast是能够实现优异的性能，通过利用标签关系与共享空间和发现子概念的复杂标签。实验表明，MIMLfast的性能与现有技术相比具有很强的竞争力，而其时间开销要小得多;特别是在具有20 K包和180 K实例的数据集上，MIMLfast比现有的MIML方法快100倍以上。在一个更大的数据集上，现有的方法都不能在24小时内返回结果，MIMLfast只需要12分钟。此外，我们的方法是能够确定每个标签的最具代表性的实例，从而提供了一个机会，以了解输入模式和输出标签语义之间的关系。
2013-10-08 cs.LG
Block-wise Partitioning for Extreme Multi-label Classification
University of California, Davis（加州大学戴维斯分校）
极端多标签分类的目标是学习一个分类器，该分类器使用来自极大标签集的相关标签子集来注释实例。许多现有的解决方案将标签矩阵嵌入到低维线性子空间中，或者通过线性扫描来检查测试实例与每个标签的相关性。然而，在实践中，这些方法在计算上可能过高。为了缓解这一缺点，我们提出了一个分块分区（BP）的预处理，将所有的实例划分为不相交的集群，其中每个最频繁标记的标签子集。一个多标签分类器在一对实例和标签集群上进行训练，并且通过首先将测试实例的标签集传递到最合适的实例集群来预测测试实例的标签集。在基准多标签数据集上的实验表明，BP预处理显著减少了预测时间，并保持了几乎相同的预测精度。
2018-11-04 cs.LG stat.ML
Instance-dependent Label-noise Learning under a Structural Causal Model
University of Sydney（悉尼大学）；University of Melbourne（墨尔本大学）；Hong Kong Baptist University（香港浸会大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Carnegie Mellon University（卡内基梅隆大学）
标签噪声会降低深度学习算法的性能，因为深度神经网络很容易过拟合标签错误。让X和Y分别表示实例和干净标签。当Y是X的原因时，根据该原因已经构建了许多数据集，例如，SVHN和CIFAR，P（X）和P（Y）的分布|（X）纠缠。这意味着无监督的实例有助于学习分类器，从而减少标签噪声的副作用。然而，如何利用因果信息来处理标签噪声问题仍然是难以捉摸的。在本文中，通过利用结构因果模型，我们提出了一种新的生成方法的实例依赖的标签噪声学习。特别是，我们表明，适当建模的实例将有助于识别的标签噪声转移矩阵，从而导致一个更好的分类。从经验上讲，我们的方法在合成和真实世界的标签噪声数据集上都优于所有最先进的方法。
2022-06-03 cs.LG stat.ML
Approximating Instance-Dependent Noise via Instance-Confidence Embedding
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目）
多类分类中的标签噪声是学习系统部署的主要障碍。然而，与广泛使用的类别条件噪声（CCN）假设不同，噪声标签与给定真实标签的输入特征无关，真实世界数据集中的标签噪声可能是偶然的，并且严重依赖于单个实例。在这项工作中，我们调查的实例相关的噪声（IDN）模型，并提出了一个有效的近似IDN捕获的实例特定的标签损坏。具体地说，注意到IDN转换矩阵的大多数列对类后验估计的影响有限的事实，我们提出了一个变分近似，使用单标量置信参数。为了应对从实例到其置信度值的映射可能会因两个相邻实例而显着变化的情况，我们建议使用实例嵌入，为每个实例分配一个可训练参数。由此产生的实例置信度嵌入（ICE）方法不仅表现出良好的标签噪声下，但也可以有效地检测歧义或错误标记的实例。我们验证了它的效用在各种图像和文本分类任务。
2021-03-25 cs.LG stat.ML
Learning with Bounded Instance- and Label-dependent Label Noise
University of Sydney（悉尼大学）；University of Science and Technology of China（中国科学技术大学）；University of Melbourne（墨尔本大学）
实例和标签相关的标签噪声（ILN）广泛存在于现实世界的数据集，但很少被研究。在本文中，我们专注于有界的实例和标签相关的标签噪声（BILN），一个特殊的情况下，ILN的标签噪声率-的概率，真正的标签的例子翻转到损坏的-有上限小于$1$。具体来说，我们介绍的概念，蒸馏的例子，即例子的标签是相同的标签分配给他们的贝叶斯最优分类器，并证明在一定条件下，分类器学习蒸馏的例子将收敛到贝叶斯最优分类器。受提取的例子学习的想法的启发，我们提出了一个学习算法的理论保证其鲁棒性BILN。最后，在合成数据集和真实数据集上的实验结果表明了该算法在BILN学习中的有效性。
2020-12-11 cs.LG stat.ML
Fast learning from label proportions with small bags
Czech Technical University in Prague（布拉格捷克理工大学）
在从标签比例学习（LLP）中，实例被分组到包中，任务是在训练包中学习给定相对类比例的实例分类器。LLP在无法获得单个实例标签或成本高昂时非常有用。在这项工作中，我们专注于小袋子的情况下，它允许设计一个算法，显式地考虑所有一致的实例标签组合。特别是，我们提出了一个EM算法之间交替优化一般神经网络实例分类器，并将袋级注释。使用两个不同的图像数据集，我们实验比较这种方法与基于正常近似和两个现有的LLP方法的方法。结果表明，我们的方法收敛速度更快，可比或更好的解决方案。
2022-06-29 cs.LG
Distill-to-Label: Weakly Supervised Instance Labeling Using Knowledge Distillation
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；IBM Research（IBM研究院）
仅使用图像级标签代替昂贵的细粒度像素注释的弱监督实例标记在包括医学图像分析在内的几个应用中至关重要。与传统的计算机视觉中的实例分割方案相比，我们考虑的问题的特征在于少量的训练图像和导致诊断的非局部模式。在本文中，我们探讨了使用多实例学习（MIL）设计一个实例标签生成器在这种弱监督设置。由于观察到MIL模型可以处理不同大小的袋子，我们建议重新使用最初为袋子级别分类训练的MIL模型，以产生单个实例的可靠预测，即，尺寸为$1$的袋子。为此，我们引入了一种新的正则化策略，基于虚拟对抗训练，以改善MIL训练，并随后开发了一种知识蒸馏技术，用于重新利用训练的MIL模型。通过对组织病理学图像中结肠癌和乳腺癌检测的实证研究，我们证明了所提出的方法可以产生高质量的实例级预测，并且显著优于MIL方法。
2019-07-26 cs.CV cs.LG stat.ML
Tackling Instance-Dependent Label Noise via a Universal Probabilistic Model
Nanjing University of Science and Technology（南京理工大学）；Hong Kong Baptist University（香港浸会大学）；The University of Sydney（悉尼大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心（AIP））；Hong Kong Polytechnic University（香港理工大学）
数据量的急剧增加往往会带来数据质量的严重下降，如不正确的标签标注，这对鲁棒训练深度神经网络（DNN）提出了很大的挑战。现有的学习\mbox{methods}与标签噪声采用ad-hoc算法或限制到特定的噪声假设。然而，更一般的情况下，如依赖实例的标签噪声，还没有得到充分的探讨，因为很少的研究集中在他们的标签腐败过程。通过将实例分类为混淆实例和非混淆实例，本文提出了一种简单而通用的概率模型，该模型将噪声标签与其实例显式关联。所得到的模型可以通过DNN来实现，其中训练过程通过采用交替优化算法来完成。在具有合成和真实世界标签噪声的数据集上的实验验证了所提出的方法在鲁棒性上比最先进的方法有显着的改进。
2022-03-17 cs.LG stat.ML
Instances and Labels: Hierarchy-aware Joint Supervised Contrastive Learning for Hierarchical Multi-Label Text Classification
University of Edinburgh（爱丁堡大学）；Cardiff University（卡迪夫大学）
针对现有层次多标签文本分类（HMTC）对比学习方法易引入噪声、监督对比学习因标签结构复杂在该领域探索不足的问题，提出融合实例级与标签级对比学习的层次感知联合监督对比学习方法HJCL，在四个数据集上取得了良好效果。
2024-06-19 cs.AI cs.CL cs.LG
Instance Correction for Learning with Open-set Noisy Labels
The University of Sydney（悉尼大学）；Hong Kong Baptist University（香港浸会大学）；The University of Melbourne（墨尔本大学）；University of Science and Technology of China（中国科学技术大学）；RIKEN（理化学研究所）；The University of Tokyo（东京大学）
开集噪声标签问题是指部分训练数据具有不包含真实类的不同标签空间。有很多方法，例如，丢失校正和标签校正不能很好地处理这种开集噪声标签，因为它们需要训练数据和测试数据来共享相同的标签空间，这不适用于利用开集噪声标签的学习。因此，最先进的方法采用样本选择方法来处理开集噪声标签，其试图从噪声数据中选择干净的数据用于网络参数更新。丢弃的数据被视为错误标记，并且不参与训练。这种方法乍一看是直观和合理的。然而，一个自然的问题可能会被提出来：“这样的数据只能在训练过程中被丢弃吗？”".在本文中，我们表明，答案是否定的。具体来说，我们讨论的情况下，丢弃的数据可能包括一些有意义的信息推广。为此，我们并不放弃这些数据，而是使用实例修正来修改被丢弃数据的实例，使得对被丢弃数据的预测与给定的标签一致。实例修正是通过有针对性的对抗攻击来完成的。然后利用校正后的数据进行训练，以帮助泛化。除了分析结果，一系列的经验证据提供了证明我们的主张。
2021-06-01 cs.LG
Mitigating Instance Entanglement in Instance-Dependent Partial Label Learning
School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）；Shaanxi Province Key Laboratory of Big Data Knowledge Engineering, Xi’an Jiaotong University（陕西省大数据知识工程重点实验室）；School of Distance Education, Xi’an Jiaotong University（西安交通大学继续教育学院）
本文提出CAD框架，通过内在和类间调节缓解实例依赖部分标签学习中的实例纠缠问题，提升分类性能。
2026-03-05 cs.CV cs.LG
Modelling Instance-Level Annotator Reliability for Natural Language Labelling Tasks
University of Manchester（曼彻斯特大学）；National Centre for Text Mining（国家文本挖掘中心）
在构建从多个注释器产生的噪声标签中学习的模型时，准确估计注释器的可靠性非常重要。注释者可能会提供质量不一致的标签，因为他们在某个领域的专业知识和可靠性各不相同。以前的研究大多集中在估计每个注释者在整个注释任务上的总体可靠性。然而，在实践中，注释器的可靠性可能取决于每个特定的实例。只有有限数量的研究调查了建模的实例可靠性，这些只考虑了二进制标签。在本文中，我们提出了一个无监督的模型，可以处理二进制和多类标签。它可以自动估计每个注释器的每个实例的可靠性以及每个实例的正确标签。我们指定我们的模型作为一个概率模型，它结合了神经网络来模拟潜在变量和实例之间的依赖关系。对于评估，所提出的方法适用于合成和真实数据，包括两个标签任务：文本分类和文本蕴涵。实验结果表明，我们的新方法不仅可以准确地估计不同实例中注释器的可靠性，而且与最先进的基线相比，在预测正确的标签和检测最不可靠的注释器方面具有优异的性能。
2019-05-13 cs.CL cs.LG
Deep Multi-instance Networks with Sparse Label Assignment for Whole Mammogram Classification
University of California, Irvine（加州大学欧文分校）
乳腺X线照片分类与乳腺癌的计算机辅助诊断直接相关。传统的方法需要花费大量的精力来标注训练数据，并需要专门的计算模型在测试过程中检测这些标注。受使用深度卷积特征进行自然图像分析和多实例学习标记一组实例/补丁的成功启发，我们提出了基于整个乳房X光片的端到端训练的深度多实例网络，用于质量分类，而无需上述昂贵的训练数据注释。我们探索了三种不同的方案来构建用于整个乳房X线照片分类的深度多实例网络。在INbreast数据集上的实验结果表明，与之前在训练中使用分割和检测注释的工作相比，所提出的深度网络具有鲁棒性。
2016-12-18 cs.CV cs.LG
Leveraging Instance Features for Label Aggregation in Programmatic Weak Supervision
University of Washington（华盛顿大学）；Waseda University（早稻田大学）
程序化弱监督（PWS）已经成为一种广泛的范式，以有效地综合训练标签。PWS的核心组成部分是标签模型，它通过聚合抽象为标签函数（LF）的多个噪声监督源的输出来推断真实标签。现有的统计标签模型通常只依赖于LF的输出，在对底层生成过程建模时忽略了实例特征。在本文中，我们试图通过建议的FABLE将实例特征纳入统计标签模型。特别是，它建立在贝叶斯标签模型的混合物上，每个模型对应于一个全局相关模式，并且混合成分的系数由基于实例特征的高斯过程分类器预测。我们采用一种基于辅助变量的变分推理算法来解决高斯过程和贝叶斯标签模型之间的非共轭问题。对11个基准数据集的广泛实证比较显示，FABLE在9个基线上实现了最高的平均性能。
2022-10-09 cs.LG stat.ME stat.ML
Semi-Supervised Multi-Modal Multi-Instance Multi-Label Deep Network with Optimal Transport
Nanjing University（南京大学）；Tencent WXG（腾讯微信事业群）
复杂对象通常具有多个标签，并且可以由多个模态表示来表示，例如，复杂的文章包含文本和图像信息以及多个注释。以前的方法假设同质多模态数据是一致的，而在实际应用中，原始数据是无序的，例如，文章由可变数量的不一致文本和图像实例构成。因此，多模态多实例多标签（M3）学习提供了一个框架来处理这样的任务，并表现出优异的性能。然而，M3学习面临着两个主要挑战：1）如何有效地利用标签相关性; 2）如何利用多模态学习来处理未标记的实例。为了解决这些问题，我们首先提出了一种新的多模式多实例多标签深度网络（M3 DN），它在端到端的多模式深度网络中考虑M3学习，并利用不同模式袋级预测之间的一致性原则。基于M3 DN，我们学习潜在的地面标签度量与最佳传输。此外，我们引入了外部的未标记的多模态多实例数据，并提出了M3 DNS，它考虑了实例级的自动编码器的单一模态和修改袋级的最佳传输，以加强模态之间的一致性。因此，M3 DNS可以更好地预测标签并同时利用标签相关性。在基准数据集和真实世界WKG Game-Hub数据集上的实验验证了所提方法的有效性。
2021-04-17 cs.CV cs.LG
Addressing Imbalance in Multi-Label Data via Label-Specific Distance-based Oversampling
Key Laboratory of Data Engineering and Visual Computing, Chongqing University of Posts and Telecommunications, China（数据工程与视觉计算重点实验室，重庆邮电大学，中国）；School of Computer Science and Technology, Chongqing University of Posts and Telecommunications, China（计算机科学与技术学院，重庆邮电大学，中国）；State Key Laboratory of Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国）；School of Informatics, Aristotle University of Thessaloniki, Greece（信息学院，希腊阿尔蒂米斯大学）
针对多标签分类中的标签不平衡问题，提出基于标签特定距离的过采样方法LSDMLO，通过加权相关特征空间识别标签一致邻居，生成更有效的合成实例，实验表明优于现有方法。
2026-06-04 cs.LG
ProtoPur: Prototype-Purity Pseudo-Labeling for Weakly Supervised Instance Learning in Pathology
Sichuan University（四川大学）；Pittsburgh Institute, Sichuan University（四川大学匹兹堡学院）；West China Hospital, Sichuan University（四川大学华西医院）
针对病理学全切片图像实例级标注成本高的问题，提出ProtoPur原型纯度伪标签方法，利用冻结基础模型特征提升弱监督多实例学习的实例级性能，无需密集实例标注即可获取强实例监督信号。
2026-10-15 cs.CV cs.LG
Mitigating Instance-Dependent Label Noise: Integrating Self-Supervised Pretraining with Pseudo-Label Refinement
IIT Bombay（印度理工学院孟买分校）
针对实例相关标签噪声，本文提出结合 SimCLR 自监督预训练与迭代式多阶段伪标签精炼的混合框架，并在含噪 CIFAR 数据集上显著提升准确率与鲁棒性。
2024-12-06 cs.CV cs.LG
A Self-paced Regularization Framework for Partial-Label Learning
Beijing Jiaotong University（北京交通大学）
部分标签学习（PLL）旨在解决每个训练实例与一组候选标签相关联的问题，其中一个是正确的标签。大多数PLL算法试图通过简单地平等对待每个候选标签或迭代地识别真实标签来消除候选标签集的歧义。然而，现有的算法通常平等地对待所有的标签和实例，并且在学习阶段没有考虑标签和实例的复杂性。受自步调学习策略在机器学习领域的成功应用启发，将自步调机制融入部分标签学习框架，提出了一种新的自步调部分标签学习（SP-PLL）算法，该算法通过在每次学习迭代中对训练样本及其候选标签的优先级进行排序来控制学习过程，从而缓解学习过程中的问题.大量的实验和与其他基线方法的比较证明了该方法的有效性和鲁棒性。
2018-05-08 cs.AI cs.LG stat.ML
An Instance-Dependent Simulation Framework for Learning with Label Noise
DeepMind；Google Research, Brain Team（Google Research 大脑团队）
我们提出了一个模拟框架，通过一个伪标签范例生成依赖于实例的噪声标签。我们表明，与独立和类条件随机翻转相比，用我们的框架生成的合成噪声标签的分布更接近人类标签。配备可控标签噪声，我们研究了噪声标签在一些实际设置中的负面影响，以了解标签噪声何时更成问题。我们还对几种现有的带有噪声标签的学习算法进行了基准测试，并在我们的合成数据集和带有独立随机标签噪声的数据集上比较了它们的行为。此外，从我们的模拟框架的注释器信息的可用性，我们提出了一种新的技术，标签质量模型（LQM），利用注释器功能来预测和纠正嘈杂的标签。我们表明，在应用现有的噪声标签技术之前，通过添加LQM作为标签校正步骤，我们可以进一步提高模型的性能。
2021-10-17 cs.HC cs.LG
Kernel Mean Embedding of Instance-wise Predictions in Multiple Instance Regression
Imperial College London（帝国理工学院）
在本文中，我们提出了一个扩展现有的算法（实例MIR），解决多实例回归（MIR）问题，也被称为分布回归。当数据是一组行李时，MIR设置出现，其中每个行李由对应于相同且唯一的实值标签的多个实例组成。MIR算法的目标是找到一个从一个看不见的包的实例到它的目标值的映射。instance-MIR算法单独处理所有实例，并将每个实例映射到一个标签。然后将最终的袋子标签作为该给定袋子的预测的平均值或中值。虽然它在概念上很简单，但采用单个统计数据来总结每个袋子中标签的分布是一个局限性。尽管存在这种性能瓶颈，实例MIR算法已被证明是有竞争力的，当与当前最先进的方法相比。我们通过计算每个袋子的预测标签分布的内核均值嵌入来解决上述问题，并从这些嵌入中学习袋子标签的回归量。我们在五个真实世界的数据集上测试了我们的算法（instance-kme-MIR），并在所有数据集上获得了比基线instance-MIR更好的结果，同时在其中两个数据集上获得了最先进的结果。
2019-08-18 cs.LG stat.ML
Multi-typed Objects Multi-view Multi-instance Multi-label Learning
Southwest University（西南大学）；Shandong University（山东大学）；Joint SDU-NTU Centre for Artificial Intelligence Research（山东大学-南洋理工大学人工智能联合研究中心）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；George Mason University（乔治梅森大学）
多类型对象多视图多实例多标签学习（M4 L）处理互连的多类型对象（或包），这些对象由不同的实例组成，用异构特征视图表示，并用一组非排他性但语义相关的标签进行注释。M4 L比典型的多视图多实例多标签学习（M3 L）更通用和强大，M3 L仅适应单一类型的包，并且缺乏对物理世界中自然互连的多类型对象进行联合建模的能力。为了应对这种新颖而具有挑战性的学习任务，我们开发了一种基于联合矩阵分解的解决方案（M4 L-JMF）。特别地，M4 L-JMF首先将多类型袋子之间的不同属性和多个内部关联编码到相应的数据矩阵中，然后将这些矩阵联合分解为低秩矩阵，以探索每个袋子及其实例（如果有的话）的复合潜在表示。此外，它还引入了一个调度和聚合项，将行李的标签分发给各个实例，并以一致的方式将实例的标签重新聚合到其附属行李。在基准数据集上的实验结果表明，M4 L-JMF在这个新问题上取得了比现有M3 L解决方案的简单适应更好的结果。
2020-10-06 cs.LG stat.ML
Leveraging an Alignment Set in Tackling Instance-Dependent Label Noise
University of Michigan（密歇根大学）
本文提出一种利用锚点对齐集的两阶段学习方法，在实例依赖标签噪声下同时提升判别性能（AUROC）并减轻偏差（AUEOC），在MIMIC-III等任务上优于现有方法。
2023-07-10 cs.LG
Cost-Accuracy Aware Adaptive Labeling for Active Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
传统的主动学习算法假设一个单一的标签，产生无噪声的标签在一个给定的，固定的成本，并旨在实现最佳的泛化性能，为给定的分类器下的预算约束。然而，在许多实际环境中，不同的贴标机具有不同的贴标成本，并且可以产生不同的贴标精度。此外，给定的贴标签器可以针对不同的情况展现不同的贴标签准确度。这种设置可以被称为主动学习，具有不同的成本和准确性的不同标签器，并且它出现在许多重要的实际设置中。因此，了解如何有效地权衡不同实例的标记精度、标记成本以及训练实例的信息量，从而以最低的标记成本实现最佳的泛化性能是有益的。在本文中，我们提出了一个新的算法选择的实例，标签（及其相应的成本和标签精度），采用泛化范围的学习与标签噪声选择信息的实例和标签，以实现更高的泛化精度在较低的成本。我们提出的算法在五个UCI和一个真正的众包数据集上展示了最先进的性能。
2021-05-24 cs.LG stat.AP
