Learning from Noisy Similar and Dissimilar Data
University of Pennsylvania(宾夕法尼亚大学);The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
随着机器学习在分类中的广泛使用,能够对难以获得标准标记数据的任务使用较弱类型的监督变得越来越重要。一种这样的监督是成对提供的-以相似(S)对(如果两个示例属于同一类)和不相似(D)对(如果两个示例属于不同类)的形式。这种监督在隐私敏感领域是现实的。虽然这个问题最近得到了关注,但目前还不清楚如何从标签噪音下的监督中学习,这在监督是众包时非常常见。在本文中,我们缩小了这一差距,并演示了如何从嘈杂的S和D标记数据中学习分类器。我们在两个现实的噪声模型下对此问题进行了详细的研究,并提出了两种从噪声S-D数据中学习的算法。我们还展示了从这种成对监督数据中学习和从普通类标记数据中学习之间的重要联系。最后,我们在合成和真实世界的数据集上进行了实验,并表明我们的噪声通知算法在从噪声成对数据中学习时优于噪声盲基线。
2020-02-03 cs.LG stat.ML
WISTERIA: Learning Clinical Representations from Noisy Supervision via Multi-View Consistency in Electronic Health Records
University of Science and Technology of China(中国科学技术大学);Columbia University(哥伦比亚大学)
WISTERIA通过多视图一致性学习电子健康记录中的临床表示,利用弱监督学习框架,改进预测性能并增强对标签噪声的鲁棒性。
2026-05-10 cs.AI cs.LG
Information Extraction with Character-level Neural Networks and Free Noisy Supervision
Bloomberg LP(彭博有限合伙企业);AT&T Labs Research(AT&T实验室研究部)
我们提出了一个架构,信息抽取,从文本中增强了现有的分析器与字符级神经网络。使用提取的数据与现有数据库的一致性度量作为噪声监督的形式来训练网络。我们的架构结合了基于约束的信息抽取系统的能力,可以轻松地将领域知识和约束与深度神经网络的能力结合起来,利用大量数据来学习复杂的特征。该系统提高了现有解析器的精度,大大改进了彭博社用于金融语言文本的成熟和高度调整的基于约束的生产信息抽取系统。
2017-01-24 cs.CL cs.IR cs.LG
Reinforcement Learning with Supervision from Noisy Demonstrations
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
强化学习在各种应用中取得了巨大的成功。为了学习一个有效的策略的代理,它通常需要大量的数据,通过与环境的交互,这可能是计算成本高,耗时。为了克服这一挑战,提出了一种基于专家演示的强化学习(RLED)框架。虽然RLED方法可以减少学习迭代的次数,但它们通常假设演示是完美的,因此在实际应用中可能会受到噪声演示的严重误导。在本文中,我们提出了一个新的框架,自适应学习的政策,共同与环境的互动,并利用专家的示范。具体来说,对于演示轨迹的每一步,我们形成一个实例,并定义一个联合损失函数,同时最大化预期奖励和最小化代理行为和演示之间的差异。最重要的是,通过计算价值函数的期望增益,我们为每个实例分配一个权重来估计其潜在的效用,从而可以强调更有帮助的演示,同时过滤掉噪音。在不同环境下使用多种流行的强化学习算法的实验结果表明,该方法可以在有噪声的情况下鲁棒地学习,并在更少的迭代次数下获得更高的性能。
2020-06-14 cs.LG stat.ML
Audio tagging with noisy labels and minimal supervision
Music Technology Group, Universitat Pompeu Fabra(庞培法布拉大学音乐技术组);Google, Inc.(谷歌公司)
本文介绍了DCASE 2019挑战赛的任务2,题为“带噪声标签和最小监督的音频标记”。该任务在Kaggle平台上作为“Freesound Audio Tagging 2019”托管。该任务评估系统的多标签音频标记使用一个大的噪声标记的数据集,和一个小得多的手动标记的数据集,在一个大的词汇设置的80个日常的声音类。此外,由于噪声训练集和测试集来自不同的网络音频源,因此所提出的数据集在噪声训练集和测试集之间造成声学失配问题。这可以对应于由收集大量手动标记的数据的困难给出的现实场景。我们介绍了任务设置,为这项科学评估准备的FSDKaggle2019数据集,以及由卷积神经网络组成的基线系统。所有这些资源都是免费提供的。
2020-01-20 cs.LG cs.SD eess.AS
Cooperative learning in multi-agent systems from intermittent measurements
Princeton University(普林斯顿大学)
针对时变连接和间歇测量下的多智能体系统,提出一种分布式学习协议,从噪声测量中学习未知向量μ,并给出学习速度与网络大小和组合特征的关系。
2014-12-15 cs.LG cs.MA cs.SY
Optimal Cooperative Multiplayer Learning Bandits with Noisy Rewards and No Communication
University of California, Los Angeles(加州大学洛杉矶分校);Princeton University(普林斯顿大学)
针对合作多玩家老虎机中奖励噪声且无法通信的问题,提出基于上下置信界的算法,实现渐近最优的遗憾界,并优于现有最先进方法。
2023-11-10 cs.LG cs.MA stat.ML
Distant Supervision and Noisy Label Learning for Low Resource Named Entity Recognition: A Study on Hausa and Yorùbá
Saarland University(萨尔兰大学);Heidelberg University(海德堡大学)
缺乏标记的训练数据限制了自然语言处理工具的开发,例如用于发展中国家使用的许多语言的命名实体识别。远程和弱监督等技术可以用于以(半)自动方式创建标记数据。此外,为了减轻自动注释中错误的一些负面影响,可以集成噪声处理方法。预训练的词嵌入是大多数神经命名实体分类器的另一个关键组成部分。随着更复杂的上下文词嵌入的出现,模型大小和性能之间出现了一个有趣的权衡。虽然这些技术已被证明在高资源环境中工作良好,但我们想研究它们在低资源场景中的表现。在这项工作中,我们执行命名实体识别的豪萨语和Yorkebá,两种语言,广泛使用在几个发展中国家。我们评估了不同的嵌入方法,并表明远程监督可以成功地利用在一个现实的低资源的情况下,它可以增加一倍以上的分类器的性能。
2020-03-31 cs.CL cs.LG
Masking: A New Perspective of Noisy Supervision
University of Technology Sydney(悉尼科技大学);RIKEN(理化学研究所);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Shanghai Jiao Tong University(上海交通大学);University of Tokyo(东京大学)
在给定带有噪声标签的训练数据的情况下,学习各种类型的分类器非常重要。在迄今为止最流行的噪声模型中,噪声标签被未知的噪声转移矩阵从地面真实标签中破坏。因此,通过估计这个矩阵,分类器可以避免过度拟合那些嘈杂的标签。然而,由于两步方法的间接性质,或者没有足够大的数据来提供端到端的方法,这种估计实际上是困难的。在本文中,我们提出了一种称为掩蔽的人工辅助方法,它传达了人类对无效类转换的认知,并自然地推测了噪声转换矩阵的结构。为此,我们推导出一个结构感知的概率模型,结合结构先验,并解决了结构提取和结构对齐的挑战。由于掩蔽,我们只估计未掩蔽的噪声转移概率,估计的负担大大减少。我们在三种噪声结构的CIFAR-10和CIFAR-100以及不可知噪声结构的工业级Clothing 1 M上进行了大量的实验,结果表明掩蔽可以显著提高分类器的鲁棒性。
2018-10-31 cs.LG stat.ML
Identifying epidemic related Tweets using noisy learning
Georgia State University(佐治亚州立大学)
监督学习算法严重依赖于带注释的数据集来训练机器学习模型。然而,由于涉及手动工作,注释数据集的管理是费力和耗时的,并且已经成为监督学习中的巨大瓶颈。在这项工作中,我们应用噪声学习理论来生成弱监督信号,而不是手动注释。我们策划了一个嘈杂的标签数据集使用标签启发式识别流行病相关的推文。我们使用大型流行病语料库评估了性能,我们的结果表明,在类不平衡和多分类弱监督设置中使用噪声数据训练的模型实现了超过90%的性能。
2022-09-10 cs.CL cs.LG
Robust Multi-View Classification under Noisy Supervision via Global Anchor Consensus
College of Science, Beijing Forestry University(北京林业大学理学院);School of Software, North University of China(中北大学软件学院)
研究在多视图分类中处理噪声标签问题,提出基于全局锚点的标签审核方法GALA,构建全局锚点衡量实例与锚点接近程度,融合评估与置信度得审核分数,据此处理可疑样本、重写标签,实验表明该方法性能优于多种先进方法。
2026-07-22 cs.CV cs.LG
Learning What to Trust in Multimodal Learning under Noisy Supervision
University of Science and Technology of China(中国科学技术大学)
针对实际场景中多模态学习的噪声标签问题,提出多模态标签噪声检测框架REFINE,通过分析表示结构与噪声检测能力的关系,联合融合与单模态表示检测噪声,提升模型泛化性能。
2026-10-09 cs.CV cs.LG
VRPO: Rethinking Value Modeling for Robust RL under Noisy Supervision in LLM Post-Training
College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与人工智能学院);Honor Device Co., Ltd(荣耀设备有限公司);Institute of Trustworthy Embodied AI, Fudan University(复旦大学可信具身人工智能研究院);Shanghai Key Laboratory of Multimodal Embodied AI(上海多模态具身人工智能重点实验室)
针对强化学习中噪声监督导致策略不稳定问题,提出VRPO框架,通过熵和困惑度辅助损失及变分信息瓶颈增强价值模型,使其能过滤噪声并生成可靠优势估计,在多项任务上优于PPO和GRPO。
2026-06-23 cs.AI cs.CL cs.LG
Mitigating Noisy Supervision Using Synthetic Samples with Soft Labels
McMaster University(麦克马斯特大学)
针对深度神经网络易受噪声标签影响导致泛化差的问题,提出利用合成样本与软标签训练模型的框架,通过聚合样本及其最近邻并逐步纠正噪声标签,在多个基准和真实数据集上显著提升了表示质量与鲁棒性。
2024-06-22 cs.CV cs.LG
Learning under noisy supervision is governed by a feedback-truth gap
Columbia University(哥伦比亚大学)
研究揭示在噪声监督下学习受反馈-真相差距约束,不同系统通过不同机制调节该差距,影响学习效果。
2026-02-18 cs.AI cs.LG cs.NE
Self-Boosting Vision-Language Models with Noisy Student On-Policy Self-Distillation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));ByteDance Inc.(字节跳动公司);Zhejiang University of Technology(浙江工业大学);Hong Kong Baptist University(香港浸会大学)
研究针对视觉语言模型无外部监督难以改进的问题,提出NOPD自蒸馏方法,利用干净与损坏输入预测差异产生自监督信号,在多视觉推理任务中有效,能提升多个模型在多个基准测试中的表现。
2026-08-03 cs.LG
Can LLMs Learn to Reason Robustly under Noisy Supervision?
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文研究了强化学习中可验证奖励在噪声标签下的鲁棒性问题,提出在线标签细化方法,通过动态修正潜在噪声标签提升模型性能。
2026-04-05 cs.AI cs.LG
SELC: Self-Ensemble Label Correction Improves Learning with Noisy Labels
McMaster University(麦克马斯特大学)
深度神经网络容易过拟合噪声标签,导致泛化性能差。为了克服这个问题,我们提出了一个简单而有效的方法自集成标签校正(SELC),逐步纠正噪声标签和完善的模型。我们更深入地研究了使用噪声标签进行训练的记忆行为,并观察到网络输出在早期阶段是可靠的。为了保持这种可靠的知识,SELC使用由网络输出的指数移动平均形成的集合预测来更新原始的噪声标签。我们表明,使用SELC进行训练可以通过逐渐减少来自噪声标签的监督并增加来自集合预测的监督来改进模型。尽管它的简单性,与许多国家的最先进的方法相比,SELC获得更有前途和稳定的结果,在存在类条件,实例依赖,和现实世界的标签噪声。该代码可在https://github.com/MacLLL/SELC上获得。
2022-05-02 cs.CV cs.LG
Graph Neural Networks with Coarse- and Fine-Grained Division for Mitigating Label Sparsity and Noise
针对图半监督学习中标签稀疏和噪声问题,提出GNN-CFGD,通过粗粒度划分识别干净/噪声标签、面向干净标签的连接缓解稀疏性,并基于置信度细粒度划分提供精细监督,实验验证其有效性和鲁棒性。
2024-11-06 cs.LG
Disentangling Human Dynamics for Pedestrian Locomotion Forecasting with Noisy Supervision
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校);Toyota Research Institute(丰田研究院)
我们解决的问题,人体运动预测,共同预测的几个关键点的空间位置在不久的将来在人体上的自我中心的设置下的任务。与以前的工作,旨在解决任何任务的姿势预测或轨迹预测孤立,我们提出了一个框架,统一这两个问题,并解决实际有用的任务,行人运动预测在野外。解决这一任务的主要挑战之一是缺乏带有密集注释的自我中心视频数据集,用于姿势,深度或自我运动。为了克服这一困难,我们使用最先进的模型来生成(噪声)注释,并提出了强大的预测模型,可以从这种噪声监督中学习。我们提出了一种方法来解开整体行人运动到更容易学习的子部分,利用一个姿势完成和分解模块。完成模块填充缺失的关键点注释,分解模块将清洁的运动分解为全局(轨迹)和局部(姿势关键点移动)。此外,以Quasi RNN为骨干,我们提出了一种新的分层轨迹预测网络,该网络利用低级视觉域特定信号(如自运动和深度)来预测全局轨迹。我们的方法导致国家的最先进的结果预测人类运动的自我中心的观点。Pade项目:https://karttikeya.github.io/publication/plf/
2020-04-13 cs.CV cs.LG cs.RO
Deep Self-Learning From Noisy Labels
The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学)
ConvNets在从干净的数据中训练时取得了良好的效果,但从嘈杂的标签中学习会显着降低性能,并且仍然具有挑战性。与以前的作品受到许多条件的限制,使其不适用于真实的噪声情况不同,这项工作提出了一种新的深度自学习框架,可以在没有额外监督的情况下在真实的噪声数据集上训练一个健壮的网络。所提出的方法有几个吸引人的好处。(1)与大多数现有的工作不同,它不依赖于任何假设的噪声标签的分布,使其具有鲁棒性的真实噪声。(2)它不需要额外的清洁监督或辅助网络来帮助培训。(3)提出了一种自学习框架,以迭代的端到端的方式对网络进行训练,这是有效和高效的。在具有挑战性的基准,如Clothing 1 M和Food 101-N的广泛实验表明,我们的方法优于其同行在所有的经验设置。
2019-08-20 cs.CV cs.LG
How to Train Text Summarization Model with Weak Supervisions
School of Computer Science and Technology, North University of China(中北大学计算机科学与技术学院);School of Semiconductor and Physics, North University of China(中北大学半导体与物理学院)
本文提出一种将复杂目标分解为简单子任务并生成弱监督信号的方法,实现无标签端到端训练主题摘要模型,在CNN和DailyMail数据集上取得优异效果。
2024-08-27 cs.CL cs.LG
Fast and Three-rious: Speeding Up Weak Supervision with Triplet Methods
Stanford University(斯坦福大学)
弱监督是构建机器学习模型而不依赖于地面实况注释的流行方法。相反,它通过估计多个噪声标记源的准确性来生成概率训练标签(例如,工人(crowd workers)。现有的方法使用潜变量估计来对噪声源进行建模,但是这些方法在计算上可能是昂贵的,在数据中超线性地缩放。在这项工作中,我们证明了,对于一类高度适用于弱监督的潜变量模型,我们可以找到模型参数的封闭形式解,从而避免了像随机梯度下降(SGD)这样的迭代解。我们利用这一见解来构建FlyingSquid,这是一个弱监督框架,比以前的弱监督方法运行速度快几个数量级,并且需要更少的假设。特别是,我们证明了泛化误差的界限,而无需假设潜在变量模型可以精确地参数化底层数据分布。从经验上讲,我们在基准弱监督数据集上验证了FlyingSquid,并发现与以前的方法相比,它实现了相同或更高的质量,而无需调整SGD程序,恢复模型参数的速度平均快170倍,并实现了新的视频分析和在线学习应用。
2020-07-15 cs.LG stat.ML
Learning from Multiple Noisy Partial Labelers
Brown University(布朗大学);UC Berkeley(加州大学伯克利分校)
程序化弱监督通过组合启发式标记器的输出来创建没有手工标记的训练数据的模型。现有的框架做出了限制性的假设,即标签器输出单个类标签。允许用户创建部分标签器,输出可能的类标签的子集,将大大扩展编程式弱监督的表达能力。我们通过定义一个概率生成模型来引入这种能力,该模型可以估计多个嘈杂的部分标签的潜在精度,而无需地面真实标签。我们展示了如何扩展学习,例如在一分钟内学习10万个示例,与简单的实现相比,速度提高了300倍。我们还证明了这类模型是一般可识别的标签交换在温和的条件下。我们评估我们的框架上的三个文本分类和六个对象分类任务。在文本任务中,添加部分标签可以将平均准确率提高8.6个百分点。在图像任务中,我们表明,部分标签,使我们能够接近一些zero-shot对象分类问题的程序性弱监督使用类属性作为部分标签。在这些任务上,我们的框架具有与最近基于嵌入的零样本学习方法相当的准确性,同时仅使用预训练的属性检测器。
2022-03-25 cs.LG stat.ML
Robust Training of Graph Neural Networks via Noise Governance
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Baidu Research(百度研究院);University of Notre Dame(圣母大学)
图神经网络(GNNs)已经成为半监督学习的广泛使用的模型。然而,在存在标签噪声的情况下,GNN的鲁棒性仍然是一个很大程度上未被探索的问题。在本文中,我们考虑了一个重要的,但具有挑战性的情况下,标签的图的节点不仅是嘈杂的,而且稀缺。在这种情况下,由于标签噪声传播和学习不足,GNN的性能容易下降。为了解决这些问题,我们提出了一种新的RTGNN(通过噪声治理的图神经网络的鲁棒训练)框架,通过学习显式地治理标签噪声来实现更好的鲁棒性。更具体地说,我们引入自增强和一致性正则化作为补充监督。自我强化监督的灵感来自于深度神经网络的记忆效应,旨在纠正嘈杂的标签。此外,一致性正则化防止GNN通过视图间和视图内视角中的模仿损失而过拟合到噪声标签。为了利用这种监督,我们将标签分为干净和嘈杂的类型,纠正不准确的标签,并进一步在未标记的节点上生成伪标签。然后自适应地选择具有不同类型标签的节点的监督。这使得能够从干净的标签中进行充分的学习,同时限制嘈杂标签的影响。我们进行了大量的实验来评估我们的RTGNN框架的有效性,结果验证了它在两种类型的标签噪声和各种噪声率下的性能优于最先进的方法。
2023-02-26 cs.AI cs.LG
Safeguarded Dynamic Label Regression for Generalized Noisy Supervision
使用噪声标签学习,旨在减少精确注释的昂贵劳动,在大数据时代已经势在必行。以前的基于噪声过渡的方法已经取得了可喜的成果,并提出了一个理论上的保证,在类条件噪声的情况下的性能。然而,这种类型的方法严重依赖于噪声过渡的准确预估,这通常是不切实际的。随后的改进通过Softmax层调整预估计以及训练进度。然而,Softmax层中的参数由于不适定的随机近似而被高度调整以用于脆弱的性能。为了解决这些问题,我们提出了一个潜在的类条件噪声模型(LCCN),自然嵌入贝叶斯框架下的噪声转换。通过将噪声过渡投影到Dirichlet分布空间中,学习被约束在基于整个数据集的单纯形上,而不是一些ad-hoc参数空间。然后,我们推导出一个动态标签回归方法LCCN迭代推断潜在的标签,随机训练分类器和建模的噪音。我们的方法保障了噪声转换的有界更新,避免了先前通过一批样本进行任意调整。我们进一步推广LCCN的开集噪声标签和半监督设置。我们用可控噪声数据集CIFAR-10和CIFAR-100以及不可知噪声数据集Clothing 1 M和WebVision 17进行了广泛的实验。实验结果表明,该模型优于几个国家的最先进的方法。
2021-08-21 cs.CV cs.LG stat.ML
ScriptoriumWS: A Code Generation Assistant for Weak Supervision
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出 ScriptoriumWS,利用代码生成模型辅助编写弱监督来源,并通过多层提示及手写与生成来源结合,在保持准确率的同时显著提高覆盖率。
2025-02-17 cs.LG
From Theory to Decision Rule: Calibrating the Noisy-Label Crossover for Vision-Language Model Weak Supervision Across Three Medical-Imaging Benchmarks
Department of Computer Science, Stanford University(计算机科学系,斯坦福大学)
通过三个医学影像基准校准理论预测的噪声标签交叉点,提出基于少量金标标签的决策规则。
2026-10-22 cs.AI cs.CV cs.LG
Stop Replacing Noise with Noise: Two-Source Reliability Assessment for Label Correction and Sample Reweighting in Label-Noise Learning
针对标签噪声学习中重构方法的隐式耦合问题,提出TRACE双源可靠性评估框架,分别评估观测标签与伪目标,提升了带噪声基准上的重构基线性能与伪监督可靠性。
2026-08-05 cs.CV cs.LG
A-SFS: Semi-supervised Feature Selection based on Multi-task Self-supervision
Central South University(中南大学)
特征选择是机器学习中的一个重要过程。它通过选择对预测目标贡献最大的特征来构建一个可解释的和鲁棒的模型。然而,大多数成熟的特征选择算法,包括监督和半监督,未能充分利用特征之间的复杂潜在结构。我们相信这些结构对于特征选择过程是非常重要的,特别是当标签缺乏并且数据有噪声时。为此,我们创新性地将基于深度学习的自监督机制引入到特征选择问题中,即基于批量注意力的自监督特征选择(A-SFS)。首先,设计了一个多任务自监督自动编码器,在两个托词任务的支持下,揭示特征之间的隐藏结构。在多自监督学习模型的综合信息指导下,设计了一种批量注意力机制,根据批量特征选择模式生成特征权重,以减轻少量噪声数据带来的影响。该方法与14个主要的强大基准进行了比较,包括LightGBM和XGBoost。实验结果表明,A-SFS在大多数数据集上都达到了最高的准确率。此外,这种设计大大降低了对标签的依赖,仅需1/10的标记数据即可实现与最新基线相同的性能。结果表明,A-SFS对噪声和缺失数据也具有很强的鲁棒性。
2022-07-19 cs.AI cs.LG
Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement
Purdue University(普渡大学)
本文针对在线策略蒸馏(OPD)的监督可靠性存疑的问题,提出无监督的在线策略自适应(OPSA)方法,在多个基准测试中较 OPD 和 Qwen3-1.7B 实现显著性能提升。
2026-09-25 cs.CL cs.LG
Meta Label Correction for Noisy Label Learning
Microsoft Research(微软研究院)
利用弱监督或噪声监督来构建有效的机器学习模型一直是一个重要的研究问题。最近,由于越来越需要大规模数据集来训练深度学习模型,其重要性进一步增加。弱或嘈杂的监督可能来自多个来源,包括非专家注释者或基于语义或用户交互信号的自动标记。以前有大量的工作集中在利用嘈杂的标签。最值得注意的是,最近的工作已经显示出令人印象深刻的收益,通过使用元学习的实例重新加权方法,其中元学习框架用于分配实例权重到嘈杂的标签。在本文中,我们扩展了这种方法,通过提出的问题作为标签校正问题的元学习框架内。我们将标签校正过程视为一个元过程,并提出了一个新的基于元学习的框架MLC(Meta Label Correction),用于带噪声标签的学习。具体而言,采用标签校正网络作为元模型,以产生噪声标签的校正标签,同时训练主模型以利用校正标签。这两个模型通过解决双层优化问题来联合训练。我们在图像识别和文本分类任务中使用不同的标签噪声水平和类型进行了广泛的实验。我们比较了重新加权和校正方法,表明校正框架解决了重新加权的一些局限性。我们还表明,建议的MLC方法实现了很大的改进,在许多设置比以前的方法。
2021-08-06 cs.LG stat.ML
Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision
Google Research(谷歌研究院)
预先训练的表示对于许多NLP和感知任务变得至关重要。虽然NLP中的表示学习已经过渡到在没有人类注释的原始文本上进行训练,但视觉和视觉语言表示仍然严重依赖于精心策划的训练数据集,这些数据集价格昂贵或需要专业知识。对于视觉应用程序,表示主要使用具有显式类标签的数据集(如ImageNet或OpenImages)来学习。对于视觉语言,流行的数据集,如Conceptual Captions,MSCOCO或CLIP都涉及到一个重要的数据汇集(和清理)过程。这种昂贵的管理过程限制了数据集的大小,从而阻碍了训练模型的扩展。在本文中,我们利用了超过10亿个图像替代文本对的噪声数据集,在概念标题数据集中没有昂贵的过滤或后处理步骤。一个简单的双编码器架构学习使用对比损失来对齐图像和文本对的视觉和语言表示。我们表明,我们的语料库的规模可以弥补其噪音,并导致国家的最先进的表示,即使这样一个简单的学习计划。我们的视觉表示在转移到ImageNet和VTAB等分类任务时实现了强大的性能。对齐的视觉和语言表示实现了zero-shot图像分类,并在Flickr 30 K和MSCOCO图像-文本检索基准上设置了新的最先进的结果,即使与更复杂的交叉注意力模型相比也是如此。这些表示还支持复杂文本和文本+图像查询的跨模态搜索。
2021-06-11 cs.CL cs.CV cs.LG
Noisy Concurrent Training for Efficient Learning under Label Noise
Advanced Research Lab, NavInfo Europe(NavInfo Europe 高级研究实验室)
深度神经网络(DNN)在标签噪声下无法有效学习,并且已被证明会记住影响其泛化性能的随机标签。我们认为孤立学习,使用独热编码标签作为唯一的监督来源,以及缺乏规则化来阻止记忆是标准训练程序的主要缺点。因此,我们提出了Noisy Concurrent Training(NCT),它利用协作学习来使用两个模型之间的共识作为额外的监督来源。此外,受大脑中试验间差异的启发,我们提出了一种反直觉的正则化技术,即目标差异,它需要随机改变每批训练样本中一定比例的标签,以防止DNN中的记忆和过度泛化。目标变异性独立应用于每个模型,以保持它们的差异并避免确认偏倚。由于DNN倾向于在记住噪声标签之前首先优先学习简单模式,因此我们采用了动态学习方案,随着训练的进行,两个模型越来越依赖于它们的共识。NCT还逐渐增加目标的可变性,以避免在后期阶段记忆。我们证明了我们的方法在合成和真实世界的噪声基准数据集的有效性。
2020-09-17 cs.CV cs.LG
Analysing the Noise Model Error for Realistic Noisy Label Data
Saarland University(萨尔兰大学)
远程和弱监督允许快速且廉价地获得大量标记的训练数据,但是这些自动注释往往包含大量错误。克服这些噪声标签的负面影响的一种流行技术是噪声建模,其中对潜在的噪声过程进行建模。在这项工作中,我们研究的质量,这些估计的噪声模型从理论上推导出的噪声模型的预期误差。除了评估常用合成噪声的理论结果外,我们还发布了NoisyNER,这是一种来自NLP领域的新的噪声标签数据集,通过现实的远程监督技术获得。它提供了七组具有不同噪声模式的标签,以评估相同实例上的不同噪声级别。并行的、干净的标签使得研究可以利用少量黄金标准数据的场景成为可能。我们的理论结果和相应的实验给出了洞察影响噪声模型估计的因素,如噪声分布和采样技术。
2021-03-01 cs.CL cs.LG stat.ML
Noisy-Pair Robust Representation Alignment for Positive-Unlabeled Learning
Texas A&M University(德克萨斯A&M大学);Stanford University(斯坦福大学);RIKEN(理化学研究所);The University of Tokyo(东京大学)
NcPU通过噪声对偶鲁棒监督非对比损失和幻影标签歧义消除方案,提升正样本未标记学习在复杂数据集上的性能。
2026-02-10 cs.AI cs.LG
RDSGAN: Rank-based Distant Supervision Relation Extraction with Generative Adversarial Framework
Wuhan University(武汉大学)
远程监督已被广泛用于关系抽取,但遭受噪声标记问题。神经网络模型被提出来用注意力机制去噪,但由于其非零权值而不能消除噪声数据。硬决策是从正集合中删除错误标记的实例,但会导致删除实例中包含的有用信息丢失。在本文中,我们提出了一种新的生成式神经框架RDSGAN(基于秩的远程监督GAN),自动生成有效的远程监督关系抽取的实例。我们的框架结合了软注意力和硬决策,通过对抗训练来学习真阳性实例的分布,并通过基于排名的远程监督来选择符合分布的有效实例,从而解决了假阳性问题。实验结果表明,我们的框架优于强基线。
2020-09-30 cs.CL cs.LG
How to Find Your Friendly Neighborhood: Graph Attention Design with Self-Supervision
KAIST(韩国科学技术院)
图神经网络中的注意力机制被设计为向重要的邻居节点分配更大的权重以更好地表示。然而,图形注意力学习的是什么还没有很好地理解,特别是当图形是嘈杂的。在本文中,我们提出了一个自监督图注意力网络(SuperGAT),一个改进的图注意力模型的噪声图。具体来说,我们利用两个注意力形式兼容的自我监督任务来预测边缘,其存在和不存在包含的固有信息的重要性节点之间的关系。通过对边进行编码,SuperGAT在区分错误链接的邻居时学习到更多的表达注意力。我们发现两个图形特征影响注意形式和自我监督的有效性:同质性和平均度。因此,我们的配方提供了指导,当这两个图形特征已知时,使用哪种注意力设计。我们在17个真实数据集上的实验表明,我们的配方可以推广到其中的15个数据集,并且我们通过配方设计的模型显示出比基线更好的性能。
2022-04-11 cs.AI cs.LG cs.SI
Unpaired Speech Enhancement by Acoustic and Adversarial Supervision for Speech Recognition
KAIST(韩国科学技术院);Mokwon University(木原大学);KAIST Institute for Artificial Intelligence(韩国科学技术院人工智能研究所)
许多语音增强方法试图学习噪声和干净语音之间的关系,使用声学室模拟器获得。我们指出了几个局限性的增强方法依赖于干净的语音目标,这项工作的目标是提出一种替代学习算法,称为声学和对抗监督(AAS)。AAS使得增强的输出既最大化了预训练的声学模型上的转录的可能性,又具有干净语音的一般特征,这提高了对看不见的噪声语音的泛化。我们采用连接主义的时间分类和不成对的条件边界平衡生成对抗网络作为AAS的损失函数。AAS在两个数据集上进行了测试,包括加性噪声没有混响和混响,Librispeech + DEMAND和CHiME-4。通过可视化不同损失组合的增强语音,我们展示了每个监督的作用。AAS实现了较低的字出错率比其他国家的最先进的方法使用干净的语音目标在两个数据集。
2018-11-06 cs.CL cs.LG cs.SD
Dual GNNs: Graph Neural Network Learning with Limited Supervision
Carleton University(卡尔顿大学)
图神经网络(GNN)需要相对大量的标记节点和可靠/未损坏的图连接结构,以便在半监督节点分类任务上获得良好的性能。GNN的性能会随着标记节点数量的减少或图连接结构被对抗攻击破坏或由于数据测量/收集中的噪声而显著降低。因此,重要的是要开发GNN模型,当监督知识有限时,能够实现良好的性能-一些标记的节点和嘈杂的图结构。在本文中,我们提出了一种新的双GNN学习框架来解决这一挑战性任务。该框架有两个基于GNN的节点预测模块。主模块使用输入图结构来诱导具有常规GNN基线的常规节点嵌入和预测,而辅助模块通过细粒度谱聚类构建新的图结构并学习新的节点嵌入和预测。通过将这两个模块集成到双GNN学习框架中,我们以端到端的方式进行联合学习。这一总体框架可以应用于许多GNN基线模型。实验结果表明,当标记节点较少且图连通结构有噪声时,所提出的对偶GNN框架可以大大优于GNN基线方法。
2021-06-29 cs.AI cs.LG
DVPO: Distributional Value Modeling-based Policy Optimization for LLM Post-Training
College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与人工智能学院);Honor Device Co., Ltd(荣誉设备有限公司)
DVPO通过结合条件风险理论与分布价值建模,在噪声监督下提升大语言模型后训练的鲁棒性和泛化能力,优于PPO、GRPO等方法。
2026-04-24 cs.AI cs.LG
Improving a Named Entity Recognizer Trained on Noisy Data with a Few Clean Instances
University of Virginia(弗吉尼亚大学);Adobe Research(Adobe研究院)
针对低质量标注产生的噪声标签导致 NER 性能下降的问题,提出在少量干净实例指导下训练判别器模型重新校准样本权重以去噪,在公开数据集上持续提升性能。
2023-10-25 cs.AI cs.CL cs.LG
DeepUSPS: Deep Robust Unsupervised Saliency Prediction With Self-Supervision
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Freiburg(弗莱堡大学);Bosch Research, Bosch GmbH(博世研究院(博世有限公司));Bosch Center for AI, Bosch GmbH(博世人工智能中心(博世有限公司))
基于高质量标签的图像中基于深度神经网络(DNN)的显著目标检测是昂贵的。替代的无监督方法依赖于仔细选择多个手工制作的显着性方法来生成嘈杂的伪地面真实标签。在这项工作中,我们提出了一个两阶段的机制,用于鲁棒的无监督对象显着性预测,其中第一阶段涉及从不同的手工方法生成的噪声伪标签的细化。每个手工制作的方法都被一个学习生成伪标签的深度网络所取代。这些标签通过我们提出的自我监督技术在多个迭代中逐步完善。在第二阶段中,从表示多个显著性方法的多个网络产生的细化标签被用于训练实际显著性检测网络。我们表明,这种自学习过程在不同的数据集上优于所有现有的无监督方法。结果甚至可以与完全监督的最先进方法相媲美。该代码可在www.example.com上获得。
2021-03-15 cs.CV cs.LG eess.IV
Impact of Noisy Supervision in Foundation Model Learning
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research Asia(微软亚洲研究院);Southern University of Science and Technology(南方科技大学);RIKEN(理化学研究所);the University of Tokyo(东京大学);William & Mary(威廉玛丽学院)
本文首次系统分析预训练数据噪声对基础模型的影响,发现轻微噪声虽能提升域内性能但始终损害域外泛化,并提出 NMTune 微调方法通过仿射特征空间缓解噪声影响,开创噪声模型学习研究方向。
2025-05-05 cs.AI cs.CL cs.CV
Neuro-symbolic Weak Supervision: Theory and Semantics
School of Informatics, University of Edinburgh(信息学院,爱丁堡大学)
研究多实例部分标签学习中神经符号框架语义,通过集成归纳逻辑编程用关系约束构建该框架,定义标签转换假设空间等,研究两项归纳任务,便于约束规范等。
2026-07-07 cs.AI cs.LG
Why Subliminal Learning Needs So Much Data: A Noisy Inverse View through Steering Vector Recovery
University of Technology Sydney(悉尼科技大学);Xi’an Jiaotong University(西安交通大学);Southeast University(东南大学)
本文通过转向向量恢复,将阈下学习建模为噪声线性逆问题,发现软监督可少量数据精确恢复,硬监督需大量数据,因Fisher逆放大标签噪声。
2026-10-06 cs.AI cs.LG
Lifting Weak Supervision To Structured Prediction
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
弱监督(WS)是一组丰富的技术,通过聚合容易获得的,但潜在的噪声标签估计从各种来源产生伪标签。WS在理论上被很好地理解为二进制分类,其中简单的方法使得能够一致地估计伪标记噪声率。使用这个结果,已经表明,在伪标签上训练的下游模型具有与在干净标签上训练的模型几乎相同的泛化保证。虽然这是令人兴奋的,但用户通常希望使用WS进行结构化预测,其中输出空间由不止一个二进制或多类标签集组成:例如排名,图形,流形等。WS对于二元分类的有利理论性质是否提升到这种设置?我们对这个问题的回答是肯定的,在广泛的情况下。对于在有限度量空间中取值的标签,我们引入了基于伪欧几里德嵌入和张量分解的弱监督新技术,提供了一个近乎一致的噪声率估计。对于常曲率黎曼流形中的标签,我们引入了新的不变量,也产生一致的噪声率估计。在这两种情况下,当使用所产生的伪标签与灵活的下游模型相结合时,我们获得的泛化保证几乎与在干净数据上训练的模型相同。我们的几个结果,这可以被视为结构化预测与噪声标签的鲁棒性保证,可能是独立的利益。实证评估验证了我们的主张,并显示所提出的方法的优点。
2022-11-24 cs.AI cs.LG stat.ML
Taming the Loss Landscape of PINNs with Noisy Feynman-Kac Supervision: Operator Preconditioning and Non-Asymptotic Error Bounds
Department of Data Science, City University of Hong Kong(香港城市大学数据科学系);Department of Mathematics, City University of Hong Kong(香港城市大学数学系)
通过引入点态数据保真项作为算子级预条件,显著改善PINN的损失景观条件数,并基于Feynman-Kac表示生成标签,提出FK-PINN方法,推导了梯度下降下的非渐近误差界。
2026-08-12 cs.LG cs.NA math.NA
Learning Dependency Structures for Weak Supervision Models
Stanford University(斯坦福大学)
标记训练数据是现代机器学习管道中的关键瓶颈。最近的弱监督方法结合标签从多个嘈杂的来源,估计其准确性,而无需访问地面真相标签;然而,估计这些来源之间的依赖关系是一个关键的挑战。我们专注于一个强大的基于PCA的算法学习这些依赖结构,建立改进的理论恢复率,并优于现有的方法在各种现实世界的任务。在一定条件下,我们表明,所需的未标记的数据量可以缩放次线性,甚至与源$m$的数量,改善了以前的努力,忽略了稀疏模式的依赖结构和线性缩放$m$。我们提供了一个信息理论的最小样本的弱监督设置的复杂性的下限。我们的方法在现实世界的关系提取和图像分类任务中,比假设条件独立源的弱监督方法高出4.64个F1点,比以前的结构学习方法高出4.41个F1点。
2019-03-14 cs.LG stat.ML
The Cooperative Network Architecture: Learning Structured Networks as Representation of Sensory Patterns
Zurich University of Applied Sciences(苏黎世应用科学大学);University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);Frankfurt Institute for Advanced Studies(法兰克福高级研究 institute)
本文提出协同网络架构,通过结构化神经网络动态学习和组合感官模式,实现噪声鲁棒性和图形补全能力,为神经表示和不变物体识别提供新方法。
2025-11-21 cs.AI cs.CV cs.LG
SelectMix: Enhancing Label Noise Robustness through Targeted Sample Mixing
针对深度网络易受噪声标签影响的问题,提出置信度引导的混合框架SelectMix,通过K折交叉验证识别不确定样本并将其与高置信同类样本混合及使用准确软标签,显著提升了噪声标签学习的鲁棒性。
2025-09-14 cs.CV cs.LG stat.ML
RACH-Space: Reconstructing Adaptive Convex Hull Space with Applications in Weak Supervision
本研究提出RACH-Space弱监督标注算法,基于弱信号张成空间的几何解释构建,无需严格假设,通过凸包与标签准确率的理论分析关联几何与机器学习,实验证明其性能优于现有最优弱监督标签模型。
2024-02-02 cs.LG math.OC
Learning to Learn from Weak Supervision by Full Supervision
University of Amsterdam(阿姆斯特丹大学);Google Research(谷歌研究院)
在本文中,我们提出了一种方法来训练神经网络时,我们有一个大的数据集与弱标签和少量的数据与真正的标签。在我们提出的模型中,我们训练两个神经网络:目标网络,学习者和置信网络,元学习者。目标网络被优化以执行给定的任务,并使用大量未标记的弱注释数据进行训练。我们建议使用第二个置信度网络提供的分数来控制目标网络的梯度更新的大小,该置信度网络是在少量监督数据上训练的。因此,我们避免了从噪声标签计算的权重更新损害目标网络模型的质量。
2017-11-30 cs.AI cs.CL cs.LG
Creating Training Sets via Weak Indirect Supervision
Microsoft Research Asia(微软亚洲研究院);University of Washington(华盛顿大学);University of Science and Technology of China(中国科学技术大学);Carnegie Mellon University(卡内基梅隆大学);Snorkel AI, Inc.(Snorkel AI公司)
创建标记的训练集已经成为机器学习的主要障碍之一。为了解决这个问题,最近的\emph{Weak Supervision (WS)}框架综合训练标签从多个潜在的噪声监督源。然而,现有的框架仅限于共享相同的输出空间作为目标任务的监督源。为了扩展可用源的范围,我们制定了弱间接监督(WIS),一个新的研究问题,自动合成训练标签的基础上,间接监督源,具有不同的输出标签空间。为了克服输出空间不匹配的挑战,我们开发了一种概率建模方法PLRM,它使用用户提供的标签关系来建模和利用间接监督源。此外,我们提供了一个理论上的原则测试PLRM的可扩展性看不见的标签,随着推广界。在图像和文本分类任务以及工业广告应用中,我们通过超过基线2%-9%的幅度展示了PLRM的优势。
2022-03-14 cs.LG stat.AP stat.ML