Learning from Indirect Observations
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP)
弱监督学习是一种通过利用低质量但大规模的监督信号来缓解标记数据稀缺性的范例。虽然现有的工作主要集中在利用某种类型的弱监督,但我们提出了一个概率框架,从间接观察中学习,用于从现实世界问题中的广泛弱监督中学习,例如,噪声标签、互补标签和粗粒度标签。我们提出了一种基于极大似然原理的通用方法,该方法具有理想的理论性质,可以直接用于深度神经网络。具体地说,对间接观测值采用真目标判别模型,间接观测值是一个完全随机或确定性地依赖于真目标的随机变量。然后,最大化给定间接观测的似然性,隐式地得到真实目标的估计量。两个新的问题设置-从多类标签比例学习和从粗粒度标签学习的综合实验,说明了我们的方法的实用性,并演示了如何整合各种来源的弱监督。
2019-10-10 cs.LG stat.ML
Learning under Label Proportions for Text Classification
UCLA(加州大学洛杉矶分校)
本文针对隐私与弱监督设置下的文本分类任务,在从标签比例学习(LLP)框架中指出了基线方法DLLP的缺陷,提出了一种具有鲁棒性的新公式并给出了泛化界,结合自监督目标在近87%的实验配置中优于基线。
2023-10-18 cs.LG
Summarization as Indirect Supervision for Relation Extraction
University of Southern California(南加州大学);University of California, Los Angeles(加州大学洛杉矶分校)
关系抽取(RE)模型由于依赖于带有昂贵注释的训练数据而受到挑战。考虑到摘要任务的目的是从较长的上下文中获取概括信息的简洁表达,这些任务自然符合RE的目标,即,提取一种描述实体提及关系的概要信息。我们提出了SuRE,它将RE转换成一个总结公式。SuRE基于摘要任务的间接监督,导致更精确和资源有效的RE。为了实现这一目标,我们开发的句子和关系转换技术,基本上桥接制定总结和RE任务。我们还将约束解码技术与Trie评分,以进一步增强基于摘要的RE与鲁棒的推理。在三个RE数据集上的实验证明了SuRE在全数据集和低资源环境下的有效性,表明摘要是一个有前途的间接监督来源,以改善RE模型。
2022-10-21 cs.CL cs.LG
A Unified and Stable Risk Minimization Framework for Weakly Supervised Learning with Theoretical Guarantees
提出一个统一的弱监督学习框架,通过直接构建基于弱监督数据结构的稳定替代风险,避免事后修正,并给出泛化界和可识别性条件。
2026-07-01 cs.AI cs.LG
On Learning Latent Models with Multi-Instance Weak Supervision
University of Pennsylvania(宾夕法尼亚大学);Samsung AI(三星人工智能)
本文针对多示例弱监督下的潜模型学习场景,定义多示例部分标签学习问题,首次给出其可学习性充要条件与Rademacher误差界,实验验证理论的同时暴露了弱监督的可扩展性问题。
2024-07-13 cs.LG stat.ML
World Knowledge as Indirect Supervision for Document Clustering
Peking University(北京大学);Hong Kong University of Science and Technology(香港科技大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
使学习协议在应用程序中成为现实的关键障碍之一是需要监督它们,这是一个昂贵的过程,通常需要聘请领域专家。我们认为框架使用世界知识作为间接监督。世界知识是通用的知识,它不是为任何特定领域设计的。如何使世界知识适应领域,以及如何表示它以供学习,是关键的挑战。在本文中,我们提供了一个例子,使用世界知识的领域相关的文档聚类。我们提供了三种方法来指定的世界知识的领域,通过解决的实体和它们的类型的二义性,并表示与世界知识的数据作为一个异构的信息网络。然后,我们提出了一个聚类算法,可以聚类多个类型,并将子类型的信息作为约束。在实验中,我们使用两个现有的知识库作为我们的世界知识的来源。一个是Freebase,它是关于实体及其组织的协作收集的知识。另一个是YAGO2,一个从维基百科自动提取的知识库,将知识映射到语言知识库WordNet。在两个文本基准数据集(20个新闻组和RCV 1)上的实验结果表明,引入世界知识作为间接监督,可以显著优于现有的聚类算法和基于世界知识特征的聚类算法.
2016-07-30 cs.CL cs.IR cs.LG
Improving Distantly Supervised Relation Extraction by Natural Language Inference
Iowa State University(爱荷华州立大学)
为了减少关系抽取(RE)任务的人工注释,已经提出了远程监督方法,同时与低性能作斗争。在这项工作中,我们提出了一种新的DSRE-NLI框架,它既考虑了来自现有知识库的远程监督,也考虑了来自其他任务的预训练语言模型的间接监督。DSRE-NLI通过半自动关系动词化(SARV)机制激活现成的自然语言推理(NLI)引擎,以提供间接监督,并进一步整合远程注释,使多分类RE模型受益。基于NLI的间接监督只从人类获取一个关系动词化模板作为每个关系的语义通用模板,然后通过从远距离标注语料库中自动挖掘的高质量文本模式来丰富模板集。通过两种简单有效的数据整合策略,训练数据的质量得到了显著提高。大量实验表明,该框架显着提高了远程监督RE基准数据集上的SOTA性能(高达F1的7.73%)。
2022-07-31 cs.CL cs.LG
Dense Retrieval as Indirect Supervision for Large-space Decision Making
University of Southern California(南加州大学);University of California, Davis(加利福尼亚大学戴维斯分校)
本文提出稠密决策检索(DDR),将大标签空间NLU任务重构为学习检索任务,通过双编码器从决策词库中检索预测,利用间接监督提升泛化能力,并在多标签分类、实体类型标注和少样本意图分类上显著优于基线。
2023-10-28 cs.AI cs.CL cs.IR
Learning Latent Representations in Neural Networks for Clustering through Pseudo Supervision and Graph-based Activity Regularization
University of South Florida(南佛罗里达大学)
在本文中,我们提出了一种新的无监督聚类方法,利用隐藏的信息,是间接引入通过一个伪分类目标。具体来说,我们随机地为每个观察分配一个伪父类标签,然后通过应用与所分配的标签相关联的特定于域的变换来修改该标签。生成的伪观测标记对随后用于训练具有自动聚类输出层(ACOL)的神经网络,该自动聚类输出层为每个伪父类引入多个softmax节点。由于基于基于图的活动正则化(GAR)项的无监督目标,每个父类的softmax副本都是专门的,因为通过特定于域的变换捕获的隐藏信息在训练期间传播。最终我们得到一个k-means友好的潜在表示。此外,我们还演示了所选择的转换类型如何影响性能,并有助于传播有助于揭示未知聚类的潜在信息。我们的研究结果显示了MNIST,SVHN和USPS数据集上无监督聚类任务的最新性能,具有迄今为止文献中报道的最高精度。
2018-02-08 cs.LG stat.ML
Weak Supervision for Real World Graphs
McGill University(麦吉尔大学)
本文提出弱监督图对比学习框架 WSNET,利用图结构、节点特征和多个带噪监督信号进行鲁棒表示学习,在多个真实与合成数据集上以最高15%的F1提升超越现有方法。
2025-06-03 cs.LG
Masking: A New Perspective of Noisy Supervision
University of Technology Sydney(悉尼科技大学);RIKEN(理化学研究所);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Shanghai Jiao Tong University(上海交通大学);University of Tokyo(东京大学)
在给定带有噪声标签的训练数据的情况下,学习各种类型的分类器非常重要。在迄今为止最流行的噪声模型中,噪声标签被未知的噪声转移矩阵从地面真实标签中破坏。因此,通过估计这个矩阵,分类器可以避免过度拟合那些嘈杂的标签。然而,由于两步方法的间接性质,或者没有足够大的数据来提供端到端的方法,这种估计实际上是困难的。在本文中,我们提出了一种称为掩蔽的人工辅助方法,它传达了人类对无效类转换的认知,并自然地推测了噪声转换矩阵的结构。为此,我们推导出一个结构感知的概率模型,结合结构先验,并解决了结构提取和结构对齐的挑战。由于掩蔽,我们只估计未掩蔽的噪声转移概率,估计的负担大大减少。我们在三种噪声结构的CIFAR-10和CIFAR-100以及不可知噪声结构的工业级Clothing 1 M上进行了大量的实验,结果表明掩蔽可以显著提高分类器的鲁棒性。
2018-10-31 cs.LG stat.ML
Learning Stable Predictors from Weak Supervision under Distribution Shift
University of Central Florida(中央佛罗里达大学)
本文研究了在分布偏移下从弱监督中学习稳定预测器的问题,通过CRISPR-Cas13d转录组扰动实验,探讨了监督漂移现象,并展示了弱监督在域内学习和部分跨细胞系迁移中的有效性,同时揭示了时间迁移中的失败源于监督漂移而非模型容量或简单协变量偏移。
2026-05-19 cs.AI cs.LG
Enhancing Affective Representations of Music-Induced EEG through Multimodal Supervision and latent Domain Adaptation
University of Southern California(南加利福尼亚大学);National Technical University of Athens(雅典国家技术大学)
音乐认知和音乐神经反应的研究对于理解人类情感具有不可估量的价值。然而,大脑信号表现出高度复杂的结构,这使得处理和检索有意义的特征具有挑战性,特别是像情感这样的抽象结构。此外,学习模型的性能被有限的可用神经元数据及其严重的受试者间变异性所破坏。在本文中,我们提取有效的,个性化的情感表征,从脑电信号在听音乐。为此,我们采用音乐信号作为EEG的监督方式,旨在将其语义对应投射到一个共同的表示空间上。我们利用一个双模态框架,通过结合基于LSTM的注意力模型来处理EEG和用于音乐标记的预训练模型,以及一个反向域映射来对齐两种模态的分布,进一步用情感标签约束学习过程。由此产生的框架可以直接用于情感识别,通过执行监督的预测从任何一种方式,和间接地,通过提供相关的音乐样本EEG输入查询。实验结果表明,通过刺激信息识别的目的,提高神经元数据的潜力,并产生洞察音乐诱导的情感特征的分布和时间方差。
2022-02-20 cs.IR cs.LG cs.SD
Diffusion with Forward Models: Solving Stochastic Inverse Problems Without Direct Supervision
MIT(麻省理工学院);Princeton(普林斯顿大学)
提出一种无需直接监督的扩散模型,通过整合可微前向模型,从间接观测中学习采样底层信号分布,实现端到端训练,并在逆向图形学等任务中有效生成与观测一致的3D场景。
2023-11-17 cs.CV cs.GR cs.LG
Learning Discriminative Dynamics with Label Corruption for Noisy Label Detection
POSTECH(浦项科技大学);Yonsei University(延世大学);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出DynaCor框架,通过引入标签腐败策略扩充数据集并利用训练动力学潜在表示形成可分簇,有效检测噪声标签,提升了对多种噪声类型和噪声率的鲁棒性。
2024-05-30 cs.LG stat.ML