Attention-Based Multiple Instance Regression for Remote Sensing
European Space Agency(欧洲空间局)
针对遥感中多实例回归问题,提出不依赖核心实例假设的注意力机制方法,在5个真实数据集上3个优于现有最先进模型,添加特征矩可提升准确率但收益递减。
2026-11-03 cs.LG stat.ML
Multiple instance learning with graph neural networks
JD AI Research(京东人工智能研究院)
多实例学习(MIL)的目的是学习一个包的实例和包级标签之间的映射。本文提出了一种新的基于端到端图神经网络(GNN)的MIL算法:将每个包视为一个图,使用GNN学习包的嵌入,以探索包中实例之间有用的结构信息。最终的图形表示被馈送到分类器中用于标签预测。我们的算法是第一次尝试使用GNN的MIL。我们的经验表明,该算法实现了几个流行的MIL数据集的最先进的性能,而不会失去模型的可解释性。
2019-06-12 cs.LG stat.ML
Multi-Instance Learning with Any Hypothesis Class
The Hebrew University(希伯来大学)
在被称为多实例学习(MIL)的监督学习设置中,示例是实例的袋,并且袋标签是其实例的标签的函数。通常,该函数是布尔OR。学习者观察袋子和袋子标签的样本,但不观察决定袋子标签的实例标签。然后,要求学习器基于样本发出袋子的分类规则。MIL有许多应用,并且许多启发式算法已经成功地用于这个问题,每个都适合于特定的设置或应用。在这项工作中,我们提供了一个统一的理论分析MIL,它适用于任何潜在的假设类,无论一个特定的应用程序或问题域。我们表明,MIL的样本复杂性是唯一的poly-dimensionally依赖于袋的大小,任何潜在的假设类。此外,我们介绍了一种新的PAC学习算法的MIL,它使用一个定期的监督学习算法作为一个预言。我们证明,有效的PAC学习MIL可以产生任何有效的非MIL监督学习算法,处理单侧错误。所得到的算法的计算复杂性仅多项式依赖于袋的大小。
2012-08-13 cs.LG stat.ML
Dissimilarity-based Ensembles for Multiple Instance Learning
Delft University of Technology(代尔夫特理工大学)
在多实例学习中,对象是特征向量(实例)的集合(包),而不是单个特征向量。在本文中,我们解决的问题,这些袋子可以最好地代表。两种标准的方法是使用包和原型包之间或包和原型实例之间的(差异)相似性。第一种方法导致由训练袋的数量确定的相对低维的表示,而第二种方法导致由训练集中的实例的总数确定的相对高维的表示。本文提出了第三种中间方法,它将这两种方法联系起来,并结合了它们的优点。我们的分类器的灵感来自随机子空间集成,并认为子空间的相异度空间,定义的子集的实例,作为原型。我们提供了使用这样的合奏的指导方针,并展示了一系列多实例学习问题的最先进的性能。
2014-02-06 cs.LG stat.ML
Revisiting Multiple Instance Neural Networks
Huazhong University of Science and Technology(华中科技大学)
近年来,神经网络和多示例学习都是人工智能领域的热门研究课题。深度神经网络在监督学习问题上取得了巨大的成功,而多示例学习作为一种典型的弱监督学习方法,在计算机视觉、生物识别、自然语言处理等领域的许多应用中是有效的。神经网络是解决多示例学习问题的一种有效方法。多实例神经网络以端到端的方式进行多实例学习,将具有不同数目实例的袋子作为输入,直接输出袋子标签。多实例网络中的所有参数都可以通过反向传播进行优化。我们提出了一种新的多实例神经网络来学习袋表示,这是不同于现有的多实例神经网络,侧重于估计实例标签。此外,最近在深度学习中开发的技巧已经在多实例网络中进行了研究,我们发现深度监督对于提高袋子分类准确性是有效的。在实验中,提出的多实例网络在多个MIL基准测试中达到了最先进或有竞争力的性能。此外,它对于测试和训练都非常快,例如,在中等CPU上,仅需0.0003秒来预测袋,且仅需几秒来对MIL数据集进行训练。
2016-10-08 cs.LG stat.ML
Attention-based Deep Multiple Instance Learning
University of Amsterdam(阿姆斯特丹大学)
多实例学习(MIL)是监督学习的一种变体,其中单个类标签被分配给一组实例。在本文中,我们国家的MIL问题学习的Bernoulli分布的袋标签的袋标签的概率是完全参数化的神经网络。此外,我们提出了一个基于神经网络的置换不变聚合算子,对应于注意力机制。值得注意的是,所提出的基于注意力的运营商的应用程序提供洞察每个实例的袋标签的贡献。我们的经验表明,我们的方法在基准MIL数据集上实现了与最佳MIL方法相当的性能,并且在基于MNIST的MIL数据集和两个真实组织病理学数据集上优于其他方法,而不会牺牲可解释性。
2018-06-28 cs.LG stat.ML
Learning and Interpreting Multi-Multi-Instance Learning Networks
Aalborg University(奥尔堡大学);Institut for Datalogi(数据学研究所);DINFO, Università di Firenze(佛罗伦萨大学信息学院)
我们引入了多实例学习问题的扩展,其中实例被组织为嵌套的实例袋(例如,文档可以被表示为句子袋,句子袋又是词袋)。这个框架可以在各种场景中使用,例如文本和图像分类,但也可以在图上进行监督学习。作为另一个优点,多-多实例学习实现了解释预测和决策函数的特定方式。我们的方法是基于一个特殊的神经网络层,称为袋层,其单位聚合袋的输入任意大小。我们从理论上证明了相关的函数类包含所有的布尔函数集的实例集,我们提供的经验证据表明,这种功能实际上可以学习半合成数据集。最后,我们在文本分类、引用图和社交图数据上进行了实验,结果表明,与其他方法(如图上的卷积网络)相比,我们的模型在准确性方面获得了有竞争力的结果,同时它支持一种通用的方法来解释学习模型,并解释个人预测。
2020-10-03 cs.LG stat.ML
Weakly-Supervised Action Localization with Expectation-Maximization Multi-Instance Learning
University of California, Berkeley(加州大学伯克利分校);Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学);Chinese Academy of Sciences(中国科学院)
弱监督的动作定位需要训练一个模型来定位视频中的动作片段,仅给出视频级别的动作标签。它可以在多实例学习(MIL)框架下解决,其中包(视频)包含多个实例(动作片段)。由于只有袋子的标签是已知的,所以主要的挑战是分配袋子中的哪些关键实例来触发袋子的标签。大多数以前的模型使用基于注意力的方法,应用注意力从实例中生成包的表示,然后通过包的分类对其进行训练。然而,这些模型隐含地违反了MIL假设,即负包中的实例应该是一致负的。在这项工作中,我们显式地将关键实例分配建模为隐藏变量,并采用期望最大化(EM)框架。我们推导出两个伪标签生成方案来模拟E和M过程,并迭代优化似然下界。我们表明,我们的EM-MIL方法更准确地模型的学习目标和MIL的假设。它在THUMOS 14和ActivityNet 1.2两个标准基准测试中实现了最先进的性能。
2020-08-25 cs.CV cs.LG stat.ML
Multiple-Instance Learning by Boosting Infinitely Many Shapelet-based Classifiers
Kyushu University(九州大学);RIKEN(理化学研究所);Keio University(庆应义塾大学);The University of Tokyo(东京大学)
我们提出了一个新的多实例学习(MIL)的配方。在典型的MIL设置中,一个数据单元被给定为一组称为袋子的实例,目标是基于单个或多个“shapelet”(或模式)的相似性找到一个好的袋子分类器,其中袋子与shapelet的相似性是袋子中实例的最大相似性。基于单个shapelet的分类器对于某些应用来说不够强大。此外,以前的工作与多个shapestivally选择了一些实例作为shapestival没有理论保证其泛化能力。我们的配方提供了一个更丰富的类的最终分类器的基础上无限多的形状。我们提供了一个有效的算法,新的配方,除了推广界。我们的实证研究表明,我们的方法不仅是有效的MIL任务,而且Shapelet学习的时间序列分类。
2018-12-10 cs.LG stat.ML
An embarrassingly simple approach to neural multiple instance classification
Pakistan Institute of Engineering and Applied Sciences (PIEAS)(巴基斯坦工程与应用科学学院(PIEAS))
多实例学习(MIL)是一种弱监督学习范式,允许对机器学习问题进行建模,其中标签仅适用于称为袋子的示例组。一个阳性袋可能包含一个或多个阳性样本,但不知道袋中的哪些样本是阳性的。所有在否定袋中的例子都属于否定类。这类问题在计算机视觉、医学图像处理和生物信息学等领域经常出现。许多基于神经网络的解决方案已经在文献中提出的MIL,然而,几乎所有的人都依赖于引入专门的块和连接的架构。在本文中,我们提出了一种新的和有效的方法来多实例学习的神经网络。我们提出了一个简单的袋级排名损失函数,允许在任何神经架构中进行多实例分类,而不是对架构进行更改。我们已经证明了我们提出的方法的有效性流行的MIL基准数据集。此外,我们已经测试了我们的方法在卷积神经网络中的性能,该网络用于对来自著名的MNIST数据集的MIL问题进行建模。结果表明,尽管更简单,我们提出的计划是可比的或优于现有的方法在文献中的实际情况。所有实验的Python代码文件都可以在https://github.com/amina01/ESMIL上找到。
2019-05-06 cs.LG stat.ML
Learning Pretopological Spaces to Model Complex Propagation Phenomena: A Multiple Instance Learning Approach Based on a Logical Modeling
INSA Centre Val de Loire(中央卢瓦尔河谷高等工业学院);LIFO EA 4022(LIFO(信息处理与优化实验室))
本文讨论了预拓扑理论形式主义中“传播”概念的学习问题。我们的建议是首先将伪闭包算子(模拟传播概念)定义为邻域的逻辑组合。我们表明,学习这样的操作失误到多实例(MI)的框架,其中的学习过程是在袋的实例,而不是个别的实例。虽然这个框架非常适合这项任务,但它用于学习预拓扑空间会导致一组大小呈指数级的袋子。为了克服这个问题,我们因此提出了一种学习方法的基础上,低估计的袋所涵盖的概念正在建设中。作为一个实验,渗流过程(森林火灾通常)进行了模拟和相应的传播模型学习的基础上的一个子集的观察。它表明,所提出的MI方法是更有效的传播模型识别的任务比现有的方法。
2018-05-03 cs.LG stat.ML
Theory and Algorithms for Shapelet-based Multiple-Instance Learning
Kyushu University(九州大学);AIP, RIKEN(理化学研究所人工智能研究中心);Keio University(庆应义塾大学);The University of Tokyo(东京大学)
我们提出了一种新的多实例学习(MIL),其中一个数据单元由一组称为包的实例组成。我们的目标是找到一个很好的分类袋的基础上的相似性与“shapelet”(或模式),其中的相似性袋与shapelet是最大的相似性的实例在袋。在以前的工作中,一些训练实例被选择为没有理论依据的形状。在我们的公式中,我们使用了所有可能的,因此有无穷多个形状,从而产生了更丰富的分类器。我们表明,制定是易于处理的,也就是说,它可以减少通过线性规划助推(LPBoost)凸(DC)的有限(实际上是多项式)大小的程序的差异。我们的理论结果也证明了以前的一些工作的原理。所提出的算法的时间复杂度高度依赖于训练样本中的所有实例的集合的大小。为了适用于包含大量实例的数据,我们还提出了一种启发式的算法选择,而不损失理论上的保证。我们的实证研究表明,我们的算法一致适用于时间序列分类的Shapelet学习任务和各种MIL任务,其精度与现有方法相当。此外,我们表明,所提出的算法使我们能够实现合理的计算时间的结果。
2020-10-13 cs.LG stat.ML
Kernel Self-Attention in Deep Multiple Instance Learning
Faculty of Mathematics and Computer Science, Jagiellonian University(雅盖隆大学数学与计算机科学学院);Ardigen SA(Ardigen SA公司)
并不是所有的监督学习问题都是由一对固定大小的输入张量和标签来描述的。在某些情况下,特别是在医学图像分析中,标签对应于一袋实例(例如,图像块),并且为了对这样的袋进行分类,需要聚集来自所有实例的信息。已经有几次尝试创建一个使用一袋实例的模型,但是,他们假设袋中没有依赖关系,并且标签至少连接到一个实例。在这项工作中,我们介绍了自注意力基于注意力的MIL池(SA-AbMILP)聚合操作来考虑实例之间的依赖关系。我们在MNIST、组织学、微生物和视网膜数据库上进行了几次实验,以表明SA-AbMILP的性能优于其他模型。此外,我们还研究了自注意力的核变化及其对结果的影响。
2021-03-05 cs.CV cs.LG stat.ML
On Learning from Label Proportions
Columbia University(哥伦比亚大学);Google Inc.(谷歌公司)
从标签比例学习(LLP)是一种学习设置,其中训练数据以组或“包”的形式提供,并且仅知道每个包中每个类的比例。任务是学习一个模型来预测各个实例的类标签。LLP在政治学、市场营销、医疗保健和计算机视觉方面有着广泛的应用。这项工作回答了基本问题,何时以及为什么LLP是可能的,通过引入一个一般框架,经验比例风险最小化(EPRM)。EPRM学习一个实例标签分类器,以匹配训练数据上给定的标签比例。我们的结果是基于两步分析。首先,我们提供了一个VC界的泛化误差的袋的比例。我们表明,袋样品的复杂性是只有轻度敏感的袋的大小。其次,我们证明了在一些温和的假设下,良好的袋子比例预测保证了良好的实例标签预测。这些结果共同提供了一个正式的保证,即各个标签确实可以在LLP环境中学习。我们讨论的应用程序的分析,包括合理的LLP算法,学习人口比例,和一个范例的学习算法的隐私保证。我们还展示了LLP的可行性的基础上,在现实世界中设置的案例研究:预测收入的基础上,人口普查数据。
2015-02-11 cs.LG stat.ML
Using Neural Network Formalism to Solve Multiple-Instance Problems
Cisco Systems(思科系统公司);Czech Technical University(捷克技术大学)
现实世界中的许多对象很难用一个固定长度的数字向量来描述,而用一组向量来描述它们更自然。因此,多实例学习(MIL)技术在过去几年中不断获得重要性。MIL形式主义通过固定长度的特征向量(实例)的集合(袋)来表示每个对象(样本),其中关于对象的知识(例如,类标签)在包级别上可用,但不一定在实例级别上可用。自九十年代后期问题正式化以来,许多标准工具,包括监督分类器,已经适应了MIL设置。在这项工作中,我们提出了一个神经网络(NN)为基础的形式主义,直观地弥合了MIL问题的定义和现有的大量知识基础的标准模型和分类之间的差距。我们表明,建议的NN形式主义是有效的优化,通过修改后的反向传播算法,可以揭示袋内的未知模式。在一组14个公开可用的基准数据集上与来自现有技术的八种类型的分类器的比较证实了所提出的解决方案的优点和准确性。
2017-03-07 cs.LG stat.ML
LLP-Bench: A Large Scale Tabular Benchmark for Learning from Label Proportions
Google Research India(谷歌研究院印度分部)
本文提出大规模表格 LLP 基准 LLP-Bench,包含源自 Criteo 两类数据的 70 个数据集,设计四项难度指标,并评估 9 种主流表格 LLP 方法。
2024-03-05 cs.LG stat.ML
Learning from Aggregate responses: Instance Level versus Bag Level Loss Functions
University of Southern California(南加州大学);Google Research(谷歌研究院)
本文研究聚合响应学习中的袋级与实例级损失,证明后者是前者的正则化形式,并提出兼具二者的插值估计量,给出渐近风险分析、差分隐私最优袋大小及实验验证。
2024-01-20 cs.AI cs.LG math.ST
Distill-to-Label: Weakly Supervised Instance Labeling Using Knowledge Distillation
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);IBM Research(IBM研究院)
仅使用图像级标签代替昂贵的细粒度像素注释的弱监督实例标记在包括医学图像分析在内的几个应用中至关重要。与传统的计算机视觉中的实例分割方案相比,我们考虑的问题的特征在于少量的训练图像和导致诊断的非局部模式。在本文中,我们探讨了使用多实例学习(MIL)设计一个实例标签生成器在这种弱监督设置。由于观察到MIL模型可以处理不同大小的袋子,我们建议重新使用最初为袋子级别分类训练的MIL模型,以产生单个实例的可靠预测,即,尺寸为$1$的袋子。为此,我们引入了一种新的正则化策略,基于虚拟对抗训练,以改善MIL训练,并随后开发了一种知识蒸馏技术,用于重新利用训练的MIL模型。通过对组织病理学图像中结肠癌和乳腺癌检测的实证研究,我们证明了所提出的方法可以产生高质量的实例级预测,并且显著优于MIL方法。
2019-07-26 cs.CV cs.LG stat.ML
Robust Multi-instance Learning with Stable Instances
University of South Australia(南澳大利亚大学)
多实例学习(MIL)处理数据由一组袋子表示的任务,每个袋子由一组实例描述。与标准的监督学习不同,只观察袋子标签,而每个实例的标签对学习者不可用。以前的MIL研究通常遵循i.i.d.假设训练样本和测试样本独立地取自同一分布。然而,这种假设在现实世界的应用中经常被违反。已经努力通过利用训练样本和测试样本之间的密度比对训练数据进行重要性加权来解决分布变化。不幸的是,模型通常需要在没有看到测试分布的情况下进行训练。在本文中,我们提出了可能的第一个框架,用于解决分布变化MIL不需要访问未标记的测试数据。我们的框架建立在确定一个新的连接MIL和潜在的结果框架之间的因果效应估计。在合成分布变化数据集、具有合成分布偏差的真实数据集和真实分布偏差的图像分类数据集上的实验结果验证了该方法的有效性。
2021-04-26 cs.AI cs.LG stat.ML
Confidence-Constrained Maximum Entropy Framework for Learning from Multi-Instance Data
Oregon State University(俄勒冈州立大学)
多实例数据(其中每个对象(包)包含实例的集合)广泛存在于机器学习、计算机视觉、生物信息学、信号处理和社会科学中。我们提出了一个最大熵(ME)框架,从多实例数据学习。在这种方法中,每个袋子表示为一个分布使用ME的原则。我们引入了置信约束ME(CME)的概念,同时学习的分布空间的结构,并推断每个分布。每个密度下的共享结构用于从每个包内的实例中学习。建议的CME是免费的调谐参数。我们设计了一个快速的优化算法,能够处理大规模的多实例数据。在实验部分中,我们评估了所提出的方法在分布空间中的精确秩恢复方面的性能,并将其与正则化ME方法进行了比较。此外,我们比较了CME的性能与多实例学习(MIL)的国家的最先进的算法,并显示出相当的性能,在准确性与降低计算复杂性。
2016-03-07 cs.IT cs.LG math.IT
Generative Multiple-Instance Learning Models For Quantitative Electromyography
Mayo Clinic(梅奥诊所);University of Waterloo(滑铁卢大学)
我们提出了一个全面的研究使用生成建模方法的多实例学习(MIL)问题。在MIL中,学习者接收的训练实例被分组到袋子中,袋子只带有标签(这对于所包含的实例可能是不正确的)。我们的工作的动机是促进神经肌肉疾病的诊断,使用套运动单位电位列车(MUPTs)的肌肉内检测,可以作为一个MIL的问题。我们的方法导致一个国家的最先进的解决方案的问题的肌肉分类。通过在一个通用框架中引入和分析MIL的生成模型,并研究各种模型结构和组件,我们的工作也可以作为MIL任务建模的方法指南。我们在MUPT数据集和MUSK1数据集上评估了我们提出的方法,MUSK1数据集是MIL最广泛使用的基准之一。
2013-09-26 cs.LG stat.ML
Easy Learning from Label Proportions
Google Research(谷歌研究院)
我们考虑从标签比例(LLP)学习的问题,LLP是一种弱监督分类设置,其中实例被分组为“袋”,并且只有每个袋的类标签的频率可用。尽管如此,学习器的目标是在单个实例级别实现低任务损失。在这里,我们提出了Easyllp:一个灵活的和简单的实现去偏置方法的基础上,聚合标签,它对任意损失函数。我们的技术使我们能够准确地估计在个人水平上的任意模型的预期损失。我们展示了我们的方法的灵活性,将其应用到流行的学习框架,如经验风险最小化(ERM)和随机梯度下降(SGD)与实例级性能的可证明的保证。更具体地说,我们展示了一个方差减少技术,使LLP学习的质量恶化,只有一个因素的k(k是袋大小)在ERM和SGD设置,相比,全面监督。最后,我们在多个数据集上验证了我们的理论结果,证明我们的算法在简单性方面与以前的LLP方法一样好或更好。
2023-02-13 cs.LG stat.ML
Reinforcement Learning for Relation Classification from Noisy Data
Microsoft Research Asia(微软亚洲研究院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Tsinghua University(清华大学)
现有的依赖于远程监督的关系分类方法假设一袋提到实体对的句子都描述了实体对的关系。这样的方法,在袋级执行分类,不能识别关系和句子之间的映射,并在很大程度上遭受噪声标记问题。在本文中,我们提出了一种新的模型,用于从有噪数据中进行句子级别的关系分类。该模型有两个模块:实例选择器和关系分类器。实例选择器通过强化学习选择出高质量的句子,并将选择出的句子输入到关系分类器中,关系分类器进行句子级别预测并向实例选择器提供奖励。这两个模块联合训练,以优化实例选择和关系分类过程。实验结果表明,该模型能有效地处理数据中的噪声,在句子层次上取得较好的关系分类性能。
2018-08-24 cs.IR cs.LG stat.ML