Revisiting Multiple Instance Neural Networks
Huazhong University of Science and Technology(华中科技大学)
近年来,神经网络和多示例学习都是人工智能领域的热门研究课题。深度神经网络在监督学习问题上取得了巨大的成功,而多示例学习作为一种典型的弱监督学习方法,在计算机视觉、生物识别、自然语言处理等领域的许多应用中是有效的。神经网络是解决多示例学习问题的一种有效方法。多实例神经网络以端到端的方式进行多实例学习,将具有不同数目实例的袋子作为输入,直接输出袋子标签。多实例网络中的所有参数都可以通过反向传播进行优化。我们提出了一种新的多实例神经网络来学习袋表示,这是不同于现有的多实例神经网络,侧重于估计实例标签。此外,最近在深度学习中开发的技巧已经在多实例网络中进行了研究,我们发现深度监督对于提高袋子分类准确性是有效的。在实验中,提出的多实例网络在多个MIL基准测试中达到了最先进或有竞争力的性能。此外,它对于测试和训练都非常快,例如,在中等CPU上,仅需0.0003秒来预测袋,且仅需几秒来对MIL数据集进行训练。
2016-10-08 cs.LG stat.ML
Address Instance-level Label Prediction in Multiple Instance Learning
Fudan University(复旦大学)
\textit{Multiple Instance Learning}(MIL)关注的是从大量实例中学习,其中只给出了包标签,而实例标签是未知的。在这个领域中的有效方法主要是设计用于袋级标签预测(预测袋的标签),而不是实例级(预测实例的标签),任务丢失仅定义在袋级。这限制了它们在许多任务中的应用,在这些任务中,实例级标签更感兴趣。在本文中,我们提出了一种新的算法,其损失是专门定义在实例级,以解决实例级的标签预测在MIL。我们证明了该算法的损失可以无偏和一致的估计,而不使用实例标签,独立同分布假设。实验结果验证了上述结论,并表明,该算法可以实现优越的实例级和比较袋级的性能,相比国家的最先进的MIL方法。此外,它表明,所提出的方法可以实现类似的结果作为完全监督模型(训练与实例标签)的标签预测在实例级别。
2019-05-29 cs.LG stat.ML
Learning Maximally Predictive Prototypes in Multiple Instance Learning
Bogazici University(博阿齐奇大学)
在这项工作中,我们提出了一个简单的模型,提供置换不变的最大预测原型生成器从一个给定的数据集,这导致解释的解决方案和具体的见解的性质和解决方案的问题。我们的目标是在特征空间中找出原型,将实例集合(即袋子)映射到距离特征空间,同时学习多实例学习(MIL)的线性分类器。在经典MIL基准数据集上的实验表明,与现有方法相比,该框架是一个准确和高效的分类器。
2021-01-22 cs.LG stat.ML
Kernel Mean Embedding of Instance-wise Predictions in Multiple Instance Regression
Imperial College London(帝国理工学院)
在本文中,我们提出了一个扩展现有的算法(实例MIR),解决多实例回归(MIR)问题,也被称为分布回归。当数据是一组行李时,MIR设置出现,其中每个行李由对应于相同且唯一的实值标签的多个实例组成。MIR算法的目标是找到一个从一个看不见的包的实例到它的目标值的映射。instance-MIR算法单独处理所有实例,并将每个实例映射到一个标签。然后将最终的袋子标签作为该给定袋子的预测的平均值或中值。虽然它在概念上很简单,但采用单个统计数据来总结每个袋子中标签的分布是一个局限性。尽管存在这种性能瓶颈,实例MIR算法已被证明是有竞争力的,当与当前最先进的方法相比。我们通过计算每个袋子的预测标签分布的内核均值嵌入来解决上述问题,并从这些嵌入中学习袋子标签的回归量。我们在五个真实世界的数据集上测试了我们的算法(instance-kme-MIR),并在所有数据集上获得了比基线instance-MIR更好的结果,同时在其中两个数据集上获得了最先进的结果。
2019-08-18 cs.LG stat.ML
A Multiclass Multiple Instance Learning Method with Exact Likelihood
我们研究了一个多类多实例学习(MIL)问题,其中标签只表明类的任何实例是否存在于训练样本或示例中。无进一步信息,例如,利用每个类的实例数量、训练样本中所有实例的相对位置或顺序。这种弱监督学习问题可以通过最大化拟合给定观测的模型似然来精确解决,并可应用于图像理解的多目标检测和定位等任务。我们讨论了它的关系,经典的分类问题,传统的MIL,和连接主义的时间分类(CTC)。我们使用图像识别作为示例任务来开发我们的方法,尽管它适用于更高或更低维度的数据而无需太多修改。实验结果表明,我们的方法可用于学习所有卷积神经网络,以解决具有弱注释的真实世界多目标检测和定位任务,例如,从谷歌街景图像数据集转录房屋号码序列。
2019-03-13 cs.LG stat.ML
Dissimilarity-based Ensembles for Multiple Instance Learning
Delft University of Technology(代尔夫特理工大学)
在多实例学习中,对象是特征向量(实例)的集合(包),而不是单个特征向量。在本文中,我们解决的问题,这些袋子可以最好地代表。两种标准的方法是使用包和原型包之间或包和原型实例之间的(差异)相似性。第一种方法导致由训练袋的数量确定的相对低维的表示,而第二种方法导致由训练集中的实例的总数确定的相对高维的表示。本文提出了第三种中间方法,它将这两种方法联系起来,并结合了它们的优点。我们的分类器的灵感来自随机子空间集成,并认为子空间的相异度空间,定义的子集的实例,作为原型。我们提供了使用这样的合奏的指导方针,并展示了一系列多实例学习问题的最先进的性能。
2014-02-06 cs.LG stat.ML
Multiple instance learning with graph neural networks
JD AI Research(京东人工智能研究院)
多实例学习(MIL)的目的是学习一个包的实例和包级标签之间的映射。本文提出了一种新的基于端到端图神经网络(GNN)的MIL算法:将每个包视为一个图,使用GNN学习包的嵌入,以探索包中实例之间有用的结构信息。最终的图形表示被馈送到分类器中用于标签预测。我们的算法是第一次尝试使用GNN的MIL。我们的经验表明,该算法实现了几个流行的MIL数据集的最先进的性能,而不会失去模型的可解释性。
2019-06-12 cs.LG stat.ML
Sparse Network Inversion for Key Instance Detection in Multiple Instance Learning
POSTECH(浦项工科大学);BARO AI
多实例学习(MIL)涉及为一袋实例预测单个标签,在袋级给出正面或负面标签,而无需在训练阶段访问每个实例的标签。由于正包包含正实例和负实例,因此当一组实例被归类为正包时,通常需要检测正实例(关键实例)。基于注意力的深度MIL模型是袋级分类和关键实例检测(KID)的最新进展。然而,如果正面袋中的正面和负面实例不能清楚区分,则基于注意力的深度MIL模型具有有限的KID性能,因为注意力分数偏向于少数正面实例。在本文中,我们提出了一种方法来改善基于注意力的深度MIL模型在KID的任务。其主要思想是使用神经网络反演,找出哪些实例对训练的MIL模型产生的袋级预测做出了贡献。此外,我们将稀疏性约束引入到神经网络反演中,从而得到稀疏网络反演,并采用近似梯度法求解。基于MNIST的图像MIL数据集和两个真实世界的组织病理学数据集上的数值实验验证了我们的方法的有效性,表明KID性能显着提高,同时保持袋级预测的性能。
2020-09-08 cs.LG stat.ML
Model-Based Multiple Instance Learning
虽然多实例(MI)数据是点模式-无序点的集合或多集合-但在MI学习中尚未使用适当的统计点模式模型。本文提出了一个基于模型的MI学习的框架,使用点过程理论。用于从点过程理论导出的点模式数据的似然函数使得能够将学习任务(诸如分类、新颖性检测和聚类)原则上但概念上透明地扩展到点模式数据。此外,易处理的点模式模型,以及解决方案的学习和决策的点模式数据。
2017-08-13 cs.LG stat.ML
Attention-based Deep Multiple Instance Learning
University of Amsterdam(阿姆斯特丹大学)
多实例学习(MIL)是监督学习的一种变体,其中单个类标签被分配给一组实例。在本文中,我们国家的MIL问题学习的Bernoulli分布的袋标签的袋标签的概率是完全参数化的神经网络。此外,我们提出了一个基于神经网络的置换不变聚合算子,对应于注意力机制。值得注意的是,所提出的基于注意力的运营商的应用程序提供洞察每个实例的袋标签的贡献。我们的经验表明,我们的方法在基准MIL数据集上实现了与最佳MIL方法相当的性能,并且在基于MNIST的MIL数据集和两个真实组织病理学数据集上优于其他方法,而不会牺牲可解释性。
2018-06-28 cs.LG stat.ML
A Novel Multiple Classifier Generation and Combination Framework Based on Fuzzy Clustering and Individualized Ensemble Construction
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
多分类器系统(MCS)已成为提高分类性能的一个成功的选择。然而,研究表明不同MCS的结果不一致,并且通常很难预测哪种MCS算法在特定问题上效果最好。我们认为,MCS的两个关键步骤-基于分类器的生成和多个分类器的组合,需要协调设计,以产生鲁棒的结果。在这项工作中,我们表明,对于不同的测试实例,更好的分类器可以从训练实例的不同子域,包括,例如,测试实例的相邻实例,甚至远离测试实例的实例进行训练。为了利用这种直觉,我们提出了个性化分类器Ensemination(ICE)。ICE将训练数据分组到重叠的集群中,为每个集群构建分类器,然后将每个训练实例与性能最好的模型相关联,同时考虑模型类型和频率。在测试中,ICE为测试实例找到k个最相似的训练实例,然后通过对与这些训练实例相关联的模型的预测进行平均来预测测试实例的类标签。对49个基准测试的评估结果表明,与现有的MCS方法相比,ICE在很大一部分数据集上有稳定的改进。ICE提供了一种新的选择,利用内部模式之间的实例,以提高分类,并可以很容易地与各种分类模型相结合,并应用于许多应用领域。
2019-07-31 cs.LG stat.ML
Multiple Instance Learning by Discriminative Training of Markov Networks
Simon Fraser University(西蒙菲莎大学);University of British Columbia(不列颠哥伦比亚大学)
我们介绍了一个图形框架的多实例学习(MIL)的基础上马尔可夫网络。该框架可用于模拟传统的MIL定义以及更一般的MIL定义。在弱监督数据中,可以探索不同程度的模糊性(包中的阳性实例部分)。为了训练这些模型,我们提出了一个判别最大余量学习算法,利用有效的基数为基础的集团推理。所提出的框架的有效性进行评估的各种数据集。实验结果表明,编码或学习模糊度可以提高分类性能。
2013-09-26 cs.LG stat.ML
A bag-to-class divergence approach to multiple-instance learning
UiT The Arctic University of Norway(挪威北极大学);NTNU(挪威科技大学)
在多实例(MI)学习中,每个对象(包)由多个特征向量(实例)组成,通常被视为多维空间中的一组点。一种不同的观点是,实例是具有相应概率分布的随机向量的实现,并且袋子是分布,而不是实现。在MI分类中,训练集中的每个袋子都有一个类别标签,但实例是未标记的。通过将概率分布空间引入袋级分类问题,可以应用概率分布之间的不相似性(分歧)。袋到袋Kullback-Leibler信息是渐近最好的分类器,但MI训练集的典型稀疏性是一个障碍。我们引入袋类分歧MI学习,强调层次性质的随机向量,使袋从同一类不同。我们提出了两个属性袋类分歧,稀疏训练集和一个额外的属性。
2018-10-12 cs.LG stat.ML
Attention-Based Multiple Instance Regression for Remote Sensing
European Space Agency(欧洲空间局)
针对遥感中多实例回归问题,提出不依赖核心实例假设的注意力机制方法,在5个真实数据集上3个优于现有最先进模型,添加特征矩可提升准确率但收益递减。
2026-11-03 cs.LG stat.ML
Multiple Instance Learning with Bag Dissimilarities
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学)
多实例学习(MIL)涉及从对象(实例)的集合(包)中学习,其中单个实例标签是模糊的。在这种情况下,监督学习不能直接应用。通常,专门的MIL方法通过对包标签和实例标签的关系进行额外的假设来学习。这些假设可能适合特定的数据集,但不能推广到整个MIL问题。其他MIL方法将假设的焦点从标签转移到袋子的整体(不)相似性,因此直接从袋子中学习。我们建议用一个向量来表示每个袋子与训练集中其他袋子的不同之处,并将这些不同之处视为一个特征表示。我们展示了几种替代方案来定义袋之间的差异,并讨论哪些定义更适合于特定的MIL问题。实验结果表明,该方法是计算成本低,但非常具有竞争力的国家的最先进的算法在广泛的MIL数据集。
2014-08-12 cs.LG stat.ML
pyLEMMINGS: Large Margin Multiple Instance Classification and Ranking for Bioinformatics Applications
Biomedical Informatics Research Laboratory (BIRL), Department of Computer and Information Sciences, Pakistan Institute of Engineering and Applied Sciences (PIEAS)(巴基斯坦工程与应用科学学院(PIEAS)计算机与信息科学系生物医学信息学研究实验室);Machine Learning and Vision Laboratory, School of Electrical Engineering and Computer Science, Gwangju Institute of Science and Technology(光州科学技术院电气工程与计算机科学学院机器学习与视觉实验室);Department of Computer Science, Colorado State University(科罗拉多州立大学计算机科学系)
动机:在计算生物学中开发基于机器学习的方法的主要挑战是,由于实验性地注释蛋白质和DNA序列的性质所需的时间和资源,数据可能无法被准确地标记。标准的监督学习算法假设训练数据的实例级标记是准确的。多实例学习是处理这种标签歧义的范例。然而,广泛使用的大间隔多实例学习分类方法本质上是启发式的,具有较高的计算要求。在本文中,我们提出了随机次梯度优化大边际算法的多实例分类和排名,并提供他们在一个软件套件称为pyLEMMINGS。结果:我们已经在一些生物信息学问题以及基准数据集上测试了pyLEMMINGS。pyLEMMINGS已经成功地鉴定了功能上重要的蛋白质片段:钙调蛋白结合蛋白的结合位点、朊病毒形成区域和淀粉样蛋白核心。pyLEMMINGS在所有这些任务中都实现了最先进的性能,证明了多实例学习的价值。此外,我们的方法已经显示出超过100倍的改进,在运行时间方面相比,启发式解决方案,提高了基准数据集的准确性。可用性和实现:pyLEMMINGS python包可在http://faculty.pieas.edu.pk/fayyaz/software.html#pylemmings下载。
2017-11-14 cs.LG stat.ML
Investigation of Initialization Strategies for the Multiple Instance Adaptive Cosine Estimator
University of Florida(佛罗里达大学)
利用电磁感应(EMI)来激发导电体中的响应的传感器长期以来一直被研究用于地下爆炸危险检测。特别地,EMI传感器已被用于区分不同类型的物体,并检测具有低金属含量的物体。一个成功的,以前研究的方法是多实例自适应余弦估计(MI-ACE)。在本文中,一些新的初始化技术MI-ACE提出并评估各自的性能和速度。交叉验证的学习签名以及学习的背景统计数据与自适应余弦估计(ACE)一起用于生成置信度图,置信度图被聚类到警报中。根据地面实况对警报进行评分,并比较初始化方法。
2019-04-30 cs.LG stat.ML
Generative Multiple-Instance Learning Models For Quantitative Electromyography
Mayo Clinic(梅奥诊所);University of Waterloo(滑铁卢大学)
我们提出了一个全面的研究使用生成建模方法的多实例学习(MIL)问题。在MIL中,学习者接收的训练实例被分组到袋子中,袋子只带有标签(这对于所包含的实例可能是不正确的)。我们的工作的动机是促进神经肌肉疾病的诊断,使用套运动单位电位列车(MUPTs)的肌肉内检测,可以作为一个MIL的问题。我们的方法导致一个国家的最先进的解决方案的问题的肌肉分类。通过在一个通用框架中引入和分析MIL的生成模型,并研究各种模型结构和组件,我们的工作也可以作为MIL任务建模的方法指南。我们在MUPT数据集和MUSK1数据集上评估了我们提出的方法,MUSK1数据集是MIL最广泛使用的基准之一。
2013-09-26 cs.LG stat.ML
Learning Pretopological Spaces to Model Complex Propagation Phenomena: A Multiple Instance Learning Approach Based on a Logical Modeling
INSA Centre Val de Loire(中央卢瓦尔河谷高等工业学院);LIFO EA 4022(LIFO(信息处理与优化实验室))
本文讨论了预拓扑理论形式主义中“传播”概念的学习问题。我们的建议是首先将伪闭包算子(模拟传播概念)定义为邻域的逻辑组合。我们表明,学习这样的操作失误到多实例(MI)的框架,其中的学习过程是在袋的实例,而不是个别的实例。虽然这个框架非常适合这项任务,但它用于学习预拓扑空间会导致一组大小呈指数级的袋子。为了克服这个问题,我们因此提出了一种学习方法的基础上,低估计的袋所涵盖的概念正在建设中。作为一个实验,渗流过程(森林火灾通常)进行了模拟和相应的传播模型学习的基础上的一个子集的观察。它表明,所提出的MI方法是更有效的传播模型识别的任务比现有的方法。
2018-05-03 cs.LG stat.ML
Using Neural Network Formalism to Solve Multiple-Instance Problems
Cisco Systems(思科系统公司);Czech Technical University(捷克技术大学)
现实世界中的许多对象很难用一个固定长度的数字向量来描述,而用一组向量来描述它们更自然。因此,多实例学习(MIL)技术在过去几年中不断获得重要性。MIL形式主义通过固定长度的特征向量(实例)的集合(袋)来表示每个对象(样本),其中关于对象的知识(例如,类标签)在包级别上可用,但不一定在实例级别上可用。自九十年代后期问题正式化以来,许多标准工具,包括监督分类器,已经适应了MIL设置。在这项工作中,我们提出了一个神经网络(NN)为基础的形式主义,直观地弥合了MIL问题的定义和现有的大量知识基础的标准模型和分类之间的差距。我们表明,建议的NN形式主义是有效的优化,通过修改后的反向传播算法,可以揭示袋内的未知模式。在一组14个公开可用的基准数据集上与来自现有技术的八种类型的分类器的比较证实了所提出的解决方案的优点和准确性。
2017-03-07 cs.LG stat.ML
Multiple Instance Dictionary Learning using Functions of Multiple Instances
University of Missouri(密苏里大学)
提出了一种基于多实例函数的多实例字典学习方法(DL-FUMI),用于解决训练标签不准确的目标检测和两类分类问题。给定不准确的训练标签,DL-FUMI学习一组目标字典原子,这些原子描述了真阳性类的最独特和最具代表性的特征,以及一组非目标字典原子,这些原子解释了在阳性和阴性实例中发现的共享信息。实验结果表明,DL-FUMI发现的估计目标字典原子是更有代表性的原型,并确定更好的判别功能的真阳性类比现有的方法在文献中。DL-FUMI被证明有显着更好的性能在几个目标检测和分类问题相比,其他多实例学习(MIL)字典学习算法的各种MIL问题。
2016-08-03 cs.CV cs.LG stat.ML
Simplified and Unified Analysis of Various Learning Problems by Reduction to Multiple-Instance Learning
Kyushu University(九州大学);RIKEN(理化学研究所)
在统计学习中,目前已经提出了许多问题形式,如多类学习、互补标记学习、多标记学习、多任务学习等,为现实世界中的各种任务提供了理论模型。虽然它们已被广泛研究,但它们之间的关系尚未得到充分研究。在这项工作中,我们专注于一个特定的问题制定称为多实例学习(MIL),并表明,各种学习问题,包括所有上述问题与一些新的问题,可以减少到MIL与理论上保证的推广范围,其中减少建立在一个新的减少计划,我们提供的副产品。结果表明,MIL约简为设计和分析各种学习问题的算法提供了一个简化和统一的框架。此外,我们表明,MIL减少框架可以内核化。
2022-11-11 cs.LG stat.ML
Explaining Classifiers Trained on Raw Hierarchical Multiple-Instance Data
Avast Software(Avast软件公司);Czech Technical University in Prague(布拉格捷克理工大学)
从原始数据输入中学习,从而限制了对特征工程的需求,是机器学习方法在各个领域中的许多成功应用的组成部分。虽然许多问题自然地转化为在标准分类器中直接可用的向量表示,但是许多数据源具有结构化数据交换格式的自然形式(例如,JSON/XML格式的安全日志)。现有的方法,如分层多实例学习(HMIL),允许从原始形式的数据中学习。然而,在原始结构化数据上训练的分类器的解释在很大程度上仍未被探索。通过将这些模型视为子集选择问题,我们演示了如何使用计算效率高的算法生成具有良好特性的可解释解释性解释。我们比较采用图神经网络的解释技术,显示了一个数量级的速度和更高质量的解释。
2022-08-04 cs.LG stat.ML
An embarrassingly simple approach to neural multiple instance classification
Pakistan Institute of Engineering and Applied Sciences (PIEAS)(巴基斯坦工程与应用科学学院(PIEAS))
多实例学习(MIL)是一种弱监督学习范式,允许对机器学习问题进行建模,其中标签仅适用于称为袋子的示例组。一个阳性袋可能包含一个或多个阳性样本,但不知道袋中的哪些样本是阳性的。所有在否定袋中的例子都属于否定类。这类问题在计算机视觉、医学图像处理和生物信息学等领域经常出现。许多基于神经网络的解决方案已经在文献中提出的MIL,然而,几乎所有的人都依赖于引入专门的块和连接的架构。在本文中,我们提出了一种新的和有效的方法来多实例学习的神经网络。我们提出了一个简单的袋级排名损失函数,允许在任何神经架构中进行多实例分类,而不是对架构进行更改。我们已经证明了我们提出的方法的有效性流行的MIL基准数据集。此外,我们已经测试了我们的方法在卷积神经网络中的性能,该网络用于对来自著名的MNIST数据集的MIL问题进行建模。结果表明,尽管更简单,我们提出的计划是可比的或优于现有的方法在文献中的实际情况。所有实验的Python代码文件都可以在https://github.com/amina01/ESMIL上找到。
2019-05-06 cs.LG stat.ML
Deep Multiple Instance Feature Learning via Variational Autoencoder
Bosch Research and Technology Center(博世研究与技术中心)
我们描述了一种新的弱监督深度学习框架,该框架结合了判别模型和生成模型,以在多实例学习(MIL)环境中学习有意义的表示。MIL是一个弱监督学习问题,其中标签与实例组(称为包)而不是单个实例相关联。为了解决MIL问题中的正实例标签的不确定性所带来的根本挑战,我们使用了一个判别模型正则化的变分自编码器(VAE),以最大限度地提高潜在的所有实例和负实例的表示之间的差异。因此,变分自编码器的隐藏层学习有意义的表示。这种表示方法可以有效地用于MIL问题,与最先进的方法相比,在标准基准数据集上具有更好的性能。更重要的是,与大多数相关研究不同,所提出的框架可以很容易地扩展到大型数据集问题,如音频事件检测和分割任务所示。可视化也证实了潜在表征在区分积极和消极类方面的有效性。
2018-07-06 cs.AI cs.LG stat.ML
Monte-Carlo Sampling applied to Multiple Instance Learning for Histological Image Classification
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
提出了一种基于序贯蒙特卡罗方法的多实例学习背景下的高分辨率图像分类的块采样策略。与网格采样和均匀采样技术相比,它具有更高的泛化性能。我们在两个人工数据集和两个组织学数据集上验证了该策略,用于乳腺癌和阳光照射分类。
2018-12-30 cs.CV cs.LG stat.ML
Multiple Instance Learning with the Optimal Sub-Pattern Assignment Metric
多实例数据是无序元素的集合或多集合。使用集的度量或距离,我们提出了一种方法,几个多实例学习任务,如聚类(无监督学习),分类(监督学习),和新颖性检测(半监督学习)。特别是,我们引入了最优子模式分配度量多实例学习,以提供通用的设计选择。模拟和真实数据的数值实验来说明所提出的解决方案的通用性。
2017-03-27 cs.LG
Multi-Target Multiple Instance Learning for Hyperspectral Target Detection
University of Florida(佛罗里达大学)
在遥感中,获取或收集准确标记的大型数据集通常具有挑战性。这种困难通常是由于几个问题,包括但不限于研究地点的空间面积和可访问性,全球定位系统(GPS)的错误,以及图像的空间分辨率造成的混合像素。我们提出了一种方法,有两个变化,估计多个目标签名的训练样本不精确的标签:多目标多实例自适应余弦估计(多目标MI-ACE)和多目标多实例光谱匹配滤波器(多目标MI-SMF)。所提出的方法通过直接考虑多实例、不精确标记的数据集来解决上述问题。他们学习目标特征的字典,使用自适应余弦估计(ACE)和光谱匹配滤波器(SMF)优化对背景的检测。实验进行了测试所提出的算法,使用模拟的高光谱数据集,MUUFL海湾港高光谱数据集收集的南密西西比大学海湾公园校区,和AVIRIS高光谱数据集收集的圣巴巴拉县,加利福尼亚州。仿真和实际高光谱目标检测实验表明,该算法在目标特征学习和目标检测方面是有效的。
2020-03-05 cs.LG eess.IV stat.ML
mil-benchmarks: Standardized Evaluation of Deep Multiple-Instance Learning Techniques
Department of Computer Science and Engineering(计算机科学与工程系);Wright State University(莱特州立大学)
多实例学习是弱监督学习的一个子集,其中标签被应用于实例集而不是实例本身。在标准假设下,一个集合是正的,只有在集合中至少有一个实例是正的。本文介绍了一系列由MNIST、Fashion-MNIST和CIFAR 10生成的多示例学习基准。这些基准测试测试标准、存在、不存在和复杂的假设,并为将来要分发的基准测试提供框架。我实现并评估了几个多实例学习技术对基准。此外,我用标签噪声评估了Noisy-And方法,并发现了不同数据集的混合结果。这些模型在TensorFlow 2.4.1中实现,并在GitHub上提供。这些基准可以从PyPi作为mil-benchmarks和GitHub上获得。
2021-05-04 cs.LG
Statistical Testing for Multiple Instance Learning via Selective Inference with Applications to Computational Pathology
本文提出基于选择性推断的统计检验框架,用于评估注意力MIL中高注意力实例的显著性,在合成、MNIST及病理WSI数据上实现I型错误控制并提升统计功效。
2026-09-29 cs.CV cs.LG stat.ML
Kernel Self-Attention in Deep Multiple Instance Learning
Faculty of Mathematics and Computer Science, Jagiellonian University(雅盖隆大学数学与计算机科学学院);Ardigen SA(Ardigen SA公司)
并不是所有的监督学习问题都是由一对固定大小的输入张量和标签来描述的。在某些情况下,特别是在医学图像分析中,标签对应于一袋实例(例如,图像块),并且为了对这样的袋进行分类,需要聚集来自所有实例的信息。已经有几次尝试创建一个使用一袋实例的模型,但是,他们假设袋中没有依赖关系,并且标签至少连接到一个实例。在这项工作中,我们介绍了自注意力基于注意力的MIL池(SA-AbMILP)聚合操作来考虑实例之间的依赖关系。我们在MNIST、组织学、微生物和视网膜数据库上进行了几次实验,以表明SA-AbMILP的性能优于其他模型。此外,我们还研究了自注意力的核变化及其对结果的影响。
2021-03-05 cs.CV cs.LG stat.ML
Breast Cancer Histopathology Image Classification and Localization using Multiple Instance Learning
Indian Institute of Technology Bombay(印度理工学院孟买分校)
乳腺癌在妇女癌症中死亡率最高。随着乳腺癌患者数量的增加,计算机辅助病理学分析显微组织病理学图像进行诊断可以降低诊断的成本和延迟。在过去的十年中,组织病理学中的深度学习在分类和定位任务中实现了最先进的性能,引起了人们的关注。卷积神经网络是一种深度学习框架,在组织图像分析中提供了显著的结果,但缺乏对决策背后的解释和推理。我们的目标是提供一个更好的解释分类结果,通过提供显微组织病理学图像上的定位。我们将图像分类问题框架为弱监督多实例学习问题,其中图像是补丁的集合,即实例。基于注意力的多实例学习(A-MIL)从图像中学习对补丁的注意力,以定位图像中的恶性和正常区域,并使用它们对图像进行分类。我们目前的分类和本地化结果两个公开可用的BreakHIS和BACH数据集。的分类和可视化结果与其他最近的技术进行了比较。该方法在不影响分类精度的情况下,实现了更好的定位结果。
2020-02-16 cs.CV cs.LG stat.ML
On the Complexity of One-class SVM for Multiple Instance Learning
Sci. \& Technol. on Inf. Syst. Eng. Lab., Nanjing 210000, China
在传统的多实例学习(MIL)中,学习预测函数需要正负两个包。然而,要知道每个袋子的标签-阳性或阴性,需要付出很高的人力成本。只有正面的袋子包含我们的焦点(正面实例),而负面的袋子包含噪音或背景(负面实例)。所以我们不期望花太多的钱去贴负面的标签。与我们的预期相反,几乎所有现有的MIL方法都需要足够的阴性袋。在本文中,我们提出了一种名为“正多实例”(PMI)的算法,该算法仅在给定一组正袋子的情况下学习分类器。因此,在我们的方法中,阴性袋的注释变得不必要。PMI的构造是基于这样的假设:正包中的未知正实例彼此相似,在特征空间中构成一个紧凑的簇,而负实例位于该簇之外。在基准数据集和真实数据集上的实验结果表明,PMI算法的性能接近或略差于传统的MIL算法。然而,在PMI的训练包的数量显着减少相比,传统的MIL算法。
2016-03-16 cs.LG
Active Learning in Incomplete Label Multiple Instance Multiple Label Learning
Oregon State University(俄勒冈州立大学)
在多实例多标签学习中,每个样本,一个袋子,由多个实例组成。为了减轻标记的复杂性,每个样本都与一组袋级标签相关联,使袋内的实例未标记。这种设置对于表示具有多个语义含义的复杂对象更方便和自然。与单实例标记相比,这种方法允许以相等的标记成本标记更大的数据集。然而,对于足够大的数据集,标记所有袋子可能变得过于昂贵。主动学习使用迭代标记和再训练方法,旨在使用少量标记样本提供合理的分类性能。据我们所知,只有少数作品在该地区的主动学习在MIML设置。这些方法可以提供实际的解决方案,以降低标签成本,但其有效性仍不清楚。在本文中,我们提出了一种新的袋类对为基础的主动学习方法在MIML设置。由于袋级标签的部分可用性,我们专注于所提出的主动学习方法的不完整标签MIML设置。我们的方法是基于一个有效率和准确的推理判别图形模型。对于查询过程中,我们适应主动学习标准的新袋类对选择策略。此外,我们引入了一个在线的随机梯度下降算法,以提供一个有效的模型更新后,每次查询。基准数据集上的数值实验表明了该方法的鲁棒性。
2021-07-26 cs.LG
Multiple instance learning for sequence data with across bag dependencies
Clermont Auvergne University(克莱蒙奥弗涅大学);University of Tunis El Manar(突尼斯马纳尔大学);University of Lorraine(洛林大学);University of Jeddah(吉达大学)
在序列数据的多实例学习(MIL)问题中,包中的实例是序列。在一些现实世界的应用中,如生物信息学,比较随机的序列是没有意义的。事实上,每个实例可以与其他袋的实例具有结构和/或功能关系。因此,分类任务应考虑这种跨袋关系。在这项工作中,我们提出了两种新的MIL方法命名为ABClass和ABSim的序列数据分类。ABClass从相关实例中提取基序,并使用它们来编码序列。然后应用判别分类器来计算每个相关序列集合的部分分类结果。ABSim使用相似性度量来区分相关实例并计算得分矩阵。对于这两种方法,应用聚合方法以生成最终分类结果。本文将这两种方法应用于细菌电离辐射抗性的预测。所提出的方法的实验结果是令人满意的。
2020-06-11 cs.LG
Synthetic Data Reveals Generalization Gaps in Correlated Multiple Instance Learning
Tufts University(塔夫茨大学)
针对传统多实例学习(MIL)忽略实例上下文关系的问题,本文设计了需考虑相邻实例特征的合成分类任务,量化现有MIL方法与最优贝叶斯估计器的性能差距,发现新关联MIL方法在万级样本训练下仍未达最佳性能。
2025-11-12 cs.LG
Learning from Multiple Annotators by Incorporating Instance Features
Nanjing University(南京大学)
从多个注释器中学习的目的是从训练实例中诱导出高质量的分类器,其中每个实例都与多个注释器在其不同能力和自身偏见的影响下提供的一组可能有噪声的标签相关联。在对从潜在真标签到观测标签的概率转移过程建模时,大多数现有方法采用注释者的类级混淆矩阵,观测标签不依赖于实例特征,而由真标签决定。它可能会限制分类器可以实现的性能。在这项工作中,我们提出了噪声转移矩阵,它结合了实例特征对注释器的性能的影响,基于混淆矩阵。此外,我们提出了一个简单而有效的学习框架,它包括一个分类器模块和噪声转移矩阵模块在一个统一的神经网络架构。实验结果表明,我们的方法相比,国家的最先进的方法的优越性。
2021-06-29 cs.LG
Multiple Instance Verification
Department of Computer Science University of Waikato(计算机科学系 威基托大学)
针对多实例验证问题,提出交叉注意力池化(CAP)框架及两种新注意力函数,有效结合查询实例表示目标包,显著提升了验证准确率与关键实例识别能力。
2025-09-17 cs.LG
Multiple Instance Learning with Trainable Decision Tree Ensembles
Peter the Great St.Petersburg Polytechnic University(彼得大帝圣彼得堡理工大学)
提出了一种新的基于随机森林的小数据量多实例学习模型--软树枚举多实例学习模型(SoftTreeEnseminationMIL,STE-MIL)。本文提出了一种新的软决策树,它类似于著名的软斜树,但具有较少的可训练参数。为了训练树,建议将它们转换为特定形式的神经网络,该网络逼近树函数。还提出了通过使用注意力机制来聚合实例和包嵌入(输出向量)。整个STE-MIL模型,包括软决策树,神经网络,注意力机制和分类器,在一个端到端的方式进行训练。表格数据集的数值实验说明了STE-MIL。实现该模型的相应代码是公开的。
2023-02-13 cs.LG
Bag Graph: Multiple Instance Learning using Bayesian Graph Neural Networks
McGill University(麦吉尔大学)
多实例学习(MIL)是一个弱监督学习问题,其目标是为实例集或实例包分配标签,而不是传统的监督学习,其中每个实例被假设为独立同分布(IID)并单独标记。最近的工作表明,在MIL设置的神经网络模型有前途的结果。这些模型不是专注于每个实例,而是以端到端的方式进行训练,通过适当地将置换不变池化技术与神经架构相结合来学习有效的袋级表示。在本文中,我们考虑使用图对袋子之间的交互进行建模,并采用图神经网络(GNNs)来促进端到端学习。由于很少有表示袋子之间依赖关系的有意义的图,我们建议使用贝叶斯GNN框架,该框架可以为图中存在不确定性或没有图可用的情况生成可能的图结构。实证结果表明,所提出的技术的有效性为几个MIL基准任务和分布回归任务。
2022-02-22 cs.LG
MIS-Boost: Multiple Instance Selection Boosting
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们提出了一种新的多实例学习(MIL)方法,称为MIS-Boost,它通过在boosting框架中显式选择实例来学习判别实例原型。与以前的实例选择为基础的MIL方法,我们不限制原型的离散集的训练实例,但允许他们采取任意值的实例特征空间。我们也不限制原型的总数和每个包的选定实例的数量;这些数量完全是数据驱动的。我们证明了MIS-Boost在许多基准数据集上的性能优于最先进的MIL方法。我们还将MIS-Boost应用于大规模图像分类,在那里我们展示了自动选择的原型映射到视觉上有意义的图像区域。
2011-09-12 cs.CV cs.LG
Greedy Multiple Instance Learning via Codebook Learning and Nearest Neighbor Voting
University at Buffalo, SUNY(纽约州立大学布法罗分校)
多示例学习是近年来机器学习领域的研究热点。然而,大多数MIL算法非常慢,并且不能应用于大型数据集。在本文中,我们提出了一个贪婪的策略,以加快多实例学习过程。我们的贡献是双重的。首先,我们提出了一个密度比模型,并证明了在一定条件下,最大化密度比函数是DD模型的下界。其次,我们利用直方图的比例之间的积极的袋子和消极的袋子表示的密度比函数,并找到分别为积极的袋子和消极的袋子的贪婪策略的码本。为了测试,我们使用最近邻策略来分类新袋。我们在小型基准数据集和大型TRECVID MED11数据集上测试了我们的方法。实验结果表明,我们的方法产生的准确性相当的当前最先进的,同时被高达至少一个数量级更快。
2012-05-03 cs.LG
Convex Formulation of Multiple Instance Learning from Positive and Unlabeled Bags
The University of Tokyo(东京大学);RIKEN(理化学研究所);International Research Center for Neurointelligence(国际神经智能研究中心)
多实例学习(MIL)是传统监督学习问题的一种变体,其中数据(称为包)由子元素(称为实例)组成,并且只有包标签可用。MIL在基于内容的图像检索、文本分类、医学诊断等方面有着广泛的应用。MIL以前的大多数工作都假设训练袋完全贴上标签。然而,在实际情况下,往往难以获得足够数量的标签袋,而许多未标签袋可用。一种称为PU学习(积极和无标签学习)的学习框架可以解决这个问题。在本文中,我们提出了一个凸PU学习方法来解决MIL问题。我们的实验表明,该方法实现了更好的性能,显着降低计算成本比现有的方法PU-MIL。
2018-05-01 cs.LG
Nested Multiple Instance Learning with Attention Mechanisms
University of Stavanger(斯塔万格大学)
强监督学习需要在实例级别详细了解真值标签,在许多机器学习应用中,这是一个主要缺点。多实例学习是一种流行的弱监督学习方法,其中真值标签在实例级不可用,而仅在实例包级可用。然而,有时问题的性质需要更复杂的描述,其中不同级别的包中包的嵌套架构可以捕获底层关系,就像分组在一起的类似实例一样。预测实例或内袋的潜在标签可能与预测最终的袋中袋标签一样重要,但在简单的嵌套设置中会丢失。本文提出了一种将嵌套概念与注意力机制相结合的嵌套多实例注意模型体系结构。我们表明,NMIA在简单的场景中表现为传统的MIL,可以把握复杂的场景,在不同的层次上提供潜在标签的见解。
2022-02-17 cs.CV cs.LG
Multiple Instance Learning for Brain Tumor Detection from Magnetic Resonance Spectroscopy Data
Frankfurt Institute for Advanced Studies(法兰克福高等研究院);Institute for Neuroradiology at Frankfurt university hospital(法兰克福大学医院神经放射学研究所)
我们将深度学习(DL)应用于磁共振波谱(MRS)数据,以完成脑肿瘤检测任务。医疗应用程序经常受到数据稀缺和噪声破坏的影响。这两个问题在我们的数据集中都很突出。此外,不同数量的光谱可用于不同的患者。我们通过将任务视为多实例学习(MIL)问题来解决这些问题。具体而言,我们将来自同一患者的多个光谱聚集到一个"袋子"中进行分类,并应用数据增强技术。为了在装袋过程中实现置换不变性,我们提出了两种方法:(1)对一个袋子中所有样本的特征应用最小、最大和平均池化;(2)应用注意力机制。我们在多个神经网络架构上测试了这两种方法。我们证明了在多个实例而不是单个光谱上训练时,分类性能得到了显着提高。我们提出了一个简单的过采样数据增强方法,并表明它可以进一步提高性能。最后,我们证明了我们提出的模型优于人工分类神经放射学家根据大多数性能指标。
2021-12-16 cs.LG
Multi-Attention Multiple Instance Learning
Peter the Great St.Petersburg Polytechnic University(圣彼得堡彼得大帝理工大学)
提出了一种新的基于多注意力的多目标识别方法(MAMIL),该方法考虑了包中每个分析块的相邻块或实例。在该方法中,一个注意力模块考虑到相邻的补丁或实例,几个注意力模块被用来得到一个不同的特征表示补丁,和一个注意力模块被用来联合不同的特征表示,以提供一个准确的分类每个补丁(实例)和整个袋子。由于MAMIL,一个组合表示的补丁和他们的邻居在一个小的维度嵌入的形式实现了简单的分类。此外,不同类型的补丁被有效地处理,并通过使用几个注意力模块实现了一个包中的补丁的多样性特征表示。提出了一种简单的方法来解释补丁的分类预测。不同数据集的数值实验说明了所提出的方法。
2021-12-11 cs.LG
Relaxed Multiple-Instance SVM with Application to Object Discovery
Huazhong University of Science and Technology(华中科技大学)
多实例学习(MIL)已经成为广泛的视觉应用的重要工具,例如,图像分类、目标检测和视觉跟踪。在本文中,我们提出了一种新的方法来解决经典的MIL问题,命名为松弛多实例支持向量机(RMI-SVM)。我们将实例的积极性作为一个连续变量,使用Noisy-OR模型来加强MIL约束,并在一个统一的框架中联合优化包标签和实例标签。利用随机梯度下降法可以有效地解决优化问题。大量的实验表明,RMI-SVM在各种MIL基准测试中始终取得优异的性能。此外,我们简单地将RMI-SVM应用于具有挑战性的视觉任务,常见对象发现。Pascal VOC数据集上对象发现的最新结果进一步证实了所提出方法的优势。
2015-10-05 cs.CV cs.LG
A Vector Symbolic Approach to Multiple Instance Learning
本文提出基于向量符号架构的多实例学习框架,通过高维向量和代数运算严格满足双条件约束,实现优于现有方法的性能。
2025-11-20 cs.LG
Multiple instance active learning for object detection
University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学)
尽管用于图像识别的主动学习取得了实质性进展,但仍然缺乏用于目标检测的实例级主动学习方法。在本文中,我们提出了多实例主动目标检测(MI-AOD),通过观察实例级的不确定性来选择最具信息量的图像进行检测器训练。MI-AOD定义了一个实例不确定性学习模块,该模块利用在标记集上训练的两个对抗性实例分类器的差异来预测未标记集的实例不确定性。MI-AOD将未标记图像视为实例包,将图像中的特征锚视为实例,并通过多实例学习(MIL)方式重新加权实例来估计图像的不确定性。迭代实例不确定性学习和重新加权有助于抑制噪声实例,从而弥合实例不确定性和图像级不确定性之间的差距。实验验证了MI-AOD为实例级主动学习设置了坚实的基线。在常用的目标检测数据集上,MI-AOD优于最先进的方法,具有显著的裕度,特别是当标记集很小时。代码可在https://github.com/yuantn/MI-AOD上获得。
2021-04-06 cs.AI cs.CV cs.LG
Deep Multiple Instance Learning For Forecasting Stock Trends Using Financial News
The University of Hong Kong(香港大学)
一个主要的信息来源可以从金融新闻文章,其中有一些关于股票趋势波动的相关性。本文从多实例的角度研究了财经新闻对股票走势的影响。这背后的直觉是基于新闻发生的时间间隔不同的新闻不确定性,以及每一条金融新闻都缺乏注释。在多实例学习(Multiple Instance Learning,MIL)的场景下,训练实例被安排在数据包中,标签被分配给整个数据包,而不是实例,我们开发了一个灵活的和自适应的多实例学习模型,并评估其在金融新闻数据集上对标准普尔500指数方向性运动预测的能力。具体来说,我们将每个交易日视为一个袋子,每个交易日发生的一定数量的新闻作为每个袋子中的实例。实验结果表明,我们提出的基于多实例的框架获得了优异的结果,在趋势预测的准确性,与其他国家的最先进的方法和基线。
2022-06-29 cs.LG q-fin.CP
Increasing Information Extraction in Low-Signal Regimes via Multiple Instance Learning
Department of Physics Simon Fraser University(物理系西蒙·弗雷泽大学);Simon Fraser University(西蒙·弗雷泽大学);TRIUMF
本文提出通过多实例学习在低信号环境下提升信息提取能力,应用于SMEFT参数约束。
2025-12-02 cs.LG hep-ex
A Visual Mining Approach to Improved Multiple-Instance Learning
Universidad Nacional de San Agustín de Arequipa(阿雷基帕圣奥古斯丁国立大学);New York University(纽约大学);University College Cork(科克大学学院)
多实例学习(MIL)是机器学习的一个范例,旨在对一组(包)对象(实例)进行分类,仅为包分配标签。这个问题通常通过选择一个实例来表示每个包,将MIL问题转换为标准的监督学习来解决。通过将用户的知识纳入分类过程,可视化可以成为评估学习情景的有用工具。考虑到多实例学习是一个范例,不能处理当前的可视化技术,我们提出了一个多尺度的基于树的可视化称为MILTree支持MIL问题。树的第一层表示行李,第二层表示属于每个行李的实例,允许用户以直观的方式理解MIL数据集。此外,我们提出了两个新的MIL的实例选择方法,这有助于用户进一步改善模型。我们的方法可以处理二进制和多类的情况。在我们的实验中,SVM被用来建立分类器。在MILTree布局的支持下,通过改变由原型实例组成的训练集来更新初始分类模型。实验结果验证了我们的方法的有效性,显示可视化挖掘MILTree可以支持探索和改进模型在MIL场景中,我们的实例选择方法优于目前可用的替代品在大多数情况下。
2021-12-21 cs.HC cs.LG
Model Agnostic Interpretability for Multiple Instance Learning
University of Southampton(南安普顿大学)
在多实例学习(MIL)中,模型使用实例包进行训练,其中每个包仅提供单个标签。袋子标签通常仅由袋子内的少数关键实例确定,这使得很难解释分类器使用什么信息来做出决策。在这项工作中,我们建立了解释MIL模型的关键要求。然后,我们继续开发几个模型无关的方法,以满足这些要求。我们的方法与现有的内在可解释的MIL模型在几个数据集上进行了比较,并实现了高达30%的可解释性准确度的提高。我们还研究了这些方法识别实例之间的相互作用并扩展到更大数据集的能力,从而提高了它们对现实问题的适用性。
2022-03-14 cs.AI cs.LG
End-to-end Multiple Instance Learning with Gradient Accumulation
Uppsala University(乌普萨拉大学)
能够在弱标记数据上学习并提供可解释性,是基于注意力的深度多实例学习(ABMIL)方法在组织病理学图像分类中特别受欢迎的两个主要原因。这种图像数据通常以千兆像素大小的全载玻片图像(WSI)的形式出现,这些图像被裁剪成较小的补丁(实例)。然而,数据的庞大规模使得ABMIL模型的训练具有挑战性。来自一个WSI的所有实例不能由传统GPU一次处理。现有的解决方案通过依赖于预先训练的模型、策略采样或实例选择或自监督学习来折衷训练。我们提出了一种基于梯度累积的训练策略,该策略可以直接对ABMIL模型进行端到端的训练,而不受GPU内存的限制。我们在QMNIST和Imagenette上进行实验,研究性能和训练时间,并与传统的内存昂贵的基线和最近的基于采样的方法进行比较。这种内存效率高的方法虽然速度较慢,但其性能与内存昂贵的基线没有区别。
2022-03-08 cs.CV cs.LG