Learning Maximally Predictive Prototypes in Multiple Instance Learning
Bogazici University(博阿齐奇大学)
在这项工作中,我们提出了一个简单的模型,提供置换不变的最大预测原型生成器从一个给定的数据集,这导致解释的解决方案和具体的见解的性质和解决方案的问题。我们的目标是在特征空间中找出原型,将实例集合(即袋子)映射到距离特征空间,同时学习多实例学习(MIL)的线性分类器。在经典MIL基准数据集上的实验表明,与现有方法相比,该框架是一个准确和高效的分类器。
2021-01-22 cs.LG stat.ML
Kernel Mean Embedding of Instance-wise Predictions in Multiple Instance Regression
Imperial College London(帝国理工学院)
在本文中,我们提出了一个扩展现有的算法(实例MIR),解决多实例回归(MIR)问题,也被称为分布回归。当数据是一组行李时,MIR设置出现,其中每个行李由对应于相同且唯一的实值标签的多个实例组成。MIR算法的目标是找到一个从一个看不见的包的实例到它的目标值的映射。instance-MIR算法单独处理所有实例,并将每个实例映射到一个标签。然后将最终的袋子标签作为该给定袋子的预测的平均值或中值。虽然它在概念上很简单,但采用单个统计数据来总结每个袋子中标签的分布是一个局限性。尽管存在这种性能瓶颈,实例MIR算法已被证明是有竞争力的,当与当前最先进的方法相比。我们通过计算每个袋子的预测标签分布的内核均值嵌入来解决上述问题,并从这些嵌入中学习袋子标签的回归量。我们在五个真实世界的数据集上测试了我们的算法(instance-kme-MIR),并在所有数据集上获得了比基线instance-MIR更好的结果,同时在其中两个数据集上获得了最先进的结果。
2019-08-18 cs.LG stat.ML
A Multiclass Multiple Instance Learning Method with Exact Likelihood
我们研究了一个多类多实例学习(MIL)问题,其中标签只表明类的任何实例是否存在于训练样本或示例中。无进一步信息,例如,利用每个类的实例数量、训练样本中所有实例的相对位置或顺序。这种弱监督学习问题可以通过最大化拟合给定观测的模型似然来精确解决,并可应用于图像理解的多目标检测和定位等任务。我们讨论了它的关系,经典的分类问题,传统的MIL,和连接主义的时间分类(CTC)。我们使用图像识别作为示例任务来开发我们的方法,尽管它适用于更高或更低维度的数据而无需太多修改。实验结果表明,我们的方法可用于学习所有卷积神经网络,以解决具有弱注释的真实世界多目标检测和定位任务,例如,从谷歌街景图像数据集转录房屋号码序列。
2019-03-13 cs.LG stat.ML
Dissimilarity-based Ensembles for Multiple Instance Learning
Delft University of Technology(代尔夫特理工大学)
在多实例学习中,对象是特征向量(实例)的集合(包),而不是单个特征向量。在本文中,我们解决的问题,这些袋子可以最好地代表。两种标准的方法是使用包和原型包之间或包和原型实例之间的(差异)相似性。第一种方法导致由训练袋的数量确定的相对低维的表示,而第二种方法导致由训练集中的实例的总数确定的相对高维的表示。本文提出了第三种中间方法,它将这两种方法联系起来,并结合了它们的优点。我们的分类器的灵感来自随机子空间集成,并认为子空间的相异度空间,定义的子集的实例,作为原型。我们提供了使用这样的合奏的指导方针,并展示了一系列多实例学习问题的最先进的性能。
2014-02-06 cs.LG stat.ML
Multiple instance learning with graph neural networks
JD AI Research(京东人工智能研究院)
多实例学习(MIL)的目的是学习一个包的实例和包级标签之间的映射。本文提出了一种新的基于端到端图神经网络(GNN)的MIL算法:将每个包视为一个图,使用GNN学习包的嵌入,以探索包中实例之间有用的结构信息。最终的图形表示被馈送到分类器中用于标签预测。我们的算法是第一次尝试使用GNN的MIL。我们的经验表明,该算法实现了几个流行的MIL数据集的最先进的性能,而不会失去模型的可解释性。
2019-06-12 cs.LG stat.ML
A bag-to-class divergence approach to multiple-instance learning
UiT The Arctic University of Norway(挪威北极大学);NTNU(挪威科技大学)
在多实例(MI)学习中,每个对象(包)由多个特征向量(实例)组成,通常被视为多维空间中的一组点。一种不同的观点是,实例是具有相应概率分布的随机向量的实现,并且袋子是分布,而不是实现。在MI分类中,训练集中的每个袋子都有一个类别标签,但实例是未标记的。通过将概率分布空间引入袋级分类问题,可以应用概率分布之间的不相似性(分歧)。袋到袋Kullback-Leibler信息是渐近最好的分类器,但MI训练集的典型稀疏性是一个障碍。我们引入袋类分歧MI学习,强调层次性质的随机向量,使袋从同一类不同。我们提出了两个属性袋类分歧,稀疏训练集和一个额外的属性。
2018-10-12 cs.LG stat.ML
Sparse Network Inversion for Key Instance Detection in Multiple Instance Learning
POSTECH(浦项工科大学);BARO AI
多实例学习(MIL)涉及为一袋实例预测单个标签,在袋级给出正面或负面标签,而无需在训练阶段访问每个实例的标签。由于正包包含正实例和负实例,因此当一组实例被归类为正包时,通常需要检测正实例(关键实例)。基于注意力的深度MIL模型是袋级分类和关键实例检测(KID)的最新进展。然而,如果正面袋中的正面和负面实例不能清楚区分,则基于注意力的深度MIL模型具有有限的KID性能,因为注意力分数偏向于少数正面实例。在本文中,我们提出了一种方法来改善基于注意力的深度MIL模型在KID的任务。其主要思想是使用神经网络反演,找出哪些实例对训练的MIL模型产生的袋级预测做出了贡献。此外,我们将稀疏性约束引入到神经网络反演中,从而得到稀疏网络反演,并采用近似梯度法求解。基于MNIST的图像MIL数据集和两个真实世界的组织病理学数据集上的数值实验验证了我们的方法的有效性,表明KID性能显着提高,同时保持袋级预测的性能。
2020-09-08 cs.LG stat.ML
Attention-based Deep Multiple Instance Learning
University of Amsterdam(阿姆斯特丹大学)
多实例学习(MIL)是监督学习的一种变体,其中单个类标签被分配给一组实例。在本文中,我们国家的MIL问题学习的Bernoulli分布的袋标签的袋标签的概率是完全参数化的神经网络。此外,我们提出了一个基于神经网络的置换不变聚合算子,对应于注意力机制。值得注意的是,所提出的基于注意力的运营商的应用程序提供洞察每个实例的袋标签的贡献。我们的经验表明,我们的方法在基准MIL数据集上实现了与最佳MIL方法相当的性能,并且在基于MNIST的MIL数据集和两个真实组织病理学数据集上优于其他方法,而不会牺牲可解释性。
2018-06-28 cs.LG stat.ML
A Novel Multiple Classifier Generation and Combination Framework Based on Fuzzy Clustering and Individualized Ensemble Construction
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
多分类器系统(MCS)已成为提高分类性能的一个成功的选择。然而,研究表明不同MCS的结果不一致,并且通常很难预测哪种MCS算法在特定问题上效果最好。我们认为,MCS的两个关键步骤-基于分类器的生成和多个分类器的组合,需要协调设计,以产生鲁棒的结果。在这项工作中,我们表明,对于不同的测试实例,更好的分类器可以从训练实例的不同子域,包括,例如,测试实例的相邻实例,甚至远离测试实例的实例进行训练。为了利用这种直觉,我们提出了个性化分类器Ensemination(ICE)。ICE将训练数据分组到重叠的集群中,为每个集群构建分类器,然后将每个训练实例与性能最好的模型相关联,同时考虑模型类型和频率。在测试中,ICE为测试实例找到k个最相似的训练实例,然后通过对与这些训练实例相关联的模型的预测进行平均来预测测试实例的类标签。对49个基准测试的评估结果表明,与现有的MCS方法相比,ICE在很大一部分数据集上有稳定的改进。ICE提供了一种新的选择,利用内部模式之间的实例,以提高分类,并可以很容易地与各种分类模型相结合,并应用于许多应用领域。
2019-07-31 cs.LG stat.ML
Multiple Instance Learning by Discriminative Training of Markov Networks
Simon Fraser University(西蒙菲莎大学);University of British Columbia(不列颠哥伦比亚大学)
我们介绍了一个图形框架的多实例学习(MIL)的基础上马尔可夫网络。该框架可用于模拟传统的MIL定义以及更一般的MIL定义。在弱监督数据中,可以探索不同程度的模糊性(包中的阳性实例部分)。为了训练这些模型,我们提出了一个判别最大余量学习算法,利用有效的基数为基础的集团推理。所提出的框架的有效性进行评估的各种数据集。实验结果表明,编码或学习模糊度可以提高分类性能。
2013-09-26 cs.LG stat.ML
Multiple Instance Learning with Bag Dissimilarities
Delft University of Technology(代尔夫特理工大学);University of Copenhagen(哥本哈根大学)
多实例学习(MIL)涉及从对象(实例)的集合(包)中学习,其中单个实例标签是模糊的。在这种情况下,监督学习不能直接应用。通常,专门的MIL方法通过对包标签和实例标签的关系进行额外的假设来学习。这些假设可能适合特定的数据集,但不能推广到整个MIL问题。其他MIL方法将假设的焦点从标签转移到袋子的整体(不)相似性,因此直接从袋子中学习。我们建议用一个向量来表示每个袋子与训练集中其他袋子的不同之处,并将这些不同之处视为一个特征表示。我们展示了几种替代方案来定义袋之间的差异,并讨论哪些定义更适合于特定的MIL问题。实验结果表明,该方法是计算成本低,但非常具有竞争力的国家的最先进的算法在广泛的MIL数据集。
2014-08-12 cs.LG stat.ML
Multiple-Instance Learning by Boosting Infinitely Many Shapelet-based Classifiers
Kyushu University(九州大学);RIKEN(理化学研究所);Keio University(庆应义塾大学);The University of Tokyo(东京大学)
我们提出了一个新的多实例学习(MIL)的配方。在典型的MIL设置中,一个数据单元被给定为一组称为袋子的实例,目标是基于单个或多个“shapelet”(或模式)的相似性找到一个好的袋子分类器,其中袋子与shapelet的相似性是袋子中实例的最大相似性。基于单个shapelet的分类器对于某些应用来说不够强大。此外,以前的工作与多个shapestivally选择了一些实例作为shapestival没有理论保证其泛化能力。我们的配方提供了一个更丰富的类的最终分类器的基础上无限多的形状。我们提供了一个有效的算法,新的配方,除了推广界。我们的实证研究表明,我们的方法不仅是有效的MIL任务,而且Shapelet学习的时间序列分类。
2018-12-10 cs.LG stat.ML
pyLEMMINGS: Large Margin Multiple Instance Classification and Ranking for Bioinformatics Applications
Biomedical Informatics Research Laboratory (BIRL), Department of Computer and Information Sciences, Pakistan Institute of Engineering and Applied Sciences (PIEAS)(巴基斯坦工程与应用科学学院(PIEAS)计算机与信息科学系生物医学信息学研究实验室);Machine Learning and Vision Laboratory, School of Electrical Engineering and Computer Science, Gwangju Institute of Science and Technology(光州科学技术院电气工程与计算机科学学院机器学习与视觉实验室);Department of Computer Science, Colorado State University(科罗拉多州立大学计算机科学系)
动机:在计算生物学中开发基于机器学习的方法的主要挑战是,由于实验性地注释蛋白质和DNA序列的性质所需的时间和资源,数据可能无法被准确地标记。标准的监督学习算法假设训练数据的实例级标记是准确的。多实例学习是处理这种标签歧义的范例。然而,广泛使用的大间隔多实例学习分类方法本质上是启发式的,具有较高的计算要求。在本文中,我们提出了随机次梯度优化大边际算法的多实例分类和排名,并提供他们在一个软件套件称为pyLEMMINGS。结果:我们已经在一些生物信息学问题以及基准数据集上测试了pyLEMMINGS。pyLEMMINGS已经成功地鉴定了功能上重要的蛋白质片段:钙调蛋白结合蛋白的结合位点、朊病毒形成区域和淀粉样蛋白核心。pyLEMMINGS在所有这些任务中都实现了最先进的性能,证明了多实例学习的价值。此外,我们的方法已经显示出超过100倍的改进,在运行时间方面相比,启发式解决方案,提高了基准数据集的准确性。可用性和实现:pyLEMMINGS python包可在http://faculty.pieas.edu.pk/fayyaz/software.html#pylemmings下载。
2017-11-14 cs.LG stat.ML
Investigation of Initialization Strategies for the Multiple Instance Adaptive Cosine Estimator
University of Florida(佛罗里达大学)
利用电磁感应(EMI)来激发导电体中的响应的传感器长期以来一直被研究用于地下爆炸危险检测。特别地,EMI传感器已被用于区分不同类型的物体,并检测具有低金属含量的物体。一个成功的,以前研究的方法是多实例自适应余弦估计(MI-ACE)。在本文中,一些新的初始化技术MI-ACE提出并评估各自的性能和速度。交叉验证的学习签名以及学习的背景统计数据与自适应余弦估计(ACE)一起用于生成置信度图,置信度图被聚类到警报中。根据地面实况对警报进行评分,并比较初始化方法。
2019-04-30 cs.LG stat.ML
Generative Multiple-Instance Learning Models For Quantitative Electromyography
Mayo Clinic(梅奥诊所);University of Waterloo(滑铁卢大学)
我们提出了一个全面的研究使用生成建模方法的多实例学习(MIL)问题。在MIL中,学习者接收的训练实例被分组到袋子中,袋子只带有标签(这对于所包含的实例可能是不正确的)。我们的工作的动机是促进神经肌肉疾病的诊断,使用套运动单位电位列车(MUPTs)的肌肉内检测,可以作为一个MIL的问题。我们的方法导致一个国家的最先进的解决方案的问题的肌肉分类。通过在一个通用框架中引入和分析MIL的生成模型,并研究各种模型结构和组件,我们的工作也可以作为MIL任务建模的方法指南。我们在MUPT数据集和MUSK1数据集上评估了我们提出的方法,MUSK1数据集是MIL最广泛使用的基准之一。
2013-09-26 cs.LG stat.ML
Learning Pretopological Spaces to Model Complex Propagation Phenomena: A Multiple Instance Learning Approach Based on a Logical Modeling
INSA Centre Val de Loire(中央卢瓦尔河谷高等工业学院);LIFO EA 4022(LIFO(信息处理与优化实验室))
本文讨论了预拓扑理论形式主义中“传播”概念的学习问题。我们的建议是首先将伪闭包算子(模拟传播概念)定义为邻域的逻辑组合。我们表明,学习这样的操作失误到多实例(MI)的框架,其中的学习过程是在袋的实例,而不是个别的实例。虽然这个框架非常适合这项任务,但它用于学习预拓扑空间会导致一组大小呈指数级的袋子。为了克服这个问题,我们因此提出了一种学习方法的基础上,低估计的袋所涵盖的概念正在建设中。作为一个实验,渗流过程(森林火灾通常)进行了模拟和相应的传播模型学习的基础上的一个子集的观察。它表明,所提出的MI方法是更有效的传播模型识别的任务比现有的方法。
2018-05-03 cs.LG stat.ML
Learning and Interpreting Multi-Multi-Instance Learning Networks
Aalborg University(奥尔堡大学);Institut for Datalogi(数据学研究所);DINFO, Università di Firenze(佛罗伦萨大学信息学院)
我们引入了多实例学习问题的扩展,其中实例被组织为嵌套的实例袋(例如,文档可以被表示为句子袋,句子袋又是词袋)。这个框架可以在各种场景中使用,例如文本和图像分类,但也可以在图上进行监督学习。作为另一个优点,多-多实例学习实现了解释预测和决策函数的特定方式。我们的方法是基于一个特殊的神经网络层,称为袋层,其单位聚合袋的输入任意大小。我们从理论上证明了相关的函数类包含所有的布尔函数集的实例集,我们提供的经验证据表明,这种功能实际上可以学习半合成数据集。最后,我们在文本分类、引用图和社交图数据上进行了实验,结果表明,与其他方法(如图上的卷积网络)相比,我们的模型在准确性方面获得了有竞争力的结果,同时它支持一种通用的方法来解释学习模型,并解释个人预测。
2020-10-03 cs.LG stat.ML
An Extensive Evaluation of Filtering Misclassified Instances in Supervised Classification Tasks
Brigham Young University(杨百翰大学)
在训练学习算法之前去除或过滤离群值和错误标记的实例已被证明可以提高分类准确性。处理离群值和错误标记实例的流行方法是删除任何被学习算法错误分类的实例。然而,还没有对哪些学习算法用于过滤以及它们对大数据集上的多个学习算法的影响进行检查。由于运行这样的实验需要大量的计算,以前的工作通常受到限制,因此,检查通常限于计算成本低且使用少量数据集的学习算法。在本文中,我们检查9个学习算法作为过滤算法,以及检查过滤的效果,在9个选择的学习算法上的一组54个数据集。除了单独使用每个学习算法作为过滤器之外,我们还使用学习算法的集合作为集成过滤器,并使用自适应算法,该自适应算法选择学习算法的子集用于针对特定任务和学习算法进行过滤。我们发现,在大多数情况下,使用集成的学习算法过滤产生的分类精度的最大增加。我们还比较过滤与多数表决合奏。除非数据集中存在大量噪声,否则投票集合显著优于滤波。此外,我们发现,多数表决集成是强大的噪声过滤与表决集成不增加的分类精度的表决集成。
2013-12-13 cs.LG stat.ML
Classifying extremely imbalanced data sets
Max-Planck-Institut für Kernphysik(马克斯·普朗克核物理研究所)
包含比信号实例多得多的背景的不平衡数据集在粒子物理学中非常常见,并且也将是即将到来的LHC数据分析的特征。在ACAT 2008上提出的工作之后,我们使用那里提出的多变量技术(具有元方法装袋和实例加权的规则生长算法)对更不平衡的数据集进行处理,特别是在不使用粒子识别的情况下选择D0衰变。事实证明,结果的质量在很大程度上取决于用于训练的背景实例的数量。我们讨论了利用这一点的方法,以显着提高结果,以及如何处理和减少大型训练集的大小,而不会损失结果质量。我们还将评论如何考虑统计波动的受试者操作特征曲线(ROC)比较分类方法。
2010-11-29 cs.LG hep-ex physics.data-an
Using Neural Network Formalism to Solve Multiple-Instance Problems
Cisco Systems(思科系统公司);Czech Technical University(捷克技术大学)
现实世界中的许多对象很难用一个固定长度的数字向量来描述,而用一组向量来描述它们更自然。因此,多实例学习(MIL)技术在过去几年中不断获得重要性。MIL形式主义通过固定长度的特征向量(实例)的集合(袋)来表示每个对象(样本),其中关于对象的知识(例如,类标签)在包级别上可用,但不一定在实例级别上可用。自九十年代后期问题正式化以来,许多标准工具,包括监督分类器,已经适应了MIL设置。在这项工作中,我们提出了一个神经网络(NN)为基础的形式主义,直观地弥合了MIL问题的定义和现有的大量知识基础的标准模型和分类之间的差距。我们表明,建议的NN形式主义是有效的优化,通过修改后的反向传播算法,可以揭示袋内的未知模式。在一组14个公开可用的基准数据集上与来自现有技术的八种类型的分类器的比较证实了所提出的解决方案的优点和准确性。
2017-03-07 cs.LG stat.ML
Deep Multiple Instance Feature Learning via Variational Autoencoder
Bosch Research and Technology Center(博世研究与技术中心)
我们描述了一种新的弱监督深度学习框架,该框架结合了判别模型和生成模型,以在多实例学习(MIL)环境中学习有意义的表示。MIL是一个弱监督学习问题,其中标签与实例组(称为包)而不是单个实例相关联。为了解决MIL问题中的正实例标签的不确定性所带来的根本挑战,我们使用了一个判别模型正则化的变分自编码器(VAE),以最大限度地提高潜在的所有实例和负实例的表示之间的差异。因此,变分自编码器的隐藏层学习有意义的表示。这种表示方法可以有效地用于MIL问题,与最先进的方法相比,在标准基准数据集上具有更好的性能。更重要的是,与大多数相关研究不同,所提出的框架可以很容易地扩展到大型数据集问题,如音频事件检测和分割任务所示。可视化也证实了潜在表征在区分积极和消极类方面的有效性。
2018-07-06 cs.AI cs.LG stat.ML
Multiple Instance Dictionary Learning for Beat-to-Beat Heart Rate Monitoring from Ballistocardiograms
一种多实例字典学习方法,使用多个函数的字典学习(DL-FUMI),用于执行心跳到心跳的心率估计,并从用液压床传感器收集的心冲击图(BCG)信号来表征心跳签名。DL-FUMI估计表示个人的个人心冲击图心跳模式的“心跳概念”。DL-FUMI将心跳检测和心跳特征描述为多实例学习问题,以解决在训练期间将BCG信号与地面实况对齐时固有的不确定性。实验结果表明,DL-FUMI提出的估计心跳概念是一个有效的心跳原型,并取得了优于比较算法的性能。
2019-03-19 stat.ML
Monte-Carlo Sampling applied to Multiple Instance Learning for Histological Image Classification
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
提出了一种基于序贯蒙特卡罗方法的多实例学习背景下的高分辨率图像分类的块采样策略。与网格采样和均匀采样技术相比,它具有更高的泛化性能。我们在两个人工数据集和两个组织学数据集上验证了该策略,用于乳腺癌和阳光照射分类。
2018-12-30 cs.CV cs.LG stat.ML
Becoming More Robust to Label Noise with Classifier Diversity
Brigham Young University(杨百翰大学)
在机器学习社区中众所周知,类噪声可能(并且经常)不利于诱导数据的模型。许多当前的方法使用单个的、通常有偏差的测量来确定实例是否有噪声。有偏差的度量可能在某些数据集上工作得很好,但在更广泛的数据集上也可能不太有效。在本文中,我们提出了噪声识别使用分类器多样性(NICD)-一种方法,用于获得一个更少的偏见噪声测量,并将其集成到学习过程。为了减少噪声度量的偏差,NICD选择了一组不同的分类器(基于它们对新实例的预测)来确定哪些实例是有噪声的。我们研究NICD作为一种技术,用于过滤,实例加权,并选择一个投票合奏的基础分类。我们比较NICD与其他几种噪声处理技术,不考虑分类器的多样性,一组54个数据集和5个学习算法。NICD显著提高了分类准确性,并且在广泛的数据集和学习算法中有效。
2014-03-07 cs.AI cs.LG stat.ML
Multi-Target Multiple Instance Learning for Hyperspectral Target Detection
University of Florida(佛罗里达大学)
在遥感中,获取或收集准确标记的大型数据集通常具有挑战性。这种困难通常是由于几个问题,包括但不限于研究地点的空间面积和可访问性,全球定位系统(GPS)的错误,以及图像的空间分辨率造成的混合像素。我们提出了一种方法,有两个变化,估计多个目标签名的训练样本不精确的标签:多目标多实例自适应余弦估计(多目标MI-ACE)和多目标多实例光谱匹配滤波器(多目标MI-SMF)。所提出的方法通过直接考虑多实例、不精确标记的数据集来解决上述问题。他们学习目标特征的字典,使用自适应余弦估计(ACE)和光谱匹配滤波器(SMF)优化对背景的检测。实验进行了测试所提出的算法,使用模拟的高光谱数据集,MUUFL海湾港高光谱数据集收集的南密西西比大学海湾公园校区,和AVIRIS高光谱数据集收集的圣巴巴拉县,加利福尼亚州。仿真和实际高光谱目标检测实验表明,该算法在目标特征学习和目标检测方面是有效的。
2020-03-05 cs.LG eess.IV stat.ML
Statistical Testing for Multiple Instance Learning via Selective Inference with Applications to Computational Pathology
本文提出基于选择性推断的统计检验框架,用于评估注意力MIL中高注意力实例的显著性,在合成、MNIST及病理WSI数据上实现I型错误控制并提升统计功效。
2026-09-29 cs.CV cs.LG stat.ML
Kernel Self-Attention in Deep Multiple Instance Learning
Faculty of Mathematics and Computer Science, Jagiellonian University(雅盖隆大学数学与计算机科学学院);Ardigen SA(Ardigen SA公司)
并不是所有的监督学习问题都是由一对固定大小的输入张量和标签来描述的。在某些情况下,特别是在医学图像分析中,标签对应于一袋实例(例如,图像块),并且为了对这样的袋进行分类,需要聚集来自所有实例的信息。已经有几次尝试创建一个使用一袋实例的模型,但是,他们假设袋中没有依赖关系,并且标签至少连接到一个实例。在这项工作中,我们介绍了自注意力基于注意力的MIL池(SA-AbMILP)聚合操作来考虑实例之间的依赖关系。我们在MNIST、组织学、微生物和视网膜数据库上进行了几次实验,以表明SA-AbMILP的性能优于其他模型。此外,我们还研究了自注意力的核变化及其对结果的影响。
2021-03-05 cs.CV cs.LG stat.ML
Multiple-Instance Logistic Regression with LASSO Penalty
在这项工作中,我们考虑了一个制造过程,它可以描述的多实例逻辑斯谛回归模型。为了计算未知系数的极大似然估计,提出了一种期望最大化算法,并通过在似然函数中加入系数惩罚项,将所提出的建模方法扩展到识别重要协变量.除了必要的技术细节,我们证明了所提出的方法的实用性,通过模拟和真实的例子。
2016-07-13 stat.AP stat.ML
Label Stability in Multiple Instance Learning
Erasmus MC(伊拉斯谟大学医学中心);University of Copenhagen(哥本哈根大学);Delft University of Technology(代尔夫特理工大学)
我们解决的问题,\emph{instance label stability}在多实例学习(MIL)分类器。这些分类器仅在全局注释的图像(包)上进行训练,但通常可以为图像像素或补丁(实例)提供细粒度的注释。这对于计算机辅助诊断(CAD)和仅提供粗略标记的其他医学图像分析任务是有意义的。不幸的是,实例标签可能不稳定。这意味着训练数据的轻微变化可能潜在地导致在图像的不同部分中检测到异常,这从CAD的观点来看是不期望的。尽管MIL在CAD文献中越来越受欢迎,但这个问题尚未得到解决。我们研究了5个不同数据集上的几个MIL分类器提供的实例标签的稳定性,其中3个是医学图像数据集(乳腺组织病理学,糖尿病视网膜病变和计算机断层扫描肺部图像)。我们提出了一个无监督的措施来评估实例的稳定性,并证明了性能稳定性的权衡比较MIL分类时,可以。
2017-03-15 cs.CV stat.ML
Evaluation of Protein-protein Interaction Predictors with Noisy Partially Labeled Data Sets
University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学)
蛋白质相互作用预测是机器学习和计算生物学中的一个重要问题。然而,没有用于训练或评估目的的数据集,其中所有实例都被准确标记。相反,可用的是正类的实例(可能带有噪声标签),而没有负类的实例。负类数据的不可用性通常通过观察随机选择的蛋白质对具有几乎100%的机会是负类来处理,因为预期1,500个蛋白质对中只有1个预期是相互作用对。针对蛋白质相互作用(PPI)预测领域中,由于缺乏准确标记的测试数据集,可能导致评价结果有偏差的问题,提出了一种新的PPI预测方法。我们首先表明,不承认相互作用组中的固有偏斜(即很少发生阳性实例)会导致预测器的高估准确性。然后,我们表明,相信积极的相互作用是一个罕见的类别,随机对蛋白质的采样排除已知的相互作用蛋白质集作为负测试数据集可能会导致低估的评估结果。我们对这两个问题进行了形式化处理,并在此基础上提出了一种平衡方法来抵消高估和低估。最后,我们的实验验证了理论方面,并表明这种平衡评估可以评估准确的性能,而没有可用的金标准数据集。
2015-09-18 cs.AI stat.ML
Classifying and Segmenting Microscopy Images Using Convolutional Multiple Instance Learning
University of Toronto(多伦多大学)
卷积神经网络(CNN)在分类和分割任务上都达到了最先进的性能。将CNN应用于显微图像是具有挑战性的,因为缺乏在单细胞水平上标记的数据集。我们使用多实例学习(MIL)将CNN的应用扩展到显微镜图像分类和分割。我们提出了自适应噪声和MIL池功能,一个新的MIL运营商,是强大的离群值。将CNN与MIL相结合,可以使用具有全局标签的全分辨率显微图像来训练CNN。我们的方法基于MIL中使用的聚合函数和CNN中使用的池化层之间的相似性。我们表明,在哺乳动物和酵母显微镜图像上,训练MIL CNN端到端的性能优于以前的几种方法,而不需要任何分割步骤。
2015-11-17 cs.CV q-bio.SC stat.ML