Multiple Instance Detection Network with Online Instance Classifier Refinement
Huazhong University of Science and Technology(华中科技大学)
近年来,弱监督目标检测在目标识别中具有重要的意义。基于深度学习,弱监督检测器已经取得了许多有希望的结果。然而,与全监督检测相比,以弱监督方式训练基于深度网络的检测器更具挑战性。在这里,我们将弱监督检测公式化为多实例学习(MIL)问题,其中实例分类器(对象检测器)作为隐藏节点放入网络中。我们提出了一种新的在线实例分类器细化算法,将MIL和实例分类器细化过程集成到单个深度网络中,并仅使用图像级监督对网络进行端到端的训练,即,而没有对象位置信息。更准确地说,从弱监督推断的实例标签被传播到它们的空间重叠的实例,以在线改进实例分类器。迭代实例分类器细化过程使用深度网络中的多个流来实现,其中每个流监督其后面的流。弱监督目标检测实验进行了具有挑战性的PASCAL VOC 2007年和2012年的基准。我们获得了47%的mAP的VOC 2007年,显着优于以前的国家的最先进的。
2017-04-01 cs.CV
PIGMIL: Positive Instance Detection via Graph Updating for Multiple Instance Learning
University of Chinese Academy of Sciences(中国科学院大学);University of Technology, Sydney(悉尼科技大学);Renmin University of China(中国人民大学);Chinese Academy of Sciences(中国科学院)
阳性实例检测,特别是对于阳性包中的阳性实例(真阳性实例,TPIs),对于仅提供包(一组实例)标签信息的特定分类问题所产生的多实例学习(MIL)起着关键作用。然而,大多数以前的MIL方法在这个问题上忽略了正实例之间的全局相似性和负实例是非独立同分布的,通常导致TPI检测不精确且对离群值不敏感。最后,我们提出了一个积极的实例检测通过图更新的多实例学习,称为PIGMIL,准确地检测TPI。PIGMIL从一些工作包的工作集中选择实例作为阳性候选池。通过度量正例之间的全局相似性和正例与负例之间的鲁棒区分度,构造了一致性相似区分图(CSDG)。其结果是,主要目标(即TPI检测)转化为PCP更新,这是有效地近似更新CSDG与随机游走排名算法和实例更新策略。最后根据识别出的TPI将袋子转化为特征表示向量,训练分类器。大量的实验表明,与经典的基线MIL方法相比,PIGMIL的TPI检测精度高,性能优异。
2016-12-12 cs.CV
Instance Significance Guided Multiple Instance Boosting for Robust Visual Tracking
School of Computer Science, Beijing Institute of Technology(北京理工大学计算机学院);School of Information Science and Technology, Lingnan Normal University(岭南师范学院信息科学与技术学院);Beijing Laboratory of Intelligent Information Technology(北京智能信息技术实验室)
多实例学习(MIL)最近提供了一个有吸引力的方法来减轻漂移问题的视觉跟踪。跟踪检测框架后,开发了一种在线MILBoost方法,通过最大化袋的可能性,依次选择弱分类器。在本文中,我们扩展了这个想法,将实例的重要性估计到在线MILBoost框架。首先,我们不是平等地对待所有实例,而是将每个实例与代表其对袋可能性的贡献的显著性系数相关联。系数由一个简单的贝叶斯公式估计,该公式联合考虑了几个标准MILBoost分类器的预测。接下来,我们遵循在线提升框架,并提出了一个新的弱分类器选择标准。具有挑战性的公共数据集的实验表明,所提出的方法优于现有的MIL和boosting的跟踪器。
2020-03-17 cs.CV
Certainty Pooling for Multiple Instance Learning
SagivTech Ltd.(SagivTech有限公司);Roche Innovation Center Munich(罗氏创新中心慕尼黑)
多实例学习是弱监督学习的一种形式,其中数据被安排在称为袋子的实例集合中,每个袋子分配一个标签。通过在实例预测或嵌入上应用置换不变池化算子,从多个实例导出包级类预测。我们提出了一种新的池运营商称为\textbf{Certainty Pooling},它将模型的确定性到袋预测,从而产生一个更强大的和可解释的模型。我们比较我们提出的方法与其他池运营商在控制实验中的低证据比袋MNIST的基础上,以及在现实生活中的组织病理学数据集-Camelyon 16。我们的方法在包级和实例级预测方面都优于其他方法,特别是当只有小的训练集可用时。我们讨论了我们的方法背后的基本原理及其在这些类型的数据集上的优越性。
2020-08-24 cs.CV
Root Identification in Minirhizotron Imagery with Multiple Instance Learning
University of Florida(佛罗里达大学);Argonne National Laboratory(阿贡国家实验室);University of Missouri(密苏里大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,多实例学习(MIL)算法,自动执行根检测和分割的微型电子图像,仅使用图像级标签的建议。根和土壤特性因地点而异,因此,用当地数据训练的监督机器学习方法提供了在微型电子照相机图像中识别和分割根的最佳能力。然而,标记训练数据(或其他)的根是一项极其繁琐和耗时的任务。本文的目的是解决这个问题,标记数据在图像级别(而不是个人根或根像素级别)和训练算法,以执行个别根像素级分割使用MIL策略。将三种MIL方法(多示例自适应余弦相干估计器、多示例支持向量机、随机树多示例学习)应用于根检测,并与非MIL方法进行了比较。结果表明,MIL方法改善了具有挑战性的微电子图像中的根部分割,并减少了标记负担。在我们的结果中,多实例支持向量机优于其他方法。多实例自适应余弦相干估计器算法是紧随其后的第二种算法,其额外的优点是它学习了可解释的根签名,该签名识别了用于区分根与土壤的特征,并且不需要参数选择。
2020-05-18 cs.CV
Bag-Level Aggregation for Multiple Instance Active Learning in Instance Classification Problems
École de technologie supérieure, Université du Québec(魁北克大学高等技术学院)
越来越多的应用,例如视频监控和医学图像分析,需要从大量弱注释数据中训练识别系统,同时允许与领域专家进行一些有针对性的交互以改进训练过程。在这种情况下,主动学习(AL)可以通过询问专家来提供信息量最大的实例的标签,从而降低训练分类器的标签成本。本文主要研究多实例学习(MIL)中实例分类问题的AL方法,其中数据被排列成弱标记的集合(称为袋)。大多数AL方法都集中在单实例学习问题上。这些方法不适用于MIL问题,因为它们不能解释数据的袋结构。针对多实例主动学习(MIAL)问题,提出了一种新的实例信息包级聚合方法。\textit{aggregated informativeness}方法基于分类器不确定性识别信息量最大的实例,并查询包含最多信息的包。另一种被称为\textit{cluster-based aggregative sampling}的方法在实例空间中分层地对数据进行聚类。通过考虑袋标签,推断的实例标签,和标签的比例,仍然被发现在集群中的实例的信息量进行评估。这两种方法显着优于参考方法在广泛的实验中使用基准数据从几个应用领域。结果表明,使用适当的策略来解决MIAL问题产生了显着减少所需的查询数量,以达到相同的性能水平,作为单实例AL方法。
2017-10-06 cs.CV
Contrastive Cross-Bag Augmentation for Multiple Instance Learning-based Whole Slide Image Classification
提出对比跨包增强方法,从同类别所有包采样实例增加伪包多样性,并引入包级和组级对比学习,提升多实例学习全切片图像分类性能。
2025-08-05 cs.CV
K-Shot Contrastive Learning of Visual Features with Multiple Instance Augmentations
Shanghai Jiaotong University(上海交通大学);Seattle Cloud Lab, Futurewei Technologies(未来wei技术西雅图云实验室)
在本文中,我们提出了$K$ -镜头对比学习(KSCL)的视觉特征,通过应用多个增强调查的样本变化在个别情况下。它旨在通过学习区分特征来区分不同的实例,以及通过将查询与实例上增强样本的变体相匹配来区分实例内的变化,从而结合实例间区分的优势。特别地,对于每个实例,它构造一个实例子空间来模拟$K$ -镜头增强中的变化的重要因素如何被组合以形成增强的变体的配置。给定一个查询,通过将查询投影到实例的子空间上来预测正实例类,从而检索实例的最相关变体。这推广了现有的对比学习,可以被视为一个特殊的一次性情况。通过特征值分解来构造实例子空间,并通过可微子空间构造来训练嵌入网络。实验结果表明,所提出的$K$ -shot对比学习取得了优于国家的最先进的无监督方法的性能。
2021-02-01 cs.CV
Discovery-and-Selection: Towards Optimal Multiple Instance Learning for Weakly Supervised Object Detection
Xi’an Jiaotong University(西安交通大学)
弱监督目标检测(WSOD)是一项具有挑战性的任务,它需要在图像类别标签的监督下同时学习目标分类器和估计目标位置。WSOD方法的一个主要路线是基于多实例学习,将图像视为实例包,并从每个包中选择阳性实例来学习检测器。然而,一个巨大的挑战出现时,检测器倾向于收敛到歧视的部分对象,而不是整个对象。在局部极小点包含最优解的假设下,提出了一种融合多示例学习的发现与选择方法(DS-MIL),该方法发现丰富的局部极小点,并从多个局部极小点中选择最优解.为了实现DS-MIL,提出了一个注意力模块,以便更多的上下文信息可以捕获的特征图和更有价值的建议,可以收集在训练过程中。与建议候选人,提出了一个选择模块,选择信息的实例对象检测器。常用的基准测试的实验结果表明,我们提出的DS-MIL方法可以不断提高基线,报告国家的最先进的性能。
2022-05-05 cs.CV
Multiplex-detection Based Multiple Instance Learning Network for Whole Slide Image Classification
Monash Biomedicine Discovery Institute(莫纳什生物医学发现研究所);Monash University(莫纳什大学);Victorian Institute of Forensic Medicine(维多利亚法医研究所);Institute of Medical Science, University of Tokyo(东京大学医学科学研究所);Tencent AI Lab(腾讯人工智能实验室)
多实例学习(MIL)是一种强大的方法来分类整个切片图像(WSI)诊断病理学。MIL对WSI分类的一个基本挑战是发现触发行李标签的\textit{critical instances}。然而,以前的方法主要是在独立和相同的分布假设(\textit{i.i.d})下设计的,忽略了实例之间的相关性或肿瘤的异质性。在本文中,我们提出了一种新的多检测为基础的多实例学习(MDMIL)来解决上述问题。具体地说,MDMIL是由内部查询生成模块(IQGM)和多重检测模块(MDM)构建的,并在训练过程中得到基于记忆的对比损失的帮助。首先,IQGM给出实例的概率,并通过聚集分布分析后的高可靠性特征来生成内部查询(IQ),以供后续MDM使用。其次,多路复用检测交叉注意(MDCA)和多头自注意(MHSA)在MDM合作,以产生最终表示的WSI。在这个过程中,IQ和可训练变分查询(VQ)成功地建立了实例之间的连接,并显着提高了模型对异质性肿瘤的鲁棒性。最后,为了进一步加强特征空间中的约束并稳定训练过程,我们采用了基于记忆的对比损失,即使在每次迭代中以单个样本作为输入,该方法也适用于WSI分类。我们在三个计算病理学数据集上进行实验,例如,CAMELYON 16、TCGA-NSCLC和TCGA-RCC数据集。优越的准确性和AUC证明了我们提出的MDMIL优于其他最先进的方法。
2022-09-01 cs.CV
Multiple Instance-Based Video Anomaly Detection using Deep Temporal Encoding-Decoding
RMIT University(皇家墨尔本理工大学);Anonymous University(匿名大学)
在本文中,我们提出了一种弱监督的深度时间编码解码解决方案,用于使用多实例学习进行监控视频中的异常检测。所提出的方法在训练阶段使用异常和正常的视频剪辑,该训练阶段是在多实例框架中开发的,在该框架中,我们将视频视为一个包,并将视频剪辑视为包中的实例。我们的主要贡献在于所提出的新方法来考虑视频实例之间的时间关系。我们处理视频实例(剪辑)作为一个连续的视觉数据,而不是独立的实例。我们采用了一个深度的时间和编码器网络,旨在捕捉视频实例随时间的时空演变。我们还提出了一个新的损失函数,比最近在计算机视觉文献中提出的类似损失函数更平滑,因此,在训练阶段,收敛速度更快,对局部极小值的容忍度更高。提出的时间编码解码方法与修改后的损失是基准对最先进的仿真研究。结果表明,该方法的性能类似于或优于最先进的解决方案,在视频监控应用中的异常检测。
2021-01-05 cs.CV
Attention-Challenging Multiple Instance Learning for Whole Slide Image Classification
Zhejiang University(浙江大学);Westlake University(西湖大学)
针对WSI分类中注意力过度集中导致过拟合的问题,提出ACMIL,通过多分支注意力和随机Top-K实例掩蔽提升判别实例覆盖与泛化能力,并在多个数据集上验证其优于现有方法。
2024-07-05 cs.CV
MooMIns -- Monocular 3D Reconstruction and Object Pose Estimation from Multiple Instances
Institute of Photogrammetry and Remote Sensing, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院摄影测量与遥感研究所)
提出MooMIns方法,利用单张图像中同一物体的多个实例提供隐式多视图几何,通过反向高斯泼溅实现3D重建和6D姿态估计,避免深度先验导致的幻觉。
2026-06-15 cs.CV
Buried object detection using handheld WEMI with task-driven extended functions of multiple instances
University of Missouri(密苏里大学)
许多有效的监督判别字典学习方法已经在文献中开发。然而,当训练这些算法时,需要训练数据的精确地面实况以提供非常准确的逐点标签。然而,在许多应用中,准确的标签并不总是可行的。这在其中物体的尺寸不一致的掩埋目标检测的情况下尤其如此。在本文中,一个新的多实例字典学习算法检测埋地物体使用手持WEMI传感器的详细说明。新算法,任务驱动的扩展函数的多个变量,可以克服数据,没有非常精确的逐点标签,仍然学习一个高度判别字典。测量的WEMI数据的结果进行了介绍和讨论。
2016-03-19 cs.CV
Multiple Instance Hyperspectral Target Characterization
University of Florida(佛罗里达大学);University of Missouri(密苏里大学);Precision Silver LLC(Precision Silver 有限责任公司)
本文提出了两种多实例目标特征化方法:MI-SMF和MI-ACE。MI-SMF和MI-ACE从不精确标记的和混合的训练数据中估计有区别的目标特征。在遥感高光谱图像的亚像素目标检测等应用中,训练数据上的精确像素级标记往往是不可用的,也是不可行的。此外,由于子像素目标在尺寸上小于单个像素的分辨率,因此训练数据仅包括混合数据点(其中目标训练点是来自目标和非目标类别两者的响应的混合)。结果表明,改进的,一致的性能比现有的多实例概念学习方法的几个高光谱亚像素目标检测问题。
2017-09-13 cs.CV
Instance Flow Based Online Multiple Object Tracking
Fraunhofer Institute of Optronics, System Technologies and Image Exploitation(弗劳恩霍夫光电、系统技术与图像利用研究所)
我们提出了一种方法来执行在线多目标跟踪(MOT)的已知对象类别的单目视频数据。当前的检测跟踪MOT方法建立在2D限界框检测之上。相比之下,我们利用最先进的实例感知语义分割技术来计算目标对象在每帧中的二维形状表示。我们利用光流线索来预测分割实例在后续帧中的位置和形状。我们定义了一个亲和矩阵的后续帧的实例之间的局部性和视觉相似性。实例关联采用匈牙利方法求解。我们使用MOT 2D 2015训练数据集评估了我们算法的不同配置。评估表明,我们的跟踪方法是能够跟踪高相对运动的对象。此外,我们提供了我们的方法在MOT 2D 2015测试集上的结果,以与以前的作品进行比较。我们的MOTA得分为32.1。
2017-05-15 cs.CV
Rethinking Multiple Instance Learning for Whole Slide Image Classification: A Good Instance Classifier is All You Need
Digital Medical Research Center, School of Basic Medical Science, Fudan University(复旦大学基础医学院数字医学研究中心);Fudan University Shanghai Cancer Center(复旦大学附属肿瘤医院)
针对全视野切片图像分类中伪标签噪声和注意力分数不准的问题,提出融合弱监督对比学习、原型学习与实例分类器的实例级MIL框架,并在四个数据集上验证其优越性能。
2024-05-11 cs.CV
Weakly Supervised Object Localization with Multi-fold Multiple Instance Learning
Bilkent University(比尔肯特大学);Inria Grenoble Rhône-Alpes(法国国家信息与自动化研究所格勒诺布尔-罗讷-阿尔卑斯分所);Laboratoire Jean Kuntzmann(让·孔茨曼实验室);CNRS(法国国家科学研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
目标类别定位是计算机视觉中一个具有挑战性的问题。标准监督训练需要对象实例的限界框注释。这种耗时的注释过程在弱监督学习中被回避了。在这种情况下,监督信息被限制为指示图像中对象实例的不存在/存在的二进制标签,而没有它们的位置。我们遵循多实例学习方法,迭代地训练检测器并推断正训练图像中的对象位置。我们的主要贡献是一个多重多实例学习过程,它可以防止训练过早锁定错误的对象位置。当使用高维表示时,例如Fisher向量和卷积神经网络特征,该过程尤其重要。我们还提出了一个窗口细化方法,提高了定位精度,通过将对象的先验。我们提出了一个详细的实验评估使用PASCAL VOC 2007数据集,验证了我们的方法的有效性。
2016-02-22 cs.CV
Multiple Instance Choquet Integral Classifier Fusion and Regression for Remote Sensing Applications
University of Missouri(密苏里大学);University of Florida(佛罗里达大学)
在分类器(或回归)融合中,目标是组合几种算法的输出以提高整体性能。标准的监督融合算法通常需要准确和精确的训练标签。然而,在许多遥感应用中可能难以获得准确的标签。本文提出了新的分类和回归融合模型,该模型可以在给定模糊和不精确标记的训练数据的情况下进行训练,其中训练标签与数据点集相关联(即,“袋”)而不是单个数据点(即,“实例”)遵循多实例学习框架。在合成数据上进行了实验,并在遥感数据下进行了目标检测和农作物产量预测等应用。所提出的算法表现出有效的分类和回归性能。
2019-02-18 cs.CV
Rethinking Multiple Instance Learning: Developing an Instance-Level Classifier via Weakly-Supervised Self-Training
Digital Medical Research Center, School of Basic Medical Science, Fudan University(复旦大学基础医学院数字医学研究中心);Shanghai Key Laboratory of Medical Image Computing and Computer Assisted Intervention(上海市医学影像计算与计算机辅助介入重点实验室)
本文将多示例学习重构为半监督实例分类,提出带全局与局部伪标签约束的弱监督自训练方法,迫使分类器学习困难正实例,并在多类基准上达到SOTA。
2024-08-09 cs.CV
DGMIL: Distribution Guided Multiple Instance Learning for Whole Slide Image Classification
Digital Medical Research Center(数字医学研究中心);School of Basic Medical Science(基础医学院);Fudan University(复旦大学)
多实例学习(MIL)被广泛用于分析组织病理学全切片图像(WSIs)。然而,现有的MIL方法不显式地对数据分布进行建模,而是通过训练分类器来区分地学习袋级或实例级决策边界。在本文中,我们提出了DGMIL:一个用于WSI分类和正补丁定位的特征分布引导的深度MIL框架。我们没有设计复杂的判别网络架构,而是揭示了组织病理学图像数据的固有特征分布可以作为实例分类的非常有效的指导。我们提出了一个集群条件的特征分布建模方法和一个基于伪标签的迭代特征空间细化策略,使在最终的特征空间的积极和消极的情况下,可以很容易地分离。CAMELYON 16数据集和TCGA肺癌数据集上的实验表明,我们的方法实现了新的SOTA的全局分类和积极的补丁定位任务。
2022-06-17 cs.CV
Rethinking Attention-Based Multiple Instance Learning for Whole-Slide Pathological Image Classification: An Instance Attribute Viewpoint
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院);Faculty of Computing, Harbin Institute of Technology(哈尔滨工业大学计算学部);School of Science, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)理学院)
本文提出属性驱动的多实例学习框架AttriMIL,通过属性评分机制及空间与排序约束建模实例相关性,并采用病理自适应主干网络,在三个公开基准上超越现有方法。
2024-03-30 cs.CV
SGPMIL: Sparse Gaussian Process Multiple Instance Learning
National and Kapodistrian University of Athens(希腊国家与卡波迪斯蒂亚诺斯大学);ÉTS Montréal(蒙特利尔ÉTS);Archimedes, Athena Research Center(阿提卡研究中心);CentraleSupélec, Université Paris-Saclay(巴黎萨克雷大学中央理工-supélec)
SGPMIL通过引入稀疏高斯过程,提升多实例学习中实例级预测的可靠性与可解释性。
2026-01-17 cs.CV
Multiple Instance Learning Framework with Masked Hard Instance Mining for Gigapixel Histopathology Image Analysis
Hong Kong University of Science and Technology(香港科学与技术大学);Hefei University of Technology(合肥工业大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
针对多实例学习在千兆像素病理图像中偏向易分类实例的问题,提出基于掩码困难实例挖掘的MIL框架(MHIM-MIL),利用动量教师与随机掩码隐式挖掘困难实例,在12个基准上性能与效率均优于最新方法。
2025-09-15 cs.CV
Instance Influence Estimation for Hyperspectral Target Signature Characterization using Extended Functions of Multiple Instances
University of Missouri(密苏里大学)
扩展函数多实例学习算法(eFUMI)是多实例学习算法(MIL)的推广。在eFUMI中,仅需要袋水平(即组水平)标签来估计来自混合数据的目标特征。如果袋中的任何数据点包含或代表任何比例的靶标特征,则eFUMI中的训练袋标记为阳性,如果袋中的所有数据点不代表任何靶标,则标记为阴性袋。从这些不精确的标签,eFUMI已被证明是有效的,在估计高光谱亚像素目标检测问题的目标签名。使用eFUMI的一个激励场景是分析员在高光谱场景中圈出感兴趣的对象/区域,使得可以估计这些对象的目标签名,并将其用于确定对象的其他实例是否出现在图像集合中的其他地方。分析员突出显示的区域作为eFUMI的不精确标签。通常,分析师可能希望迭代地改进他们不精确的标签。在本文中,我们提出了一种方法来估计的影响,估计目标签名,如果一个特定的输入数据点的标签被修改。这种“实例影响估计”引导分析人员专注于(重新)标记在所得到的估计的目标特征中提供最大变化的数据点,并且因此减少分析人员需要花费来细化高光谱场景的标签的时间量。结果显示在真正的高光谱亚像素目标检测数据集。
2016-03-21 cs.CV
Cancer Detection with Multiple Radiologists via Soft Multiple Instance Logistic Regression and $L_1$ Regularization
本文研究了数字图像中癌症检测的医学应用中的多重标注问题。主要假设是,虽然图像被许多专家标记,但同一专家阅读的图像数量并不多。因此,不同于现有的工作,每个专家和地面实况同时建模,多注释信息中使用的软的方式。来自不同专家的多个标签用于估计将发现标记为恶性的概率。该学习算法最小化建模概率和约束模型紧凑的期望概率之间的Kullback Leibler(KL)发散。概率模型的logit回归和多实例学习的概念,我们使用。CXR CAD肺癌检测的现实生活中的计算机辅助诊断(CAD)问题的实验表明,所提出的算法导致类似的结果,学习与二进制RVMMIL分类器或二进制RVMMIL模型的混合物每个注释器。然而,该模型实现了较小的复杂性,并且在实践中更优选。
2014-12-09 cs.CV
Collaborative Propagation on Multiple Instance Graphs for 3D Instance Segmentation with Single-point Supervision
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
针对3D点云实例分割点级标注成本高的问题,提出仅需单点标注的弱监督RWSeg,通过自注意力与跨图竞争随机游走传播语义和实例信息并生成伪标签,性能接近全监督方法且显著优于已有弱监督方法。
2023-08-20 cs.CV
Using Multiple Instance Learning to Build Multimodal Representations
MIT(麻省理工学院);Harvard Medical School(哈佛医学院)
本研究建立多模态表示学习与多示例学习的关联,提出构建置换不变评分函数的通用框架,并据此推导新型对比学习方法,在多项下游任务中取得最优结果。
2023-03-09 cs.CV
Distilling Knowledge from Refinement in Multiple Instance Detection Networks
Federal University of Rio Grande do Sul(南里奥格兰德联邦大学)
弱监督目标检测(WSOD)的目的是解决目标检测的问题,只使用标记的图像类别作为监督。WSOD中用于处理缺乏本地化信息的常见方法是多实例学习,近年来,方法开始采用多实例检测网络(MIDN),它允许以端到端的方式进行训练。一般来说,这些方法的工作原理是从候选实例池中选择最佳实例,然后根据相似性聚合其他实例。在这项工作中,我们声称,仔细选择的聚合标准可以大大提高学习检测器的准确性。我们首先提出了一个额外的细化步骤,现有的方法(OICR),我们称之为细化知识蒸馏。然后,我们提出了一个自适应的监督聚合功能,动态地改变聚合标准的选择框相关的地面实况类,背景,甚至忽略在每个细化模块的监督生成。在Pascal VOC 2007中的实验表明,我们的知识蒸馏和平滑聚合函数显著提高了OICR在弱监督目标检测和弱监督目标定位任务中的性能。这些改进使Boosted-OICR与其他最先进的方法相比再次具有竞争力。
2020-04-23 cs.CV
Learning Robust Hash Codes for Multiple Instance Image Retrieval
Technische Universität München(慕尼黑工业大学);IBM Almaden Research Center(IBM阿尔马登研究中心);Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们首次介绍了一种多实例(MI)深度哈希技术,用于学习具有弱袋级监督的判别哈希码,适用于大规模检索。我们通过一个专用的MI池层,在包成员之间聚合深入学习的分层表示来学习这种哈希码。为了更好的可训练性和检索质量,我们提出了一种双管齐下的方法,包括鲁棒优化和训练,并使用一个辅助的单实例散列臂,该散列臂逐渐下调。我们提出检索肿瘤评估作为一个MI问题,因为肿瘤往往与良性肿块共存,并可能表现出互补的签名时,从不同的解剖视图扫描。对基准乳腺X射线摄影和组织学数据集的实验验证表明,与最先进的方法相比,检索性能有所提高。
2017-03-16 cs.CV
Attention2Minority: A salient instance inference-based multiple instance learning for classifying small lesions in whole slide images
Center for Biomedical Informatics, Wake Forest University School of Medicine(维克森林大学医学院生物医学信息学中心)
针对现有多示例学习模型难以识别全切片图像中极小肿瘤病灶的问题,提出SiiMIL模型,通过正常切片表征比对推理显著实例再分类,提升小病灶识别效果且大病灶表现相当,性能优于现有最优方法。
2023-12-11 cs.CV
Multiple Instance Curriculum Learning for Weakly Supervised Object Detection
University of Southern California(南加州大学);Google, Inc.(谷歌公司)
当用弱标记数据来监督对象检测器时,大多数现有方法都倾向于在有区别的对象部分中捕获,例如,由于缺乏对完整对象范围的监督,发现猫的脸而不是整个身体。为了应对这一挑战,我们将对象分割纳入检测器训练中,从而指导模型正确定位完整对象。本文提出了多实例课程学习方法,将课程学习引入多实例学习框架。MICL方法首先自动挑选容易的训练样本,其中分割掩码的范围与检测边界框一致。训练集逐渐扩展到包括更难的示例,以训练处理复杂图像的强大检测器。在PASCAL VOC数据集上,所提出的具有循环中分割的MICL方法的性能远远优于最先进的弱监督对象检测器。
2017-11-25 cs.CV
Deep Multiple Instance Learning for Airplane Detection in High Resolution Imagery
School of Computer Engineering, Iran University of Science and Technology(伊朗科技大学计算机工程学院)
航空图像中的自动飞机检测具有多种应用。这项任务中的两个重大挑战是飞机的规模和方向的变化。为了解决这些挑战,我们提出了一个旋转和规模不变的飞机提案生成器。我们称这种生成器为对称线段(SLS),它是基于飞机从俯视图的对称和规则的边界开发的。然后,所生成的建议被用于训练深度卷积神经网络以去除非飞机建议。由于每架飞机可以有多个SLS建议,其中一些建议不在机身方向,我们收集与一个地面实况对应的所有建议作为正包,其他建议作为负实例。为了进行多实例深度学习,我们修改了网络的损失函数,以从每个正包中学习至少一个实例以及所有负实例。最后,我们采用非最大值抑制,以消除重复检测。在NWPU VHR-10和DOTA数据集上的实验表明,该方法是一种很有前途的高分辨率图像中飞机自动检测方法。此外,我们估计方向的飞机使用框级注释作为一个额外的成就。
2020-10-28 cs.CV
C-MIL: Continuation Multiple Instance Learning for Weakly Supervised Object Detection
University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室)
弱监督目标检测(WSOD)是一个具有挑战性的任务时,提供了图像类别的监督,但需要同时学习对象的位置和对象检测器。许多WSOD方法采用多实例学习(MIL)并且具有非凸的损失函数,这些损失函数在训练期间容易陷入局部最小值(错误地定位对象部分),同时丢失整个对象范围。在本文中,我们将连续优化方法引入MIL,从而创建连续多实例学习(C-MIL),旨在以系统的方式缓解非凸性问题。我们将实例划分为空间相关和类相关的子集,并在子集内定义一系列平滑的损失函数来近似原始损失函数。优化平滑的损失函数可以防止训练过程过早地陷入局部极小值,并有助于发现指示完整对象范围的稳定语义极值区域(SSERs)。在PASCAL VOC 2007和2012数据集上,C-MIL改进了弱监督目标检测和弱监督对象定位的最新技术水平。
2019-04-11 cs.CV
Multiple Instance Hybrid Estimator for Learning Target Signatures
University of Missouri(密苏里大学);University of Florida(佛罗里达大学)
基于特征的高光谱目标检测器依赖于预先知道特定的目标特征。然而,目标特征往往很难或不可能获得。此外,用于获得目标签名的常用方法,例如从实验室测量或从图像场景中手动选择,通常不捕获目标类别的区分特征。本文提出了一种从不精确标签中估计有区别的目标特征的方法。该方法在多实例学习框架内最大化混合子像素检测器的响应,并估计一组有区别的目标签名。在学习目标签名之后,然后可以将任何基于签名的检测器应用于测试数据。仿真和实际高光谱目标检测实验表明了该方法的有效性。
2017-01-09 cs.CV
MIST: Multiple Instance Self-Training Framework for Video Anomaly Detection
Sun Yat-Sen University(中山大学);Peng Cheng Laboratory(鹏城实验室);Pazhou Lab(琶洲实验室)
弱监督视频异常检测(WS-VAD)是一种基于判别式表示的视频异常检测方法。大多数现有的作品是有限的,在不足的视频表示。在这项工作中,我们开发了一个多实例自训练框架(MIST),以有效地完善特定于任务的歧视性表示,只有视频级的注释。特别是,MIST由1)多实例伪标签生成器组成,它采用稀疏连续采样策略来产生更可靠的剪辑级伪标签,以及2)自我引导的注意力提升特征编码器,旨在自动关注帧中的异常区域,同时提取特定于任务的表示。此外,我们采用自训练计划,以优化这两个组件,并最终获得一个特定于任务的特征编码器。在两个公共数据集上的大量实验证明了我们方法的有效性,我们的方法的性能优于或优于现有的监督和弱监督方法,特别是在上海科技大学获得了94.83%的帧级AUC。
2021-04-04 cs.CV
Multiple Instance Hybrid Estimator for Hyperspectral Target Characterization and Sub-pixel Target Detection
Xidian University(西安电子科技大学);Mathworks(迈斯沃克公司);University of Florida(佛罗里达大学)
提出了一种多实例混合估计方法,用于非精确标记高光谱数据的目标鉴别。在许多高光谱目标检测问题中,获取准确标记的训练数据是一个难点。此外,包含目标的每个像素可能是目标和非目标签名的混合(即,亚像素目标),使得从数据中提取目标类的纯原型签名极其困难。所提出的方法解决了这些问题,通过引入一个数据混合模型和优化的响应的混合子像素检测器内的多实例学习框架。该方法在估计一组有区别的目标和非目标特征和解决稀疏解混问题之间迭代。在学习目标签名之后,然后可以将基于签名的检测器应用于测试数据。仿真和真实高光谱目标检测实验表明,该算法能够有效地学习具有鉴别能力的目标特征,并取得了优于现有比较算法的性能。
2019-03-19 cs.CV
Multiple Instance Learning with Mixed Supervision in Gleason Grading
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院)
随着计算病理学的发展,基于全切片图像的深度学习Gleason分级方法具有良好的应用前景。由于WSI的大小非常大,图像标签通常只包含幻灯片级标签或有限的像素级标签。目前主流的方法采用多示例学习来预测Gleason成绩。然而,一些方法只考虑幻灯片级标签忽略了有限的像素级标签包含丰富的本地信息。此外,额外考虑像素级标签的方法忽略了像素级标签的不准确性。为了解决这些问题,我们提出了一个混合监督Transformer的多实例学习框架的基础上。该模型利用载玻片级别标签和实例级别标签,以实现更准确的格里森分级在载玻片级别。通过在混合监督训练过程中引入有效的随机掩蔽策略,进一步降低了不准确的实例级标签的影响。我们在SICAPv2数据集上实现了最先进的性能,可视化分析显示了实例级的准确预测结果。源代码可在https://github.com/bianhao123/Mixed_supervision上获得。
2022-06-26 cs.CV
Multiple Instance Dictionary Learning using Functions of Multiple Instances
University of Missouri(密苏里大学)
提出了一种基于多实例函数的多实例字典学习方法(DL-FUMI),用于解决训练标签不准确的目标检测和两类分类问题。给定不准确的训练标签,DL-FUMI学习一组目标字典原子,这些原子描述了真阳性类的最独特和最具代表性的特征,以及一组非目标字典原子,这些原子解释了在阳性和阴性实例中发现的共享信息。实验结果表明,DL-FUMI发现的估计目标字典原子是更有代表性的原型,并确定更好的判别功能的真阳性类比现有的方法在文献中。DL-FUMI被证明有显着更好的性能在几个目标检测和分类问题相比,其他多实例学习(MIL)字典学习算法的各种MIL问题。
2016-08-03 cs.CV cs.LG stat.ML
MIS-Boost: Multiple Instance Selection Boosting
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在本文中,我们提出了一种新的多实例学习(MIL)方法,称为MIS-Boost,它通过在boosting框架中显式选择实例来学习判别实例原型。与以前的实例选择为基础的MIL方法,我们不限制原型的离散集的训练实例,但允许他们采取任意值的实例特征空间。我们也不限制原型的总数和每个包的选定实例的数量;这些数量完全是数据驱动的。我们证明了MIS-Boost在许多基准数据集上的性能优于最先进的MIL方法。我们还将MIS-Boost应用于大规模图像分类,在那里我们展示了自动选择的原型映射到视觉上有意义的图像区域。
2011-09-12 cs.CV cs.LG
Nested Multiple Instance Learning with Attention Mechanisms
University of Stavanger(斯塔万格大学)
强监督学习需要在实例级别详细了解真值标签,在许多机器学习应用中,这是一个主要缺点。多实例学习是一种流行的弱监督学习方法,其中真值标签在实例级不可用,而仅在实例包级可用。然而,有时问题的性质需要更复杂的描述,其中不同级别的包中包的嵌套架构可以捕获底层关系,就像分组在一起的类似实例一样。预测实例或内袋的潜在标签可能与预测最终的袋中袋标签一样重要,但在简单的嵌套设置中会丢失。本文提出了一种将嵌套概念与注意力机制相结合的嵌套多实例注意模型体系结构。我们表明,NMIA在简单的场景中表现为传统的MIL,可以把握复杂的场景,在不同的层次上提供潜在标签的见解。
2022-02-17 cs.CV cs.LG
Relaxed Multiple-Instance SVM with Application to Object Discovery
Huazhong University of Science and Technology(华中科技大学)
多实例学习(MIL)已经成为广泛的视觉应用的重要工具,例如,图像分类、目标检测和视觉跟踪。在本文中,我们提出了一种新的方法来解决经典的MIL问题,命名为松弛多实例支持向量机(RMI-SVM)。我们将实例的积极性作为一个连续变量,使用Noisy-OR模型来加强MIL约束,并在一个统一的框架中联合优化包标签和实例标签。利用随机梯度下降法可以有效地解决优化问题。大量的实验表明,RMI-SVM在各种MIL基准测试中始终取得优异的性能。此外,我们简单地将RMI-SVM应用于具有挑战性的视觉任务,常见对象发现。Pascal VOC数据集上对象发现的最新结果进一步证实了所提出方法的优势。
2015-10-05 cs.CV cs.LG
In Defense of LSTMs for Addressing Multiple Instance Learning Problems
KU Leuven(鲁汶大学);University of Antwerp(安特卫普大学)
LSTM在分析连续数据方面有着良好的记录。但是,在多实例学习(MIL)设置下发现的无序实例包怎么办?虽然不常用于此,但我们表明LSTM在此设置下也表现出色。此外,我们表明,LSTM能够间接捕获实例级的信息,只使用包级的注释。因此,它们可以用于以弱监督的方式学习实例级模型。我们对简化(MNIST)和现实(Lookbook和Historology)数据集的经验评估表明,LSTM与专门为处理特定MIL问题而设计的最先进的方法相比具有竞争力,甚至超过了这些方法。此外,我们还证明了它们在实例级预测上的性能接近于全监督方法。
2021-01-14 cs.AI cs.CV
Characterizing Lidar Range-Measurement Ambiguity due to Multiple Returns
Tufts University(塔夫茨大学)
本文研究了激光雷达在道路环境中因多重回波导致的距离测量模糊性,通过分析数据集表征了两种机械旋转激光雷达的累积分布函数,并提出评估概率多回波对定位影响的方法。
2026-04-10 cs.CV cs.RO
Multiple instance active learning for object detection
University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学)
尽管用于图像识别的主动学习取得了实质性进展,但仍然缺乏用于目标检测的实例级主动学习方法。在本文中,我们提出了多实例主动目标检测(MI-AOD),通过观察实例级的不确定性来选择最具信息量的图像进行检测器训练。MI-AOD定义了一个实例不确定性学习模块,该模块利用在标记集上训练的两个对抗性实例分类器的差异来预测未标记集的实例不确定性。MI-AOD将未标记图像视为实例包,将图像中的特征锚视为实例,并通过多实例学习(MIL)方式重新加权实例来估计图像的不确定性。迭代实例不确定性学习和重新加权有助于抑制噪声实例,从而弥合实例不确定性和图像级不确定性之间的差距。实验验证了MI-AOD为实例级主动学习设置了坚实的基线。在常用的目标检测数据集上,MI-AOD优于最先进的方法,具有显著的裕度,特别是当标记集很小时。代码可在https://github.com/yuantn/MI-AOD上获得。
2021-04-06 cs.AI cs.CV cs.LG
Cracking Instance Jigsaw Puzzles: An Alternative to Multiple Instance Learning for Whole Slide Image Analysis
i1.org(机构1);i2.org(机构2)
针对多示例学习(MIL)因依赖置换不变性而难以揭示全幻灯片图像实例间语义相关性的局限,提出通过学习恢复随机打乱的实例顺序来破解实例拼图问题,并基于最优传输理论设计了Siamese网络,在WSI分类与生存预测任务上优于现有MIL方法。
2025-07-10 cs.CV eess.IV
RimSet: Quantitatively Identifying and Characterizing Chronic Active Multiple Sclerosis Lesion on Quantitative Susceptibility Maps
Department of Electrical and Computer Engineering, Johns Hopkins University(约翰霍普金斯大学电气与计算机工程系);Department of Radiology, Weill Medical College of Cornell University(康奈尔大学韦尔医学院放射科);Sibley School of Mechanical and Aerospace Engineering, Cornell University(康奈尔大学西尔伯学校机械与航空航天工程系);Department of Electrical and Computer Engineering, Cornell University(康奈尔大学电气与计算机工程系)
RimSet结合无监督分割与影像组学,在QSM上定量识别和表征MS的Rim+病灶,性能优于现有方法,并与专家标注高度相关。
2025-10-07 cs.CV eess.IV
Label Stability in Multiple Instance Learning
Erasmus MC(伊拉斯谟大学医学中心);University of Copenhagen(哥本哈根大学);Delft University of Technology(代尔夫特理工大学)
我们解决的问题,\emph{instance label stability}在多实例学习(MIL)分类器。这些分类器仅在全局注释的图像(包)上进行训练,但通常可以为图像像素或补丁(实例)提供细粒度的注释。这对于计算机辅助诊断(CAD)和仅提供粗略标记的其他医学图像分析任务是有意义的。不幸的是,实例标签可能不稳定。这意味着训练数据的轻微变化可能潜在地导致在图像的不同部分中检测到异常,这从CAD的观点来看是不期望的。尽管MIL在CAD文献中越来越受欢迎,但这个问题尚未得到解决。我们研究了5个不同数据集上的几个MIL分类器提供的实例标签的稳定性,其中3个是医学图像数据集(乳腺组织病理学,糖尿病视网膜病变和计算机断层扫描肺部图像)。我们提出了一个无监督的措施来评估实例的稳定性,并证明了性能稳定性的权衡比较MIL分类时,可以。
2017-03-15 cs.CV stat.ML
Colorectal cancer survival prediction using deep distribution based multiple-instance learning
University of Science and Technology of China(中国科学技术大学);UNSW Sydney(悉尼新南威尔士大学);Genmab Inc.(Genmab公司)
已经开发了几种深度学习算法来使用全切片图像(WSIs)预测癌症患者的存活率。然而,识别WSIs中与患者存活率和疾病进展相关的图像表型对于临床医生和深度学习算法来说都是困难的。用于生存预测的大多数基于深度学习的多实例学习(MIL)算法使用顶部实例(例如,最大池化)或顶部/底部实例(例如,MesoNet)来识别图像表型。在这项研究中,我们假设,整体信息的分布补丁分数内的WSI可以预测癌症的生存更好。我们开发了一个基于分布的多实例生存学习算法(DeepDisMISL)来验证这一假设。我们使用两个大型国际结直肠癌WSIs数据集- MCO CRC和TCGA COAD-READ设计并执行实验。我们的研究结果表明,更多的信息分布的补丁分数的WSI,更好的是预测性能。包括每个所选分布位置周围的多个邻域实例(例如,)可以进一步改善预测。DeepDisMISL与其他最近发表的最先进的算法相比,表现出了卓越的预测能力。此外,我们的算法是可解释的,可以帮助理解癌症形态表型和患者癌症生存风险之间的关系。
2022-09-14 cs.CV eess.IV
Metastatic Cancer Outcome Prediction with Injective Multiple Instance Pooling
University of Toronto(多伦多大学);Sunnybrook Research Institute(森尼布鲁克研究所)
在许多癌症类型中,癌症分期是患者预后和管理的重要决定因素,并且通常使用医学成像模式(例如CT和MRI)进行评估。这些医学图像包含丰富的信息,可以探索这些信息来对每个阶段组内的患者进行分层,以进一步改进预后算法。尽管大多数癌症死亡是由转移性和多灶性疾病引起的,但由于缺乏注释数据集和标准研究框架,为患有多种肿瘤的患者建立成像生物标志物一直是一项具有挑战性的任务。在本文中,我们处理了两个公共数据集,建立了一个基准队列,共341例患者的多灶转移性癌症的结果预测研究。我们确定了常见的多实例分类网络缺乏表达能力,并提出了两个更适合结果预测的单射多实例池函数。我们的研究结果表明,多实例学习与内射池功能可以实现最先进的性能,在非小细胞肺癌CT和头颈部CT结果预测基准任务。我们将发布经过处理的多焦点数据集,我们的代码和中间文件,即提取的放射组学特征,以支持进一步透明和可重复的研究。
2022-03-09 cs.CV eess.IV
End-to-end Multiple Instance Learning with Gradient Accumulation
Uppsala University(乌普萨拉大学)
能够在弱标记数据上学习并提供可解释性,是基于注意力的深度多实例学习(ABMIL)方法在组织病理学图像分类中特别受欢迎的两个主要原因。这种图像数据通常以千兆像素大小的全载玻片图像(WSI)的形式出现,这些图像被裁剪成较小的补丁(实例)。然而,数据的庞大规模使得ABMIL模型的训练具有挑战性。来自一个WSI的所有实例不能由传统GPU一次处理。现有的解决方案通过依赖于预先训练的模型、策略采样或实例选择或自监督学习来折衷训练。我们提出了一种基于梯度累积的训练策略,该策略可以直接对ABMIL模型进行端到端的训练,而不受GPU内存的限制。我们在QMNIST和Imagenette上进行实验,研究性能和训练时间,并与传统的内存昂贵的基线和最近的基于采样的方法进行比较。这种内存效率高的方法虽然速度较慢,但其性能与内存昂贵的基线没有区别。
2022-03-08 cs.CV cs.LG
SparseConvMIL: Sparse Convolutional Context-Aware Multiple Instance Learning for Whole Slide Image Classification
Paris-Saclay University(巴黎-萨克雷大学);CentraleSupélec(中央理工-高等电力学院);Gustave Roussy(古斯塔夫·鲁西研究所);Inserm(法国国家健康与医学研究院);TheraPanacea(TheraPanacea公司)
多实例学习(MIL)是用于整个切片图像分类的优选方法。然而,大多数MIL方法不利用从整个幻灯片图像中提取的瓦片的相互依赖性,这可以为分类提供有价值的线索。本文提出了一种新的MIL方法,利用瓷砖的空间关系分类整个幻灯片图像。为此,从瓦片嵌入构建稀疏映射,然后通过稀疏输入CNN进行分类。它在涉及10000张全切片图像的癌症亚型分类方面获得了超过流行的MIL方法的最先进性能。我们的研究结果表明,所提出的方法可以(i)提高表示学习的实例和(ii)利用上下文的实例嵌入,以提高分类性能。这个工作的代码是开源的{github censored for review}。
2021-08-25 cs.CV cs.LG
Classifying bacteria clones using attention-based deep multiple instance learning interpreted by persistence homology
Jagiellonian University(雅盖隆大学);Ardigen SA(阿迪根股份公司);Jagiellonian University Medical College(雅盖隆大学医学院)
在这项工作中,我们分析是否有可能区分不同克隆的相同的细菌物种(肺炎克雷伯氏菌)仅基于显微镜图像。这是一个具有挑战性的任务,以前认为不可能,由于高克隆相似性。为此,我们采用了多步算法与基于注意力的多实例学习。除了获得0.9级的准确度外,我们还引入了基于CellProfiler和持久性同源性的广泛可解释性,增加了模型的可理解性和信任度。
2021-07-23 cs.AI cs.CV
Characterizing the Predictive Impact of Modalities with Supervised Latent-Variable Modeling
New York University(纽约大学);Grossman School of Medicine(格罗斯曼医学院);Genentech(基因泰克);CIFAR(加拿大弗雷德里克·班克特研究所)
PRIMO是一种监督潜在变量插补模型,用于量化多模态学习中缺失模态的预测影响,通过方差度量评估模态对预测的影响。
2026-02-19 cs.CL cs.CV cs.LG