Multi-Instance Partial-Label Learning with Margin Adjustment
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；The University of Newcastle（纽卡斯尔大学）
针对多实例部分标签学习中注意力分数和预测概率边际被忽略导致泛化性能不佳的问题，提出MIPLMA算法，通过边际感知注意力和边际分布损失调整边际，实验验证其优越性。
2025-01-22 cs.LG
Is Attention Interpretation? A Quantitative Assessment On Sets
IBM Research Europe（IBM欧洲研究院）
围绕注意力机制的可解释性的争论集中在注意力分数是否可以用作数据子组件所携带的相对信号量的代理。我们建议在集合机器学习的背景下研究注意的可解释性，其中每个数据点由具有全局标签的无序实例集合组成。对于经典的多实例学习问题和简单的扩展，有一个定义明确的“重要性”基础事实，可以利用它来将解释转换为一个二元分类问题，我们可以对其进行定量评估。通过在几种数据模式上构建合成数据集，我们对基于注意力的解释进行了系统的评估。我们发现，注意力分布确实经常反映个体实例的相对重要性，但是当模型具有高分类性能但注意力模式与预期不一致时，就会发生无声的失败。基于这些观察结果，我们建议使用集成来最大限度地减少基于注意力的误导性解释的风险。
2022-07-26 cs.LG
MATT: A Multiple-instance Attention Mechanism for Long-tail Music Genre Classification
Huazhong University of Science and Technology（华中科技大学）
不平衡音乐类型分类是音乐信息检索（MIR）领域的一项重要任务，它基于相关的音乐音频片段来识别长尾、数据贫乏的音乐类型，这在现实世界中非常普遍。现有的大多数模型都是针对类别平衡的音乐数据集设计的，导致在识别分布尾部的音乐流派时，准确性和泛化性能较差。受在各种分类任务中成功引入多实例学习（MIL）的启发，我们提出了一种名为多实例注意力（MATT）的新机制，以提高识别尾类的性能。具体来说，我们首先通过生成专辑艺术家配对包来构建包级数据集。其次，我们利用神经网络来编码音乐音频片段。最后，在多实例注意力机制的指导下，基于神经网络的模型可以选择信息量最大的流派来匹配给定的音乐片段。在具有长尾分布的大规模音乐流派基准数据集上的综合实验结果表明，MATT显著优于其他最先进的基线。
2022-09-09 cs.AI cs.LG cs.MM
Multi-Scale Attention-based Multiple Instance Learning for Classification of Multi-Gigapixel Histology Images
University of Warwick（华威大学）；The Chinese University of Hong Kong（香港中文大学）；Warwick Medical School（华威医学院）；The Alan Turing Institute（艾伦·图灵研究所）
具有数十亿像素分辨率的组织学图像为癌症诊断和预后提供了丰富的信息。大多数情况下，只有幻灯片级别的标签可用，因为像素级注释是劳动密集型任务。在本文中，我们提出了一种用于组织学图像分类的深度学习管道。利用多实例学习，我们试图预测潜在的膜蛋白1（LMP1）状态的鼻咽癌（NPC）的基础上苏木精和伊红染色（H&E）的组织学图像。我们利用注意力机制与剩余连接为我们的聚合层。在我们的3倍交叉验证实验中，我们分别获得了平均准确度、AUC和F1得分0.936、0.995和0.862。这种方法还允许我们通过可视化注意力分数来检查模型的可解释性。据我们所知，这是第一次尝试使用深度学习预测NPC的LMP 1状态。
2022-09-07 cs.AI cs.CV cs.LG
Attention based Multiple Instance Learning for Classification of Blood Cell Disorders
Institute of Computational Biology, Helmholtz Zentrum München - German Research Center for Environmental Health（亥姆霍兹慕尼黑中心-德国环境健康研究中心计算生物学研究所）；Computer Aided Medical Procedures, Technical University of Munich（慕尼黑工业大学计算机辅助医疗程序研究所）；Helmholtz AI, Helmholtz Center Munich（慕尼黑亥姆霍兹中心亥姆霍兹人工智能）；Red Blood Cell Research Group, Institute of Veterinary Physiology, Vetsuisse Faculty and the Zurich Center for Integrative Human Physiology, University of Zurich（苏黎世大学兽医学院兽医生理学研究所红细胞研究组及苏黎世综合人类生理学中心）；Computer Aided Medical Procedures, Johns Hopkins University（约翰斯·霍普金斯大学计算机辅助医疗程序研究所）；Computer Vision Lab (CVL), ETH Zurich（苏黎世联邦理工学院计算机视觉实验室）
红细胞是高度可变形的，并以各种形状存在。在血细胞疾病中，只有所有细胞的一个子集发生形态学改变并与诊断相关。然而，手动标记所有细胞是费力的、复杂的，并且引入了专家间的可变性。我们提出了一种基于注意力的多实例学习方法来对患有血细胞疾病的患者的血液样本进行分类。使用R-CNN架构检测细胞。通过为每个细胞提取的特征，多实例学习方法将患者样本分类为四种血细胞疾病中的一种。注意力机制提供了每个细胞对整体分类的贡献的度量，并显著提高了网络的分类准确性及其对医学专家的可解释性。
2020-07-22 cs.CV cs.LG eess.IV
Towards Explainable End-to-End Prostate Cancer Relapse Prediction from H&E Images Combining Self-Attention Multiple Instance Learning with a Recurrent Neural Network
University Medical Center Hamburg-Eppendorf（汉堡-埃彭多夫大学医学中心）；Universität Hamburg（汉堡大学）
组织病理学图像数据的临床决策支持主要集中在强监督的注释，它提供直观的可解释性，但受专家性能的约束。在这里，我们提出了一个可解释的癌症复发预测网络（eCaReNet），并表明没有强注释的端到端学习提供了最先进的性能，而可解释性可以通过注意力机制来实现。在前列腺癌生存预测的用例中，使用14，479张图像和仅复发时间作为注释，我们在验证集上达到了0.78的累积动态AUC，与专家病理学家相当（在单独的测试集上AUC为0.77）。我们的模型是经过良好校准的，并输出生存曲线以及每个患者的风险评分和组。利用多实例学习层的注意力权重，我们发现恶性斑块对预测的影响比良性斑块更大，从而提供了对预测的直观解释。我们的代码可在www.github.com/imsb-uke/ecarenet上获得。
2021-11-26 cs.CV cs.LG
Semi-supervised Classification using Attention-based Regularization on Coarse-resolution Data
University of Minnesota（明尼苏达大学）；LinkedIn（领英）
许多现实世界的现象是在多个分辨率下观察到的。设计用于预测这些现象的预测模型通常分别考虑不同的分辨率。这种方法在需要精细分辨率的预测但可用的训练数据稀缺的应用中可能是有限的。在本文中，我们提出了分类算法，利用监督从粗糙的决议，以帮助训练模型更精细的决议。不同的分辨率被建模为多视图框架中的数据的不同视图，该框架利用不同视图之间的特征的互补性来改进两个视图上的模型。与传统的多视图学习问题不同，我们案例中的关键挑战是，在我们的案例中，不同视图中的实例之间没有一一对应关系，这需要对不同分辨率下的实例对应关系进行显式建模。本文提出了一种基于注意力机制的基于不同分辨率下实例的特征学习方法，并在基于卫星观测的城市地图绘制和文本数据的情感分类中进行了实验，结果表明了该方法的有效性.
2020-01-03 cs.CV cs.IR cs.LG
A robust and lightweight deep attention multiple instance learning algorithm for predicting genetic alterations
University of Science and Technology of China（中国科学技术大学）；The Fourth Affiliated Hospital of Anhui Medical University（安徽医科大学第四附属医院）；Genmab Inc.（Genmab公司）
基于全切片数字病理学图像（WSIs）的深度学习模型在预测分子生物标志物方面越来越受欢迎。基于实例的模型已经成为使用WSI预测遗传改变的主流策略，尽管已经针对其他数字病理学应用提出了基于袋的模型以及基于自注意机制的算法。本文提出了一种新的基于注意力的多实例突变学习（AMIML）模型来预测基因突变。AMIML由连续的1-D卷积层、解码器和剩余权重连接组成，以促进进一步集成轻量级注意力机制来检测最具预测性的图像块。使用来自癌症基因组图谱（TCGA）研究（UCEC，BRCA，GBM和KIRC）中四个癌症队列的24个临床相关基因的数据，我们将AMIML与一个流行的基于实例的模型和四个最近发表的基于袋的模型（例如，CHOWDER、HE 2 RNA等）。AMIML表现出出色的鲁棒性，不仅在绝大多数测试基因（24个中的17个）中优于所有五种基线算法，而且在其他七个基因中也提供了接近最佳的性能。相反，基线公布的算法的性能在不同的癌症/基因中有所不同。此外，与已发表的遗传改变模型相比，AMIML在预测广泛的基因（例如，KIRC的KMT 2C、TP 53和SETD 2; BRCA的ERBB 2、BRCA 1和BRCA 2; UCEC的JAK 1、POLE和MTOR），以及其他临床相关基因突变的出色预测模型，这些在当前文献中尚未报道。此外，通过灵活和可解释的基于注意力的MIL池机制，AMIML可以进一步归…
2022-05-31 cs.AI cs.CV cs.LG
U2-ONet: A Two-level Nested Octave U-structure with Multiscale Attention Mechanism for Moving Instances Segmentation
Wuhan University（武汉大学）
在实际应用中，大多数场景都是包含运动目标的动态场景，因此准确分割运动目标对于许多计算机视觉应用来说至关重要。为了有效地分割出场景中的所有运动对象，无论对象是否具有预定义的语义标签，我们提出了一个两级嵌套的Octave U结构网络与多尺度注意力机制称为U2-ONet。U2-ONet的每个阶段都填充了我们新设计的Octave ReSidual U块（ORSU），以增强在不同尺度下获得更多上下文信息的能力，同时减少特征图的空间冗余。为了高效地训练我们的多尺度深度网络，我们引入了一种分层训练监督策略，该策略在计算每一级的损失的同时添加知识匹配损失以保持优化的一致性。实验结果表明，我们的方法达到了国家的最先进的性能在几个一般的运动对象分割数据集。
2020-07-26 cs.CV cs.LG eess.IV
Multiple Instance Learning with Trainable Decision Tree Ensembles
Peter the Great St.Petersburg Polytechnic University（彼得大帝圣彼得堡理工大学）
提出了一种新的基于随机森林的小数据量多实例学习模型--软树枚举多实例学习模型（SoftTreeEnseminationMIL，STE-MIL）。本文提出了一种新的软决策树，它类似于著名的软斜树，但具有较少的可训练参数。为了训练树，建议将它们转换为特定形式的神经网络，该网络逼近树函数。还提出了通过使用注意力机制来聚合实例和包嵌入（输出向量）。整个STE-MIL模型，包括软决策树，神经网络，注意力机制和分类器，在一个端到端的方式进行训练。表格数据集的数值实验说明了STE-MIL。实现该模型的相应代码是公开的。
2023-02-13 cs.LG
LMILAtt: A Deep Learning Model for Depression Detection from Social Media Users Enhanced by Multi-Instance Learning Based on Attention Mechanism
Beijing Institute of Technology（北京理工大学）
LMILAtt模型通过结合LSTM自动编码器和注意力机制，利用多实例学习提升社交媒体用户抑郁症检测的准确性与效率，降低标注成本。
2025-09-30 cs.AI cs.LG
Towards Hierarchical Regional Transformer-based Multiple Instance Learning
Bayer AG（拜耳公司）；Max-Delbrueck-Center for Molecular Medicine（马克斯·德尔布吕克分子医学中心）
提出基于Transformer的区域自注意力多示例学习方法，通过分层区域聚合和推理时聚焦高注意力区域，显著提升了千兆像素组织病理学图像的分类性能。
2023-11-20 cs.AI cs.CV cs.LG
Evaluating Multiple Instance Learning Strategies for Automated Sebocyte Droplet Counting
Chungnam National University（忠南大学）；University of Surrey（萨里大学）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
针对皮脂腺细胞脂滴人工计数效率低、主观性强的问题，本文对比评估基线MLP与注意力MIL模型的自动计数性能，验证了包级聚合基线的鲁棒性并指出MIL的优化方向。
2025-11-15 cs.CV cs.LG
Sparse Network Inversion for Key Instance Detection in Multiple Instance Learning
POSTECH（浦项工科大学）；BARO AI
多实例学习（MIL）涉及为一袋实例预测单个标签，在袋级给出正面或负面标签，而无需在训练阶段访问每个实例的标签。由于正包包含正实例和负实例，因此当一组实例被归类为正包时，通常需要检测正实例（关键实例）。基于注意力的深度MIL模型是袋级分类和关键实例检测（KID）的最新进展。然而，如果正面袋中的正面和负面实例不能清楚区分，则基于注意力的深度MIL模型具有有限的KID性能，因为注意力分数偏向于少数正面实例。在本文中，我们提出了一种方法来改善基于注意力的深度MIL模型在KID的任务。其主要思想是使用神经网络反演，找出哪些实例对训练的MIL模型产生的袋级预测做出了贡献。此外，我们将稀疏性约束引入到神经网络反演中，从而得到稀疏网络反演，并采用近似梯度法求解。基于MNIST的图像MIL数据集和两个真实世界的组织病理学数据集上的数值实验验证了我们的方法的有效性，表明KID性能显着提高，同时保持袋级预测的性能。
2020-09-08 cs.LG stat.ML
Statistical Testing for Multiple Instance Learning via Selective Inference with Applications to Computational Pathology
本文提出基于选择性推断的统计检验框架，用于评估注意力MIL中高注意力实例的显著性，在合成、MNIST及病理WSI数据上实现I型错误控制并提升统计功效。
2026-09-29 cs.CV cs.LG stat.ML
Kernel Self-Attention in Deep Multiple Instance Learning
Faculty of Mathematics and Computer Science, Jagiellonian University（雅盖隆大学数学与计算机科学学院）；Ardigen SA（Ardigen SA公司）
并不是所有的监督学习问题都是由一对固定大小的输入张量和标签来描述的。在某些情况下，特别是在医学图像分析中，标签对应于一袋实例（例如，图像块），并且为了对这样的袋进行分类，需要聚集来自所有实例的信息。已经有几次尝试创建一个使用一袋实例的模型，但是，他们假设袋中没有依赖关系，并且标签至少连接到一个实例。在这项工作中，我们介绍了自注意力基于注意力的MIL池（SA-AbMILP）聚合操作来考虑实例之间的依赖关系。我们在MNIST、组织学、微生物和视网膜数据库上进行了几次实验，以表明SA-AbMILP的性能优于其他模型。此外，我们还研究了自注意力的核变化及其对结果的影响。
2021-03-05 cs.CV cs.LG stat.ML
Multi-Attention Multiple Instance Learning
Peter the Great St.Petersburg Polytechnic University（圣彼得堡彼得大帝理工大学）
提出了一种新的基于多注意力的多目标识别方法（MAMIL），该方法考虑了包中每个分析块的相邻块或实例。在该方法中，一个注意力模块考虑到相邻的补丁或实例，几个注意力模块被用来得到一个不同的特征表示补丁，和一个注意力模块被用来联合不同的特征表示，以提供一个准确的分类每个补丁（实例）和整个袋子。由于MAMIL，一个组合表示的补丁和他们的邻居在一个小的维度嵌入的形式实现了简单的分类。此外，不同类型的补丁被有效地处理，并通过使用几个注意力模块实现了一个包中的补丁的多样性特征表示。提出了一种简单的方法来解释补丁的分类预测。不同数据集的数值实验说明了所提出的方法。
2021-12-11 cs.LG
Multiple Instance Neural Networks Based on Sparse Attention for Cancer Detection using T-cell Receptor Sequences
Kyung Hee University（庆熙大学）；University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）；Southern Methodist University（南卫理公会大学）；Sungshin Women’s University（诚信女子大学）
癌症的早期检测由于其在生物医学领域中的至关重要性而被大量探索。在用于回答这一生物学问题的不同类型的数据中，基于T细胞受体（TCR）的研究最近受到关注，这是由于宿主免疫系统在肿瘤生物学中的作用越来越受到重视。然而，患者和多个TCR序列之间的一对多对应关系阻碍了研究人员简单地采用经典的统计/机器学习方法。最近有人尝试在多实例学习（MIL）的背景下对这种类型的数据进行建模。尽管MIL在使用TCR序列的癌症检测中有了新的应用，并且在几种肿瘤类型中表现出足够的性能，但仍有改进的空间，特别是对于某些癌症类型。此外，可解释的神经网络模型没有充分研究这种应用。在这篇文章中，我们提出了基于稀疏注意的多实例神经网络（MINN-SA），以提高癌症检测和解释能力的性能。稀疏注意结构丢弃了每个包中的无信息实例，与跳过连接相结合，实现了可解释性和更好的预测性能。我们的实验表明，与现有的MIL方法相比，MINN-SA在10种不同类型的癌症中平均测量的ROC曲线下面积（AUC）得分最高。此外，我们从估计的关注度中观察到，MINN-SA可以在相同的T细胞库中识别对肿瘤抗原具有特异性的TCR。
2022-08-09 cs.LG stat.ML
Deep Multi-Instance Transfer Learning
University of California, Irvine（加州大学欧文分校）；University of Oxford（牛津大学）；Google DeepMind（谷歌DeepMind）；Canadian Institute for Advanced Research (CIFAR)（加拿大高等研究院（CIFAR））
我们提出了一种新的方法来转移知识从群体到个人，包括他们。我们在文本中评估我们的方法，通过使用全面审查评级来推断单个句子的评级。这种方法结合了迁移学习、深度学习和多示例学习的思想，当组级别有大量标签可用时，减少了对细粒度数据的人工标记的需要。
2014-12-10 cs.LG stat.ML
GAIS: A Novel Approach to Instance Selection with Graph Attention Networks
College of Information Technology, United Arab Emirates University（阿联酋大学信息技术学院）；KU Leuven（鲁汶大学）；College of Science, United Arab Emirates University（阿联酋大学理学院）
本文提出 GAIS 方法，利用图注意力网络建模实例间复杂关系，通过分块处理、随机掩码和置信度选择实例，在 13 个数据集上平均缩减 96% 数据的同时保持或提升模型性能。
2024-12-26 cs.LG
Smooth Attention for Deep Multiple Instance Learning: Application to CT Intracranial Hemorrhage Detection
Northwestern University（西北大学）；University of Granada（格拉纳达大学）；Research Centre for Information and Communication Technologies (CITIC-UGR)（信息与通信技术研究中心（CITIC-UGR））
针对传统多示例学习未考虑医学影像示例空间/序列关联的问题，提出引入注意力隐函数一二阶约束的SA-DMIL模型，在颅内出血CT检测任务的包、实例层面均优于现有方法。
2023-07-18 cs.LG eess.IV
Attention-based Multi-instance Neural Network for Medical Diagnosis from Incomplete and Low Quality Data
The University of Sydney（悉尼大学）；Renmin University of China（中国人民大学）；Beijing Medicinovo Technology Co.,Ltd.（北京美迪诺沃科技有限公司）
从临床记录中提取模式的一种方法是将每个患者记录视为具有各种数量的症状形式的实例的袋子。医学诊断就是先发现信息量，然后将其映射到一种或多种疾病。在许多情况下，患者被表示为某些特征空间中的向量，并且分类器被应用于生成诊断结果。然而，在许多现实世界的情况下，数据往往是低质量的，由于各种原因，如数据的一致性，完整性，完整性，准确性等，在本文中，我们提出了一种新的方法，基于注意力的多实例神经网络（AMI-Net），使单疾病分类仅基于现有的和有效的信息在现实世界的门诊记录。在患者的上下文中，它将一个包的实例作为输入，并以端到端的方式直接输出包标签。首先采用嵌入层，将实例映射到代表个体病情的嵌入空间。通过多头注意力Transformer、实例级多实例池和袋级多实例池来获取实例之间的相关性及其对最终分类的重要性。该方法在两个非标准化和高度不平衡的数据集上进行了测试，一个在传统中医药（TCM）领域，另一个在西医（WM）领域。我们的初步结果表明，所提出的方法优于所有基线结果的显着保证金。
2019-04-09 cs.CL cs.LG
Multiple Instance Verification
Department of Computer Science University of Waikato（计算机科学系 威基托大学）
针对多实例验证问题，提出交叉注意力池化（CAP）框架及两种新注意力函数，有效结合查询实例表示目标包，显著提升了验证准确率与关键实例识别能力。
2025-09-17 cs.LG
Deep Multiple Instance Feature Learning via Variational Autoencoder
Bosch Research and Technology Center（博世研究与技术中心）
我们描述了一种新的弱监督深度学习框架，该框架结合了判别模型和生成模型，以在多实例学习（MIL）环境中学习有意义的表示。MIL是一个弱监督学习问题，其中标签与实例组（称为包）而不是单个实例相关联。为了解决MIL问题中的正实例标签的不确定性所带来的根本挑战，我们使用了一个判别模型正则化的变分自编码器（VAE），以最大限度地提高潜在的所有实例和负实例的表示之间的差异。因此，变分自编码器的隐藏层学习有意义的表示。这种表示方法可以有效地用于MIL问题，与最先进的方法相比，在标准基准数据集上具有更好的性能。更重要的是，与大多数相关研究不同，所提出的框架可以很容易地扩展到大型数据集问题，如音频事件检测和分割任务所示。可视化也证实了潜在表征在区分积极和消极类方面的有效性。
2018-07-06 cs.AI cs.LG stat.ML
A Survey on Cell Nuclei Instance Segmentation and Classification: Leveraging Context and Attention
INESC TEC - Institute for Systems and Computer Engineering, Technology and Science（INESC TEC系统与计算机工程、技术与科学研究所）；University of Porto - Faculty of Engineering（波尔图大学工程学院）；IMP Diagnostics（IMP诊断公司）；Portuguese Oncology Institute of Porto (IPO Porto)（波尔图葡萄牙肿瘤研究所）；University of Porto (ICBAS-UP)（波尔图大学（ICBAS-UP））；FCTUC - Faculty of Science and Technology, University of Coimbra（科英布拉大学科学与技术学院（FCTUC））
本文综述了H&E染色图像中基于上下文与注意力的细胞核实例分割与分类方法，并通过扩展Mask-RCNN和HoVer-Net进行对比实验，指出将病理学家的领域知识转化为算法设计仍具挑战性。
2024-07-26 cs.CV cs.LG
Sparsifiner: Learning Sparse Instance-Dependent Attention for Efficient Vision Transformers
University of Toronto（多伦多大学）；Modiface, Inc.（Modiface公司）；University of Guelph（圭尔夫大学）；Vector Institute（向量研究所）
与卷积神经网络（CNN）相比，视觉Transformer（ViT）在性能方面表现出了竞争优势，尽管它们通常具有很高的计算成本。为此，以前的方法探索不同的注意模式，通过限制固定数量的空间附近的令牌，以加速ViT的多头自注意（MHSA）操作。然而，这种结构化的注意力模式限制了标记到标记的连接到它们的空间相关性，这忽略了从完整的注意力掩码中学习到的语义连接。在这项工作中，我们提出了一种新的方法来学习依赖于实例的注意模式，通过设计一个轻量级的连接预测模块来估计每对令牌的连接得分。直觉上，如果特征被认为在空间上或语义上相关，则两个标记具有高连接性分数。由于每个令牌只涉及少量其他令牌，因此二值化连接掩码通常本质上非常稀疏，因此提供了通过稀疏计算加速网络的机会。配备了学习的非结构化注意力模式，稀疏注意力ViT（Sparsifiner）与令牌稀疏性相比，在FLOP和ImageNet上的top-1准确性之间产生了卓越的Pareto最优权衡。我们的方法减少了48%到69%的MHSA的FLOPs，而准确度下降在0.4%以内。我们还表明，将注意力和令牌稀疏性相结合，可以将ViT FLOPs降低60%以上。
2023-03-24 cs.AI cs.CV cs.LG
A Deep Reinforcement Learning Algorithm Using Dynamic Attention Model for Vehicle Routing Problems
Department of Computer Science, Sun Yat-sen University（中山大学计算机科学系）；Sun Yat-sen University（中山大学）
最近的研究表明，机器学习有可能学习到比人类设计的算法更好的算法来解决组合优化问题。深度神经网络用于表征输入实例以增量地构造可行解。最近，一个注意力模型被提出来解决路由问题。在此模型中，实例的状态由随时间固定的节点特征表示。然而，实际情况是，模型在不同的构造步骤所做的决策会改变实例的状态，节点特征也会相应地更新。因此，本文提出了一种具有动态编码器-解码器结构的动态注意力模型，使模型能够在不同的构造步骤中动态地探索节点特征，有效地挖掘隐藏的结构信息。本文研究了一个具有挑战性的NP-难问题--车辆路径问题。实验表明，该模型的性能优于以往的方法，也表现出良好的泛化性能。
2020-02-09 cs.AI cs.LG stat.ML
Phase Retrieval using Single-Instance Deep Generative Prior
University of Minnesota, Twin Cities（明尼苏达大学双城分校）；University of Oxford（牛津大学）
存在几种用于相位恢复的深度学习方法，但它们中的大多数在没有精确支持信息的情况下对真实数据失败。我们提出了一种基于单实例深度生成先验的新方法，该方法适用于复值晶体数据。
2021-06-22 cs.LG eess.IV
Local Attention Graph-based Transformer for Multi-target Genetic Alteration Prediction
Technical University Munich（慕尼黑工业大学）；Helmholtz AI（亥姆霍兹人工智能平台）；Institute of Pathology Munich-North（慕尼黑北部病理研究所）
经典的多实例学习方法往往基于实例间相同、独立的分布假设，从而忽略了个体实体之外潜在的丰富上下文信息。另一方面，Transformers的全局自注意模块已被提出来模拟所有的实例之间的相互依赖性。然而，在本文中，我们的问题：是全球关系建模使用自我关注的必要性，或者我们可以适当地限制自我关注的计算本地制度在大规模的整体幻灯片图像（WSIs）？我们提出了一个通用的局部注意力图为基础的Transformer MIL（LA-MIL），引入了感性的偏见，明确上下文的情况下，在自适应本地政权的任意大小。此外，一个有效的适应损失函数，使我们的方法学习表达WSI嵌入的联合分析的多个生物标志物。我们证明了LA-MIL在胃肠癌突变预测方面取得了最先进的结果，在重要生物标志物（如结直肠癌微卫星不稳定性）方面优于现有模型。我们的研究结果表明，当地的自我注意力充分模型的依赖性与全球模块。我们的LA-MIL实现可在https://github.com/agentdr1/LA_MIL上获得。
2022-06-17 cs.CV cs.LG
ADMIL: Attention-Distilled Multiple Instance Learning for Selective Foundation Model Inference in Pathology
ADMIL是将ABMIL教师注意力蒸馏为轻量级图块选择模型PriorNet的选择性计算框架，在多个病理数据集上可移除>98%的基础模型图块编码且不损失切片级性能，提升了部署效率。
2026-08-25 cs.AI cs.CV cs.LG
Breast Cancer Histopathology Image Classification and Localization using Multiple Instance Learning
Indian Institute of Technology Bombay（印度理工学院孟买分校）
乳腺癌在妇女癌症中死亡率最高。随着乳腺癌患者数量的增加，计算机辅助病理学分析显微组织病理学图像进行诊断可以降低诊断的成本和延迟。在过去的十年中，组织病理学中的深度学习在分类和定位任务中实现了最先进的性能，引起了人们的关注。卷积神经网络是一种深度学习框架，在组织图像分析中提供了显著的结果，但缺乏对决策背后的解释和推理。我们的目标是提供一个更好的解释分类结果，通过提供显微组织病理学图像上的定位。我们将图像分类问题框架为弱监督多实例学习问题，其中图像是补丁的集合，即实例。基于注意力的多实例学习（A-MIL）从图像中学习对补丁的注意力，以定位图像中的恶性和正常区域，并使用它们对图像进行分类。我们目前的分类和本地化结果两个公开可用的BreakHIS和BACH数据集。的分类和可视化结果与其他最近的技术进行了比较。该方法在不影响分类精度的情况下，实现了更好的定位结果。
2020-02-16 cs.CV cs.LG stat.ML
Deep Multi-instance Networks with Sparse Label Assignment for Whole Mammogram Classification
University of California, Irvine（加州大学欧文分校）
乳腺X线照片分类与乳腺癌的计算机辅助诊断直接相关。传统的方法需要花费大量的精力来标注训练数据，并需要专门的计算模型在测试过程中检测这些标注。受使用深度卷积特征进行自然图像分析和多实例学习标记一组实例/补丁的成功启发，我们提出了基于整个乳房X光片的端到端训练的深度多实例网络，用于质量分类，而无需上述昂贵的训练数据注释。我们探索了三种不同的方案来构建用于整个乳房X线照片分类的深度多实例网络。在INbreast数据集上的实验结果表明，与之前在训练中使用分割和检测注释的工作相比，所提出的深度网络具有鲁棒性。
2016-12-18 cs.CV cs.LG
Deep Multiple Instance Learning with Distance-Aware Self-Attention
University of St Andrews（圣安德鲁斯大学）；University of Cambridge（剑桥大学）
提出了一种新型MIL模型DAS-MIL，通过在自注意力机制中引入连续的距离相关项来显式建模图像块间的相对空间关系，在自定义MNIST和CAMELYON16数据集上均优于现有方法。
2023-05-20 cs.CV cs.LG
mil-benchmarks: Standardized Evaluation of Deep Multiple-Instance Learning Techniques
Department of Computer Science and Engineering（计算机科学与工程系）；Wright State University（莱特州立大学）
多实例学习是弱监督学习的一个子集，其中标签被应用于实例集而不是实例本身。在标准假设下，一个集合是正的，只有在集合中至少有一个实例是正的。本文介绍了一系列由MNIST、Fashion-MNIST和CIFAR 10生成的多示例学习基准。这些基准测试测试标准、存在、不存在和复杂的假设，并为将来要分发的基准测试提供框架。我实现并评估了几个多实例学习技术对基准。此外，我用标签噪声评估了Noisy-And方法，并发现了不同数据集的混合结果。这些模型在TensorFlow 2.4.1中实现，并在GitHub上提供。这些基准可以从PyPi作为mil-benchmarks和GitHub上获得。
2021-05-04 cs.LG
Deep Multi-instance Networks with Sparse Label Assignment for Whole Mammogram Classification
University of California, Irvine（加州大学尔湾分校）
乳腺X线照片分类与乳腺癌的计算机辅助诊断直接相关。传统的方法依赖于感兴趣区域（ROI），这需要很大的努力来注释。受使用深度卷积特征进行自然图像分析和多实例学习（MIL）标记一组实例/补丁的成功启发，我们提出了端到端训练的深度多实例网络，用于基于整个乳房X光片的质量分类，而无需上述ROI。我们探索了三种不同的方案来构建用于整个乳房X线照片分类的深度多实例网络。在INbreast数据集上的实验结果表明，与以前使用分割和检测注释的工作相比，所提出的网络具有鲁棒性。
2017-05-23 cs.CV cs.LG cs.NE
Injecting Adrenaline into LLM Serving: Boosting Resource Utilization and Throughput via Attention Disaggregation
Sun Yat-sen University（中山大学）；Huawei Cloud（华为云）
针对LLM服务中预填充与解码分离导致的资源利用率低问题，提出Adrenaline注意力分解与卸载机制，将解码阶段注意力计算卸载至预填充实例，提升内存与计算利用率，实现最高1.68倍吞吐量提升。
2025-03-26 cs.DC cs.LG
RIBBON: Cost-Effective and QoS-Aware Deep Learning Model Inference using a Diverse Pool of Cloud Computing Instances
Northeastern University（东北大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
深度学习模型推理是许多业务和科学发现流程中的关键服务。本文介绍了RIBBON，一种新型的深度学习推理服务系统，它满足两个相互竞争的目标：服务质量（QoS）目标和成本效益。RIBBON背后的关键思想是智能地使用一组不同的云计算实例（异构实例）来满足QoS目标并最大限度地节省成本。RIBBON设计了一种贝叶斯优化驱动的策略，帮助用户在云计算平台上为其模型推理服务需求构建最佳的异构实例集-并且，RIBBON证明了其优于使用同构实例池的推理服务系统的现有方法。RIBBON为不同的学习模型节省了高达16%的推理服务成本，包括新兴的深度学习推荐系统模型和药物发现使能模型。
2022-07-28 cs.DC cs.LG
Multi-source Attention for Unsupervised Domain Adaptation
University of Liverpool（利物浦大学）
领域自适应考虑将使用来自特定源域的数据学习的模型推广到不同目标域的问题。通常很难找到一个合适的单一来源来适应，必须考虑多个来源。使用不相关的源可能会导致次优性能，称为\emph{negative transfer}。然而，在多源无监督领域自适应（UDA）中，选择合适的源来分类给定的目标实例是具有挑战性的。我们将源选择建模为注意力学习问题，其中我们针对给定的目标实例学习源的注意力。为此，我们首先独立地学习特定于源的分类模型，以及使用伪标记的目标域实例的源和目标域之间的相关性映射。接下来，我们学习源上的注意力权重，以聚合特定于源的模型的预测。在跨领域情感分类基准上的实验结果表明，该方法在多源UDA中的性能优于现有的建议。
2020-04-17 cs.CL cs.LG
DBC-Forest: Deep forest with binning confidence screening
School of Artificial Intelligence, Hebei University of Technology（河北工业大学人工智能学院）；Hebei Key Laboratory of Big Data Computing（河北省大数据计算重点实验室）；School of Economics and Management, Hebei University of Technology（河北工业大学经济管理学院）；State Key Laboratory of Reliability and Intelligence of Electrical Equipment, Hebei University of Technology（河北工业大学省部共建电工装备可靠性与智能化国家重点实验室）；Alibaba Group（阿里巴巴集团）
作为一种深度学习模型，深度置信度筛选森林（gcForestcs）在各种应用中取得了巨大的成功。与传统的深度森林方法相比，gcForestcs通过将高置信度区域中的一些实例直接传递到最终阶段，有效地降低了高时间成本。然而，在高置信度区域中存在一组精度较低的实例，称为误划分实例。为了发现这些错误划分的实例，本文提出了一种深度分箱置信度筛选森林（DBC-Forest）模型，该模型根据置信度将所有实例打包到bin中。通过这种方式，可以将更准确的实例传递到最后阶段，并提高性能。实验结果表明，DBC-Forest对相同的超参数实现了高度准确的预测，并且比其他类似模型更快地达到相同的精度。
2021-12-25 cs.LG
Beyond attention: deriving biologically interpretable insights from weakly-supervised multiple-instance learning models
University of Oxford（牛津大学）
本文提出一种训练后分析方法，结合预测-注意力加权图与细胞核分割掩码，提升多示例学习在数字病理学中的生物学可解释性，并发现预测前列腺癌不良预后的区域与非癌细胞相关。
2023-09-07 cs.LG q-bio.QM
Solving Hard AI Planning Instances Using Curriculum-Driven Deep Reinforcement Learning
Cornell University（康奈尔大学）
尽管人工智能规划取得了重大进展，但某些领域仍然超出了当前人工智能规划系统的范围。Sokoban是一个PSPACE完整的规划任务，代表了当前AI规划者最难的领域之一。由于硬实例上的指数搜索复杂性，即使是特定于领域的专门搜索方法也会很快失败。我们的方法基于深度强化学习，并采用了一种基于知识驱动的方法，这是第一个在一天的训练时间内解决困难实例的方法，而其他现代求解器无法在任何合理的时间限制内解决这些实例。与以前的努力，使用精心手工修剪技术，我们的方法自动发现域结构。我们的研究结果表明，深度强化学习为解决以前未解决的人工智能规划问题提供了一个有前途的框架，前提是可以设计适当的培训课程。
2020-06-04 cs.AI cs.LG
Eye tracking guided deep multiple instance learning with dual cross-attention for fundus disease detection
Southern University of Science and Technology（南方科技大学）；Wenzhou Medical University（温州医科大学）；Peking University（北京大学）
提出融合眼科医生眼动注视先验的HITL CAD系统，基于DCAMIL并结合序列增强与域对抗模块，提升AMD和早期DR检测性能。
2023-04-25 cs.CV cs.LG eess.IV
Vec2Instance: Parameterization for Deep Instance Segmentation
Asian Institute of Technology（亚洲理工学院）
目前深度学习的进展正在使计算机视觉任务（如对象分类、定位、语义分割和实例分割）达到人类水平的准确性。在本文中，我们描述了一种新的深度卷积神经网络架构，称为Vec2Instance，用于实例分割。Vec2Instance为实例的参数化提供了一个框架，允许卷积神经网络有效地估计实例在其质心周围的复杂形状。我们证明了所提出的架构的可行性，卫星图像上的实例分割任务，有广泛的应用。此外，我们证明了新方法的实用性，从卫星图像中提取建筑物的足迹。我们的方法的总像素精度为89%，接近最先进的Mask RCNN的精度（91%）。Vec2Instance是复杂实例分割管道的另一种方法，提供了简单性和直观性。根据本研究开发的代码可在Vec2Instance GitHub存储库中获得，https://github.com/lakmalnd/Vec2Instance
2020-10-06 cs.CV cs.LG eess.IV
Masked-attention Mask Transformer for Universal Image Segmentation
Facebook AI Research (FAIR)（脸书人工智能研究院）；University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）
图像分割是关于将具有不同语义的像素分组，例如，类别或实例成员资格，其中每个语义选择定义一个任务。虽然每个任务的语义不同，但目前的研究重点是为每个任务设计专门的架构。我们提出了掩蔽注意掩模Transformer（Mask2Former），一个新的架构能够解决任何图像分割任务（全景，实例或语义）。它的关键组成部分包括掩蔽注意力，它通过将交叉注意力约束在预测的掩蔽区域内来提取局部特征。除了将研究工作量减少至少三倍之外，它在四个流行的数据集上的表现明显优于最好的专业架构。最值得注意的是，Mask2Former为全景分割（COCO上为57.8 PQ）、实例分割（COCO上为50.1 AP）和语义分割（ADE 20 K上为57.7 mIoU）设定了最新的技术水平。
2022-06-15 cs.AI cs.CV cs.LG
Learning Instance-wise Sparsity for Accelerating Deep Models
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Sydney（悉尼大学）
探索高效率和低内存使用的深度卷积神经网络对于各种各样的机器学习任务非常重要。大多数现有的方法用于通过操纵参数或过滤器来加速深度模型，而无需数据，例如，修剪和分解。相比之下，我们从不同的角度研究这个问题，尊重数据之间的差异。通过识别不同实例的信息特征，开发了一种实例特征修剪。具体来说，通过研究特征衰减正则化，我们期望深度神经网络中每个实例的中间特征图是稀疏的，同时保持整体网络性能。在在线推理过程中，可以消除由经过良好训练的神经网络的中间层提取的输入图像的细微特征，以加速后续计算。我们进一步采取变异系数作为一种措施，以选择适合加速的层。在基准数据集和网络上进行的大量实验证明了该方法的有效性。
2019-07-27 cs.CV cs.LG
Detecting Heart Disease from Multi-View Ultrasound Images via Supervised Attention Multiple Instance Learning
Tufts University（塔夫茨大学）；Tufts Medical Center（塔夫茨医学中心）
针对主动脉瓣狭窄超声筛查，本文提出监督注意力与研究级对比预训练的端到端MIL方法，在内外数据集上以更小模型获得更高准确率。
2024-04-05 cs.AI cs.CV cs.LG
Graph Attention Neural Network for Botnet Detection: Evaluating Autoencoder, VAE and PCA-Based Dimension Reduction
School of Systems and Computing, University of New South Wales（新南威尔士大学系统与计算学院）
本文提出先降维再构图的方法，评估VAE、AE和PCA三种降维技术对图注意力网络（GAT）在物联网僵尸网络检测中的影响，以缓解大型图结构的计算开销。
2025-05-23 cs.CV cs.LG
Multiple Instance Neuroimage Transformer
Stanford University（斯坦福大学）；University of California Santa Cruz（加州大学圣克鲁兹分校）
首次提出基于多实例学习的无卷积transformer模型MINiT，用于T1w MRIs分类，通过将3D块视为实例并计算多头自注意力，在ABCD和NCANDA数据集上成功识别性别并提取大脑形态差异的注意力图。
2022-08-19 cs.CV cs.LG
Transportation mode recognition based on low-rate acceleration and location signals with an attention-based multiple-instance learning network
Aristotle University of Thessaloniki（亚里士多德大学塞萨洛尼基分校）；Karolinska Institutet（卡罗林斯卡学院）
本文针对交通方式识别任务，提出一种基于注意力的多示例学习网络，通过双子网络处理低采样率的加速度与位置信号并嵌入同一空间，实现了低功耗且鲁棒的分类。
2024-04-05 cs.LG eess.SP
Deep Multiple Instance Learning For Forecasting Stock Trends Using Financial News
The University of Hong Kong（香港大学）
一个主要的信息来源可以从金融新闻文章，其中有一些关于股票趋势波动的相关性。本文从多实例的角度研究了财经新闻对股票走势的影响。这背后的直觉是基于新闻发生的时间间隔不同的新闻不确定性，以及每一条金融新闻都缺乏注释。在多实例学习（Multiple Instance Learning，MIL）的场景下，训练实例被安排在数据包中，标签被分配给整个数据包，而不是实例，我们开发了一个灵活的和自适应的多实例学习模型，并评估其在金融新闻数据集上对标准普尔500指数方向性运动预测的能力。具体来说，我们将每个交易日视为一个袋子，每个交易日发生的一定数量的新闻作为每个袋子中的实例。实验结果表明，我们提出的基于多实例的框架获得了优异的结果，在趋势预测的准确性，与其他国家的最先进的方法和基线。
2022-06-29 cs.LG q-fin.CP
Probabilistic Attention based on Gaussian Processes for Deep Multiple Instance Learning
University of Granada（格拉纳达大学）
多实例学习（MIL）是一种弱监督学习范式，由于它比完全监督方法需要更少的标记工作，因此变得越来越流行。这对于创建大型注释数据集仍然具有挑战性的领域尤其有趣，例如医学领域。尽管最近的深度学习MIL方法已经获得了最先进的结果，但它们是完全确定性的，并且不提供预测的不确定性估计。在这项工作中，我们引入了注意力高斯过程（AGP）模型，这是一种基于高斯过程的新型概率注意力机制。AGP提供了准确的袋级预测以及实例级可解释性，并且可以端到端地进行训练。此外，它的概率性质保证了对小数据集上的过拟合和预测的不确定性估计的鲁棒性。后者在医疗应用中尤为重要，因为决策对患者的健康有直接影响。所提出的模型进行了实验验证如下。首先，它的行为说明在两个合成MIL实验的基础上著名的MNIST和CIFAR-10数据集，分别。然后，在三个不同的现实世界癌症检测实验中进行评估。AGP优于最先进的MIL方法，包括确定性深度学习方法。它甚至在小于100个标签的小数据集上也表现出强大的性能，并且在外部测试集上比竞争方法更好地推广。此外，我们的实验表明，预测的不确定性与错误预测的风险相关，因此它是一个很好的指标，在实践中的可靠性。我们的代码是公开的。
2023-02-08 cs.AI cs.LG
A multi-instance deep neural network classifier: application to Higgs boson CP measurement
Jagiellonian University（雅盖隆大学）；Eötvös Loránd University（厄特沃什·罗兰大学）
本文研究了一种用于测量$H\rightarrowττ$衰变中希格斯玻色子CP态的分类器的性质。这个问题被构造成应用于单个实例的二元分类器。然后利用实例属于同一类的先验知识定义多实例分类器。它的最终得分计算为给定一系列实例的单个实例得分的乘积。在本文中，我们讨论了这样的分类器的属性，特别是它的依赖于该系列中的实例数。该分类器表现出非常强的随机依赖于用于训练的时期的数量，需要仔细调整的分类阈值。我们推导出这个最佳阈值的公式。
2018-09-06 cs.LG cs.NE hep-ex
Weakly Supervised Learning of Instance Segmentation with Inter-pixel Relations
DGIST（大邱庆北科学技术院）；Kakao Corp.（Kakao公司）；POSTECH（浦项科技大学）
本文提出了一种新的方法来学习实例分割与图像级的类标签作为监督。我们的方法生成训练图像的伪实例分割标签，用于训练完全监督模型。为了生成伪标签，我们首先从图像分类模型的注意力图中识别对象类的置信种子区域，并传播它们以发现具有准确边界的整个实例区域。为此，我们提出了IRNet，它估计单个实例的粗略区域，并检测不同对象类之间的边界。因此，它能够为种子分配实例标签，并在边界内传播它们，从而可以准确地估计实例的整个区域。此外，IRNet是用注意力图上的像素间关系训练的，因此不需要额外的监督。我们使用IRNet的方法在PASCAL VOC 2012数据集上实现了出色的性能，不仅超过了以前使用相同监督水平训练的最先进的模型，而且超过了以前依赖于更强监督的一些模型。
2019-05-10 cs.CV cs.LG
BaseTransformers: Attention over base data-points for One Shot Learning
Dublin City University（都柏林城市大学）
Few Shot分类旨在学习仅使用每个类别的有限样本来识别新类别。大多数当前的Few Shot方法使用富含标记示例的基础数据集来训练编码器，该编码器用于获得新颖类的支持实例的表示。由于测试实例来自与基本分布不同的分布，因此它们的特征表示质量较差，从而降低了性能。在本文中，我们建议利用最接近每个支持实例的基础数据集的经过良好训练的特征表示来改进其在元测试期间的表示。为此，我们提出了BaseTransformers，它关注基本数据集特征空间的最相关区域，并改进了支持实例表示。在三个基准数据集上的实验表明，我们的方法对几个主干都有很好的效果，并且在归纳一次设置中达到了最先进的结果。代码可在github.com/mayug/BaseTransformers上获得
2022-10-05 cs.AI cs.CV cs.LG
