Classifying Process Instances Using Recurrent Neural Networks
Aalto University（阿尔托大学）；QPR Software Plc（QPR软件公司）；HIIT Helsinki Institute for Information Technology（赫尔辛基信息技术研究所）
流程挖掘包括将操作系统创建的日志转换为流程模型的技术。在流程挖掘工具中，通常期望能够对正在进行的流程实例进行分类，例如，预测该过程还需要多长时间才能完成，或者仅基于到目前为止在该过程实例中发生的活动将过程实例分类到不同的类。循环神经网络及其子类，如门控循环单元（GRU）和长短期记忆（LSTM），已被证明能够学习相关的时间特征，用于后续的分类任务。在本文中，我们采用循环神经网络分类过程实例。所提出的模型是训练在监督的方式使用标记的过程实例提取的事件日志跟踪。这是我们第一次知道GRU被用于对业务流程实例进行分类。我们的主要实验结果表明，GRU在训练时间上明显优于LSTM，同时给出了与LSTM模型几乎相同的精度。我们论文的其他贡献是通过过滤不频繁的活动来改善分类模型的训练时间，这是一种常用的技术，例如，自然语言处理（NLP）。
2018-09-16 cs.LG stat.ML
AMI-Net+: A Novel Multi-Instance Neural Network for Medical Diagnosis from Incomplete and Imbalanced Data
The University of Sydney（悉尼大学）；Medicinovo Inc.（Medicinovo公司）
在医学真实世界研究中，如何充分利用模型训练中的零碎和稀缺信息，生成可靠的诊断结果是一个具有挑战性的课题。在这项工作中，我们引入了一种新的多实例神经网络，AMI-Net+，训练和预测的不完整和极不平衡的数据。它比最先进的方法AMI-Net更有效。首先，我们还实现了嵌入，多头注意力和基于注意力的门控多实例池来捕获症状本身以及与给定疾病的关系。此外，本文还对AMI-Net进行了各种改进，用焦点损失代替交叉熵损失，并提出了一种新的自适应多实例池方法来获得包表示。我们验证了AMI-Net+在两个不同医学领域的两个真实数据集上的性能。结果表明，我们的方法优于其他基线模型的相当大的保证金。
2019-07-03 cs.LG stat.ML
Address Instance-level Label Prediction in Multiple Instance Learning
Fudan University（复旦大学）
\textit{Multiple Instance Learning}（MIL）关注的是从大量实例中学习，其中只给出了包标签，而实例标签是未知的。在这个领域中的有效方法主要是设计用于袋级标签预测（预测袋的标签），而不是实例级（预测实例的标签），任务丢失仅定义在袋级。这限制了它们在许多任务中的应用，在这些任务中，实例级标签更感兴趣。在本文中，我们提出了一种新的算法，其损失是专门定义在实例级，以解决实例级的标签预测在MIL。我们证明了该算法的损失可以无偏和一致的估计，而不使用实例标签，独立同分布假设。实验结果验证了上述结论，并表明，该算法可以实现优越的实例级和比较袋级的性能，相比国家的最先进的MIL方法。此外，它表明，所提出的方法可以实现类似的结果作为完全监督模型（训练与实例标签）的标签预测在实例级别。
2019-05-29 cs.LG stat.ML
An embarrassingly simple approach to neural multiple instance classification
Pakistan Institute of Engineering and Applied Sciences (PIEAS)（巴基斯坦工程与应用科学学院（PIEAS））
多实例学习（MIL）是一种弱监督学习范式，允许对机器学习问题进行建模，其中标签仅适用于称为袋子的示例组。一个阳性袋可能包含一个或多个阳性样本，但不知道袋中的哪些样本是阳性的。所有在否定袋中的例子都属于否定类。这类问题在计算机视觉、医学图像处理和生物信息学等领域经常出现。许多基于神经网络的解决方案已经在文献中提出的MIL，然而，几乎所有的人都依赖于引入专门的块和连接的架构。在本文中，我们提出了一种新的和有效的方法来多实例学习的神经网络。我们提出了一个简单的袋级排名损失函数，允许在任何神经架构中进行多实例分类，而不是对架构进行更改。我们已经证明了我们提出的方法的有效性流行的MIL基准数据集。此外，我们已经测试了我们的方法在卷积神经网络中的性能，该网络用于对来自著名的MNIST数据集的MIL问题进行建模。结果表明，尽管更简单，我们提出的计划是可比的或优于现有的方法在文献中的实际情况。所有实验的Python代码文件都可以在https://github.com/amina01/ESMIL上找到。
2019-05-06 cs.LG stat.ML
Multiple Instance Dictionary Learning using Functions of Multiple Instances
University of Missouri（密苏里大学）
提出了一种基于多实例函数的多实例字典学习方法（DL-FUMI），用于解决训练标签不准确的目标检测和两类分类问题。给定不准确的训练标签，DL-FUMI学习一组目标字典原子，这些原子描述了真阳性类的最独特和最具代表性的特征，以及一组非目标字典原子，这些原子解释了在阳性和阴性实例中发现的共享信息。实验结果表明，DL-FUMI发现的估计目标字典原子是更有代表性的原型，并确定更好的判别功能的真阳性类比现有的方法在文献中。DL-FUMI被证明有显着更好的性能在几个目标检测和分类问题相比，其他多实例学习（MIL）字典学习算法的各种MIL问题。
2016-08-03 cs.CV cs.LG stat.ML
Using Neural Network Formalism to Solve Multiple-Instance Problems
Cisco Systems（思科系统公司）；Czech Technical University（捷克技术大学）
现实世界中的许多对象很难用一个固定长度的数字向量来描述，而用一组向量来描述它们更自然。因此，多实例学习（MIL）技术在过去几年中不断获得重要性。MIL形式主义通过固定长度的特征向量（实例）的集合（袋）来表示每个对象（样本），其中关于对象的知识（例如，类标签）在包级别上可用，但不一定在实例级别上可用。自九十年代后期问题正式化以来，许多标准工具，包括监督分类器，已经适应了MIL设置。在这项工作中，我们提出了一个神经网络（NN）为基础的形式主义，直观地弥合了MIL问题的定义和现有的大量知识基础的标准模型和分类之间的差距。我们表明，建议的NN形式主义是有效的优化，通过修改后的反向传播算法，可以揭示袋内的未知模式。在一组14个公开可用的基准数据集上与来自现有技术的八种类型的分类器的比较证实了所提出的解决方案的优点和准确性。
2017-03-07 cs.LG stat.ML
Learning Maximally Predictive Prototypes in Multiple Instance Learning
Bogazici University（博阿齐奇大学）
在这项工作中，我们提出了一个简单的模型，提供置换不变的最大预测原型生成器从一个给定的数据集，这导致解释的解决方案和具体的见解的性质和解决方案的问题。我们的目标是在特征空间中找出原型，将实例集合（即袋子）映射到距离特征空间，同时学习多实例学习（MIL）的线性分类器。在经典MIL基准数据集上的实验表明，与现有方法相比，该框架是一个准确和高效的分类器。
2021-01-22 cs.LG stat.ML
Kernel Mean Embedding of Instance-wise Predictions in Multiple Instance Regression
Imperial College London（帝国理工学院）
在本文中，我们提出了一个扩展现有的算法（实例MIR），解决多实例回归（MIR）问题，也被称为分布回归。当数据是一组行李时，MIR设置出现，其中每个行李由对应于相同且唯一的实值标签的多个实例组成。MIR算法的目标是找到一个从一个看不见的包的实例到它的目标值的映射。instance-MIR算法单独处理所有实例，并将每个实例映射到一个标签。然后将最终的袋子标签作为该给定袋子的预测的平均值或中值。虽然它在概念上很简单，但采用单个统计数据来总结每个袋子中标签的分布是一个局限性。尽管存在这种性能瓶颈，实例MIR算法已被证明是有竞争力的，当与当前最先进的方法相比。我们通过计算每个袋子的预测标签分布的内核均值嵌入来解决上述问题，并从这些嵌入中学习袋子标签的回归量。我们在五个真实世界的数据集上测试了我们的算法（instance-kme-MIR），并在所有数据集上获得了比基线instance-MIR更好的结果，同时在其中两个数据集上获得了最先进的结果。
2019-08-18 cs.LG stat.ML
A Multiclass Multiple Instance Learning Method with Exact Likelihood
我们研究了一个多类多实例学习（MIL）问题，其中标签只表明类的任何实例是否存在于训练样本或示例中。无进一步信息，例如，利用每个类的实例数量、训练样本中所有实例的相对位置或顺序。这种弱监督学习问题可以通过最大化拟合给定观测的模型似然来精确解决，并可应用于图像理解的多目标检测和定位等任务。我们讨论了它的关系，经典的分类问题，传统的MIL，和连接主义的时间分类（CTC）。我们使用图像识别作为示例任务来开发我们的方法，尽管它适用于更高或更低维度的数据而无需太多修改。实验结果表明，我们的方法可用于学习所有卷积神经网络，以解决具有弱注释的真实世界多目标检测和定位任务，例如，从谷歌街景图像数据集转录房屋号码序列。
2019-03-13 cs.LG stat.ML
Dissimilarity-based Ensembles for Multiple Instance Learning
Delft University of Technology（代尔夫特理工大学）
在多实例学习中，对象是特征向量（实例）的集合（包），而不是单个特征向量。在本文中，我们解决的问题，这些袋子可以最好地代表。两种标准的方法是使用包和原型包之间或包和原型实例之间的（差异）相似性。第一种方法导致由训练袋的数量确定的相对低维的表示，而第二种方法导致由训练集中的实例的总数确定的相对高维的表示。本文提出了第三种中间方法，它将这两种方法联系起来，并结合了它们的优点。我们的分类器的灵感来自随机子空间集成，并认为子空间的相异度空间，定义的子集的实例，作为原型。我们提供了使用这样的合奏的指导方针，并展示了一系列多实例学习问题的最先进的性能。
2014-02-06 cs.LG stat.ML
Beef Cattle Instance Segmentation Using Fully Convolutional Neural Network
Dublin Institute of Technology（都柏林理工学院）；TEAGASC（爱尔兰农业与食品发展局）
我们提出了一个实例分割算法的训练和应用于肉牛在冬季育肥期间的CCTV记录。一个完全卷积的网络被转换成一个实例分割网络，该网络学习分别标记动物的每个实例。我们引入了一个概念上简单的框架，网络使用该框架为每个动物输出一个预测。这些结果是对冬季肥育肉牛行为分析的贡献，早期发现动物福利相关的问题。
2018-09-20 cs.CV cs.LG stat.ML
Sparse Network Inversion for Key Instance Detection in Multiple Instance Learning
POSTECH（浦项工科大学）；BARO AI
多实例学习（MIL）涉及为一袋实例预测单个标签，在袋级给出正面或负面标签，而无需在训练阶段访问每个实例的标签。由于正包包含正实例和负实例，因此当一组实例被归类为正包时，通常需要检测正实例（关键实例）。基于注意力的深度MIL模型是袋级分类和关键实例检测（KID）的最新进展。然而，如果正面袋中的正面和负面实例不能清楚区分，则基于注意力的深度MIL模型具有有限的KID性能，因为注意力分数偏向于少数正面实例。在本文中，我们提出了一种方法来改善基于注意力的深度MIL模型在KID的任务。其主要思想是使用神经网络反演，找出哪些实例对训练的MIL模型产生的袋级预测做出了贡献。此外，我们将稀疏性约束引入到神经网络反演中，从而得到稀疏网络反演，并采用近似梯度法求解。基于MNIST的图像MIL数据集和两个真实世界的组织病理学数据集上的数值实验验证了我们的方法的有效性，表明KID性能显着提高，同时保持袋级预测的性能。
2020-09-08 cs.LG stat.ML
Model-Based Multiple Instance Learning
虽然多实例（MI）数据是点模式-无序点的集合或多集合-但在MI学习中尚未使用适当的统计点模式模型。本文提出了一个基于模型的MI学习的框架，使用点过程理论。用于从点过程理论导出的点模式数据的似然函数使得能够将学习任务（诸如分类、新颖性检测和聚类）原则上但概念上透明地扩展到点模式数据。此外，易处理的点模式模型，以及解决方案的学习和决策的点模式数据。
2017-08-13 cs.LG stat.ML
Attention-based Deep Multiple Instance Learning
University of Amsterdam（阿姆斯特丹大学）
多实例学习（MIL）是监督学习的一种变体，其中单个类标签被分配给一组实例。在本文中，我们国家的MIL问题学习的Bernoulli分布的袋标签的袋标签的概率是完全参数化的神经网络。此外，我们提出了一个基于神经网络的置换不变聚合算子，对应于注意力机制。值得注意的是，所提出的基于注意力的运营商的应用程序提供洞察每个实例的袋标签的贡献。我们的经验表明，我们的方法在基准MIL数据集上实现了与最佳MIL方法相当的性能，并且在基于MNIST的MIL数据集和两个真实组织病理学数据集上优于其他方法，而不会牺牲可解释性。
2018-06-28 cs.LG stat.ML
A Novel Multiple Classifier Generation and Combination Framework Based on Fuzzy Clustering and Individualized Ensemble Construction
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
多分类器系统（MCS）已成为提高分类性能的一个成功的选择。然而，研究表明不同MCS的结果不一致，并且通常很难预测哪种MCS算法在特定问题上效果最好。我们认为，MCS的两个关键步骤-基于分类器的生成和多个分类器的组合，需要协调设计，以产生鲁棒的结果。在这项工作中，我们表明，对于不同的测试实例，更好的分类器可以从训练实例的不同子域，包括，例如，测试实例的相邻实例，甚至远离测试实例的实例进行训练。为了利用这种直觉，我们提出了个性化分类器Ensemination（ICE）。ICE将训练数据分组到重叠的集群中，为每个集群构建分类器，然后将每个训练实例与性能最好的模型相关联，同时考虑模型类型和频率。在测试中，ICE为测试实例找到k个最相似的训练实例，然后通过对与这些训练实例相关联的模型的预测进行平均来预测测试实例的类标签。对49个基准测试的评估结果表明，与现有的MCS方法相比，ICE在很大一部分数据集上有稳定的改进。ICE提供了一种新的选择，利用内部模式之间的实例，以提高分类，并可以很容易地与各种分类模型相结合，并应用于许多应用领域。
2019-07-31 cs.LG stat.ML
Multiple Instance Learning by Discriminative Training of Markov Networks
Simon Fraser University（西蒙菲莎大学）；University of British Columbia（不列颠哥伦比亚大学）
我们介绍了一个图形框架的多实例学习（MIL）的基础上马尔可夫网络。该框架可用于模拟传统的MIL定义以及更一般的MIL定义。在弱监督数据中，可以探索不同程度的模糊性（包中的阳性实例部分）。为了训练这些模型，我们提出了一个判别最大余量学习算法，利用有效的基数为基础的集团推理。所提出的框架的有效性进行评估的各种数据集。实验结果表明，编码或学习模糊度可以提高分类性能。
2013-09-26 cs.LG stat.ML
A bag-to-class divergence approach to multiple-instance learning
UiT The Arctic University of Norway（挪威北极大学）；NTNU（挪威科技大学）
在多实例（MI）学习中，每个对象（包）由多个特征向量（实例）组成，通常被视为多维空间中的一组点。一种不同的观点是，实例是具有相应概率分布的随机向量的实现，并且袋子是分布，而不是实现。在MI分类中，训练集中的每个袋子都有一个类别标签，但实例是未标记的。通过将概率分布空间引入袋级分类问题，可以应用概率分布之间的不相似性（分歧）。袋到袋Kullback-Leibler信息是渐近最好的分类器，但MI训练集的典型稀疏性是一个障碍。我们引入袋类分歧MI学习，强调层次性质的随机向量，使袋从同一类不同。我们提出了两个属性袋类分歧，稀疏训练集和一个额外的属性。
2018-10-12 cs.LG stat.ML
Attention-Based Multiple Instance Regression for Remote Sensing
European Space Agency（欧洲空间局）
针对遥感中多实例回归问题，提出不依赖核心实例假设的注意力机制方法，在5个真实数据集上3个优于现有最先进模型，添加特征矩可提升准确率但收益递减。
2026-11-03 cs.LG stat.ML
Multiple Instance Learning with Bag Dissimilarities
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
多实例学习（MIL）涉及从对象（实例）的集合（包）中学习，其中单个实例标签是模糊的。在这种情况下，监督学习不能直接应用。通常，专门的MIL方法通过对包标签和实例标签的关系进行额外的假设来学习。这些假设可能适合特定的数据集，但不能推广到整个MIL问题。其他MIL方法将假设的焦点从标签转移到袋子的整体（不）相似性，因此直接从袋子中学习。我们建议用一个向量来表示每个袋子与训练集中其他袋子的不同之处，并将这些不同之处视为一个特征表示。我们展示了几种替代方案来定义袋之间的差异，并讨论哪些定义更适合于特定的MIL问题。实验结果表明，该方法是计算成本低，但非常具有竞争力的国家的最先进的算法在广泛的MIL数据集。
2014-08-12 cs.LG stat.ML
Multiple-Instance Learning by Boosting Infinitely Many Shapelet-based Classifiers
Kyushu University（九州大学）；RIKEN（理化学研究所）；Keio University（庆应义塾大学）；The University of Tokyo（东京大学）
我们提出了一个新的多实例学习（MIL）的配方。在典型的MIL设置中，一个数据单元被给定为一组称为袋子的实例，目标是基于单个或多个“shapelet”（或模式）的相似性找到一个好的袋子分类器，其中袋子与shapelet的相似性是袋子中实例的最大相似性。基于单个shapelet的分类器对于某些应用来说不够强大。此外，以前的工作与多个shapestivally选择了一些实例作为shapestival没有理论保证其泛化能力。我们的配方提供了一个更丰富的类的最终分类器的基础上无限多的形状。我们提供了一个有效的算法，新的配方，除了推广界。我们的实证研究表明，我们的方法不仅是有效的MIL任务，而且Shapelet学习的时间序列分类。
2018-12-10 cs.LG stat.ML
pyLEMMINGS: Large Margin Multiple Instance Classification and Ranking for Bioinformatics Applications
Biomedical Informatics Research Laboratory (BIRL), Department of Computer and Information Sciences, Pakistan Institute of Engineering and Applied Sciences (PIEAS)（巴基斯坦工程与应用科学学院（PIEAS）计算机与信息科学系生物医学信息学研究实验室）；Machine Learning and Vision Laboratory, School of Electrical Engineering and Computer Science, Gwangju Institute of Science and Technology（光州科学技术院电气工程与计算机科学学院机器学习与视觉实验室）；Department of Computer Science, Colorado State University（科罗拉多州立大学计算机科学系）
动机：在计算生物学中开发基于机器学习的方法的主要挑战是，由于实验性地注释蛋白质和DNA序列的性质所需的时间和资源，数据可能无法被准确地标记。标准的监督学习算法假设训练数据的实例级标记是准确的。多实例学习是处理这种标签歧义的范例。然而，广泛使用的大间隔多实例学习分类方法本质上是启发式的，具有较高的计算要求。在本文中，我们提出了随机次梯度优化大边际算法的多实例分类和排名，并提供他们在一个软件套件称为pyLEMMINGS。结果：我们已经在一些生物信息学问题以及基准数据集上测试了pyLEMMINGS。pyLEMMINGS已经成功地鉴定了功能上重要的蛋白质片段：钙调蛋白结合蛋白的结合位点、朊病毒形成区域和淀粉样蛋白核心。pyLEMMINGS在所有这些任务中都实现了最先进的性能，证明了多实例学习的价值。此外，我们的方法已经显示出超过100倍的改进，在运行时间方面相比，启发式解决方案，提高了基准数据集的准确性。可用性和实现：pyLEMMINGS python包可在http://faculty.pieas.edu.pk/fayyaz/software.html#pylemmings下载。
2017-11-14 cs.LG stat.ML
Multiple Instance Neural Networks Based on Sparse Attention for Cancer Detection using T-cell Receptor Sequences
Kyung Hee University（庆熙大学）；University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）；Southern Methodist University（南卫理公会大学）；Sungshin Women’s University（诚信女子大学）
癌症的早期检测由于其在生物医学领域中的至关重要性而被大量探索。在用于回答这一生物学问题的不同类型的数据中，基于T细胞受体（TCR）的研究最近受到关注，这是由于宿主免疫系统在肿瘤生物学中的作用越来越受到重视。然而，患者和多个TCR序列之间的一对多对应关系阻碍了研究人员简单地采用经典的统计/机器学习方法。最近有人尝试在多实例学习（MIL）的背景下对这种类型的数据进行建模。尽管MIL在使用TCR序列的癌症检测中有了新的应用，并且在几种肿瘤类型中表现出足够的性能，但仍有改进的空间，特别是对于某些癌症类型。此外，可解释的神经网络模型没有充分研究这种应用。在这篇文章中，我们提出了基于稀疏注意的多实例神经网络（MINN-SA），以提高癌症检测和解释能力的性能。稀疏注意结构丢弃了每个包中的无信息实例，与跳过连接相结合，实现了可解释性和更好的预测性能。我们的实验表明，与现有的MIL方法相比，MINN-SA在10种不同类型的癌症中平均测量的ROC曲线下面积（AUC）得分最高。此外，我们从估计的关注度中观察到，MINN-SA可以在相同的T细胞库中识别对肿瘤抗原具有特异性的TCR。
2022-08-09 cs.LG stat.ML
Investigation of Initialization Strategies for the Multiple Instance Adaptive Cosine Estimator
University of Florida（佛罗里达大学）
利用电磁感应（EMI）来激发导电体中的响应的传感器长期以来一直被研究用于地下爆炸危险检测。特别地，EMI传感器已被用于区分不同类型的物体，并检测具有低金属含量的物体。一个成功的，以前研究的方法是多实例自适应余弦估计（MI-ACE）。在本文中，一些新的初始化技术MI-ACE提出并评估各自的性能和速度。交叉验证的学习签名以及学习的背景统计数据与自适应余弦估计（ACE）一起用于生成置信度图，置信度图被聚类到警报中。根据地面实况对警报进行评分，并比较初始化方法。
2019-04-30 cs.LG stat.ML
On Distributional Dependent Performance of Classical and Neural Routing Solvers
University of Hildesheim（海德堡大学）
本文提出从固定基础节点分布的子样本中学习，以缩小神经路由求解器与专业元启发式算法在路由问题上的性能差距。
2025-08-04 cs.LG
Generative Multiple-Instance Learning Models For Quantitative Electromyography
Mayo Clinic（梅奥诊所）；University of Waterloo（滑铁卢大学）
我们提出了一个全面的研究使用生成建模方法的多实例学习（MIL）问题。在MIL中，学习者接收的训练实例被分组到袋子中，袋子只带有标签（这对于所包含的实例可能是不正确的）。我们的工作的动机是促进神经肌肉疾病的诊断，使用套运动单位电位列车（MUPTs）的肌肉内检测，可以作为一个MIL的问题。我们的方法导致一个国家的最先进的解决方案的问题的肌肉分类。通过在一个通用框架中引入和分析MIL的生成模型，并研究各种模型结构和组件，我们的工作也可以作为MIL任务建模的方法指南。我们在MUPT数据集和MUSK1数据集上评估了我们提出的方法，MUSK1数据集是MIL最广泛使用的基准之一。
2013-09-26 cs.LG stat.ML
Learning Pretopological Spaces to Model Complex Propagation Phenomena: A Multiple Instance Learning Approach Based on a Logical Modeling
INSA Centre Val de Loire（中央卢瓦尔河谷高等工业学院）；LIFO EA 4022（LIFO（信息处理与优化实验室））
本文讨论了预拓扑理论形式主义中“传播”概念的学习问题。我们的建议是首先将伪闭包算子（模拟传播概念）定义为邻域的逻辑组合。我们表明，学习这样的操作失误到多实例（MI）的框架，其中的学习过程是在袋的实例，而不是个别的实例。虽然这个框架非常适合这项任务，但它用于学习预拓扑空间会导致一组大小呈指数级的袋子。为了克服这个问题，我们因此提出了一种学习方法的基础上，低估计的袋所涵盖的概念正在建设中。作为一个实验，渗流过程（森林火灾通常）进行了模拟和相应的传播模型学习的基础上的一个子集的观察。它表明，所提出的MI方法是更有效的传播模型识别的任务比现有的方法。
2018-05-03 cs.LG stat.ML
LioNets: Local Interpretation of Neural Networks through Penultimate Layer Decoding
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
灵巧家庭、自动驾驶汽车、医疗保健和机器人助手方面的技术突破，以及强化的法律法规，都对可解释机器学习的学术研究产生了重大影响。足够多的研究人员已经实现了对分类任务的任何黑箱模型进行无差别解释的方法。构建不可知邻接器的一个缺点是邻域生成过程是通用的，因此不能保证生成的邻域和实例之间的真正邻接。本文探讨了一种方法，提供解释神经网络的决定，在局部范围内，通过一个过程，积极考虑到神经网络的架构创建一个实例的邻居，确保相邻的生成的邻居和实例之间。
2019-08-08 cs.LG stat.ML
Multiple Instance Learning with the Optimal Sub-Pattern Assignment Metric
多实例数据是无序元素的集合或多集合。使用集的度量或距离，我们提出了一种方法，几个多实例学习任务，如聚类（无监督学习），分类（监督学习），和新颖性检测（半监督学习）。特别是，我们引入了最优子模式分配度量多实例学习，以提供通用的设计选择。模拟和真实数据的数值实验来说明所提出的解决方案的通用性。
2017-03-27 cs.LG
Symbolic Network: Generalized Neural Policies for Relational MDPs
Indian Institute of Technology Delhi（印度理工学院德里分校）
关系马尔可夫决策过程（Relational Markov Decision Process，RMDP）是一种一阶表示方法，用于表示单个概率规划域的所有实例，其中对象的数量可能是无限的。RMDPs的早期工作输出了广义（独立于实例）的一阶策略或价值函数，作为一种同时解决域的所有实例的方法。不幸的是，由于在这些策略或价值函数中使用的表示空间的固有限制，这类工作取得了有限的成功。神经模型是否可以通过轻松地表示更复杂的广义策略来提供缺失的环节，从而使它们对给定域的所有实例都有效？我们提出了SymNet，第一个神经方法来解决RMDPs的概率规划语言的RMDPs。SymNet使用来自域的训练实例为Rounds域训练一组共享参数。对于每个实例，SymNet首先将其转换为实例图，然后使用关系神经模型来计算节点嵌入。然后，它将每个地面动作作为一阶动作符号和与动作相关的节点嵌入的函数进行评分。给定来自同一域的新测试实例，具有预训练参数的SymNet架构会对每个地面动作进行评分并选择最佳动作。这可以在单个前向传递中完成，而无需对测试实例进行任何重新训练，从而隐式地表示整个域的神经广义策略。我们在IPPC的九个Rendezvous域上的实验表明，SymNet策略明显优于随机策略，有时甚至比从头开始训练最先进的深度反应策略更有效。
2020-06-29 cs.AI cs.LG stat.ML
Instance-Based Neural Dependency Parsing
NAIST（日本国立情报学研究所）；RIKEN（理化学研究所）；Tohoku University（东北大学）；Preferred Networks, Inc.（Preferred Networks公司）；Langsmith, Inc.（Langsmith公司）
在实际应用中，模型预测的可解释的原理是至关重要的。我们开发的神经模型，拥有一个可解释的推理过程的依存句法分析。我们的模型采用基于实例的推理，其中依赖性边缘被提取并通过将它们与训练集中的边缘进行比较来标记。训练边缘被明确地用于预测;因此，很容易掌握每个边缘对预测的贡献。我们的实验表明，我们的基于实例的模型实现了竞争力的准确性与标准的神经模型，并具有合理的基于实例的解释。
2021-09-28 cs.CL cs.LG
mil-benchmarks: Standardized Evaluation of Deep Multiple-Instance Learning Techniques
Department of Computer Science and Engineering（计算机科学与工程系）；Wright State University（莱特州立大学）
多实例学习是弱监督学习的一个子集，其中标签被应用于实例集而不是实例本身。在标准假设下，一个集合是正的，只有在集合中至少有一个实例是正的。本文介绍了一系列由MNIST、Fashion-MNIST和CIFAR 10生成的多示例学习基准。这些基准测试测试标准、存在、不存在和复杂的假设，并为将来要分发的基准测试提供框架。我实现并评估了几个多实例学习技术对基准。此外，我用标签噪声评估了Noisy-And方法，并发现了不同数据集的混合结果。这些模型在TensorFlow 2.4.1中实现，并在GitHub上提供。这些基准可以从PyPi作为mil-benchmarks和GitHub上获得。
2021-05-04 cs.LG
Two Instances of Interpretable Neural Network for Universal Approximations
Alibaba Inc（阿里巴巴公司）；Nanyang Technological University（南洋理工大学）
本文提出了两种自底向上的可解释的神经网络（NN）结构，即三角构造的NN（TNN）和半量化激活NN（SQANN）的通用近似。其他值得注意的特性是（1）对灾难性遗忘的抵抗力（2）存在任意高精度的证据（3）通过可解释的激活“指纹”识别分布外的样本的能力。
2022-05-09 cs.AI cs.LG
SurvBeNIM: The Beran-Based Neural Importance Model for Explaining the Survival Models
Higher School of Artificial Intelligence Technologies（高等人工智能技术学院）；Peter the Great St.Petersburg Polytechnic University（圣彼得堡彼得大帝理工大学）
提出 SurvBeNIM，通过将神经网络重要性函数嵌入 Beran 估计器核并端到端训练，以解释生存模型输出的生存或累积风险函数。
2023-12-11 cs.AI cs.LG stat.ML
Deep Multiple Instance Feature Learning via Variational Autoencoder
Bosch Research and Technology Center（博世研究与技术中心）
我们描述了一种新的弱监督深度学习框架，该框架结合了判别模型和生成模型，以在多实例学习（MIL）环境中学习有意义的表示。MIL是一个弱监督学习问题，其中标签与实例组（称为包）而不是单个实例相关联。为了解决MIL问题中的正实例标签的不确定性所带来的根本挑战，我们使用了一个判别模型正则化的变分自编码器（VAE），以最大限度地提高潜在的所有实例和负实例的表示之间的差异。因此，变分自编码器的隐藏层学习有意义的表示。这种表示方法可以有效地用于MIL问题，与最先进的方法相比，在标准基准数据集上具有更好的性能。更重要的是，与大多数相关研究不同，所提出的框架可以很容易地扩展到大型数据集问题，如音频事件检测和分割任务所示。可视化也证实了潜在表征在区分积极和消极类方面的有效性。
2018-07-06 cs.AI cs.LG stat.ML
Instance adaptive adversarial training: Improved accuracy tradeoffs in neural nets
Facebook AI Research（Facebook人工智能研究院）；University of Maryland（马里兰大学）；Georgia Institute of Technology（佐治亚理工学院）
对抗性训练是迄今为止提高神经网络对对抗攻击鲁棒性的最成功的策略。尽管对抗性训练作为一种防御机制是成功的，但它不能很好地推广到未受干扰的测试集。我们假设这种较差的泛化能力是对抗训练的结果，每个训练样本周围的扰动半径都是均匀的。接近决策边界的样本可以在小的扰动预算下变形为不同的类，并且在这些样本周围强制执行大的裕度产生概括性差的差的决策边界。基于这一假设，我们提出了实例自适应对抗训练--一种在每个训练样本周围强制执行样本特定扰动裕度的技术。我们表明，使用我们的方法，未扰动样本的测试精度提高了鲁棒性的边际下降。在CIFAR-10、CIFAR-100和Imagenet数据集上的实验证明了该方法的有效性。
2019-10-17 cs.CV cs.LG stat.ML
Monte-Carlo Sampling applied to Multiple Instance Learning for Histological Image Classification
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
提出了一种基于序贯蒙特卡罗方法的多实例学习背景下的高分辨率图像分类的块采样策略。与网格采样和均匀采样技术相比，它具有更高的泛化性能。我们在两个人工数据集和两个组织学数据集上验证了该策略，用于乳腺癌和阳光照射分类。
2018-12-30 cs.CV cs.LG stat.ML
Learning a Neural-network-based Representation for Open Set Recognition
School of Computing, Florida Institute of Technology（佛罗里达理工学院计算机学院）
开集识别问题存在于许多领域。例如，在安全方面，新的恶意软件类别经常出现;因此，恶意软件分类系统除了区分已知类别之外，还需要从未知类别中识别实例。在本文中，我们提出了一个神经网络为基础的表示解决开集识别问题。在这种表示中，来自同一类的实例彼此接近，而来自不同类的实例则相距较远，与来自两个不同领域的三个数据集上的其他方法相比，这在统计上有显著的改善。
2018-02-12 cs.CR cs.LG stat.ML
Multi-Target Multiple Instance Learning for Hyperspectral Target Detection
University of Florida（佛罗里达大学）
在遥感中，获取或收集准确标记的大型数据集通常具有挑战性。这种困难通常是由于几个问题，包括但不限于研究地点的空间面积和可访问性，全球定位系统（GPS）的错误，以及图像的空间分辨率造成的混合像素。我们提出了一种方法，有两个变化，估计多个目标签名的训练样本不精确的标签：多目标多实例自适应余弦估计（多目标MI-ACE）和多目标多实例光谱匹配滤波器（多目标MI-SMF）。所提出的方法通过直接考虑多实例、不精确标记的数据集来解决上述问题。他们学习目标特征的字典，使用自适应余弦估计（ACE）和光谱匹配滤波器（SMF）优化对背景的检测。实验进行了测试所提出的算法，使用模拟的高光谱数据集，MUUFL海湾港高光谱数据集收集的南密西西比大学海湾公园校区，和AVIRIS高光谱数据集收集的圣巴巴拉县，加利福尼亚州。仿真和实际高光谱目标检测实验表明，该算法在目标特征学习和目标检测方面是有效的。
2020-03-05 cs.LG eess.IV stat.ML
Statistical Testing for Multiple Instance Learning via Selective Inference with Applications to Computational Pathology
本文提出基于选择性推断的统计检验框架，用于评估注意力MIL中高注意力实例的显著性，在合成、MNIST及病理WSI数据上实现I型错误控制并提升统计功效。
2026-09-29 cs.CV cs.LG stat.ML
InstaNAS: Instance-aware Neural Architecture Search
National Tsing-Hua University（国立清华大学）；Google Research（谷歌研究院）
传统的神经架构搜索（NAS）旨在找到一个单一的架构，实现最佳的性能，这通常优化任务相关的学习目标，如准确性。然而，单一架构可能不足以代表具有高度多样性和多样性的整个数据集。直观地说，选择精通特定领域功能的领域专家架构可以进一步有利于与架构相关的目标，如延迟。在本文中，我们提出了InstaNAS--一个实例感知的NAS框架--它采用了一个控制器来搜索“架构分布”，而不是单个架构;这使得模型可以为困难的样本使用复杂的架构，这通常会带来与架构相关的成本，而对于那些简单的样本则使用浅架构。在推理阶段，控制器为每个看不见的输入样本分配一个领域专家架构，该架构可以以定制的推理成本实现高精度。在受MobileNetV2启发的搜索空间内进行的实验表明，InstaNAS可以在不影响MobileNetV2的一系列数据集准确性的情况下实现高达48.8%的延迟减少。
2019-05-23 cs.CV cs.LG stat.ML
MIS-Boost: Multiple Instance Selection Boosting
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们提出了一种新的多实例学习（MIL）方法，称为MIS-Boost，它通过在boosting框架中显式选择实例来学习判别实例原型。与以前的实例选择为基础的MIL方法，我们不限制原型的离散集的训练实例，但允许他们采取任意值的实例特征空间。我们也不限制原型的总数和每个包的选定实例的数量;这些数量完全是数据驱动的。我们证明了MIS-Boost在许多基准数据集上的性能优于最先进的MIL方法。我们还将MIS-Boost应用于大规模图像分类，在那里我们展示了自动选择的原型映射到视觉上有意义的图像区域。
2011-09-12 cs.CV cs.LG
A multi-instance deep neural network classifier: application to Higgs boson CP measurement
Jagiellonian University（雅盖隆大学）；Eötvös Loránd University（厄特沃什·罗兰大学）
本文研究了一种用于测量$H\rightarrowττ$衰变中希格斯玻色子CP态的分类器的性质。这个问题被构造成应用于单个实例的二元分类器。然后利用实例属于同一类的先验知识定义多实例分类器。它的最终得分计算为给定一系列实例的单个实例得分的乘积。在本文中，我们讨论了这样的分类器的属性，特别是它的依赖于该系列中的实例数。该分类器表现出非常强的随机依赖于用于训练的时期的数量，需要仔细调整的分类阈值。我们推导出这个最佳阈值的公式。
2018-09-06 cs.LG cs.NE hep-ex
Generalizable Implicit Neural Representations via Instance Pattern Composers
Kakao Brain；POSTECH（浦项科技大学）
本文提出一种可泛化隐式神经表示框架，通过仅调制 MLP 早期层少量权重作为实例模式组合器，并与元学习和超网络兼容，在音频、图像和 3D 物体等任务上取得高性能。
2023-04-17 cs.CV cs.LG
Nested Multiple Instance Learning with Attention Mechanisms
University of Stavanger（斯塔万格大学）
强监督学习需要在实例级别详细了解真值标签，在许多机器学习应用中，这是一个主要缺点。多实例学习是一种流行的弱监督学习方法，其中真值标签在实例级不可用，而仅在实例包级可用。然而，有时问题的性质需要更复杂的描述，其中不同级别的包中包的嵌套架构可以捕获底层关系，就像分组在一起的类似实例一样。预测实例或内袋的潜在标签可能与预测最终的袋中袋标签一样重要，但在简单的嵌套设置中会丢失。本文提出了一种将嵌套概念与注意力机制相结合的嵌套多实例注意模型体系结构。我们表明，NMIA在简单的场景中表现为传统的MIL，可以把握复杂的场景，在不同的层次上提供潜在标签的见解。
2022-02-17 cs.CV cs.LG
On the Complexity of One-class SVM for Multiple Instance Learning
Sci. \& Technol. on Inf. Syst. Eng. Lab., Nanjing 210000, China
在传统的多实例学习（MIL）中，学习预测函数需要正负两个包。然而，要知道每个袋子的标签-阳性或阴性，需要付出很高的人力成本。只有正面的袋子包含我们的焦点（正面实例），而负面的袋子包含噪音或背景（负面实例）。所以我们不期望花太多的钱去贴负面的标签。与我们的预期相反，几乎所有现有的MIL方法都需要足够的阴性袋。在本文中，我们提出了一种名为“正多实例”（PMI）的算法，该算法仅在给定一组正袋子的情况下学习分类器。因此，在我们的方法中，阴性袋的注释变得不必要。PMI的构造是基于这样的假设：正包中的未知正实例彼此相似，在特征空间中构成一个紧凑的簇，而负实例位于该簇之外。在基准数据集和真实数据集上的实验结果表明，PMI算法的性能接近或略差于传统的MIL算法。然而，在PMI的训练包的数量显着减少相比，传统的MIL算法。
2016-03-16 cs.LG
Active Learning in Incomplete Label Multiple Instance Multiple Label Learning
Oregon State University（俄勒冈州立大学）
在多实例多标签学习中，每个样本，一个袋子，由多个实例组成。为了减轻标记的复杂性，每个样本都与一组袋级标签相关联，使袋内的实例未标记。这种设置对于表示具有多个语义含义的复杂对象更方便和自然。与单实例标记相比，这种方法允许以相等的标记成本标记更大的数据集。然而，对于足够大的数据集，标记所有袋子可能变得过于昂贵。主动学习使用迭代标记和再训练方法，旨在使用少量标记样本提供合理的分类性能。据我们所知，只有少数作品在该地区的主动学习在MIML设置。这些方法可以提供实际的解决方案，以降低标签成本，但其有效性仍不清楚。在本文中，我们提出了一种新的袋类对为基础的主动学习方法在MIML设置。由于袋级标签的部分可用性，我们专注于所提出的主动学习方法的不完整标签MIML设置。我们的方法是基于一个有效率和准确的推理判别图形模型。对于查询过程中，我们适应主动学习标准的新袋类对选择策略。此外，我们引入了一个在线的随机梯度下降算法，以提供一个有效的模型更新后，每次查询。基准数据集上的数值实验表明了该方法的鲁棒性。
2021-07-26 cs.LG
Kernel Self-Attention in Deep Multiple Instance Learning
Faculty of Mathematics and Computer Science, Jagiellonian University（雅盖隆大学数学与计算机科学学院）；Ardigen SA（Ardigen SA公司）
并不是所有的监督学习问题都是由一对固定大小的输入张量和标签来描述的。在某些情况下，特别是在医学图像分析中，标签对应于一袋实例（例如，图像块），并且为了对这样的袋进行分类，需要聚集来自所有实例的信息。已经有几次尝试创建一个使用一袋实例的模型，但是，他们假设袋中没有依赖关系，并且标签至少连接到一个实例。在这项工作中，我们介绍了自注意力基于注意力的MIL池（SA-AbMILP）聚合操作来考虑实例之间的依赖关系。我们在MNIST、组织学、微生物和视网膜数据库上进行了几次实验，以表明SA-AbMILP的性能优于其他模型。此外，我们还研究了自注意力的核变化及其对结果的影响。
2021-03-05 cs.CV cs.LG stat.ML
FourierMask: Instance Segmentation using Fourier Mapping in Implicit Neural Networks
University of Tuebingen（图宾根大学）
我们提出了FourierMask，它采用傅立叶级数结合隐式神经表示来生成实例分割掩码。我们将傅立叶映射（FM）应用于坐标位置，并利用映射的特征作为隐式表示（基于坐标的多层感知器（MLP））的输入。FourierMask学习预测特定实例的FM系数，从而使FM适应特定对象。这允许将FourierMask一般化以从自然图像预测实例分割掩模。由于隐函数在输入坐标域中是连续的，我们说明了通过对输入像素坐标进行子采样，我们可以在推理过程中生成更高分辨率的掩码。此外，我们训练渲染器MLP（FourierRend）上的不确定预测的FourierMask，并说明它显着提高了质量的面具。与基线Mask R-CNN相比，FourierMask在相同的输出分辨率下在MS COCO数据集上显示出具有竞争力的结果，并在更高的分辨率上超越了它。
2022-03-17 cs.CV cs.LG
Multiple instance learning for sequence data with across bag dependencies
Clermont Auvergne University（克莱蒙奥弗涅大学）；University of Tunis El Manar（突尼斯马纳尔大学）；University of Lorraine（洛林大学）；University of Jeddah（吉达大学）
在序列数据的多实例学习（MIL）问题中，包中的实例是序列。在一些现实世界的应用中，如生物信息学，比较随机的序列是没有意义的。事实上，每个实例可以与其他袋的实例具有结构和/或功能关系。因此，分类任务应考虑这种跨袋关系。在这项工作中，我们提出了两种新的MIL方法命名为ABClass和ABSim的序列数据分类。ABClass从相关实例中提取基序，并使用它们来编码序列。然后应用判别分类器来计算每个相关序列集合的部分分类结果。ABSim使用相似性度量来区分相关实例并计算得分矩阵。对于这两种方法，应用聚合方法以生成最终分类结果。本文将这两种方法应用于细菌电离辐射抗性的预测。所提出的方法的实验结果是令人满意的。
2020-06-11 cs.LG
Synthetic Data Reveals Generalization Gaps in Correlated Multiple Instance Learning
Tufts University（塔夫茨大学）
针对传统多实例学习（MIL）忽略实例上下文关系的问题，本文设计了需考虑相邻实例特征的合成分类任务，量化现有MIL方法与最优贝叶斯估计器的性能差距，发现新关联MIL方法在万级样本训练下仍未达最佳性能。
2025-11-12 cs.LG
Learning from Multiple Annotators by Incorporating Instance Features
Nanjing University（南京大学）
从多个注释器中学习的目的是从训练实例中诱导出高质量的分类器，其中每个实例都与多个注释器在其不同能力和自身偏见的影响下提供的一组可能有噪声的标签相关联。在对从潜在真标签到观测标签的概率转移过程建模时，大多数现有方法采用注释者的类级混淆矩阵，观测标签不依赖于实例特征，而由真标签决定。它可能会限制分类器可以实现的性能。在这项工作中，我们提出了噪声转移矩阵，它结合了实例特征对注释器的性能的影响，基于混淆矩阵。此外，我们提出了一个简单而有效的学习框架，它包括一个分类器模块和噪声转移矩阵模块在一个统一的神经网络架构。实验结果表明，我们的方法相比，国家的最先进的方法的优越性。
2021-06-29 cs.LG
Relaxed Multiple-Instance SVM with Application to Object Discovery
Huazhong University of Science and Technology（华中科技大学）
多实例学习（MIL）已经成为广泛的视觉应用的重要工具，例如，图像分类、目标检测和视觉跟踪。在本文中，我们提出了一种新的方法来解决经典的MIL问题，命名为松弛多实例支持向量机（RMI-SVM）。我们将实例的积极性作为一个连续变量，使用Noisy-OR模型来加强MIL约束，并在一个统一的框架中联合优化包标签和实例标签。利用随机梯度下降法可以有效地解决优化问题。大量的实验表明，RMI-SVM在各种MIL基准测试中始终取得优异的性能。此外，我们简单地将RMI-SVM应用于具有挑战性的视觉任务，常见对象发现。Pascal VOC数据集上对象发现的最新结果进一步证实了所提出方法的优势。
2015-10-05 cs.CV cs.LG
Improving Video Instance Segmentation by Light-weight Temporal Uncertainty Estimates
University of Wuppertal \& ICMD
本文提出一种基于时间动态模型的轻量级方法，用于改进视频实例分割的不确定性估计和假阳性检测，提升分割性能。
2021-04-13 cs.CV cs.LG
Neural Snowball for Few-Shot Relation Learning
Tsinghua University（清华大学）；Tencent（腾讯）
知识图谱通常经历新关系的开放式增长。这不能通过关注具有足够训练数据的预定义关系的关系抽取来很好地处理。为了解决新的关系与Few-Shot的情况下，我们提出了一种新的自举方法，神经雪球，学习新的关系，通过转移现有的关系的语义知识。更具体地说，我们使用关系暹罗网络（RSN）来学习基于现有关系及其标记数据的实例之间的关系相似性度量。然后，给定一个新关系及其Few-Shot实例，利用RSN从未标注的语料库中积累可靠的实例，并用这些实例训练一个关系分类器，进一步识别新关系的新事实。这个过程像滚雪球一样反复进行。实验结果表明，该模型能够收集到高质量的实例，实现更好的Few-Shot关系学习，与基线模型相比，性能有了显著的提高。代码和数据集发布在https://github.com/thunlp/Neural-Snowball上。
2019-11-19 cs.CL cs.LG
