Strong Instance Segmentation Pipeline for MMSports Challenge
Ant Group（蚂蚁集团）
ACM MMSports2022 DeepSportRadar实例分割挑战赛的目标是解决篮球场上单个人类的分割问题，包括球员，教练和裁判。这个挑战的主要特点是玩家之间的闭塞程度很高，数据量非常有限。为了解决这些问题，我们设计了一个强大的实例分割管道。首先，我们采用了适当的数据增强策略，主要包括光度失真变换和复制粘贴策略，这可以生成更多的图像实例，更广泛的分布。其次，在基于Swin-Base的CBNetV2主干上采用了一种强分割模型--基于混合任务级联的检测器，并在HTCMaskHead中加入了MaskIoU头，简单有效地提高了实例分割的性能。最后，应用SWA培训策略进一步提高绩效。实验结果表明，该流水线在DeepSportRadar挑战集上可以获得0.768AP@0.50：0.95的有竞争力的结果。源代码可在www.example.com上获得。
2022-09-28 cs.CV
TIVE: A Toolbox for Identifying Video Instance Segmentation Errors
Beijing University of Posts and Telecommunications（北京邮电大学）
视频实例分割（VIS）任务自提出以来，吸引了众多研究者对视频结构建模的关注。虽然在线和离线模式取得了很大的进步，但仍然没有足够的手段来识别模型错误并区分方法之间的差异，并且正确反映模型在识别各种时间长度的对象实例时的性能的方法仍然很少。更重要的是，作为任务所需的基本模型能力，空间分割和时间关联在评估和交互机制中仍然研究不足。在本文中，我们介绍了TIVE，一个用于识别视频实例分割错误的工具。通过直接操作输出预测文件，TIVE定义了孤立的错误类型，并对每种类型对mAP的损害进行加权，以区分模型特征。通过在时空维度上对定位质量进行分解，揭示了模型在空间分割和时间关联方面的潜在缺陷。TIVE还可以报告实际应用程序的实例时间长度上的mAP。我们通过工具箱进行了大量的实验，以进一步说明空间分割和时间关联如何相互影响。我们期望通过对TIVE的分析，能够给研究者提供更多的启示，引导社会各界对视频实例分割进行更有意义的探索。拟议的工具箱可在https://github.com/wenhe-jia/TIVE上查阅。
2022-10-17 cs.CV
A2VIS: Amodal-Aware Approach to Video Instance Segmentation
University of Arkansas（阿肯色大学）；Coupang, Inc.（Coupang公司）
本文提出A2VIS框架，通过引入非模态表示和时空先验非模态掩码头，融合可见与被遮挡目标信息，提升视频实例分割和多目标跟踪在遮挡场景下的性能。
2025-04-09 cs.CV
M18K: A Comprehensive RGB-D Dataset and Benchmark for Mushroom Detection and Instance Segmentation
University of Houston（休斯顿大学）
本文提出M18K数据集，包含423对RGB-D图像和超过18,000个蘑菇实例，用于蘑菇检测与实例分割，并作为基准，评估了先进算法性能，资源已公开。
2024-07-15 cs.CV
Instance-Invariant Domain Adaptive Object Detection via Progressive Disentanglement
Tianjin University（天津大学）；University of Technology Sydney（悉尼科技大学）
当训练数据和测试数据来自不同的域时，大多数现有技术的目标检测方法的泛化能力较差，例如，不同的风格。为了解决这个问题，以前的方法主要使用整体表示来对齐不同域的特征级和像素级分布，这可能会忽视图像中对象的实例级特征。此外，在跨领域转移检测能力时，重要的是获得领域不变的实例级特征，而不是特定于领域的样式。因此，为了提取实例不变特征，我们应该将领域不变特征和领域特定特征分开。为此，首先提出了一种渐进解纠缠框架来解决域自适应目标检测。特别地，基于用于特征分解的解纠缠学习，我们设计了两个解纠缠层来分解领域不变特征和领域特定特征。在域不变特征的基础上提取实例不变特征。最后，为了提高解纠缠，设计了一个包含多个损失函数的三阶段训练机制来优化我们的模型。在实验中，我们验证了我们的方法的有效性，对三个领域的变化的场景。我们的方法分别比基线方法\cite{saito2019strong}高2.3%、3.6%和4.0%。
2021-02-13 cs.CV
All you need is a second look: Towards Tighter Arbitrary shape text detection
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
基于深度学习的场景文本检测方法在过去几年中取得了实质性进展。然而，仍有几个问题有待解决。通常，由于CNN的有限感受野大小，长曲线文本实例往往是碎片化的。此外，使用矩形或四边形包围盒的简单表示在处理更具挑战性的任意形状的文本时显得不足。此外，文本实例的规模变化很大，这导致难以通过单个分割网络进行准确预测。为了解决这些问题，我们创新性地提出了一个两阶段分割为基础的任意文本检测器命名为\textit{NASK}（\textbf{N}需要\textbf{A} \textbf{S} econd loo \textbf{K}）。具体而言，\textit{NASK}由文本实例分割网络（即\textit{TIS}（\(1^{st}\)阶段））、文本RoI池化模块和基准点表达模块（称为\textit{FOX}（\(2^{nd}\)阶段））组成。首先，\textit{TIS}进行实例分割，以获得矩形文本建议与建议的组空间和通道注意力模块（\textit{GSCA}），以增加的特征表达。然后，文本RoI池将这些矩形转换为固定大小。最后，\textit{FOX}被引入到重建文本实例与更紧密的表示使用预测的几何属性，包括文本中心线，文本行方向，字符比例尺和字符方向。在\textit{Total-Text}和\textit{SCUT-CTW1500}两个公共基准上的实验结果表明，所提出的\textit{NAS…
2020-04-26 cs.CV
LDD: A Dataset for Grape Diseases Object Detection and Instance Segmentation
University of Parma（帕尔马大学）；Horta s.r.l.（霍塔有限公司）；Università Cattolica del Sacro Cuore（圣心天主教大学）
实例分割任务是众所周知的目标检测任务的扩展，在许多领域都有很大的帮助，例如精准农业：能够自动识别植物器官和与它们相关的可能疾病，允许有效地扩展和自动化作物监测及其疾病控制。为了解决与葡萄植物的早期疾病检测和诊断相关的问题，已经创建了一个新的数据集，其目标是通过实例分割方法来推进疾病识别的最新技术。这是通过收集在自然环境中受疾病影响的叶子和葡萄串的图像来实现的。该数据集包含10种对象类型的照片，其中包括有和没有8种常见葡萄疾病症状的叶子和葡萄，在1，092张图像中共有17，706个标记实例。提出了多种统计措施，以提供一个完整的视图的数据集的特点。Mask R-CNN和R^3-CNN模型的目标检测和实例分割任务的初步结果作为基线提供，表明该过程能够达到自动疾病症状识别目标的有希望的结果。
2022-06-21 cs.CV
I3Net: Implicit Instance-Invariant Network for Adapting One-Stage Object Detectors
The University of Hong Kong（香港大学）；Xiamen University（厦门大学）；Deepwise AI Lab（深睿医疗AI实验室）
最近的两阶段跨域检测工作已经广泛地探索了局部特征模式，以实现更准确的自适应结果。这些方法在很大程度上依赖于区域建议机制和基于ROI的实例级特征来设计与前景对象相关的细粒度特征对齐模块。然而，对于一级检测器，很难甚至不可能在检测管道中获得显式的实例级特征。受此启发，我们提出了一种隐式实例不变网络（I3 Net），该网络专为适应一级检测器而量身定制，并通过利用不同层中深层特征的自然特性来隐式学习实例不变特征。具体而言，我们从三个方面促进了自适应：（1）动态和类平衡重加权（DCBR）策略，该策略考虑了域内和类内变化的共存，为那些样本稀缺的类别和易于适应的样本分配更大的权重;（2）类别感知对象模式匹配（COPM）模块，该方法增强了分类信息引导下的跨域前景目标匹配，抑制了无信息背景特征;（3）正则化联合类别对齐（Regularized Joint Category Alignment，RJCA）模块，通过一致性正则化在不同领域特定层上联合执行类别对齐。实验表明，I3 Net在基准数据集上的性能超过了最先进的性能。
2021-03-30 cs.CV
Dynamic Convolution for 3D Point Cloud Instance Segmentation
The University of Adelaide（阿德莱德大学）；Zhejiang University（浙江大学）
提出了一种基于动态卷积的三维点云实例分割方法。这使它能够适应，在推理，以不同的功能和对象的规模。这样做避免了自自底向上的方法的一些陷阱，包括依赖于超参数调整和启发式后处理管道来补偿对象大小的不可避免的变化，即使在单个场景中。通过收集具有相同语义类别和几何质心投票接近的同质点，极大地提高了网络的表示能力。然后，通过几个简单的卷积层解码，其中参数是根据输入生成的。所提出的方法是无命题的，而是利用一个卷积过程，适应每个实例的空间和语义特征。一个轻量级的Transformer，建立在瓶颈层上，允许模型捕获长距离的依赖关系，而计算开销有限。其结果是一种简单，高效，强大的方法，在各种数据集上产生强大的性能：ScanNetV2，S3DIS和PartNet。基于体素和基于点的架构上的一致改进意味着所提出的方法的有效性。代码可在：https://git.io/DyCo3D
2022-10-14 cs.CV
Learning from Majority Label: A Novel Problem in Multi-class Multiple-Instance Learning
Department of Advanced Information Technology, Kyushu University, Fukuoka, Japan（先进信息技术系，九州大学，福冈，日本）
本文提出多类多示例学习新问题LML，即利用包的多数类标签训练实例分类模型，为此设计计数网络和多数比例增强模块，在四个数据集上优于传统方法并验证了各模块有效性。
2025-09-04 cs.CV
Look in Different Views: Multi-Scheme Regression Guided Cell Instance Segmentation
细胞实例分割是一个新的和具有挑战性的任务，旨在联合检测和分割图像中的每个细胞。近年来，许多实例分割方法被应用于该任务。尽管它们取得了巨大的成功，但仍然存在两个主要的弱点，这是由于定位细胞中心点的不确定性造成的。首先，密集堆积的细胞可以容易地被识别为一个细胞。第二，细长的细胞可以容易地被识别为两个细胞。为了克服这两个弱点，我们提出了一种新的细胞实例分割网络的基础上多模式回归指导。通过多方案回归指导，网络能够在不同的视图中查看每个单元格。具体来说，我们首先提出了一个高斯引导注意力机制使用高斯标签引导网络的注意力。然后，我们提出了一个点回归模块，以协助回归的细胞中心。最后，利用上述两个模块的输出结果进一步指导实例分割。通过多方案回归指导，可以充分利用不同区域的特点，特别是小区的中心区域。我们在基准数据集DSB2018，CA2.5和SCIS上进行了广泛的实验。令人鼓舞的结果表明，我们的网络达到了SOTA（最先进的）性能。在DSB2018和CA2.5上，我们的网络比以前的方法高出1.2%（AP50）。特别是在SCIS数据集上，我们的网络表现更强（AP50高出3.0%）。可视化和分析进一步证明了我们提出的方法是可解释的。
2022-08-17 cs.CV
iShape: A First Step Towards Irregular Shape Instance Segmentation
Megvii（旷视科技）；BUAA（北京航空航天大学）；BUCT（北京邮电大学）
在本文中，我们引入了一个全新的数据集，以促进不规则形状的对象的实例分割的研究。我们的关键观察是，尽管不规则形状的物体广泛存在于日常生活和工业场景中，但由于缺乏相应的数据集，它们在实例分割领域很少受到关注。为了填补这一空白，我们提出了iShape，一个不规则的形状数据集的实例分割。iShape包含六个子数据集，其中一个是真实的，五个是合成的，每个子数据集代表一个典型的不规则形状的场景。与大多数现有的常规对象的实例分割数据集不同，iShape具有许多挑战现有实例分割算法的特征，例如实例边界框之间的大量重叠，极端的纵横比以及每个实例的大量连接组件。我们在iShape上对流行的实例分割方法进行了基准测试，发现它们的性能急剧下降。因此，我们提出了一个基于亲和力的实例分割算法，称为ASIS，作为一个更强的基线。ASIS明确地结合了感知和推理来解决包括不规则对象的任意形状实例分割。实验结果表明，ASIS优于国家的最先进的iShape。数据集和代码可在https://ishape.github.io上获得
2021-09-30 cs.CV cs.LG
ElC-OIS: Ellipsoidal Clustering for Open-World Instance Segmentation on LiDAR Data
National University of Defense Technology（国防科技大学）
开放世界实例分割（OIS）是一项具有挑战性的任务，其目的是准确地分割当前观察中出现的每个对象实例，而不管这些实例是否已在训练集中标记。这对于安全关键型应用（如强大的自主导航）非常重要。在本文中，我们提出了一个灵活有效的激光雷达点云OIS框架，可以准确地分割已知和未知的实例（即，训练期间的可见和不可见实例类别）。它首先识别属于已知类的点，并通过利用闭集全景分割网络来去除背景。然后，我们提出了一种新的椭球聚类方法，更适合激光雷达扫描的特点，并允许精确分割的未知实例。此外，提出了一种扩散搜索方法来处理常见的过分割问题，在已知的情况下。通过这些技术的结合，我们能够实现对已知和未知实例的准确分割。我们在SemanticKITTI开放世界LiDAR实例分割数据集上评估了我们的方法。实验结果表明，它优于当前国家的最先进的方法，特别是与10.0%的关联质量的提高。我们的方法的源代码将在https://github.com/nubot-nudt/ElC-OIS上公开。
2023-03-08 cs.CV cs.RO
Human Instance Segmentation and Tracking via Data Association and Single-stage Detector
Donghua University（东华大学）
人体视频实例分割在计算机理解人体活动中起着重要作用，广泛应用于视频处理、视频监控、虚拟现实中的人体建模等领域。目前大部分VIS方法都是基于Mask-RCNN框架的，其中用于数据匹配的目标外观和运动信息会增加计算成本并对分割实时性能产生影响;另一方面，现有的VIS数据集较少关注视频中出现的所有人。针对上述问题，本文提出了一种基于单级检测器的人体视频实例分割方法。为了在视频中跟踪实例，我们采用了数据关联策略来匹配视频序列中的同一实例，其中我们以端到端的方式联合学习一对视频帧中的目标实例外观及其亲和力。为了提高实例的嵌入提取能力，我们还采用了质心采样策略，即在实例掩码重叠严重的情况下，将实例位置偏向每个实例掩码的内部。结果，即使角色活动存在突然变化，实例位置也不会移出掩码，从而可以缓解由两个不同实例表示同一实例的问题。最后，我们通过组装多个视频实例分割数据集来收集PVIS数据集，以填补目前缺乏专门用于人类视频分割的数据集的空白。基于这样的数据集进行了广泛的模拟。仿真结果验证了所提出的工作的有效性和效率。
2022-03-31 cs.AI cs.CV
Faster Training of Mask R-CNN by Focusing on Instance Boundaries
BMW Car IT GmbH（宝马汽车信息技术有限公司）；Georg-August University of Göttingen（哥廷根大学）；Albert Ludwig University of Freiburg（阿尔伯特·路德维希·弗莱堡大学）
我们为Mask R-CNN提供了一个辅助任务，这是一个实例分割网络，可以更快地训练掩码头。我们对Mask R-CNN的补充是一个新的预测头，边缘一致性头，它的灵感来自人类注释器执行实例分割的方式。人类注释者复制对象实例的轮廓，并且仅间接复制所占用的实例区域。因此，实例掩码的边缘特别有用，因为它们很好地表征了实例。因此，边缘一致性头使用边缘检测滤波器鼓励预测的掩模具有与地面真实掩模相似的图像梯度。我们提供了损失组合的详细调查，并显示与不使用额外损失相比，MS COCO Mask指标的改进。我们的方法稍微增加了模型的大小，并且没有添加额外的可训练模型变量。虽然计算成本略有增加，但考虑到Mask R-CNN架构的高计算成本，增量可以忽略不计。由于额外的网络头仅在训练期间相关，因此与Mask R-CNN相比，推理速度保持不变。在默认的Mask R-CNN设置中，与基线相比，我们实现了训练速度的提高，MS COCO指标的相对整体改善为8.1%。
2019-08-10 cs.CV cs.LG
InsMix: Towards Realistic Generative Data Augmentation for Nuclei Instance Segmentation
The Hong Kong University of Science and Technology（香港科技大学）
细胞核分割是数字病理分析中的一项基本任务。然而，基于深度学习的细胞核分割方法通常受到有限注释的影响。本文提出了一种现实的数据增强方法，命名为InsMix，核分割，遵循复制-粘贴-平滑的原则，并进行形态约束的生成实例增强。具体地说，我们提出了形态学约束，使增强图像能够获得丰富的信息，同时保持其形态学特征（例如，几何形状和位置）。为了充分利用背景像素的冗余性，提高模型的鲁棒性，我们进一步提出了一种背景扰动方法，该方法在不扰乱原始细胞核分布的情况下随机打乱背景块。为了实现原始实例和模板实例之间的上下文一致性，设计了具有前景相似性编码器（FSE）和三元组丢失的平滑GAN。我们在两个数据集上验证了所提出的方法，即，Kumar和CPS数据集。实验结果表明，每个组件的有效性和优越的性能，我们的方法达到国家的最先进的方法。
2022-06-30 cs.CV eess.IV
Eosinophils Instance Object Segmentation on Whole Slide Imaging Using Multi-label Circle Representation
Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）
针对嗜酸性食管炎病理切片中嗜酸性粒细胞的自动计数与分割需求，本文将CircleSnake扩展为多标签圆形表示模型，实验证明其AP优于Mask R-CNN和DeepSnake。
2023-08-17 cs.CV eess.IV
YOLO2U-Net: Detection-Guided 3D Instance Segmentation for Microscopy
Oak Ridge National Lab (ORNL)（橡树岭国家实验室）；St. Jude Children’s Hospital（圣裘德儿童医院）
显微成像技术是表征和分析生物结构的工具。由于这些技术通常通过堆叠2D投影来呈现细胞的3D可视化，诸如平面外激发和$z$轴中的低分辨率的问题可能对检测3D体积中的个体细胞构成挑战（甚至对于人类专家），因为这些非重叠细胞可能看起来重叠。在这项工作中，我们介绍了一个全面的方法，准确的3D实例分割的细胞在脑组织中。该方法将二维YOLO检测方法与多视图融合算法相结合，构建细胞的三维定位。接下来，将3D边界框与数据体一起输入到3D U-Net网络，该网络被设计为分割每个3D边界框中的主单元，并进而执行整个体积中单元的实例分割。与当前一些基于深度学习的3D实例分割方法相比，该方法具有良好的性能。
2022-07-13 cs.CV eess.IV q-bio.CB
Center-Extraction-Based Three Dimensional Nuclei Instance Segmentation of Fluorescence Microscopy Images
Purdue University（普渡大学）；Indiana University-Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯分校）；Indiana University（印第安纳大学）
荧光显微镜是分析组织中三维亚细胞结构的重要工具。组织表征中的重要步骤涉及细胞核分割。在本文中，一个两阶段的方法分割的细胞核使用卷积神经网络（CNN）的描述。特别是，由于手动创建标记的体积用于训练目的是不切实际的，由于3D数据集的大小和复杂性，本文描述了一种基于空间约束的周期一致性对抗网络生成合成显微镜体积的方法。所提出的方法进行了测试，多个真实的显微镜数据集，优于其他常用的分割技术。
2019-09-13 cs.CV eess.IV
From Semantic To Instance: A Semi-Self-Supervised Learning Approach
Department of Computer Science, University of Saskatchewan（萨斯喀彻温大学计算机科学系）；Department of Computer Science, University of Calgary（卡尔加里大学计算机科学系）
本文提出一种半自监督学习方法，通过GLMask实现高效实例分割，显著提升小麦穗分割性能，同时在COCO数据集上也取得显著效果。
2026-03-09 cs.AI cs.CV cs.LG
Template-Instance Loss for Offline Handwritten Chinese Character Recognition
Institute of Artificial Intelligence, Shanghai Em-Data Technology Co., Ltd.（上海Em-Data科技有限公司人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）；Hong Kong University of Science and Technology（香港科技大学）
脱机手写汉字识别（HCCR）长期以来面临的挑战是双重的：汉字可能非常多样和复杂，但外观相似，而草书手写（由于书写速度加快和不频繁的提笔）使笔划甚至字符以流畅的方式连接在一起。本文提出了脱机手写体汉字识别中相关机器学习任务的模板和实例损失函数。首先，设计了汉字模板，以处理汉字之间的内在相似性。第二，实例损失可以根据分类难度降低类别方差，对手写体汉字的离群实例给予较大的惩罚。使用我们的深度网络架构HCCR 14层模型（由简单层组成），使用新的损失函数进行训练，我们的大量实验表明，它可以产生最先进的性能，甚至超越离线HCCR。
2019-10-12 cs.CV
NCIS: Deep Color Gradient Maps Regression and Three-Class Pixel Classification for Enhanced Neuronal Cell Instance Segmentation in Nissl-Stained Histological Images
London South Bank University（伦敦南岸大学）；University of Padova（帕多瓦大学）
针对尼氏染色脑组织图像的神经细胞实例分割需求，提出带注意力门的双分支类U-Net框架NCIS，通过颜色梯度图回归与三类别像素分类实现分割，在皮层和小脑图像上性能优于现有深度学习方法。
2023-06-27 cs.CV eess.IV q-bio.QM
InstanceAnimator: Multi-Instance Sketch Video Colorization
HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）；NUS（新加坡国立大学）
针对现有多实例草图视频上色方法控制不灵活、多角色对齐差、细节保真度低的问题，提出带三项创新的InstanceAnimator扩散Transformer框架，实验证明其在可控性、视觉质量与实例一致性上表现更优。
2026-03-26 cs.CV
Multiple Instance Hybrid Estimator for Hyperspectral Target Characterization and Sub-pixel Target Detection
Xidian University（西安电子科技大学）；Mathworks（迈斯沃克公司）；University of Florida（佛罗里达大学）
提出了一种多实例混合估计方法，用于非精确标记高光谱数据的目标鉴别。在许多高光谱目标检测问题中，获取准确标记的训练数据是一个难点。此外，包含目标的每个像素可能是目标和非目标签名的混合（即，亚像素目标），使得从数据中提取目标类的纯原型签名极其困难。所提出的方法解决了这些问题，通过引入一个数据混合模型和优化的响应的混合子像素检测器内的多实例学习框架。该方法在估计一组有区别的目标和非目标特征和解决稀疏解混问题之间迭代。在学习目标签名之后，然后可以将基于签名的检测器应用于测试数据。仿真和真实高光谱目标检测实验表明，该算法能够有效地学习具有鉴别能力的目标特征，并取得了优于现有比较算法的性能。
2019-03-19 cs.CV
AnyCrowd: Instance-Isolated Identity-Pose Binding for Arbitrary Multi-Character Animation
Mohamed bin Zayed University of Artificial Intelligence, UAE（穆罕默德·本·扎耶德人工智能大学，阿联酋）；University of Tromsø (UiT) – The Arctic University of Norway, Norway（特罗姆瑟大学（UiT）——挪威北极大学，挪威）；Shenzhen campus of Sun Yet-sen University, China（孙中山大学深圳校区，中国）
本文提出AnyCrowd框架，通过实例隔离潜在表示和三阶段解耦注意力机制，解决多角色动画中身份与姿态绑定不一致的问题，提升生成视频的可控性与一致性。
2026-03-16 cs.CV
6D-ViT: Category-Level 6D Object Pose Estimation via Transformer-based Instance Representation Learning
University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）
本文提出了6D-ViT，一种基于变换的实例表示学习网络，适用于RGB-D图像上的高精度类别级对象姿态估计。具体来说，一种新颖的双流编码器-解码器框架致力于从RGB图像、点云和分类形状先验中探索复杂而强大的实例表示。为此，整个框架由两个主要分支组成，名为Pixelformer和Pointformer。Pixelformer包含一个金字塔Transformer编码器和一个全MLP解码器，用于从RGB图像中提取逐像素外观表示，而Pointformer依赖于级联的Transformer编码器和一个全MLP解码器，用于从点云中获取逐点几何特征。然后，密集实例表示（即，对应矩阵、变形场）从具有形状先验、外观和几何信息作为输入的多源聚合网络获得。最后，实例6D姿态通过利用密集表示、形状先验和实例点云之间的对应关系来计算。在合成数据集和真实世界数据集上的大量实验表明，所提出的3D实例表示学习框架在这两个数据集上都达到了最先进的性能，并且显著优于所有现有的方法。
2021-10-30 cs.CV
TIMI: Training-Free Image-to-3D Multi-Instance Generation with Spatial Fidelity
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科学与技术大学计算机科学与工程学院）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；Shanghai Innovation Institute（上海创新研究院）；School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院）
提出无需训练的TIMI框架，通过实例感知分离引导和空间稳定几何自适应更新模块，实现高空间保真度的图像到3D多实例生成。
2026-06-16 cs.CV
Rethinking Attention-Based Multiple Instance Learning for Whole-Slide Pathological Image Classification: An Instance Attribute Viewpoint
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）计算机科学与技术学院）；Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算学部）；School of Science, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）理学院）
本文提出属性驱动的多实例学习框架AttriMIL，通过属性评分机制及空间与排序约束建模实例相关性，并采用病理自适应主干网络，在三个公开基准上超越现有方法。
2024-03-30 cs.CV
Instance-level Human Parsing via Part Grouping Network
Sun Yat-sen University（中山大学）；SenseTime Group (Limited)（商汤集团有限公司）；CVTE Research（视源研究院）
由于缺乏足够的数据资源和在一次通过中解析多个实例的技术困难，面向真实世界人类分析场景的实例级人类解析仍然未被充分探索。几个相关的工作都遵循“检测解析”管道，严重依赖于单独训练的检测模型来定位实例，然后依次对每个实例执行人工解析。然而，检测和解析这两个不一致的优化目标导致了次优的表示学习和最终结果的错误累积。在这项工作中，我们第一次尝试探索一种无检测的部分神经网络（PGN），用于在一次通过中有效地解析图像中的多个人。我们的PGN将实例级人类解析重新制定为两个孪生子任务，可以通过统一的网络共同学习和相互细化：1）语义部分分割，用于将每个像素分配为人类部分（例如，面部、手臂）; 2）实例感知边缘检测，以将语义部分分组为不同的人实例。因此，共享的中间表示将被赋予表征细粒度部分和推断每个部分的实例属性的能力。最后，一个简单的实例划分过程中得到的推理最终结果。我们在PASCAL-Person-Part数据集上进行了实验，我们的PGN优于所有最先进的方法。此外，我们在一个新收集的多人解析数据集（CIHP）上展示了它的优越性，该数据集包括38，280张不同的图像，这是迄今为止最大的数据集，可以促进更高级的人类分析。CIHP基准测试和我们的源代码可以在http://sysu-hcp.net/lip/上获得。
2018-08-01 cs.CV
Multi-instance robust fitting for non-classical geometric models
College of Computer Engineering, Jimei University（计算机工程学院，嘉敏大学）
本文提出了一种基于模型到数据误差的非经典几何模型多实例稳健拟合方法，通过元启发式算法优化处理噪声数据。
2026-02-05 cs.CV
Connecting Images through Time and Sources: Introducing Low-data, Heterogeneous Instance Retrieval
Univ. Gustave Eiffel（古斯塔夫·埃菲尔大学）；IGN/ENSG（法国国家地理信息与林业学校/法国国家地理学院）；École Centrale Lyon（里昂中央理工学院）
深度学习在依赖特征学习的应用中取得了令人印象深刻的结果，也模糊了算法和数据之间的界限。选择一个训练数据集，选择一个骨干网络进行特征提取，瞧，这通常适用于各种用例。但是，存在与用例匹配的训练数据集的基本假设并不总是得到满足。此外，不管内容的变化如何，对互连的需求要求增加特征的通用性和鲁棒性。一个有趣的应用程序的特点是这些问题是历史和文化的图像数据库的连接。通过看似简单的任务实例检索，我们建议表明，这是不平凡的选择功能以及响应面板的变化和语义内容。引入一个新的增强版本的Alegoria基准，我们比较描述符使用详细的注释。我们进一步给出了关于实例检索中核心问题的见解，测试了四种最先进的附加技术来提高性能。
2021-03-19 cs.CV
I3CL:Intra- and Inter-Instance Collaborative Learning for Arbitrary-shaped Scene Text Detection
Wuhan University（武汉大学）；The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
用于自然场景中的任意形状文本检测的现有方法面临两个关键问题，即，1)在文本实例中的间隙处的断裂检测;以及2）具有不同背景上下文的任意形状的文本实例的不准确检测。为了解决这些问题，我们提出了一种新的方法命名为内和实例间协作学习（I3 CL）。具体来说，为了解决第一个问题，我们设计了一个具有多个感受野的有效卷积模块，它能够在文本实例中的局部和长范围内协作学习更好的字符和间隙特征表示。为了解决第二个问题，我们设计了一个基于实例的Transformer模块，利用不同文本实例之间的依赖关系和一个全局上下文模块，利用语义上下文从共享的背景，这是能够协作学习更多的歧视性文本特征表示。通过这种方式，I3 CL可以在统一的端到端可训练框架中有效地利用实例内和实例间的依赖关系。此外，为了充分利用未标记的数据，我们设计了一种有效的半监督学习方法，通过集成策略来利用伪标签。在没有花里胡哨的情况下，实验结果表明，所提出的I3 CL在三个具有挑战性的公共基准上设置了新的最先进的结果，即，ICDAR 2019-ArT的F测量值为77.5%，Total-Text为86.9%，CTW-1500为86.4%。值得注意的是，我们采用ResNeSt-101主干的I3 CL在ICDAR 2019-ArT排行榜上排名第一。源代码将在https://github.com/ViTAE-Transformer/ViTAE-Tran…
2022-04-20 cs.CV
Instance-guided Cartoon Editing with a Large-scale Dataset
Caritas Institute of Higher Education（明爱专上学院）
针对卡通编辑中实例自动分割困难的问题，本文构建了超10万对高分辨率卡通实例标注数据集，并提出实例感知分割模型，支持3D视差、文本引导风格编辑和木偶动画等应用。
2023-12-04 cs.CV cs.GR
Distill-to-Label: Weakly Supervised Instance Labeling Using Knowledge Distillation
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；IBM Research（IBM研究院）
仅使用图像级标签代替昂贵的细粒度像素注释的弱监督实例标记在包括医学图像分析在内的几个应用中至关重要。与传统的计算机视觉中的实例分割方案相比，我们考虑的问题的特征在于少量的训练图像和导致诊断的非局部模式。在本文中，我们探讨了使用多实例学习（MIL）设计一个实例标签生成器在这种弱监督设置。由于观察到MIL模型可以处理不同大小的袋子，我们建议重新使用最初为袋子级别分类训练的MIL模型，以产生单个实例的可靠预测，即，尺寸为$1$的袋子。为此，我们引入了一种新的正则化策略，基于虚拟对抗训练，以改善MIL训练，并随后开发了一种知识蒸馏技术，用于重新利用训练的MIL模型。通过对组织病理学图像中结肠癌和乳腺癌检测的实证研究，我们证明了所提出的方法可以产生高质量的实例级预测，并且显著优于MIL方法。
2019-07-26 cs.CV cs.LG stat.ML
Weakly Supervised Instance Learning for Thyroid Malignancy Prediction from Whole Slide Cytopathology Images
Duke University（杜克大学）；Duke University Medical Center（杜克大学医学中心）
我们考虑基于机器学习的甲状腺恶性肿瘤预测从细胞病理学全载玻片图像（WSI）。多实例学习（MIL）方法通常用于分析WSI，将图像（袋子）划分为补丁（实例），用于预测单个袋子级别的标签。这些方法在细胞病理学载玻片中表现不佳，这是由于独特的袋结构：具有不同异常特征的稀疏信息实例。我们通过考虑多种类型的标签来解决这些挑战：袋级恶性肿瘤和有序的诊断评分，以及实例级信息量和异常标签。我们通过提出一个极大似然估计（MLE）框架来研究它们在MIL设置之外的贡献，从中我们推导出一个基于深度学习的两阶段算法。该算法识别信息实例，并将其分配到一个全球恶性肿瘤预测纳入当地的恶性肿瘤评分。我们推导出一个下界的极大似然估计，导致一个改进的训练策略的基础上，弱监督，我们通过统计分析激励。下界进一步允许我们扩展所提出的算法，以从神经网络的单个输出中同时预测多个包和实例级标签。实验结果表明，该算法提供了竞争力的性能相比，几个竞争的方法，实现（专家）人类水平的性能，并允许增强人类的决定。
2020-07-30 cs.CV physics.med-ph
Extending TrOCR for Text Localization-Free OCR of Full-Page Scanned Receipt Images
Nagoya University（名古屋大学）；K.K. Best Path Research（Best Path研究株式会社）；Money Forward, Inc.（Money Forward公司）
提出无文本定位的文档级OCR模型，通过逐步增大裁剪块微调TrOCR，在SROIE数据集上实现87.8 F1和4.98% CER，优于基线。
2023-10-16 cs.CL cs.CV
SAFIN: Arbitrary Style Transfer With Self-Attentive Factorized Instance Normalization
IBM Research（IBM研究院）
艺术风格转移是指将一幅图像的风格特征转移到另一幅图像上，同时保留其内容。现有的方法通常利用各种归一化技术，尽管这些技术在充分地将不同的纹理转移到不同的空间位置方面面临限制。基于自我注意力的方法已经部分成功地解决了这个问题，但受到不必要的工件。受这些观察的启发，本文旨在结合两个世界的最佳：自我注意和正常化。这产生了一个新的即插即用模块，我们将其命名为Self-Attentive Factorized Instance Normalization（SAFIN）。SAFIN本质上是一个空间自适应归一化模块，其参数通过对内容和风格图像的关注来推断。我们证明，插入SAFIN到另一个国家的最先进的方法的基础网络的结果，在增强风格化。我们还开发了一种新的基础网络组成的小波变换的多尺度风格转移，当与SAFIN相结合，产生视觉上有吸引力的结果，较少不必要的纹理。
2021-05-20 cs.AI cs.CV cs.LG
Invisible Threats: Backdoor Attack in OCR Systems
University of Padua（帕多瓦大学）；Delft University of Technology（代尔夫特理工大学）；Radboud University（拉德堡德大学）
提出针对 OCR 系统的后门攻击，通过注入不可读字符使提取文本对人眼正确但对 NLP 应用无效，实验显示约 90% 恶意样本攻击成功且不影响其余性能。
2023-10-12 cs.CR cs.CV cs.LG
