InstaFormer: Instance-Aware Image-to-Image Translation with Transformer
Korea University(高丽大学)
我们提出了一种新的基于transformer的网络架构,用于实例感知的图像到图像翻译,称为InstaFormer,以有效地集成全局和实例级信息。通过将从图像中提取的内容特征视为令牌,我们的网络通过考虑Transformers中的自我注意模块的上下文信息来发现内容特征的全局共识。通过增强这样的令牌与实例级功能提取的内容特征相对于限界框信息,我们的框架是能够学习对象实例和全局图像之间的交互,从而提高实例意识。我们将标准Transformers中的层归一化(LayerNorm)替换为自适应实例规范化(AdaIN),以实现具有样式代码的多模态转换。此外,为了提高对象区域的实例感知和翻译质量,我们提出了一种定义在输入和翻译图像之间的实例级内容对比度损失。我们进行实验以证明InstaFormer在最新方法中的有效性,并提供广泛的消融研究。
2022-03-30 cs.CV
InstanceSplat: Instance-Aware Feed-Forward 3D Gaussian Splatting for Scene Understanding
InstanceSplat是统一前馈3DGS框架,通过单次前向传播构建联合编码多信息的实例感知高斯表示,以实例为中心的学习策略实现重建与场景理解互益,在多任务上达到SOTA性能与强泛化性。
2026-08-10 cs.CV
iMOVE: Instance-Motion-Aware Video Understanding
Kuaishou Technology(快手科技);Zhejiang University(浙江大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对视频大语言模型细粒度实例运动感知不足的问题,本文构建 iMOVE-IT 指令微调数据集,并提出 iMOVE 视频基础模型,以高效时空建模和相对位置令牌提升时序、通用及长时程视频理解。
2025-02-18 cs.CV
Instance-Aware Group Quantization for Vision Transformers
Yonsei University(延世大学);Articron(阿蒂克龙)
本文提出IGQ-ViT方法,通过实例感知的动态通道分组量化激活和softmax注意力,并在BOP约束下调整组数,以解决ViTs训练后量化性能下降问题。
2024-04-01 cs.CV cs.LG
INSTA-BNN: Binary Neural Network with INSTAnce-aware Threshold
Pohang University of Science and Technology (POSTECH)(浦项科技大学);SqueezeBits Inc.(SqueezeBits公司);Seoul National University(首尔国立大学)
提出INSTA-BNN,通过实例感知的动态量化阈值补偿二值神经网络的准确率损失,在ImageNet上以相当计算成本显著提升ResNet-18和MobileNetV1的top-1准确率。
2023-10-19 cs.CV cs.LG
Fully Convolutional Instance-aware Semantic Segmentation
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
我们为实例感知语义分割任务提出了第一个完全卷积的端到端解决方案。它继承了FCN在语义分割和实例掩码建议方面的所有优点。它联合执行实例掩码预测和分类。底层卷积表示在两个子任务之间以及所有感兴趣区域之间完全共享。所提出的网络是高度集成的,并实现了最先进的性能,在准确性和效率。在COCO 2016细分市场竞争中以较大优势胜出。代码将在\url{https://github.com/daijifeng001/TA-FCN}发布。
2017-04-10 cs.CV
Instance Segmentation of Biomedical Images with an Object-aware Embedding Learned with Local Constraints
RWTH Aachen University(亚琛工业大学)
自动实例分割是许多生物医学应用中出现的问题。现有技术的方法或者执行语义分割或者细化从检测方法获得的对象边界框。这两种方法都在不同程度上受到拥挤对象的影响,合并相邻对象或抑制有效对象。在这项工作中,我们通过深度神经网络为每个像素分配一个嵌入向量。该网络被训练为输出来自同一对象的像素的相似方向的嵌入向量,而相邻对象在嵌入空间中是正交的,这有效地避免了人群中对象的融合。我们的方法即使在细胞分割(BBBC006 + DSB2018)和叶分割数据集(CVPPP2017)上使用轻量级骨干网络也能产生最先进的结果。代码和模型权重是公开的。
2020-04-21 cs.CV cs.LG
Attention Awareness Multiple Instance Neural Network
Wuhan University(武汉大学)
多示例学习适用于许多弱注释数据的模式识别任务。人工神经网络和多实例学习的结合提供了一种端到端的解决方案,并得到了广泛的应用。然而,挑战仍然是双重的。首先,目前的MIL池操作符通常是预定义的,并且缺乏挖掘关键实例的灵活性。其次,在当前的解决方案中,袋级表示可能是不准确的或不可访问的。为此,本文提出了一个注意感知多实例神经网络框架。它包括一个实例级分类器,一个可训练的MIL池操作员的基础上空间的注意和袋级分类层。一系列模式识别任务的详尽实验表明,我们的框架优于许多国家的最先进的MIL方法,并验证了我们提出的注意力MIL池运营商的有效性。
2022-05-27 cs.CV
InstaGAN: Instance-aware Image-to-Image Translation
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Pohang University of Science and Technology (POSTECH)(浦项科技大学);AItrics
由于最近基于生成对抗网络(GANs)的令人印象深刻的进展,无监督图像到图像的翻译得到了相当大的关注。然而,先前的方法在具有挑战性的情况下通常失败,特别是当图像具有多个目标实例并且翻译任务涉及形状的显著变化时,例如,把裤子变成裙子的时尚形象为了解决这些问题,我们提出了一种新的方法,创造的实例感知GAN(InstaGAN),它结合了实例信息(例如,对象分割掩模)并改进多实例变换。所提出的方法翻译图像和相应的一组实例属性,同时保持置换不变性的实例。为此,我们引入了上下文保持损失,鼓励网络在目标实例之外学习身份函数。我们还提出了一种顺序小批量推理/训练技术,该技术可以用有限的GPU内存处理多个实例,并增强网络,以便更好地泛化多个实例。我们的比较评估表明,所提出的方法对不同的图像数据集,特别是在上述具有挑战性的情况下的有效性。代码和结果可在https://github.com/sangwoomo/instagan上获得
2019-01-02 cs.CV cs.LG stat.ML
SOIT: Segmenting Objects with Instance-Aware Transformers
Hikvision Research Institute(海康威视研究院)
本文提出了一个端到端的实例分割框架,称为SOIT,分割对象与实例感知Transformers。受DETR \cite{carion2020end}的启发,我们的方法将实例分割视为直接集预测问题,并有效地消除了对许多手工制作的组件(如ROI裁剪,一对多标签分配和非最大抑制(NMS))的需要。在SOIT中,学习多个查询以在全局图像上下文下并行地直接推理一组语义类别、边界框位置和像素掩码的对象嵌入。类和边界盒可以很容易地嵌入一个固定长度的向量。尤其是像素级掩码,通过一组参数来嵌入,以构造轻量级的实例感知的Transformer。之后,由实例感知的Transformer生成全分辨率掩码,而不涉及任何基于RoI的操作。总的来说,SOIT引入了一个简单的单阶段实例分割框架,它既没有RoI,也没有NMS。在MS COCO数据集上的实验结果表明,SOIT明显优于最先进的实例分割方法。此外,在统一的查询嵌入多个任务的联合学习也可以大大提高检测性能。代码可在\url{https://github.com/yuxiaodongHRI/SOIT}上获得。
2021-12-23 cs.CV
SIM: Semantic-aware Instance Mask Generation for Box-Supervised Instance Segmentation
The Hong Kong Polytechnic University(香港理工大学)
仅使用限界框注释的弱监督实例分割最近引起了很多研究关注。目前的大多数努力都利用低级别的图像特征作为额外的监督,而没有明确地利用对象的高级语义信息,当前景对象与背景或附近的其他对象具有相似的外观时,这将变得无效。我们提出了一个新的框监督实例分割方法,通过开发一个语义感知的实例掩码(SIM)生成范式。而不是严重依赖于相邻像素之间的局部成对的亲和力,我们构建了一组类别的特征质心作为原型来识别前景对象,并为它们分配语义级的伪标签。考虑到语义感知原型无法区分相同语义的不同实例,我们提出了一种自校正机制,以纠正错误激活的区域,同时增强正确的。此外,为了处理对象之间的遮挡,我们为弱监督实例分割任务定制了复制-粘贴操作,以增加具有挑战性的训练数据。大量的实验结果表明,我们提出的SIM方法比其他国家的最先进的方法的优越性。源代码:https://github.com/lslrh/SIM。
2023-03-14 cs.CV
Instance-aware 3D Semantic Segmentation powered by Shape Generators and Classifiers
UT Austin(德克萨斯大学奥斯汀分校);Westlake University(西湖大学)
针对现有3D语义分割模型在实例级别表现不佳的问题,提出一种结合形状生成器和分类器的实例感知方法,通过实例级监督的形状重建与分类任务增强特征表示,在多个公共基准上显著优于现有方法。
2023-11-21 cs.CV
CAVIS: Context-Aware Video Instance Segmentation
DGIST
提出上下文感知视频实例分割框架CAVIS,通过上下文感知实例跟踪器和原型跨帧对比损失增强实例关联,在VIS和VPS基准上超越现有方法,尤其擅长OVIS挑战性视频。
2025-07-09 cs.CV
Attention-Challenging Multiple Instance Learning for Whole Slide Image Classification
Zhejiang University(浙江大学);Westlake University(西湖大学)
针对WSI分类中注意力过度集中导致过拟合的问题,提出ACMIL,通过多分支注意力和随机Top-K实例掩蔽提升判别实例覆盖与泛化能力,并在多个数据集上验证其优于现有方法。
2024-07-05 cs.CV
Hybrid Instance-aware Temporal Fusion for Online Video Instance Segmentation
MSRA(微软亚洲研究院)
最近,基于变换的图像分割方法相对于以前的解决方案取得了显著的成功。而对于视频领域,如何有效地建模时间上下文的对象实例的注意力跨帧仍然是一个悬而未决的问题。在本文中,我们提出了一个在线视频实例分割框架与一个新的实例感知的时间融合方法。我们首先利用表示,即,全局上下文中的潜在代码(实例代码)和CNN特征映射来表示实例级和像素级特征。基于这种表示,我们引入了一个裁剪自由的时间融合方法来模拟视频帧之间的时间一致性。具体而言,我们在实例代码中编码全局实例特定信息,并在实例代码和CNN特征图之间建立具有混合注意力的帧间上下文融合。实例代码之间的帧间一致性通过顺序约束进一步加强。通过利用学习的混合时间一致性,我们能够直接检索和维护跨帧的实例身份,消除了先前方法中复杂的逐帧实例匹配。在流行的VIS数据集上进行了广泛的实验,即Youtube-VIS-19/21。我们的模型在所有在线VIS方法中实现了最佳性能。值得注意的是,当使用ResNet-50主干时,我们的模型也使所有离线方法黯然失色。
2022-06-06 cs.CV
Diverse Instance Discovery: Vision-Transformer for Instance-Aware Multi-Label Image Recognition
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
以前关于多标签图像识别(MLIR)的工作通常使用CNN作为研究的起点。本文以纯视觉Transformer(ViT)为研究基础,充分利用Transformer具有长程依赖建模的优势,克服了CNN局限于局部感受野的缺点。然而,对于包含来自不同类别、尺度和空间关系的多个对象的多标签图像,单独使用全局信息并不是最佳的。我们的目标是利用ViT的补丁令牌和自我注意力机制来挖掘多标签图像中的丰富实例,称为多样性实例发现(DiD)。为此,我们提出了一个语义类别感知模块和空间关系感知模块,分别,然后结合两者的重新约束策略,以获得实例感知的注意力地图。最后,我们提出了一种基于弱监督目标定位的方法来提取多尺度局部特征,以形成多视图管道。我们的方法只需要弱监督信息在标签级别,没有额外的知识注入或其他强监督信息是必需的。在三个基准数据集上的实验表明,我们的方法显着优于以前的作品,并在公平的实验比较下达到最先进的结果。
2022-04-22 cs.CV
DIAL-GS: Dynamic Instance Aware Reconstruction for Label-free Street Scenes with 4D Gaussian Splatting
Chenpeng Su ∗ , Wenhua Wu ∗ , Chensheng Peng, Tianchen Deng, Zhe Liu, Hesheng Wang †(无明确机构)
针对现有自监督街景重建方法无法区分动态对象的问题,提出DIAL-GS方法,通过4D高斯溅射实现实例感知的动态重建,性能优于现有基线。
2026-09-04 cs.CV
Statistical Testing for Multiple Instance Learning via Selective Inference with Applications to Computational Pathology
本文提出基于选择性推断的统计检验框架,用于评估注意力MIL中高注意力实例的显著性,在合成、MNIST及病理WSI数据上实现I型错误控制并提升统计功效。
2026-09-29 cs.CV cs.LG stat.ML
Kernel Self-Attention in Deep Multiple Instance Learning
Faculty of Mathematics and Computer Science, Jagiellonian University(雅盖隆大学数学与计算机科学学院);Ardigen SA(Ardigen SA公司)
并不是所有的监督学习问题都是由一对固定大小的输入张量和标签来描述的。在某些情况下,特别是在医学图像分析中,标签对应于一袋实例(例如,图像块),并且为了对这样的袋进行分类,需要聚集来自所有实例的信息。已经有几次尝试创建一个使用一袋实例的模型,但是,他们假设袋中没有依赖关系,并且标签至少连接到一个实例。在这项工作中,我们介绍了自注意力基于注意力的MIL池(SA-AbMILP)聚合操作来考虑实例之间的依赖关系。我们在MNIST、组织学、微生物和视网膜数据库上进行了几次实验,以表明SA-AbMILP的性能优于其他模型。此外,我们还研究了自注意力的核变化及其对结果的影响。
2021-03-05 cs.CV cs.LG stat.ML
LIST3R: Long-sequence Instance-aware 3D Reconstruction
Beijing Jiaotong University(北京交通大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
提出LIST3R框架,通过实例锚点组织长序列三维重建,将子序列局部观测整合为全局一致场景,在长序列基准上实现更优轨迹与重建质量。
2026-07-02 cs.CV
Instance-aware, Context-focused, and Memory-efficient Weakly Supervised Object Detection
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达)
弱监督学习通过减少训练过程中对强监督的需求,已经成为目标检测的一种引人注目的工具。然而,主要的挑战仍然存在:(1)对象实例的区分可能是模糊的;(2)检测器倾向于关注有区别的部分,而不是整个对象;(3)没有地面真理,对象建议必须是冗余的高召回,导致显着的内存消耗。应对这些挑战是困难的,因为它往往需要消除不确定性和琐碎的解决方案。针对这些问题,我们开发了一个实例感知和上下文为中心的统一框架。它采用了一个实例感知的自训练算法和一个可学习的混凝土DropBlock,同时设计了一个内存高效的顺序批量反向传播。我们提出的方法在COCO($12.1\% ~AP$,$24.8\% ~AP_{50}$),VOC 2007($54.9\% ~AP$)和VOC 2012($52.1\% ~AP$)上实现了最先进的结果,大大提高了基线。此外,该方法是第一个基准ResNet为基础的模型和弱监督视频目标检测。代码、模型和更多细节将在https://github.com/NVlabs/wetectron上提供。
2020-10-21 cs.CV cs.LG eess.IV
Learning Instance-Aware Correspondences for Robust Multi-Instance Point Cloud Registration in Cluttered Scenes
National University of Defense Technology(国防科技大学);Defense Innovation Institute, Academy of Military Sciences(军事科学院国防创新研究院)
针对杂乱场景多实例点云配准中对应关系易受背景和其他实例干扰的问题,提出由粗到细的 MIRETR,利用实例掩码提取可靠对应并进行候选优化,在 ROBI 上 F1 提升 16.6 分。
2024-04-06 cs.CV
Instance-aware Image and Sentence Matching with Selective Multimodal LSTM
National Laboratory of Pattern Recognition(模式识别国家重点实验室);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
有效的图像和句子匹配取决于如何很好地衡量它们的全局视觉语义相似性。基于观察到这种全局相似性来自图像(对象)和句子(单词)的成对实例之间的多个局部相似性的复杂聚合,我们提出了一种选择性多模态长短期记忆网络(sm-LSTM),用于实例感知的图像和句子匹配。sm-LSTM在每个时间步都包含一个多模态上下文调制注意力方案,通过预测图像和句子的成对实例感知显着性图,可以选择性地关注图像和句子的一对实例。对于选定的成对实例,基于预测的显著性图获得它们的表示,然后进行比较以测量它们的局部相似性。通过在几个时间步内类似地测量多个局部相似性,sm-LSTM顺序地将它们与隐藏状态聚合,以获得最终匹配分数作为所需的全局相似性。实验结果表明,该模型能够很好地匹配复杂内容的图像和句子,并在两个公共基准数据集上取得了较好的效果。
2016-11-17 cs.CV
Structure-Preserving Instance Segmentation via Skeleton-Aware Distance Transform
Harvard University(哈佛大学);Boston College(波士顿学院);CMU(卡内基梅隆大学);Google Research(谷歌研究院);Amazon Alexa(亚马逊Alexa)
针对复杂结构物体实例分割中现有方法易因小误差改变连通性、距离变换易过分割的问题,提出结合骨架连通性优势与距离变换几何建模优势的骨架感知距离变换,在组织病理图像分割上达SOTA。
2023-10-08 cs.CV
Towards Robust Video Instance Segmentation with Temporal-Aware Transformer
Alibaba Group(阿里巴巴集团)
现有的基于Transformer的视频实例分割方法多是独立地提取每帧的特征,难以解决外观变形问题。在本文中,我们观察到的时间信息是很重要的,以及我们提出TAFormer聚合时空特征在Transformer编码器和解码器。具体而言,在Transformer编码器中,提出了一种时空联合的多尺度可变形注意力模型,动态地融合时空信息,获得丰富的时空特征。在Transformer解码器中,我们引入了一个时间自关注模块,以增强帧级的框查询与时间的关系。此外,TAFormer采用实例级对比损失来增加实例查询嵌入的可区分性。因此,可以减少由视觉相似实例引起的跟踪误差。实验结果表明,TAFormer有效地利用空间和时间信息来获得上下文感知的特征表示,并优于最先进的方法。
2023-01-20 cs.CV
Towards Foundation Models for 3D Scene Understanding: Instance-Aware Self-Supervised Learning for Point Clouds
Bosch Research, Robert Bosch GmbH(博世研究,罗伯特·博世有限公司);Institute for Neuro- and Bioinformatics, University of Lübeck(神经与生物信息学研究所,吕贝克大学)
本文提出PointINS框架,通过几何感知学习增强点云表示,引入ODR和SCR正则化策略,提升实例定位性能,在多个数据集上实现更优的mAP和PQ指标。
2026-09-15 cs.CV
Instance-aware Remote Sensing Image Captioning with Cross-hierarchy Attention
Northwestern Polytechnical University(西北工业大学);Center for OPTical IMagery Analysis and Learning (OPTIMAL)(光学影像分析与学习中心(OPTIMAL))
空间注意力是提高遥感图像描述字幕效果的一种直接途径。然而,传统的空间注意力方法只考虑了在一个固定的粗网格上的注意力分布,导致在视觉特征提取过程中容易忽略或干扰微小物体的语义。更糟糕的是,传统的空间注意力的固定语义水平限制了不同层次和视角的图像理解,这对于解决遥感图像的巨大差异至关重要。为了解决这些问题,我们提出了一个遥感图像字幕生成器的实例意识和跨层次的注意。1)实例感知是通过引入一个多层次的特征结构,包含多层次的实例可能区域及其周围的视觉信息。2)在此基础上,提出了一种跨层次的注意力机制,使解码器在每个时间步上动态地关注不同的语义层次和实例.在公开数据集上的实验结果表明了该方法的优越性。
2021-05-11 cs.CV
Anomaly-aware multiple instance learning for rare anemia disorder classification
Helmholtz Munich – German Research Center for Environmental Health(亥姆霍兹慕尼黑中心——德国环境健康研究中心);Technical University of Munich(慕尼黑工业大学);University of Zurich(苏黎世大学);University Hospital Bonn(波恩大学医院)
基于深度学习的罕见贫血疾病分类受到缺乏训练数据和实例级注释的挑战。多实例学习(MIL)已被证明是一种有效的解决方案,但它的准确性低,可解释性有限。虽然包含注意力机制已经解决了这些问题,但它们的有效性高度依赖于训练样本中细胞的数量和多样性。因此,对来自血液样本的罕见贫血病症分类的不良机器学习性能仍然没有得到解决。在本文中,我们提出了一个可解释的MIL池方法来解决这些限制。通过受益于负包的实例级信息(即,来自健康个体的同质良性细胞),我们的方法增加了异常实例的贡献。我们表明,我们的策略优于标准的MIL分类算法,并提供了一个有意义的解释背后的决定。此外,它还可以表示在训练阶段看不到的罕见血液疾病的异常情况。
2022-07-04 cs.AI cs.CV cs.LG
Instance-aware Semantic Segmentation via Multi-task Network Cascades
Microsoft Research(微软研究院)
语义分割的研究近年来取得了很大的进展,但许多主流方法都无法识别对象实例。在本文中,我们提出了多任务网络级联的实例感知语义分割。我们的模型由三个网络组成,分别区分实例,估计掩码和分类对象。这些网络形成级联结构,并被设计为共享其卷积特征。我们开发了一种算法,用于这种因果级联结构的非平凡端到端训练。我们的解决方案是一个干净的单步训练框架,可以推广到具有更多阶段的级联。我们展示了PASCAL VOC上最先进的实例感知语义分割准确性。与此同时,我们的方法使用VGG-16测试图像仅需360 ms,这比以前的系统快两个数量级。作为副产品,我们的方法还实现了令人信服的目标检测结果,超过了竞争对手的Fast/Faster R-CNN系统。本文中描述的方法是我们提交MS COCO 2015细分竞争的基础,我们在那里赢得了第一名。
2015-12-14 cs.CV
GAInS: Gradient Anomaly-aware Biomedical Instance Segmentation
The Hong Kong University of Science and Technology(香港科技大学);Tencent AI Lab(腾讯AI实验室);Imsight AI Research Lab(依图AI研究院);Xiamen University(厦门大学);HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute(香港科技大学深圳-香港产学研协同创新研究院)
针对生物医学实例分割中接触、重叠或交叉问题,提出梯度异常感知方法GAInS,通过梯度异常映射模块和自适应局部细化模块建模实例间空间关系并优化局部分割,性能优于现有SOTA方法。
2024-09-21 cs.CV
OccuSeg: Occupancy-aware 3D Instance Segmentation
Tsinghua University(清华大学);Hong Kong University of Science and Technology(香港科技大学)
3D实例分割在机器人技术和增强现实中有着广泛的应用,目前需求量很大。与作为环境的投影观测的2D图像不同,3D模型提供场景的度量重建,而没有遮挡或尺度模糊。在本文中,我们定义“3D占用大小”,作为每个实例所占用的体素的数量。在此基础上,提出了一种基于占用感知的三维实例分割算法OccupSeg。我们的多任务学习产生占用信号和嵌入表示,其中空间和特征嵌入的训练随着它们在尺度感知方面的差异而变化。我们的聚类方案受益于预测占用大小和聚类占用大小之间的可靠比较,这鼓励硬样本被正确聚类,避免过度分割。该方法在ScanNetV2、S3DIS和SceneNN 3个真实数据集上实现了最先进的性能,同时保持了高效率。
2020-04-28 cs.CV
Attend to Who You Are: Supervising Self-Attention for Keypoint Detection and Instance-Aware Association
MEGVII Technology(旷视科技);Nreal;Tsinghua University(清华大学);Meituan(美团);Southeast University(东南大学)
提出了一种利用Transformer解决关键点检测和实例关联的新方法。对于自底向上的多人姿态估计模型,它们需要检测关键点并学习关键点之间的关联信息。我们认为,这些问题可以完全解决的Transformer。具体而言,Transformer中的自注意力测量任何位置对之间的依赖性,这可以为关键点分组提供关联信息。然而,朴素注意模式仍然没有被主观地控制,因此不能保证关键点总是关注它们所属的实例。为了解决这个问题,我们提出了一种新的方法,监督自我注意力的多人关键点检测和实例关联。通过使用实例掩码来监督自我注意是实例感知的,我们可以基于成对注意力分数将检测到的关键点分配给其对应的实例,而无需使用预定义的偏移向量场或嵌入,如基于CNN的自底向上模型。我们的方法的另一个好处是,任何数量的人的实例分割结果可以直接从监督注意力矩阵中获得,从而简化了像素分配管道。COCO多人关键点检测挑战和人实例分割任务的实验证明了该方法的有效性和简单性,并显示了一种有前途的方法来控制自我注意行为的特定目的。
2021-11-25 cs.CV
Consistent Video Instance Segmentation with Inter-Frame Recurrent Attention
Microsoft Cloud & AI(微软云计算与人工智能部门)
视频实例分割的目标是预测每个帧的对象分割掩模,以及跨多个帧关联实例。最近的端到端视频实例分割方法能够在直接并行序列解码/预测框架中一起执行对象分割和实例关联。虽然这些方法通常预测更高质量的对象分割掩模,但它们可能无法在具有挑战性的情况下关联实例,因为它们没有明确地对相邻帧的时间实例一致性进行建模。我们提出了一个一致的端到端的视频实例分割框架与帧间循环注意力模型的时间实例一致性相邻帧和全局时间上下文。我们广泛的实验表明,帧间递归注意显着提高时间实例的一致性,同时保持对象分割掩模的质量。我们的模型在YouTubeVIS-2019(62.1\%)和YouTubeVIS-2021(54.7\%)数据集上都达到了最先进的准确率。此外,定量和定性的结果表明,所提出的方法预测更多的时间一致的实例分割掩模。
2022-06-14 cs.CV
InstanceRSR: Real-World Super-Resolution via Instance-Aware Representation Alignment
Tongji University(同济大学);Western Sydney University(西澳大学);Independent Researcher(独立研究员)
InstanceRSR通过联合建模语义信息和引入实例级特征对齐,解决现实世界超分辨率中细粒度细节恢复问题,提升实例级语义一致性。
2026-03-25 cs.CV
Learning Instance-Aware Object Detection Using Determinantal Point Processes
Seoul National University(首尔国立大学)
最近的对象检测器在对候选区域进行分类的同时找到实例。由于每个区域都是独立评估的,因此检测器的候选区域数量通常大于对象数量。由于检测的最终目标是为每个对象分配单个检测,因此使用诸如非最大抑制(NMS)的启发式算法来为对象选择单个限界框。虽然简单的启发式算法对于独立对象是有效的,但它们可能无法检测重叠对象。在本文中,我们通过训练网络来解决这个问题,以使用候选框之间的关系来区分不同的对象。我们提出了一个实例感知检测网络(IDNet),它可以学习从候选区域中提取特征并测量它们的相似性。基于成对相似性和检测质量,IDNet使用实例感知的确定性点过程推理(IDPP)选择候选边界框的子集。大量的实验表明,该算法实现了显着的改进,检测重叠的对象相比,现有的国家的最先进的检测方法的PASCAL VOC和MS COCO数据集。
2019-09-02 cs.CV
Instance-Aware Repeat Factor Sampling for Long-Tailed Object Detection
Bosch Research North America(博世北美研究院);Bosch Center for AI(博世人工智能中心);University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon Prime Video(亚马逊Prime Video)
针对长尾目标检测中的数据不平衡问题,提出实例感知重复因子采样(IRFS),统一考虑实例与图像数量进行重采样,在LVIS v1.0上相对RFS提升平均精度50%,可作为强基线并易集成于现有框架。
2023-05-14 cs.CV cs.LG eess.IV
Instance-Adaptive and Geometric-Aware Keypoint Learning for Category-Level 6D Object Pose Estimation
University of Science and Technology of China(中国科学技术大学);Jianghuai Advance Technology Center(江淮先进技术中心)
本文提出AG-Pose方法,通过实例自适应关键点检测和几何感知特征聚合两个模块,提升类别级6D姿态估计对未见实例的泛化能力,并在CAMERA25和REAL275上显著超越现有方法。
2024-03-28 cs.CV
ISDA: Position-Aware Instance Segmentation with Deformable Attention
College of Computer Science and Technology, Zhejiang University of Technology(浙江工业大学计算机科学与技术学院)
大多数实例分割模型都不是端到端可训练的,这是由于将建议估计(RPN)作为预处理或将非最大值抑制(NMS)作为后处理。在这里,我们提出了一种新的端到端的实例分割方法称为ISDA。它将任务重塑为预测一组对象掩码,这些对象掩码是通过传统的卷积运算与学习的位置感知内核和对象特征生成的。这些内核和特征是通过利用具有多尺度表示的可变形注意力网络来学习的。由于引入了集合预测机制,所提出的方法是无NMS的。从经验上看,ISDA在MS-COCO上的表现比Mask R-CNN(强基线)高出2.6个点,与最近的模型相比,ISDA的表现领先。代码将很快可用。
2022-02-23 cs.CV
Instance-level Facial Attributes Transfer with Geometry-Aware Flow
University of British Columbia(不列颠哥伦比亚大学);Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
我们解决的问题,实例级的面部属性转移没有配对的训练数据,例如,忠实地将确切的胡子从源脸到目标脸。这是一个比传统的语义级属性传输更具挑战性的任务,它只保留了一般的属性风格,而不是实例级的特质。我们建议使用几何感知流,这是一个非常适合的表示建模实例级面部属性之间的转换。具体来说,我们利用面部标志作为几何指导,自动学习可微流,尽管存在很大的姿态差距。几何感知流能够将源面属性扭曲到目标面上下文中,并生成扭曲和混合结果。为了补偿源和目标人脸之间潜在的外观差距,我们提出了一个幻觉子网络,它产生一个外观残差,以进一步细化扭曲和混合结果。最后,设计了一个由属性转移模块和属性去除模块组成的循环一致性框架,使得大量的不成对人脸图像可以作为训练数据。广泛的评估验证了我们的方法在大的姿势和外观差距忠实地转移实例级面部属性的能力。由于流表示,我们的方法可以很容易地应用到高分辨率图像上生成逼真的细节。
2018-11-30 cs.CV cs.GR cs.LG
MAIN: Multi-Attention Instance Network for Video Segmentation
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Universidad de los Andes(安第斯大学);University of Freiburg(弗莱堡大学)
实例级视频分割需要空间和时间信息的可靠集成。然而,目前的方法主要依赖于特定领域的信息(在线学习),以产生准确的实例级分割。我们提出了一种新的方法,完全依赖于通用的时空注意线索的整合。我们的策略,命名为多注意力实例网络(MAIN),克服了具有挑战性的分割场景在任意视频没有建模序列或实例特定的知识。我们设计的主段多个实例在一个单一的前向传递,并优化它与一个新的损失函数,有利于类不可知的预测和分配实例特定的处罚。我们在具有挑战性的Youtube-VOS数据集和基准测试上实现了最先进的性能,将看不见的Jaccard和F-Metric分别提高了6.8%和12.7%,同时实时运行(30.3 FPS)。
2019-04-11 cs.CV
RaDL: Relation-aware Disentangled Learning for Multi-Instance Text-to-Image Generation
Department of Artificial Intelligence, Korea University(人工智能系,韩国大学)
针对多实例文本到图像生成中的关系差异和多重属性泄漏问题,提出关系感知解耦学习框架RaDL,通过可学习参数增强实例属性并利用Relation Attention生成关系感知特征,在多个基准上显著提升了位置准确性与实例关系建模。
2025-07-16 cs.AI cs.CV
Instance-Aware Robust Consistency Regularization for Semi-Supervised Nuclei Instance Segmentation
School of Automation Science and Engineering, South China University of Technology, Guangzhou 510641, China(自动化科学与工程学院,华南理工大学,广州510641,中国);Department of Breast and Thyroid Surgery, the Second Affiliated Hospital, University of South China, Hengyang 421001, China(乳腺甲状腺外科,南方大学第二附属医院,湖南衡阳421001,中国);School of Artificial Intelligence and Automation, Huazhong University of Science and Technology, Wuhan 430074, China(人工智能与自动化学院,华中科技大学,武汉430074,中国);School of Informatics, Xiamen University, Xiamen 361005, China(信息学院,厦门大学,厦门361005,中国);Pazhou Laboratory, Guangzhou 510335, China(琶洲实验室,广州510335,中国);School of Future Technology, South China University of Technology, Guangzhou 510641, China(未来技术学院,华南理工大学,广州510641,中国)
针对半监督细胞核实例分割中一致性正则化不足和伪标签噪声问题,提出IRCR-Net,利用匹配驱动和先验驱动的实例感知一致性机制及形态学先验评估伪标签质量,在多个数据集上显著提升性能,部分场景超越全监督方法。
2025-10-10 cs.CV
Improving Generalized Visual Grounding with Instance-aware Joint Learning
School of Automation, Southeast University(东南大学自动化学院);Baidu Inc.(百度公司);JiangNan University(江南大学);Nanjing University of Science and Technology(南京理工大学)
提出具备实例感知能力的多任务广义视觉定位框架InstanceVG,通过实例查询统一边界框与掩码的联合及一致性预测,在多数据集上实现最先进性能。
2025-09-17 cs.CV
InstanceCap: Improving Text-to-Video Generation via Instance-aware Structured Caption
Nanjing University(南京大学);ByteDance(字节跳动);Nankai University(南开大学)
针对现有视频字幕细节不足、存在幻觉等影响文本到视频生成质量的问题,研究提出实例感知结构化字幕框架InstanceCap,构建InstanceVid数据集,实验证明其性能优于以往模型,提升了字幕与视频的保真度并减少幻觉。
2024-12-12 cs.AI cs.CV
Instance and Pair-Aware Dynamic Networks for Re-Identification
School of Computer Science, Northwestern Polytechnical University(西北工业大学计算机学院)
重新识别(ReID)是在不同的摄像机之间识别相同的实例。现有的ReID方法大多利用基于注意力或基于注意力的策略来生成有效的特征表示。然而,这些方法大多只提取单一输入图像本身的一般特征,忽略了探索之间的相关性比较图像。为了填补这一空白,本文提出了一种新的端到端可训练动态卷积框架,名为实例和配对感知动态网络。该模型由三个主要分支组成,其中构建了一个自引导动态分支来增强实例特定的特征,专注于每一幅图像。此外,我们还设计了一个相互指导的动态分支,以生成对感知功能的每对图像进行比较。大量的实验进行,以验证我们所提出的算法的有效性。我们在几个主流的人和车辆ReID数据集上评估了我们的算法,包括CUHK 03,DukeMTMCreID,Market-1501,VeRi 776和VehicleID。在某些数据集中,我们的算法优于最先进的方法,在其他数据集中,我们的算法实现了相当的性能。
2021-03-29 cs.CV
3D Graph Embedding Learning with a Structure-aware Loss Function for Point Cloud Semantic Instance Segmentation
Research Institute of Robotics, Shanghai Jiao Tong University(上海交通大学机器人研究所);Department of Automation, Shanghai Jiao Tong University(上海交通大学自动化系)
提出了一种基于点云的三维语义实例分割方法。一个三维卷积神经网络称为子流形稀疏卷积网络用于同时生成语义预测和实例嵌入。为了获得每个3D实例的判别嵌入,提出了一种结构感知的损失函数,该函数同时考虑了结构信息和嵌入信息。为了使每个3D实例的嵌入更加一致,提出了基于注意力的k近邻(KNN),为不同的邻居分配不同的权重。在基于注意力的KNN的基础上,在稀疏卷积网络的基础上增加了一个图卷积网络,以得到精细的嵌入。我们的网络可以进行端到端的训练。一个简单的均值漂移算法被用来聚类细化嵌入,以获得最终的实例预测。因此,我们的框架可以输出语义预测和实例预测。实验表明,我们的方法优于所有国家的最先进的方法在ScanNet基准和NYUv2数据集。
2019-02-14 cs.CV
A2VIS: Amodal-Aware Approach to Video Instance Segmentation
University of Arkansas(阿肯色大学);Coupang, Inc.(Coupang公司)
本文提出A2VIS框架,通过引入非模态表示和时空先验非模态掩码头,融合可见与被遮挡目标信息,提升视频实例分割和多目标跟踪在遮挡场景下的性能。
2025-04-09 cs.CV
Online Multi-Object Tracking with Instance-Aware Tracker and Dynamic Model Refreshment
Temple University(天普大学)
无模型单目标跟踪(SOT)算法的最新进展在很大程度上启发了将SOT应用于\emph{multi-object tracking}(MOT)以提高鲁棒性并减轻对外部检测器的依赖。然而,SOT算法通常被设计用于区分目标和它的环境,因此遇到的问题时,目标是空间混合与相似的对象在MOT中经常观察到的。为了解决这个问题,在本文中,我们提出了一个实例感知跟踪器,通过编码内和目标模型之间的意识,集成SOT技术的MOT。特别是,我们构建每个目标模型融合信息区分目标从背景和其他情况(跟踪目标)。为了保持所有目标模型的唯一性,我们的实例感知跟踪器考虑来自所有目标模型的响应图,并专门分配空间位置以优化整体准确性。我们的另一个贡献是通过卷积神经网络学习的动态模型刷新策略。该方法既能消除初始化噪声,又能适应目标尺寸和外观的变化。为了证明所提出的方法的有效性,它是在流行的MOT15和MOT16挑战基准进行评估。在这两个基准,我们的方法实现了最好的整体性能与公布的结果相比。
2019-02-21 cs.CV
Deep Occlusion-Aware Instance Segmentation with Overlapping BiLayers
The Hong Kong University of Science and Technology(香港科技大学);Kuaishou Technology(快手科技)
分割高度重叠的对象是具有挑战性的,因为通常在真实对象轮廓和遮挡边界之间没有区别。与以前的两阶段实例分割方法不同,我们将图像形成建模为两个重叠层的组合,并提出双层卷积网络(BCNet),其中顶部GCN层检测遮挡对象(遮挡者),底部GCN层推断部分遮挡实例(被遮挡者)。双层结构的遮挡关系显式建模自然地将遮挡实例和被遮挡实例的边界重叠,并在掩模回归过程中考虑它们之间的相互作用。我们验证了双层去耦的功效,一阶段和两阶段的对象检测器具有不同的骨干和网络层的选择。尽管其简单性,COCO和KINS上的大量实验表明,我们的闭塞感知BCNet实现了大而一致的性能增益,特别是对于严重闭塞的情况。代码可在https://github.com/lkeab/BCNet上获得。
2021-03-23 cs.CV
Instance-Aware Observer Network for Out-of-Distribution Object Segmentation
Valeo(法雷奥);Ecole des Ponts(巴黎路桥学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CY Université(CY大学);ENSEA(国立高等电子及应用学院)
最近的预测不确定性估计的工作已经显示出有前途的结果外的分布(OOD)检测语义分割。然而,这些方法难以精确定位图像中的感兴趣点,即异常。这种限制是由于在像素级进行细粒度预测的困难。为了解决这个问题,我们建立在最近的ObsNet的方法,提供对象实例知识的观察员。我们通过利用实例掩码预测来扩展ObsNet。我们使用一个额外的,类不可知的,对象检测器来过滤和聚合观察者的预测。最后,我们为图像中的每个实例预测一个唯一的异常分数。我们表明,我们提出的方法准确地解开分布对象从OOD对象在三个数据集。
2022-08-29 cs.CV
IAFA: Instance-aware Feature Aggregation for 3D Object Detection from a Single Image
Baidu Research(百度研究院);Northwestern Polytechnical University(西北工业大学);Beijing Institute of Technology(北京理工大学)
从单个图像中检测3D目标检测是自动驾驶(AD)中的重要任务,其中已经提出了各种方法。然而,由于单图像深度估计已经是一个不适定问题,因此该任务本质上是模糊的和具有挑战性的。在本文中,我们提出了一个实例感知的方法来聚合有用的信息,以提高三维目标检测的准确性与以下贡献。首先,提出了一个实例感知的特征聚合(IAFA)模块,用于收集局部和全局特征进行三维边界框回归。其次,我们经验性地发现,空间注意力模块可以很好地学习,通过采取粗层次的实例注释作为监督信号。所提出的模块显着提高了性能的基线方法的3D检测和2D鸟瞰视图的车辆检测在所有三个类别。第三,我们提出的方法优于所有基于单个图像的方法(即使是这些以深度作为辅助输入训练的方法),并在KITTI基准测试中实现了最先进的3D检测性能。
2021-03-05 cs.CV
Joint Image-Instance Spatial-Temporal Attention for Few-shot Action Recognition
Shanghai Jiao Tong University(上海交通大学);The University of Tokyo(东京大学);E-surfing Vision Technology Co., Ltd.(天翼视觉科技有限公司)
针对少样本动作识别中图像级特征含背景噪声、忽视动作相关实例的问题,提出I2ST,通过实例感知与联合图像-实例时空注意力增强特征表达。
2025-03-11 cs.CV
3D-Aware Instance Segmentation and Tracking in Egocentric Videos
University of Oxford(牛津大学);NAVER LABS Europe(NAVER欧洲实验室)
本文提出一种融合场景几何、3D质心跟踪与实例分割的第一人称视频3D感知方法,在EPIC Fields上显著提升跟踪与分割一致性,并支持3D重建等下游任务。
2024-11-20 cs.AI cs.CV cs.LG
InstAP: Instance-Aware Vision-Language Pre-Train for Spatial-Temporal Understanding
Woven by Toyota
InstAP通过结合全局视觉-文本对齐与细粒度实例级对比对齐,提升实例级推理能力,在InstVL数据集上实现优于现有VLP模型的实例检索性能,并在零样本视频基准中表现优异。
2026-04-09 cs.AI cs.CV