MIQ-SAM3D: From Single-Point Prompt to Multi-Instance Segmentation via Competitive Query Refinement
提出MIQ-SAM3D多实例3D分割框架,通过竞争性查询优化策略将单点提示转化为多实例预测,结合混合CNN-Transformer编码器保留局部细节,在LiTS17和KiTS21数据集上实现高效且鲁棒的多病灶分割。
2025-11-03 cs.CV
OpenInst: A Simple Query-Based Method for Open-World Instance Segmentation
Huazhong University of Science and Technology(华中科技大学);Horizon Robotics(地平线机器人)
开放世界实例分割由于其在自动驾驶、机器人感知和遥感等实际应用中的重要性,近年来得到了广泛的应用。然而,以前的方法要么产生不令人满意的结果,要么依赖于复杂的系统和范式。我们想知道是否有一种简单的方法来获得最先进的结果。幸运的是,我们已经确定了两个观察结果,帮助我们实现两全其美:1)基于查询的方法在开放世界实例分割中表现出优于基于密集命题的方法,2)学习本地化线索足以用于开放世界实例分割。基于这些观察,我们提出了一个简单的基于查询的方法命名为OpenInst开放世界的实例分割。OpenInst利用了类似QueryInst的高级查询方法,并专注于学习本地化提示。值得注意的是,OpenInst是一个非常简单和直接的框架,没有任何辅助模块或后处理,但在多个基准测试中获得了最先进的结果。具体而言,在COCO $\to$ UVO场景中,OpenInst实现了53.3的掩模AR,比之前的最佳方法高出2.0 AR,结构更简单。我们希望OpenInst可以作为这一领域未来研究的坚实基线。
2023-03-28 cs.CV
Vision-Language Transformer and Query Generation for Referring Segmentation
Nanyang Technological University(南洋理工大学)
在这项工作中,我们解决了具有挑战性的任务,指分割。参照分割中的查询表达式通常通过描述目标对象与其他对象的关系来指示目标对象。因此,要在图像中的所有实例中找到目标实例,模型必须对整个图像有一个整体的理解。为了实现这一点,我们重新制定参考分割作为一个直接关注的问题:寻找区域中的图像中的查询语言表达是最关注的。我们引入了Transformer和多头注意力来构建一个具有编码器-解码器注意力机制架构的网络,该架构可以用语言表达式“查询”给定的图像。此外,我们提出了一个查询生成模块,它产生多个集合的查询具有不同的注意力权重,代表了从不同方面的语言表达的多样化的理解。同时,为了从这些基于视觉线索的多样化理解中找到最好的方法,我们进一步提出了一个查询平衡模块来自适应地选择这些查询的输出特征,以更好地生成掩码。没有花里胡哨的东西,我们的方法是轻量级的,并在三个引用分割数据集RefCOCO、RefCOCO+和G-Ref上一致地实现了新的最先进的性能。我们的代码可以在https://github.com/henghuiding/Vision-Language-Transformer上找到。
2021-08-12 cs.CV
TraSeTR: Track-to-Segment Transformer with Contrastive Query for Instance-level Instrument Segmentation in Robotic Surgery
The Chinese University of Hong Kong(香港中文大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University College London(伦敦大学学院)
手术器械分割-通常是一项像素分类任务-对于促进机器人辅助手术(RAS)中的认知智能至关重要。然而,以前的方法正在努力区分仪器类型和实例。为了解决上述问题,我们探索了一个掩码分类范式,产生每段预测。我们提出了TraSeTR,一种新的跟踪到段Transformer,明智地利用跟踪线索,以协助手术器械分割。TraSeTR通过实例级预测(即,通过解码查询嵌入,得到一组class-bbox-mask对。具体来说,我们引入了先前的查询,编码与以前的时间知识,通过身份匹配跟踪信号传输到当前实例。在此基础上,提出了一种对比查询学习策略,对查询特征空间进行了重构,大大降低了由于时间变化较大而导致的跟踪困难。我们的方法的有效性证明了国家的最先进的仪器类型的分割结果在三个公共数据集,包括两个RAS基准从EndoVis挑战和一个白内障手术数据集CaDIS。
2022-02-17 cs.CV
Boosting Few-shot 3D Point Cloud Segmentation via Query-Guided Enhancement
Harbin Institute of Technology Shenzhen(哈尔滨工业大学深圳校区);SmartMore(思谋科技);Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies(广东省新型安全智能技术重点实验室)
本文提出一种查询引导增强方法,通过适配支持背景原型并在查询特征引导下校正支持原型,缩小支持原型与查询特征间的上下文差距,从而在保持高效率的同时显著提升少样本三维点云分割性能。
2023-08-08 cs.CV
Few-Shot Segmentation with Global and Local Contrastive Learning
School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);Institute of Big Data, Fudan University(复旦大学大数据学院);Cardiff University(卡迪夫大学)
本文提出一种独立于支持分支的查询信息提取方法,利用全局-局部对比学习学习先验并生成区域图指导交互,在PASCAL-5$^{i}$和COCO上达到SOTA。
2025-03-25 cs.CV
Learning Equivariant Segmentation with Instance-Unique Querying
University of Technology Sydney(悉尼科技大学);Rochester Institute of Technology(罗切斯特理工学院)
流行的最先进的实例分割方法属于基于查询的方案,其中通过使用一组实例感知嵌入查询图像特征来导出实例掩码。在这项工作中,我们设计了一个新的训练框架,通过判别式查询嵌入学习来增强基于查询的模型。它探讨了查询和实例之间关系的两个基本属性,即查询级唯一性和变换等变性。首先,我们的算法使用查询从整个训练数据集中检索相应的实例,而不是只在单个场景中搜索。由于跨场景查询实例更具挑战性,因此分割器被迫学习更具区分性的查询以实现有效的实例分离。其次,我们的算法鼓励图像(实例)表示和查询是等变的几何变换,导致更强大的,实例查询匹配。在四个著名的基于查询的模型($i.e.,$ CondInst,SOLOv 2,SOTR和Mask 2Former)之上,我们的训练算法在COCO数据集上提供了显着的性能增益($e.g.,$ +1.6-3.2 AP)。此外,在LVISv 1数据集上,我们的算法将SOLOv 2的性能提高了2.7 AP。
2022-12-19 cs.CV
Mutual Query Network for Multi-Modal Product Image Segmentation
Retail Platform Operation and Marketing Center, JD(京东零售平台运营与营销中心)
针对仅依赖视觉模态难以区分无关产品的问题,提出融合视觉与语言模态的互查询网络,并构建含3万张图像的MMPS数据集,显著优于现有方法。
2023-06-26 cs.CV
ZePT: Zero-Shot Pan-Tumor Segmentation via Query-Disentangling and Self-Prompting
Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学);SenseTime Research(商汤科技研究院)
针对医学图像长尾分布挑战,提出零样本泛肿瘤分割框架ZePT,通过查询解耦与自提示两阶段策略及特征级查询-知识对齐,实现对未见肿瘤类别的精准分割,性能超越现有方法。
2024-03-22 cs.CV
Learning Dynamic Query Combinations for Transformer-based Object Detection and Segmentation
University of Florida(佛罗里达大学);ByteDance Inc.(字节跳动公司)
本文提出基于图像高级语义学习动态系数的凸组合生成调制查询,以更好地捕捉目标位置和类别的先验,使广泛的基于DETR的模型在检测和分割等多个任务上取得一致且优越的性能。
2023-07-27 cs.CV
Few-Shot Segmentation via Cycle-Consistent Transformer
Baidu Research(百度研究院);University of Technology Sydney(悉尼科技大学);University of Texas, Austin(德克萨斯大学奥斯汀分校);Zhejiang University(浙江大学);Beijing Jiaotong University(北京交通大学)
Few-Shot分割的目标是训练一个分割模型,该模型可以快速适应具有少量样本的新类别。传统的训练范式是学习以来自支持图像的特征为条件对查询图像进行预测。以前的方法只利用支持图像的语义级原型作为条件信息。这些方法不能利用所有的像素支持信息的查询预测,这是关键的分割任务。在本文中,我们专注于利用支持和查询图像之间的像素关系,以促进Few-Shot分割任务。我们设计了一个新的周期一致的Transformer(CyCTR)模块聚合像素支持功能到查询。CyCTR在来自不同图像的特征之间执行交叉关注,即支持和查询图像。我们观察到,可能存在意想不到的不相关的像素级支持功能。直接执行交叉注意可能会将这些特征从支持聚集到查询,并使查询特征产生偏差。因此,我们建议使用一种新的周期一致的注意力机制,以过滤掉可能有害的支持功能,并鼓励查询功能参加最翔实的像素支持图像。所有的Few-Shot分割基准上的实验表明,我们提出的CyCTR导致显着的改善相比,以前的国家的最先进的方法。具体而言,在$5^i$和COCO- $20^i$数据集上,我们实现了5shot分割的67.5%和45.6% mIoU,分别比之前的最先进方法高出5.6%和7.1%。
2022-03-08 cs.CV
FarmMind: Reasoning-Query-Driven Dynamic Segmentation for Farmland Remote Sensing Images
School of Geosciences and Info-Physics, Central South University(地质科学与信息物理学院,中南大学)
FarmMind提出了一种基于推理-查询的动态分割框架,通过动态查询辅助图像解决农田遥感图像分割中的模糊性和不确定性问题,提升分割性能和泛化能力。
2026-01-30 cs.CV
Query-aware Hub Prototype Learning for Few-Shot 3D Point Cloud Semantic Segmentation
本文提出面向查询的枢纽原型学习方法,通过建模支持集与查询集的语义相关性,提升少样本3D点云语义分割的性能。
2025-12-09 cs.CV
Efficient Video Object Segmentation via Network Modulation
Snap Inc.(斯纳普公司);Northwestern University(西北大学);Google Inc.(谷歌公司)
视频对象分割的目标是在整个视频序列中分割特定的对象,仅给定注释的第一帧。最近的基于深度学习的方法通过使用数百次梯度下降迭代来微调注释帧上的通用分割模型来发现它是有效的。尽管这些方法实现了高精度,但微调过程效率低下,无法满足现实世界应用的要求。我们提出了一种新的方法,使用一个单一的前向传递,以适应特定对象的外观的分割模型。具体地,学习称为调制器的第Meta神经网络,以在给定目标对象的有限视觉和空间信息的情况下操纵分割网络的中间层。实验表明,我们的方法比微调方法快70倍,同时达到类似的准确性。
2018-02-04 cs.CV
Mixed-Query Transformer: A Unified Image Segmentation Architecture
AWS AI Labs(AWS AI实验室)
提出 MQ-Former 统一图像分割架构,通过混合查询和合成掩码、描述增强,以单组权重支持多任务、多数据集分割,并在开放词汇 SeginW 上超过先前方法 7 点以上。
2024-04-06 cs.CV
PolyphonicFormer: Unified Query Learning for Depth-aware Video Panoptic Segmentation
Peking University(北京大学);SenseTime Research(商汤科技研究院);The University of Sydney(悉尼大学);Wuhan University(武汉大学);Hubei Luojia Laboratory(湖北珞珈实验室);JD Explore Academy(京东探索研究院)
深度感知的视频全景分割(DVPS)是一个新的具有挑战性的视觉问题,旨在预测全景分割和深度的视频同时。以前的工作解决了这一任务,通过扩展现有的全景分割方法与一个额外的密集的深度预测和实例跟踪头。然而,深度和全景分割之间的关系没有得到很好的探索-简单地结合现有的方法会导致竞争,需要仔细的权重平衡。在本文中,我们提出了PolyphonicFormer,一个视觉Transformer,统一这些子任务下的DVPS任务,并导致更强大的结果。我们的主要见解是,通过我们提出的利用对象查询预测实例级深度图的新范式,深度可以与全景分割协调一致。然后通过探究式学习探讨了这两种任务之间的关系。从实验中,我们证明了我们的设计的好处,从深度估计和全景分割方面。由于每个事物查询也对实例信息进行编码,因此直接使用外观学习来执行跟踪是很自然的。我们的方法在两个DVPS数据集(Semantic KITTI,Cityscapes)上获得了最先进的结果,并在ICCV-2021 BMTT挑战赛视频+深度赛道上排名第一。代码可在https://github.com/HarborYuan/PolyphonicFormer上获得。
2022-12-28 cs.CV
Instances as Queries
Huazhong University of Science & Technology(华中科技大学)
最近,基于查询的目标检测框架实现了与先前的最先进的目标检测器相当的性能。然而,如何充分利用这些框架来执行实例分割仍然是一个悬而未决的问题。在本文中,我们提出了QueryInst(QUERASINST),一个基于查询的实例分割方法驱动的并行监督的动态掩码头。QueryInst的关键见解是利用不同阶段的对象查询中固有的一对一对应关系,以及同一阶段中掩码RoI特征和对象查询之间的一对一对应关系。该方法消除了基于非查询的多阶段实例分割方法中固有的显式多阶段掩码头连接和建议分布不一致问题。我们对三个具有挑战性的基准进行了广泛的实验,即,COCO、CityScapes和YouTube-VIS评估QueryInst在实例分割和视频实例分割(VIS)任务中的有效性。具体来说,使用ResNet-101-FPN主干,QueryInst在COCO test-dev上获得了48.1个box AP和42.8个mask AP,在box AP和mask AP方面都比HTC高出2分,而运行速度快了2.4倍。对于视频实例分割,QueryInst在所有在线VIS方法中实现了最佳性能,并取得了不错的速度-准确性权衡。代码可在\url{https://github.com/hustvl/QueryInst}上获得。
2021-05-23 cs.CV
Self-Support Few-Shot Semantic Segmentation
HKUST(香港科技大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Kuaishou Technology(快手科技)
现有的Few-Shot分割方法在支持-查询匹配框架的基础上取得了很大的进展。但他们仍然严重遭受有限的覆盖范围内类的变化,从Few-Shot支持提供。启发简单的完形原则,属于同一个对象的像素更相似,比那些不同的对象相同的类,我们提出了一种新的自支持匹配策略,以缓解这个问题,它使用查询原型匹配查询功能,查询原型是从高置信度的查询预测收集。该策略能够有效地捕捉查询对象一致的底层特征,从而恰当地匹配查询特征。我们还提出了一个自适应的自助背景原型生成模块和自助损失,以进一步促进自助匹配过程。我们的自我支持网络大大提高了原型质量,从更强大的骨干和更多的支持中获得更多的改进,并在多个数据集上实现SOTA。代码位于\url{https://github.com/fanq15/SSP}。
2022-07-23 cs.CV
Intermediate Prototype Mining Transformer for Few-Shot Semantic Segmentation
Northwestern Polytechnical University(西北工业大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
Few-Shot语义分割是指在只有少量标注支持图像的情况下,对查询中的目标对象进行分割。以往的工作大多致力于从支持中挖掘出更有效的类别信息,以匹配查询中对应的对象。然而,他们都忽略了查询和支持图像之间的类别信息差距。如果它们中的对象表现出很大的类内多样性,则强行将类别信息从支持迁移到查询是无效的。为了解决这个问题,我们是第一个引入一个中间原型挖掘确定性类别信息的支持和自适应类别知识的查询。具体来说,我们设计了一个中间原型挖掘Transformer(IPMT),以迭代的方式学习原型。在IPMT的每一层中,我们将支持和查询特征中的对象信息传播到原型,然后使用它来激活查询特征映射。通过迭代地进行这个过程,中间原型和查询功能都可以逐步改进。最后,使用最终查询特征来产生精确的分割预测。在PASCAL-5i和COCO-20 i数据集上的大量实验清楚地验证了我们的IPMT的有效性,并表明它比以前的最先进的方法有很大的优势。代码可在https://github.com/LIUYUANWEI98/IPMT上获得
2022-10-13 cs.CV
SimPropNet: Improved Similarity Propagation for Few-shot Image Segmentation
IIIT Hyderabad(海得拉巴国际信息技术学院);Adobe(奥多比)
Few-Shot分割(FSS)方法使用(支持)图像掩模对的小集合对目标(查询)图像中的特定对象类执行图像分割。最近的基于深度神经网络的FSS方法利用支持图像的前景特征与查询图像特征之间的高维特征相似性。在这项工作中,我们展示了现有方法中利用这种相似性信息的差距,并提出了一个框架- SimPropNet,以弥合这些差距。我们建议联合预测的支持和查询掩码,以迫使支持功能,以共享特性的查询功能。我们还建议使用一种新型的前景-背景注意力融合机制来利用查询和支持图像的背景区域中的相似性。我们的方法在PASCAL-5i数据集上实现了单次和五次分割的最新结果。本文包括详细的分析和消融研究提出的改进和定量比较与当代方法。
2020-05-02 cs.CV
Shift and matching queries for video semantic segmentation
Nagoya Institute of Technology(名古屋工业大学)
本文提出利用特征移位和查询匹配将基于查询的图像分割模型扩展至视频,以解决逐帧分割无法保持时间一致性的问题,在CityScapes-VPS和VSPW数据集上显著优于基线。
2024-10-10 cs.CV
Continual Learning for Image Segmentation with Dynamic Query
Zhejiang University(浙江大学);University of Chinese Academy of Sciences(中国科学院大学);Kuaishou Technology(快手科技);National University of Singapore(新加坡国立大学)
本文提出 CISDQ 方法,通过增量动态查询和查询引导知识蒸馏解决持续图像分割中的灾难性遗忘与背景偏移问题,并扩展至实例分割,在多个数据集上取得最先进性能。
2023-11-29 cs.CV
Support-Query Prototype Fusion Network for Few-shot Medical Image Segmentation
Huaqiao University(华侨大学);Key Laboratory of Computer Vision and Machine Learning of Fujian Provincial Universities(福建省高校计算机视觉与机器学习重点实验室)
针对少样本医学图像分割中现有原型方法重支持集、轻查询集导致类内差异大的问题,提出支持-查询原型融合网络SQPFNet,通过融合双原型实现精细化分割,在两个公开数据集上达到SOTA性能。
2024-05-13 cs.CV
MR-COSMO: Visual-Text Memory Recall and Direct CrOSs-MOdal Alignment Method for Query-Driven 3D Segmentation
MR-COSMO通过视觉-文本记忆召回与直接跨模态对齐方法,在查询驱动的3D分割中实现几何与语义特征的精确融合,提升点云分割性能。
2025-12-15 cs.CV
Contour-Guided Query-Based Feature Fusion for Boundary-Aware and Generalizable Cardiac Ultrasound Segmentation
Department of Computer Science and Artificial Intelligence, Dongguk University(东国大学计算机科学与人工智能系)
本文提出CGQR-Net网络,通过整合多分辨率特征表示与轮廓导出的结构先验,提升心脏超声分割的边界精度和泛化能力。
2026-03-30 cs.CV
FastInst: A Simple Query-Based Model for Real-Time Instance Segmentation
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文提出FastInst,一个用于实时实例分割的简单有效的基于查询的框架,通过实例激活引导查询等关键设计,在COCO上实现32.5 FPS和40.5 AP,在速度和精度上优于大多数实时同类方法。
2023-04-01 cs.CV
AnchorSeg: Language Grounded Query Banks for Reasoning Segmentation
College of Computer Science and Artificial Intelligence(计算机科学与人工智能学院)
AnchorSeg通过结构化语言引导查询库将推理分割建模为图像标记上的条件生成过程,通过显式分离空间定位与语义推理,实现67.7%的gIoU和68.1%的cIoU的SOTA结果。
2026-04-22 cs.CV
Dense Cross-Query-and-Support Attention Weighted Mask Aggregation for Few-Shot Segmentation
Southeast Univ.(东南大学);Tencent Jarvis Lab(腾讯天衍实验室)
Few-Shot语义分割(FSS)的研究引起了人们的极大关注,其目标是在给定目标类的少量标注支持图像的情况下,从查询图像中分割出目标对象。这一具有挑战性的任务的关键是充分利用支持图像中的信息,通过利用查询和支持图像之间的细粒度的相关性。然而,大多数现有方法要么将支持信息压缩到几个类式原型中,要么使用部分支持信息(例如,仅前景),导致不可忽略的信息损失。在本文中,我们提出了密集像素交叉查询和支持注意加权掩码聚合(DCAMA),其中前景和背景支持信息都充分利用通过多层次像素之间的相关性配对查询和支持功能。DCAMA在Transformer架构中使用缩放点积注意力实现,将每个查询像素视为令牌,计算其与所有支持像素的相似性,并将其分割标签预测为所有支持像素标签的添加聚合-通过相似性加权。基于DCAMA的独特配方,我们进一步提出了高效和有效的一遍推理的n次拍摄分割,其中所有支持图像的像素被收集的掩模聚合一次。实验表明,我们的DCAMA在PASCAL-5i,COCO-20 i和FSS-1000的标准FSS基准测试中显着提高了最先进的水平,例如,与之前的最佳记录相比,单次mIoU的绝对改善分别为3.1%、9.7%和3.6%。消融研究也验证了DCAMA的设计。
2022-07-18 cs.CV
Open-vocabulary Panoptic Segmentation with Embedding Modulation
The University of Hong Kong(香港大学);Massachusetts Institute of Technology(麻省理工学院);Meta AI
提出 OPSNet 框架,通过嵌入调制模块连接分割模型与 CLIP,以较少额外数据实现开放与闭集词汇全景分割的先进性能。
2023-07-15 cs.CV
Activation Modulation and Recalibration Scheme for Weakly Supervised Semantic Segmentation
Bytedance Inc.(字节跳动)
图像级弱监督语义分割(WSSS)是一个基本而又具有挑战性的计算机视觉任务,有助于场景理解和自动驾驶。大多数现有的方法都采用基于分类的类激活图(CAM)作为初始伪标签,这些伪标签往往集中在有区别的图像区域上,并且缺乏用于分割任务的自定义特征。为了缓解这个问题,我们提出了一种新的激活调制和重新校准(AMR)方案,它利用聚光灯分支和补偿分支来获得加权CAM,可以提供重新校准监督和特定于任务的概念。具体而言,注意调制模块(AMM)被用来重新安排的通道空间顺序的角度来看,这有助于明确建模通道的相互依赖性和空间编码的特征重要性的分布,以适应性地调制面向分割的激活响应。此外,我们引入了一个交叉伪监督的双分支,它可以被看作是一个语义相似的正则化,以相互细化两个分支。大量的实验表明,AMR在PASCAL VOC 2012数据集上建立了一个新的最先进的性能,不仅超过了当前使用图像级监督训练的方法,而且超过了一些依赖于更强监督的方法,如显着性标签。实验还表明,我们的计划是即插即用,可以与其他方法,以提高其性能。
2021-12-16 cs.CV
Beyond the Final Layer: Hierarchical Query Fusion Transformer with Agent-Interpolation Initialization for 3D Instance Segmentation
University of Science and Technology of China(中国科学技术大学)
本文提出BFL方法,通过智能体插值初始化模块和层次化查询融合解码器,解决三维实例分割中查询初始化位置与内容信息难以兼顾及深层物体消失问题,在多个数据集上取得优越性能。
2025-02-06 cs.CV
Self-Regularized Prototypical Network for Few-Shot Semantic Segmentation
Nanyang Technological University(南洋理工大学)
图像语义分割中的深度CNN通常需要大量密集注释的图像进行训练,并且难以推广到不可见的对象类别。因此,已经开发了Few-Shot分割以仅用几个注释的示例来执行分割。在这项工作中,我们解决了Few-Shot分割使用自正则化原型网络(SRPNet)的基础上,原型提取更好地利用支持信息。SRPNet从支持图像中提取特定于类的原型表示,并通过距离度量-保真度为查询图像生成分割掩码。SRPNet提出了一种直接有效的支持集上的原型正则化方法,在该方法中,生成的原型在支持集本身上进行评估和正则化。生成的原型恢复支持掩码的程度对性能施加了上限。无论从支持集到查询集的知识推广得多么完整,查询集的性能都不应该超过上限。通过特定的原型正则化,SRPNet充分利用了支持中的知识,并提供了高质量的原型,这些原型代表了每个语义类,同时对不同的类具有区分性。通过结合一组正则化原型的迭代查询推理(IQI)模块,进一步提高了查询性能。我们提出的SRPNet在1镜头和5镜头分割基准上实现了新的最先进的性能。
2022-10-30 cs.CV
Query Rewriting for Complex Object Segmentation in 4D Gaussian Representations
University of Science(科学大学);Viet Nam National University, Ho Chi Minh City(越南国家大学胡志明市分校)
针对4D高斯表示中复杂物体分割任务的查询噪声问题,提出无需训练的关键词锚定查询重写策略,在HyperNeRF和Neu3D上实现了时间定位与空间分割性能的显著提升。
2026-09-03 cs.CV
Group-On: Boosting One-Shot Segmentation with Supportive Query
Zhejiang University(浙江大学);University of Notre Dame(诺丁汉大学);Zhejiang Key Laboratory of Medical Imaging Artificial Intelligence(浙江省医学影像人工智能重点实验室);HKUST(Guangzhou)(香港科技大学(广州))
针对单样本语义分割中的类内变化问题,本文提出 Group-On,通过批量查询互为伪支持并结合 MoME 路由专家机制,显著提升性能。
2025-06-08 cs.CV
A Self-Distillation Embedded Supervised Affinity Attention Model for Few-Shot Segmentation
Beihang University(北京航空航天大学);Beijing University of Technology(北京工业大学)
Few-Shot分割是一种利用有限的标注样本来分割未知对象的方法。然而,现有的方法仍然面临两个主要挑战。首先,支持图像和查询图像之间巨大的特征差异导致知识传递障碍,这损害了分割性能。其次,有限的支持原型不能充分表达支持对象的特征,难以指导高质量的查询分割。针对这两个问题,本文提出了自升华嵌入式监督仿射注意力模型来提高Few-Shot分割任务的性能。具体来说,自升华引导原型模块使用自升华来对齐支持和查询的特征。有监督的亲和注意力模块生成高质量的查询注意力图,以提供足够的对象信息。大量的实验证明,我们的模型显着提高了性能相比,现有的方法。全面的消融实验和可视化研究也表明,我们的方法对Few-Shot分割任务的显着效果。在COCO-20 i数据集上,我们获得了新的最先进的结果。训练代码和预训练模型可在https://github.com/cv516Buaa/SD-AANet上获得。
2023-03-20 cs.CV
VLT: Vision-Language Transformer and Query Generation for Referring Segmentation
Nanyang Technological University(南洋理工大学)
提出了一种视觉语言Transformer(VLT)框架,用于指代切分,以促进多模态信息之间的深度交互,增强对视觉语言特征的整体理解。有不同的方法来理解语言表达的动态强调,特别是在与图像交互时。然而,现有的Transformer作品中学习的查询在训练后是固定的,这不能应对语言表达的随机性和巨大的多样性。为了解决这个问题,我们提出了一个查询生成模块,它动态地产生多组特定于输入的查询来表示语言表达的不同理解。为了在这些不同的理解中找到最好的,从而生成更好的掩码,我们提出了一个查询平衡模块来选择性地融合查询集的相应响应。此外,为了提高模型处理不同语言表达的能力,我们考虑样本间学习,明确赋予模型理解同一对象的不同语言表达的知识。我们引入掩蔽对比学习来缩小对同一目标对象的不同表达的特征,同时区分不同对象的特征。所提出的方法是轻量级的,并在五个数据集上一致地实现了新的最先进的参考分割结果。
2022-10-28 cs.CV
Focus on Query: Adversarial Mining Transformer for Few-Shot Segmentation
University of Science and Technology of China(中国科学技术大学)
本文提出以查询为中心的少样本分割模型AMFormer,通过对象挖掘Transformer和细节挖掘Transformer的对抗训练,在仅需粗略支持引导或弱标签的情况下实现精确分割,并在Pascal-5i和COCO-20i上取得最优结果。
2023-11-29 cs.CV
A Joint Framework Towards Class-aware and Class-agnostic Alignment for Few-shot Segmentation
Alibaba Group(阿里巴巴集团);Singapore Management University(新加坡管理大学)
Few-Shot分割(FSS)的目的是分割的对象看不见的类,只有少数注释的支持图像。大多数现有的方法只是简单地缝合查询功能与独立的支持原型和部分的查询图像的混合功能提供给解码器。虽然已经取得了显着的改进,现有的方法仍然面临类偏差,由于类变体和背景混淆。在本文中,我们提出了一个联合框架,结合了更有价值的类感知和类不可知的对齐指导,以促进分割。具体来说,我们设计了一个混合对齐模块,建立多尺度查询支持对应挖掘最相关的类感知信息,为每个查询图像从相应的支持功能。此外,我们探索利用基类知识来生成类不可知的先验掩模,该掩模通过突出显示所有对象区域,特别是那些看不见的类,来区分真实背景和前景。通过联合集成类感知和类不可知的对齐指导,在查询图像上获得更好的分割性能。在PASCAL- $5^i$和COCO- $20^i$数据集上的大量实验表明,我们提出的联合框架性能更好,特别是在1次拍摄设置上。
2022-11-02 cs.CV
UniVerse: A Unified Modulation Framework for Segmentation-Free,Disentangled Multi-Concept Personalization
University of Maryland, College Park(马里兰大学College Park分校);Qualcomm Technologies, Inc.(高通技术公司)
提出UniVerse框架,通过扩散变换器中的统一调制实现无分割的多概念解耦与个性化,显著提升定位精度和视觉保真度。
2026-06-02 cs.CV
Efficient Video Instance Segmentation via Tracklet Query and Proposal
State University of New York at Buffalo(纽约州立大学布法罗分校);Amazon(亚马逊)
视频实例分割(VIS)的目标是同时对视频中的多个对象实例进行分类、分割和跟踪。最近的剪辑级VIS每次都将短视频剪辑作为输入,表现出比帧级VIS(分段跟踪)更强的性能,因为利用了来自多个帧的更多时间上下文。然而,大多数剪辑级方法既不是端到端可学习的,也不是实时的。最近的VIS Transformer(VisTR)解决了这些限制,它在剪辑内执行VIS端到端。然而,VisTR由于其逐帧密集注意力而遭受长训练时间。此外,VisTR不能在多个视频片段中完全端到端学习,因为它需要手工构建的数据关联来链接连续片段之间的实例轨迹。本文提出了EfficientVIS,这是一个具有高效训练和推理的完全端到端框架。核心是tracklet查询和tracklet建议,通过迭代查询-视频交互在空间和时间上关联和分割感兴趣区域(ROI)。我们进一步提出了一个对应学习,使片段之间的tracklet链接端到端的学习。与VisTR相比,EfficientVIS所需的训练时间减少了15倍,同时在YouTube-VIS基准测试中达到了最先进的准确性。同时,我们的方法使整个视频实例分割在一个单一的端到端的通过没有数据关联在所有。
2022-03-03 cs.CV
Symmetrical Joint Learning Support-query Prototypes for Few-shot Segmentation
School of Computer Science, Nanjing University of Posts and Telecommunications(南京邮电大学计算机学院);Singapore University of Technology and Design(新加坡科技设计大学);School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院);University of California at Riverside(加州大学河滨分校)
提出 Sym-Net 框架,通过视觉-文本对齐、无参数先验掩码生成和超相关模块,对称联合学习支持与查询原型,有效解决少样本分割中的类内变化问题,显著提升分割性能。
2024-07-27 cs.CV
Efficient Temporal Action Segmentation via Boundary-aware Query Voting
Stony Brook University(石溪大学);Brookhaven National Laboratory(布鲁克海文国家实验室);Air Force Office of Scientific Research(空军科学研究办公室);The City College of New York(纽约城市学院)
针对时间动作分割计算成本高的问题,提出边界感知Transformer网络BaFormer,通过实例查询和全局查询实现高效分割,仅用DiffAct 6%的运行时间达到相当或更优精度。
2024-05-25 cs.CV
Query-guided Prototype Evolution Network for Few-Shot Segmentation
Institute of Information Science, Beijing Jiaotong University(北京交通大学信息科学研究所);School of Control Science and Engineering, Shandong University(山东大学控制科学与工程学院);School of Computer Science and Technology, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院);Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系)
针对少样本分割中现有方法忽略查询特定需求的问题,提出QPENet,通过PPG、DPE和GBC模块实现查询引导的前后景原型演化,在PASCAL-$5^i$和COCO-$20^i$数据集上取得优于现有SOTA的性能。
2024-12-07 cs.CV
CATrans: Context and Affinity Transformer for Few-Shot Segmentation
Australian National University(澳大利亚国立大学);Baidu Research(百度研究院);National Engineering Laboratory for Deep Learning Technology and Application(深度学习技术及应用国家工程实验室)
Few-Shot分割(FSS)的目的是分割新的类别给稀缺的注释支持图像。FSS的关键是如何聚集支持和查询图像之间的密集相关性,以进行查询分割,同时对外观和上下文的大变化具有鲁棒性。为此,以前的基于transformer的方法探索支持查询对之间的上下文相似性或亲和映射的全局共识。在这项工作中,我们有效地整合了上下文和亲和力信息,通过提出新的上下文和亲和力Transformer(CATrans)的层次结构。具体而言,引导上下文Transformer(RCT)传播上下文信息从支持查询图像的条件下,更多的信息支持功能。基于支持对和查询对之间的巨大特征差异给上下文知识传递带来障碍的观察,基于自相似度的关联度Transformer(RAT)测量注意感知的关联度作为FSS的辅助信息,其中自关联度负责更可靠的交叉关联度。我们进行实验,以证明所提出的模型的有效性,优于国家的最先进的方法。
2022-04-27 cs.CV
O2Former:Direction-Aware and Multi-Scale Query Enhancement for SAR Ship Instance Segmentation
College of Electronic information engineering, Beihang University(电子信息工程学院,北航)
针对SAR舰船实例分割中尺度变化、目标密集、边界模糊及朝向不均的问题,提出融合优化查询生成器与方向感知嵌入模块的O2Former框架,性能优于现有基线,具备良好有效性与泛化性。
2025-06-13 cs.CV
Dynamic Prototype Convolution Network for Few-Shot Semantic Segmentation
Nanjing University of Science and Technology(南京理工大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of Amsterdam(阿姆斯特丹大学);Northeastern University(东北大学);The Netherlands Cancer Institute(荷兰癌症研究所)
Few-Shot语义分割(FSS)的关键挑战是如何在情景训练场景下定制支持和查询特征和/或其原型之间的期望交互。大多数现有的FSS方法仅通过利用普通操作(例如,余弦相似性和特征连接-用于分割查询对象。然而,这些交互方法通常不能很好地捕捉在FSS中广泛遇到的查询图像中的内在对象细节,例如,如果要分割的查询对象具有孔和槽,则几乎总是发生不准确的分割。为此,我们提出了一个动态原型卷积网络(DPCN),以充分捕捉上述的内在细节,准确的FSS。具体而言,DPCN首先提出一个动态卷积模块(DCM),从支持前景中生成动态核,然后利用这些核对查询特征进行卷积运算,实现信息交互。此外,我们配备DPCN与支持激活模块(SAM)和特征过滤模块(FFM)生成伪掩模和过滤掉查询图像的背景信息,分别。SAM和FFM一起可以从查询特征中挖掘丰富的上下文信息。我们的DPCN在k-shot FSS设置下也是灵活和高效的。在PASCAL-5i和COCO-20 i上的大量实验表明,DPCN在1次和5次设置下都具有优异的性能。
2022-04-22 cs.CV
Boosting Few-shot Semantic Segmentation with Transformers
ETH Zurich(苏黎世联邦理工学院)
由于全监督语义分割方法需要足够的全标记数据才能很好地工作,并且不能推广到不可见的类别,因此Few-Shot分割引起了大量的研究关注。现有技术从支持图像和查询图像中提取特征,在对查询图像进行预测之前对其进行联合处理。整个过程基于卷积神经网络(CNN),导致仅使用局部信息的问题。本文提出了一种基于变换器的Few-Shot语义分割方法。具体来说,我们的模型包括两个模块:全球增强模块(GEM)和本地增强模块(LEM)。GEM采用Transformer块来利用全局信息,而LEM利用传统的卷积来利用跨查询和支持特征的局部信息。GEM和LEM是互补的,有助于学习更好的特征表示来分割查询图像。在PASCAL-5i和COCO数据集上的大量实验表明,我们的方法实现了新的最先进的性能,证明了其有效性。
2021-08-04 cs.CV
Progressive Query Refinement Framework for Bird's-Eye-View Semantic Segmentation from Surrounding Images
University of Science and Technology(科学技术大学);ETRI(电子通信研究院)
本文提出一种用于自动驾驶鸟瞰图语义分割的渐进式查询细化框架,通过引入多分辨率概念和残差学习逐步更新查询图,并结合视觉特征交互网络,有效捕捉全局与局部特征,在IoU指标上超越SOTA模型。
2024-07-24 cs.CV
Few-shot Semantic Segmentation with Support-induced Graph Convolutional Network
University of Amsterdam(阿姆斯特丹大学);Nanjing University(南京大学);The Netherlands Cancer Institute(荷兰癌症研究所)
针对少样本语义分割中外观差异导致匹配不可靠的问题,提出支持诱导的图卷积网络(SiGCN),通过图推理和实例关联模块挖掘查询上下文,在PASCAL-5i和COCO-20i上取得最优性能。
2023-03-15 cs.CV
LaSSM: Efficient Semantic-Spatial Query Decoding via Local Aggregation and State Space Models for 3D Instance Segmentation
Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University(电子工程系,香港理工大学);School of Mechanical Science and Engineering, Huazhong University of Science and Technology(机械科学与工程学院,华中科技大学)
LaSSM通过局部聚合和状态空间模型实现高效语义-空间查询解码,提升3D实例分割性能。
2026-02-11 cs.CV
Neural Ctrl-F: Segmentation-free Query-by-String Word Spotting in Handwritten Manuscript Collections
Uppsala University(乌普萨拉大学)
在本文中,我们探讨的问题,分割自由查询的字符串单词发现手写文档。换句话说,我们使用计算机视觉和机器学习启发的方法来搜索大量数字化手稿中的单词。特别是,我们对历史上的手写文本感兴趣,这往往比现代印刷文件更具挑战性。这项任务很重要,因为它为人们提供了一种方法,可以快速找到他们在大型集合中寻找的内容,这些集合繁琐且难以手动阅读。为此,我们引入了一个基于深度神经网络的端到端可训练模型,我们称之为Ctrl-F-Net。给定一个完整的手稿页面,该模型同时生成区域建议,并将这些建议嵌入到分布式词嵌入空间中,在该空间中执行搜索。我们在手写单词识别的常见基准上评估了该模型,其性能大大优于以前最先进的无分割方法,在某些情况下甚至优于基于分割的方法。我们的方法在现实生活中的一个有趣应用是帮助历史学家在法庭记录中找到和计算与妇女的生计活动和劳动分工有关的具体词汇。我们提供了有前途的初步实验,验证我们的方法在这项任务上。
2017-08-17 cs.CV
Few-shot Medical Image Segmentation with Cycle-resemblance Attention
Illinois Institute of Technology(伊利诺伊理工学院);University of Michigan(密歇根大学)
近年来,随着医学影像应用需求的增加和医学图像标注的专业化要求,少样本学习在医学图像语义分割领域得到了越来越多的关注。为了对有限数量的标记医学图像进行分割,大多数现有的研究使用原型网络(PN)并取得了令人信服的成功。然而,这些方法忽略了从所提出的表示网络中提取的查询图像特征,未能保持查询图像和支持图像之间的空间连接。在本文中,我们提出了一种新的自我监督的Few-Shot医学图像分割网络,并引入了一种新的循环相似注意力(CRA)模块,充分利用查询和支持医学图像之间的像素级关系。值得注意的是,我们首先将多个注意力块排列起来,以提炼更丰富的关系信息。然后,我们提出CRAPNet的CRA模块与一个经典的原型网络,查询和支持功能之间的像素明智的关系被很好地捕捉分割集成。在两个不同的医学图像数据集上进行了广泛的实验,例如,腹部MRI和腹部CT,证明了我们的模型优于现有的最先进的方法。
2022-12-07 cs.CV
Cycle Context Verification for In-Context Medical Image Segmentation
National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology, School of Computer Science;Engineering, Northwestern Polytechnical University, Xi’an 710072, China Institute of High Performance Computing, Agency for Science, Technology;Research, Singapore 138632, Singapore Ningbo Institute of Northwestern Polytechnical University, Ningbo 315048, China Research \& Development Institute of Northwestern Polytechnical University in Shenzhen, Shenzhen 518057, China
针对上下文医学图像分割中查询与上下文对对齐敏感的问题,提出循环上下文验证(CCV)框架,通过角色交换的自我验证机制和特定提示更新增强上下文对齐,显著提升了单一模型的通用分割性能。
2025-07-11 cs.CV
Feature Weighting and Boosting for Few-Shot Segmentation
Oregon State University(俄勒冈州立大学)
本文研究图像中前景目标的Few-Shot分割。我们在训练图像的小子集上训练一个CNN,每个子集都模仿Few-Shot设置。在每个子集中,一个图像用作查询,另一个图像用作具有地面实况分割的支持图像。CNN首先从查询和支持图像中提取特征图。然后,类特征向量被计算为在已知前景上的支持的特征图的平均值。最后,利用类特征向量与查询特征图之间的余弦相似度,在查询图像中分割出目标对象。我们通过以下方式做出两项贡献:(1)提高特征的区分度,使它们的激活在前景上高,在其他地方低;以及(2)利用在测试中分割支持图像时产生的损失梯度引导的专家集合来增强推理。我们对PASCAL- $5^i$和COCO- $20^i$数据集的评估表明,我们显着优于现有的方法。
2019-09-28 cs.CV