Semi-Supervised Semantic Segmentation with Pixel-Level Contrastive Learning from a Class-wise Memory Bank
Universidad de Zaragoza(萨拉戈萨大学);Magic Leap(Magic Leap公司);Bitbrain(Bitbrain公司)
本文提出了一种新的半监督语义分割方法。这种方法的关键元素是我们的对比学习模块,该模块强制分割网络为整个数据集的同类样本产生类似的像素级特征表示。为了实现这一点,我们保持一个存储体不断更新的相关和高质量的特征向量标记的数据。在端到端训练中,来自标记数据和未标记数据的特征被优化为与来自存储体的同类样本相似。我们的方法在众所周知的公共基准上优于当前最先进的半监督语义分割和半监督领域自适应,在最具挑战性的场景上有更大的改进,即,更少的可用标记数据。https://github.com/Shathe/SemiSeg-Contrastive
2021-08-06 cs.CV
ProtoGMM: Multi-prototype Gaussian-Mixture-based Domain Adaptation Model for Semantic Segmentation
University of Virginia(弗吉尼亚大学);Cardiovascular Research Center, University of Virginia(弗吉尼亚大学心血管研究中心);School of Data Science, University of Virginia(弗吉尼亚大学数据科学学院)
针对域适应语义分割中忽略数据分布的问题,提出ProtoGMM模型,利用高斯混合模型估计多原型源分布并结合多原型对比学习,有效实现类内聚合、类间分离与域对齐。
2024-06-27 cs.CV
Superpixel based Class-Semantic Texton Occurrences for Natural Roadside Vegetation Segmentation
Central Queensland University(中央昆士兰大学)
从路边数据中分割植被是一个领域,在目前的研究中得到了相对较少的关注,但可以在广泛的现实世界中的应用,如道路安全评估和植被状况监测的巨大潜力。在本文中,我们提出了一种新的方法,产生类语义的颜色纹理元和聚合超像素的纹理元发生自然路边图像中的植被分割。像素级的类语义textons首先学习生成两个单独的集的词袋视觉词典的颜色和滤波器组纹理特征分别为每个对象类使用手动裁剪的训练数据。对于测试图像,首先将其过分割成一组均匀的超像素。提取每个超像素中所有像素的颜色和纹理特征,并使用最近距离度量将其进一步映射到学习的纹理基元之一,从而产生颜色和纹理纹理基元发生矩阵。使用线性混合方法在每个超像素上聚合颜色和纹理纹理基元的出现,并且使用简单而有效的多数投票策略最终实现分割。两个公共图像数据集的视频收集的交通运输部和主要道路(DTMR),昆士兰州,澳大利亚,和公共路边草数据集的评估显示所提出的方法的高精度。我们还证明了在现实世界的情况下,植被分割的方法的有效性。
2018-02-24 cs.CV
VISTA: Vision Transformer enhanced by U-Net and Image Colorfulness Frame Filtration for Automatic Retail Checkout
Giga Tech Ltd.(千兆科技有限公司);Concordia University(康考迪亚大学);North South University(北南大学)
多类别产品计数和识别从图像或视频中识别产品项目,以实现自动零售结账。该任务是具有挑战性的,因为现实世界的场景中,产品项目重叠,传送带中的快速移动,被扫描项目的整体外观的巨大相似性,新产品,以及错误识别项目的负面影响。此外,在训练集和测试集之间存在域偏差,具体地,所提供的训练数据集由合成图像组成,并且测试集视频由诸如手和托盘的异物组成。为了解决上述问题,我们建议从视频序列中分割和分类各个帧。分割方法包括一个统一的单一产品项目和手分割,然后熵掩蔽,以解决域偏差问题。多类分类方法基于视觉Transformer(ViT)。为了识别具有目标对象的帧,我们利用几种图像处理方法,并提出一种自定义度量来丢弃不具有任何产品项目的帧。结合所有这些机制,我们最好的系统在2022年AI城市挑战赛第四赛道中获得第三名,F1得分为0.4545。代码将在
2022-04-23 cs.CV
LVOS: A Benchmark for Long-term Video Object Segmentation
Fudan University(复旦大学)
本文构建首个密集标注的长期视频对象分割基准LVOS,评估现有算法并提出含三个互补记忆库的DDMemory网络。
2023-08-18 cs.CV
AnchorSeg: Language Grounded Query Banks for Reasoning Segmentation
College of Computer Science and Artificial Intelligence(计算机科学与人工智能学院)
AnchorSeg通过结构化语言引导查询库将推理分割建模为图像标记上的条件生成过程,通过显式分离空间定位与语义推理,实现67.7%的gIoU和68.1%的cIoU的SOTA结果。
2026-04-22 cs.CV
Structural and Statistical Texture Knowledge Distillation and Learning for Segmentation
University of Science and Technology of China(中国科学技术大学);Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团)
本文提出 SSTKD 框架,通过 CDM、TIEM/QDL 及 C-TIEM 挖掘并蒸馏结构化与统计纹理知识,并构建 STLNet++、U-SSNet,在三类分割任务和七个基准上取得最先进性能。
2025-03-16 cs.CV
Adaptive Memory Management for Video Object Segmentation
Concordia University(康考迪亚大学)
基于匹配的网络通过将每k帧存储在外部存储体中以供将来推断,已经实现了用于视频对象分割(VOS)任务的最新性能。存储中间帧的预测为网络提供了更丰富的线索,用于分割当前帧中的对象。然而,存储体的大小随着视频的长度而逐渐增加,这减慢了推理速度,并且使得处理任意长度的视频变得不切实际。本文提出了一种用于半监督视频对象分割(VOS)的基于匹配的网络的自适应存储体策略,可以通过丢弃过时的特征来处理任意长度的视频。特征基于它们在先前帧中的对象的分割中的重要性而被索引。根据索引,我们丢弃不重要的功能,以适应新的功能。我们在DAVIS 2016,DAVIS 2017和Youtube-VOS上进行了实验,证明我们的方法优于采用固定大小存储体的第一和最新策略的最新技术,并在增加大小的存储体的情况下实现了与每k策略相当的性能。此外,实验表明,我们的方法将推理速度提高了80%以上的每k和35%以上的第一和最新的战略。
2022-04-13 cs.CV
Towards Unifying Anatomy Segmentation: Automated Generation of a Full-body CT Dataset via Knowledge Aggregation and Anatomical Guidelines
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院人机交互与机器人学研究所);Institute for AI in Medicine, University Hospital Essen(埃森大学医院医学人工智能研究所);Steinbuch Center for Computing, Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT)施泰因布赫计算中心);Department of Medical Physics in Radiation Oncology, German Cancer Research Center (DKFZ)(德国癌症研究中心(DKFZ)放射肿瘤学医学物理科);Heidelberg Institute of Radiation Oncology (HIRO)(海德堡放射肿瘤学研究所(HIRO));National Center for Radiation Research in Oncology (NCRO)(国家肿瘤放射研究中心(NCRO));Helmholtz Information and Data Science School for Health (HIDSS4Health)(亥姆霍兹健康信息与数据科学学院(HIDSS4Health));Department of Diagnostic and Interventional Radiology and Neuroradiology, University Hospital Essen(埃森大学医院诊断与介入放射学及神经放射学系)
本研究提出一种自动生成全身CT解剖分割数据集的方法,通过nnU-Net伪标签与解剖学引导细化,整合碎片化知识库,生成含142个标签的533个体积数据集,经专家验证并在BTCV基准上取得85% Dice分数,同时发布统一分割模型。
2023-07-25 cs.CV eess.IV
Double Banking on Knowledge: Customized Modulation and Prototypes for Multi-Modality Semi-supervised Medical Image Segmentation
College of Computer Science, Sichuan University(四川大学计算机学院);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);College of Electrical Engineering, Sichuan University(四川大学电气工程学院);School of Cyber Science and Engineering, Sichuan University(四川大学网络空间安全学院)
本文提出DBDC多模态半监督医学图像分割方法,通过模态一体化网络、双存储库原型对比学习、自适应加权和双一致性策略,解决模态数量受限、模态特定特征缺失及无标签数据利用不可靠问题,在2至4模态任务上超越现有方法。
2024-10-23 cs.CV
Structural and Statistical Texture Knowledge Distillation for Semantic Segmentation
Alibaba Cloud Computing Ltd.(阿里巴巴云计算有限公司);Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系)
针对语义分割中低层纹理知识迁移不足的问题,提出 SSTKD 框架,通过 CDM 和 DTIEM 分别蒸馏结构与统计纹理知识,并在多个基准上达到最先进性能。
2025-03-16 cs.CV
Segmentation-Assisted Brain MRI Synthesis with Cross-Image Multi-Contrast Feature Memory Bank Retrieval Augmentation
South China University of Technology(华南理工大学);University of Technology Sydney(悉尼科技大学)
提出分割辅助的闭环生成对抗框架,通过辅助分割分支和双库检索增强策略,提高多对比度脑MRI中肿瘤区域的合成保真度。
2026-06-07 cs.CV
Recurrent Dynamic Embedding for Video Object Segmentation
Alibaba DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);University of Science and Technology of China(中国科学技术大学)
基于空时记忆(STM)的视频对象分割(VOS)网络通常每隔几帧就增加存储体,表现出良好的性能。然而,1)硬件无法承受随着视频长度增加而不断增加的内存需求。2)存储大量信息不可避免地引入大量噪声,这不利于从存储体读取最重要的信息。在本文中,我们提出了一个递归动态嵌入(RDE)建立一个恒定大小的存储体。具体来说,我们明确地产生和更新RDE的建议时空聚合模块(SAM),它利用了线索的历史信息。为了避免由于SAM的重复使用而导致的误差积累,我们在训练阶段提出了一个无偏的指导损失,这使得SAM在长视频中更加鲁棒。而且,由于网络推理不准确,存储体中的预测掩码也不准确,影响了查询帧的分割。为了解决这个问题,我们设计了一种新的自校正策略,使网络可以修复存储体中具有不同质量的掩码的嵌入。大量的实验表明,我们的方法实现了性能和速度之间的最佳权衡。代码可在https://github.com/Limingxing00/RDE-VOS-CVPR2022上获得。
2022-05-08 cs.CV
Deep convolutional filter banks for texture recognition and segmentation
University of Oxford(牛津大学);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
纹理识别的研究往往集中在整齐的条件下的材料识别的问题,一个假设很少满足的应用。在这项工作中,我们进行了第一次研究的材料和可描述的纹理at-tributes识别混乱,使用一个新的数据集来自OpenSurface纹理库。出于这个问题所带来的挑战,我们提出了一个新的纹理描述符,D-CNN,通过卷积神经网络(CNN)滤波器组的Fisher向量池。D-CNN大大提高了纹理,材料和场景识别的最新技术水平。我们的方法在Flickr材料数据集上实现了82.3%的准确率,在MIT室内场景上实现了81.1%的准确率,比现有方法的绝对增益超过10%。D-CNN很容易跨域传输,而不需要像构建在CNN的全连接层上的方法那样进行特征适配。此外,D-CNN可以无缝地结合多尺度信息,并描述任意形状和大小的区域。我们的方法特别适合于局部化材料类别,并在MSRC分割数据集上获得了最先进的结果,以及在OpenSurfaces数据集上识别杂乱材料和表面属性的有希望的结果。
2015-07-09 cs.CV
Gaga: Group Any Gaussians via 3D-aware Memory Bank
University of California, Merced(加州大学默塞德分校);NVIDIA Research(英伟达研究);Google DeepMind(谷歌DeepMind);Atmanity Inc.(Atmanity公司)
提出Gaga框架,利用零样本类别无关分割模型预测的不一致2D掩码,通过3D感知记忆库关联不同视角下的物体掩码,实现开放世界3D场景的重建与分割。
2026-05-27 cs.CV
Taming SAM3 in the Wild: A Concept Bank for Open-Vocabulary Segmentation
Department of Electrical and Computer Engineering, Sungkyunkwan University(Sungkyunkwan 大学电气与计算机工程系);School of Computing and Artificial Intelligence, Southwest Jiaotong University(西南交通大学计算机与人工智能学院);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);School of Computer Science and Engineering, University of Electronic Science and Technology of China(中国电子科技大学计算机科学与工程学院)
ConceptBank通过构建目标统计的概念库,提升SAM3在数据和概念漂移下的鲁棒性和效率。
2026-02-06 cs.CV
Duplex Contextual Relation Network for Polyp Segmentation
Beijing University of Posts and Telecommunications(北京邮电大学)
息肉分割在大肠癌的早期诊断和治疗中具有重要意义。由于息肉的形状、大小、颜色和纹理各不相同,因此准确的息肉分割非常具有挑战性。一个有前途的方法来减轻息肉的多样性是模型的上下文关系,如使用注意力机制,为每个像素。然而,以前的方法只关注于学习单个图像内的位置之间的依赖关系,而忽略了不同图像之间的上下文关系。在本文中,我们提出了双重上下文关系网络(DCRNet)来捕获图像内和跨图像的上下文关系。具体地说,我们首先设计了内部上下文关系模块来估计每个位置与同一幅图像中所有位置之间的相似度。然后,外部上下文关系模块被纳入估计之间的相似性,每个位置之间的位置和不同的图像。基于上述两种类型的相似性,可以通过在图像内和跨图像嵌入上下文区域来进一步增强一个位置处的特征。为了存储所有图像的特征区域嵌入,设计了一个存储库,并作为队列运行。因此,所提出的方法可以将相似的功能,即使他们来自不同的图像。我们在EndoScene,Kvasir-SEG和最近发布的大规模PICCOLO数据集上评估了所提出的方法。实验结果表明,所提出的DCRNet优于国家的最先进的方法在广泛使用的评价指标。
2022-01-19 cs.CV eess.IV
RMem: Restricted Memory Banks Improve Video Object Segmentation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对视频对象分割任务,提出受限内存库策略RMem,通过限制内存库规模减少冗余干扰、平衡帧信息、缩小训练推理差异,引入时序位置嵌入,在挑战性场景及相关数据集上取得新SOTA。
2025-01-14 cs.AI cs.CV
HyperBank: A Differentiable Bank of Classical Priors for Few-Shot Spheroid Microscopy Segmentation
The Czech Academy of Sciences, Institute of Information Theory and Automation(捷克科学院,信息理论与自动化研究所);Czech Technical University in Prague, Faculty of Nuclear Sciences and Physical Engineering(布拉格捷克技术大学,核科学与物理工程学院);University of Chemistry and Technology Prague, Department of Biochemistry and Microbiology(布拉格化学与技术大学,生物化学与微生物学系);Charles University, Faculty of Science, BIOCEV(查理大学,科学学院,BIOCEV)
研究少样本球体分割问题,提出可微经典图像处理算子库HyperBank,通过在支持图像上拟合并在验证图像上评估,发现其在小簇、对比度驱动数据上有竞争力,且能揭示少样本信号分布及受支持集形态学影响。
2026-07-14 cs.CV
Experimenting with Knowledge Distillation techniques for performing Brain Tumor Segmentation
Courant Institute of Mathematical Sciences(库朗数学科学研究所);New York University(纽约大学);Vilcek Institute of Graduate Biomedical Sciences(维尔切克生物医学研究生科学研究所)
多模态磁共振成像(MRI)是分析人脑的重要方法。它通常用于诊断疾病和做出有关治疗的有价值的决定-例如,检查人脑中的神经胶质瘤。随着严重程度和检测程度的不同,正确诊断胶质瘤是现代医学中最艰巨和最重要的分析任务之一。我们的主要重点是使用不同的方法在多模态MRI扫描中执行脑肿瘤的分割。现在,用于训练的数据的数量,可变性一直被认为是开发优秀模型的关键。因此,我们也想尝试知识蒸馏技术。
2021-05-24 cs.CV cs.LG eess.IV
The MIS Check-Dam Dataset for Object Detection and Instance Segmentation Tasks
Indian Institute of Technology Bombay(印度理工学院孟买分校)
深度学习在目标检测和实例分割以及其他计算机视觉任务方面取得了许多最新进展。这些进步导致了基于深度学习的方法和相关方法在卫星图像的目标检测任务中的广泛应用。在本文中,我们介绍了MIS检查坝,一个新的数据集的检查坝从卫星图像建立一个自动化系统的检测和测绘检查坝,重点是用于农业的灌溉结构的重要性。我们回顾了一些最新的目标检测和实例分割方法,并评估了它们在我们的新数据集上的性能。我们评估了几个单阶段,两阶段和注意力为基础的方法在各种网络配置和骨干架构。数据集和预训练模型可在https://www.cse.iitb.ac.in/gramdrishti/上获得。
2021-11-30 cs.CV
Self-Supervised Video Object Segmentation by Motion-Aware Mask Propagation
The University of Western Australia(西澳大学);Griffith University(格里菲斯大学)
我们提出了一种自监督的时空匹配方法,创造运动感知掩码传播(MAMP),视频对象分割。MAMP利用帧重建任务进行训练,而无需注释。在推理过程中,MAMP从每个帧中提取高分辨率特征,以根据所选过去帧的特征以及预测掩码来构建存储体。然后,MAMP传播的存储体的后续帧的掩模,根据我们提出的运动感知时空匹配模块,以处理快速运动和长期匹配的情况。在DAVIS-2017和YouTube-VOS数据集上的评估表明,与现有的自监督方法相比,MAMP实现了最先进的性能,具有更强的泛化能力,即,DAVIS-2017上的平均J&F比最接近的竞争对手高4.2%,YouTube-VOS上看不见的类别的平均J&F比最接近的竞争对手高4.85%。此外,MAMP执行与许多监督视频对象分割方法。我们的代码可在https://github.com/bo-miao/MAMP上获得。
2021-10-28 cs.CV
Surgical SAM 2: Real-time Segment Anything in Surgical Video by Efficient Frame Pruning
National University of Singapore(新加坡国立大学);University of Oxford(牛津大学)
本文提出SurgSAM2模型,通过高效帧剪枝机制动态管理记忆库,在手术视频分割中实现3倍于SAM2的FPS和领先精度,推动资源受限环境下的实时分割。
2025-03-11 cs.AI cs.CV cs.RO
Generalizable Model-agnostic Semantic Segmentation via Target-specific Normalization
Nanjing University(南京大学);Southeast University(东南大学)
监督学习方式的语义分割近年来取得了重大进展。然而,当我们直接部署训练好的模型来分割看不见的(或新来的)域的图像时,由于可见域和看不见域之间的数据分布差异,其性能通常会急剧下降。为此,我们提出了一种新的领域泛化框架的泛化语义分割任务,从两个不同的角度,包括训练范式和测试策略,提高模型的泛化能力。具体地说,我们利用模型无关学习来模拟域转移问题,从训练方案的角度处理领域泛化。此外,考虑到数据分布之间的差异,可见的源和不可见的目标域,我们开发了特定的目标规范化方案,以提高泛化能力。此外,在测试阶段,当图像一个接一个地出现时,我们设计了基于图像的存储体(Image Bank,简称Image Bank),采用基于风格的选择策略,选择相似的图像,以获得更准确的归一化统计。大量的实验突出表明,所提出的方法在多个基准分割数据集上对语义分割的领域泛化产生了最先进的性能,即,城市景观,Mapillary。
2021-08-31 cs.CV
Learning Quality-aware Dynamic Memory for Video Object Segmentation
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);Huawei Technologies(华为技术有限公司);University College London(伦敦大学学院)
最近,一些基于时空记忆的方法已经证明,存储中间帧和它们的掩码作为记忆有助于分割视频中的目标对象。然而,它们主要关注当前帧和内存帧之间的更好匹配,而没有明确关注内存的质量。因此,具有较差分割模板的帧容易被记忆,这导致分割模板误差累积问题,并进一步影响分割性能。此外,内存帧数随帧数增长而线性增长,也限制了模型处理长视频的能力。为此,我们提出了一个质量感知的动态内存网络(QDMN)来评估每个帧的分割质量,允许存储体有选择地存储准确分割的帧,以防止错误积累的问题。然后,我们结合分割质量和时间一致性动态更新的存储体,以提高模型的实用性。在没有任何附加功能的情况下,我们的QDMN在DAVIS和YouTube-VOS基准测试中实现了最先进的性能。此外,大量的实验表明,所提出的质量评估模块(QAM)可以应用于基于内存的方法作为通用插件,并显着提高性能。我们的源代码可在https://github.com/workforai/QDMN上获得。
2022-07-16 cs.CV
Uncertainty-driven Sanity Check: Application to Postoperative Brain Tumor Cavity Segmentation
Institute for Surgical Technology and Biomechanics (ISTB)(外科技术与生物力学研究所(ISTB));University of Bern(伯尔尼大学);Support Center for Advanced Neuroimaging (SCAN)(高级神经影像支持中心(SCAN));Inselspital, Bern University Hospital(伯尔尼大学医院 Inselspital);University Clinic for Radio-oncology(放射肿瘤学大学诊所);Bern University Hospital(伯尔尼大学医院)
现代神经网络的不确定性估计提供了计算预测旁边的额外信息,因此有望提高对基础模型的理解。可靠的不确定性对于医学中安全关键的计算机辅助应用特别感兴趣,例如,神经外科干预和放射治疗计划。我们提出了一个不确定性驱动的健全性检查,需要特别的专家审查的分割结果的识别。我们的方法使用了一个全卷积神经网络和计算不确定性估计的原则,蒙特卡洛辍学。我们评估所提出的方法的性能与30术后脑肿瘤图像的临床数据集。该方法能准确地分割高度不均匀的切除腔(Dice系数为0.792 $\pm$ 0.154)。此外,所提出的健全性检查能够检测到最差的分割和四个离群值中的三个。结果突出了使用来自模型参数不确定性的额外信息来验证深度学习模型的分割性能的潜力。
2018-06-08 cs.CV
Learning-Based Patch-Wise Metal Segmentation with Consistency Check
Universität Erlangen-Nürnberg (FAU)(埃尔朗根-纽伦堡大学(FAU));Siemens Healthcare GmbH(西门子医疗有限公司)
在创伤干预期间插入患者体内的金属植入物在3D X射线采集中引起严重伪影。金属伪影减少(MAR)方法的第一步总是对当前金属对象进行分割,试图去除这些伪影。因此,分割是一项重要的任务,对MAR的结果有很大的影响。本研究提出并评估了一个基于学习的分片分割网络和一个新提出的一致性检查作为后处理步骤。学习的分割和一致性检查的组合达到了很高的分割性能,在测试集上的平均IoU得分为0.924。此外,一致性检查证明了显着减少假阳性分割的能力,同时确保一致的分割。
2021-01-26 cs.CV eess.IV
Self-Supervised 3D Traversability Estimation with Proxy Bank Guidance
INHA UNIVERSITY(仁荷大学)
越野环境中移动机器人的可通行性估计需要比传统的语义分割用于约束环境,如道路条件。最近,以自我监督的方式从过去的驾驶经验中学习可通行性估计的方法正在兴起,因为它们可以显着降低人类标记成本和标记错误。然而,自我监督的数据只提供监督的实际遍历的区域,诱导认知的不确定性,根据负面信息的稀缺性。很少收集负面数据,因为记录数据时系统可能会严重损坏。为了减轻不确定性,我们引入了一种基于深度度量学习的方法,将未标记的数据与一些积极和消极的原型结合起来,以利用不确定性,该方法使用语义分割和可遍历性回归进行联合学习。为了坚定地评估所提出的框架,我们引入了一个新的评估指标,全面评估分割和回归。此外,我们构建了一个驾驶数据集'Dtrail'在越野环境中的移动机器人平台,这是由各种各样的负面数据。我们在Dtrail以及公开的SemanticKITTI数据集上检查了我们的方法。
2022-12-20 cs.CV cs.RO
Where Does Texture Evidence Live in SAM? Features, Proposal Masks, and Texture Segmentation
Tel Aviv University(特拉维夫大学);Stanford University(斯坦福大学);Technion(以色列理工学院)
研究冻结的 Segment Anything Model (SAM) 中纹理相关证据的存在性,通过最小聚类读取和提议银行监督读取分析多尺度特征与自动提议掩码,发现 SAM 并非纹理盲,但默认失败源于读取不匹配和承诺失败。
2026-06-16 cs.AI cs.CV
Exemplar: Few-Shot Biomedical Segmentation That Fits in Seconds
The Czech Academy of Sciences(捷克科学院);Czech Technical University in Prague(布拉格捷克技术大学)
Exemplar是一种融合冻结DINOv3骨干与经典滤波器响应库的少样本显微镜图像分割方法,在11个生物医学数据集上性能优于多数少样本方法,仅单个标注掩码时也优于从头训练的nnU-Net,拟合速度远快于nnU-Net。
2026-11-09 cs.CV
Neural Architecture Distributions: A New Paradigm for Stochastic Segmentation
School of Information Technology, Monash University Malaysia(莫纳什大学马来西亚分校信息技术学院);Centre for Data Science and Artificial Intelligence, School of Engineering and Computer Science, Victoria University of Wellington(惠灵顿维多利亚大学工程与计算机科学学院数据科学与人工智能中心)
提出以架构分布作为随机源,通过采样离散架构实现多样化分割,利用集合级监督和进化搜索,在LIDC-IDRI上达到最优分布匹配。
2026-06-23 cs.CV
COARSE3D: Class-Prototypes for Contrastive Learning in Weakly-Supervised 3D Point Cloud Segmentation
South China University of Technology(华南理工大学);Inria(法国国家信息与自动化研究所)
大规模3D数据的注释是出了名的麻烦和昂贵。作为替代方案,弱监督学习通过将注释减少几个数量级来满足这种需要。我们提出了COARSE 3D,一种新的架构不可知的对比学习战略的3D分割。由于对比学习需要丰富多样的例子作为键和锚,我们利用一个原型存储体有效地捕获类全局数据集信息到少量的原型作为键。然后,熵驱动的采样技术允许我们从预测中选择好的像素作为锚点。在三个基于投影的主干上的实验表明,我们在三个具有挑战性的真实户外数据集上的表现优于基线,使用低至0.001%的注释。
2022-10-08 cs.CV
Tracking spatial temporal details in ultrasound long video via wavelet analysis and memory bank
School of Mechanical Engineering and Automation, Beihang University(机械工程与自动化学院,北航)
本文提出基于记忆库的小波过滤和融合网络,用于提高超声长视频中细粒度空间特征提取和小物体分割的精度。
2025-12-17 cs.AI cs.CV
MIAS-SAM: Medical Image Anomaly Segmentation without thresholding
Università degli studi di Milano(米兰大学)
本文提出MIAS-SAM医学图像异常分割方法,利用SAM编码器提取正常特征存入记忆库,推理时比对生成异常图并计算重心提示解码器,无需阈值即可在三种模态数据上实现高DICE分数的准确分割。
2025-05-28 cs.AI cs.CV cs.LG
Empirical curvelet based Fully Convolutional Network for supervised texture image segmentation
Beihang University(北京航空航天大学);San Diego State University(圣地亚哥州立大学)
该研究提出一种有监督纹理图像分割方法,通过构建适配纹理字典的经验曲波滤波器组提取特征,输入全卷积网络实现分割,在多个数据集上表现优于现有最优算法。
2024-10-28 cs.CV
Model Checking in Medical Imaging for Tumor Detection and Segmentation
University of California(加利福尼亚大学);Polytechnique Montreal(蒙特利尔理工学院);University of Montreal(蒙特利尔大学)
本文综述模型检测在医学影像肿瘤检测与分割中的应用,分析基于空间逻辑的区域识别工具,并指出真值差异与临床流程简化等挑战。
2025-01-07 cs.AI cs.CV cs.LG
Prototype-Based Image Prompting for Weakly Supervised Histopathological Image Segmentation
University of New South Wales(新南威尔士大学)
针对组织病理图像弱监督分割中CAM不完整及类间同质、类内异质问题,提出基于原型的图像提示框架,利用聚类原型与对比匹配损失提升CAM质量,并在四个数据集上取得新基准。
2025-03-15 cs.CV
StandardSim: A Synthetic Dataset For Retail Environments
Stony Brook University(石溪大学);Standard Cognition(标准认知)
自动结账系统依赖于视觉和感官输入来执行零售环境中的细粒度场景理解。与典型的室内场景相比,零售环境面临着独特的挑战,这是由于大量密集、独特但相似的物体。当只有RGB输入可用时,这个问题变得更加困难,特别是对于像实例分割这样需要大量数据的任务。为了解决零售数据集的缺乏,我们提出了StandardSim,一个大规模的逼真的合成数据集,具有语义分割,实例分割,深度估计和目标检测的注释。我们的数据集为每个场景提供多个视图,从而实现多视图表示学习。此外,我们引入了一个新的任务中央自主结帐称为变化检测,需要像素级分类的需要,把和随着时间的推移,在对象的变化。我们在我们的数据集上对广泛使用的分割和深度估计模型进行基准测试,表明与当前较小规模的数据集相比,我们的测试集构成了一个困难的基准,并且我们的训练集为模型提供了自主检测任务的关键信息。
2022-02-04 cs.CV
Doubly Contrastive End-to-End Semantic Segmentation for Autonomous Driving under Adverse Weather
道路场景理解任务最近对于自动驾驶车辆变得至关重要。特别是,实时语义分割对于智能自动驾驶代理识别驾驶区域的路边物体是不可或缺的。由于先前的研究工作主要是寻求通过计算繁重的操作来提高分割性能,因此它们需要大量的硬件资源用于训练和部署,因此不适合实时应用。因此,我们提出了一种双重对比的方法来提高更实用的轻量化自动驾驶模型的性能,特别是在雾天、夜间、雨雪等恶劣天气条件下。我们提出的方法利用图像和像素级的对比度在一个端到端的监督学习计划,而不需要一个存储体的全局一致性或预训练步骤中使用的传统的对比方法。我们在ACDC数据集上使用SwiftNet验证了我们方法的有效性,在单个RTX 3080 Mobile GPU上,在66.7 FPS(2048 x1024分辨率)下,mIoU(ResNet-18主干)的推理性能提高了1.34%p。此外,我们证明了用自我监督代替图像级监督在用清晰的天气图像进行预训练时可以实现相当的性能。
2022-11-21 cs.CV
Focus on BEV: Self-calibrated Cycle View Transformation for Monocular Birds-Eye-View Segmentation
Meituan(美团)
本文提出FocusBEV框架,通过自校准跨视图变换、基于自运动的时序融合和与占据无关的IoU损失,解决单目BEV分割中视图变换受无关特征干扰的问题,并在nuScenes和Argoverse上取得最优性能。
2024-10-21 cs.CV
Domain Adaptive Semantic Segmentation via Regional Contrastive Consistency Regularization
Shanghai Jiao Tong University(上海交通大学);Deakin University(迪肯大学)
无监督领域自适应(UDA)的语义分割是近年来研究的热点。然而,大多数现有的作品在很大程度上忽略了跨不同领域的本地区域一致性,并在户外环境的变化不太鲁棒。在本文中,我们提出了一种新的和完全端到端的可训练的方法,称为区域对比一致性正则化(RCCR)域自适应语义分割。我们的核心思想是从不同图像的同一位置提取相似的区域特征,即,使原始图像和增强图像更接近,同时将两幅图像不同位置的特征推离。我们创新性地提出了一种区域对比损失的两种采样策略,以实现有效的区域一致性。此外,我们提出了动量投影头,其中教师投影头是学生的指数移动平均。最后,一个存储体机制的设计,学习更强大的和稳定的区域范围内的功能,在不同的环境。在两个常见的UDA基准上进行了广泛的实验,GTAV到Cityscapes和SYNTHIA到Cityscapes,证明我们的方法优于最先进的方法。
2022-09-11 cs.CV
Unsupervised Domain Adaptation for Point Cloud Semantic Segmentation via Graph Matching
Nanjing University of Science and Technology(南京理工大学)
点云语义分割的无监督领域自适应由于其在无标记数据学习中的有效性而引起了人们的极大关注。现有的方法大多采用全局级的特征对齐来实现知识从源域到目标域的转移,这可能会导致特征空间的语义模糊。在本文中,我们提出了一个基于图的框架来探索两个领域之间的局部水平的特征对齐,它可以保留在适应过程中的语义歧视。具体来说,为了提取本地级别的功能,我们首先动态地构建两个域上的本地特征图,并建立一个存储体的图形从源域。特别地,我们使用最优传输来生成图匹配对。然后,基于分配矩阵,我们可以将两个域之间的特征分布与基于图的局部特征损失对齐。此外,我们考虑到不同类别的特征之间的相关性,并制定了一个类别引导的对比损失,以指导分割模型学习目标域上的判别特征。在不同的合成到真实和真实到真实的领域自适应场景上的大量实验表明,我们的方法可以达到最先进的性能。
2022-08-09 cs.CV
Vision-Language Enhanced Foundation Model for Semi-Supervised Medical Image Segmentation
ECE, Northwestern University(电气工程与计算机科学系,西北大学);Stats, Northwestern University(统计学系,西北大学);Radiology, Northwestern University(放射学系,西北大学)
本文提出VESSA模型,通过增强视觉-语言能力的半监督方法提升医学图像分割精度,实验表明其在有限标注条件下表现优于现有方法。
2026-08-19 cs.CV
Retrieval-augmented Few-shot Medical Image Segmentation with Foundation Models
United Imaging Intelligence(联影智能)
针对少样本医学图像分割标注数据稀缺和跨模态泛化难的问题,提出基于 DINOv2 和 SAM 2 的检索增强方法,利用记忆注意力机制在无需重训练或微调下实现跨模态的卓越分割性能。
2025-04-01 cs.CV
Few Shot Part Segmentation Reveals Compositional Logic for Industrial Anomaly Detection
Robotics and Mechatronics Engineering, DGIST(大邱庆北科学技术院机器人与机电一体化工程);AI Graduate School, DGIST(大邱庆北科学技术院人工智能研究生院);Stanford University(斯坦福大学)
针对工业逻辑异常检测中部件分割标注成本高、现有少样本方法对相似纹理形状组件区分难的问题,提出结合直方图匹配与熵损失的少样本分割模型,用三类记忆库及自适应缩放策略检测异常,在MVTec LOCO AD上AUROC达98.1%。
2024-04-15 cs.AI cs.CV cs.LG
No time to train! Training-Free Reference-Based Instance Segmentation
School of Engineering, University of Edinburgh, Scotland, UK(爱丁堡大学工程学院);School of Computing Science, University of Glasgow, Scotland, UK(格拉斯哥大学计算科学学院);Meta
本研究提出一种无需训练的实例分割方法,利用语义先验和多阶段流程,通过参考图像生成分割掩码,提升分割性能。
2026-02-03 cs.CV
Dual-level Interaction for Domain Adaptive Semantic Segmentation
Wuhan University(武汉大学)
本文提出双层级交互方法DIDA,通过语义级与实例级一致性约束及动态实例库和跨层级交互生成更可靠的伪标签,显著提升域自适应语义分割性能,尤其在易混淆类和长尾类上表现突出。
2023-08-10 cs.CV
Unsupervised Video Object Segmentation via Prototype Memory Network
Yonsei University(延世大学)
无监督视频对象分割的目的是在初始帧中没有地面真实掩模的情况下分割视频中的目标对象。这个具有挑战性的任务需要提取视频序列中最显著的常见对象的特征。这个困难可以通过使用诸如光流的运动信息来解决,但是仅使用相邻帧之间的信息导致远距离帧之间的差的连接性和差的性能。为了解决这个问题,我们提出了一种新的原型存储网络架构。该模型通过从输入RGB图像和光流图中提取基于超像素的组件原型,有效地提取RGB和运动信息。此外,该模型基于自学习算法对每个帧中的组件原型的有用性进行评分,并自适应地将最有用的原型存储在存储器中并丢弃过时的原型。我们使用存储体中的原型来预测下一个查询帧掩码,这增强了遥远帧之间的关联,以帮助准确的掩码预测。我们的方法在三个数据集上进行了评估,达到了最先进的性能。我们证明了所提出的模型与各种消融研究的有效性。
2022-09-08 cs.CV
ModuSeg: Decoupling Object Discovery and Semantic Retrieval for Training-Free Weakly Supervised Segmentation
South China University of Technology Pengcheng Laboratory(华南理工大学鹏城实验室)
ModuSeg通过解耦目标发现与语义检索,提出无训练弱监督分割框架,利用通用掩码提出器和语义基础模型构建特征库,提升分割精度与鲁棒性。
2026-06-29 cs.CV
Data-Efficient Semantic Segmentation of 3D Point Clouds via Open-Vocabulary Image Segmentation-based Pseudo-Labeling
University of Yamanashi(山梨大学)
本文提出PLOVIS算法,利用开放词汇图像分割模型生成伪标签,解决3D点云分割中训练数据不足的问题,通过两阶段过滤和类平衡内存银行提升训练效果,实验表明在数据稀缺条件下优于现有方法。
2026-10-22 cs.CV
Regional Semantic Contrast and Aggregation for Weakly Supervised Semantic Segmentation
ETH Zurich(苏黎世联邦理工学院);Beijing Institute of Technology(北京理工大学);Inception Institute of AI(人工智能起源研究所)
从弱标记(例如,仅图像标签)数据是具有挑战性的,因为很难从稀疏的语义标签中推断出密集的对象区域。尽管被广泛研究,大多数目前的努力直接从单个图像或图像对携带的有限语义注释中学习,并努力获得完整的定位图。我们的工作从一个新的角度来阐述这一点,通过探索丰富的语义上下文协同丰富的弱标记训练数据网络学习和推理。特别是,我们提出了区域语义对比和聚合(RCA)。RCA具有区域存储体,可以存储训练数据中出现的海量、多样的对象模式,为探索语义级结构提供了强有力的支持。特别是,我们提出了i)语义对比,通过对比大量的分类对象区域来驱动网络学习,从而实现更全面的对象模式理解,以及ii)语义聚合,以收集内存中的各种关系上下文,以丰富语义表示。以这种方式,RCA获得了细粒度语义理解的强大能力,并最终在两个流行的基准上建立了新的最先进的结果,即,PASCAL VOC 2012和COCO 2014。
2022-03-22 cs.CV
SLIP: Segmentation with Low-latency Interactive Prompting for 3D Medical Images
IRCAD France(法国国际消化道疾病研究中心);Université de Strasbourg, CNRS, ICube(斯特拉斯堡大学、法国国家科学研究中心、ICube实验室);IRCCS Humanitas Research Hospital(圣心研究医院);Humanitas University(圣心大学);Fondazione Policlinico Universitario A. Gemelli, Istituto di Ricovero e Cura a Carattere Scientifico (IRCCS)(圣心综合大学医院)
研究针对3D医学图像交互式分割中现有方法的问题,提出SLIP框架,解耦图像编码与提示细化,通过复用特征和维护交互感知状态降低延迟,支持可逆提示,经用户研究验证其在多方面优于现有方法,实现SOTA性能。
2026-07-27 cs.CV
Multiple Sclerosis Lesion Segmentation from Brain MRI via Fully Convolutional Neural Networks
Henry M. Jackson Foundation(亨利·M·杰克逊基金会);National Institute of Health(美国国立卫生研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
多发性硬化症(MS)是一种自身免疫性疾病,导致中枢神经系统病变。磁共振(MR)图像提供了足够的成像对比度,以可视化和检测病变,特别是白质中的病变。基于病变的各种特征的定量测量已被证明在临床试验中用于评估治疗是有用的。因此,从MR图像中稳健而准确地分割白质病变可以提供关于疾病状态和进展的重要信息。在本文中,我们提出了一个完全卷积神经网络(CNN)为基础的方法分割白质病变的多对比度MR图像。所提出的基于CNN的方法包含两个卷积路径。第一路径由多个并行卷积滤波器组组成,以满足多种MR模态。在第二路径中,第一路径的输出被级联,并且应用另一组卷积滤波器。最后一条路径的输出产生了病变的隶属函数,该隶属函数可以被阈值化以获得二进制分割。在100例MS患者的数据集以及由14例患者组成的ISBI 2015挑战数据上评价了所提出的方法。对四个公开可用的MS病变分割方法进行比较。分割质量的显着改善竞争的方法证明了各种指标,如骰子和假阳性率。在对ISBI 2015挑战数据进行评估时,我们的方法得到了90.48分,其中90分被认为与人类评分员相当。
2018-03-24 cs.CV
Cross-Domain Deep Face Matching for Real Banking Security Systems
University of Brasília (UnB)(巴西利亚大学);Federal University of São Carlos (UFSCar)(圣卡洛斯联邦大学);University of Campinas (Unicamp)(坎皮纳斯大学);São Paulo State University (Unesp)(圣保罗州立大学)
确保交易安全是银行系统目前面临的主要挑战之一。由于其便利性和人们的可接受性,使用面部进行用户的生物特征认证吸引了全球银行的大量投资,特别是在跨域场景中,其中将来自ID文档的面部图像与数字自拍(自拍)进行比较,以自动开设新的支票账户,例如,或金融交易授权。实际上,自拍和身份证的比较现在也被应用于另一种广泛的任务,例如自动化移民控制。在这样的过程中的主要困难在于衰减的面部图像之间的差异比较给定的不同域。在这项工作中,除了收集一个大型的跨域人脸数据集,从巴西主要公共银行的数据库中捕获了27,002张自拍和ID文档(13,501个主题)的真实面部图像外,我们还提出了一种基于两个参考卷积神经网络(CNN)提取的深度特征的跨域匹配问题的新架构。在FaceBank数据集上获得的结果表明,该方法对跨域人脸匹配问题具有较好的鲁棒性,并在实际银行安全系统中得到了应用。
2020-04-10 cs.CV cs.LG stat.ML