Exploring Reliable Matching with Phase Enhancement for Night-time Semantic Segmentation
University of Science and Technology of China(中国科学技术大学);Deep Space Exploration Laboratory(深空探测实验室)
针对夜间低光照条件下语义分割的纹理受损与匹配误差问题,提出端到端模型 NightFormer,通过像素级纹理增强与对象级可靠匹配模块,在多个基准上取得优于现有方法的性能。
2024-08-25 cs.CV
Exploring Event-driven Dynamic Context for Accident Scene Segmentation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
语义分割对交通场景边缘情况的鲁棒性是影响智能交通安全的重要因素。然而,交通事故中的关键场景大多是动态的,并且是不可见的,这严重影响了语义分割方法的性能。此外,传统摄像头在高速行驶过程中的延迟,会进一步减少时间维度上的情境信息。因此,我们建议从具有更高时间分辨率的基于事件的数据中提取动态上下文,以增强静态RGB图像,即使是来自具有运动模糊,碰撞,变形,翻转等的交通事故的图像。此外,为了评估交通事故中的分割性能,我们提供了一个逐像素注释的事故数据集,即DADA-seg,它包含了各种交通事故的关键场景。我们的实验表明,基于事件的数据可以提供补充信息,以稳定语义分割在不利的条件下,通过保持细粒度的运动快速移动的前景(碰撞对象)的事故。我们的方法在建议的事故数据集上实现了+8.2%的性能增益,超过了20多种最先进的语义分割方法。该建议已被证明是一致有效的模型学习多个源数据库,包括城市景观,KITTI-360,BDD和ApolloScape。
2021-12-09 cs.CV
Exploring Few-Shot Defect Segmentation in General Industrial Scenarios with Metric Learning and Vision Foundation Models
Xi’an Jiaotong University(西安交通大学)
针对现有少样本语义分割(FSS)方法未覆盖多样工业场景的问题,本文构建更全面的少样本缺陷分割(FDS)基准,深入研究基于度量学习的FSS方法,提出高效特征匹配方法并发现SAM2的有效性,为通用工业场景少样本缺陷分割提供新基准与方法。
2025-02-11 cs.CV
Curve-Structure Segmentation from Depth Maps: A CNN-based Approach and Its Application to Exploring Cultural Heritage Objects
University of South Carolina(南卡罗来纳大学);South Carolina Institute of Archaeology and Anthropology, University of South Carolina(南卡罗来纳大学南卡罗来纳考古与人类学研究所);Center for Digital Humanities, University of South Carolina(南卡罗来纳大学数字人文中心);Tianjin University(天津大学)
出于探索文化遗产对象的重要考古应用的动机,在本文中,我们研究了自动分割曲线结构的挑战性问题,这些曲线结构以高噪声深度图的形式在对象表面上非常弱地压印或雕刻。与大多数经典的低层图像分割方法对噪声和遮挡非常敏感不同,我们提出了一种新的基于卷积神经网络(CNN)的监督学习算法,以隐式地学习和利用更多的曲线几何和模式信息来解决这个具有挑战性的问题。更具体地说,我们首先提出了一个全卷积网络(FCN)来估计曲线结构的骨架,并在每个骨架像素处,估计一个尺度值来反映局部曲线宽度。然后,我们提出了一个密集的预测网络来细化估计的曲线骨架。基于估计的尺度值,我们最后开发了一个自适应阈值算法来实现曲线结构的最终分割。在实验中,我们验证了所提出的方法的深度图像数据集扫描出土的陶器碎片可以追溯到北美东南部的林地时期。
2017-11-22 cs.CV
BoxTeacher: Exploring High-Quality Pseudo Labels for Weakly Supervised Instance Segmentation
Horizon Robotics(地平线机器人);Huazhong University of Science & Technology(华中科技大学)
与边界框相比,使用逐像素分割标记对象需要大量的人力。大多数现有的弱监督实例分割方法集中在设计启发式损失与先验的边界框。同时,我们发现框监督方法可以产生一些精细的分割掩模,我们想知道检测器是否可以从这些精细掩模中学习,而忽略低质量的掩模。为了回答这个问题,我们提出了BoxTeacher,这是一个高效的端到端训练框架,用于高性能弱监督实例分割,它利用一个复杂的教师来生成高质量的掩码作为伪标签。考虑到大量噪声掩模对训练的影响,本文提出了一种掩模感知置信度来估计伪掩模的质量,并提出了噪声感知像素损失和噪声降低亲和度损失来自适应地优化具有伪掩模的学生。大量的实验可以证明所提出的BoxTeacher的有效性。在没有花哨的情况下,BoxTeacher在具有挑战性的COCO数据集上分别使用ResNet-50和ResNet-101显著实现了35.0掩码AP和36.5掩码AP,这比以前的最先进方法有很大的优势,并弥合了框监督和掩码监督方法之间的差距。代码和模型将在https://github.com/hustvl/BoxTeacher上提供。
2023-03-17 cs.CV
Exploring Context with Deep Structured models for Semantic Segmentation
Nanyang Technological University(南洋理工大学);The University of Adelaide(阿德莱德大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
最先进的语义图像分割方法大多基于训练深度卷积神经网络(CNN)。在这项工作中,我们提出了改善语义分割与上下文信息的使用。特别是,我们探索了深度CNN中的“补丁-补丁”上下文和“补丁-背景”上下文。我们通过结合CNN和条件随机场(CRF)来制定深度结构化模型,以学习图像区域之间的补丁-补丁上下文。具体来说,我们制定了基于CNN的成对势函数,以捕捉相邻补丁之间的语义相关性。然后应用所提出的深度结构化模型的有效分段训练,以避免在反向传播过程中重复昂贵的CRF推断。对于捕获补丁背景上下文,我们表明,传统的多尺度图像输入和滑动金字塔池的网络设计是非常有效的,以提高性能。我们对所提出的方法进行了综合评价。我们在许多具有挑战性的语义分割数据集上实现了新的最先进的性能,包括$NYUDv2$、$PASCAL$ - $VOC2012$、$Cityscapes$、$PASCAL$ - $Context$、$SUN$ - $RGBD$、$SIFT$ - $flow$和$KITTI$数据集。特别是,我们报告了$PASCAL$ - $VOC2012$数据集上$77.8$的交叉-联合评分。
2017-05-02 cs.CV
Exploring and Exploiting Diversity for Image Segmentation
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
语义图像分割是计算机视觉的一项重要任务,但由于其包含识别和分割两个部分,因此具有一定的难度。该任务通常被转换为指数级大输出空间上的结构化输出问题,该输出空间通常由离散概率模型建模。最好的分割是通过推断最大后验概率(MAP)的解决方案,由模型定义的输出分布。由于优化的限制,模型不能任意复杂。这导致了一个权衡:设计一个更精确的模型,该模型以不精确和可能棘手的优化为代价,在图像元素之间包含丰富的高阶交互,或者利用一个易处理的模型,该模型产生不太精确的MAP解,但可能包含高质量的解作为其输出分布的其他模式。本文研究了后者,并提出了一种两阶段的语义分割方法。在第一阶段,一个易于处理的分割模型输出一组来自底层分布的高概率分割,这些分割不仅仅是彼此的微小扰动。至关重要的是,这一阶段的输出是一组多样化的合理解决方案,而不仅仅是一个单一的解决方案。在第二阶段,一个有区别地训练的重新排序模型从这个集合中选择最好的分割。重新排序阶段可以使用比可以在分割模型中可追踪地使用的特征复杂得多的特征,从而允许比简单地返回MAP解决方案更好地探索解决方案空间。该公式与底层分割模型(例如CRF、CNN等)无关。和优化算法,这使得它适用于广泛的模型和推理方法。一些语义图像分割基准数据集上的方法的评估突出了它的优越性推断MAP解决方案。
2017-09-05 cs.CV
Exploring PCA-based feature representations of image pixels via CNN to enhance food image segmentation
本文提出一种基于CNN和PCA的无监督食品图像分割方法,利用轮廓系数评估像素特征聚类质量,在FoodSeg103上取得0.5423的mIoU,无需微调即可实现灵活、可泛化的分割。
2024-11-05 cs.CV
Focus on Background: Exploring SAM's Potential in Few-shot Medical Image Segmentation with Background-centric Prompting
Nanjing University of Science and Technology(南京理工大学);University of New South Wales(新南威尔士大学);Data61 CSIRO
本文提出FoB,通过背景中心提示生成解决SAM在医学图像分割中的过度分割问题,实验表明其在少样本分割任务中表现优异,具有良好的跨领域泛化能力。
2026-03-22 cs.CV
Exploring Token-Level Augmentation in Vision Transformer for Semi-Supervised Semantic Segmentation
South China University of Technology(华南理工大学);Pengcheng Laboratory(鹏城实验室);China Tobacco Guangdong Industrial Corporation(广东中烟工业有限责任公司);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出TokenMix令牌级数据增强和双分支框架,解决Vision Transformer在半监督语义分割中的适应性问题,并在多个基准上取得领先精度。
2025-03-10 cs.CV
Exploring Weakly Supervised Semantic Segmentation Ensembles for Medical Imaging Systems
Institute of Computer Engineering, Technische Universität Wien (TU Wien)(维也纳工业大学(TU Wien)计算机工程研究所);Division of Engineering, New York University Abu Dhabi(纽约大学阿布扎比分校工程系)
使用最先进的语义分割网络对图像中的某些医疗状况进行可靠的分类和检测需要大量的逐像素注释。然而,这些数据集的公开可用性很低。因此,图像级标签的语义分割提出了一个有前途的替代方案,这个问题。然而,很少有工作集中在评估这种技术及其适用于医疗部门。由于它们的复杂性和医学数据集中的训练样本数量很少,基于分类器的弱监督网络(如类激活映射(CAM))很难从中提取有用的信息。然而,大多数最先进的方法依赖于它们来实现其改进。因此,我们提出了一个框架,仍然可以利用复杂数据集的低质量CAM预测,以提高我们的结果的准确性。我们的框架首先利用较低阈值的CAM以高确定性覆盖目标对象;其次,通过组合多个低阈值CAM,在突出显示目标对象的同时消除它们的错误。我们对流行的多模态BRATS和前列腺DECATHLON分割挑战数据集进行了详尽的实验。使用所提出的框架,我们已经证明了一个改进的骰子得分高达8%的BRATS和6%的DECATHLON数据集相比,以前的国家的最先进的。
2023-03-16 cs.CV
Exploring Open-Vocabulary Semantic Segmentation without Human Labels
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Meta AI Research(Meta人工智能研究院)
本文提出 ZeroSeg,利用 CLIP 等预训练视觉-语言模型并通过 segment token 蒸馏视觉概念,实现无需人工标注的开放词汇零样本语义分割,在多个基准上达到先进性能。
2023-06-01 cs.CV
Exploring vision transformer layer choosing for semantic segmentation
Xinjiang University(新疆大学)
本文提出ViTController,一种动态自适应融合与特征选择的颈部网络,用于替代人工选择视觉Transformer层特征,在多个数据集和模型上超越现有最先进方法,并可作为插件模块使用。
2023-05-02 cs.CV
Global Planar Convolutions for improved context aggregation in Brain Tumor Segmentation
QMENTA;Computer Vision Center, Universitat Autònoma de Barcelona(计算机视觉中心,巴塞罗那自治大学);SIMBIOsys, Universitat Pompeu Fabra(SIMBIOsys,庞培法布拉大学)
在这项工作中,我们引入了全局平面卷积模块作为全卷积网络的构建模块,该模块聚合了全局信息,因此增强了脑肿瘤分割背景下分割网络的上下文感知能力。我们实现了两个基线架构(3D UNet和3D UNet的残余版本,ResUNet),并提出了一种新的架构,基于这两个架构,ContextNet,其中包括拟议的全球平面卷积模块。我们表明,添加这样的模块消除了需要建立网络与几个代表性的水平,这往往是过度参数化,并展示缓慢的收敛速度。此外,我们提供了一个可视化的演示GPC模块的行为,通过可视化的中间表示。我们最终以基于ContextNet的最佳性能模型参加了2018年版的BraTS挑战赛,并报告了挑战赛验证和测试集的评估分数。
2019-08-27 cs.CV eess.IV stat.ML
Exploring Feature Representation Learning for Semi-supervised Medical Image Segmentation
Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology Shenzhen Research Institute(香港科技大学深圳研究院)
本文提出一种用于半监督医学图像分割的两阶段框架,通过阶段自适应对比学习探索特征表示,并利用认知不确定性感知方法AUA生成高质量伪标签,在三个公共基准上取得最佳结果。
2023-07-30 cs.CV
SegViTv2: Exploring Efficient and Continual Semantic Segmentation with Plain Vision Transformers
Meituan Inc.(美团);Zhejiang University(浙江大学);The University of Adelaide(阿德莱德大学)
本文提出SegViTv2,利用普通ViT和注意力到掩码模块实现高效语义分割,并通过Shrunk++结构降低计算成本,支持持续学习且几乎不遗忘旧知识。
2023-08-30 cs.CV
Mamba or RWKV: Exploring High-Quality and High-Efficiency Segment Anything Model
S-Lab, NTU(S-Lab,新加坡南洋理工大学);Skywork AI(天工AI);UC Merced(加州大学默塞德分校)
本文提出RWKV-SAM,通过设计结合卷积与RWKV的混合主干及多尺度token解码器,构建高效分割基准,在保证高质量分割的同时实现超2倍加速,优于Transformer和Mamba模型。
2024-06-27 cs.CV
Exploring Active Learning for Semiconductor Defect Segmentation
针对半导体XRM缺陷分割中标注成本高、领域偏移和类别不平衡问题,提出结合无标注对比预训练与稀有性感知获取函数的主动学习方法,并在高带宽存储数据集上达到最先进性能。
2025-07-23 cs.CV
Exploring Generalizable Distillation for Efficient Medical Image Segmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Beijing University of Posts and Telecommunications(北京邮电大学);Shandong University of Science and Technology(山东科技大学)
高效的医学图像分割旨在通过轻量级的实现框架为医学图像提供准确的逐像素预测。然而,轻量级框架通常无法实现优越的性能,并遭受跨域任务的泛化能力差。在本文中,我们探讨了可推广的知识蒸馏的跨域医学图像的有效分割。考虑到不同医学数据集之间的领域差距,我们提出了特定模型对齐网络(MSAN),以获得域不变的表示。同时,设计了一个定制的一致性培训(ACT)策略,以促进MSAN培训。针对MSAN中的领域不变表示向量,提出了两种可推广的跨领域知识蒸馏方案:对偶对比图蒸馏(Dual Contrastive Graph Distillation,DCGD)和领域不变交叉蒸馏(Domain-Invariant Cross Distillation,DICD)。具体而言,在DCGD中,设计了两种类型的隐式对比图,从数据分布的角度来表示内部耦合和相互耦合的语义相关性。在DICD中,来自两个模型的域不变语义向量(即,教师和学生)通过MSAN的报头交换来交叉重构特征,这在学生模型中实现了编码器和解码器的泛化方面的改进。此外,一个名为Frechet语义距离(FSD)的度量量身定制,以验证正则化域不变特征的有效性。在肝脏和视网膜血管分割数据集上进行的大量实验证明了我们的方法在轻量级框架上的性能和泛化方面的优越性。
2023-02-20 cs.CV
Exploring Probabilistic Modeling Beyond Domain Generalization for Semantic Segmentation
National Taiwan University(台湾大学);University of Washington(华盛顿大学);Microsoft(微软);Chang Gung University(长庚大学)
针对现有领域泛化语义分割方法忽略内在潜在域先验导致效果不佳的问题,提出含三个模块的概率扩散对齐框架PDAF,通过潜在域先验建模与特征对齐提升分割网络泛化性,经多样城市场景实验验证有效。
2025-07-28 cs.CV
Exploring Consistency in Cross-Domain Transformer for Domain Adaptive Semantic Segmentation
Boston University(波士顿大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
虽然Transformers极大地提高了语义分割的性能,但领域自适应Transformers尚未得到很好的探索。我们确定,域差距可能会导致差异的自我注意。由于该间隙,Transformer会处理伪区域或像素,这会降低目标域上的精度。我们建议使用跨域注意力层对注意力地图进行自适应,这些注意力层在源域和目标域之间共享特征。具体来说,我们在跨域注意力和自我注意力模块的预测之间施加一致性,以鼓励跨域模型的注意力和输出的相似分布,即,注意力水平和输出水平的对齐。我们还强制不同增强视图之间的注意力地图保持一致,以进一步加强基于注意力的对齐。结合这两个组件,我们的方法减轻了跨域的注意力地图的差异,并进一步提高性能的Transformer下无监督的领域自适应设置。我们的模型在三个广泛使用的基准上优于现有的最先进的基线模型,包括GTAV到Cityscapes的1.3个百分点(pp),Synthia到Cityscapes的0.6个pp,Cityscapes到ACDC的1.1个pp。此外,我们通过大量的实验验证了我们的方法的有效性和通用性。我们的代码将公开。
2022-12-21 cs.CV
Exploring Modality Guidance to Enhance VFM-based Feature Fusion for UDA in 3D Semantic Segmentation
Institute of Visual Computing, Graz University of Technology(视觉计算研究所,格拉茨技术大学);JKU LINZ(JKU林茨);TU Wien(维也纳技术大学);IBM Research(IBM研究院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本研究利用视觉基础模型的跨域特征,通过图像与点云双流引导的融合网络,实现LiDAR 3D语义分割的无监督域适应,较最先进方法平均提升6.5 mIoU。
2025-04-19 cs.CV
Exact: Exploring Space-Time Perceptive Clues for Weakly Supervised Satellite Image Time Series Semantic Segmentation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
针对SITS作物制图像素级标注困难,提出弱监督Exact方法,通过空间线索与时间—类别交互生成基于线索的CAM以训练分割网络,性能达到全监督的95%。
2024-12-05 cs.CV
Exploring Pixel-level Self-supervision for Weakly Supervised Semantic Segmentation
KAIST(韩国科学技术院)
现有的研究在弱监督语义分割(WSSS)利用类激活地图(CAM)本地化的类对象。然而,由于分类损失不足以提供精确的对象区域,因此CAM倾向于偏向于有区别的模式(即,稀疏性)并且不提供精确的对象边界信息(即,不精确)。为了解决这些限制,我们提出了一个新的框架(由MainNet和SupportNet组成)。其从给定的图像级监督导出像素级自我监督。在我们的框架中,在建议的区域对比模块(RCM)和多尺度注意模块(MAM)的帮助下,MainNet通过来自SupportNet的自我监督进行训练。RCM从SupportNet中提取了两种形式的自我监督:(1)从CAM生成的类区域掩码和(2)根据类区域掩码从特征中获得的类原型。然后,MainNet的每个像素级特征都由原型以对比的方式进行训练,从而锐化生成的CAM。MAM利用从SupportNet推断的多个尺度的CAM作为自我监督来指导MainNet。基于来自MainNet和SupportNet的多尺度CAM之间的不同,来自MainNet的CAM被训练以扩展到区分度较低的区域。该方法在PASCAL VOC 2012数据集的训练集和验证集上均显示出最先进的WSSS性能。为了可重复性,代码将很快公开。
2021-12-10 cs.CV
Exploring Scene Affinity for Semi-Supervised LiDAR Semantic Segmentation
School of Computer Science, Wuhan University(武汉大学计算机学院);School of Artificial Intelligence, Wuhan University(武汉大学人工智能学院);School of Computer Science and Technology, Hainan University(海南大学计算机科学与技术学院);School of Electronic Information, Wuhan University(武汉大学电子信息学院);State Key Lab. of LIESMARS, Wuhan University(武汉大学LIESMARS国家重点实验室);Institute for Math & AI, Wuhan University(武汉大学数学与人工智能研究院)
本文提出AIScene方法,通过移除无伪标签点确保场景内前后向传播一致性,并结合多场景混合增强,显著提升了半监督LiDAR语义分割性能。
2025-04-01 cs.CV
SegEarth-OV3: Exploring SAM 3 for Open-Vocabulary Semantic Segmentation in Remote Sensing Images
School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件工程学院);School of Computer Science and Technology, Xi’an Jiaotong University(西安交通大学计算机科学与技术学院);School of Information and Communications Engineering, Xi’an Jiaotong University(西安交通大学信息与通信工程学院);Ministry of Education Key Lab of Intelligent Network Security, Xi’an, China(教育部智能网络安全重点实验室);Pazhou Laboratory (Huangpu), Radarweg 29, Guangzhou, China(琶洲实验室(黄埔),雷达路29号,广州,中国)
本文提出SegEarth-OV3,通过结合SAM 3的语义分割头和Transformer解码器,提升遥感图像的语义分割性能,并通过实例和像素级验证策略改进变化检测,验证了SAM 3在开放词汇遥感任务中的潜力。
2026-04-22 cs.CV
UIS-Mamba: Exploring Mamba for Underwater Instance Segmentation via Dynamic Tree Scan and Hidden State Weaken
School of Control Science and Engineering, Shandong University(控制科学与工程学院,山东大学);School of Data Science, Lingnan University(数据科学学院,岭南大学)
针对水下场景色彩失真、边界模糊导致Mamba应用于水下实例分割的难题,提出含动态树扫描和隐状态弱化模块的UIS-Mamba模型,在两个数据集上实现SOTA且参数量与计算量较低。
2025-08-01 cs.CV
Inherit with Distillation and Evolve with Contrast: Exploring Class Incremental Semantic Segmentation Without Exemplar Memory
Beihang University(北京航空航天大学)
针对无样本记忆的类别增量语义分割,提出IDEC框架,通过DADA蒸馏与ARCL区域对比同步缓解灾难性遗忘和语义漂移,并在多个数据集上取得最先进性能。
2023-09-27 cs.CV
Depth Matters: Exploring Deep Interactions of RGB-D for Semantic Segmentation in Traffic Scenes
Jimei University(集美大学);Sun Yat-sen University(中山大学);Xidian University(西安电子科技大学)
本文提出DiPFormer,通过深度空间感知优化和深度线性交叉注意力充分挖掘RGB-D深度信息,有效解决注意力偏移问题,在KITTI和Cityscapes上取得领先的语义分割性能。
2025-07-01 cs.CV
Exploring Semantic Consistency and Style Diversity for Domain Generalized Semantic Segmentation
Xiamen University(厦门大学)
针对域泛化语义分割中特征归一化与域随机化的局限,提出SCSD框架,通过语义查询增强、文本驱动风格变换和风格协同优化,在GTAV训练下于四个未见域数据集上平均mIoU达49.11,超越SOTA 4.08。
2024-12-16 cs.CV
Exploring High-quality Target Domain Information for Unsupervised Domain Adaptive Semantic Segmentation
University of Science and Technology of China(中国科学技术大学)
在无监督域自适应(UDA)语义分割中,基于蒸馏的方法目前在性能上占主导地位。然而,蒸馏技术需要复杂的多阶段过程和许多训练技巧。在本文中,我们提出了一种简单而有效的方法,可以实现竞争性能的先进蒸馏方法。我们的核心思想是从边界和特征的角度充分挖掘目标域的信息。首先,我们提出了一种新的混合策略,以生成高质量的目标域边界与地面真理标签。与以往的源域边界不同,我们选择高置信度的目标域区域,然后将它们粘贴到源域图像。这种策略可以生成具有正确标签的目标域中的对象边界(目标域对象区域的边缘)。因此,通过对混合样本的学习,可以有效地捕获目标域的边界信息。其次,我们设计了一个多层次的对比损失,包括像素级和原型级的对比学习,以提高目标域数据的表示。通过结合这两种方法,可以提取更多的区分特征,并且可以更好地解决目标域的硬对象边界。在两个常用的基准程序(\textit{i.e.}、GTA 5 $\rightarrow$ Cityscapes和SYNTHIA $\rightarrow$ Cityscapes)上的实验结果表明,该方法具有与复杂蒸馏方法相媲美的性能.值得注意的是,对于SYNTHIA $\rightarrow$ Cityscapes场景,我们的方法在16个类和13个类上使用$57.8\%$ mIoU和$64.6\%$ mIoU实现了最先进的性能。代码可在https://github.com/ljj…
2022-08-12 cs.CV
CTNet: Context-based Tandem Network for Semantic Segmentation
Nanjing University of Science and Technology(南京理工大学)
上下文信息已被证明是强大的语义分割。本文提出了一种基于上下文的串联网络(CTNet),通过交互式地探索空间上下文信息和通道上下文信息,发现语义上下文,实现语义分割。具体来说,空间上下文模块(SCM)的杠杆,以揭示像素和类别之间的相关性的像素之间的空间上下文依赖。同时,引入通道上下文模块(CCM),通过对通道间的长期语义依赖进行建模,学习通道的语义特征,包括语义特征映射和类特定特征。利用学习到的语义特征作为先验知识指导SCM的学习,使SCM获得更准确的长距离空间依赖关系。最后,为了进一步提高语义分割的学习表示的性能,两个上下文模块的结果被自适应地集成以实现更好的结果。在三个广泛使用的数据集上进行了广泛的实验,即,PASCAL-Context、ADE20K和PASCAL VOC 2012。实验结果表明,与现有的几种方法相比,所提出的CTNet具有更好的性能。
2021-04-20 cs.CV
WeakTr: Exploring Plain Vision Transformer for Weakly-supervised Semantic Segmentation
School of Electronic Information and Communications, Huazhong University of Science and Technology(华中科技大学电子信息与通讯学院);Alipay Tian Qian Security Lab(支付宝天泉安全实验室)
本文提出WeakTr方法,利用纯视觉变换器的多层多头自注意力图进行弱监督语义分割和CAM生成,通过自适应融合提升CAM质量,并提出基于ViT的梯度裁剪解码器实现高效重训练。
2026-03-25 cs.CV
Prompting classes: Exploring the Power of Prompt Class Learning in Weakly Supervised Semantic Segmentation
ETS Montreal(蒙特利尔高等工程技术学院);Jadavpur University(贾达普大学)
本文研究提示调优对弱监督语义分割的影响,发现仅修改类别token即可显著影响CAM,并提出POLE策略,在WSSS基准上取得SOTA性能。
2024-01-13 cs.CV
Exploring Fine-Grained Image-Text Alignment for Referring Remote Sensing Image Segmentation
School of Information Science and Technology, Southwest Jiaotong University(西南交通大学信息科学与技术学院);Ant Group(蚂蚁集团);Luoyang Institute of Electro-optical Equipment, AVIC(中国航空工业集团公司洛阳电光设备研究所);Faculty of Geosciences and Engineering, Southwest Jiaotong University(西南交通大学地球科学与环境工程学院)
本文针对指称遥感图像分割中粗粒度对齐的不足,提出细粒度图像-文本对齐模块FIAM和文本感知多尺度增强模块TMEM,在RefSegRS和RRSIS-D数据集上取得优于现有方法的性能。
2024-12-27 cs.CV
Exploring Structure-Wise Uncertainty for 3D Medical Image Segmentation
Artificial Intelligence Research Institute (AIRI)(人工智能研究院(AIRI));Moscow Institute of Physics and Technology(莫斯科物理技术学院);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
在将深度学习模型应用于医学图像时,估计模型的不确定性至关重要。体素不确定性对于人类专家来说是一个有用的视觉标记,可以用来改进模型的体素输出,比如分割。此外,不确定性为分布外(OOD)检测提供了坚实的基础,提高了模型在图像层面的性能。然而,医学成像中的一个常见任务是分割不同的局部结构,如肿瘤或病变。这里,结构方面的不确定性允许比图像方面更精确的操作,并且比体素方面更具有语义感知。如何产生不确定性的个别结构仍然探索不足。我们提出了一个框架来衡量结构方面的不确定性,并评估OOD数据对模型性能的影响。因此,我们确定最佳UE方法来提高分割质量。该框架在三个数据集上进行了测试,其中包括肿瘤分割任务:LIDC-IDRI,LiTS和一个具有多个脑转移病例的私人数据集。
2022-11-01 cs.CV eess.IV
Exploring Transformers for Open-world Instance Segmentation
The University of Hong Kong(香港大学);ByteDance(字节跳动);Dalian University of Technology(大连理工大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出SWORD,利用Transformer结合停止梯度、IoU头和对比学习框架解决开放世界实例分割,在多个跨类别与跨数据集基准上取得最先进性能。
2023-08-08 cs.CV
UNet-2022: Exploring Dynamics in Non-isomorphic Architecture
Xiamen University(厦门大学);The University of Hong Kong(香港大学)
目前的医学图像分割模型大多是混合模型,它将自注意和卷积层集成到非同构结构中。然而,这些方法的一个潜在缺点是,它们未能提供为什么这种混合组合方式是有益的直观解释,使得后续工作难以在它们之上进行改进。为了解决这个问题,我们首先分析了自注意和卷积的权重分配机制之间的差异。在此基础上,我们提出了一种并行的非同构块,它利用了自注意和卷积的优点,具有简单的并行化。我们将得到的U形分割模型命名为UNet-2022。在实验中,UNet-2022在一系列分割任务中明显优于其同行,包括腹部多器官分割,自动心脏诊断,神经结构分割和皮肤病变分割,有时超过最佳基线4%。具体来说,UNet-2022远远超过了目前最受认可的细分模型nnUNet。这些现象表明UNet-2022有可能成为医学图像分割的首选模型。
2022-10-27 cs.CV eess.IV
Exploring Long-Sequence Masked Autoencoders
Masked Autoencoding(MAE)已经成为跨多个领域预训练表示的有效方法。与自然语言中的离散标记相比,图像MAE的输入是连续的并且受到附加规范的约束。我们在预训练阶段系统地研究了每个输入规范,发现序列长度是进一步扩展MAE的关键轴。我们的研究导致了MAE的长序列版本,对原始配方的变化最小,通过将掩模大小与贴片大小解耦。对于目标检测和语义分割,我们的长序列MAE在所有实验设置中显示出一致的增益,而在传输过程中没有额外的计算成本。虽然长序列预训练对检测和分割最有利,但我们也通过保持标准图像大小并仅增加序列长度来实现ImageNet-1 K分类的强大结果。我们希望我们的发现可以为计算机视觉的扩展提供新的见解和途径。
2022-10-13 cs.CV
PanoSSC: Exploring Monocular Panoptic 3D Scene Reconstruction for Autonomous Driving
School of Vehicle and Mobility, Tsinghua University(清华大学车辆与出行学院);Kargobot(卡戈机器人);DiDi Chuxing(滴滴出行)
针对现有自动驾驶占用网络存在的物体预测不一致、相邻物体混淆问题,提出实例感知占用网络PanoSSC,通过前后景分离预测、新型3D实例掩码解码器实现多任务统一,在SemanticKITTI基准上取得有竞争力的结果。
2024-06-11 cs.CV
Technical Report for ICRA 2026 GOOSE 2D Fine-Grained Semantic Segmentation Challenge: Exploring Query-Based Segmentation and Increased Spatial Context for Outdoor Scene Understanding
Rey Juan Carlos University(胡安卡洛斯国王大学)
本报告提出基于SegFormer和Mask2Former的细粒度语义分割方法,通过增大训练裁剪尺寸和测试时增强,在GOOSE挑战赛上达到69.6% mIoU,验证了查询式分割和空间上下文的重要性。
2026-06-23 cs.CV cs.RO
Exploring Spatial Diversity for Region-based Active Learning
Institute for Infocomm Research (I2R), A-STAR, Singapore(信息与通信研究所(I2R),A-STAR,新加坡)
本文提出在基于区域的语义分割主动学习中引入局部空间多样性,并与不确定性等准则统一优化,仅用5–9%标注像素即达到全监督方法95%的性能。
2025-07-23 cs.CV
Exploring Smoothness and Class-Separation for Semi-supervised Medical Image Segmentation
Nanyang Technological University(南洋理工大学);Monash University(莫纳什大学);Monash eResearch Centre(莫纳什电子研究中心)
半监督分割在医学成像中仍然具有挑战性,因为注释的医学数据的量通常是稀缺的,并且在粘性边缘附近或在低对比度区域中存在许多模糊像素。为了解决这些问题,我们主张首先约束具有和不具有强扰动的像素的一致性,以应用足够的平滑度约束,并进一步鼓励类级分离,以利用低熵正则化进行模型训练。特别是,在本文中,我们提出了SS-网络的半监督医学图像分割任务,通过探索像素级的平滑性和类间分离的同时。像素级的平滑性迫使模型在对抗性扰动下生成不变的结果。同时,类间分离鼓励单个类特征向其对应的高质量原型逼近,以使每个类分布紧凑,区分不同的类。我们在公共LA和ACDC数据集上对我们的SS-Net进行了评估。在两个半监督设置下的大量实验结果证明了我们提出的SS-Net模型的优越性,在两个数据集上都实现了新的最先进(SOTA)性能。该代码可在https://github.com/ycwu1997/SS-Net上获得。
2022-06-28 cs.CV eess.IV
Interpretability of Uncertainty: Exploring Cortical Lesion Segmentation in Multiple Sclerosis
University of Lausanne(洛桑大学);Lausanne University Hospital(洛桑大学医院);University of Applied Sciences Western Switzerland (HES-SO)(瑞士西部应用科学大学(HES-SO));CIBM Center for Biomedical Imaging(CIBM生物医学成像中心);University Hospital and University Basel(巴塞尔大学医院与巴塞尔大学);University of Genova(热那亚大学);University of Geneva(日内瓦大学)
本文研究多发性硬化症皮层病变分割中实例级不确定性的可解释性,展示UQ可用于可靠性评估、模型行为洞察、偏差检测及方法验证。
2024-07-08 cs.CV eess.IV
Exploring Data-Efficient 3D Scene Understanding with Contrastive Scene Contexts
Technical University of Munich(慕尼黑工业大学);Facebook AI Research(脸书人工智能研究院)
3D场景理解的快速发展伴随着对数据需求的不断增长;然而,收集和注释3D场景(例如点云)是非常困难的。例如,可以访问和扫描的场景(例如室内房间)的数量可能有限;即使给定足够的数据,获取3D标签(例如实例掩码)也需要密集的人力劳动。在本文中,我们探索了3D点云的数据高效学习。作为朝着这个方向迈出的第一步,我们提出了对比场景上下文,这是一种利用场景中的点级对应和空间上下文的3D预训练方法。我们的方法在一套基准测试中取得了最先进的结果,其中训练数据或标签很少。我们的研究表明,3D点云的详尽标记可能是不必要的;值得注意的是,在ScanNet上,即使使用0.1%的点标签,我们仍然实现了使用完整注释的基线性能的89%(实例分割)和96%(语义分割)。
2021-06-25 cs.CV
Automatic Image Co-Segmentation: A Survey
Beijing Institute of Technology(北京理工大学)
图像联合分割是一种重要的图像分割方法,它通过挖掘相关图像之间的相关性来缓解图像分割的病态性。在过去的十年中,出现了许多自动图像联合分割算法,本文对这些算法进行了全面的研究。我们首先分析了用于指导图像联合分割的视觉/语义线索,包括对象线索和相关性线索。然后从基于对象元素、基于对象区域/轮廓、基于公共对象模型三个方面对传统的方法进行了描述。在下一部分中,将回顾基于深度学习的方法。此外,广泛使用的测试数据集和评估标准进行了介绍,并报告的性能调查算法进行了比较。最后,我们讨论了当前的挑战和未来可能的方向,并结束了本文。希望本文的研究能对图像联合分割技术的发展有所帮助。
2019-11-18 cs.CV
LarvSeg: Exploring Image Classification Data For Large Vocabulary Semantic Segmentation via Category-wise Attentive Classifier
School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院);Center of Data Science, Peking University(北京大学数据科学中心);Microsoft Research Asia(微软亚洲研究院)
针对大词汇量语义分割掩码标注成本高、分布外类别性能差的问题,提出LarvSeg框架,利用图像分类数据扩展词汇量,通过类别级注意力分类器优化监督,首次实现21K类语义分割,显著提升无掩码标签类别的性能。
2025-01-12 cs.AI cs.CV
Exploring Intrinsic Properties of Medical Images for Self-Supervised Binary Semantic Segmentation
New York University(纽约大学)
本文提出专为医学图像分割定制的自监督框架 MedSASS,通过利用医学图像内在属性,在四个数据集上超越现有 CNN 自监督方法 3.83% 并匹配 ViT 性能,端到端训练时分别提升 14.4% 和 6%。
2024-04-27 cs.AI cs.CV
Exploring Set Similarity for Dense Self-supervised Representation Learning
University of Sydney(悉尼大学);Kuaishou Technology(快手科技);Xidian University(西安电子科技大学);University of Melbourne(墨尔本大学)
通过考虑空间对应性,密集自监督表示学习在各种密集预测任务上取得了优异的性能。然而,像素级对应往往是嘈杂的,因为许多类似的误导像素,例如,背景为了解决这个问题,在本文中,我们建议探索\textbf{set} \textbf{sim} ilarity(SetSim)的密集自监督表示学习。由于集合包含更多的语义和结构信息,我们将像素相似性学习推广到集合相似性学习,以提高鲁棒性。具体来说,通过诉诸注意力的意见,我们建立相应的集,从而过滤掉嘈杂的背景,可能会导致不正确的对应关系。同时,这些注意特征可以保持同一图像在不同视角下的一致性,以缓解语义不一致。我们进一步搜索集合的交叉视图最近邻,并采用结构化的邻域信息来增强鲁棒性。实验结果表明,SetSim在目标检测、关键点检测、实例分割和语义分割方面优于现有的方法。
2022-03-14 cs.CV
2D-3D Fully Convolutional Neural Networks for Cardiac MR Segmentation
在本文中,我们使用深度卷积神经网络(CNN)开发了一个用于全自动心脏MR图像分割的2D和3D分割管道。我们的模型是使用ACD Challenge 2017数据集从头开始进行端到端训练的,该数据集由100项研究组成,每项研究都包含舒张末期和收缩末期的心脏MR图像。我们表明,我们的分割模型在距离度量方面达到了接近最先进的性能分数,并且在临床参数方面具有令人信服的准确性。通过引入一种新的骰子损失函数及其与交叉熵损失的组合,提供了一个比较分析。通过探索不同的网络结构和综合实验,我们讨论了获得最佳模型性能的几个关键见解,这也是本次挑战的核心主题。
2017-07-31 cs.CV
RevColV2: Exploring Disentangled Representations in Masked Image Modeling
MEGVII Technology(旷视科技)
针对MIM预训练与微调表示不一致的问题,提出RevColV2架构,在预训练和微调中保留完整自编码器,通过可逆传播解耦信息,在多个下游任务上取得优异性能。
2023-09-02 cs.CV
FedFMS: Exploring Federated Foundation Models for Medical Image Segmentation
School of Electronic and Computer Engineering, Peking University(北京大学电子与计算机工程学院)
针对医学图像分割中隐私保护与基础模型训练的挑战,提出联邦基础模型框架FedFMS,包含FedSAM和高效FedMSA,在保持隐私的同时达到与集中式训练相当的性能并提升效率。
2024-11-06 cs.CV cs.DC eess.IV
Semi-Supervised Semantic Segmentation with Cross Pseudo Supervision
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们研究了半监督语义分割问题,通过探索标记数据和额外的未标记数据。我们提出了一种新的一致性正则化方法,称为交叉伪监督(CPS)。我们的方法对同一输入图像的不同初始化扰动的两个分割网络的一致性。从一个扰动的分割网络输出的伪独热标签映射被用于以标准交叉熵损失来监督另一个分割网络,反之亦然。CPS一致性有两个作用:鼓励两个扰动网络对同一输入图像的预测之间的高度相似性,以及通过使用具有伪标签的未标记数据来扩展训练数据。实验结果表明,该方法在Cityscapes和PASCAL VOC 2012上实现了最先进的半监督分割性能。代码可在https://git.io/CPS上获得。
2021-06-04 cs.CV
DeformUX-Net: Exploring a 3D Foundation Backbone for Medical Image Segmentation with Depthwise Deformable Convolution
Vanderbilt University(范德堡大学)
针对现有医学图像分割3D模型的算子局限,研究提出3D DeformUX-Net体素CNN骨干网络,结合深度可变形卷积与重参数化三平面偏移实现高效自适应建模,在多类公开数据集上的平均Dice指标均优于现有最先进模型。
2023-10-04 cs.CV