Object-Guided Instance Segmentation for Biological Images
Rutgers University(罗格斯大学);Tencent Hippocrates Research Labs(腾讯希波克拉底研究实验室);Lieber Institute for Brain Development(利伯大脑发育研究所)
生物图像的实例分割是研究目标行为和属性的基础。诸如对象的聚类、遮挡和粘附问题的挑战使得实例分割成为一项不平凡的任务。当前无框实例分割方法通常依赖于局部像素级信息。由于缺乏全局对象视图,这些方法易于过分割或欠分割。相反,基于框的实例分割方法将目标检测结合到分割中,在识别个体实例方面表现更好。本文提出了一种新的基于框的实例分割方法。主要是从对象的中心点定位对象的边界框。对象特征随后在分割分支中被重用,作为在RoI补丁内分离聚类实例的指南。通过实例归一化,该模型能够恢复目标对象的分布并抑制相邻附着对象的分布。因此,该模型在分割聚类对象,同时保留目标对象的细节表现出色。所提出的方法在三个生物数据集上实现了最先进的性能:细胞核,植物表型数据集和神经细胞。
2019-11-20 cs.CV
Video Semantic Segmentation with Distortion-Aware Feature Correction
University of Science and Technology of China(中国科学技术大学)
得益于图像语义分割的巨大进步,视频语义分割近年来十分活跃。对于这样的任务,由于高计算成本,逐帧图像分割在实践中通常是不可接受的。为了解决这个问题,许多作品使用基于流的特征传播来重用先前帧的特征。然而,光流的估计不可避免地遭受不准确,从而导致传播的特征失真。在本文中,我们提出了失真感知的特征校正,以缓解这个问题,它提高了视频分割的性能,通过纠正失真的传播功能。具体而言,我们首先提出将失真模式从特征转移到图像空间,并进行有效的失真图预测。在变形图的指导下,提出了特征校正模块(FCM)对变形区域中的传播特征进行校正。我们提出的方法可以显着提高视频语义分割的准确性在一个较低的价格。在Cityscapes和CamVid上的大量实验结果表明,我们的方法优于最近的最先进的方法。
2020-11-12 cs.CV
Object-Guided Instance Segmentation With Auxiliary Feature Refinement for Biological Images
Rutgers University(罗格斯大学);Tencent Hippocrates Research Labs(腾讯希波克拉底研究实验室);Lieber Institute for Brain Development(利伯大脑发育研究所)
实例分割在许多生物学应用中具有重要意义,如神经细胞相互作用的研究、植物表型分析以及定量测量细胞对药物处理的反应等。本文提出了一种新的基于框的实例分割方法。基于框的实例分割方法通过边界框捕获对象,然后在每个限界框区域内执行单独的分割。然而,现有的方法很难区分目标从它的相邻物体在同一个限界框区域内,由于它们的相似的纹理和低对比度的边界。针对这一问题,本文提出了一种基于对象引导的实例分割方法。我们的方法首先检测对象的中心点,然后预测的限界框参数。为了执行分割,对象引导的粗到细分割分支与检测分支一起构建。分割分支重用对象特征作为指导,以将目标对象与同一限界框区域内的相邻对象分离。为了进一步提高分割质量,我们设计了一个辅助特征细化模块,该模块在边界区域中密集采样和细化逐点特征。在三个生物图像数据集上的实验结果证明了该方法的优越性。该代码将在https://github.com/yijingru/ObjGuided-Instance-Segmentation上提供。
2021-06-14 cs.CV
P3-SAM: Native 3D Part Segmentation
Tencent Hunyuan(腾讯文英);NJU(南京大学);ShanghaiTech(上海交通大学);HKU(香港大学);ZJU(浙江大学)
本文提出原生3D点提示部件分割模型P3-SAM,通过特征提取器、多分割头和IoU预测器实现任意3D对象的全自动部件分割,并利用近370万模型的数据集训练,达到最先进性能。
2025-09-25 cs.CV
Pick the Best Pre-trained Model: Towards Transferability Estimation for Medical Image Segmentation
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Lab(上海人工智能实验室)
针对医学图像分割中源模型可迁移性难以高效评估的问题,提出结合类别一致性与特征多样性的无源可迁移性估计框架,性能超越现有同类算法。
2023-07-22 cs.CV
Learning Fully Dense Neural Networks for Image Semantic Segmentation
Hong Kong University of Science and Technology(香港科技大学);Microsoft Research Asia(微软亚洲研究院);Shenzhen Zhuke Innovation Technology(深圳珠科创新科技)
语义分割是保留关键空间信息的逐像素分类。在基于CNN的方法中通常采用“特征图重用”,以利用早期层中的特征图用于稍后的空间重建。沿着这个方向,我们更进一步,提出了一个完全密集的神经网络,它具有编码器-解码器结构,我们将其命名为FDNet。对于解码器模块中的每个阶段,所有先前块的特征图被自适应地聚合以前馈作为输入。一方面,它准确地重建了空间边界。另一方面,它通过更有效的梯度反向传播来更有效地学习。此外,我们提出了边界感知的损失函数,将更多的注意力集中在边界附近的像素上,从而提高了“硬样本”的标记。我们已经证明了FDNet在两个基准数据集上的最佳性能:PASCAL VOC 2012,NYUDv 2,在不考虑其他数据集上的训练时。
2019-05-22 cs.CV
Lightweight Uncertainty Quantification with Simplex Semantic Segmentation for Terrain Traversability
TNO(荷兰应用科学研究组织);Johns Hopkins University(约翰霍普金斯大学);Johns Hopkins University Applied Physics Laboratory(约翰霍普金斯大学应用物理实验室);University of Amsterdam(阿姆斯特丹大学)
本文提出一种轻量级不确定性量化模块,可适配任意预训练分割模型,通过原型向量最大分离类别,以到最近原型的距离估计不确定性,有效用于地形可通行性分析。
2024-07-18 cs.CV
Brain Tumor Segmentation Based on Refined Fully Convolutional Neural Networks with A Hierarchical Dice Loss
Zhejiang University(浙江大学)
语义分割作为计算机视觉中的一项基本任务,可以为目标检测和实例分割提供基础信息,帮助人工智能更好地理解现实世界。自全卷积神经网络(FCNN)提出以来,由于其高像素分类精度和高定位精度,在语义分割中得到了广泛的应用。本文将几种著名的FCNN应用于脑肿瘤分割,进行比较并调整网络结构,以获得更好的性能,如精度,召回率,交集均值(mIoU)和骰子得分系数(DSC)。对经典FCNN的调整包括在卷积层之间添加更多的连接,在上采样层之后扩大解码器,以及改变浅层信息的重用方式。除了结构的修改,我们还提出了一个新的分类器与分层骰子损失。损失函数受类间包含关系的启发,将多类分类转化为多类二分分类,以抵消不平衡数据集带来的负面影响。在训练集和测试集上进行了大量的实验,以评估我们改进的全卷积神经网络和新型损失函数。有竞争力的数字证明他们比他们的前任更有效。
2018-02-13 cs.CV
Dense Dual-Path Network for Real-time Semantic Segmentation
College of Electronics and Information Engineering, Tongji University(同济大学电子与信息工程学院);Institute of Intelligent Vehicle, Tongji University(同济大学智能汽车研究所)
语义分割取得了显著的效果,但计算代价高,参数数量大。然而,现实世界的应用程序需要在嵌入式设备上高效的推理速度。以前的大多数工作通过减少网络的深度、宽度和层容量来解决这一挑战,这导致性能不佳。在本文中,我们介绍了一种新的密集双路径网络(DDPNet)的实时的【形】语义分割的资源限制。我们设计了一个重量轻,功能强大的骨干网,具有密集的连接,以促进整个网络的功能重用和建议的双路径模块(Dual-Path Module),以充分聚合多尺度上下文。同时,构建了一个简单有效的框架,该框架具有利用高分辨率特征图来细化分割输出的跳过架构和利用来自特征图的上下文信息来细化热图的上采样模块。所提出的DDPNet在平衡精度和速度方面具有明显的优势。具体而言,在Cityscapes测试数据集上,DDPNet在单个GTX 1080Ti卡上以52.6 FPS的1024 X 2048分辨率输入实现了75.3%的mIoU。与其他最先进的方法相比,DDPNet以相当的速度和更少的参数实现了更好的准确性。
2020-10-21 cs.CV
Benchmarking Segmentation Models with Mask-Preserved Attribute Editing
Beijing University of Posts and Telecommunications(北京邮电大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
针对现有分割模型评估仅考虑全局属性变化的局限,提出掩码保留属性编辑流水线,构建涵盖局部与全局属性变化的基准,发现两类属性均影响分割性能,强调局部属性在鲁棒性评估中的重要性。
2024-03-10 cs.CV
Towards Closing the Gap in Weakly Supervised Semantic Segmentation with DCNNs: Combining Local and Global Models
ETH Zürich(苏黎世联邦理工学院)
为深度卷积神经网络(DCNN)生成训练集是现代现实世界应用的瓶颈。这对于注释训练数据的成本很高的应用程序(例如语义分割)来说是一项苛刻的任务。在文献中,在完整注释和弱注释上训练的网络所实现的性能之间仍然存在差距。在本文中,我们建立了一个策略来衡量这一差距,并确定必要的成分,以减少它。在涂鸦,我们建立了新的国家的最先进的结果:我们获得了75.6%的mIoU没有CRF后处理,75.7%与CRF后处理。我们将差距缩小了64.2%,而目前最先进的技术仅将差距缩小了57.5%。由于对弱监督场景中涉及的不同成分和原始实验策略进行了系统研究,我们揭示了一种反直觉的机制,该机制简单且易于推广到其他弱监督场景:将较差的局部预测注释与基线注释进行平均,并将其重新用于训练DCNN产生新的最先进的结果。
2019-04-29 cs.CV
LeViT-UNet: Make Faster Encoders with Transformer for Medical Image Segmentation
Wuhan Institute of Technology(武汉工程大学);Huazhong University of Science and technology(华中科技大学)
医学图像分割在计算机辅助诊断和治疗系统的开发中起着至关重要的作用,但仍然面临着许多挑战。在过去的几年里,流行的基于CNN的编码器-解码器架构(例如,U-Net)在医学图像分割中得到了成功的应用。然而,由于卷积运算的局部性,它们在学习全局上下文和长程空间关系方面表现出局限性。最近,一些研究人员试图将Transformers引入到编码器和解码器组件中,并取得了令人满意的结果,但由于Transformers的高计算复杂性,效率需要进一步提高。在本文中,我们提出了LeViT-UNet,它集成了一个LeViT Transformer模块到U-Net架构,快速,准确的医学图像分割。具体来说,我们使用LeViT作为LeViT-UNet的编码器,它可以更好地权衡Transformer块的准确性和效率。此外,LeViT的Transformer块和卷积块的多尺度特征图通过跳跃连接传递到解码器,可以有效地重用特征图的空间信息。我们的实验表明,建议的LeViT-UNet实现更好的性能相比,各种竞争方法在几个具有挑战性的医学图像分割基准,包括突触和ACDC。代码和模型将在https://github.com/apple1986/LeViT_UNet上公开。
2021-07-19 cs.CV
Hierarchical semantic segmentation using modular convolutional neural networks
Vayavision(Vayavision 公司)
涉及识别物体的部分或容器的内容物的图像识别任务可以被视为分层问题,其可以通过初始识别主要物体,然后识别其部分或内容物来解决。为了实现这样的模块化识别,有必要使用一种识别方法(识别一般对象)的输出作为第二种方法(识别部分或内容)的输入。近年来,卷积神经网络已经成为图像分割和分类的主要方法。本文研究了一种将卷积神经网络串联起来用于透明血管内材料的语义分割的方法。它应用一个完全卷积的神经网络将图像分割成容器和背景,容器区域用作第二个网络的输入,第二个网络识别玻璃容器的内容。将第一网络生成的分割图转移到第二网络是使用阀过滤器注意力方法执行的,该方法涉及在图像的不同片段上使用不同的过滤器。这种模块化的语义分割方法优于使用单个网络识别血管及其内容物的单步的方法。模块化神经网络的一个优点是它允许从现有的训练模块构建网络,以及训练网络模块的转移和重用,而不需要对组装的网络进行任何再训练。
2017-10-14 cs.CV
Online Learning of Reusable Abstract Models for Object Goal Navigation
University of Padova(帕多瓦大学);Fondazione Bruno Kessler (FBK)(布鲁诺·凯斯勒基金会);University of Brescia(布雷西亚大学)
在本文中,我们提出了一种新的方法来增量学习一个未知环境的抽象模型,并展示了如何代理可以重用的学习模型来解决对象目标导航任务。抽象模型是一个有限状态机,其中每个状态都是环境状态的抽象,如代理在特定位置和方向上所感知的那样。感知是高维感觉数据(例如,RGB-D图像),并利用图像分割和Taskonomy模型库的抽象。抽象模型的学习是通过执行动作、观察达到的状态以及用所获得的信息更新抽象模型来完成的。学习的模型由代理记忆,并且每当它识别出处于与存储的模型相对应的环境中时,它们就会被重用。我们调查所提出的方法的有效性的对象目标导航任务,依赖于公共基准。我们的研究结果表明,重用学习的抽象模型可以提高性能的对象目标导航。
2022-03-04 cs.CV
VISOLO: Grid-Based Space-Time Aggregation for Efficient Online Video Instance Segmentation
Yonsei University(延世大学);Adobe Research(奥多比研究院);LG Electronics(LG电子);LG AI Research(LG人工智能研究院);KAIST(韩国科学技术院)
对于在线视频实例分割(VIS),以有效的方式充分利用来自先前帧的信息对于实时应用是必不可少的。大多数以前的方法遵循两阶段的方法,需要额外的计算,如RPN和RoIAlign,并没有充分利用视频中的所有子任务的信息。在本文中,我们提出了一种基于网格结构化特征表示的在线VIS单阶段框架。基于网格的功能使我们能够采用完全卷积网络进行实时处理,并且可以在不同组件中轻松重用和共享功能。我们还介绍了协同操作的模块,聚合信息从可用的帧,以丰富的功能,在VIS的所有子任务。我们的设计充分利用了VIS中所有任务的网格形式的先前信息,并且在在线VIS方法中,我们在YouTube-VIS 2019和2021数据集上实现了新的最先进的精度(38.6 AP和36.9 AP)和速度(40.0 FPS)。该代码可在https://github.com/SuHoHan95/VISOLO上获得。
2022-03-30 cs.CV
ChoiceNet: CNN learning through choice of multiple feature map representations
The University Of Manchester(曼彻斯特大学)
我们引入了一个新的架构,称为ChoiceNet,其中网络的每一层都是高度连接的跳跃连接和channelwise级联。这使得网络能够缓解梯度消失的问题,减少参数的数量而不牺牲性能,并鼓励特征重用。我们评估我们提出的架构上的三个基准数据集的对象识别任务(ImageNet,CIFAR- 10,CIFAR-100,SVHN)和一个语义分割数据集(CamVid)。
2019-08-24 cs.CV
Extending a Large View Synthesis Model for Multi-view Panoptic Segmentation
POSTECH(浦项科技大学);POSCO DX(浦项制铁DX公司);Chung-Ang University(中央大学);Seoul National University(首尔国立大学)
研究将大视图合成模型从外观渲染扩展到3D场景理解,提出复用冻结模型传播全景标签的分割管道,无需3D重建和特定训练,在ScanNet和Replica数据集上实验,分割质量佳且新视图合成表现优。
2026-07-23 cs.CV
Mitigating Pretraining-Induced Attention Asymmetry in 2D+ Electron Microscopy Image Segmentation
ITK, PPCU(ITK、PPCU)
本文提出了一种基于均匀通道初始化的预训练权重修改方法,以缓解电子显微镜图像分割中预训练引起的注意力不对称问题,从而提升模型可解释性并保持分割性能。
2026-02-16 cs.CV
Principles of Forgetting in Domain-Incremental Semantic Segmentation in Adverse Weather Conditions
Porsche Engineering Group GmbH(保时捷工程集团有限公司);Fraunhofer IOSB(弗劳恩霍夫光学、系统技术与图像利用研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
该研究针对恶劣天气下领域增量语义分割的灾难性遗忘问题,发现遗忘主因是低层特征变化,提出用源域预训练和图像增强学习通用特征以实现高效复用,大幅降低遗忘程度,为持续学习算法设计提供依据。
2023-06-12 cs.CV
Benchmarking Semantic Segmentation Models via Appearance and Geometry Attribute Editing
本文提出Gen4Seg数据生成管道,通过生成具有不同属性变化的挑战样本来评估语义分割模型,构建了Pascal-EA和COCO-EA两个新基准,发现开放词汇模型在几何变化下不比封闭集方法更鲁棒,数据增强技术在提升外观变化鲁棒性上有限。
2026-03-16 cs.CV
Guided interactive image segmentation using machine learning and color based data set clustering
Leipzig University(莱比锡大学);IfADo - Leibniz Research Centre for Working Environment and Human Factors(莱布尼茨工作环境与人因研究中心);INRIA Paris(法国国家信息与自动化研究所巴黎中心);Sorbonne Université(索邦大学)
我们提出了一种新的方法,结合了基于机器学习的交互式图像分割,使用超体素与聚类方法的自动识别类似的彩色图像在大数据集,使指导重用的分类器。我们的方法解决了在生物和医学图像中普遍存在且通常不可避免的显著颜色变化的问题,这通常会导致分割和量化精度恶化,从而大大减少了必要的训练工作。这种效率的提高促进了大量图像的量化,从而使得能够针对高通量成像中的最新技术进步进行交互式图像分析。所提出的方法是适用于几乎任何类型的图像,并代表了一个有用的工具,图像分析任务一般。
2022-06-21 cs.CV eess.IV
FNA++: Fast Network Adaptation via Parameter Remapping and Architecture Search
Huazhong University of Science and Technology(华中科技大学);Horizon Robotics(地平线机器人);Google(谷歌)
深度神经网络在许多计算机视觉任务中实现了卓越的性能。大多数最先进的(SOTA)语义分割和目标检测方法都重用为图像分类设计的神经网络架构作为骨干,通常在ImageNet上进行预训练。然而,性能增益可以通过设计专门用于检测和分割的网络架构来实现,如最近用于检测和分割的神经架构搜索(NAS)研究所示。然而,一个主要的挑战是ImageNet对搜索空间表示的预训练(也称为超级网络)或搜索的网络引起巨大的计算成本。在本文中,我们提出了一种快速网络自适应(FNA++)方法,该方法可以通过参数重映射技术调整种子网络(例如ImageNet预训练网络)的架构和参数,使其成为具有不同深度,宽度或内核大小的网络,从而可以更有效地使用NAS进行分割和检测任务。在我们的实验中,我们在MobileNetV 2上应用FNA++来获得用于语义分割、目标检测和人体姿态估计的新网络,这些网络的性能明显优于现有的手动和NAS设计的网络。我们还在ResNets和NAS网络上实现了FNA++,它展示了强大的泛化能力。FNA++的总计算成本显着低于SOTA分割和检测NAS方法:比DPC低1737倍,比Auto-DeepLab低6.8倍,比DetNAS低8.0倍。一系列的消融研究进行了证明的有效性,并提供了详细的分析,更深入地了解工作机制。代码可在https://github.com/JaminFong/FNA上获得。
2020-12-16 cs.CV
3DSAM-adapter: Holistic adaptation of SAM from 2D to 3D for promptable tumor segmentation
The Chinese University of Hong Kong(香港中文大学)
本文提出 3DSAM-adapter,通过轻量级空间适配器将 2D SAM 整体扩展至 3D 体数据,在四个肿瘤分割数据集上验证了点击提示分割的先进性能。
2024-10-02 cs.CV
MobileInst: Video Instance Segmentation on the Mobile
Huazhong University of Science & Technology(华中科技大学);Qualcomm AI Research(高通AI研究院)
本文提出移动端视频实例分割框架 MobileInst,通过移动 ViT、双 Transformer 掩膜核解码器、核复用/关联及时序查询传递,在保持精度的同时将 CPU 延迟较 SOTA 降低一半。
2023-12-18 cs.CV
Day-Night Adaptation: An Innovative Source-free Adaptation Framework for Medical Image Segmentation
Northwestern Polytechnical University(西北工业大学);Ningbo No.2 Hospital(宁波市第二医院)
针对医学图像分割中的分布偏移和隐私问题,提出昼夜适应框架DyNA,利用昼夜循环在无源数据下适应模型,通过白天提示训练和夜间全局学生模型微调,在两个基准任务上超越现有方法。
2024-12-15 cs.CV
Bi-Directional ConvLSTM U-Net with Densley Connected Convolutions
Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
近年来,基于深度学习的网络在医学图像分割方面取得了最先进的性能。在现有的网络中,U-Net已成功应用于医学图像分割。在本文中,我们提出了一个扩展的U-网络,双向ConvLSTM U-Net与密集连接卷积(BCDU-Net),用于医学图像分割,其中我们充分利用U-网络,双向ConvLSTM(BConvLSTM)和密集卷积的机制。我们采用BConvLSTM来以非线性方式组合从相应编码路径和先前解码上卷积层提取的特征图,而不是U-Net的跳过连接中的简单级联。为了加强特征传播和鼓励特征重用,我们在编码路径的最后一个卷积层使用密集连接卷积。最后,我们可以通过使用批归一化(BN)来加快所提出的网络的收敛速度。该模型在三个数据集上进行了评估:视网膜血管分割,皮肤病变分割和肺结节分割,实现了最先进的性能。
2019-08-31 cs.CV eess.IV
SCLIP: Rethinking Self-Attention for Dense Vision-Language Inference
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出SCLIP及相关自注意力CSA,仅替换CLIP视觉编码器最后一层并复用预训练投影矩阵,实现免训练零样本语义分割,在八个基准上以38.2%平均mIoU超越现有方法。
2024-10-26 cs.CV
Side Adapter Network for Open-Vocabulary Semantic Segmentation
Huazhong University of Science and Technology(华中科技大学);Microsoft Research Asia(微软亚洲研究院)
本文提出了一种新的框架,开放词汇表语义分割与预先训练的视觉语言模型,命名为侧适配器网络(SAN)。我们的方法模型的语义分割任务作为一个区域识别问题。一个侧网络连接到一个冻结的CLIP模型有两个分支:一个用于预测面具的建议,另一个用于预测注意力偏差,这是在CLIP模型中应用,以识别类的面具。这种解耦设计在识别掩模提议的类别方面具有CLIP的益处。由于附接侧网络可以重用CLIP特性,因此可以非常轻。此外,整个网络可以进行端到端的训练,允许侧网络适应冻结的CLIP模型,这使得预测的掩码提案具有CLIP意识。我们的方法快速,准确,只增加了一些额外的可训练参数。我们在多个语义分割基准上评估我们的方法。我们的方法明显优于其他方法,可训练参数减少了18倍,推理速度提高了19倍。我们希望我们的方法将作为一个坚实的基线,并有助于简化未来的研究开放词汇语义分割。该代码将在https://github.com/MendelXu/SAN上提供。
2023-03-22 cs.AI cs.CV
Prompt-Calibrated SAM 3 for Open-Vocabulary Remote Sensing Semantic Segmentation
School of Information Science and Technology, Yunnan Normal University(云南师范大学信息科学与技术学院);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);College of Computer Science, Beijing University of Technology(北京工业大学计算机学院)
提出ProC-SAM3方法,通过离线提示池、缓存文本嵌入和存在引导残差融合,解决开放词汇遥感语义分割中提示语义覆盖不足、冗余编码和噪声传播问题,在8个基准上平均mIoU达56.1%。
2026-07-23 cs.CV
High-level Feature Guided Decoding for Semantic Segmentation
University of Electronic Science and Technology of China(电子科技大学);Tencent AI Lab(腾讯人工智能实验室);ShanghaiTech University(上海科技大学)
本文提出高层特征引导解码器(HFGD),通过预训练高层特征引导和停止梯度操作避免特征污染,并引入上下文增强编码器提升引导质量,在三个语义分割基准上取得不使用额外训练数据方法中的最优结果。
2023-11-27 cs.CV
Multi-level Context Gating of Embedded Collective Knowledge for Medical Image Segmentation
Institute for Research in Fundamental Sciences (IPM)(基础科学研究所(IPM));Sharif University of Technology(谢里夫理工大学);Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
医学图像分割一直是非常具有挑战性的,由于在不同的情况下,解剖结构的巨大变化。深度学习框架的最新进展在图像分割方面表现出更快、更准确的性能。在现有的网络中,U-Net已成功应用于医学图像分割。在本文中,我们提出了一个扩展的U-Net医学图像分割,其中我们充分利用U-Net,挤压和激励(SE)块,双向ConvLSTM(BConvLSTM),和密集卷积的机制。(I)我们通过在U-Net中利用SE模块来提高分割性能,对模型复杂性的影响很小。这些块通过利用特征图的全局信息嵌入的自选通机制来自适应地重新校准通道方式的特征响应。(II)为了加强特征传播并鼓励特征重用,我们在编码路径的最后一个卷积层中使用密集连接的卷积。(III)我们在网络的所有级别中使用BConvLSTM,而不是U-Net的跳过连接中的简单级联,以非线性方式组合从相应编码路径和先前解码上卷积层提取的特征图。在六个数据集DRIVE、ISIC 2017和2018、肺部分割、$PH^2$和细胞核分割上对所提出的模型进行了评估,实现了最先进的性能。
2020-03-10 cs.CV eess.IV
B-GRTO: Bootstrapped Group Relative Tool Optimization for Referring Segmentation
INSAIT;Sofia University "St. Kliment Ohridski"(索菲亚大学"圣克莱门特·欧赫里迪斯基")
提出B-GRTO框架,通过引导式预训练和分组相对工具优化,联合优化策略与可微分割解码器,显著提升复杂指代分割性能。
2026-06-01 cs.CV cs.LG
Spherical Transformer: Adapting Spherical Signal to CNNs
Tongji University(同济大学);Donghua University(东华大学)
卷积神经网络(CNN)已被广泛用于各种视觉任务,例如图像分类,语义分割等。不幸的是,标准的2D CNN不太适合球形信号,如全景图像或球形投影,因为球体是一个非结构化的网格。在本文中,我们提出了Spherical Transformer,它可以将球形信号转换为可以由标准CNN直接处理的向量,这样许多精心设计的CNN架构可以通过预训练在任务和数据集之间重用。为此,该方法首先利用HEALPix等局部结构化采样方法,利用球面点及其相邻点的信息构建一个Transformer网格,然后通过网格将球面信号变换为矢量。通过构建Spherical Transformer模块,我们可以直接使用多个CNN架构。我们评估我们的方法上的球形MNIST识别,三维物体分类和全向图像语义分割的任务。对于三维物体分类,我们进一步提出了一种基于渲染的投影方法来提高性能和旋转等变模型,以提高抗旋转能力。三个任务的实验结果表明,我们的方法实现了优越的性能比国家的最先进的方法。
2022-09-02 cs.CV
Multi-dataset Pretraining: A Unified Model for Semantic Segmentation
Shanghai Jiao Tong University(上海交通大学);Huawei Inc.(华为公司)
为语义分割收集带注释的数据是耗时的并且难以扩展。在本文中,我们首次提出了一个统一的框架,称为多数据集预训练,以充分利用不同数据集的碎片化注释。亮点是来自不同领域的注释可以有效地重用,并持续提高每个特定领域的性能。这是通过以下方式实现的:首先通过多个数据集上的像素到原型对比损失对网络进行预训练,而不管它们的分类标签如何,然后像往常一样对特定数据集上的预训练模型进行微调。为了更好地模拟来自不同数据集的图像和类之间的关系,我们通过跨数据集混合扩展像素级嵌入,并提出了一种像素到类稀疏编码策略,该策略显式地模拟流形嵌入空间上的像素类相似性。通过这种方式,我们能够增加类内紧凑性和类间可分性,并考虑不同数据集之间的类间相似性,以获得更好的可移植性。在多个基准测试上的实验表明了其优越的性能。值得注意的是,MDP始终优于ImageNet的预训练模型,并且只使用了不到10%的样本进行预训练。
2021-06-08 cs.CV cs.LG
Decoupling Language Guidance from Backbones for Text-Guided Medical Segmentation
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));NingBo No.2 Hospital(宁波第二医院)
研究针对文本引导医学分割中模型组件紧密耦合问题,提出可转移骨干层次适配器框架BTHA,通过稳定特征级接口、分层监督策略和自适应门控语义引导适配器,有效提升分割效果且计算开销适度。
2026-07-13 cs.AI cs.CV
TransDAE: Dual Attention Mechanism in a Hierarchical Transformer for Efficient Medical Image Segmentation
South Dakota State University(南达科他州立大学);Technical and Vocational University (TVU)(技术与职业大学(TVU))
TransDAE提出一种分层Transformer双重注意力机制,同时建模空间与通道关联,并通过跨尺度交互模块增强跳跃连接,在Synaps多器官数据集上无需预训练权重即超越现有方法。
2024-09-03 cs.AI cs.CV
Critical Assessment of Transfer Learning for Medical Image Segmentation with Fully Convolutional Neural Networks
Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院)
迁移学习广泛用于训练机器学习模型。在这里,我们研究了迁移学习在训练用于医学图像分割的全卷积网络(FCN)中的作用。我们的实验表明,虽然迁移学习减少了目标任务的训练时间,但分割准确率的提高高度依赖于任务/数据。当分割任务更具挑战性并且目标训练数据较小时,观察到准确度的较大改进。我们观察到,FCN的卷积滤波器在医学图像分割的训练过程中变化很小,并且在收敛时仍然看起来很随机。我们进一步表明,通过将网络的编码器部分冻结在随机值并仅训练解码器部分,可以构建非常准确的FCS。至少对于医学图像分割,这一发现挑战了编码器部分需要学习数据/任务特定表示的普遍信念。我们研究了FCN表示的演变,以更好地了解迁移学习对训练动态的影响。我们的分析表明,虽然通过迁移学习训练的FCN学习与随机初始化训练的FCN不同的表示,但通过迁移学习训练的FCN之间的变异性可以与随机初始化训练的FCN之间的变异性一样高。此外,特征重用并不局限于早期的编码器层;相反,它在更深的层中可能更重要。这些发现提供了新的见解,并提出了训练用于医学图像分割的FCN的替代方法。
2022-04-03 cs.CV cs.LG eess.IV
Sat2lod2: A Software For Automated Lod-2 Modeling From Satellite-Derived Orthophoto And Digital Surface Model
The Ohio State University(俄亥俄州立大学)
从卫星图像重建的正射影像和数字表面模型(DSM)推导LoD 2模型是一项具有挑战性的任务。现有的解决方案大多是需要复杂的逐步过程的系统方法,不仅包括启发式几何操作,而且包括高级步骤,例如基于机器学习的语义分割和建筑物检测。在本文中,我们描述了一个开源工具,称为SAT 2LOD 2,基于我们最近发表的工作的微小修改版本构建。SAT 2LoD 2是一个完全开源的基于GUI(图形用户界面)的软件,使用Python编写,以正射影像和DSM作为输入,并输出单个建筑模型,此外还可以采用道路网络shapefiles和自定义分类地图,以进一步改善重建结果。我们通过以下方式进一步提高了该方法的鲁棒性:1)将基于HRNetV 2的建筑物分割集成到我们的软件中; 2)实施了一种决策策略来识别复杂建筑物并直接生成网格,以避免从系统角度进行错误的LoD 2重建。该软件可以使用带有支持CUDA的图形卡的PC处理中等水平的数据(约5000*5000大小的正射影像和DSM)。此外,图形用户界面是自包含的,并存储中间处理结果,方便研究人员学习的过程中容易和重用的中间文件,根据需要。更新后的代码和软件可在此GitHub页面下获得:https://github.com/GDAOSU/LOD2BuildingModel。
2022-04-08 cs.CV
Learning Dynamic Network Using a Reuse Gate Function in Semi-supervised Video Object Segmentation
Seoul National University(首尔国立大学);Facebook Inc.(脸书公司);AIRS Company, Hyundai Motor Group(现代汽车集团AIRS公司)
当前用于半监督视频对象分割(Semi-VOS)的现有技术方法传播来自先前帧的信息以生成用于当前帧的分割掩模。这可以在具有挑战性的场景中实现高质量的分割,例如外观和遮挡的变化。但它也会导致对静止或缓慢移动的对象进行不必要的计算,这些对象在帧间的变化很小。在这项工作中,我们利用这一观察,使用时间信息,以快速识别帧与最小的变化,跳过重量级掩码生成步骤。为了实现这种效率,我们提出了一种新的动态网络,它可以估计帧间的变化,并根据预期的相似性决定选择哪条路径-计算完整的网络或重用前一帧的特征。实验结果表明,我们的方法在具有挑战性的Semi-VOS数据集(DAVIS 16,DAVIS 17和YouTube-VOS)上显着提高了推理速度,而不会降低准确性。此外,我们的方法可以应用于多个半VOS方法,证明其通用性。该代码可在https://github.com/HYOJINPARK/Reuse_VOS上获得。
2021-05-16 cs.CV
Feedbackward Decoding for Semantic Segmentation
Optimum Semiconductor Technologies(奥普蒂玛半导体技术公司);Delft University of Technology(代尔夫特理工大学)
我们提出了一种新的方法,语义分割,使用一个编码器在相反的方向解码。许多语义分割网络采用前馈编码器-解码器架构。通常,输入首先由编码器下采样以提取高级语义特征,并继续通过解码器模块前馈以恢复低级空间线索。我们的方法在另一个方向上工作,让信息从编码器的最后一层向第一层反向流动。编码器在前向传递中执行编码,并且同一网络在后向传递中执行解码。编码器本身也是解码器。与传统的编码器-解码器架构相比,我们的架构不需要额外的解码层,并进一步重用编码器权重,从而减少了处理所需的参数总数。我们表明,通过仅使用VGG-16中的13个卷积层加上一个微小的分类层,我们的模型明显优于其他经常引用的模型,这些模型也是从VGG-16中改编的。在Cityscapes语义分割基准测试中,我们的模型使用的参数比SegNet少50.0%,实现的“IoU类”得分高18.1%;它使用的参数比DeepLab LargeFOV少28.3%,实现的“IoU类”得分高3.9%;它使用的参数比FCN-8少89.1%,实现的“IoU类”得分高3.1%。我们的代码稍后将在Github上公开。
2019-08-22 cs.CL cs.CV eess.IV
Change is Everywhere: Single-Temporal Supervised Object Change Detection in Remote Sensing Imagery
Wuhan University(武汉大学)
本文提出单时相监督学习(STAR)框架,利用非成对图像中的目标变化作为监督信号,并设计ChangeStar检测器,仅需非成对标注图像即可训练高精度变化检测器,显著优于基线。
2023-10-14 cs.CV
CDGC-Net: 3D Medical Image Segmentation with Cooperative Dual-Scale Self-Attention and Grouped Channel Modeling
Nanchang Hangkong University(南昌航空大学)
该研究提出CDGC-Net,通过协作双尺度自注意力与分组通道建模优化3D医学图像分割,在多数据集上精度优于现有方法,且参数量与计算量较UNETR++显著降低,实现了精度与复杂度的良好平衡。
2026-08-11 cs.AI cs.CV
Deep Attentional Guided Image Filtering
Harbin Institute of Technology(哈尔滨工业大学);Peng Cheng Laboratory(鹏城实验室);Tsinghua University(清华大学)
引导滤波是计算机视觉和计算机图形学中的一个基本工具,其目的是将引导图像中的结构信息传递给目标图像。现有的方法大多从制导本身构造滤波核,而没有考虑制导和目标之间的相互依赖性。然而,由于在两个图像中通常存在显著不同的边缘,简单地将引导的所有结构信息传递到目标将导致各种伪影。为了解决这个问题,我们提出了一个有效的框架命名为深度注意引导的图像过滤,过滤过程中,可以充分整合的互补信息中包含的两个图像。具体来说,我们提出了一个注意力核学习模块,分别从指导和目标生成两组滤波器核,然后通过对两幅图像之间的像素依赖关系进行建模,自适应地将它们组合起来。同时,我们提出了一个多尺度引导的图像滤波模块,逐步产生滤波结果与构造的内核在一个由粗到细的方式。相应地,多尺度融合策略被引入到粗到精的过程中重用的中间结果。大量的实验表明,所提出的框架相媲美的国家的最先进的方法在广泛的引导图像滤波应用,如引导超分辨率,跨模态恢复,纹理去除,和语义分割。
2022-02-28 cs.CV
Scene-Aware Location Modeling for Data Augmentation in Automotive Object Detection
Qualcomm AI Research(高通人工智能研究)
针对自动驾驶目标检测的数据增强,提出场景感知位置模型预测物体合理放置位置,结合生成修补,显著提升增强性能,刷新两项检测任务的最优水平。
2025-04-23 cs.CV
ProgResViT: Progressive Resolution and Width for Adaptive Vision Transformers
Kiel University(基尔大学);Hamburg University of Technology (TUHH)(汉堡工业大学);UNU-INWEH(联合国大学国际水资源研究所)
ProgResViT是一种输入自适应视觉Transformer,通过渐进式多轮推理复用表示并引入PSG机制,在图像分类等任务上实现了更优的精度-计算量权衡。
2026-09-04 cs.CV
LinK: Linear Kernel for LiDAR-based 3D Perception
Nanjing University(南京大学);Shanghai AI Lab(上海人工智能实验室)
将2D大内核的成功扩展到3D感知是具有挑战性的,因为:1。处理3D数据时不断增加的开销; 2.数据的稀缺性和稀疏性给优化带来了困难。以前的工作已经迈出了第一步,通过引入块共享权重将内核大小从3x 3x 3扩展到7 x7 x7。然而,为了减少块内的特征变化,它只使用了适度的块大小,并且无法实现像21 x21 x21这样的更大的内核。为了解决这个问题,我们提出了一种新的方法,称为链接,实现更广泛的感知感受野的卷积式的方式与两个核心设计。第一种是用线性核生成器代替静态核矩阵,该线性核生成器仅为非空体素自适应地提供权重。第二种是在重叠块中重用预先计算的聚合结果,以降低计算复杂度。所提出的方法成功地使每个体素在21 x21 x21的范围内感知上下文。在两个基本的感知任务,三维目标检测和三维语义分割,广泛的实验,证明了我们的方法的有效性。值得注意的是,我们在nuScenes 3D检测基准(LiDAR跟踪)的公共排行榜上排名第一,只需将基于Link-based的主干集成到基本检测器CenterPoint中。我们还在SemanticKITTI测试集中将强分割基线的mIoU提高了2.7%。代码可在https://github.com/MCG-NJU/LinK上获得。
2023-03-28 cs.AI cs.CV
Deep Multicameral Decoding for Localizing Unoccluded Object Instances from a Single RGB Image
Siléane(Siléane公司);Université de Lyon(里昂大学);CNRS(法国国家科学研究中心);École Centrale de Lyon(里昂中央理工学院)
遮挡感知的实例敏感分割是一项复杂的任务,通常通过将实例近似为它们的限界框来分割为基于区域的分割。我们解决的展示场景密集均匀的布局,这种近似不成立。在这种情况下,由于卷积层的平移不变性和解码器中缺乏复杂性,通过解码深度编码器来概述未被遮挡的实例变得困难。因此,我们提出了一个多室的设计组成的特定于子任务的轻量级解码器和编码器解码器单元,耦合级联,以鼓励特定于子任务的功能重用,并在解码过程中执行学习路径。此外,与密集对象布局不同,用于遮挡感知实例分割的最新数据集包含具有很少实例和遮挡的真实图像,所述遮挡主要是由于对象遮挡背景。因此,我们还引入了一个密集的同质对象布局的合成数据集,即Mikado,它可以扩展地包含比这些公共数据集更多的实例和每个图像的实例间遮挡。我们在Mikado和公共数据集上进行的大量实验表明,在解码过程中,有序多尺度单元比最先进的设计模式更有效地捕捉位置敏感的表示。我们还表明,天皇是合理的现实世界的问题,在这个意义上说,它使学习的性能增强表示转移到真实图像,同时大大减少了手工制作的注释微调的需要。拟议的数据集将公开提供。
2020-04-15 cs.CV cs.LG eess.IV
Beyond Adapter Retrieval: Latent Geometry-Preserving Composition via Sparse Task Projection
本文提出一种几何感知的稀疏重建框架,通过潜在原型稀疏组合实现LoRA适配器重用,提升零样本泛化,并在医学图像分割、报告生成和图像合成中验证有效性。
2025-08-06 cs.AI cs.CL cs.CV
MMV_Im2Im: An Open Source Microscopy Machine Vision Toolbox for Image-to-Image Transformation
Leibniz-Institut für Analytische Wissenschaften - ISAS - e.V.(莱布尼茨分析科学研究所 - ISAS - 注册协会)
在过去的十年中,计算机视觉中的深度学习(DL)研究一直在快速增长,基于DL的图像分析方法在生物医学问题上取得了许多进展。在这项工作中,我们介绍MMV_Im2Im,一个新的开源Python包的图像到图像的转换在生物成像应用程序。MMV_Im2Im设计了一个通用的图像到图像转换框架,可用于广泛的任务,包括语义分割,实例分割,图像恢复和图像生成等。我们的实现利用了最先进的机器学习工程技术,使研究人员能够专注于他们的研究,而不必担心工程细节。我们证明了MMV_Im2Im在十多个不同的生物医学问题上的有效性,展示了它的一般潜力和适用性。对于计算生物医学研究人员来说,MMV_Im2Im为开发新的生物医学图像分析或机器学习算法提供了一个起点,他们可以重用此包中的代码,也可以派生和扩展此包以促进新方法的开发。实验生物医学研究人员可以从这项工作中受益,通过各种示例和用例全面了解图像到图像转换概念。我们希望这项工作可以给社区启发,如何将基于DL的图像到图像转换集成到检测开发过程中,从而实现仅使用传统实验检测无法完成的新生物医学研究。为了帮助研究人员入门,我们在https://github.com/MMV-Lab/mmv_im2im上提供了MMV_Im2Im的源代码,文档和教程。
2023-03-17 cs.CV eess.IV
Distortion-Aware Network Pruning and Feature Reuse for Real-time Video Segmentation
KAIST(韩国科学技术院);AITRICS
实时的【形】视频分割是自动驾驶和机器人控制等许多实际应用的关键任务。由于最先进的语义分割模型往往过于沉重的实时的【形】应用程序,尽管他们令人印象深刻的性能,研究人员提出了轻量级架构的速度和准确性的权衡,实现实时的【形】速度的代价降低准确性。在本文中,我们提出了一种新的框架,以加快任何架构与跳过连接的实时的【形】视觉任务,通过利用视频中的时间局部性。具体来说,在每一帧到达时,我们变换前一帧的特征,以在特定的空间仓中重用它们。然后,我们在当前帧的区域上执行骨干网络的部分计算,以捕获当前帧和前一帧之间的时间差异。这是通过使用门控机制动态丢弃残留块来完成的,该门控机制基于帧间失真来决定丢弃哪些块。我们验证了我们的时空掩码生成器(STMG)的视频语义分割基准与多个骨干网络,并表明我们的方法大大加快了推理的准确性损失最小。
2022-12-15 cs.AI cs.CV
Unsupervised Source-Free Ranking of Biomedical Segmentation Models Under Distribution Shift
EMBL Heidelberg(欧洲分子生物学实验室海德堡分部);University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学)
本文提出一种无监督、源无关的生物医学分割模型排名框架,通过预测一致性在扰动下进行评估,适用于语义和实例分割任务,展示了在2D和3D影像中广泛任务的强相关性。
2026-04-08 cs.CV
Token-Label Alignment for Vision Transformers
Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);PhiGent Robotics(鉴智机器人)
数据混合策略(例如,CutMix)已经显示出极大地提高卷积神经网络(CNN)性能的能力。他们混合两张图像作为训练的输入,并为它们分配具有相同比例的混合标签。虽然他们被证明是有效的视觉Transformer(ViTs),我们确定了一个令牌波动现象,抑制了潜在的数据混合策略。我们根据经验观察到,输入令牌的贡献随着前向传播而波动,这可能会在输出令牌中引起不同的混合比。因此,由原始数据混合策略计算的训练目标可能是不准确的,导致训练效率较低。为了解决这个问题,我们提出了一个标记-标签对齐(TL-Align)方法来跟踪转换后的标记和原始标记之间的对应关系,以维护每个标记的标签。我们在每一层重复使用计算的注意力,以实现有效的标记-标签对齐,只引入微不足道的额外训练成本。大量的实验表明,我们的方法提高了图像分类,语义分割,客观检测和迁移学习任务的性能。代码可从以下网址获得:https://github.com/Euphoria16/TL-Align。
2022-11-29 cs.AI cs.CV cs.LG
OilSAM2: Memory-Augmented SAM2 for Scalable SAR Oil Spill Detection
OilSAM2通过引入分层特征感知多尺度内存库和结构语义一致的内存更新策略,实现了对无序SAR图像中油污的高效分割。
2026-03-10 cs.CV
Adversarial Synthesis Learning Enables Segmentation Without Target Modality Ground Truth
Vanderbilt University(范德堡大学);Incyte Corporation(因赛特公司)
缺乏可推广性是基于深度学习的分割的一个关键限制。通常,当以不同的成像模式分割器官或从不同的疾病群组分割异常器官时,人工标记新的训练图像。如果能够重用来自一种模态的手动标签(例如,MRI)来训练用于新模态的分割网络(例如,CT)。以前,已经提出了两个阶段的方法来使用循环生成对抗网络(CycleGAN)来合成目标模态的训练图像。然后,这些努力使用合成图像独立地训练分割网络。然而,这两个独立的阶段没有使用合成和分割之间的互补信息。在此,我们提出了一种新的端到端的合成和分割网络(CNONet),以实现不成对的MRI到CT图像合成和CT脾肿大分割同时不使用手动标签的CT。端到端的Dice相似性系数中位数(0.9188)显著高于两阶段策略(0.8801),甚至高于使用CT手动标签的规范多图谱分割(0.9125)和ResNet方法(0.9107)。
2017-12-20 cs.CV