Semantic Video Segmentation by Gated Recurrent Flow Propagation
Lund University（隆德大学）
语义视频分割是具有挑战性的，因为为了构建准确的模型，需要处理和标记大量的数据。在本文中，我们提出了一种深度的端到端可训练的视频分割方法，该方法能够利用未标记数据中的信息来改进语义估计。我们的模型结合了卷积架构和时空Transformer递归层，它们能够通过光流在时间上传播标记信息，并根据其局部估计的不确定性进行自适应门控。流、识别和门控时间传播模块可以端到端地联合训练。我们的模型的时间，门控经常流传播组件可以插入到任何静态语义分割架构，并把它变成一个弱监督的视频处理。我们在具有挑战性的CityScapes和Camvid数据集中进行了大量实验，并基于多个深度架构，结果表明，所产生的模型可以利用未标记的时间帧，紧挨着标记的时间帧，以提高视频分割的准确性和时间标记的一致性，无需额外的注释成本，只需很少的额外计算。
2017-10-02 cs.CV
Towards Diverse Binary Segmentation via A Simple yet General Gated Network
Dalian University of Technology（大连理工大学）；Peng Cheng Laboratory（鹏城实验室）；The Hong Kong Polytechnic University（香港理工大学）；OPPO Research（OPPO研究院）
本文提出通用门控网络GateNet，通过多级门控单元、门控双分支结构和折叠空洞卷积解决编码器-解码器信息交换问题，在10个二值分割任务的33个数据集上取得领先性能。
2024-05-03 cs.CV
Gated Path Selection Network for Semantic Segmentation
Beihang University（北京航空航天大学）；University of Oxford（牛津大学）；University of Kentucky（肯塔基大学）；Tsinghua University（清华大学）
语义分割是一个具有挑战性的任务，需要处理大规模的变化，变形和不同的观点。在本文中，我们开发了一种新的网络命名为门控路径选择网络（GPSNet），其目的是学习自适应感受野。在GPSNet中，我们首先设计了一个二维多尺度网络-SuperNet，它密集地结合了来自不断增长的感受野的特征。为了动态地选择期望的语义上下文，进一步引入了门预测模块。与以往专注于优化规则网格上的样本位置的工作相比，GPSNet可以自适应地捕获自由形式的密集语义上下文。导出的自适应感受野是数据依赖的，并且是灵活的，可以模拟不同的对象的几何变换。在两个代表性的语义分割数据集上，即，Cityscapes和ADE20K，我们表明，所提出的方法始终优于以前的方法，并实现了竞争力的性能，没有花里胡哨。
2020-01-19 cs.CV
Uncertainty Gated Network for Land Cover Segmentation
University of Barcelona（巴塞罗那大学）
制作描绘土地覆盖的专题地图是遥感最常见的应用之一。为此，在文献中已经提出了几种基于深度学习的语义分割方法，但是由于与遥感成像相关的一些特定问题，土地覆盖分割仍然被认为是一个开放的问题。在本文中，我们提出了一种新的方法来处理不同的土地覆盖类别的像素周围的多尺度上下文建模的问题。该方法利用计算的异方差测量的不确定性时，在图像中的单个像素进行分类。该分类不确定性度量用于定义层之间的一组存储器门，其允许原则性方法为每个像素选择最佳决策。
2018-05-29 cs.CV
Convolutional Gated Recurrent Networks for Video Segmentation
University of Alberta（阿尔伯塔大学）
语义分割最近取得了重大进展，其中全卷积神经网络表现良好。然而，大多数以前的工作集中在改善单图像分割。据我们所知，没有以前的工作已经利用了时间视频信息的循环网络。在本文中，我们介绍了一种新的方法，隐式地利用时间数据的视频在线语义分割。该方法依赖于嵌入到门控递归架构中的完全卷积网络。该设计接收一系列连续的视频帧，并输出最后一帧的分割。卷积门控递归网络用于递归部分，以保持图像中的空间连通性。我们提出的方法可以应用于在线和批量分割。该架构进行了测试的二进制和语义视频分割任务。实验在SegTrack V2、Davis、CityScapes和Synthia的最新基准上进行。在我们所有的实验中，使用递归的全卷积网络提高了基线网络的性能。也就是说，SegTrack 2和Davis的F测量值分别提高了5%和3%，Synthia的平均IoU提高了5.7%，CityScapes的分类平均IoU提高了3.5%。RFCN网络的性能取决于其基准全卷积网络。因此，RFCN架构可以被看作是一种通过利用视频中的时空信息来改进其基线分割网络的方法。
2016-11-21 cs.CV
Building Segmentation through a Gated Graph Convolutional Neural Network with Deep Structured Feature Embedding
Technical University of Munich（慕尼黑工业大学）；German Aerospace Center (DLR)（德国航空航天中心）
由于建筑物形状的复杂性，从光学图像中自动提取建筑物仍然是一个挑战。语义分割是一种有效的方法。深度卷积神经网络（DCNN）的最新发展使精确的像素级分类任务成为可能。然而，一个核心问题仍然存在：边界的精确划定。深度架构通常无法产生具有准确边界的细粒度分割，因为它们是渐进式下采样的。因此，我们引入了一个通用的框架来克服这个问题，将图卷积网络（GCN）和深度结构化特征嵌入（DSFE）集成到端到端的工作流程中。此外，我们提出了一种门控图卷积网络，而不是使用经典的图卷积神经网络，它能够细化弱和粗语义预测，以生成清晰的边界和细粒度的像素级分类。以建筑物足迹的语义分割为例，比较了不同的特征嵌入结构和图神经网络。我们提出的框架与新的GCN架构优于国家的最先进的方法。虽然我们在这项工作中的主要任务是建筑足迹提取，所提出的方法可以普遍适用于其他二进制或多标签分割任务。
2019-11-08 cs.CV
Unsupervised Source-Free Ranking of Biomedical Segmentation Models Under Distribution Shift
EMBL Heidelberg（欧洲分子生物学实验室海德堡分部）；University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
本文提出一种无监督、源无关的生物医学分割模型排名框架，通过预测一致性在扰动下进行评估，适用于语义和实例分割任务，展示了在2D和3D影像中广泛任务的强相关性。
2026-04-08 cs.CV
MPCGNet: A Multiscale Feature Extraction and Progressive Feature Aggregation Network Using Coupling Gates for Polyp Segmentation
School of Computer（计算机学院）；Communication Engineering, Changsha University of Science（通信工程，长沙理工大学）
针对息肉分割中小息肉易遗漏、边界模糊、图像噪声干扰等问题，提出MPCGNet，通过耦合门过滤噪声并选择特征重要性，结合三个模块提升性能，在两个数据集上mDice分数优于现有方法。
2025-11-14 cs.CV
GDKVM: Echocardiography Video Segmentation via Spatiotemporal Key-Value Memory with Gated Delta Rule
College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院）；Centre for Smart Health, School of Nursing, The Hong Kong Polytechnic University（香港理工大学智能健康中心）
GDKVM通过时空关键值记忆与门控delta规则提升超声视频分割的精度与鲁棒性，实现高效实时分割。
2025-12-11 cs.CV
EGRNet: A Lightweight Semantic Segmentation Network with Edge-Gated Refinement and Adversarial Sensing
针对城市场景语义分割，EGRNet采用深度可分离卷积、扩张残差块、边缘门控细化模块和挤压激励注意力等方法，以低计算成本实现高精度，还引入对抗攻击检测策略，适合在边缘设备部署。
2026-07-23 cs.CV
Gated CRF Loss for Weakly Supervised Semantic Image Segmentation
最先进的语义分割方法依赖于在完全注释的数据集上训练的深度卷积神经网络，众所周知，收集这些数据集在时间和金钱方面都非常昂贵。为了补救这种情况，弱监督方法利用其他形式的监督，这些监督需要显著更少的注释工作，但由于这些区域中监督信号的近似性质，它们通常无法预测精确的对象边界。虽然在提高性能方面已经取得了很大的进展，但这些弱监督方法中的许多都是针对其特定设置的。这对重用算法和取得稳定进展提出了挑战。在本文中，我们有意避免这种做法时，处理弱监督语义分割。特别是，我们训练标准的神经网络与部分交叉熵损失函数的标记像素和我们提出的门控CRF损失的未标记像素。门控CRF损失被设计为提供几个重要的资产：1）它使内核构造具有灵活性，以屏蔽来自不期望的像素位置的影响; 2）它将学习上下文关系卸载到CNN并集中于语义边界; 3）它不依赖于高维滤波，因此具有简单的实现。在整个文件中，我们提出的损失函数的优点，分析了弱监督训练的几个方面，并表明我们的“纯粹主义”的方法实现了最先进的性能，基于点击和基于涂鸦的注释。
2019-10-30 cs.CV
Medical Transformer: Gated Axial-Attention for Medical Image Segmentation
Johns Hopkins University（约翰斯·霍普金斯大学）；Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
在过去的十年中，深度卷积神经网络已被广泛用于医学图像分割，并表现出足够的性能。然而，由于卷积架构中存在固有的归纳偏差，它们缺乏对图像中的长程依赖性的理解。最近提出的基于transformer的架构，利用自我注意力机制编码长距离依赖关系，并学习表达能力强的表示。这促使我们探索基于Transformer的解决方案，并研究将基于Transformer的网络架构用于医学图像分割任务的可行性。针对视觉应用提出的大多数现有基于Transformer的网络架构都需要大规模数据集来进行适当的训练。然而，与用于视觉应用的数据集相比，对于医学成像，数据样本的数量相对较低，使得难以有效地训练用于医学应用的Transformers。为此，我们提出了一个门控轴向注意力模型，通过在自我注意力模块中引入额外的控制机制来扩展现有的架构。此外，训练模型有效地医学图像，我们提出了一个局部全局训练策略（LoGo），进一步提高了性能。具体来说，我们对整个图像和补丁进行操作，分别学习全局和局部特征。建议的医疗Transformer（MedT）的三个不同的医学图像分割数据集进行评估，它表明，它实现了更好的性能比卷积和其他相关的基于变换的架构。代码：https://github.com/jeya-maria-jose/Medical-Transformer
2021-07-06 cs.CV
Beyond One Glance: Gated Recurrent Architecture for Hand Segmentation
École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
随着混合现实的发展势头越来越强劲，开发有效和高效的解决方案来解决以自我为中心的手部分割变得至关重要。传统的分割技术通常遵循一次处理方法，其中图像仅向前通过产生分割掩模的模型一次。然而，这种策略并不反映人类的感知，人类不断完善他们对世界的表征。因此，在本文中，我们介绍了一种新型的门控循环架构。它超越了迭代地将预测的分割掩码通过网络并向其添加标准递归单元，而是将分割网络的多个编码器-解码器层合并在一起，以便在细化过程中跟踪其内部状态。正如我们在标准手部分割基准和我们自己的数据集上的结果所证明的那样，我们的方法优于这些其他更简单的递归分割技术，以及最先进的手部分割技术。此外，我们证明了我们的方法的一般性，将其应用到道路分割，它也优于其他基线方法。
2018-12-12 cs.CV cs.LG
Fast Semantic Segmentation on Video Using Block Motion-Based Feature Interpolation
University of California, Berkeley（加州大学伯克利分校）
针对具有挑战性的密集预测任务的准确性进行了优化的卷积网络在视频中的每一帧上运行速度都非常慢。然而，附近视频帧的空间相似性表明有机会重新使用计算。现有的工作已经探索了基于光流的基本特征重用和特征扭曲，但遇到了这些技术可实现的加速比的限制。在本文中，我们提出了一个新的，两部分的方法来加速推理的视频。首先，我们提出了一种快速的特征传播技术，利用压缩视频（如H.264编解码器）中存在的块运动矢量，廉价地传播功能从帧到帧。其次，我们开发了一种新的特征估计方案，称为特征插值，融合从封闭的关键帧传播的特征，以提供准确的特征估计，即使在稀疏的关键帧频率。我们在Cityscapes和CamVid数据集上评估了我们的系统，并与逐帧基线和相关工作进行了比较。我们发现，我们能够大大加快视频分割，在大图像（960 x 720像素）上实现接近实时的帧速率（每秒20.1帧），同时保持有竞争力的准确性。这比单帧基线提高了近6倍，比之前最快的工作提高了2.5倍。
2018-11-25 cs.CV
LiVOS: Light Video Object Segmentation with Gated Linear Matching
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Microsoft（微软公司）
针对STM网络在长视频和高分辨率下内存开销大的问题，提出LiVOS轻量记忆网络，采用门控线性匹配降低复杂度，在MOSE和DAVIS上超越非STM方法，并节省53%GPU内存。
2024-11-05 cs.CV
CLC-YOLO: A Compact Channel-Gated Prototype Network for Real-Time Leakage-Aware Breast Ultrasound Lesion Segmentation
提出CLC-YOLO，通过通道门控局部高通残差改进YOLO26分割头，在四个乳腺超声数据集上提升组宏Dice，且开销极小。
2026-10-20 cs.CV
An Ultra-Widefield Swept-Source OCTA Dataset and a Polar-Gated Mamba Network for Retinal Vessel Segmentation
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
本文提出首个超广角SS-OCTA血管分割数据集WOIVES（206只眼），并设计极坐标门控Mamba网络PG-Mamba，在分割指标上优于七种方法，实现精确的定量血管分析。
2026-09-14 cs.CV
Bi-directional Cross-Modality Feature Propagation with Separation-and-Aggregation Gate for RGB-D Semantic Segmentation
Peking University（北京大学）；SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）
深度信息已被证明是RGB-D图像的语义分割中的有用线索，用于提供RGB表示的几何对应物。大多数现有的作品简单地假设深度测量是准确的，并且与RGB像素对齐，并且将问题建模为跨模态特征融合，以获得更好的特征表示，从而实现更准确的分割。然而，这可能不会导致令人满意的结果，因为实际深度数据通常是有噪声的，这可能会随着网络的深入而恶化准确性。在本文中，我们提出了一个统一的和高效的跨模态引导编码器，不仅有效地重新校准RGB特征响应，而且还通过多个阶段提取准确的深度信息，并交替聚合两个重新校准的表示。所提出的架构的关键是一个新的分离和聚合门控操作，联合过滤和重新校准两个表示之前，跨模态聚合。同时，引入双向多步传播策略，一方面帮助两种模态之间的信息传播和融合，另一方面在长期传播过程中保持它们的特异性。此外，我们提出的编码器可以很容易地注入到以前的编码器-解码器结构，以提高其性能的RGB-D语义分割。我们的模型在室内和室外具有挑战性的数据集上始终优于最先进的模型。代码可以在https://charlescxk.github.io/上找到
2020-07-17 cs.CV
CrossEarth-Gate: Fisher-Guided Adaptive Tuning Engine for Efficient Adaptation of Cross-Domain Remote Sensing Semantic Segmentation
Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai Jiao Tong University（上海交通大学）；National Supercomputing Center in Shenzhen（深圳国家超算中心）；The Hong Kong University of Science and Technology（香港科技大学）；Beijing Institute of Technology（北京理工大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Tsinghua University（清华大学）
提出CrossEarth-Gate，通过Fisher信息引导的自适应模块选择机制，动态激活最关键的跨域模块，在18个跨域基准中16个达到最优性能。
2026-06-18 cs.CV
Recurrent Fully Convolutional Networks for Video Segmentation
University of Alberta（阿尔伯塔大学）
图像分割是大多数视觉任务中的重要步骤。虽然卷积神经网络已被证明在单个图像分割上表现良好，但据我们所知，尚未对利用递归门控架构进行视频分割进行研究。因此，我们提出了一种新的方法，结合时间数据的视频序列的在线分割。该网络是由完全卷积的元素和递归单元构建的，该单元在时间数据上的滑动窗口上工作。我们还介绍了一种新的卷积门控递归单元，它保留了空间信息并减少了学习的参数。我们的方法的优点是，它可以在线工作，而不是在整个输入批次的视频帧操作。该网络在变化检测数据集上进行了测试，并被证明在每帧分割方面比普通全卷积网络的F-测量提高了5.5%。与我们称之为FCN 12的基线网络相比，它的F测量值也提高了1.4%。
2016-10-31 cs.CV
GRAtt-VIS: Gated Residual Attention for Auto Rectifying Video Instance Segmentation
LMU Munich（慕尼黑大学）；MCML（慕尼黑机器学习中心）；Technical University of Munich（慕尼黑工业大学）；University of Zurich（苏黎世大学）
本文提出GRAtt-VIS，通过Gumbel-Softmax门控残差连接和掩码自注意力自动检测并校正视频实例分割中的特征退化，在YouTube-VIS和OVIS上取得领先性能。
2023-05-26 cs.CV
Are Vision Foundation Models Foundational for Electron Microscopy Image Segmentation?
Department of Molecular Life Sciences, Universität Zürich（分子生命科学系，苏黎世大学）
本文研究了视觉基础模型在电子显微镜图像分割中的有效性，发现LoRA能提升单域性能，但多域训练导致性能下降，需额外领域对齐机制。
2026-02-09 cs.CV
Upgraded W-Net with Attention Gates and its Application in Unsupervised 3D Liver Segmentation
Otto von Guericke University（奥托·冯·格里克大学）；German Center for Neurodegenerative Disease（德国神经退行性疾病中心）；Center for Behavioral Brain Sciences（行为脑科学中心）；Leibniz Institute for Neurobiology（莱布尼茨神经生物学研究所）
生物医学图像的分割可以帮助放射科医生做出更好的诊断，并通过帮助检测异常（如肿瘤）更快地做出决策。然而，手动或半自动分割可能是一项耗时的任务。大多数基于深度学习的自动分割方法都是有监督的，并且依赖于手动分割的地面实况。这个问题的一个可能的解决方案是一种基于无监督深度学习的自动分割方法，这项研究工作试图解决这个问题。我们使用了一个W-Net架构，并对其进行了修改，使其可以应用于3D体积。此外，为了抑制分割中的噪声，我们在跳过连接中添加了注意力门。使用软N-Cuts计算分割输出的损失，使用SSIM计算重建输出的损失。条件随机场被用作后处理步骤，以微调结果。所提出的方法已经显示出有前途的结果，与手动分割相比，肝脏分割的骰子系数为0.88。
2020-11-20 cs.CV cs.LG eess.IV
T-Gated Adapter: A Lightweight Temporal Adapter for Vision-Language Medical Segmentation
Independent Researcher（独立研究员）
本文提出T-Gated Adapter，通过注入相邻切片上下文提升医学图像分割的连续性，实验表明在FLARE22、BTCV和AMOS22数据集上均取得显著提升，且在跨模态任务中表现优于传统3D模型。
2026-04-09 cs.CV
Shift-Memory Network for Temporal Scene Segmentation
Indiana University – Purdue University Indianapolis（印第安纳大学与普渡大学印第安纳波利斯联合分校）
语义分割在理解空间布局方面取得了很大的准确性。对于基于动态场景的实时任务，我们扩展了时间域的语义分割，以提高运动的空间精度。我们在流输入上利用移位模式网络来确保零延迟输出。针对移动网络下的数据重叠问题，提出了跨网络层的固定周期重复计算的识别方法。为了避免这种冗余，我们从编码-解码基线中推导出移位记忆网络（SMN），以重用网络值而不损失精度。在补丁模式下训练，SMN提取网络参数，以便SMN在紧凑的存储器中迅速执行推理。我们从1D扫描输入和2D视频中分割动态场景。SMN的实验达到了与移位模式相当的精度，但推理速度更快，存储量更小。这将促进边缘设备上的实时应用中的语义分割。
2022-02-17 cs.CV
Gated Feedback Refinement Network for Coarse-to-Fine Dense Semantic Image Labeling
University of Manitoba（曼尼托巴大学）
局部和全局上下文信息的有效集成对于语义分割和密集图像标记至关重要。我们开发了两种基于编码器-解码器的深度学习架构来解决这个问题。首先，我们提出了一种称为标签细化网络（LRN）的网络架构，它可以在几个空间分辨率下以粗到细的方式预测分割标签。在该网络中，我们还在多个阶段定义了损失函数，以在训练的不同阶段提供监督。然而，如果模糊的信息被向前传递，则可能存在对细化质量的限制。为了解决这个问题，我们还提出了门控反馈细化网络（G-FRNet）来解决这个限制。最初，G-FRNet进行粗粒度预测，通过在细化阶段有效整合本地和全局上下文信息，逐步细化以恢复细节。这是通过在这项工作中提出的门单元来实现的，即控制信息向前传递以解决模糊性。实验在四个具有挑战性的密集标记数据集（CamVid，PASCAL VOC 2012，Horse-Cow Parsing，PASCAL-Person-Part和SUN-RGBD）上进行。G-FRNet在CamVid和Horse-Cow Parsing数据集上实现了最先进的语义分割结果，并产生了与其他三个数据集文献中出现的最佳性能方法相竞争的结果。
2018-06-29 cs.CV
RS-SSM: Refining Forgotten Specifics in State Space Model for Video Semantic Segmentation
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）；Tsinghua University（清华大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出RS-SSM模型，通过互补细化遗忘的时空细节，提升视频语义分割的像素级处理能力，在四个基准上取得最佳性能。
2026-03-26 cs.CV
A Two-Stage Cascade Model with Variational Autoencoders and Attention Gates for MRI Brain Tumor Segmentation
New York University（纽约大学）
MRI脑肿瘤的自动分割对于疾病的诊断、监测和治疗计划的制定具有重要意义。在本文中，我们提出了一个两阶段的编码器-解码器为基础的模型，脑肿瘤分区分割。在这两个阶段中使用变分自动编码器正则化来防止过拟合问题。第二阶段网络采用注意门，并使用由第一阶段输出形成的扩展数据集进行额外训练。在BraTS 2020验证数据集上，所提出的方法对于整个肿瘤、肿瘤核心和增强肿瘤分别实现了0.9041、0.8350和0.7958的平均Dice评分以及4.953、6.299和23.608的Hausdorff距离（95%）。BraTS 2020测试数据集上的相应结果分别为Dice评分0.8729、0.8357和0.8205，Hausdorff距离11.4288、19.9690和15.6711。该代码可在https://github.com/shu-hai/two-stage-VAE-Attention-gate-BraTS2020上公开获取。
2020-11-28 cs.CV cs.LG eess.IV
Uncertainty-Gated Deformable Network for Breast Tumor Segmentation in MR Images
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Computer Science and Information Engineering, Hefei University of Science（合肥科学技术大学计算机科学与信息工程学院）；Department of Radiology, Southwest Hospital, Army Medical University（西南医院放射科，中国人民解放军陆军军医大学）；School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院）
本文提出不确定性门控可变形网络，融合CNN与Transformer并通过可变形建模、U-GEM和边界敏感损失提升乳腺MRI肿瘤分割精度。
2025-09-19 cs.CV eess.IV
Learning to Segment from Scribbles using Multi-scale Adversarial Attention Gates
IMT School for Advanced Studies Lucca（IMT卢卡高等研究院）；University of Edinburgh（爱丁堡大学）
在像素级注释的大的、细粒度的图像分割数据集是难以获得的，特别是在医学成像中，其中注释还需要专业知识。弱监督学习可以通过依赖较弱形式的注释（如涂鸦）来训练模型。在这里，我们学习在对抗游戏中使用涂鸦注释进行分割。使用不成对的分割掩模，我们训练多尺度GAN来生成多分辨率的真实分割掩模，同时我们使用涂鸦来学习它们在图像中的正确位置。该模型成功的核心是一种新型的注意力门控机制，我们将对抗信号作为形状先验，从而在多个尺度上实现更好的对象定位。在对抗条件作用下，分割器学习语义的注意力地图，抑制对象外部的噪声激活，并减少分割器更深层的消失梯度问题。我们在几个医学（ACDC，LVSC，CHAOS）和非医学（PPSS）数据集上评估了我们的模型，并报告了与使用完全注释的分割掩码训练的模型相匹配的性能水平。我们还展示了在各种设置中的扩展：半监督学习;结合多个涂鸦源（众包场景）和多任务学习（结合涂鸦和面具监督）。我们在https://vios-s.github.io/multiscale-adversarial-attention-gates上发布了专家为ACDC数据集制作的涂鸦注释，以及用于实验的代码
2021-03-25 cs.CV
Fine-grained Action Segmentation using the Semi-Supervised Action GAN
Queensland University of Technology（昆士兰科技大学）
在本文中，我们解决的问题，连续细粒度的动作分割，其中多个动作存在于一个未分割的视频流。这项任务的挑战在于需要表示动作的层次性质，并检测动作之间的转换，使我们能够有效地定位视频中的动作。提出了一种新的递归半监督生成对抗网络（GAN）模型，用于连续细粒度的人体动作分割。时间上下文信息是通过一个新的门控上下文提取器（GCE）模块，门控注意力单元组成，通过发电机模型，指导排队的上下文信息，增强动作分割。使GAN以半监督方式学习特征，使模型能够与标准的无监督GAN学习过程联合执行动作分类。我们对不同的架构变体进行了广泛的评估，以证明所提出的网络架构的重要性，并表明它能够在三个具有挑战性的数据集上超越当前最先进的技术：50沙拉，MERL购物和佐治亚理工学院自我中心活动数据集。
2019-09-20 cs.CV
Object-Guided Instance Segmentation for Biological Images
Rutgers University（罗格斯大学）；Tencent Hippocrates Research Labs（腾讯希波克拉底研究实验室）；Lieber Institute for Brain Development（利伯大脑发育研究所）
生物图像的实例分割是研究目标行为和属性的基础。诸如对象的聚类、遮挡和粘附问题的挑战使得实例分割成为一项不平凡的任务。当前无框实例分割方法通常依赖于局部像素级信息。由于缺乏全局对象视图，这些方法易于过分割或欠分割。相反，基于框的实例分割方法将目标检测结合到分割中，在识别个体实例方面表现更好。本文提出了一种新的基于框的实例分割方法。主要是从对象的中心点定位对象的边界框。对象特征随后在分割分支中被重用，作为在RoI补丁内分离聚类实例的指南。通过实例归一化，该模型能够恢复目标对象的分布并抑制相邻附着对象的分布。因此，该模型在分割聚类对象，同时保留目标对象的细节表现出色。所提出的方法在三个生物数据集上实现了最先进的性能：细胞核，植物表型数据集和神经细胞。
2019-11-20 cs.CV
Video Semantic Segmentation with Distortion-Aware Feature Correction
University of Science and Technology of China（中国科学技术大学）
得益于图像语义分割的巨大进步，视频语义分割近年来十分活跃。对于这样的任务，由于高计算成本，逐帧图像分割在实践中通常是不可接受的。为了解决这个问题，许多作品使用基于流的特征传播来重用先前帧的特征。然而，光流的估计不可避免地遭受不准确，从而导致传播的特征失真。在本文中，我们提出了失真感知的特征校正，以缓解这个问题，它提高了视频分割的性能，通过纠正失真的传播功能。具体而言，我们首先提出将失真模式从特征转移到图像空间，并进行有效的失真图预测。在变形图的指导下，提出了特征校正模块（FCM）对变形区域中的传播特征进行校正。我们提出的方法可以显着提高视频语义分割的准确性在一个较低的价格。在Cityscapes和CamVid上的大量实验结果表明，我们的方法优于最近的最先进的方法。
2020-11-12 cs.CV
Adversarial Synthesis Learning Enables Segmentation Without Target Modality Ground Truth
Vanderbilt University（范德堡大学）；Incyte Corporation（因赛特公司）
缺乏可推广性是基于深度学习的分割的一个关键限制。通常，当以不同的成像模式分割器官或从不同的疾病群组分割异常器官时，人工标记新的训练图像。如果能够重用来自一种模态的手动标签（例如，MRI）来训练用于新模态的分割网络（例如，CT）。以前，已经提出了两个阶段的方法来使用循环生成对抗网络（CycleGAN）来合成目标模态的训练图像。然后，这些努力使用合成图像独立地训练分割网络。然而，这两个独立的阶段没有使用合成和分割之间的互补信息。在此，我们提出了一种新的端到端的合成和分割网络（CNONet），以实现不成对的MRI到CT图像合成和CT脾肿大分割同时不使用手动标签的CT。端到端的Dice相似性系数中位数（0.9188）显著高于两阶段策略（0.8801），甚至高于使用CT手动标签的规范多图谱分割（0.9125）和ResNet方法（0.9107）。
2017-12-20 cs.CV
Multi-head automated segmentation by incorporating detection head into the contextual layer neural network
Linnear Austin, Texas（奥斯汀得克萨斯州林纳尔公司）；UCL / Linnear London, United Kingdom（伦敦大学学院/林纳尔英国）
本文提出一种门控多头Transformer架构，通过整合检测头和上下文信息，提升自动分割的解剖合理性与鲁棒性，有效减少假阳性。
2026-02-02 cs.AI cs.CV physics.med-ph
SERNet-Former: Semantic Segmentation by Efficient Residual Network with Attention-Boosting Gates and Attention-Fusion Networks
Hacettepe University（哈奇凯普大学）
SERNet-Former通过高效残差网络与注意力增强门和融合网络提升语义分割效率，实现CamVid和Cityscapes数据集上的高精度表现
2024-07-02 cs.AI cs.CV
Unsupervised Domain Adaptation with Histogram-gated Image Translation for Delayered IC Image Analysis
Nanyang Technological University（南洋理工大学）
深度学习通过采用卷积神经网络（CNN）来分割电路结构，在具有挑战性的电路注释任务中取得了巨大成功。深度学习方法需要大量手动注释的训练数据来实现良好的性能，如果将在给定数据集上训练的深度学习模型应用于不同的数据集，则这可能导致性能下降。这通常被称为电路注释的域偏移问题，其源于不同图像数据集之间的分布可能存在较大变化。不同的图像数据集可以从不同的设备或单个设备内的不同层获得。为了解决域偏移问题，我们提出了直方图门控图像转换（HGIT），一个无监督的领域自适应框架，将图像从给定的源数据集转换到目标数据集的域，并利用转换后的图像训练分割网络。具体来说，我们的HGIT执行基于生成对抗网络（GAN）的图像翻译，并利用直方图统计进行数据整理。实验在一个标记的源数据集上进行，该数据集适应于三个不同的目标数据集（没有用于训练的标签），并针对每个目标数据集评估分割性能。我们已经证明，我们的方法实现了最好的性能相比，报告的领域自适应技术，也合理地接近完全监督的基准。
2022-09-27 cs.CV
Object-Guided Instance Segmentation With Auxiliary Feature Refinement for Biological Images
Rutgers University（罗格斯大学）；Tencent Hippocrates Research Labs（腾讯希波克拉底研究实验室）；Lieber Institute for Brain Development（利伯大脑发育研究所）
实例分割在许多生物学应用中具有重要意义，如神经细胞相互作用的研究、植物表型分析以及定量测量细胞对药物处理的反应等。本文提出了一种新的基于框的实例分割方法。基于框的实例分割方法通过边界框捕获对象，然后在每个限界框区域内执行单独的分割。然而，现有的方法很难区分目标从它的相邻物体在同一个限界框区域内，由于它们的相似的纹理和低对比度的边界。针对这一问题，本文提出了一种基于对象引导的实例分割方法。我们的方法首先检测对象的中心点，然后预测的限界框参数。为了执行分割，对象引导的粗到细分割分支与检测分支一起构建。分割分支重用对象特征作为指导，以将目标对象与同一限界框区域内的相邻对象分离。为了进一步提高分割质量，我们设计了一个辅助特征细化模块，该模块在边界区域中密集采样和细化逐点特征。在三个生物图像数据集上的实验结果证明了该方法的优越性。该代码将在https://github.com/yijingru/ObjGuided-Instance-Segmentation上提供。
2021-06-14 cs.CV
Efficient Brain Tumor Segmentation Using a Dual-Decoder 3D U-Net with Attention Gates (DDUNet)
针对脑肿瘤分割中现有方法计算资源需求大、训练时间长的问题，提出带注意力门的双解码器3D U-Net（DDUNet），在BraTS 2020数据集上仅50个epoch就取得优异Dice分数，超过常用U-Net变体，为资源受限环境提供可行方案。
2025-04-14 cs.AI cs.CV eess.IV
P3-SAM: Native 3D Part Segmentation
Tencent Hunyuan（腾讯文英）；NJU（南京大学）；ShanghaiTech（上海交通大学）；HKU（香港大学）；ZJU（浙江大学）
本文提出原生3D点提示部件分割模型P3-SAM，通过特征提取器、多分割头和IoU预测器实现任意3D对象的全自动部件分割，并利用近370万模型的数据集训练，达到最先进性能。
2025-09-25 cs.CV
Backbone-Conditional Behavior of Modality Gating in Multi-Modal Prostate MRI Segmentation: A 5-Fold Cross-Validation and Gate Mechanism Analysis
The Second Xiangya Hospital of Central South University（中南大学湘雅医学院第二医院）；The Third Xiangya Hospital of Central South University（中南大学湘雅医学院第三医院）；School of Life Sciences, Central South University（中南大学生命科学学院）；Hunan Provincial Key Laboratory of Medical Information Research (Central South University)（湖南省医学信息研究重点实验室（中南大学））；Hunan Provincial Clinical Medical Research Center for Cardiovascular Intelligent Medicine（湖南省心血管智能医学临床医学研究中心）
本文提出模态隔离门控融合（MIGF）方法，通过独立编码流和门控阶段提升多模态前列腺MRI分割的鲁棒性，实验表明其在不同模态缺失和伪影情况下均有效。
2026-06-25 cs.AI cs.CV
EchoPilot: Training-Free Ultrasound Video Segmentation via Scale-Space Semantic Prompting and Reliability-Gated Memory
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Third Affiliated Hospital of Sun Yat-Sen University（中山大学第三附属医院）；Hong Kong Metropolitan University（香港 Metropolitan 大学）
提出EchoPilot，一种无需训练、仅需单点点击和类别名称的超声视频分割框架，通过尺度空间语义提示解决初始化歧义，并引入可靠性门控记忆减少传播漂移，在多个数据集上达到最优性能。
2026-05-25 cs.AI cs.CV
Learning Fully Dense Neural Networks for Image Semantic Segmentation
Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）；Shenzhen Zhuke Innovation Technology（深圳珠科创新科技）
语义分割是保留关键空间信息的逐像素分类。在基于CNN的方法中通常采用“特征图重用”，以利用早期层中的特征图用于稍后的空间重建。沿着这个方向，我们更进一步，提出了一个完全密集的神经网络，它具有编码器-解码器结构，我们将其命名为FDNet。对于解码器模块中的每个阶段，所有先前块的特征图被自适应地聚合以前馈作为输入。一方面，它准确地重建了空间边界。另一方面，它通过更有效的梯度反向传播来更有效地学习。此外，我们提出了边界感知的损失函数，将更多的注意力集中在边界附近的像素上，从而提高了“硬样本”的标记。我们已经证明了FDNet在两个基准数据集上的最佳性能：PASCAL VOC 2012，NYUDv 2，在不考虑其他数据集上的训练时。
2019-05-22 cs.CV
Brain Tumor Segmentation Based on Refined Fully Convolutional Neural Networks with A Hierarchical Dice Loss
Zhejiang University（浙江大学）
语义分割作为计算机视觉中的一项基本任务，可以为目标检测和实例分割提供基础信息，帮助人工智能更好地理解现实世界。自全卷积神经网络（FCNN）提出以来，由于其高像素分类精度和高定位精度，在语义分割中得到了广泛的应用。本文将几种著名的FCNN应用于脑肿瘤分割，进行比较并调整网络结构，以获得更好的性能，如精度，召回率，交集均值（mIoU）和骰子得分系数（DSC）。对经典FCNN的调整包括在卷积层之间添加更多的连接，在上采样层之后扩大解码器，以及改变浅层信息的重用方式。除了结构的修改，我们还提出了一个新的分类器与分层骰子损失。损失函数受类间包含关系的启发，将多类分类转化为多类二分分类，以抵消不平衡数据集带来的负面影响。在训练集和测试集上进行了大量的实验，以评估我们改进的全卷积神经网络和新型损失函数。有竞争力的数字证明他们比他们的前任更有效。
2018-02-13 cs.CV
Dense Dual-Path Network for Real-time Semantic Segmentation
College of Electronics and Information Engineering, Tongji University（同济大学电子与信息工程学院）；Institute of Intelligent Vehicle, Tongji University（同济大学智能汽车研究所）
语义分割取得了显著的效果，但计算代价高，参数数量大。然而，现实世界的应用程序需要在嵌入式设备上高效的推理速度。以前的大多数工作通过减少网络的深度、宽度和层容量来解决这一挑战，这导致性能不佳。在本文中，我们介绍了一种新的密集双路径网络（DDPNet）的实时的【形】语义分割的资源限制。我们设计了一个重量轻，功能强大的骨干网，具有密集的连接，以促进整个网络的功能重用和建议的双路径模块（Dual-Path Module），以充分聚合多尺度上下文。同时，构建了一个简单有效的框架，该框架具有利用高分辨率特征图来细化分割输出的跳过架构和利用来自特征图的上下文信息来细化热图的上采样模块。所提出的DDPNet在平衡精度和速度方面具有明显的优势。具体而言，在Cityscapes测试数据集上，DDPNet在单个GTX 1080Ti卡上以52.6 FPS的1024 X 2048分辨率输入实现了75.3%的mIoU。与其他最先进的方法相比，DDPNet以相当的速度和更少的参数实现了更好的准确性。
2020-10-21 cs.CV
Towards Closing the Gap in Weakly Supervised Semantic Segmentation with DCNNs: Combining Local and Global Models
ETH Zürich（苏黎世联邦理工学院）
为深度卷积神经网络（DCNN）生成训练集是现代现实世界应用的瓶颈。这对于注释训练数据的成本很高的应用程序（例如语义分割）来说是一项苛刻的任务。在文献中，在完整注释和弱注释上训练的网络所实现的性能之间仍然存在差距。在本文中，我们建立了一个策略来衡量这一差距，并确定必要的成分，以减少它。在涂鸦，我们建立了新的国家的最先进的结果：我们获得了75.6%的mIoU没有CRF后处理，75.7%与CRF后处理。我们将差距缩小了64.2%，而目前最先进的技术仅将差距缩小了57.5%。由于对弱监督场景中涉及的不同成分和原始实验策略进行了系统研究，我们揭示了一种反直觉的机制，该机制简单且易于推广到其他弱监督场景：将较差的局部预测注释与基线注释进行平均，并将其重新用于训练DCNN产生新的最先进的结果。
2019-04-29 cs.CV
Hierarchical semantic segmentation using modular convolutional neural networks
Vayavision（Vayavision 公司）
涉及识别物体的部分或容器的内容物的图像识别任务可以被视为分层问题，其可以通过初始识别主要物体，然后识别其部分或内容物来解决。为了实现这样的模块化识别，有必要使用一种识别方法（识别一般对象）的输出作为第二种方法（识别部分或内容）的输入。近年来，卷积神经网络已经成为图像分割和分类的主要方法。本文研究了一种将卷积神经网络串联起来用于透明血管内材料的语义分割的方法。它应用一个完全卷积的神经网络将图像分割成容器和背景，容器区域用作第二个网络的输入，第二个网络识别玻璃容器的内容。将第一网络生成的分割图转移到第二网络是使用阀过滤器注意力方法执行的，该方法涉及在图像的不同片段上使用不同的过滤器。这种模块化的语义分割方法优于使用单个网络识别血管及其内容物的单步的方法。模块化神经网络的一个优点是它允许从现有的训练模块构建网络，以及训练网络模块的转移和重用，而不需要对组装的网络进行任何再训练。
2017-10-14 cs.CV
RECAL: Reuse of Established CNN classifer Apropos unsupervised Learning paradigm
最近，使用深度网络框架的聚类引起了计算机视觉社区中的一些研究人员的注意。深度框架由于其对大规模和高维数据的高效性和可扩展性而受到广泛关注。在本文中，我们将有监督的CNN分类器架构转换为一个无监督的聚类模型，称为RECAL，它联合学习判别嵌入子空间和聚类标签。RECAL由卷积的特征提取层和完全连接的无监督分类器层组成。多项逻辑回归函数（softmax）堆叠在分类器层的顶部。我们使用随机梯度下降（SGD）优化器训练这个网络。然而，我们的模型的成功实施是围绕着损失函数的设计。我们的损失函数使用了一种方法，即在类分布没有严重偏斜的情况下，真正的划分需要较低的熵。这是“偏态分布”和“低熵”情况之间的权衡。为了解决这个问题，我们提出了分类熵和类熵，这是我们的损失函数的两个组成部分。在这种方法中，小批量的大小应该保持较高。实验结果表明，我们的模型聚类知名的数字，多视图对象和人脸数据集的一致性和竞争行为。此外，我们使用这个模型来生成多光谱LISS-IV图像的无监督补丁分割。我们观察到，它能够区分建筑区，湿地，植被和水体从底层场景。
2019-06-15 cs.CV
Online Learning of Reusable Abstract Models for Object Goal Navigation
University of Padova（帕多瓦大学）；Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会）；University of Brescia（布雷西亚大学）
在本文中，我们提出了一种新的方法来增量学习一个未知环境的抽象模型，并展示了如何代理可以重用的学习模型来解决对象目标导航任务。抽象模型是一个有限状态机，其中每个状态都是环境状态的抽象，如代理在特定位置和方向上所感知的那样。感知是高维感觉数据（例如，RGB-D图像），并利用图像分割和Taskonomy模型库的抽象。抽象模型的学习是通过执行动作、观察达到的状态以及用所获得的信息更新抽象模型来完成的。学习的模型由代理记忆，并且每当它识别出处于与存储的模型相对应的环境中时，它们就会被重用。我们调查所提出的方法的有效性的对象目标导航任务，依赖于公共基准。我们的研究结果表明，重用学习的抽象模型可以提高性能的对象目标导航。
2022-03-04 cs.CV
Zero-Parameter Geometric Gating for Temporally Stable Low-Altitude UAV Video Semantic Segmentation
Beihang University（北京航空航天大学）；Northeastern University（东北大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Beijing Institute of Technology（北京理工大学）
提出零参数几何门控，利用RANSAC单应性内点比率在16x16网格上路由区域，结合语义相似性传播实现时间稳定分割，在合成UAVid上提升mIoU达4.91%。
2026-06-08 cs.CV
Siamese Network with Interactive Transformer for Video Object Segmentation
JD Explore Academy（京东探索研究院）
半监督视频对象分割（VOS）是指在给定第一帧中的目标对象的注释的情况下，在剩余的帧中分割目标对象，近年来得到了积极的研究。关键的挑战在于找到有效的方法来利用过去的帧的时空背景，以帮助学习当前帧的区别性目标表示。在本文中，我们提出了一种新的连体网络与专门设计的交互式Transformer，称为SITVOS，使有效的上下文传播从历史到当前帧。从技术上讲，我们使用Transformer编码器和解码器来分别处理过去帧和当前帧，即，编码器从过去的帧中编码目标对象的鲁棒时空上下文，而解码器将当前帧的特征嵌入作为查询，以从编码器输出中检索目标。为了进一步增强目标表示，设计了特征交互模块（feature interaction module，简称EIM）来促进编码器和解码器之间的信息流。此外，我们采用连体架构提取骨干功能的过去和当前帧，这使得功能重用，比现有的方法更有效。三个具有挑战性的基准测试的实验结果验证了SITVOS的优越性，国家的最先进的方法。
2021-12-28 cs.CV
LIP: Learning Instance Propagation for Video Object Segmentation
University of Twente（特文特大学）；Wuhan University（武汉大学）
近年来，视频对象分割（VOS），即从背景中分割出前景对象的任务，受到了相当大的关注。在本文中，我们提出了一个端到端的可训练深度神经网络，卷积门控递归Mask-RCNN，用于解决半监督VOS任务。我们利用实例分割网络（Mask-RCNN）和视觉记忆模块（Conv-GRU）来处理VOS任务。实例分割网络为实例预测掩模，而视觉记忆模块学习同时为多个实例选择性地传播信息，处理外观变化、尺度和姿态变化以及对象之间的遮挡。在纯实例分割损失下进行离线和在线训练后，我们的方法能够在没有任何后处理或合成视频数据增强的情况下获得令人满意的结果。在DAVIS 2016数据集和DAVIS 2017数据集上的实验结果证明了该方法对视频对象分割任务的有效性。
2019-09-30 cs.CV
VISOLO: Grid-Based Space-Time Aggregation for Efficient Online Video Instance Segmentation
Yonsei University（延世大学）；Adobe Research（奥多比研究院）；LG Electronics（LG电子）；LG AI Research（LG人工智能研究院）；KAIST（韩国科学技术院）
对于在线视频实例分割（VIS），以有效的方式充分利用来自先前帧的信息对于实时应用是必不可少的。大多数以前的方法遵循两阶段的方法，需要额外的计算，如RPN和RoIAlign，并没有充分利用视频中的所有子任务的信息。在本文中，我们提出了一种基于网格结构化特征表示的在线VIS单阶段框架。基于网格的功能使我们能够采用完全卷积网络进行实时处理，并且可以在不同组件中轻松重用和共享功能。我们还介绍了协同操作的模块，聚合信息从可用的帧，以丰富的功能，在VIS的所有子任务。我们的设计充分利用了VIS中所有任务的网格形式的先前信息，并且在在线VIS方法中，我们在YouTube-VIS 2019和2021数据集上实现了新的最先进的精度（38.6 AP和36.9 AP）和速度（40.0 FPS）。该代码可在https://github.com/SuHoHan95/VISOLO上获得。
2022-03-30 cs.CV
Unpaired Multi-modal Segmentation via Knowledge Distillation
Imperial College London（伦敦帝国理工学院）；The Chinese University of Hong Kong（香港中文大学）
多模态学习通常使用包含模态特定层和共享层的网络架构来执行，利用不同模态的共配准图像。我们提出了一种新的学习方案，不成对的跨模态图像分割，具有高度紧凑的架构，实现卓越的分割精度。在我们的方法中，我们通过在CT和MRI上共享所有卷积核来大量重用网络参数，并且只使用计算相应统计数据的特定于模态的内部归一化层。为了有效地训练这样一个高度紧凑的模型，我们引入了一个新的损失项的启发知识蒸馏，明确限制KL发散我们推导出的预测分布之间的模态。我们已经在两个多类分割问题上广泛验证了我们的方法：i）心脏结构分割，以及ii）腹部器官分割。不同的网络设置，即，利用二维扩张网络和三维U-网来研究该方法的总体效果。这两个任务的实验结果表明，我们的新的多模态学习方案始终优于单模态训练和以前的多模态方法。
2020-01-06 cs.CV eess.IV
