Level set image segmentation with velocity term learned from data with applications to lung nodule segmentation
Florida State University（佛罗里达州立大学）
目的：肺结节分割，即肺结节表面的算法描绘是计算结节分析流水线的基本组成部分。我们提出了一种新的分割方法，这是一个基于机器学习的扩展目前的方法，使用标记的图像的例子，以提高其准确性。方法：我们引入了标准水平集图像分割方法的扩展，其中速度函数通过机器学习回归方法从数据中学习，而不是先验设计。相反，该方法采用一组特征来学习引导水平集从初始化演化的速度函数。结果如下：我们将该方法应用于公开可用的LIDC数据集中的CT扫描的肺结节的图像体积，获得了0.7185（$\pm$ 0.1114）的平均交集，这与其他方法相比具有竞争力。我们分析了分割性能的解剖和外观为基础的类别的结节，发现该方法执行更好的孤立结节与明确的利润。我们发现，在更复杂的环境中，并具有更复杂的CT外观结节的分割性能得到改善，增加了组合的全局-局部功能。结论：本文提出的水平集机器学习分割方法与现有方法相比具有竞争力。它在各种解剖学背景下提供准确的肺结节分割结果。
2021-01-19 cs.CV cs.LG eess.IV
L-CO-Net: Learned Condensation-Optimization Network for Clinical Parameter Estimation from Cardiac Cine MRI
Rochester Institute of Technology（罗切斯特理工学院）
在这项工作中，我们实现了一个完全卷积的分割器，它具有学习的组结构和正则化的权重修剪器，以降低体积图像分割中的高计算成本。我们在ACDC数据集上验证了我们的框架，该数据集具有在整个心动周期成像的一个健康组和四个病理组。我们的技术实现了96.8%（LV血池），93.3%（RV血池）和90.0%（LV肌萎缩）的Dice评分，具有五重交叉验证，并产生了与地面实况分割数据估计的临床参数相似的临床参数。基于这些结果，该技术有可能成为一种高效和有竞争力的心脏图像分割工具，可用于心脏计算机辅助诊断，规划和指导应用。
2020-04-21 cs.CV eess.IV
Random Forest with Learned Representations for Semantic Segmentation
University of California, San Diego（加利福尼亚大学圣迭戈分校）
在这项工作中，我们提出了一个随机森林框架，学习的权重，形状和稀疏的特征表示实时语义分割。典型的过滤器（内核）具有预定的形状和稀疏性，并且只学习权重。一些特征提取方法固定权重，只学习形状和稀疏性。这些预定的约束限制了学习和提取最佳特征。为了克服这一限制，我们提出了一种无约束的表示，能够通过学习权重，形状和稀疏度来提取最佳特征。然后，我们提出的随机森林框架，学习灵活的过滤器使用迭代优化算法和段输入图像使用学习的表示。我们证明了所提出的方法的有效性，使用一个手分割数据集的手对象交互和使用两个语义分割数据集。实验结果表明，该方法利用有限的计算和内存资源实现了实时的语义分割。
2019-01-23 cs.CV
Forecasting Future Instance Segmentation with Learned Optical Flow and Warping
University of Florence（佛罗伦萨大学）
本文提出一种基于自回归光流预测与学习扭曲函数的模型，用于预测未来实例分割，在Cityscapes数据集上验证了有效性。
2023-09-06 cs.CV
Enhancing Generic Segmentation with Learned Region Representations
Computer Science, Technion - Israel Institute of Technology（以色列理工学院计算机科学）
当前用于通用（非语义）分割的成功方法主要依赖于边缘检测，并且主要通过改进算法流水线中的边缘检测阶段来利用深度学习的优势。这与语义和实例分割形成对比，其中DNN被直接应用于生成逐像素分段表示。我们提出了一种新的方法来学习一个像素的表示，反映段的相关性。这种表示与边缘图相结合，产生一个新的分割算法。我们表明，表示本身实现国家的最先进的段相似性分数。此外，所提出的组合分割算法提供的结果，无论是最先进的或改进后，对于大多数质量措施。
2020-03-24 cs.CV
CC-Net: Image Complexity Guided Network Compression for Biomedical Image Segmentation
University of Notre Dame（圣母大学）
用于生物医学图像分析的卷积神经网络（CNN）通常具有非常大的尺寸，导致高存储需求和高操作延迟。为特定成像应用搜索基础CNN的可接受压缩表示通常涉及一系列耗时的训练/验证实验，以在网络大小和准确性之间实现良好的折衷。为了解决这一挑战，我们提出了CC-Net，一种新的图像复杂度引导的CNN压缩方案，用于生物医学图像分割。给定一个CNN模型，CC-Net根据从训练数据计算的平均图像复杂度预测不同大小网络的最终精度。然后，它选择一个乘法因子，以产生具有可接受的网络精度和大小的期望网络。实验表明，CC-Net可以有效地生成压缩的分割网络，保持高达95%的基本网络分割精度，并且在最佳情况下仅利用全尺寸网络的0.1%的可训练参数。
2019-09-08 cs.CV
End-to-End Learned Random Walker for Seeded Image Segmentation
Heidelberg Collaboratory for Image Processing（海德堡图像处理合作实验室）；Heidelberg University（海德堡大学）
我们提出了一个端到端的学习算法种子分割。我们的方法是基于随机沃克算法，其中我们预测的边缘权重的基础图形使用卷积神经网络。这可以被解释为学习线性扩散过程的上下文相关的扩散率。除了计算精确的梯度优化这些扩散率，我们还提出了简化，稀疏采样的梯度，仍然产生竞争力的结果。所提出的方法在CREMI神经元分割挑战的种子版本上实现了目前最好的结果。
2019-05-22 cs.CV cs.LG
Meta-Learned Feature Critics for Domain Generalized Semantic Segmentation
National Taiwan University（台湾大学）；ASUS Intelligent Cloud Services（华硕智能云服务）
在跨领域识别或分割视觉数据时，如何处理域转移已经被学习和视觉社区研究。在本文中，我们解决域广义语义分割，其中分割模型是在多个源域上训练的，并有望推广到看不见的数据域。我们提出了一种新的元学习方案，具有特征解纠缠能力，该方案为语义分割导出具有领域泛化保证的域不变特征。特别是，我们在我们的框架中引入了一个类特定的功能评论家模块，强制执行解纠缠的视觉功能与领域泛化保证。最后，我们在基准数据集上的定量结果证实了我们提出的模型的有效性和鲁棒性，在分割中对最先进的领域自适应和泛化方法表现良好。
2021-12-27 cs.CV
PatchDCT: Patch Refinement for High Quality Instance Segmentation
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；Shanghai Jiao Tong University（上海交通大学）
高质量的实例分割在计算机视觉中显示出越来越重要的作用。DCT-Mask不需要任何细化，直接通过压缩矢量生成高分辨率的掩码。为了进一步细化压缩向量得到的掩码，我们首次提出了一个基于压缩向量的多级细化框架。然而，香草组合并没有带来显著的收益，因为DCT向量的某些元素的变化会影响整个掩码的预测。因此，我们提出了一种简单而新颖的方法命名PatchDCT，它分离的DCT矢量解码的掩码成几个补丁和细化每个补丁的设计分类器和回归。具体地说，分类器用于区分混合补丁从所有补丁，并纠正以前错误预测的前景和背景补丁。相反，回归器用于混合块的DCT向量预测，进一步细化边界位置处的分割质量。COCO上的实验表明，我们的方法在COCO，LVIS和Cityscapes上分别比Mask-RCNN提高了2.0%，3.2%，4.5% AP和3.4%，5.3%，7.0%边界AP。在COCO、LVIS和Cityscapes上，它也超过了DCT-Mask 0.7%、1.1%、1.3% AP和0.9%、1.7%、4.2%边界AP。此外，PatchDCT的性能也与其他国家的最先进的方法竞争。
2023-02-07 cs.CV
Image-free single-pixel segmentation
Beijing Institute of Technology（北京理工大学）
现有的分割技术需要高保真图像作为输入来执行语义分割。由于分割结果包含的大部分边缘信息远少于获取的图像，吞吐量差距导致硬件和软件的浪费。在这封信中，我们报告了一个无图像的单像素分割技术。该技术结合结构照明和单像素检测，有效地采样和复用场景的分割信息压缩成一维测量。照明模式与随后的重建神经网络一起被优化，该重建神经网络直接从单像素测量推断分割图。端到端的编码和解码学习框架可以通过相应的网络优化照明，从而提供高的采集和分割效率。仿真和实验结果均表明，该方法可以在输入数据少两个数量级的情况下实现准确的分割。当采样率为1%时，Dice系数达到80%以上，像素精度达到96%以上。我们设想，这种无图像分割技术可以广泛应用于各种资源有限的平台，如无人机和无人驾驶车辆，需要实时传感。
2021-08-24 cs.CV eess.IV
AdLER: Adversarial Training with Label Error Rectification for One-Shot Medical Image Segmentation
Shanghai Jiao Tong University（上海交通大学）；GeneScience Pharmaceutical Co., Ltd（金赛药业股份有限公司）；ShanghaiTech University（上海科技大学）；Shanghai Clinical Research and Trial Center（上海临床研究中心）
提出AdLER方法，通过对抗训练增强数据多样性并修正标签错误，提升一次性医学图像分割性能，在CANDI和ABIDE数据集上优于现有方法。
2023-09-02 cs.CV eess.IV
Semantic Segmentation for Histopathology using Learned Regularization based on Global Proportions
本文提出VSLP框架，通过全局标签比例推断密集分割，无需像素级标注，利用变分优化提升分割可解释性，并在公开数据集上取得优于弱监督和无监督方法的性能。
2026-04-27 cs.CV cs.LG eess.IV
Semi-supervised Instance Segmentation with a Learned Shape Prior
RWTH Aachen University（亚琛工业大学）
提出基于形状先验的半监督实例分割框架，利用变分自编码器仅需少量真实或合成形状块即可在细胞分割数据集上达到或优于监督方法的性能。
2023-09-09 cs.CV
LU-Net: An Efficient Network for 3D LiDAR Point Cloud Semantic Segmentation Based on End-to-End-Learned 3D Features and U-Net
Univ. Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立理工学院）；Univ. Paris-Est（巴黎东大学）；IGN（法国国家地理研究院）；ENSG（法国国立地理科学学院）；GEOSAT（GEOSAT公司）
我们提出了LU-Net - for LiDAR U-Net，这是一种用于三维LiDAR点云语义分割的新方法。而不是应用一些全局3D分割方法，如PointNet，我们提出了一个端到端的架构，激光雷达点云语义分割，有效地解决了这个问题作为一个图像处理问题。我们首先提取每个点的高级3D特征，给定其3D邻居。然后，这些功能被投影到一个二维多通道距离图像，通过考虑传感器的拓扑结构。由于这些学习到的特征和这种投影，我们最终可以使用一个简单的U-Net分割网络来执行分割，它表现得非常好，同时非常高效。通过这种方式，我们可以利用数据的3D特性和LiDAR传感器的特异性。正如我们的实验所示，这种方法在KITTI数据集上的表现远远优于最先进的方法。此外，这种方法在单个GPU上以24 fps运行。这高于普通LiDAR传感器的采集速率，使其适用于实时应用。
2019-08-30 cs.CV
Open-World Instance Segmentation: Exploiting Pseudo Ground Truth From Learned Pairwise Affinity
Meta AI Research（元人工智能研究院）；UC Berkeley（加州大学伯克利分校）
开放世界实例分割是将像素分组为对象实例而无需任何预定分类的任务。这是具有挑战性的，因为最先进的方法依赖于从大型标记数据集获得的显式类语义，并且域外评估性能显着下降。在这里，我们提出了一种新的方法，面具的建议，通用的网络（GGN），没有语义监督。我们的方法结合了像素亲和力的局部测量与实例级掩码监督，产生一个训练方案，旨在使模型的通用数据多样性允许。我们介绍了一种预测成对亲和力（PA）的方法，这是一种学习到的像素对之间的局部关系。PA很好地概括了看不见的类别。从PA中，我们构建了一个大的伪地面实况实例掩码集;结合人工注释的实例掩码，我们训练了GGN，并在各种基准测试（包括COCO、LVIS、ADE 20 K和UVO）上在开放世界实例分割上显著优于SOTA。代码可在项目网站上获得：www.example.com。
2022-04-12 cs.CV
Instance Segmentation of Biomedical Images with an Object-aware Embedding Learned with Local Constraints
RWTH Aachen University（亚琛工业大学）
自动实例分割是许多生物医学应用中出现的问题。现有技术的方法或者执行语义分割或者细化从检测方法获得的对象边界框。这两种方法都在不同程度上受到拥挤对象的影响，合并相邻对象或抑制有效对象。在这项工作中，我们通过深度神经网络为每个像素分配一个嵌入向量。该网络被训练为输出来自同一对象的像素的相似方向的嵌入向量，而相邻对象在嵌入空间中是正交的，这有效地避免了人群中对象的融合。我们的方法即使在细胞分割（BBBC006 + DSB2018）和叶分割数据集（CVPPP2017）上使用轻量级骨干网络也能产生最先进的结果。代码和模型权重是公开的。
2020-04-21 cs.CV cs.LG
LightMedSeg: Lightweight 3D Medical Image Segmentation with Learned Spatial Anchors
National Institute of Technology Kurukshetra（克什米尔国家理工学院）；Indian Institute of Technology Ropar（罗帕尔印度理工学院）
LightMedSeg通过整合解剖学先验与自适应上下文建模，实现了轻量级3D医学图像分割，以高效且准确的方式替代传统变换器方法。
2026-03-07 cs.CV cs.LG
SHRED: 3D Shape Region Decomposition with Learned Local Operations
Brown University（布朗大学）
提出了一种三维形状区域分解方法SHRED。SHRED将3D点云作为输入，并使用学习的本地操作来生成近似细粒度零件实例的分割。我们赋予SHRED三个分解操作：分裂区域，固定区域之间的边界，合并区域在一起。模块是独立和本地训练的，允许SHRED为训练期间未看到的类别生成高质量的分割。我们训练和评估SHRED与细粒度分割从PartNet;使用其合并阈值超参数，我们表明，SHRED产生的分割，更好地尊重地面实况注释相比，基线方法，在任何所需的分解粒度。最后，我们证明了SHRED对下游应用程序是有用的，当与学习标记形状区域的方法相结合时，在zero-shot细粒度零件实例分割和Few-Shot细粒度语义分割上的性能优于所有基线。
2022-10-03 cs.CV cs.GR cs.LG
LMS-Net: A Learned Mumford-Shah Network For Few-Shot Medical Image Segmentation
School of Science, Shanghai University（上海大学理学院）；University of Utah（犹他大学）；East China Normal University（华东师范大学）
本文提出LMS-Net，将学习型Mumford-Shah模型展开为原型更新与掩码更新交替优化网络，用于少样本医学图像分割，在三个公开数据集上验证了其准确性和鲁棒性。
2025-02-08 cs.CV
Semantic segmentation of trajectories with agent models
Hiroshima University（广岛大学）
在许多情况下，如轨迹聚类和分类，我们经常把一个轨迹分割成段作为预处理。本文提出了一种基于学习行为模型的轨迹语义分割方法。在所提出的方法中，我们从视频序列中学习一些行为模型。接下来，使用学习的行为模型和隐马尔可夫模型，我们将轨迹分割成语义段。通过与Ramer-Douglas-Peucker算法的比较，验证了该方法的有效性。
2018-02-27 cs.CV
Fit Pixels, Get Labels: Meta-learned Implicit Networks for Image Segmentation
Rice University（里士大学）
本研究提出元学习框架MetaSeg，通过元学习为同时预测像素强度和类别标签的隐式神经表征寻找最优初始参数，微调即可实现医学图像分割，参数量比U-Net少90%且性能相当。
2025-10-05 cs.CV
Versatile Medical Image Segmentation Learned from Multi-Source Datasets via Model Self-Disambiguation
University of Pennsylvania（宾夕法尼亚大学）
本文提出一种利用多源部分标注数据训练通用医学图像分割模型的方法，通过模型自消歧、先验知识融合和不平衡缓解策略解决标签歧义及多源不平衡问题，在八源腹部多模态数据集上验证了其优于现有方法的性能与成本效益。
2024-03-29 cs.CV
MIS-HCC: Hierarchical Channel Clustering for Efficient Medical Image Segmentation
Yale University（耶鲁大学）；University of Florida（佛罗里达大学）；Wichita State University（威奇托州立大学）；Purdue University（普渡大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Stevens Institute of Technology（史蒂文斯理工学院）；Zhejiang University（浙江大学）
针对医学图像分割模型在资源受限平台部署的挑战，提出分层聚类压缩方法MIS-HCC，利用瓦瑟斯坦距离表示通道相似性形成矩阵指导聚类，融合通道生成压缩网络，实验证明其在精度和压缩效率上优于现有方法。
2026-07-21 cs.CV
Salient object detection on hyperspectral images using features learned from unsupervised segmentation task
AIST（日本产业技术综合研究所）
已经提出了来自彩色图像的各种显著性检测算法，以模仿人类观察者对相同场景的眼睛注视或专注的目标检测响应。然而，高光谱成像系统的发展使我们能够从物体的反射光源中获得观测场景的冗余光谱信息。一些研究表明，使用低级别的功能，高光谱图像的显着目标检测可以实现。在这项工作中，我们提出了一个显着的目标检测模型的高光谱图像应用流形排名（MR）的自监督卷积神经网络（CNN）的功能（高级功能）从无监督的图像分割任务。CNN的自我监督继续进行，直到聚类损失或显着性图收敛到每次迭代之间的定义误差。最后，显著性估计完成的显着性图在最后一次迭代时，自监督过程终止与收敛。实验结果表明，所提出的显着性检测算法的高光谱图像是优于国家的最先进的高光谱显着性模型，包括原来的MR为基础的显着性模型。
2019-02-28 cs.CV
Know What Your Neighbors Do: 3D Semantic Segmentation of Point Clouds
RWTH Aachen University（亚琛工业大学）
在本文中，我们提出了一种深度学习架构，解决了非结构化点云的3D语义分割问题。与以前的工作相比，我们引入了分组技术，在初始世界空间和学习的特征空间中定义点邻域。邻域是重要的，因为它们允许根据邻域的空间延伸来计算局部或全局点特征。此外，我们还引入了专用的损失函数来进一步构建学习点特征空间：成对距离损失和质心损失。我们将展示如何将这些机制应用于点云的3D语义分割任务，并报告室内和室外数据集的最新性能。
2018-12-08 cs.CV
Enhancing Cross-Modal Medical Image Segmentation through Compositionality
University of Amsterdam（阿姆斯特丹大学）；The Netherlands Cancer Institute（荷兰癌症研究所）；Utrecht University（乌得勒支大学）；Maastricht University Medical Center（马斯特里赫特大学医学中心）
本文提出一种端到端跨模态医学图像分割框架，通过引入可学习的 von Mises-Fisher 核实现组合性归纳偏置与内容-风格解耦，有效提升了分割性能、可解释性并降低计算成本。
2024-08-21 cs.CV
Flow Based Self-supervised Pixel Embedding for Image Segmentation
CuraCloud（库拉云）
我们提出了一种新的自监督的方法，从运动线索的图像特征学习。这种新方法在两个方向上利用了深度学习的最新进展：1）训练深度神经网络在使用合成流数据估计真实数据中的光流方面的成功;以及2）从运动线索（如光流）学习图像特征的新兴工作。在此基础上，我们证明了图像特征可以通过首先用合成流数据训练光流估计器，然后从真实运动数据中的估计流学习图像特征来学习自我监督。我们演示和评估这种方法的图像分割任务。使用学习的图像特征表示，该网络在Few-Shot分割任务中的表现明显优于从头开始训练的网络。
2019-01-08 cs.CV
Incremental Few-Shot Semantic Segmentation via Embedding Adaptive-Update and Hyper-class Representation
Hohai University（河海大学）；Singapore University of Technology and Design（新加坡科技设计大学）；University of Electronic Science and Technology of China（电子科技大学）；Shanghai AI Laboratory（上海人工智能实验室）；Nanjing University（南京大学）
增量式Few-Shot语义分割（IFSS）的目标是逐步扩展模型的分割能力，以分割仅由少量样本监督的新类别图像。然而，在旧类上学习的特征可能会显著漂移，导致灾难性遗忘。此外，新类的像素级分割样本很少，导致每个学习会话中臭名昭著的过拟合问题。在本文中，我们明确表示基于类的知识语义分割作为一个类别嵌入和超类嵌入，其中前者描述了排他性的语义属性，后者表示超类知识类共享的语义属性。为了解决IFSS问题，我们提出了EHNet，从自适应更新和超类表示网络两个方面进行了嵌入。首先，我们提出了一种嵌入自适应更新策略，以避免特征漂移，它保持了旧的知识，超类表示，并自适应更新类别嵌入类注意力计划，涉及在个别会话中学习的新类。其次，为了抵抗由少量训练样本引起的过拟合问题，通过聚类所有类别嵌入来学习超类别嵌入以用于初始化，并且与新类别的类别嵌入对齐以用于增强，其中所学习的知识有助于学习新知识，从而减轻对训练数据规模的性能依赖。值得注意的是，这两个设计提供了表示能力的类具有足够的语义和有限的偏见，使执行分割任务需要高语义依赖。在PASCAL-5i和COCO数据集上的实验表明，EHNet具有新的性能，具有显著的优势。
2022-07-26 cs.CV
ISDA: Position-Aware Instance Segmentation with Deformable Attention
College of Computer Science and Technology, Zhejiang University of Technology（浙江工业大学计算机科学与技术学院）
大多数实例分割模型都不是端到端可训练的，这是由于将建议估计（RPN）作为预处理或将非最大值抑制（NMS）作为后处理。在这里，我们提出了一种新的端到端的实例分割方法称为ISDA。它将任务重塑为预测一组对象掩码，这些对象掩码是通过传统的卷积运算与学习的位置感知内核和对象特征生成的。这些内核和特征是通过利用具有多尺度表示的可变形注意力网络来学习的。由于引入了集合预测机制，所提出的方法是无NMS的。从经验上看，ISDA在MS-COCO上的表现比Mask R-CNN（强基线）高出2.6个点，与最近的模型相比，ISDA的表现领先。代码将很快可用。
2022-02-23 cs.CV
Learning Dynamic Query Combinations for Transformer-based Object Detection and Segmentation
University of Florida（佛罗里达大学）；ByteDance Inc.（字节跳动公司）
本文提出基于图像高级语义学习动态系数的凸组合生成调制查询，以更好地捕捉目标位置和类别的先验，使广泛的基于DETR的模型在检测和分割等多个任务上取得一致且优越的性能。
2023-07-27 cs.CV
Improving Replay-Based Continual Semantic Segmentation with Smart Data Selection
Porsche Engineering Group GmbH（保时捷工程集团有限公司）；Fraunhofer Institute of Optronics, Systems Technologies and Image Exploitation IOSB（弗劳恩霍夫光电、系统技术与图像利用研究所IOSB）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
用于语义分割（CSS）的持续学习是一个快速新兴的领域，其中通过学习新类或新域来逐步改进分割模型的能力。持续学习的一个核心挑战是克服灾难性遗忘的影响，这是指在新的类或域上训练模型后，先前学习的任务的准确性突然下降。在连续分类中，这个挑战通常通过从以前的任务中重放一小部分样本来克服，但是在CSS中很少考虑重放。因此，我们调查的影响，各种重放策略的语义分割，并评估他们在类和域增量设置。我们的研究结果表明，在类增量设置，这是至关重要的，以实现在缓冲区中的不同类的均匀分布，以避免对新学习的类的偏见。在域增量设置中，通过从学习的特征表示的分布中均匀采样或通过选择具有中值熵的样本来选择缓冲样本是最有效的。最后，我们观察到有效的采样方法有助于减少早期层中的表示移位，这是域增量学习中遗忘的主要原因。
2022-09-20 cs.CV
Exploring Semantic Segmentation on the DCT Representation
National Chiao Tung University（国立交通大学）
典型的卷积网络是在RGB图像上训练和进行的。然而，在现实世界的应用中，图像通常被压缩以节省内存和高效传输。在本文中，我们探讨的方法进行语义分割的离散余弦变换（DCT）表示定义的JPEG标准。我们首先重新排列DCT系数以形成优选的输入类型，然后根据DCT输入量身定制现有网络。该方法在相同的网络复杂度下具有接近RGB模型的精度。此外，我们研究了选择不同的DCT分量对分割性能的影响。通过适当的选择，可以仅使用36%的DCT系数来实现相同级别的精度。我们进一步证明了我们的方法下的量化误差的鲁棒性。据我们所知，本文是第一个探讨语义分割的DCT表示。
2019-12-29 cs.CV
Incremental Learning Techniques for Semantic Segmentation
University of Padova（帕多瓦大学）
深度学习架构在需要增量学习新任务时，由于灾难性遗忘而表现出严重的性能下降。当代的增量学习框架专注于图像分类和目标检测，而在这项工作中，我们正式介绍了增量学习问题的语义分割，其中考虑了逐像素标记。为了解决这个问题，我们建议提取以前模型的知识，以保留以前学习的类的信息，同时更新当前模型以学习新的类。我们提出了各种方法的输出logits和中间功能。与最近的一些框架相反，我们不存储来自先前学习的类的任何图像，只需要最后一个模型来保持这些类的高准确性。在Pascal VOC2012数据集上的实验验证了所提方法的有效性。
2019-09-17 cs.CV cs.LG eess.IV
Doubly Deformable Aggregation of Covariance Matrices for Few-shot Segmentation
Technical University of Munich（慕尼黑工业大学）；University of Melbourne（墨尔本大学）；German Aerospace Center（德国航空航天中心）
用少量标注样本训练语义分割模型在各种实际应用中具有巨大的潜力。对于Few-Shot分割任务，主要的挑战是如何在有限的训练数据的情况下准确地测量支持样本和查询样本之间的语义对应。为了解决这个问题，我们建议聚合可学习的协方差矩阵与可变形的4D Transformer，以有效地预测分割图。具体来说，在这项工作中，我们首先设计了一种新的硬示例挖掘机制来学习高斯过程的协方差内核。与现有的基于余弦相似性的方法相比，学习的协方差核函数在对应性测量方面具有很大的优势。基于学习的协方差核，一个有效的双变形4D Transformer模块的设计，自适应聚合特征相似性映射到分割结果。通过结合这两种设计，所提出的方法不仅可以在公共基准上设置新的最先进的性能，而且比现有的方法收敛得更快。在三个公开数据集上的实验证明了该方法的有效性。
2022-07-30 cs.CV
Learning Class-Agnostic Pseudo Mask Generation for Box-Supervised Semantic Segmentation
Harbin Institute of Technology（哈尔滨工业大学）
最近，几种弱监督学习方法已经致力于利用限界框监督来训练深度语义分割模型。大多数现有方法通常利用通用提议生成器（例如，密集CRF和MCG）以产生用于进一步训练分割模型的增强的分割掩模。然而，这些建议生成器是通用的，并且不是专门为框监督的语义分割设计的，从而为改进分割性能留下了一些余地。在本文中，我们的目标是寻求一个更准确的基于学习的类无关的伪掩码生成器定制的框监督语义分割。为此，我们采用像素级注释的辅助数据集，其中类标签与框注释数据集的标签不重叠。为了从辅助数据集学习伪掩码生成器，我们提出了一种双层优化公式。特别地，下部子问题用于学习框监督的语义分割，而上部子问题用于学习最优的类无关伪掩码生成器。然后可以将学习的伪分割掩码生成器部署到框注释数据集，以改进弱监督语义分割。在PASCAL VOC 2012数据集上的实验表明，学习的伪掩码生成器在提高分割性能方面是有效的，我们的方法可以进一步缩小框监督模型和全监督模型之间的性能差距。我们的代码将在https://github.com/Vious/LPG_BBox_Segmentation上公开。
2022-03-02 cs.CV
Commonality-Parsing Network across Shape and Appearance for Partially Supervised Instance Segmentation
Hong Kong University of Science and Technology（香港科技大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Kwai Inc.（快手公司）
部分监督的实例分割旨在对有限的掩码注释数据类别进行学习，从而消除昂贵且详尽的掩码注释。学习的模型预计将推广到新的类别。现有的方法要么学习从检测到分割的传递函数，要么学习用于分割新类别的聚类形状先验。我们建议学习潜在的类不可知的共性，可以概括为从掩码注释的类别到新的类别。具体来说，我们解析两种类型的共性：1）形状共性，通过对实例边界预测执行监督学习来学习; 2）外观共性，通过对特征图像素之间的成对亲和力建模来捕获，以优化实例和背景之间的可分性。在COCO数据集上，我们的模型在部分监督设置和Few-Shot设置上的实例分割方面都显着优于最先进的方法。
2020-07-24 cs.CV
LT-Net: Label Transfer by Learning Reversible Voxel-wise Correspondence for One-shot Medical Image Segmentation
Xiamen University（厦门大学）；Tencent（腾讯）；Xi’an Jiaotong University（西安交通大学）；Macau University of Science and Technology（澳门科技大学）
我们引入了一个一次性分割方法，以减轻负担的手动注释的医学图像。其主要思想是将单次分割视为经典的基于图谱的分割问题，其中学习了从图谱到未标记数据的体素对应关系。随后，可以将图谱的分割标签转移到具有学习的对应关系的未标记数据。然而，由于图像之间的地面真实对应通常是不可用的，学习系统必须得到良好的监督，以避免模式坍塌和收敛失败。为了克服这个困难，我们诉诸于向前向后一致性，这是广泛使用的对应问题，并额外学习向后对应从扭曲的地图集回到原来的地图集。这种循环对应学习设计使各种额外的、基于循环一致性的监督信号能够使训练过程稳定，同时也提高了性能。我们通过全面的实验证明了我们的方法优于基于深度学习的单次分割方法和经典的多图谱分割方法。
2020-03-20 cs.CV
Visual Prompting for Generalized Few-shot Segmentation: A Multi-scale Approach
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（矢量人工智能研究所）；Ontario Tech University（安大略理工大学）
提出一种多尺度视觉提示方法，通过单向因果注意力机制平衡新类与基类性能，在COCO-$20^i$和Pascal-$5^i$上实现GFSS最先进性能，无需测试时优化。
2024-04-17 cs.CV
Meta-Learning Initializations for Image Segmentation
University of Arizona（亚利桑那大学）；Google（谷歌）
我们将一阶模型不可知的元学习算法（包括FOMAML和Reptile）扩展到图像分割，提出了一种新的为快速学习而构建的神经网络架构，我们称之为EfficientLab，并利用元学习算法的测试误差的正式定义来减少分布任务上的误差。我们通过使用FOMAML元训练EfficientLab并使用贝叶斯优化来推断最佳测试时自适应常规超参数，在FSS-1000数据集上展示了最先进的结果。我们还构建了一个小的基准数据集，FP-k，用于实证研究元学习系统如何在少镜头和多镜头设置中执行。在FP-k数据集上，我们证明了元学习初始化为规范的Few-Shot图像分割提供了价值，但它们的性能与传统的迁移学习快速匹配，其性能超过10个标记的示例。我们的代码，元学习模型和FP-k数据集可在https://github.com/ml4ai/mliis上获得。
2020-05-07 cs.CV cs.LG eess.IV
CTNet: Context-based Tandem Network for Semantic Segmentation
Nanjing University of Science and Technology（南京理工大学）
上下文信息已被证明是强大的语义分割。本文提出了一种基于上下文的串联网络（CTNet），通过交互式地探索空间上下文信息和通道上下文信息，发现语义上下文，实现语义分割。具体来说，空间上下文模块（SCM）的杠杆，以揭示像素和类别之间的相关性的像素之间的空间上下文依赖。同时，引入通道上下文模块（CCM），通过对通道间的长期语义依赖进行建模，学习通道的语义特征，包括语义特征映射和类特定特征。利用学习到的语义特征作为先验知识指导SCM的学习，使SCM获得更准确的长距离空间依赖关系。最后，为了进一步提高语义分割的学习表示的性能，两个上下文模块的结果被自适应地集成以实现更好的结果。在三个广泛使用的数据集上进行了广泛的实验，即，PASCAL-Context、ADE20K和PASCAL VOC 2012。实验结果表明，与现有的几种方法相比，所提出的CTNet具有更好的性能。
2021-04-20 cs.CV
Unbiasing Semantic Segmentation For Robot Perception using Synthetic Data Feature Transfer
Georgia Institute of Technology（佐治亚理工学院）
机器人感知系统需要对有噪声的原始感知数据实时执行可靠的图像分割。最先进的分割方法使用大型CNN模型和精心构建的数据集;然而，这些模型以实时推理为代价专注于准确性。此外，标准的语义分割数据集不足以在没有增强的情况下训练CNN，并且不代表有噪声的、未经策划的机器人感知数据。我们建议通过传输从合成分割数据中学习的特征来提高机器人感知数据的实时分割框架的性能。我们表明，使用合成分割数据而不是ImageNet预训练实时分割架构，通过减少预训练中学习到的偏差并关闭\textit{transfer gap}来提高微调性能。我们的实验表明，我们在合成数据上预训练的实时机器人感知模型在每一个尺度的微调数据上都优于在ImageNet上预训练的模型。此外，随着机器人数据可用性的降低，合成预训练优于ImageNet预训练的程度也在增加，这使得我们的方法对于数据集收集困难和/或昂贵的机器人领域具有吸引力。
2018-09-11 cs.CV cs.RO
Foundation Model Assisted Weakly Supervised Semantic Segmentation
Zhejiang University（浙江大学）
提出一种由CLIP与SAM驱动的由粗到细WSSS框架，通过可学习任务提示和SAMS模块生成高质量伪标签种子，在PASCAL VOC 2012上达到SOTA。
2023-12-10 cs.AI cs.CV
Combining Supervised and Un-supervised Learning for Automatic Citrus Segmentation
South China Agricultural University（华南农业大学）；Mechanization Research Office of national citrus industry technology system（国家柑橘产业技术体系机械化研究室）；Guangdong Agricultural Information Monitoring Engineering Technology Research Center（广东省农业信息监测工程技术研究中心）
柑橘分割是柑橘自动采摘的关键步骤。虽然大多数当前的图像分割方法通过逐像素分割实现了良好的分割结果，但是这些基于监督学习的方法需要大量的注释数据，并且在实际应用中没有考虑柑橘位置的连续时间变化。在本文中，我们首先训练一个简单的CNN与少量的标记柑橘图像在监督的方式，它可以大致预测柑橘的位置从每帧。然后，我们扩展了一个国家的最先进的无监督学习的方法来预先学习柑橘的潜在运动之间的帧从未标记的柑橘的视频。为了利用这两个网络的优势，我们采用多模态Transformer来结合监督学习的静态信息和无监督学习的运动信息。实验结果表明，两种网络的组合预测精度分别达到88.3 $\%$ IOU和93.6 $\%$精度，优于原始监督基线1.2 $\%$和2.4 $\%$。与现有的大多数柑橘分割方法相比，该方法使用少量的监督数据和大量的非监督数据，同时学习像素级位置信息和柑橘变化的时间信息，增强分割效果。
2021-05-04 cs.CV
SSHMT: Semi-supervised Hierarchical Merge Tree for Electron Microscopy Image Segmentation
Scientific Computing and Imaging Institute, University of Utah（犹他大学科学计算与成像研究所）；CSAIL, Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）
基于区域的方法已被证明是必要的，以提高电子显微镜（EM）图像中的神经元结构的分割精度。大多数基于区域的分割方法使用评分函数来确定区域合并。这样的功能通常是学习与监督算法，需要大量的地面实况数据，这是昂贵的收集。我们提出了一个半监督的方法，减少了这种需求。基于一个合并树结构，我们开发了一个可微的无监督损失项，强制执行一致的预测，从学习的功能。然后，我们提出了一个贝叶斯模型，结合了监督和无监督的信息的概率学习。在三个EM数据集上的实验结果表明，通过使用整个地面真实数据的仅3%至7%的子集，我们的方法在完整标记数据集上的表现始终接近最先进的监督方法，并且显著优于具有相同标记子集的监督方法。
2016-08-14 cs.CV
Automatic Text Line Segmentation Directly in JPEG Compressed Document Images
Indian Institute of Information Technology, Allahabad（印度理工学院信息技术学院（阿拉哈巴德））
JPEG是流行的图像压缩算法之一，在消费电子产品中提供有效的存储和传输能力，因此它是互联网世界中最受欢迎的图像格式。在当今的数字和大数据时代，每天都有大量的JPEG压缩文档图像通过消费电子产品进行存档和通信。尽管在一侧具有压缩形式的数据是有利的，然而，在另一侧，用现成的方法进行处理在计算上变得昂贵，因为它需要解压缩和再压缩操作。因此，如果压缩数据直接在消费电子产品的它们各自的压缩域中被处理，则将是新颖且高效的。在本研究论文中，我们建议证明这一想法采取的印刷文本行分割的案例研究。由于JPEG通过在像素域中将图像划分为不重叠的8x8块并使用离散余弦变换（DCT）来实现压缩;因此，分区的8x8 DCT块很可能重叠两个相邻文本行的内容，而不会留下任何行分隔符的线索，因此使文本行分割成为一个具有挑战性的问题。这里已经提出了两种分割方法，使用每个8x8 DCT块的DC投影轮廓和AC系数。第一种方法是基于选择的DCT块的部分解压缩的策略，和第二种方法是与F10和F11 AC系数的智能分析，而不使用任何类型的解压缩。所提出的方法已被测试与可变的字体大小，字体样式和行间距，并报告了良好的性能。
2019-07-29 cs.CV eess.IV
Weakly-Supervised Semantic Segmentation using Motion Cues
Inria（法国国家信息与自动化研究所）；Laboratoire Jean Kuntzmann（让·昆茨曼实验室）
在大量具有强像素级注释的图像上训练的全卷积神经网络（FCNN）已成为语义分割任务的最新技术水平。虽然最近有人试图从图像级弱注释中学习FCNN，但它们需要额外的约束，例如对象的大小，以获得合理的性能。为了解决这个问题，我们提出了motion-CNN（M-CNN），这是一种新的FCNN框架，它包含了运动线索，并从视频级弱注释中学习。我们的学习计划训练网络使用运动段作为软约束，从而处理嘈杂的运动信息。当在弱注释视频上训练时，我们的方法在PASCAL VOC 2012图像分割基准上的性能优于最先进的EM-Adapt方法。我们还证明了使用150个弱视频注释学习的M-CNN的性能与使用数千个图像训练的最先进的弱监督方法相当。最后，M-CNN在YouTube-Objects数据集上的视频协同定位相关任务中大大优于最近的方法。
2017-04-21 cs.CV
Reinforcement Learning for Semantic Segmentation in Indoor Scenes
George Mason University（乔治梅森大学）
未来机器人自主性和机器人任务复杂性的进步取决于对环境的鲁棒、高效和任务相关的语义理解。语义分割是同时分割和分类的感觉数据的分区的问题。目前的大多数方法都是在条件随机场（CRF）框架中使用多类分割和标记，或者通过生成多个对象假设并按顺序组合它们来解决这个问题。在实际设置中，所需的语义标签的子集取决于任务和特定场景，并且标记每个像素并不总是必要的。我们追求这些意见在开发一个更模块化和灵活的方法来多类分析RGBD数据的学习策略的基础上，结合独立的二进制对象与背景分割，而不是通常的单片多标签CRF的方法。独立二进制分割模型的参数可以非常有效地学习，并且组合策略--使用强化学习学习--可以独立设置，并且可以在不同的任务和环境中变化。准确性与NYU-V2室内场景数据集子集上的最先进方法相当，同时提供额外的灵活性和模块化。
2016-06-03 cs.CV cs.RO
A Locally Adapting Technique for Boundary Detection using Image Segmentation
Nevada National Security Site（内华达国家安全站点）；University of Alabama in Huntsville（阿拉巴马大学亨茨维尔分校）；Massachusetts Institute of Technology（麻省理工学院）
定量数字图像分析领域的快速发展为研究人员对图像中的对象进行精确测量铺平了道路。要从图像中计算出诸如压缩物质的密度或冲击波的速度等物理量，我们必须确定物体的边界。包含各自具有强度的空间趋势的区域的图像是特别感兴趣的。我们提出了一种监督图像分割方法，结合空间信息，以定位重叠的强度直方图区域之间的边界。通过将像素的强度与来自局部、附近像素强度的分布进行比较来确定像素的分割。由于算法的统计性质，我们使用最大似然估计理论来量化每个边界的不确定性。我们证明了该算法的成功的多组分圆柱体的射线照片和激光诱导冲击波的光学图像上，我们提供了最终的边界位置与相关的频带的不确定性。
2017-07-27 cs.CV
Learning Transferable Object-Centric Diffeomorphic Transformations for Data Augmentation in Medical Image Segmentation
Rochester Institute of Technology（罗切斯特理工学院）；West Virginia University（西弗吉尼亚大学）；Qualcomm Inc（高通公司）
针对医学图像分割数据标注困难，提出以对象为中心的微分同胚变换增强模型，学习形状变化并原位增强，跨数据集迁移有效提升肾脏肿瘤分割。
2023-07-25 cs.CV
FGSSNet: Feature-Guided Semantic Segmentation of Real World Floorplans
School of Information Technology, Halmstad University, Sweden（信息科技学院，哈姆斯塔德大学，瑞典）
提出FGSSNet架构，通过多头专用特征提取器提取墙壁图块的纹理与宽度特征并注入U-Net潜在空间，有效提升了真实世界平面图墙壁分割的泛化能力与性能。
2025-07-14 cs.CV
Word and character segmentation directly in run-length compressed handwritten document images
University of Mysore（迈索尔大学）；Indian Institute of Information Technology – Allahabad（印度信息技术联盟阿拉哈巴德分校）
从文献中，它表明，执行文本行分割直接在游程长度压缩的手写文档图像显着减少了计算时间和内存空间。在本文中，我们研究的问题，字和字符分割的游程长度压缩的文档图像直接。首先，从压缩数据的前景运行中智能地提取字符的扩展，并且随后建立连接的组件。当与字内的连接分量之间的间隔相比时，相邻字之间的连接分量之间的间隔将更大。有了这个知识，阈值是凭经验选择的字间分离。一个单词中的每个连接组件都被进一步分析以进行字符分割。这里，最小割图的概念被用来分离接触字符。分别通过插入和删除操作来解决过分割和欠分割问题。该方法已被开发，特别是压缩手写英文文档图像。然而，该模型已经在非英语文档图像上进行了测试。
2019-08-18 cs.CV
Transferring learned patterns from ground-based field imagery to predict UAV-based imagery for crop and weed semantic segmentation in precision crop farming
University of Lincoln（林肯大学）；Flanders Make（法兰德斯制造研究院）；Ghent University（根特大学）；Flanders Research Institute for Agriculture, Fisheries and Food (ILVO)（法兰德斯农业、渔业与食品研究所）；Swedish University of Agricultural Sciences（瑞典农业科学大学）
杂草和作物分割正成为利用当前计算机视觉和深度学习技术的精准农业日益不可或缺的一部分。已经基于用来自各种平台的相机捕获的图像进行了广泛的研究。无人机（UAV）和包括农业机器人在内的地面车辆是田间数据汇集的两种流行平台。它们都有助于特定地点的杂草管理（SSWM），以保持作物产量。目前，来自这两个平台的数据是分开处理的，尽管共享相同的语义对象（weed和crop）。在我们的论文中，我们开发了一个深度卷积网络，可以预测来自无人机的田间和空中图像，用于杂草分割和映射，仅在训练阶段提供田间图像。网络学习过程通过浅层和深层的特征图可视化。结果表明，该模型对农田数据集农作物（玉米）、杂草和土壤背景分割的平均交集（IOU）值分别为0.744，0.577，0.979，与采用相同模型的无人机航拍图像的分割性能相比，农作物（玉米）、杂草和土壤背景的IOU值分别为0.744，0.577，0.979，杂草和土壤背景值分别为0.596、0.407和0.875。为了估计对使用植物保护剂的影响，我们根据预测的杂草地图量化除草剂喷洒节省率和网格大小（喷洒分辨率）之间的关系。当喷雾分辨率为1.78 × 1.78 cm ~ 2时，喷雾节省率可达90%。研究表明，所开发的深度卷积神经网络可用于田间和航空图像中的杂草分类，并取得了令人满意的结果。
2022-10-20 cs.CV cs.LG
RFC-Net: Learning High Resolution Global Features for Medical Image Segmentation on a Computational Budget
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；University of Miami（迈阿密大学）
学习高分辨率表示对于语义分割是必不可少的。具有下游和上游传播流的卷积神经网络（CNN）架构对于医学诊断中的分割是流行的。然而，由于在多个阶段中执行空间下采样和上采样，信息丢失是不可避免的。相反，在高空间分辨率上密集地连接层在计算上是昂贵的。在这项工作中，我们设计了一个松散的密集连接策略，以减少参数连接后续层中的神经元。在此基础上，使用m路树结构进行特征传播，我们提出了接受域链网络（RFC-Net），它在压缩的计算空间上学习高分辨率的全局特征。我们的实验表明，RFC-Net在息肉分割的Kvasir和CVC-ClinicDB基准测试中达到了最先进的性能。
2023-02-13 cs.AI cs.CV cs.LG
Accelerating Video Object Segmentation with Compressed Video
National University of Singapore（新加坡国立大学）
我们提出了一个有效的即插即用的加速框架，半监督视频对象分割，通过利用压缩比特流所呈现的视频中的时间冗余。具体来说，我们提出了一种基于运动矢量的变形方法，用于以双向和多跳的方式将分割掩模从关键帧传播到其他帧。此外，我们引入了一个基于残差的校正模块，可以修复错误传播的分割掩模从噪声或错误的运动矢量。我们的方法是灵活的，可以添加到几个现有的视频对象分割算法。我们在DAVIS 17和YouTube-VOS上的各种基础模型上取得了极具竞争力的结果，速度大幅提升至3.5倍，准确性略有下降。
2022-04-06 cs.CV
