Kernel Sparse Models for Automated Tumor Segmentation
Arizona State University(亚利桑那州立大学)
在本文中,我们提出了基于稀疏编码的方法分割肿瘤区域的MR图像。稀疏编码与数据自适应字典已成功地用于几个图像恢复和视觉问题。所提出的方法获得稀疏编码的每个像素在脑磁共振图像考虑其强度值和位置信息。由于它是平凡的,以获得像素的稀疏代码,并结合多个功能的稀疏编码设置是不简单的,我们建议执行稀疏编码在高维特征空间,非线性相似性可以有效地建模。我们使用的训练数据从专家分割的图像,以获得核字典与核K线聚类过程。对于一幅测试图像,用这些核字典计算稀疏码,并将它们用于识别肿瘤区域。这种方法是完全自动化的,并且不需要用户干预来初始化测试图像中的肿瘤区域。此外,还提出了一种基于核稀疏码的低复杂度分割方法,该方法允许用户初始化肿瘤区域。与所提出的方法获得的结果进行验证,对手动分割的专家放射科医生,和所提出的方法导致准确的肿瘤识别。
2013-03-11 cs.CV
Large Kernel Matters -- Improve Semantic Segmentation by Global Convolutional Network
Tsinghua University(清华大学);Megvii Inc.(旷视科技)
网络架构设计的最新趋势之一[30,31,14]是堆叠小过滤器(例如,1 × 1或3 × 3),因为在给定相同的计算复杂性的情况下,堆叠的小滤波器比大内核更有效。然而,在语义分割领域,我们需要执行密集的每像素预测,我们发现,当我们必须同时执行分类和定位任务时,大的内核(和有效的感受野)起着重要的作用。根据我们的设计原则,我们提出了一个全局卷积网络来解决语义分割的分类和定位问题。我们还提出了一个基于残差的边界细化,以进一步细化对象的边界。我们的方法在两个公共基准上实现了最先进的性能,并显著优于之前的结果,PASCAL VOC 2012数据集上的82.2%(vs 80.2%)和Cityscapes数据集上的76.9%(vs 71.8%)。
2017-03-08 cs.CV
SPNet: Multi-Shell Kernel Convolution for Point Cloud Semantic Segmentation
University of Missouri(密苏里大学)
特征编码是点云分析的关键。在本文中,我们提出了一种新的点卷积算子命名为壳点卷积(SPConv)的形状编码和局部上下文学习。具体来说,SPConv将3D邻域空间分割成壳,在手动设计的核点上聚合局部特征,并在壳上执行卷积。此外,SPConv还集成了一个简单而有效的注意力模块,可以增强局部特征聚合。基于SPConv,构建了一个深度神经网络SPNet来处理大规模点云数据。为了提高效率和准确性,SPNet中集成了泊松磁盘采样和特征传播。我们提供了外壳设计的细节,并在具有挑战性的大规模点云数据集上进行了广泛的实验。实验结果表明,SPConv是有效的局部形状编码,和我们的SPNet是能够达到一流的性能在语义分割任务。
2021-09-23 cs.CV
Deformable Kernel Expansion Model for Efficient Arbitrary-shaped Scene Text Detection
由于文本形状和比例的高度变化,场景文本检测是一项具有挑战性的计算机视觉任务。在这项工作中,我们提出了一个场景文本检测器命名为变形核扩展(DKE),它结合了分割和基于轮廓的检测器的优点。DKE首先利用分割模块将收缩后的文本区域分割为文本核,然后对文本核轮廓进行扩展,通过对顶点偏移量的回归得到文本边界。通过分割生成文本核使DKE能够继承基于分割的检测器的任意形状的文本区域建模能力。DKE算法通过对核轮廓进行采样点的回归,避免了复杂的像素级后处理,并能像基于轮廓的检测器一样更好地学习轮廓变形。此外,我们提出了一个最佳的二分图匹配损失(OBGML),衡量预测轮廓和地面真理之间的匹配误差,有效地最小化全局轮廓匹配距离。在CTW 1500、Total-Text、MSRA-TD 500和ICDAR 2015上的大量实验表明,DKE在场景文本检测的准确性和效率之间实现了良好的权衡。
2023-03-28 cs.CV
Deep kernel video approximation for unsupervised action segmentation
Department of Intellgient Systems (DIS), Tilburg University, Tilburg, NL(智能系统系,蒂尔堡大学,蒂尔堡,荷兰);Division of Image Processing, LUMC, Leiden, NL(图像处理 division,莱顿大学医学中心,莱顿,荷兰)
本文提出利用深度核空间学习近似视频帧分布,以实现无监督动作分割,采用MMD度量更可靠,且比最优传输度量更易优化。在六个基准上表现优异,且在未知分割数时F1分数更高。
2026-04-23 cs.CV
Car Segmentation and Pose Estimation using 3D Object Models
Johns Hopkins University(约翰斯·霍普金斯大学)
图像分割和三维姿态估计是任何场景理解算法中的两个关键环节。然而,用于图像分割的最先进的基于CRF的模型主要依赖于2D对象模型来构造自上而下的高阶势。在本文中,我们提出了新的自上而下的潜力的图像分割和姿态估计的基础上的形状和体积的三维物体模型。我们表明,这些复杂的自上而下的潜力,可以很容易地分解成标准的形式,在分割和姿态估计任务的有效推理。在汽车数据集上的实验表明,分割的知识有助于更好地执行姿态估计,反之亦然。
2016-06-17 cs.CV
Kernelized Memory Network for Video Object Segmentation
Yonsei University(延世大学)
半监督视频对象分割(VOS)是一项任务,涉及当在第一帧中给出目标对象的地面真实分割掩码时预测视频中的目标对象。最近,时空记忆网络(STM)作为一种有前途的半监督VOS解决方案受到了极大的关注。然而,在将STM应用于VOS时,忽略了一个重要的问题。解决方案(STM)是非本地的,但问题(VOS)主要是本地的。为了解决STM和VOS之间的不匹配,我们提出了一个内核化的内存网络(KMN)。在对真实视频进行训练之前,我们的KMN在静态图像上进行了预训练,就像以前的作品一样。与以前的作品不同,我们在预训练中使用Hide-and-Seek策略,以获得处理遮挡和段边界提取的最佳结果。拟议的KMN在标准基准上远远超过了最先进的水平(在DAVIS 2017测试开发集上增加了5%)。此外,在DAVIS 2016验证集上,KMN的运行时间为每帧0.12秒,与STM相比,KMN很少需要额外的计算。
2020-07-16 cs.CV
Video Deblurring via Semantic Segmentation and Pixel-Wise Non-Linear Kernel
Tencent AI Lab(腾讯人工智能实验室);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Electrical Engineering and Computer Science, University of California, Merced(加州大学默塞德分校电气工程与计算机科学)
视频去模糊是一个具有挑战性的问题,因为模糊是复杂的,通常是由相机抖动,物体运动和深度变化的组合引起的。光流可用于核估计,因为它预测运动轨迹。然而,在复杂的场景中,目标边界的估计往往是不准确的,这是核估计的关键。在本文中,我们利用语义分割在每个模糊帧理解场景的内容,并使用不同的运动模型的图像区域,以指导光流估计。虽然现有的逐像素模糊模型假设模糊核与曝光时间期间的光流相同,但是当像素处的运动模糊轨迹与估计的线性光流不同时,该假设不成立。我们分析了运动模糊轨迹和光流之间的关系,并提出了一种新的像素级非线性核模型来解释运动模糊。该模糊模型基于非线性光流,能更有效地描述复杂的运动模糊。在具有挑战性的模糊视频上的大量实验表明,该算法对最先进的方法表现良好。
2017-08-11 cs.CV
Adaptive Segmentation-Based Initialization for Steered Mixture of Experts Image Regression
Technical University of Berlin(柏林工业大学);Mid Sweden University(中瑞典大学);Hochschule für Technik und Wirtschaft Berlin(柏林工程应用科学大学)
针对核图像回归方法参数迭代优化计算负担重的问题,提出基于自适应分割的初始化方法,为SMoE、RBF等网络生成全局初始化,在提升质量、模型稀疏度的同时大幅缩短运行时间,且支持高效并行计算。
2024-09-16 cs.CV
MKIS-Net: A Light-Weight Multi-Kernel Network for Medical Image Segmentation
UNSW(新南威尔士大学);Dongguk University(东国大学);Defence Science and Technology Group(国防科学技术集团)
图像分割是医学成像中的一项重要任务。它构成了各种临床诊断方法,治疗和计算机辅助手术的支柱。在本文中,我们提出了一个多核图像分割网络(MKIS-Net),它使用多个内核来创建一个有效的感受野,提高分割性能。由于其多核设计,MKIS-Net是一种具有少量可训练参数的轻量级架构。此外,这些多核感受野也有助于更好的分割结果。我们证明了MKIS-Net在几个任务上的有效性,包括视网膜血管分割,皮肤病变分割和胸部X射线分割。与最先进的方法相比,所提出的网络的性能具有相当的竞争力,并且通常是优越的。此外,在某些情况下,MKIS-Net的可训练参数比现有的医学图像分割替代方案少一个数量级以上,并且比其他轻量级架构小至少四倍。
2022-10-15 cs.CV cs.LG eess.IV
Splenomegaly Segmentation using Global Convolutional Kernels and Conditional Generative Adversarial Networks
Vanderbilt University(范德堡大学);Incyte Corporation(因赛特公司)
使用自动图像分割技术的脾体积估计可用于在磁共振成像(MRI)扫描上检测脾肿大(异常增大的脾)。近年来,深度卷积神经网络(DCNN)分割方法在腹部器官分割方面表现出了优势。然而,当部署基于DCNN的方法时,MRI图像上脾脏的大小和形状的变化可能导致大的假阳性和假阴性标记。在本文中,我们提出了脾肿大分割网络(SSNet),以解决分割非常大的脾脏时的空间变化。SSNet是基于图像到图像条件生成对抗网络(cGAN)框架设计的。具体而言,全局卷积网络(GCN)被用作生成器以减少假阴性,而马尔可夫链(PatchGAN)被用于减轻假阳性。来自脾肿大患者的临床获得的3D MRI扫描(T1加权和T2加权)的队列被用于训练和测试网络。实验结果表明,平均Dice系数为0.9260,中位数Dice系数为0.9262,使用SSNet独立测试的脾肿大患者的MRI体积。
2017-12-02 cs.CV
Image Translation with Kernel Prediction Networks for Semantic Segmentation
Stony Brook University(石溪大学);Microsoft Corporation(微软公司)
提出域对抗核预测网络(DA-KPN),通过估计像素级变换参数并使用多尺度判别器,保证合成图像与翻译结果间的语义匹配,在语义分割和人脸解析任务上优于现有GAN方法。
2025-07-11 cs.CV
ELKPPNet: An Edge-aware Neural Network with Large Kernel Pyramid Pooling for Learning Discriminative Features in Semantic Segmentation
Wuhan University(武汉大学)
语义分割一直是各个领域的研究热点。随着深度卷积神经网络的成功,语义分割在城市场景解析和室内语义分割方面都取得了很大的成就和改进。然而,大多数最先进的模型仍然面临着区别性特征学习的挑战,这限制了模型检测多尺度对象的能力,并保证一个对象内部的语义一致性或区分具有相似外观的不同相邻对象。提出了一种实用高效的边缘感知神经网络用于语义分割。这个端到端的可训练引擎由一个新的编码器-解码器网络、一个大的内核空间金字塔池化(LKPP)块和一个边缘感知损失函数组成。编码器-解码器网络被设计为平衡结构,以缩小多级特征聚合中的语义和分辨率差距,而LKPP块被构造为具有密集扩展的感受野,用于多尺度特征提取和融合。此外,提出了新的强大的边缘感知损失函数,直接从语义分割预测中细化边界,以获得更鲁棒和更具鉴别力的特征。使用Cityscapes,CamVid和NYUDv 2基准数据集证明了该模型的有效性。在Cityscapes数据集上验证了ELKPPNet中两种结构和边缘感知损失函数的性能,而在CamVid和NYUDv 2数据集上评估了完整的ELKPPNet。在相同条件下与现有方法的比较分析证实了该算法的优越性。
2019-06-27 cs.CV
MK-UNet: Multi-kernel Lightweight CNN for Medical Image Segmentation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出超轻量级多核U形网络MK-UNet,通过多核深度可分离卷积和多种注意力机制,以极低参数量和计算量在多个医学图像分割基准上超越现有方法。
2025-09-23 cs.CV
Trilateral Attention Network for Real-time Medical Image Segmentation
Lister Hill National Center for Biomedical Communications(李斯特·希尔国家生物医学交流中心);National Heart, Lung, and Blood Institute(国家心肺血液研究所)
医学图像的准确分割为解剖学上有意义的区域是提取定量指标或生物标志物的关键。用于分割的公共流水线包括感兴趣区域检测阶段和分割阶段,它们彼此独立并且通常使用单独的深度学习网络来执行。分割阶段的性能高度依赖于提取的空间特征集和感受野。在这项工作中,我们提出了一个端到端的网络,称为三边注意力网络(TaNet),用于医学图像的实时的【形】检测和分割。TaNet有一个区域定位模块和三个分割路径:1)手工设计的卷积核的手工路径,2)常规卷积核的细节路径,以及3)扩大感受野的全局路径。前两条路径编码由手工设计和常规内核提取的丰富的手工和低级特征,而全局路径编码高级上下文信息。通过使用不同的特征集联合训练网络进行定位和分割,TaNet在心脏分割的超声心动图数据集上进行评估时,在准确性和速度方面取得了优异的性能。代码和模型将在TaNet Github页面上公开。
2021-06-17 cs.CV
Revisiting Kernel Temporal Segmentation as an Adaptive Tokenizer for Long-form Video Understanding
Meta AI
本文提出基于核时序分割的自适应长视频采样与分词方法,替代均匀采样,在视频分类和时序动作定位任务上取得一致提升并达到最先进性能。
2023-09-20 cs.CV
Joint Learning of Motion Estimation and Segmentation for Cardiac MR Image Sequences
Imperial College London(帝国理工学院);Queen Mary University of London(伦敦玛丽女王大学);University of Oxford(牛津大学)
心脏运动估计和分割在定量评价心脏功能和心血管疾病诊断中具有重要作用。在本文中,我们提出了一种新的深度学习方法,用于心脏MR图像序列的运动和分割的联合估计。所提出的网络由两个分支组成:心脏运动估计分支,它是建立在一个新的无监督暹罗风格的递归空间Transformer网络,和心脏分割分支,是基于一个完全卷积网络。特别地,通过同时优化分割分支和运动估计分支来学习联合多尺度特征编码器。这通过利用在运动估计分支中从大量未注释的数据中无监督地学习的特征来实现弱监督分割。使用来自220名受试者的心脏MRI图像的实验结果表明,这两个任务的联合学习是互补的,所提出的模型在准确性和速度方面明显优于竞争方法。
2018-06-11 cs.CV
Doubly Deformable Aggregation of Covariance Matrices for Few-shot Segmentation
Technical University of Munich(慕尼黑工业大学);University of Melbourne(墨尔本大学);German Aerospace Center(德国航空航天中心)
用少量标注样本训练语义分割模型在各种实际应用中具有巨大的潜力。对于Few-Shot分割任务,主要的挑战是如何在有限的训练数据的情况下准确地测量支持样本和查询样本之间的语义对应。为了解决这个问题,我们建议聚合可学习的协方差矩阵与可变形的4D Transformer,以有效地预测分割图。具体来说,在这项工作中,我们首先设计了一种新的硬示例挖掘机制来学习高斯过程的协方差内核。与现有的基于余弦相似性的方法相比,学习的协方差核函数在对应性测量方面具有很大的优势。基于学习的协方差核,一个有效的双变形4D Transformer模块的设计,自适应聚合特征相似性映射到分割结果。通过结合这两种设计,所提出的方法不仅可以在公共基准上设置新的最先进的性能,而且比现有的方法收敛得更快。在三个公开数据集上的实验证明了该方法的有效性。
2022-07-30 cs.CV
Adversarial Learning with Multiscale Features and Kernel Factorization for Retinal Blood Vessel Segmentation
Bioinformatics Institute(生物信息学研究所);Universitat Rovira i Virgili(罗维拉-威尔吉利大学)
本文提出了一种基于多尺度特征对抗学习和核因子分解的眼底血管分割方法。在对抗框架的生成器网络中,采用空间金字塔池化、核因子分解和挤压激励块来增强空间域中不同尺度上的特征表示,同时降低计算复杂度。反过来,对抗性框架的神经网络是通过将卷积层与额外的挤压激励块相结合来制定的,以区分生成的分割掩码与其各自的地面真相。在将图像输入网络之前,我们通过边缘锐化和高斯正则化对图像进行预处理,以达到血管分割的最佳解决方案。使用形态学操作对训练模型的输出进行后处理,以去除噪声的小斑点。所提出的方法在定性和定量上优于使用DRIVE和STARE数据集的最先进的血管分割方法。
2019-07-05 cs.CV eess.IV
See More Than Once -- Kernel-Sharing Atrous Convolution for Semantic Segmentation
University of Technology Sydney(悉尼科技大学);East China Normal University(华东师范大学)
最先进的语义分割解决方案通常通过多个并行分支利用不同的感受野来处理具有不同大小的对象。然而,采用单独的内核为各个分支降低了网络的泛化和表示能力,参数的数量线性增加的分支的数量。为了解决这个问题,我们提出了一种新的网络结构,即核共享Atrous卷积(KSAC),其中不同感受野的分支共享相同的核,即,让单个内核多次看到具有不同感受野的输入特征图,以促进分支之间的通信并在网络内部执行特征增强。在PASCAL VOC 2012数据集上进行的实验表明,该共享策略不仅可以提高网络的泛化能力和表示能力,而且可以显著降低模型的复杂度。具体而言,在验证集上,与配备MobileNetv 2主干的DeepLabV 3+相比,参数减少了33%,mIOU提高了0.6%。当使用Xception作为主干时,mIOU从83.34%提高到85.96%,节省了约10 M的参数。此外,与广泛使用的ASPP结构不同,我们提出的KSAC能够进一步提高mIOU,利用更广泛的上下文,更大的atrous率。最后,我们的KSAC在PASCAL VOC 2012测试集和ADE 20 K数据集上分别实现了88.1%和45.47%的mIOU。我们的完整代码将在Github上发布。
2019-11-16 cs.CV
Video K-Net: A Simple, Strong, and Unified Baseline for Video Segmentation
Peking University(北京大学);Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学);Shanghai AI Lab(上海人工智能实验室)
本文介绍了视频K-Net,一个简单,强大,统一的框架,完全端到端的视频全景分割。该方法建立在K-Net之上,K-Net是一种通过一组可学习的内核统一图像分割的方法。我们观察到,这些来自K-Net的可学习内核(对对象外观和上下文进行编码)可以自然地将视频帧中的相同实例关联起来。受到这一观察的启发,视频K-Net学会了通过简单的基于内核的外观建模和跨时间内核交互来同时分割和跟踪视频中的“事物”和“东西”。尽管简单,它实现了国家的最先进的视频全景分割的结果城市景观VPS,KITTI-STEP和VIPSeg没有花里胡哨。特别是在KITTI-STEP上,该方法比以往的方法提高了近12%的相对性能。在VIPSeg上,视频K-Net提高了近15%的相对改进,并导致39.8%的VPQ。我们还验证了它的泛化视频语义分割,我们提高了2%的VSPW数据集上的各种基线。此外,我们将K-Net扩展到剪辑级视频框架中进行视频实例分割,其中我们在YouTube-2019验证集上获得了ResNet 50骨干的40.5% mAP和Swin-base的54.1% mAP。我们希望这种简单而有效的方法可以作为统一的视频分割设计的一个新的,灵活的基线。代码和模型都在https://github.com/lxtGH/Video-K-Net上发布。
2022-10-19 cs.CV
Three Ways to Improve Semantic Segmentation with Self-Supervised Depth Estimation
ETH Zurich(苏黎世联邦理工学院);University of Bonn(波恩大学);KU Leuven(鲁汶大学)
训练用于语义分割的深度网络需要大量标记的训练数据,这在实践中提出了一个重大挑战,因为标记分割掩码是一个高度劳动密集型的过程。为了解决这个问题,我们提出了一个框架,半监督语义分割,这是增强了自监督单目深度估计从未标记的图像序列。特别是,我们提出三个关键贡献:(1)我们将知识从自监督深度估计期间学习的特征转移到语义分割,(2)我们通过使用场景的几何形状混合图像和标签来实现强数据增强,以及(3)我们利用深度特征多样性以及学生学习深度的难度水平-教师框架来选择最有用的样本进行语义分割的注释。我们在Cityscapes数据集上验证了所提出的模型,其中所有三个模块都表现出显着的性能增益,并且我们实现了半监督语义分割的最新结果。该实现可在www.example.com上获得。
2021-04-05 cs.CV
MonoDVPS: A Self-Supervised Monocular Depth Estimation Approach to Depth-aware Video Panoptic Segmentation
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
深度感知视频全景分割解决了从视频序列恢复全景3D点云的逆投影问题,其中3D点用语义类和时间一致的实例标识符来增强。我们提出了一种新的解决方案,多任务网络,执行单目深度估计和视频全景分割。由于获取用于深度和图像分割的地面真实标签具有相对较大的成本,因此我们利用具有自监督单目深度估计的未标记视频序列的能力和来自用于视频全景分割的伪标签的半监督学习。为了进一步提高深度预测,我们引入了全景引导的深度损失和一种新的用于移动对象的全景掩蔽方案,以避免破坏训练信号。在Cityscapes-DVPS和SemKITTI-DVPS数据集上的大量实验表明,我们的模型与提出的改进实现了有竞争力的结果和快速的推理速度。
2022-10-14 cs.CV
OneFormer3D: One Transformer for Unified Point Cloud Segmentation
Samsung Research(三星研究院)
本文提出统一模型OneFormer3D,通过基于transformer的解码器与可学习核联合处理3D点云的语义、实例和全景分割,在多个数据集上取得最先进性能。
2023-11-24 cs.CV
ESKNet-An enhanced adaptive selection kernel convolution for breast tumors segmentation
Nankai University(南开大学);Tianjin Medical University(天津医科大学);PLA General Hospital(解放军总医院);Civil Aviation General Hospital(民航总医院)
针对乳腺超声肿瘤形状尺寸多变导致分割困难的问题,提出融合多区域表示并进行通道与空间自适应重校准的增强选择核卷积,嵌入深度监督 U-net,在三个公开数据集上优于12种现有方法。
2024-01-20 cs.CV eess.IV
Inconsistency-aware Uncertainty Estimation for Semi-supervised Medical Image Segmentation
Nanjing University(南京大学);Tsinghua University(清华大学);Tencent Jarvis Lab(腾讯Jarvis实验室);Shandong Women’s University(山东女子学院);Southeast University(东南大学)
在半监督医学图像分割中,大多数以前的工作都基于一个共同的假设,即较高的熵意味着较高的不确定性。在本文中,我们研究了一种新的方法来估计不确定性。我们观察到,当在一定程度上分配不同的误分类成本时,如果像素的分割结果变得不一致,则该像素在其分割中表现出相对的不确定性。因此,我们提出了一种新的半监督分割模型,即基于我们的不确定性估计和单独的自训练策略的保守-激进网络(CoraNet)。特别是,我们的CoraNet模型由三个主要组件组成:保守-激进模块(CRM),特定区域分割网络(C-SN)和不确定区域分割网络(UC-SN),它们可以以端到端的方式进行交替训练。我们已经广泛评估了我们的方法在各种分割任务与公开可用的基准数据集,包括CT胰腺,MR内镜,和MR多结构分割的ACDC数据集。与目前的技术水平相比,我们的CoraNet表现出了卓越的性能。此外,我们还分析了它与传统的半监督医学图像分割中的不确定性估计方法的联系和区别。
2021-10-17 cs.CV
Prototypical Kernel Learning and Open-set Foreground Perception for Generalized Few-shot Semantic Segmentation
Alibaba Group(阿里巴巴集团)
针对GFSS中表示分裂与嵌入偏见问题,提出联合原型核学习和开集前景感知的分割框架,并扩展至CIFSS,在PASCAL-5i与COCO-20i上超越现有最先进方法。
2023-08-19 cs.AI cs.CV
LKCell: Efficient Cell Nuclei Instance Segmentation with Large Convolution Kernels
Huazhong University of Science and Technology(华中科技大学);Huanggang Central Hospital(黄冈市中心医院)
为解决细胞核分割中感受野与计算负担的平衡问题,提出 LKCell 方法,利用大卷积核实现高效大感受野,在仅用 21.6% FLOPs 的情况下达到 0.5080 mPQ 的最先进性能。
2024-07-25 cs.CV eess.IV
Beyond Self-Attention: Deformable Large Kernel Attention for Medical Image Segmentation
RWTH Aachen University(亚琛工业大学);Iran University of Science and Technology(伊朗科技大学);Shahid Beheshti University(沙希德·贝赫什提大学);Northwestern University(西北大学);University of Regensburg(雷根斯堡大学);Fraunhofer Institute for Digital Medicine MEVIS(弗劳恩霍夫数字医学研究所MEVIS)
提出可变形大核注意力(D-LKA)机制,构建分层视觉变压器架构D-LKA Net,在医学图像分割中超越现有方法,兼顾体积上下文与计算效率。
2023-08-31 cs.CV
Combining local regularity estimation and total variation optimization for scale-free texture segmentation
Univ Lyon(里昂大学);Ens de Lyon(里昂高等师范学院);Univ Lyon 1(里昂第一大学);CNRS(法国国家科学研究中心);IRIT(图卢兹计算机研究所);INP-ENSEEIHT(国立图卢兹应用科学学院-高等电力、电子、计算机、水力与电信学院);University of Toulouse(图卢兹大学)
纹理分割是一项标准的图像处理任务,对许多应用至关重要。目前的贡献集中在无尺度纹理的特定子集,其独创性在于三个关键成分的组合:第一,纹理表征依赖于局部规律性的概念;第二,局部规律性的估计是基于新的多尺度量,称为小波领导;第三,从局部规律性分割面临一个基本的偏差方差权衡:在自然界中,局部规律性估计显示出损害变化的检测的高可变性,而规律性估计的后验平滑排除了正确定位变化。相反,目前的贡献提出了几个变分问题的配方的基础上,总的变化和近端的决议,有效地规避这种权衡。估计和分割性能的建议程序进行量化和比较合成以及现实世界的纹理。
2016-06-24 cs.CV
Fully Convolutional Networks for Panoptic Segmentation
The Chinese University of Hong Kong(香港中文大学);University of Oxford(牛津大学);The University of Hong Kong(香港大学);MEGVII Technology(旷视科技);SmartMore
在本文中,我们提出了一个概念上简单,强大,有效的框架全景分割,称为Panoptic FCN。我们的方法旨在在一个统一的全卷积管道中表示和预测前景事物和背景事物。特别是,Panoptic FCN将每个对象实例或填充类别编码为特定的内核权重,并通过直接卷积高分辨率特征来产生预测。通过这种方法,可以在一个简单的生成内核然后分段的工作流中分别满足事物和材料的实例感知和语义一致的属性。在没有额外的本地化或实例分离框的情况下,所提出的方法在具有单尺度输入的COCO、Cityscapes和Mapillary Vistas数据集上具有高效率,优于以前的基于框和无框模型。我们的代码可在https://github.com/Jia-Research-Lab/PanopticFCN上公开获取。
2021-04-03 cs.CV
Fast Piecewise-Affine Motion Estimation Without Segmentation
Center for Biomedical Imaging (CIBM-SP), EPFL(洛桑联邦理工学院生物医学成像中心(CIBM-SP));Universität Heidelberg(海德堡大学);Helmholtz Zentrum München(慕尼黑亥姆霍兹中心);Hochschule Darmstadt(达姆施塔特应用技术大学)
当前用于分段仿射运动估计的算法方法基于交替的运动分割和估计。我们提出了一种新的方法来估计分段仿射运动场直接没有中间分割。为此,我们重新制定的问题,通过施加分段常数的参数字段,并推导出一个特定的邻近分裂优化方案。我们的框架的一个关键组成部分是一个有效的一维分段仿射估计向量值信号。与基于分割的方法相比,我们的方法的第一个优点是它没有初始化。第二个优点是其较低的计算成本,这是独立的运动场的复杂性。除了这些功能,我们表现出竞争力的准确性与其他分段参数方法的标准评估基准。我们的新正则化方案也优于更标准的全变分和全广义变分。
2018-02-06 cs.CV
Joint Semantic Segmentation and Depth Estimation with Deep Convolutional Networks
George Mason University(乔治梅森大学);University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
多尺度深度CNN已成功用于将每个像素映射到标签的问题,例如深度估计和语义分割。它还表明,这种架构是可重用的,可以用于多个任务。这些网络通常通过改变输出层和训练目标来为每个任务独立训练。在这项工作中,我们提出了一个新的模型,同时深度估计和语义分割从一个单一的RGB图像。我们的方法证明了为每个任务训练模型的一部分,然后使用单个损失函数同时对两个任务的完整组合模型进行微调的可行性。此外,我们将深度CNN与完全连接的CRF耦合,其捕获语义和深度线索之间的上下文关系和交互,从而提高最终结果的准确性。所提出的模型在NYUDepth V2数据集上进行训练和评估,在语义分割方面优于最先进的方法,并在深度估计任务上取得了可比的结果。
2016-09-19 cs.CV
EAVL: Explicitly Align Vision and Language for Referring Image Segmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Science(中国科学院大学人工智能学院)
本文提出EAVL方法,通过引入Vision-Language Aligner在分割阶段使用动态卷积核显式对齐视觉与语言特征,在多个数据集上大幅超越现有方法,并可作为通用即插即用模块提升其他RIS模型性能。
2024-10-12 cs.CV
D-Net: Dynamic Large Kernel with Dynamic Feature Fusion for Volumetric Medical Image Segmentation
Mallinckrodt Institute of Radiology(马林克罗特放射学研究所)
本文提出D-Net,通过动态大核与动态特征融合模块增强层次化Transformer,自适应捕捉多尺度特征并利用全局上下文,在腹部多器官和脑肿瘤分割中超越现有方法。
2024-10-17 cs.CV eess.IV
Few-Shot Medical Image Segmentation with Large Kernel Attention
College of Computer Science and Technology, Huaqiao University(华侨大学计算机科学与技术学院)
本文提出一种基于大核注意力的少样本医学图像分割模型,通过双路径特征提取器、注意力模块、自适应原型预测和多尺度融合预测四个模块,同时捕获局部与长距离特征,在CHAOS和CMR数据集上实现了当前最优性能。
2024-07-27 cs.CV
False Negative Reduction in Semantic Segmentation under Domain Shift using Depth Estimation
Ruhr University Bochum(博尔塔伦大学波恩姆大学);University of Wuppertal(乌珀塔尔大学);EPFL(瑞士联邦理工学院)
通过单目深度估计减少域移时语义分割中的假阴性,提升分割精度和泛化能力。
2022-12-07 cs.CV
The Edge of Depth: Explicit Constraints between Segmentation and Depth
Michigan State University(密歇根州立大学)
在这项工作中,我们研究了两个常见的计算机视觉任务,自我监督的深度估计和图像的语义分割的相互利益。例如,为了帮助无监督的单目深度估计,已经隐式地探索了来自语义分割的约束,诸如共享和变换特征。相比之下,我们建议显式地测量分割和深度之间的边界一致性,并通过迭代地监督网络朝向局部最优解来以贪婪的方式将其最小化。部分原因是我们观察到,即使用有限的地面实况(200张KITTI图像)训练的语义分割也可以提供比任何(单眼或立体)基于图像的深度估计更准确的边界。通过大量的实验,我们提出的方法先进的无监督单目深度估计在KITTI的艺术状态。
2020-04-01 cs.CV
Penalty Constraints and Kernelization of M-Estimation Based Fuzzy C-Means
Beihang University(北京航空航天大学);Tsinghua University(清华大学)
提出了一种基于M估计的模糊C均值聚类(MFCM)算法框架,并结合迭代加权最小二乘(IRLS)算法,对MFCM算法进行了惩罚约束和核化扩展。通过在多目标聚类算法的目标函数中引入惩罚信息,将空间约束模糊C-均值(SFCM)算法推广到惩罚约束多目标聚类算法(简称MFCM)。用核方法代替欧氏距离,将MFCM和pMFCM算法推广到核化MFCM(kernelizedMFCM,简称KMF)。KMFCM)和核化pMFCM(abbr.pKMFCM)算法。MFCM,pMFCM,KMFCM和pKMFCM算法的性能进行了评估,在三个任务:模式识别的10个标准数据集从UCI机器学习数据库,噪声图像分割性能的合成图像,磁共振脑图像(MRI),和图像分割的标准图像从伯克利分割数据集和基准。实验结果表明,我们提出的算法在模式识别和图像分割的有效性。
2013-01-19 cs.CV stat.CO
Efficient Kernel based Matched Filter Approach for Segmentation of Retinal Blood Vessels
MMM University of Technology(MMM理工大学);National Institute of Technology, Hamirpur(哈米尔布尔国家理工学院)
视网膜血管结构包含有关肥胖、糖尿病、高血压和青光眼等疾病的信息。这些信息对识别和治疗这些致命疾病非常有用。为了获得这些信息,需要分割这些视网膜血管。许多基于核函数的方法已经被用于视网膜血管的分割,但是它们的核函数不适合血管轮廓,导致分割效果不佳。为了克服这一点,一种新的和有效的基于核的匹配滤波器的方法已被提出。新的匹配滤波器用于生成匹配滤波器响应(MFR)图像。我们应用大津阈值法对获得的MFR图像提取血管。我们已经进行了大量的实验,以选择最佳的建议匹配滤波器内核的参数值。所提出的方法进行了检查和验证两个在线可用的DRIVE和STARE数据集。该方法对DRIVE和STARE数据集的特异性分别为98.50%、98.23%,准确性分别为95.77%、95.13%。实验结果表明,该方法具有较好的性能。提高性能的原因是由于适当的建议内核,更准确地匹配视网膜血管轮廓。
2020-12-07 cs.CV eess.IV
CBNet: A Plug-and-Play Network for Segmentation-Based Scene Text Detection
针对基于分割的场景文本检测中像素独立分割及扩展难以平衡精度与速度的问题,提出即插即用的CBNet,通过上下文感知模块增强文本核特征并用边界引导模块自适应扩展轮廓像素,在多个基准上取得SOTA结果。
2024-03-22 cs.CV
Driving Scene Perception Network: Real-time Joint Detection, Depth Estimation and Semantic Segmentation
Harman International(哈曼国际);University of Virginia(弗吉尼亚大学)
随着近年来对实现高水平自动驾驶的需求不断增加,视觉感知是实现完全自动驾驶的关键特征之一,在本文中,我们介绍了一种使用共享卷积架构同时进行目标检测,深度估计和像素级语义分割的有效方法。提出的网络模型,我们命名为驾驶场景感知网络(DSPNet),使用多级特征映射和多任务学习,以提高目标检测,深度估计和图像分割任务的准确性和效率从一个单一的输入图像。因此,最终的网络模型使用不到850 MiB的GPU内存,并在NVIDIA GeForce GTX 1080上实现14.0 fps的1024x512输入图像,并且精度和效率都比单个任务的组合有所提高。
2018-03-10 cs.CV
3D Segmentation with Fully Trainable Gabor Kernels and Pearson's Correlation Coefficient
IBM Research – Almaden Research Center(IBM研究院–阿尔马登研究中心)
卷积层和损失函数是深度学习的两个基本组成部分。由于传统深度学习内核的成功,通用性较低的Gabor内核变得不那么受欢迎,尽管它们可以以更少的参数在不同的频率,方向和尺度上提供丰富的特征。对于现有的多类图像分割的损失函数,通常存在准确性,对超参数的鲁棒性和用于组合不同损失的手动权重选择之间的权衡。因此,为了获得使用Gabor内核的好处,同时保持深度学习中自动特征生成的优势,我们提出了一个完全可训练的基于Gabor的卷积层,其中所有Gabor参数都可以通过反向传播进行训练。此外,我们提出了一种基于皮尔逊相关系数的损失函数,该函数准确,对学习率具有鲁棒性,并且不需要手动选择权重。对43幅具有19个解剖结构的3D脑磁共振图像的实验表明,使用所提出的损失函数与传统的和基于Gabor的核的适当组合,我们可以训练一个只有160万个参数的网络,以实现83%的平均Dice系数。这个尺寸比原始的V-Net小44倍,它有7100万个参数。本文展示了在深度学习中使用可学习的参数内核进行3D分割的潜力。
2022-12-15 cs.CV eess.IV
Hybridnet for depth estimation and semantic segmentation
本文提出HybridNet混合卷积网络,从单一图像同时进行深度估计和语义分割,通过分离任务特有与共享特征改进特征提取,性能与现有方法及单任务方法相当。
2024-02-09 cs.CV
Pick the Best Pre-trained Model: Towards Transferability Estimation for Medical Image Segmentation
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Lab(上海人工智能实验室)
针对医学图像分割中源模型可迁移性难以高效评估的问题,提出结合类别一致性与特征多样性的无源可迁移性估计框架,性能超越现有同类算法。
2023-07-22 cs.CV
Integrated In-vehicle Monitoring System Using 3D Human Pose Estimation and Seat Belt Segmentation
Sogang University(西江大学);Hyundai Mobis(现代摩比斯)
最近,随着人们对自动驾驶汽车的兴趣,汽车内驾驶员和乘客的监控系统的重要性也在增加。本文提出了一种新的车载监测系统,结合三维姿态估计,安全带分割,安全带状态分类网络。我们的系统通过准确地考虑车载环境的数据特性来输出监控所需的各种信息。具体而言,所提出的3D姿态估计直接估计驾驶员和乘客的关键点的绝对坐标,并且所提出的安全带分割通过应用基于特征金字塔的结构来实现。此外,我们提出了一个分类任务,以区分正常和异常状态的佩戴安全带使用的结果,结合3D姿态估计与安全带分割。这些任务可以同时学习并实时操作。我们的方法在我们新创建并注释的私有数据集上进行了评估。实验结果表明,我们的方法具有显着的高性能,可以直接应用到真正的车载监控系统。
2023-03-02 cs.CV
Enhancing Polyp Segmentation via Encoder Attention and Dynamic Kernel Update
Faculty of New Sciences and Technologies, University of Tehran, Tehran, Iran(新科学与技术学院,德黑兰大学,德黑兰,伊朗);Department of Electrical Engineering, Urmia University, Urmia, Iran(电气工程系,乌尔米耶大学,乌尔米耶,伊朗)
针对息肉形状多样、边界低对比导致的分割难题,提出融合编码器注意力、动态核更新与UCA统一解码的框架,在KvasirSEG和CVC ClinicDB上以更低计算成本取得更优Dice与IoU。
2025-09-27 cs.AI cs.CV
MRI brain tumor segmentation using informative feature vectors and kernel dictionary learning
University of Zanjan(赞詹大学)
本文提出基于核字典学习的MRI脑肿瘤分割方法,提取统计特征并选择信息子集训练字典,用线性分类器分割,在准确性、时间和内存上优于现有方法。
2023-10-17 cs.CV stat.ML
Multitask Network for Joint Object Detection, Semantic Segmentation and Human Pose Estimation in Vehicle Occupancy Monitoring
Mannheim University of Applied Sciences(曼海姆应用科学大学)
为了确保安全的自动驾驶,必须提供有关车辆内部和周围条件的精确信息。因此,对车内乘员和物体的监控至关重要。在现有技术中,单个或多个深度神经网络用于对象识别、语义分割或人体姿态估计。相比之下,我们提出了我们的多任务检测,分割和姿态估计网络(MDSP)-第一个多任务网络解决所有这三个任务联合在占用监测领域。由于共享架构,可以节省内存和计算成本,同时实现更高的准确性。此外,我们的架构允许在简单的端到端培训期间灵活组合上述三项任务。我们对公共数据集SVIRO和TiCaM进行了全面的评估,以证明其优越的性能。
2022-05-03 cs.CV
Large Kernel MedNeXt for Breast Tumor Segmentation and Self-Normalizing Network for pCR Classification in Magnetic Resonance Images
Department of Computer Engineering, Kwame Nkrumah University of Science and Technology(计算机工程系,库马西大学科学与技术学院);Infectious Disease Group, Kumasi Centre for Collaborative Research in Tropical Medicine(传染病研究组,库马西热带医学协作研究中心)
本研究利用大核MedNeXt和自归一化网络,在DCE-MRI上实现乳腺肿瘤分割与pCR分类,分别取得Dice 0.67和平衡准确率57%,验证了扩大感受野与放射组学特征的有效性。
2025-08-03 cs.CV eess.IV
Unsupervised Pre-training with Language-Vision Prompts for Low-Data Instance Segmentation
Northwestern Polytechnical University(西北工业大学);Inception Institute of Artificial Intelligence(Inception人工智能研究院);Hefei University of Technology(合肥工业大学);Baidu Inc.(百度公司)
针对低数据实例分割,提出UPLVP方法,利用语言-视觉提示无监督预训练,通过掩码提议、提示-内核匹配和内核监督提升QEIS模型性能,在多个数据集上验证有效。
2024-05-22 cs.CV
ISDA: Position-Aware Instance Segmentation with Deformable Attention
College of Computer Science and Technology, Zhejiang University of Technology(浙江工业大学计算机科学与技术学院)
大多数实例分割模型都不是端到端可训练的,这是由于将建议估计(RPN)作为预处理或将非最大值抑制(NMS)作为后处理。在这里,我们提出了一种新的端到端的实例分割方法称为ISDA。它将任务重塑为预测一组对象掩码,这些对象掩码是通过传统的卷积运算与学习的位置感知内核和对象特征生成的。这些内核和特征是通过利用具有多尺度表示的可变形注意力网络来学习的。由于引入了集合预测机制,所提出的方法是无NMS的。从经验上看,ISDA在MS-COCO上的表现比Mask R-CNN(强基线)高出2.6个点,与最近的模型相比,ISDA的表现领先。代码将很快可用。
2022-02-23 cs.CV
Kernel Clustering with Sigmoid-based Regularization for Efficient Segmentation of Sequential Data
Hanoi University of Science and Technology(河内理工大学);The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学(SOKENDAI));National Institute of Informatics(国立信息学研究所)
核分割的目的是将一个数据序列分割成几个不重叠的部分,这些部分可能具有非线性和复杂的结构。在一般情况下,它被制定为一个离散的组合约束优化问题。一个流行的算法,最佳地解决这个问题是动态规划(DP),它有二次计算和内存的要求。考虑到实际中的序列太长,该算法不是一种实用的方法。虽然已经提出了许多启发式算法来近似最优分割,但它们不能保证其解的质量。在本文中,我们采取了一种差异化的方法来缓解上述问题。首先,我们引入了一种新的sigmoid为基础的正则化平滑近似的组合约束。结合它与目标的平衡核聚类,我们制定了一个可微的模型,称为核聚类与sigmoid-based正则化(KCSR),其中基于梯度的算法可以被利用来获得最佳分割。其次,我们开发了一个随机变量的模型。第二种模型采用时间复杂度和空间复杂度都较低的随机梯度下降算法进行优化,可以对超长数据序列进行分割。最后,为了同时分割多个数据序列,我们稍微修改了基于sigmoid的正则化,以进一步引入所提出的模型的扩展变体。通过对不同类型数据序列的大量实验,我们的模型的性能进行了评估,并与现有的方法进行了比较。实验结果验证了所提模型的优越性。我们的Matlab源代码可以在github上找到。
2022-06-22 cs.CV cs.LG
Amodal Instance Segmentation with Diffusion Shape Prior Estimation
University of Arkansas(阿肯色大学);Coupang, Inc.(Coupang公司)
针对非模态实例分割现有方法易过拟合、忽略类别细节的问题,提出含扩散形状先验估计模块的AISDiff模型,结合预训练条件扩散模型与形状先验非模态预测器优化分割,在多个基准上验证了有效性。
2024-10-04 cs.CV