F3-Net: Foundation Model for Full Abnormality Segmentation of Medical Images with Flexible Input Modality Requirement
F3-Net是一个医学图像分割基础模型,通过零图像策略处理缺失模态,无需重新训练即可实现多病理分割,在多个数据集上表现优异,优于需微调的CNN和transformer模型。
2025-07-11 cs.CV
Decoders Matter for Semantic Segmentation: Data-Dependent Decoding Enables Flexible Feature Aggregation
The University of Adelaide(阿德莱德大学);Noah’s Ark Lab, Huawei Technologies(华为技术诺亚方舟实验室)
最近的语义分割方法利用编码器-解码器架构来产生期望的逐像素分割预测。解码器的最后一层通常是双线性上采样过程,以恢复最终的逐像素预测。我们的经验表明,这种过于简单和数据独立的双线性上采样可能会导致次优的结果。在这项工作中,我们提出了一种数据相关的上采样(DUpsampling)来取代双线性,它利用了语义分割的标签空间中的冗余,并且能够从CNN的低分辨率输出中恢复像素预测。新的上采样层的主要优点在于,使用相对较低分辨率的特征图,例如输入大小的$\frac{1}{16}$或$\frac{1}{32}$,我们可以实现更好的分割精度,显著降低计算复杂度。这是通过以下方式实现的:1)新的上采样层的大大改进的重构能力;以及更重要的2)基于D上采样的解码器在利用CNN编码器的特征的几乎任意组合方面的灵活性。实验表明,我们提出的解码器优于国家的最先进的解码器,只有$\sim$ 20\%的计算。最后,在没有任何后处理的情况下,配备了我们提出的解码器的框架在两个数据集上实现了新的最先进的性能:PASCAL VOC上的88.1 mIOU,其中30%的计算是以前最好的模型; PASCAL Context上的52.5 mIOU。
2019-04-05 cs.CV
Tube-Link: A Flexible Cross Tube Framework for Universal Video Segmentation
Nanyang Technological University(南洋理工大学);Shanghai AI Lab(上海人工智能实验室);University of Liverpool(利物浦大学);SenseTime Research(商汤科技研究院)
针对视频分割多任务统一处理问题,提出Tube-Link近在线框架,通过沿查询注意力的管级链接、时序对比学习实现跨管关系建模,在五个视频分割数据集上取得显著性能提升。
2023-08-21 cs.CV
Fast and Flexible Robustness Certificates for Semantic Segmentation
Institut de Recherche en Informatique de Toulouse(图卢兹计算机科学研究所);IRT Saint-Exupery(圣埃克苏佩里技术研究院);SNCF, DTIPG(法国国家铁路公司DTIPG)
本文提出了一种快速且灵活的可认证鲁棒语义分割网络,通过内置的Lipschitz约束实现高效训练和实时兼容的鲁棒性认证。
2025-12-03 cs.CV
CaRe-Ego: Contact-aware Relationship Modeling for Egocentric Interactive Hand-object Segmentation
Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University(电气与电子工程系,香港理工大学)
CaRe-Ego通过手引导物体特征增强器和以接触为中心的物体解耦策略,显式建模手物接触关系并解耦物体类别耦合,在域内外测试中显著提升自我中心手物分割性能。
2025-05-05 cs.CV
FlexiCrackNet: A Flexible Pipeline for Enhanced Crack Segmentation with General Features Transfered from SAM
School of Electronic and Electronics Engineering, Shanghai University of Engineering Science(上海工程技术大学电子与电气工程学院);Leiden University(莱顿大学);School of Information Technology, Murdoch University(默多克大学信息技术学院);University of Washington(华盛顿大学);Leiden Institute of Advanced Computer Science, Leiden University(莱顿大学高级计算机科学研究所)
针对现有裂缝分割模型适应性和可扩展性不足的问题,提出FlexiCrackNet,集成传统深度学习与大规模预训练模型优势,通过IGAM融合通用与任务特征,提升分割性能、零样本泛化及资源受限环境适应性。
2025-02-11 cs.CV
PyTorch Connectomics: A Scalable and Flexible Segmentation Framework for EM Connectomics
Harvard University(哈佛大学);Boston College(波士顿学院)
我们介绍了PyTorch Connectomics(PyTC),这是一个基于PyTorch的开源深度学习框架,用于体积显微图像的语义和实例分割。我们证明了PyTC在连接组学领域的有效性,该领域旨在以纳米分辨率分割和重建神经元,突触和其他细胞器,如线粒体,以了解动物大脑中的神经元通信,代谢和发育。PyTC是一个可扩展且灵活的工具箱,可以处理不同规模的数据集,并支持多任务和半监督学习,以便在训练过程中更好地利用昂贵的专家注释和大量未标记的数据。这些功能可以在PyTC中轻松实现,只需更改配置选项,无需编码,并适应不同组织和成像模式的其他2D和3D分割任务。定量地,我们的框架在CREMI挑战中实现了突触间隙分割的最佳性能(相对于6.1 $\%$优于现有的最佳结果)和线粒体和神经元核分割的竞争性能。代码和教程可在https://connectomics.readthedocs.io上公开获取。
2021-12-10 cs.CV eess.IV q-bio.QM
Non-parametric Contextual Relationship Learning for Semantic Video Object Segmentation
Nokia Technologies(诺基亚技术公司);Tampere University of Technology(坦佩雷理工大学)
该研究提出一种基于图的非参数上下文关系学习方法,建模视频语义时空上下文并整合进CRF实现区域语义标注,在YouTube-Objects数据集上性能超越现有最优方法。
2024-07-08 cs.CV
Flexible Mesh Segmentation via Reeb Graph Representation of Geometrical and Topological Features
University of Burgundy(勃艮第大学)
提出一种基于Reeb图表示整合几何与拓扑特征的网格分割方法,通过拓扑简化与自适应区域生长实现高效分割,复杂度O(n log n),在部件分解和地形分析中验证有效性。
2025-01-20 cs.CV cs.GR
Flexible visual prompts for in-context learning in computer vision
V7 Labs(V7实验室)
本文将现代VOS技术适配到图像分割ICL,并提出支持集选择方法,在多种数据集和支持集规模下持续优于现有技术,尤其提升未知类别泛化能力。
2023-12-11 cs.CV
Class Enhancement Losses with Pseudo Labels for Zero-shot Semantic Segmentation
Monash University(莫纳什大学)
最近的掩码建议模型已经显著提高了zero-shot语义分割的性能。然而,在这些方法中,在训练期间使用“背景”嵌入是有问题的,因为所得到的模型往往会过度学习并将所有看不见的类分配为背景类,而不是它们的正确标签。此外,他们忽略了文本嵌入的语义关系,这可以说是高度信息化的zero-shot预测,因为看到的类可能与看不见的类有密切的关系。为此,本文提出了新的类增强损失,以绕过在训练过程中使用的背景嵌入,并同时利用文本嵌入和掩码建议之间的语义关系,通过排名的相似性得分。为了进一步捕捉可见类和不可见类之间的关系,我们提出了一个有效的伪标签生成管道,使用预训练的视觉语言模型。在多个基准数据集上的大量实验表明,我们的方法在zero-shot语义分割方面取得了最好的性能。我们的方法是灵活的,也可以应用到具有挑战性的开放词汇语义分割问题。
2023-01-18 cs.CV
IDPro: Flexible Interactive Video Object Segmentation by ID-queried Concurrent Propagation
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Harvard University(哈佛大学)
本文提出IDPro框架,通过多帧同时交互、跨帧协同交互模块和ID查询机制,实现灵活高效的交互式视频目标分割,在DAVIS 2017上取得最优性能且速度显著提升。
2025-02-07 cs.CV
ScribblePrompt: Fast and Flexible Interactive Segmentation for Any Biomedical Image
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Martinos Center, Massachusetts General Hospital(麻省总医院马蒂诺斯中心);Harvard Medical School(哈佛医学院)
本文提出ScribblePrompt,一种基于神经网络的交互式分割工具,利用涂鸦、点击和边界框实现任意生物医学图像的快速灵活分割,在用户研究中标注时间减少28%、Dice提高15%,并公开代码与数据集。
2024-07-16 cs.CV eess.IV
Domain Adaptive Relational Reasoning for 3D Multi-Organ Segmentation
Johns Hopkins University(约翰斯·霍普金斯大学);Johns Hopkins University School of Medicine(约翰斯·霍普金斯大学医学院)
在本文中,我们提出了一种新的无监督领域自适应(UDA)方法,命名为域自适应关系推理(DARR),推广3D多器官分割模型,从不同的扫描仪和/或协议(域)收集的医疗数据。我们的方法受到医学图像中内部结构之间的空间关系相对固定的事实的启发,例如,脾脏总是位于胰腺的尾部,其充当传递跨多个域共享的知识的潜在变量。我们通过解决拼图游戏任务来制定空间关系,即,从其混洗的块恢复CT扫描,并将其与器官分割任务联合训练。为了保证学习到的空间关系到多个域的可移植性,我们还引入了两种方案:1)采用超分辨率网络也与分割模型联合训练,以将来自不同域的医学图像标准化到一定的空间分辨率; 2)通过测试时间拼图训练来适应测试图像的空间关系。实验结果表明,我们的方法在目标数据集上平均提高了29.60%DSC的性能,而在训练过程中没有使用任何来自目标域的数据。
2020-07-11 cs.CV
3D Segmentation Using Viewpoint-Dependent Spatial Relationships
本文提出一个包含22万样本的3D参照分割数据集,通过密集视角采样扩展至数千万样本,研究视角依赖空间关系对3D大模型的影响,提升分割精度并提高mIoU至0.47。
2026-05-15 cs.CV
Temporal Convolutional Networks: A Unified Approach to Action Segmentation
Johns Hopkins University(约翰霍普金斯大学)
基于视频的动作分割的主要范例由两个步骤组成:首先,对于每一帧,使用密集轨迹或局部编码时空信息的卷积神经网络计算低级特征,其次,将这些特征输入到捕获高级时间关系的分类器中,例如递归神经网络(RNN)。虽然通常有效,但这种解耦需要指定两个单独的模型,每个模型都有自己的复杂性,并阻止捕获更细微的长期时空关系。我们提出了一个统一的方法,证明了我们的时间卷积网络(TCN),分层捕获的关系,在低,中,高层次的时间尺度。我们的模型使用三个公共动作分割数据集上的视频或传感器数据实现了卓越或有竞争力的性能,并且可以在训练RNN所需时间的一小部分内进行训练。
2016-08-29 cs.CV
MyoPS-Net: Myocardial Pathology Segmentation with Flexible Combination of Multi-Sequence CMR Images
Fudan University(复旦大学);University of Oxford(牛津大学);Zhongshan Hospital, Fudan University(复旦大学附属中山医院);Shanghai Medical School, Fudan University(复旦大学上海医学院);Shanghai Institute of Medical Imaging(上海医学影像研究所)
心肌病理分割是心肌梗死准确诊断和制定治疗方案的前提。然而,实现这种分割是具有挑战性的,主要是由于来自图像的不充分和模糊的信息。在这项工作中,我们开发了一个端到端的深度神经网络,称为MyoPS-Net,以灵活地组合MyoPS的五序列心脏磁共振(CMR)图像。为了提取准确和足够的信息,我们设计了一个有效而灵活的架构来提取和融合跨模态特征。这种架构可以处理不同数量的CMR图像和复杂的模态组合,输出分支针对特定的病理。为了对分割结果施加解剖学知识,我们首先提出了一个模块来调节心肌的一致性并定位病理,然后引入包容性损失来利用心肌疤痕和水肿之间的关系。我们在两个数据集上评估了所提出的MyoPS-Net,即,一个私人的由50对多序列CMR图像组成,一个公共的来自MICCAI 2020 MyoPS挑战。实验结果表明,MyoPS-Net在各种场景下都能达到最先进的性能。请注意,在实际诊所中,受试者可能没有完整的序列,例如丢失LGE CMR或映射CMR扫描。因此,我们进行了广泛的实验,以研究所提出的方法在处理不同CMR序列的这种复杂组合的性能。结果证明了MyoPS-Net的优越性和推广性,更重要的是,它具有实际的临床应用价值。
2022-11-06 cs.CV eess.IV
Relation3D: Enhancing Relation Modeling for Point Cloud Instance Segmentation
University of Science and Technology of China(中国科学技术大学)
Relation3D通过自适应超点聚合、对比学习引导的超点细化及关系感知自注意力,增强点云实例分割中的内部关系建模,在多个数据集上取得优越性能。
2025-06-22 cs.CV
Contextual Relationship-based Activity Segmentation on an Event Stream in the IoT Environment with Multi-user Activities
Korea Advanced Institute of Science and Technology(韩国科学技术院)
物联网环境中的人类活动识别在环境辅助生活中起着核心作用,其中人类活动可以表示为从各种智能对象生成的级联事件流。从串联的事件流中,每个活动都应该被单独区分,以便进行人类活动识别,从而提供用户可能需要的服务。在这方面,准确地分割整个流在每个活动的精确边界是必不可少的高优先级的任务,以实现活动识别。物联网环境中的多种人类活动会产生不同的事件流模式,这些模式的不可预测性使它们包含冗余或丢失的事件。在处理这个复杂的分割问题时,我们发现动态和混乱的模式会导致主要问题,原因是:包含事件流,冗余事件和共享事件。为了解决这些问题,我们利用了与活动状态相关的上下文关系,无论是正在进行的还是已终止/已开始的。为了发现流中事件之间的内在关系,我们利用LSTM模型进行活动分割。然后,我们的验证算法进行了修改,推断的边界位移位的边界。我们的实验显示了令人惊讶的结果,在我们自己的测试平台上,各种智能对象的准确率高达95%以上。这优于先前的作品,甚至不假设多用户活动的环境,在他们的测试环境中,他们的准确率略高于80%。这证明了我们的工作是可行的,足以应用于物联网环境。
2016-09-20 cs.CV
CASR: Refining Action Segmentation via Marginalizing Frame-levle Causal Relationships
针对帧级因果关系噪声多、难表达宏观动作语义的问题,提出CASR方法,通过边缘化帧级因果关系构建段级因果邻接矩阵以优化TAS结果,还提出CED评估指标,实验显示其在分割性能、因果可解释性与泛化性上均优于现有方法。
2024-01-26 cs.CV cs.MM
Contextrast: Contextual Contrastive Learning for Semantic Segmentation
Korea Advanced Institute of Science and Technology(韩国科学技术院);Kookmin University(国民大学)
针对语义分割中局部/全局上下文及其关联缺失的问题,提出含上下文对比学习与边界感知负样本采样的Contextrast方法,在多数据集上以相同推理成本超越现有对比学习SOTA。
2024-10-08 cs.CV
Learning of Inter-Label Geometric Relationships Using Self-Supervised Learning: Application To Gleason Grade Segmentation
Inception Institute of Artificial Intelligence(人工智能初创研究院)
从Gleason分级的组织病理学图像中分割前列腺癌(PCa)组织对于准确诊断是至关重要的。虽然基于深度学习(DL)的分割方法达到了最先进的精度,但它们依赖于带有手动注释的大型数据集。我们提出了一种方法来合成PCa组织病理学图像,通过学习不同的疾病标签之间的几何关系,使用自监督学习。我们使用一种弱监督分割方法,该方法使用Gleason评分来分割患病区域,并且将所得分割图用于训练形状恢复网络(ShaRe-Net)以自监督方式预测缺失的掩模片段。使用DenseUNet作为主干生成器架构,我们将潜在变量采样注入图像生成过程中的多样性,从而提高鲁棒性。多个组织病理学数据集上的实验表明,我们的方法优于竞争的图像合成方法的分割任务。消融研究显示了整合几何和多样性在生成高质量图像方面的好处,而我们使用有限类标记数据的自监督方法实现了与完全监督学习相似的性能。
2021-10-01 cs.CV eess.IV
A Flexible 2.5D Medical Image Segmentation Approach with In-Slice and Cross-Slice Attention
University of Florida(佛罗里达大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文提出CSA-Net,一种通过跨片注意力模块处理任意切片数量2.5D医学图像的灵活分割模型,并在脑MRI和前列腺MRI分割任务上优于现有2D与2.5D方法。
2024-04-30 cs.CV cs.LG eess.IV
Automated Video Segmentation Machine Learning Pipeline
Image Engine Design Inc.(图像引擎设计公司)
本文提出一种自动化视频分割流水线,利用机器学习实现文本提示目标检测、逐帧分割和视频跟踪,生成时间一致的实例掩码,通过容器化部署减少人工并提升VFX制作效率。
2025-07-09 cs.CV
CIAN: Cross-Image Affinity Net for Weakly Supervised Semantic Segmentation
Center for Research on Intelligent Perception and Computing, CASIA(中国科学院自动化研究所智能感知与计算研究中心);National Laboratory of Pattern Recognition, CASIA(中国科学院自动化研究所模式识别国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Center for Excellence in Brain Science and Intelligence Technology, CAS(中国科学院脑科学与智能技术卓越创新中心)
仅使用图像级标签的弱监督语义分割节省了大量的人力来注释像素级标签。最先进的方法依赖于各种创新的约束和启发式规则来生成每个图像的掩码。虽然这些方法已经取得了很大的进展,他们对待每个图像独立,并没有考虑到不同的图像之间的关系。然而,在本文中,我们认为,跨图像的关系是至关重要的弱监督分割。因为它连接了图像中的相关区域,可以传播补充表示以获得更一致和完整的区域。为了利用这些信息,我们提出了一个端到端的跨图像亲和力模块,它利用像素级的跨图像的关系,只有图像级的标签。通过这种方式,我们的方法在Pascal VOC 2012验证集和测试集上分别实现了64.3%和65.3%的mIoU,这是一个新的最先进的结果,仅使用图像级标签进行弱监督语义分割,证明了我们的方法的优越性。
2020-01-30 cs.CV
Med-DANet V2: A Flexible Dynamic Architecture for Efficient Medical Volumetric Segmentation
University of Science and Technology Beijing(北京科技大学);University of Central Florida(中佛罗里达大学);Chinese Academy of Sciences(中国科学院)
本文提出Med-DANet V2,通过决策网络与裁剪位置网络动态选择前景区域,并在分割模型中引入逐阶段量化选择器,在BraTS上以更低复杂度实现与最优方法相当或更优的分割性能。
2023-10-28 cs.CV eess.IV
Primitive Generation and Semantic-related Alignment for Universal Zero-Shot Segmentation
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学)
本文提出一种基于生成模型和语义相关对齐的通用零样本分割方法,通过原始特征组装与特征解耦,实现全景、实例和语义分割的最先进性能。
2023-06-19 cs.CV
Context Propagation from Proposals for Semantic Video Object Segmentation
Nokia Technologies, Finland(诺基亚技术公司)
该研究提出一种语义视频对象分割新方法,从视频对象候选区域提取语义上下文并传播,结合条件随机场推断超像素标签,提升了视觉歧义消解的鲁棒性。
2024-07-08 cs.CV
DCANet: Dense Context-Aware Network for Semantic Segmentation
Zhejiang University(浙江大学)
随着上下文信息的优势在高级语义分割中逐渐显现,学习捕捉紧凑的上下文关系有助于理解复杂场景。与以前的一些利用多尺度上下文融合的作品相比,我们提出了一种新的模块,命名为密集上下文感知(DCA)模块,自适应地将局部细节信息与全局依赖性相结合。在上下文关系的驱动下,DCA模块可以更好地实现上下文信息的聚合,生成更强大的特征。此外,我们特意设计了两个扩展结构的DCA模块的基础上,进一步捕捉远程上下文依赖信息。通过级联或并行组合DCA模块,我们的网络使用渐进策略来改进多尺度特征表示,以实现稳健的分割。我们通过对三个具有挑战性的数据集(包括PASCAL VOC 2012,Cityscapes和ADE 20K)进行广泛的实验,实证证明了我们的方法(DCANet)的良好性能。
2021-04-06 cs.CV
MAST: Video Polyp Segmentation with a Mixture-Attention Siamese Transformer
Northwestern Polytechnical University(西北工业大学);Australian National University(澳大利亚国立大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Harbin Institute of Technology(哈尔滨工业大学)
针对结肠镜视频中长程时空关系建模难题,提出MAST孪生Transformer,通过混合注意力融合帧内与帧间信息,在SUN-SEG上取得优于前沿方法的视频息肉分割性能。
2024-01-23 cs.CV
Pixel Relationships-based Regularizer for Retinal Vessel Image Segmentation
Hiroshima University(广岛大学)
图像分割的任务是根据适当的标签对图像中的每个像素进行分类。已经提出了各种深度学习方法来进行图像分割,这些方法提供了高精度和深度架构。然而,深度学习技术在训练过程中使用了像素损失函数。在网络学习过程中,使用像素级损失忽略了像素相邻关系。像素之间的相邻关系是图像中必不可少的信息。利用相邻像素信息提供优于仅使用像素到像素信息的优点。本研究提出正则化器,以提供像素相邻关系信息的学习过程。正则化子的构造采用图论方法和拓扑方法:图论方法利用基于输出图像和地面实况图像的分割图像的光滑性,使用图拉普拉斯算子。通过拓扑学方法,利用欧拉特征来识别和减少分割图像上孤立目标的数目。实验表明,我们的计划成功地捕捉像素的邻居关系,提高卷积神经网络的性能比基线没有正则化项。
2022-12-28 cs.CV cs.LG eess.IV
Semantic Alignment in Hyperbolic Space for Open-Vocabulary Semantic Segmentation
Fulbright University Vietnam(富布赖特大学越南分校)
本文提出HyRo框架,通过解耦超几何空间中的层次和语义对齐,提升开放词汇语义分割性能。
2026-05-09 cs.CV
Dynamic Feature Regularized Loss for Weakly Supervised Semantic Segmentation
University of Liverpool(利物浦大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学);Beijing Jiaotong University(北京交通大学)
我们专注于解决弱监督语义分割与涂鸦级注释。规则化损失已被证明是解决这一问题的有效方法。然而,大多数现有的正则化损失仅利用静态浅层特征(颜色、空间信息)来计算正则化核,这限制了其最终性能,因为这种静态浅层特征在复杂情况下无法描述成对像素关系。在本文中,我们提出了一种新的正则化损失,它利用浅层和深层的功能,动态更新,以聚合足够的信息来表示不同像素的关系。此外,为了提供准确的深度特征,我们采用视觉Transformer作为骨干,并设计了一个特征一致性头训练成对的特征关系。与大多数采用多阶段训练策略且有很多花里胡哨的方法不同,我们的方法可以以端到端的方式直接训练,其中特征一致性头部和我们的规则化损失可以互相受益。大量的实验表明,我们的方法实现了新的国家的最先进的性能,优于其他方法的显着保证金超过6\%的mIoU增加。
2021-08-03 cs.CV
Visual Relationship Prediction via Label Clustering and Incorporation of Depth Information
National Tsing Hua University(国立清华大学)
在本文中,我们研究了无监督标签聚类技术的使用,并证明了它可以大大提高上下文中的人(PIC)数据集的视觉关系预测精度。我们建议将数据集中具有相似关系分布模式的对象标签分组为更少的类别。标签聚类不仅缓解了大分类空间和类不平衡问题,而且还潜在地增加了每个聚类类别的数据样本。我们进一步建议将深度信息作为一个额外的功能到实例分割模型。附加的深度预测路径以边界框或分割掩模不能提供的方式补充关系预测模型。我们已经严格评估了所提出的技术,并进行了各种消融分析,以验证它们的好处。
2018-09-09 cs.CV
Relational Prior Knowledge Graphs for Detection and Instance Segmentation
University of Amsterdam(阿姆斯特丹大学);TomTom(TomTom公司)
本文提出基于关系先验的图变换器RP-FEM,利用场景图增强目标提议特征,在COCO上提升检测与实例分割性能,抑制错误类别并减少重复预测。
2023-10-11 cs.CV
Understanding Multi-Granularity for Open-Vocabulary Part Segmentation
Graduate School of Artificial Intelligence, KAIST(韩国科学技术院人工智能研究生院);School of Integrated Technology, Yonsei University(延世大学融合技术学院)
针对开放词汇部件分割中的粒度差异与边界模糊问题,提出 PartCLIPSeg,利用泛化部件、对象上下文、竞争关系和注意力控制提升分割性能。
2024-12-06 cs.CV
Three-dimensional Segmentation of Trees Through a Flexible Multi-Class Graph Cut Algorithm (MCGC)
University of Cambridge(剑桥大学);University of Cambridge Conservation Research Institute(剑桥大学保护研究所);Royal Society for Protection of Birds(英国皇家鸟类保护协会);University of Lincoln(林肯大学)
发展一个强大的算法,自动单树冠(ITC)检测从激光扫描数据集是重要的跟踪树木的人为变化的反应。这种方法可以测量每棵树的大小、生长和死亡率,从而能够跟踪和了解森林碳储量和动态。对于结构简单的森林,包括针叶林和人工林,存在许多算法。为结构复杂、物种丰富的热带森林找到一个强大的解决方案仍然是一个挑战;在估计地块级生物量时,现有的分割算法往往不如简单的基于面积的方法。在这里,我们描述了一个多类图割(MCGC)的树冠描绘方法。它使用局部三维几何形状和密度信息,以及树冠异速生长的知识,从激光雷达点云中分割各个树冠。我们的方法可以很好地识别树冠顶层和中间层的树木,但不能识别小树。从这些三维树冠中,我们能够测量单个树木的生物量。将这些估计值与永久性库存地块的估计值进行比较,我们的算法能够对公顷尺度的碳密度进行稳健的估计,从而证明了ITC方法在监测森林方面的强大功能。我们的方法的灵活性,以增加额外的维度的信息,如光谱反射率,使这种方法成为一个明显的途径,为未来的发展和扩展到其他来源的三维数据,如运动恢复结构数据集。
2019-03-20 cs.CV cs.LG
Brain Tumor Segmentation Network Using Attention-based Fusion and Spatial Relationship Constraint
College of Physics and Information Engineering, Fuzhou University(福州大学物理与信息工程学院);School of Data Science, Fudan University(复旦大学数据科学学院);School of Biomedical Engineering, Shanghai Jiao Tong University(上海交通大学生物医学工程学院);School of Biomedical Engineering and Imaging Sciences, King’s College London(伦敦国王学院生物医学工程与成像科学学院)
从磁共振(MR)图像中描绘脑肿瘤对于胶质瘤的治疗至关重要。然而,由于肿瘤的复杂外观和模糊轮廓,自动描绘是具有挑战性的。考虑到多模态MR图像能够反映不同的肿瘤生物学特性,本文提出了一种新的多模态肿瘤分割网络(MMTSN),用于基于多模态MR图像的脑肿瘤分割。MMTSN由三个子分支和一个主分支组成。具体来说,子分支用于从多模态图像中捕获不同的肿瘤特征,而在主分支中,我们设计了一个空间通道融合块(SCFB)来有效地聚合多模态特征。此外,受肿瘤子区域之间的空间关系相对固定的事实的启发,增强的肿瘤总是在肿瘤的核心,我们提出了一个空间损失来约束肿瘤的不同子区域之间的关系。我们在多模态脑肿瘤分割挑战2020(BraTs2020)的测试集上评估了我们的方法。该方法对整个肿瘤、肿瘤核心和增强肿瘤的dice评分分别为0.8764、0.8243和0.773。
2020-10-31 cs.CV eess.IV
VReBERT: A Simple and Flexible Transformer for Visual Relationship Detection
The Australian National University(澳大利亚国立大学);Commonwealth Scientific and Industrial Research Organisation(联邦科学与工业研究组织)
视觉关系检测(VRD)促使计算机视觉模型“看到”单个对象实例之外的内容,并“理解"场景中不同对象是如何相关的。VRD的传统方法是首先检测图像中的对象,然后分别预测检测到的对象实例之间的关系。这种不相交的方法倾向于预测冗余的关系标签(即,谓词)之间的相同对象对具有相似的语义,或不正确的,具有类似的意义,以地面真理,但语义上是不正确的。为了弥补这一点,我们提出联合训练视觉对象特征和语义关系特征的VRD模型。为此,我们提出了VReBERT,一个类似于BERT的Transformer模型,用于视觉关系检测,并采用多阶段训练策略来联合处理视觉和语义特征。我们表明,我们简单的BERT类模型能够在谓词预测中优于最先进的VRD模型。此外,我们还表明,通过使用预训练的VReBERT模型,我们的模型将最先进的zero-shot谓词预测推高了一个显著的幅度(+8.49 R@50和+8.99 R@100)。
2022-06-18 cs.AI cs.CV
Integrating Object Detection, LiDAR-Enhanced Depth Estimation, and Segmentation Models for Railway Environments
1 Department of Excellence in Robotics \& AI, Scuola Superiore Sant'Anna, Pisa, Italy 2 Progress Rail Signaling S.p.A., Serravalle Pistoiese (PT), Italy
本文提出一个模块化框架,结合目标检测、轨道分割和单目深度估计,用于铁路环境中的障碍物检测与距离估计,通过合成数据集评估,实现0.63米的高精度距离估计。
2026-04-16 cs.CV
IRS: Incremental Relationship-guided Segmentation for Digital Pathology
Vanderbilt University(范德比尔特大学);Vanderbilt University Medical Center(范德比尔特大学医学院);NVIDIA Corp.(英伟达公司);Weill Cornell Medicine(韦尔·科恩医学中心)
提出增量关系引导分割(IRS)学习方案,通过增量通用命题矩阵建模解剖关系,解决数字病理学中时间序列部分标注数据的全景分割问题并保持OOD持续学习能力。
2025-05-28 cs.CV eess.IV
A Continuous Max-Flow Approach to General Hierarchical Multi-Labeling Problems
Robarts Research Institute(罗巴茨研究所);Western University(韦仕敦大学)
多区域分割算法通常具有并入表示对象之间的空间或几何关系的复杂解剖学知识的责任,并且因此缺乏以基于优化的方式解决该知识的通用方法。本文提出了广义分层最大流(GHMF)分割,它捕捉简单的解剖部分,整体关系的形式,一个不受约束的层次。然后,正则化可以独立地应用于部分和整体,允许在全局最优凸优化框架中对标签进行空间分组和聚类。为了方便集成到各种分割任务中,可以在运行时呈现层次结构,从而可以轻松指定分割问题并探索替代方案,而无需过度的编程工作或重新编译。
2014-06-05 cs.CV
MobileUtr: Revisiting the relationship between light-weight CNN and Transformer for efficient medical image segmentation
Harbin Institute of Technology(哈尔滨工业大学);Shanghai Jiao Tong University(上海交通大学);University of Science and Technology of China(中国科学技术大学)
MobileUtr通过将类Transformer的轻量级CNN模块作为ViTs的patch嵌入,并引入自适应局部-全局-局部模块,在基础设施层面融合CNN与Transformer优势,实现轻量且高效的医学图像分割。
2023-12-04 cs.CV eess.IV
CAT-Net: A Cross-Slice Attention Transformer Model for Prostate Zonal Segmentation in MRI
University of California, Los Angeles (UCLA)(加利福尼亚大学洛杉矶分校);The First Affiliated Hospital of China Medical University(中国医科大学附属第一医院);VoxelCloud, Inc.(体素云公司)
前列腺癌是美国男性癌症死亡的第二大原因。前列腺MRI的诊断往往依赖于准确的前列腺分区分割。然而,现有技术的自动分割方法通常不能产生前列腺区域的良好包含的体积分割,因为前列腺MRI的某些切片(诸如基底切片和顶端切片)比其他切片更难分割。这个困难可以通过考虑相邻切片的跨切片关系来克服,但是当前的方法没有完全学习和利用这种关系。在本文中,我们提出了一种新的跨切片注意力机制,我们在Transformer模块中使用它来系统地学习不同尺度下的跨切片关系。该模块可以用于任何现有的基于学习的分割框架与跳过连接。实验表明,我们的跨切片注意力是能够捕获跨切片信息的前列腺分区分割和改善目前的国家的最先进的方法的性能。我们的方法提高了外围区域的分割精度,使得分割结果在所有前列腺切片(顶点、中间腺体和基底)中是一致的。
2022-06-16 cs.CV eess.IV
Semantic Segmentation on VSPW Dataset through Masked Video Consistency
MT Lab, Meitu Inc.(美图公司MT实验室);Chinese Academy of Sciences, Institute of Automation(中国科学院自动化研究所)
本文针对VSPW视频语义分割任务提出掩码视频一致性方法,通过遮挡帧预测一致性建模时空关系,并结合测试时增强、模型聚合与多模态后处理,在PVUW2024挑战赛VSS赛道获得第二名。
2024-06-07 cs.CV
Spectral Image Segmentation with Global Appearance Modeling
Haverford College(哈弗福德学院);Brown University(布朗大学)
我们介绍了一种新的光谱图像分割方法,结合了全球外观建模的长程关系。该方法结合了两个不同的图,一个是稀疏图,捕获附近像素之间的空间关系,另一个是密集图,捕获所有像素对之间的成对相似性。我们扩展了规范化切割的谱方法,通过结合与每个图相关联的马尔可夫链的转移矩阵。我们还得到了一个有效的方法稀疏稠密图的外观关系。这导致了一个实用的算法分割高分辨率图像。所得到的方法可以分割具有挑战性的图像,而无需任何滤波或预处理。
2022-10-06 cs.CV cs.LG eess.IV
Fully Automated 3D Segmentation of MR-Imaged Calf Muscle Compartments: Neighborhood Relationship Enhanced Fully Convolutional Network
Iowa Institute for Biomedical Imaging(爱荷华生物医学成像研究所);University of Iowa(爱荷华大学)
从3D磁共振(MR)图像中自动分割个体小腿肌肉区室对于开发肌肉疾病进展及其预测的定量生物标志物至关重要。由于肌肉形状和MR外观的巨大变化,实现临床可接受的结果是一项具有挑战性的任务。尽管深度卷积神经网络(DCNN)在各种图像分割任务中实现了更高的准确性,但某些问题(如利用远程信息和纳入高级约束)仍未解决。我们提出了一种新的全卷积网络(FCN),称为FilterNet,它利用大邻域中的上下文信息,并为单个小腿肌肉隔室分割嵌入边缘感知约束。一个具有灵活的骨干块的编码器-解码器架构用于系统地扩大卷积感受野并在所有分辨率下保留信息。从FCN输出肌肉概率图导出的边缘位置在端到端优化框架中使用基于核的边缘检测来显式正则化。我们的FilterNet通过4重交叉验证在10名健康受试者和30名患病受试者的40张T1加权MR图像上进行了评估。5个肌间室的DICE系数平均为88.00%~ 91.29%,表面定位误差平均为1.04--1.66mm。
2020-12-21 cs.CV eess.IV
Efficiency vs. Efficacy: Assessing the Compression Ratio-Dice Score Relationship through a Simple Benchmarking Framework for Cerebrovascular 3D Segmentation
Multimedia Interaction and Communication Lab(多媒体交互与通信实验室);Arab Academy for Science and Technology(阿拉伯科学与技术学院);Department of Systems and Biomedical Engineering(系统与生物医学工程系);Cairo University(开罗大学);Wearables, Biosensing, and Biosignal Processing Research lab(可穿戴设备、生物传感与生物信号处理研究实验室)
本研究通过ZFP压缩技术在脑血管3D分割中验证了压缩比与分割效果之间的关系,证明了其在提升大规模医学数据集研究效率方面的潜力。
2025-12-16 cs.CV eess.SP
Unsupervised Meta-learning of Figure-Ground Segmentation via Imitating Visual Effects
Institute of Information Science, Academia Sinica(中央研究院信息科学研究所);National Tsing Hua University(国立清华大学)
本文提出了一种“学习学习”的方法来进行图形-背景图像分割。通过探索特定视觉效果的丰富图像,我们的方法可以以无监督的方式有效地学习视觉效果的内部表示,并使用这些知识来区分图像中的图形和地面。具体来说,我们制定的元学习过程作为一个组成的图像编辑任务,学习模仿一定的视觉效果,并获得相应的内部表示。这样的生成过程可以帮助实例化潜在的图形-背景概念,并使系统能够完成预期的图像分割。虽然现有的生成方法主要是针对图像合成或风格转移,我们的方法提供了一个灵活的学习机制,从没有明确的像素级注释的无组织图像中建模图形-背景分割的一般概念。我们通过在六个数据集上进行广泛的实验来验证我们的方法,以证明所提出的模型可以在没有地面实况像素标记的情况下进行端到端训练,但优于现有的无监督分割任务方法。
2018-12-20 cs.CV
Anatomy Prior Based U-net for Pathology Segmentation with Attention
Fudan University(复旦大学)
心脏磁共振(MR)图像的病理区域分割在心血管疾病的临床诊断中起着至关重要的作用。由于病理图像的形状不规则、面积较小,其分割一直是一个具有挑战性的课题。我们提出了一个基于解剖学先验的框架,它结合了U-网分割网络和注意力技术。利用病理学具有包容性的事实,我们提出了一种邻域惩罚策略来衡量心肌与心肌梗死和无复流区域之间的包含关系。这种邻域惩罚策略可以应用于任意两个具有包含关系的标签(如整个梗死和心肌等)形成相邻的损失。建议的框架进行评估的EMIDEC数据集。实验结果表明,该框架在病理区域分割中是有效的。
2020-11-17 cs.CV eess.IV
CT Image Synthesis Using Weakly Supervised Segmentation and Geometric Inter-Label Relations For COVID Image Analysis
Inception Institute of Artificial Intelligence(起源人工智能研究院);Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
虽然医学图像分割是计算机辅助诊断的一项重要任务,但像素级手动注释的高专业知识要求使其成为一项具有挑战性且耗时的任务。由于传统的数据增强不能完全代表训练集的潜在分布,因此当对从不同来源捕获的图像进行测试时,训练模型具有不同的性能。用于数据增强的图像合成的大多数先前工作忽略了不同解剖标签之间的交错几何关系。我们通过学习不同解剖标签之间的关系,对以前基于GAN的医学图像合成方法进行了改进。我们使用一种弱监督分割方法来获得图像的像素级语义标签图,用于学习语义标签之间的几何和形状的内在关系。潜在空间变量采样导致从基础图像生成不同的图像,并提高鲁棒性。我们使用我们方法中的合成图像来训练网络,以从肺部CT图像中分割COVID-19感染区域。该方法在公共数据集上的性能优于最先进的分割方法。消融研究也证明了整合几何形状和多样性的好处。
2021-06-15 cs.CV eess.IV
Self-supervised Semantic Segmentation Grounded in Visual Concepts
Robert Bosch Research and Technology Center North America(北美罗伯特·博世研究与技术中心);Robert Bosch GmbH(罗伯特·博世有限公司)
无监督的语义分割需要为每个像素分配一个标签,而不需要任何人工注释。尽管最近在个体图像的自监督表示学习方面取得了进展,但具有像素级表示的无监督语义分割仍然是一项具有挑战性的任务,并且仍然未得到充分探索。在这项工作中,我们提出了一个自我监督的像素表示学习方法的语义分割通过使用视觉概念(即,具有语义含义的像素组,例如部件、对象和场景)。为了指导自监督学习,我们利用像素和概念之间的三种类型的关系,包括像素和局部概念之间的关系,局部和全局概念之间的关系,以及概念的同现。我们在三个数据集上评估了学习的像素嵌入和视觉概念,包括PASCAL VOC 2012,COCO 2017和DAVIS 2017。我们的研究结果表明,该方法获得了一致的和实质性的改进,最近的无监督语义分割方法,也表明,视觉概念可以揭示图像数据集的见解。
2022-07-26 cs.AI cs.CV
TransVOS: Video Object Segmentation with Transformers
Zhejiang University(浙江大学);NetEase Fuxi AI Lab(网易伏羲人工智能实验室)
最近,基于时空记忆网络(STM)的方法在半监督视频对象分割(VOS)中取得了最先进的性能。在这个任务中的一个关键问题是如何建模的依赖性,在不同的框架和内部的每一个框架。然而,这些方法中的大多数忽略了空间关系(在每个帧内),并且没有充分利用时间关系(在不同帧之间)。在本文中,我们提出了一个新的基于变换的框架,称为transVOS,引入了一个视觉Transformer,充分利用和建模的时间和空间的关系。此外,大多数基于STM的方法采用两个单独的编码器来提取两个重要输入的特征,即,参考集(具有预测掩码的历史帧)和查询帧(当前帧),从而增加了模型的参数和复杂性。为了在保持有效性的同时精简流行的双编码器管道,我们设计了一个单一的双路径特征提取器,以统一的方式对上述两个输入进行编码。大量的实验证明了我们的TransVOS在DAVIS和YouTube-VOS数据集上优于最先进的方法。
2021-09-18 cs.AI cs.CV
Relational Modeling for Robust and Efficient Pulmonary Lobe Segmentation in CT Scans
Radboudumc(拉德堡德大学医学中心);Thirona
计算机断层扫描中的肺叶分割对于肺部疾病的区域评估至关重要。最近的工作基于卷积神经网络已经取得了良好的性能,这项任务。然而,由于卷积的性质,它们在捕获结构化关系方面仍然受到限制。肺叶的形状相互影响,它们的边界与其他结构的外观有关,如血管、气道和胸膜壁。我们认为,当肺部受到COVID-19或COPD等疾病的影响时,这种结构关系在准确描绘肺叶方面发挥着关键作用。在本文中,我们提出了一个关系的方法(RTSU网络),利用结构化的关系,通过引入一种新的非本地神经网络模块。所提出的模块学习所有卷积特征之间的视觉和几何关系,以产生自我注意力权重。由于COVID-19受试者的训练数据有限,我们最初对来自COPDGene研究的5000名受试者进行训练和验证RTSU-Net(4000名用于训练,1000名用于评估)。使用在COPDGene上预训练的模型,我们应用迁移学习对470名COVID-19嫌疑人(370名用于重新训练,100名用于评估)进行重新训练和评估RTSU-Net。实验结果表明,RTSU-Net的性能优于三个基线,并且在COVID-19导致的严重肺部感染病例中表现稳健。
2020-05-12 cs.CV eess.IV