Active contours driven by local and global intensity fitting energy with application to SAR image segmentation and its fast solvers
Yantai Science and Technology Association(烟台科技协会)
提出一种基于Aubert-Aujol去噪模型的变分主动轮廓模型,混合测地线主动轮廓与无边缘主动轮廓模型,用于分割乘性伽马噪声图像,并引入两个快速不动点算法求解SAR图像分割问题。
2026-07-03 cs.CV
Latent Diffusion for Medical Image Segmentation: End to end learning for fast sampling and accuracy
University of Iowa(爱荷华大学);University of Virgina(弗吉尼亚大学);Washington University School of Medicine(华盛顿大学医学院)
提出LDSeg,一种端到端潜在条件扩散框架,通过低维流形学习实现医学图像分割的快速采样和高精度,并在三个数据集上达到最优性能且对噪声鲁棒。
2025-01-18 cs.CV
An Adaptive Sampling Scheme to Efficiently Train Fully Convolutional Networks for Semantic Segmentation
University College London(伦敦大学学院);Innersight Labs
深度卷积神经网络(CNN)在对象识别任务和密集分类问题(如语义分割)中表现出出色的性能。然而,在大型稀疏数据集上训练深度神经网络仍然具有挑战性,并且可能需要大量的计算和内存。在这项工作中,我们解决的任务执行语义分割的大型数据集,如三维医学图像。我们提出了一种自适应采样方案,该方案使用在整个训练过程中生成的后验误差图,将采样集中在困难区域,从而改善学习。我们的贡献有三个方面:1)我们详细描述了所提出的采样算法,以加快和提高大图像上的学习性能。我们提出了一种深度双路径CNN,它可以在精细和粗略的尺度上捕获信息,从而产生一个具有大视场和高分辨率输出的网络。我们表明,我们的方法能够在内脏解剖基准上获得新的最先进的结果。
2017-12-22 cs.CV
Soft labelling for semantic segmentation: Bringing coherence to label down-sampling
Universidad Autónoma de Madrid(马德里自治大学)
提出一种通过软标记进行标签下采样的新框架,统一图像与标签的下采样策略,在低分辨率下训练出具有竞争力的语义分割模型,显著减少计算资源消耗。
2024-02-19 cs.CV
Taylor Series-Inspired Local Structure Fitting Network for Few-shot Point Cloud Semantic Segmentation
Cyber Security Research Center (CYSREN), Nanyang Technological University(南洋理工大学网络安全研究中心(CYSREN));Shanghai University of Finance and Economics(上海财经大学);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);School of Information Technology, Halmstad University(哈尔姆斯塔德大学信息技术学院)
提出无需预训练的少样本点云语义分割网络TaylorSeg,通过受泰勒级数启发的TaylorConv拟合局部几何结构,并设计APP模块缓解特征分布差异,在S3DIS和ScanNet上显著提升mIoU。
2025-04-03 cs.CV
Dynamic Dual Sampling Module for Fine-Grained Semantic Segmentation
Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学)
语义上下文和局部细节的表示是建立现代语义分割模型的基本问题。然而,语义语境和局部细节之间的相互关系在以前的作品中没有得到很好的探讨。在本文中,我们提出了一个动态双采样模块(DDSM)进行动态的亲和力建模和传播语义上下文的局部细节,这产生了一个更具歧视性的表示。具体而言,使用动态采样策略来稀疏地对高层中的代表性像素和通道进行采样,从而为低层中的每个像素和通道形成自适应紧凑支持。具有高语义的采样特征根据亲和度进行聚合,然后传播到详细的低层特征,从而得到具有良好边界的细粒度分割结果。在Cityscapes和Camvid数据集上的实验结果验证了该方法的有效性和高效性。代码和型号将在\url{x3https://github.com/Fantasticarl/DDSM}上提供。
2021-05-25 cs.CV
Image Segmentation with Pseudo-marginal MCMC Sampling and Nonparametric Shape Priors
Sabanci University(萨班哲大学);ARM Ltd.(ARM公司);University of Utah(犹他大学);University of Rochester(罗切斯特大学)
在本文中,我们提出了一个有效的伪边缘马尔可夫链蒙特卡罗(MCMC)抽样方法来提取样本的后验形状分布的图像分割。所提出的方法的计算时间是独立于用于学习的形状先验分布非参数的训练集的大小。因此,它可以很好地扩展非常大的数据集。我们的方法能够通过其样本来表征形状空间中的后验概率密度,并返回多个解决方案,可能来自多模态概率密度的不同模式,这将遇到,例如,从多个形状类别中分割对象。实验结果证明了所提出的方法的潜力。
2018-09-03 cs.CV
Semantic Segmentation of Urban Textured Meshes Through Point Sampling
Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);IGN(法国国家地理与林业信息研究所);ENSG(法国国立地理科学学院);Direction Générale de l’Armement(法国武器装备总署)
纹理网格正成为一种越来越流行的表示结合了三维几何和辐射的真实场景。然而,城市网格的语义分割算法研究较少,没有充分利用所有的辐射信息。为了解决这个问题,我们采用的方法包括采样点云从纹理网格,然后使用点云语义分割算法在这个云,最后使用所获得的语义分割的初始网格。在本文中,我们研究了不同参数的影响,如采样方法,提取的云的密度,选择的特征(颜色,法线,海拔)以及在每个训练周期使用的点的数量。我们的结果优于SUM数据集上的最新技术,在OA中获得约4分,在mIoU中获得18分。
2023-02-21 cs.CV
FAST: Foreground-aware Diffusion with Accelerated Sampling Trajectory for Segmentation-oriented Anomaly Synthesis
Global Institute of Future Technology, Shanghai Jiao Tong University, Shanghai, China(上海交通大学未来技术全球研究院);School of Artificial Intelligence, Shenzhen University, Shenzhen, China(深圳大学人工智能学院);Department of Intelligent Manufacturing, CATL, Ningde, China(CATL智能制造部门);Department of Computer Science, City University of Hong Kong, Hong Kong, China(香港城市大学计算机科学系)
FAST提出一种前景感知扩散框架,通过AIAS和FARM模块提升工业异常合成效率与质量,实现更可控的结构特定异常生成。
2026-02-02 cs.CV
FASA: Feature Augmentation and Sampling Adaptation for Long-Tailed Instance Segmentation
S-Lab, Nanyang Technological University(南洋理工大学S-Lab);Carnegie Mellon University(卡内基梅隆大学)
最近的长尾实例分割方法仍然在具有很少训练数据的稀有对象类上挣扎。我们提出了一种简单而有效的方法,特征增强和采样自适应(FASA),通过增强特征空间来解决数据稀缺问题,特别是对于稀有类。特征增强(FA)和特征采样组件都是自适应于实际训练状态的- FA由过去迭代中观察到的真实样本的特征均值和方差来通知,并且我们以损失适应的方式对生成的虚拟特征进行采样,以避免过度拟合。FASA不需要任何精心设计的损失,并消除了对类间迁移学习的需要,这通常涉及大量成本和手动定义的头/尾类组。我们表明FASA是一种快速,通用的方法,可以很容易地插入到标准或长尾分割框架,具有一致的性能增益和很少的额外成本。FASA也适用于其他任务,如具有最先进性能的长尾分类。
2021-09-30 cs.CV
PCB-RandNet: Rethinking Random Sampling for LIDAR Semantic Segmentation in Autonomous Driving Scene
College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院);Seyond(森未科技)
针对自动驾驶场景下激光雷达点云空间分布不均导致随机采样效果不佳的问题,提出极柱平衡随机采样方法与采样一致性损失,在两个基准上实现显著性能提升。
2024-03-06 cs.CV
Diffusion Models for Implicit Image Segmentation Ensembles
Department of Biomedical Engineering, University of Basel(巴塞尔大学生物医学工程系)
扩散模型在图像生成建模方面表现出令人印象深刻的性能。本文提出了一种基于扩散模型的语义分割方法。通过修改训练和采样方案,我们表明,扩散模型可以执行医学图像的病变分割。为了生成图像特定的分割,我们在地面真实分割上训练模型,并在训练期间和采样过程的每一步中使用图像作为先验。通过给定的随机采样过程,我们可以生成分割掩码的分布。这个属性允许我们计算分割的像素不确定性图,并允许隐式的分割集合,从而提高分割性能。我们在BRATS 2020数据集上评估了我们的方法用于脑肿瘤分割。与最先进的分割模型相比,我们的方法产生了良好的分割结果,此外还产生了详细的不确定性地图。
2021-12-27 cs.CV
S3Aug: Segmentation, Sampling, and Shift for Action Recognition
Nagoya Institute of Technology(名古屋工业大学)
本文提出S3Aug视频数据增强方法,通过分割、标签到图像转换、采样和中间特征偏移从单一视频生成新视频,增强时间一致性,在UCF101等数据集上验证了有效性。
2023-10-23 cs.CV
Fast Multi-Organ Fine Segmentation in CT Images with Hierarchical Sparse Sampling and Residual Transformer
Siemens Medical Solutions USA Inc(西门子医疗解决方案美国公司)
针对3D医学图像多器官分割的速度与精度权衡问题,提出结合分层稀疏采样与残差Transformer的快速分割框架,在减少计算量的同时提升分割性能,CPU上处理速度达约2.24秒,具备实时精细分割潜力。
2025-11-11 cs.CV
Near-optimal Keypoint Sampling for Fast Pathological Lung Segmentation
National Institutes of Health (NIH)(美国国立卫生研究院)
从计算机断层摄影(CT)图像中准确描绘病理肺仍然是大部分未解决的问题,因为可用的方法由于异常外观的高度可变性而不能提供可靠的通用解决方案。基于局部生物标记的分类方法已被证明在注释病理方面工作良好;然而,这些方法通常是计算密集型的,这限制了它们在实时或近实时临床应用中的广泛使用。在本文中,我们提出了一种新的方法,快速,准确,可靠的病理肺CT扫描分割相结合的区域为基础的分割方法和局部描述符分类,是在一个优化的采样网格。我们的方法分为两个阶段,在第一阶段,我们采用模糊连通性(FC)图像分割算法进行初始肺实质提取。在第二阶段,基于纹理的局部描述符被用来分割异常成像模式,使用近最佳的关键点分析,采用超体素的质心作为网格点。定量结果表明,我们的病理肺分割方法是快速,鲁棒的,并提高了当前的标准,并有潜力提高常规临床任务的性能。
2014-07-11 cs.CV
Task-Oriented Data Synthesis and Control-Rectify Sampling for Remote Sensing Semantic Segmentation
Sun Yat-Sen University(中山大学);Tsinghua University(清华大学);Beijing Institute of Technology(北京理工大学)
本文提出TODSynth框架,结合多模态扩散变换器和任务反馈驱动的采样策略,提升遥感语义分割数据合成效果,尤其在少样本和复杂场景中表现优异。
2026-03-24 cs.CV
Rethinking 3D Segmentation from Individual LiDAR Scans: Incidence-Aware Sampling on the SIP Benchmark
针对单个激光雷达扫描的三维分割,本研究在SIP基准上提出入射角感知采样策略,提升了非平面构件等的分割性能,降低了对采样分辨率的敏感性。
2026-08-11 cs.CV
Split, Merge, and Refine: Fitting Tight Bounding Boxes via Over-Segmentation and Iterative Search
KAIST(韩国科学技术院)
本文提出一种基于过分割、层次合并与MDP/MCTS迭代优化的三维形状紧致包围盒拟合方法,无需训练即可同时实现完全覆盖和紧致性。
2023-12-01 cs.CV
Inherent Brain Segmentation Quality Control from Fully ConvNet Monte Carlo Sampling
LMU München(慕尼黑大学);Technische Universität München(慕尼黑工业大学);German Center for Neurodegenerative Diseases (DZNE)(德国神经退行性疾病中心);Johns Hopkins University(约翰斯·霍普金斯大学)
我们引入固有的措施,有效的质量控制的大脑分割的基础上贝叶斯完全卷积神经网络,使用模型的不确定性。在测试时使用dropout有效地生成后验分布的Monte Carlo样本。基于这些样本,我们在体素不确定性映射的旁边引入了结构不确定性的三个度量。然后,我们将这些结构方面的不确定性,在组分析作为一个措施的信心观察。我们的研究结果表明,这些指标是高度相关的分割精度,因此提出了一个固有的衡量分割质量。此外,具有不确定性的组分析结果的效应量更接近于手动注释的效应量。引入的不确定性度量不仅可以在翻译到临床实践中非常有用,而且还可以在处理大型数据库时提供自动化质量控制和组分析。
2018-06-08 cs.CV
DGSAC: Density Guided Sampling and Consensus
IIIT-Delhi(德里印度理工学院)
稳健的多模型拟合在计算机视觉的许多应用中起着至关重要的作用。与单模型拟合问题不同,多模型拟合具有额外的挑战。模型的未知数和内点噪声尺度是其中最重要的两个,它们通常由用户使用地面实况或一些其他辅助信息来提供。基于模式搜索/聚类的方法关键取决于生成的模型假设的质量。虽然基于偏好分析的引导抽样方法已经显示出显著的性能,但它们在时间预算框架中操作,并且用户提供时间作为合理的猜测。在本文中,我们偏离了模式寻求和时间预算的框架。我们提出了一个称为核残差密度(KRD)的概念,并将其应用于多模型拟合管道的各个组件。核残差密度作为内点和离群点之间的关键区别。我们使用KRD来指导和自动停止采样过程。在生成一组可以解释所有数据点的假设后,采样过程停止。每个数据点都有一个解释分数,并在运行中更新。我们提出了两个模型选择算法,最优二次规划的基础上,和贪婪。与模式搜索方法不同,我们的模型选择算法寻求为数据中存在的每个真正结构找到一个代表性假设。我们评估我们的方法(称为DGSAC)在各种各样的任务,如平面分割,运动分割,消失点估计,平面拟合到3D点云,线,圆拟合,这表明我们的方法的有效性和它的统一性。
2020-06-03 cs.CV
Incremental Top-k List Comparison Approach to Robust Multi-Structure Model Fitting
The University of Adelaide(阿德莱德大学)
随机假设采样是许多流行的鲁棒拟合技术(如RANSAC)的核心。在本文中,我们提出了一种新的假设抽样方案的基础上增量计算的部分排名(顶部$k$列表)之间的距离来自剩余排序信息。我们的方法同时(1)指导采样,使得可以快速检索对应于所有真实结构的假设,以及(2)过滤假设,使得仅保留一个小的但非常有希望的子集。这允许在幸存的假设上使用简单的凝聚聚类来进行准确的模型选择。其结果是一种高效的多结构抗差估计技术。合成和真实数据的实验表明,我们的方法优于以前的方法的性能。
2011-05-31 cs.CV
2D Floor Plan Segmentation Based on Down-sampling
Neato Robotics(Neato机器人公司)
近年来,平面图分割由于其在平面图重建和机器人技术中的广泛应用而获得了极大的关注。在本文中,我们提出了一种新的二维平面图分割技术的基础上下采样的方法。我们的方法在平面图上采用连续下采样,以保持其结构信息,同时降低其复杂性。我们展示了我们的方法的有效性,从两个杂乱的平面图所产生的真空清洁机器人在未知的环境和基准平面图的结果。我们的技术大大降低了平面图分割的计算和实现复杂性,使其更适合于现实世界的应用。此外,我们讨论了适当的度量分割结果进行评估。总的来说,我们的方法在杂乱的环境中为2D平面图分割产生了有希望的结果。
2023-03-24 cs.CV cs.RO
How Sampling Strategy Affects Imbalance Mitigation in LiDAR Segmentation: A Study of Structured vs. Random Point-Based Architectures
University of Cyprus(塞浦路斯大学)
该研究在DALES、S3DIS、STPLS3D数据集上,针对KPConv和RandLA-Net架构,测试了6种重加权方案与5种感知不平衡损失,发现采样策略、不平衡程度及数据采集特征的相互作用影响激光雷达分割的不平衡缓解效果。
2026-08-18 cs.CV
Deterministic Mode Proposals: An Efficient Alternative to Generative Sampling for Ambiguous Segmentation
KTH Royal Institute of Technology(皇家理工学院)
本文提出确定性模式提案模型,通过单次前向传递生成固定数量的提案掩码,减少推理时间并提高真实覆盖度,同时无需完整分布信息即可训练。
2026-03-20 cs.CV
Event-based Motion Segmentation by Cascaded Two-Level Multi-Model Fitting
Hong Kong University of Science and Technology(香港科技大学)
在合成代理与动态场景交互的先决条件中,识别独立移动对象的能力特别重要。然而,从应用的角度来看,标准相机可能会在激进的运动和具有挑战性的照明条件下显着恶化。相比之下,基于事件的相机作为一类新型生物传感器,具有应对这些挑战的优势。它的快速响应和异步性质使其能够以与场景动态完全相同的速率捕获视觉刺激。在本文中,我们提出了一个级联的两级多模型拟合方法,用于识别独立运动的目标(即,运动分割问题)。第一层利用事件特征的跟踪,并在渐进式多模型拟合方案下解决特征聚类问题。初始化与产生的运动模型实例,第二级进一步解决了事件聚类问题,使用时空图切割方法。这种组合导致了有效和准确的逐事件运动分割,这是单独使用其中任何一种都无法实现的。实验表明,我们的方法在现实世界中的场景具有不同的运动模式和未知数量的独立移动的对象的有效性和通用性。
2021-11-05 cs.CV cs.RO
Unsupervised Semantic Segmentation Through Depth-Guided Feature Correlation and Sampling
Ulm University(乌尔姆大学);TU Vienna(维也纳工业大学)
针对无监督语义分割问题,提出利用深度信息引导特征相关与最远点采样以引入场景结构知识,在多个基准数据集上取得显著性能提升。
2024-03-26 cs.CV
Image Segmentation using Multi-Threshold technique by Histogram Sampling
Martin Luther Christian University(马丁·路德基督教大学)
数字图像的分割是图像处理或计算机视觉系统中必不可少的步骤之一。它有助于根据像素的强度水平将像素分成不同的区域。已经提出了大量的分割技术,其中一些使用复杂的计算操作。其中,最简单的程序,可以很容易地实现是阈值。在本文中,我们提出了一种独特的启发式方法,自动确定多级阈值的数字图像的直方图采样的图像分割。我们的方法强调选择一个山谷作为最佳阈值。我们证明了我们的方法优于流行的大津的方法在CPU的计算时间。我们证明了我们的方法优于流行的大津的方法在CPU的计算时间。我们在流行的图像处理基准测试中观察到了35.58倍的最大加速和10.21倍的最小加速。为了证明我们的方法在确定阈值的正确性,我们计算的PSNR,SSIM,和FSIM值进行比较,通过大津的方法获得的值。这种评估表明,我们的方法是可比的,更好地在许多情况下,相比,众所周知的大津的方法。
2019-09-11 cs.CV
Sampling Strategy for Fine-Tuning Segmentation Models to Crisis Area under Scarcity of Data
Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所)
在人道主义危机应对特派团中使用遥感是一种行之有效的做法,并一再证明其相关性。其中一个问题是获得黄金注释,因为这是昂贵和耗时的,这使得几乎不可能微调模型到受危机影响的新地区。在时间紧迫、资源有限和环境不断变化的情况下,模型必须不断发展,并提供灵活的方法来适应新的情况。我们想要回答的问题是,在注释数据稀缺的情况下,样本的优先级是否比其他经典的采样方法提供更好的微调结果?我们提出了一种方法来指导数据汇集在微调,基于估计的模型和样本属性,如预测的IOU分数。我们提出了两个计算样本优先级的公式。我们的方法融合了可解释性,表示学习和主动学习的技术。我们已将我们的方法应用于建筑物检测的遥感应用中的语义分割深度学习模型U-Net,这是人道主义应用中遥感的核心用例之一。初步结果表明,在数据稀缺的情况下,调整语义分割模型的样本优先级的实用程序。
2022-02-09 cs.CV
Fitting Skeletal Models via Graph-based Learning
CONICET(阿根廷国家科学技术研究委员会);Kitware, Inc.(Kitware公司)
针对模板骨架模型拟合耗时且依赖人工调参的问题,提出利用图卷积网络从密集分割掩码直接生成 s-reps 的骨架化方法,并在合成数据与真实海马体分割上验证了效果和推理速度。
2024-09-09 cs.CV
Kid-Net: Convolution Networks for Kidney Vessels Segmentation from CT-Volumes
University of Maryland, College Park(马里兰大学帕克分校);Intuitive Surgical, Inc(直观外科公司)
语义图像分割在患者特定解剖结构建模中起着重要作用。我们提出了一个卷积神经网络,称为Kid-Net,以及一个训练模式分割肾脏血管:动脉,静脉和集合系统。这种分割在手术计划阶段是至关重要的,在手术计划阶段中,在手术切口之前做出医疗决策。我们的主要贡献是开发了一种训练模式,可以处理不平衡的数据,减少误报,并在有限的内存预算下实现高分辨率分割。这些目标是通过动态加权,随机采样和3D补丁分割来实现的。人工医学图像注释既耗时又昂贵。Kid-Net将肾脏血管分割时间从几小时缩短到几分钟。它使用来自体积CT图像的3D补丁进行端到端训练。通过将输出的3D补片拼接在一起,在几分钟(1-2分钟)内获得512 x512 x512 CT体积的完整分割。利用特征下采样和上采样来实现更高的分类和定位精度。在具有挑战性的测试数据集上的定量和定性评估结果显示了Kid-Net的能力。
2018-06-18 cs.CV
Mineral segmentation using electron microscope images and spectral sampling through multimodal graph neural networks
Lappeenranta-Lahti University of Technology(拉佩宁塔-拉赫蒂技术大学);Brno University of Technology - Faculty of Information Technology(布拉格技术大学-信息科技学院)
针对BSE图像信息不足的问题,提出用图神经网络融合稀疏EDS光谱与BSE图像进行矿物分割,仅需1%像素的EDS数据即可实现准确分割,支持快速分析。
2025-03-05 cs.CV
Self-Sampling Meta SAM: Enhancing Few-shot Medical Image Segmentation with Meta-Learning
Huazhong University of Science and Technology(华中科技大学);Tokyo Institute of Technology(东京工业大学);University of California, Irvine(加利福尼亚大学尔湾分校)
针对SAM在医学图像少样本分割中性能下降的问题,提出含在线优化器、自采样模块和注意力解码器的SSM-SAM框架,在CT和MRI数据集上DSC分别提升10.21%和1.80%,实现快速器官适配。
2023-11-03 cs.CV
TSMS-SAM2: Multi-scale Temporal Sampling Augmentation and Memory-Splitting Pruning for Promptable Video Object Segmentation and Tracking in Surgical Scenarios
University of Texas Southwestern Medical Center(德克萨斯大学西南医学中心)
本文提出TSMS-SAM2框架,通过多时间尺度视频采样增强和记忆分割剪枝机制解决SAM2在手术视频中的运动动态与记忆冗余问题,在EndoVis2017和2018数据集上取得最优分割性能。
2025-08-07 cs.CV
Source Domain Subset Sampling for Semi-Supervised Domain Adaptation in Semantic Segmentation
Hanbat National University(韩巴大学);Pusan National University(釜山大学)
在本文中,我们介绍了源域子集采样(SDSS)作为半监督领域自适应的一个新的视角。我们提出了领域自适应的采样和利用只有一个有意义的子集从源数据的训练。我们的关键假设是,整个源域数据可能包含对适应无益的样本。因此,领域自适应可以受益于仅由有用和相关样本组成的源数据的子集。所提出的方法有效地子采样完整的源数据,以产生一个小规模的有意义的子集。因此,使用我们的二次采样源数据可以减少训练时间,提高性能。为了进一步验证我们方法的可扩展性,我们构建了一个名为Ocean Ship的新数据集,其中包括500个真实和200K个带有地面真实标签的合成样本图像。SDSS在应用于GTA5到Cityscapes和SYNTHIA到Cityscapes公共基准数据集时实现了最先进的性能,并且在我们的Ocean Ship数据集上比基线模型提高了9.13 mIoU。
2022-05-03 cs.CV
Robust Human Registration with Body Part Segmentation on Noisy Point Clouds
ETH Zurich(苏黎世联邦理工学院);Microsoft(微软公司);Stanford University(斯坦福大学);Google(谷歌公司)
针对含噪点云人体网格配准不精确的问题,提出将身体部位分割融入SMPL-X两步拟合过程的混合方法,在真实数据集上显著提升了姿态估计与分割准确性。
2025-04-04 cs.CV
MCMC Shape Sampling for Image Segmentation with Nonparametric Shape Priors
Sabanci University(萨班哲大学);Utah University(犹他大学)
分割低质量或缺失数据的图像是一个具有挑战性的问题。结合待分割形状的统计先验信息可以显著提高分割结果。大多数基于形状的分割算法优化的能量功能,并找到一个点估计的对象被分割。这并没有提供对该结果的置信度的度量,也没有提供基于数据和先验的其他可能解决方案的图片。从统计学的角度来看,解决这些问题将涉及表征要分割的对象的形状的后验密度的问题。对于这样的表征,我们提出了一个马尔可夫链蒙特卡罗(MCMC)采样为基础的图像分割算法,使用统计形状先验。除了更好地表征问题的统计结构外,这种方法还可能解决现有基于形状的分割方法所遇到的陷入局部最优的问题。我们的方法能够通过其样本来表征形状空间中的后验概率密度,并返回多个解决方案,可能来自多模态概率密度的不同模式,这将遇到,例如,从多个形状类别中分割对象。我们提出了各种数据集上有希望的结果。我们还提供了一个扩展分割形状的对象的部分,可以通过独立的形状变化。这种扩展涉及使用对象部分上的局部形状先验,并提供对形状训练数据大小限制的鲁棒性。
2016-11-11 cs.CV
End-to-end Lane Detection through Differentiable Least-Squares Fitting
KU Leuven(鲁汶大学)
车道检测通常使用两步流水线来处理,其中首先预测车道标记的分割掩模,然后将车道线模型(如抛物线或样条)拟合到后处理的掩模。这种两步方法的问题在于,网络的参数不是针对感兴趣的真实任务(估计车道曲率参数)而优化的,而是针对代理任务(分割车道标记)而优化的,从而导致次优性能。在这项工作中,我们提出了一种方法来训练车道检测器在一个端到端的方式,直接回归车道参数。该架构由两个组件组成:一个深度网络,用于预测每条车道线的分段式权重图,以及一个可微最小二乘拟合模块,用于为每张地图返回加权最小二乘意义上的最佳拟合曲线的参数。这些参数随后可以用选择的损失函数来监督。我们的方法依赖于观察,这是可能的反向传播通过最小二乘拟合过程。这导致了一种端到端的方法,其中特征针对真正感兴趣的任务进行了优化:网络隐式地学习生成防止模型拟合步骤期间不稳定的特征,而不是需要处理异常值的两步管道。此外,该系统不仅仅是一个黑盒子,而且还提供了一定程度的可解释性,因为可以检查和可视化中间生成的类分割权重图。代码和视频可在github.com/wvangansbeke/LaneDetection_End2End上获得。
2019-09-05 cs.CV
ISBNet: a 3D Point Cloud Instance Segmentation Network with Instance-aware Sampling and Box-aware Dynamic Convolution
VinAI Research(VinAI研究院)
现有的3D实例分割方法主要是由自底向上的设计-手动微调算法分组点成集群,然后细化网络。然而,通过依赖于聚类的质量,这些方法在以下情况下生成易受影响的结果:(1)具有相同语义类的附近对象被打包在一起,或者(2)具有松散连接区域的大对象。为了解决这些限制,我们引入了ISBNet,这是一种新颖的无集群方法,它将实例表示为内核,并通过动态卷积解码实例掩码。为了有效地生成高召回率和区分性的内核,我们提出了一种名为Instance-aware Faraday Point Sampling的简单策略来对候选项进行采样,并利用PointNet++启发的局部聚合层来编码候选项。此外,我们还表明,在动态卷积中预测和利用3D轴对齐的边界框可以进一步提高性能。我们的方法在AP方面在ScanNetV 2(55.9)、S3 DIS(60.8)和STPLS 3D(49.2)上设置了新的最先进的结果,并保留了快速的推理时间(ScanNetV 2上每个场景237 ms)。源代码和训练模型可在https://github.com/VinAIResearch/ISBNet上获得。
2023-03-26 cs.CV
Dual-Branch Network with Dual-Sampling Modulated Dice Loss for Hard Exudate Segmentation from Colour Fundus Images
Central South University(中南大学)
彩色眼底图像中硬性渗出物的自动分割是一项具有挑战性的任务,由于极端的类不平衡和巨大的尺寸变化的问题。本文针对这些问题,提出了一种双采样调制Dice损耗的双支路网络。它包括两个分支:大硬渗出偏向学习分支和小硬渗出偏向学习分支。他们两人各自负责自己的职责。此外,我们提出了一个双采样调制的骰子损失的训练,使我们提出的双分支网络能够分割不同大小的硬渗出物。详细地,对于第一分支,我们使用均匀采样器从预测的分割掩模中采样像素以用于Dice损失计算,这导致该分支自然偏向于大的硬渗出物,因为Dice损失在大的硬渗出物的错误识别上比小的硬渗出物产生更大的成本。对于第二个分支,我们使用重新平衡的采样器对硬渗出物像素进行过采样,并对背景像素进行欠采样以进行损失计算。以这种方式,增加了错误识别小的硬渗出物的成本,这强制第二分支中的参数很好地拟合小的硬渗出物。考虑到大的硬渗出物比小的硬渗出物更容易被正确识别,我们提出了一个从容易到困难的学习策略,通过自适应地调节两个分支的损失。我们在两个公共数据集上评估了我们提出的方法,结果表明我们的方法达到了最先进的性能。
2021-05-06 cs.CV
Augmentation Invariance and Adaptive Sampling in Semantic Segmentation of Agricultural Aerial Images
Politecnico di Torino(都灵理工大学);LINKS Foundation(LINKS基金会);Consorzio Interuniversitario Nazionale per l’Informatica(全国大学信息学联盟)
本文研究了农业航空影像的语义分割问题。我们观察到,用于该任务的现有方法在设计时没有考虑航空数据的两个特征:(i)自顶向下的视角意味着模型不能依赖于场景的固定语义结构,因为传感器的不同旋转可能会经历相同的场景;(ii)由于场景的相关对象可能以极其不同的尺度出现(例如,一片庄稼地和一辆小车)。我们基于两个想法提出了一个解决这些问题的方案:(i)我们一起使用一组合适的增强和一致性损失来指导模型学习语义表示,这些语义表示对于自顶向下视角的典型光度和几何变化是不变的(增广不变性);(ii)我们使用采样方法(自适应采样),该方法基于类的逐像素分布和实际网络置信度的测量来选择训练图像。通过在Aidure-Vision数据集上进行的一组广泛的实验,我们证明了我们提出的策略提高了当前最先进方法的性能。
2022-04-17 cs.CV
Fusing RGBD Tracking and Segmentation Tree Sampling for Multi-Hypothesis Volumetric Segmentation
University of Michigan(密歇根大学)
尽管近年来场景分割技术取得了快速的进展,但在严重遮挡情况下,三维场景分割方法仍然受到限制。关键的挑战是估计(部分)被遮挡对象的分割边界,当只考虑单个帧时,这些边界本身是模糊的。在这项工作中,我们提出了多假设分割跟踪(MST),体积分割在不断变化的场景,它允许场景的模糊性进行跟踪和我们的估计,随着时间的推移,我们与场景的互动进行调整的一种新方法。两个主要的创新使我们能够解决这个难题:1)一种从分割树中采样可能分割的新方法; 2)一种将跟踪结果与多个分割估计融合的新方法。这些方法允许MST随时间跟踪分割状态并包含新信息,例如正在显示的新对象。我们评估我们的方法在模拟和现实中的几个杂乱的桌面环境。我们的研究结果表明,MST优于基线在所有测试场景。
2021-04-01 cs.CV cs.RO
Calibrated and Efficient Sampling-Free Confidence Estimation for LiDAR Scene Semantic Segmentation
Institute of Cartography and Geoinformatics(制图与地理信息研究所);Leibniz University Hannover(汉诺威莱比锡大学)
针对自动驾驶中LiDAR点云语义分割的实时可信不确定性需求,提出一种无采样置信度估计方法,在ACE指标下保持良好校准并较采样基线提升推理速度,且预测偏欠自信,更适合安全关键场景。
2025-05-13 cs.CV cs.LG
Accelerating Diffusion Models via Pre-segmentation Diffusion Sampling for Medical Image Segmentation
Harbin Institute of Technology at Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
基于去噪扩散概率模型(DDPM),医学图像分割可以被描述为条件图像生成任务,其允许计算分割的逐像素不确定性图,并且允许分割的隐式集合以提高分割性能。然而,DDPM需要许多迭代去噪步骤来从高斯噪声中生成分割,从而导致非常低效的推理。为了缓解这个问题,我们提出了一个原则性的加速策略,称为预分割扩散采样DDPM(PD-DDPM),这是专门用于医学图像分割。其核心思想是基于单独训练的分割网络获得预分割结果,并根据前向扩散规则构建噪声预测(非高斯分布)。然后,我们可以从噪声预测开始,使用更少的反向步骤来生成分割结果。实验表明,PD-DDPM产生更好的分割结果比有代表性的基线方法,即使反向步骤的数量显着减少。此外,PD-DDPM与现有的高级分割模型正交,可以将其组合以进一步提高分割性能。
2022-10-27 cs.CV cs.LG eess.IV
Active learning for medical image segmentation with stochastic batches
ÉTS Montréal(蒙特利尔高等技术学院)
本文提出一种基于随机批次(SB)的主动学习方法,通过在批次层面计算不确定性,结合随机采样的多样性与速度,改进了医学图像分割中基于不确定性的采样策略,可作为强基线。
2023-09-08 cs.CV
Learning for Multi-Model and Multi-Type Fitting
National University of Singapore(新加坡国立大学);Intel Labs(英特尔实验室)
多模型拟合已经从随机抽样和聚类的角度得到了广泛的研究。大多数假设,只有一个单一的类型/类的模型是目前和他们的推广,以适应多种类型的模型/结构,同时是不平凡的。固有的挑战包括模型类型和数量的选择、采样不平衡和参数调整,所有这些都使得传统方法无效。在这项工作中,我们将多模型多类型拟合问题表述为学习聚类友好的深度特征嵌入问题之一。换句话说,相同聚类的点通过网络嵌入得更近。对于推理,我们应用K-means对嵌入式特征空间中的数据进行聚类,并通过分析K-means残差来进行模型选择。在合成和真实世界的多类型拟合数据集上进行了实验,产生了最先进的结果。在单类型多模型拟合任务上也进行了比较,结果也很有希望。
2019-01-29 cs.CV
Overcoming Limitations of Mixture Density Networks: A Sampling and Fitting Framework for Multimodal Future Prediction
University of Freiburg(弗莱堡大学)
未来预测是智能的基本原则,有助于计划行动和避免可能的危险。由于未来在很大程度上是不确定的,因此对未来状态的不确定性和多模态性进行建模具有重要意义。现有的方法在这方面是相当有限的,大多产生一个单一的假设的未来,或者在最好的情况下,强烈约束的混合物成分,遭受不稳定的训练和模式坍塌。在这项工作中,我们提出了一种方法,涉及预测的几个样本的未来与赢家通吃的损失和迭代分组的样本到多个模式。此外,我们还讨论了如何评估预测的多峰分布,包括常见的真实场景,其中只有一个来自地面实况分布的样本可用于评估。我们的合成和真实数据表明,所提出的方法触发良好的估计多峰分布,避免了模式坍塌。源代码可从$\href{https://github.com/lmb-freiburg/Multimodal-Future-Prediction}{\text{this https URL.}}$获得
2020-06-08 cs.CV
MCMC Guided CNN Training and Segmentation for Pancreas Extraction
Shenzhen University(深圳大学);Shantou Central Hospital(汕头市中心医院);The Affiliated Shantou Hospital of Sun Yat-sen University(中山大学附属汕头医院)
有效的器官分割是各种定量分析的前提。由于胰腺在形状、大小和位置上的高度解剖变异性,从腹部CT图像中分割胰腺是一项具有挑战性的任务。胰腺在腹腔内仅占很小的一部分,脏器边界模糊。这些因素使得其他器官的分割方法不太适合胰腺的分割。在这份报告中,我们提出了一个马尔可夫链蒙特卡罗(MCMC)采样引导卷积神经网络(CNN)的方法,以处理这种困难的形态和光度变化。具体而言,该方法主要包括三个步骤:首先,进行配准,以减轻体重和位置的变化。然后,采用MCMC采样来指导3D补丁的采样,将其馈送到CNN进行训练。同时,胰腺分布也被学习用于后续分割。第三,从学习的分布中采样,MCMC过程指导分割过程。最后,基于补丁的分割融合使用贝叶斯投票计划。该方法在NIH胰腺数据集上进行评价,该数据集包含82个腹部对比增强CT体积。最后,在测试数据中,我们取得了78.13%的骰子相似系数值和82.65%的召回值的竞争结果。
2020-03-09 cs.CV
Beyond Random Sampling: Distribution-Aware Alignment for Semi-Supervised Medical Image Segmentation
School of Automation and Intelligent Sensing, Shanghai Jiao Tong University(上海交通大学自动化与智能感知学院);Department of Ultrasound, Xinhua Hospital Affiliated to Shanghai Jiao Tong University School of Medicine(上海交通大学医学院附属新华医院超声科)
研究针对半监督医学图像分割中随机采样策略在低数据量时表征偏差的问题,提出基于分布对齐的高效框架,用分布感知样本选择策略和记忆引导复制粘贴模块,提升分割性能。
2026-07-07 cs.CV
CASED: Curriculum Adaptive Sampling for Extreme Data Imbalance
Imagia Cybernetics Inc.(Imagia控制论公司)
我们介绍了CASED,这是一种新型的课程采样算法,有助于在具有极端类别不平衡的数据集上优化深度学习分割或检测模型。我们评估了CASED学习框架在胸部CT肺结节检测任务上的应用。与两阶段解决方案相比,其中结节候选者首先由分割模型提出并由第二检测阶段细化,CASED将深结节分割模型(例如UNet)的训练改进到仅使用平凡检测阶段实现最新结果的程度。CASED改进了深度分割模型的优化,允许它们首先学习如何将结节与其周围环境区分开来,同时不断添加更大比例的难以分类的全局上下文,直到从经验数据分布中均匀采样。在训练过程中使用CASED产生了对肺结节检测问题的最低限度建议,其以88.35%的平均灵敏度得分超过了LUNA16结节检测基准。此外,我们发现,使用CASED训练的模型对结节注释质量具有鲁棒性,因为在训练期间仅提供每个地面真实结节的点和半径时,可以实现相当的结果。最后,CASED学习框架不对成像模态或分割目标做出任何假设,并且应该推广到其他医学成像问题,其中类不平衡是一个持续存在的问题。
2018-07-27 cs.CV
Sampling-based Uncertainty Estimation for an Instance Segmentation Network
University of Kassel(卡塞尔大学)
针对实例分割网络预测中的不确定性问题,本文基于MC-Dropout技术,采用贝叶斯高斯混合模型进行高效聚类以描述每个对象的不确定性,并集成focal loss与校准技术优化Mask-RCNN,实现每个实例最准确的不确定性近似。
2023-05-24 cs.CV
WaveSNet: Wavelet Integrated Deep Networks for Image Segmentation
Shenzhen University(深圳大学)
在深度网络中,丢失的数据细节显著降低了图像分割的性能。本文提出在特征图下采样时采用离散小波变换(DWT)提取数据细节,在上采样时对提取的细节采用逆小波变换(IDWT)恢复细节。我们首先将DWT/IDWT转换为通用网络层,适用于1D/2D/3D数据和各种小波,如Haar,Cohen和Daubechies等。然后,我们基于各种架构设计了用于图像分割的小波集成深度网络(WaveSNets),包括U-Net,SegNet和DeepLabv 3+。由于DWT/IDWT在处理数据细节方面的有效性,CamVid,Pascal VOC和Cityscapes上的实验结果表明,我们的WaveSNets比他们的vanilla版本实现了更好的分割性能。
2020-05-29 cs.CV
Fitting Segmentation Networks on Varying Image Resolutions using Splatting
KCL(伦敦国王学院);Athinoula A. Martinos Center for Biomedical Imaging(阿西诺拉·A·马蒂诺斯生物医学成像中心);MGH(麻省总医院);HMS(哈佛医学院);Wellcome Center for Human Neuroimaging(惠康人类神经成像中心);UCL(伦敦大学学院);Institute of Cognitive Neuroscience(认知神经科学研究所);Institute of Neurology(神经病学研究所)
图像分割中使用的数据并不总是在同一网格上定义。这对于医学图像尤其如此,其中分辨率、视场和方向可以在通道和对象之间不同。因此,图像和标签通常被重新采样到同一网格上,作为预处理步骤。然而,重建操作引入部分体积效应和模糊,从而改变有效分辨率并降低结构之间的对比度。在本文中,我们提出了一个splat层,它自动处理输入数据中的分辨率不匹配。这一层将每个图像推到执行前向传递的平均空间上。由于splat运算符是resort运算符的伴随运算符,因此可以将平均空间预测拉回到本地标签空间,在此计算损失函数。因此,消除了使用插值进行显式分辨率调整的需要。我们在两个公开可用的数据集上显示,模拟和真实的多模态磁共振图像,与作为预处理步骤的resstrom相比,该模型改善了分割结果。
2022-06-15 cs.CV eess.IV
Few-Shot Video Object Segmentation in X-Ray Angiography Using Local Matching and Spatio-Temporal Consistency Loss
University of East Anglia(东安大大学);King’s College London(伦敦国王学院);Fudan University(复旦大学)
本文提出了一种新颖的FSVOS模型,通过局部匹配策略限制搜索空间,采用非参数采样机制提升灵活性,并设计监督时空对比学习方案提升特征一致性,实验表明在CADICA、XACV和MOSXAV数据集上优于现有方法。
2026-03-17 cs.CV
Two-Step Active Learning for Instance Segmentation with Uncertainty and Diversity Sampling
University of Pittsburgh(匹兹堡大学);Google(谷歌);Boston University(波士顿大学)
针对实例分割标注成本高的问题,提出一种融合不确定性与多样性采样的两步事后主动学习算法,在多数据集上表现更优,并将真实俯视图像标注效率提升五倍。
2023-09-28 cs.CV cs.LG