Multimodal Point Cloud Semantic Segmentation With Virtual Point Enhancement
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology (HUST)(华中科技大学人工智能与自动化学院);School of Electronic Information and Communications, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院)
提出基于虚拟点增强的多模态点云语义分割方法,通过自适应滤波模块提取有效伪点并利用噪声鲁棒稀疏特征编码器,显著提升了中程和小型目标的分割精度。
2025-04-02 cs.CV
Visual Semantic Segmentation Based on Few/Zero-Shot Learning: An Overview
East China University of Science and Technology(华东理工大学);Tongji University(同济大学);Swinburne University of Technology(斯威本科技大学)
视觉语义分割的目的是将视觉样本分割成具有特定语义属性的不同块,并确定每个块的类别,它在环境感知中起着至关重要的作用。传统的基于学习的视觉语义分割方法严重依赖于具有密集注释的大规模训练数据,并且始终无法为不可见的类别估计准确的语义标签。这一障碍激发了在少量/零样本学习的帮助下研究视觉语义分割的热潮。少/zero-shot视觉语义分割的出现和迅速发展,使得从少量标记或零标记的样本中学习不可见的类别成为可能,从而推动了该方法向实际应用的扩展。因此,本文重点研究了近年来发表的几种基于少量/zero-shot的二维到三维空间的视觉语义分割方法,探讨了不同分割环境下技术解决方案的共性和差异。具体而言,少数/zero-shot视觉语义分割的问题,包括定义,典型的数据集,和技术补救措施,简要回顾和讨论。此外,还涉及三个典型的实例来揭示少/零样本学习与视觉语义分割的相互作用,包括图像语义分割、视频对象分割和3D分割。最后,讨论了少/zero-shot视觉语义分割的未来挑战。
2022-11-13 cs.CV
Comparison of the Deep-Learning-Based Automated Segmentation Methods for the Head Sectioned Images of the Virtual Korean Human Project
Nagoya University(名古屋大学);Ajou University School of Medicine(亚洲大学医学院)
提出了一种基于深度卷积神经网络(DCNN)的可视韩国人(VKH)项目头部切片图像的端到端全自动分割方法。通过将分类网络转换为全卷积网络(FCN),可以创建比原始输入图像更小的粗预测图,用于分割目的。为了细化该地图并获得密集的像素级输出,标准的FCN使用反卷积层来对粗略的地图进行上采样。然而,基于反卷积的上采样增加了网络参数的数量,并且由于插值而导致细节损失。另一方面,扩张卷积是最近引入的一种新技术,它试图在不增加网络参数的情况下捕获多尺度上下文信息,同时保持预测图的高分辨率。我们使用标准FCN和基于扩张卷积的FCN对VKH数据集的头部切片图像进行语义分割。定量结果表明,当使用扩张卷积的FCN时,分割精度提高了约20%。
2017-03-15 cs.CV
Can we cover navigational perception needs of the visually impaired by panoptic segmentation?
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Tongji University(同济大学)
视觉障碍者的导航感知已经通过经典的和基于深度学习的分割方法得到了实质性的提升。在经典的视觉识别方法中,分割模型大多是对象相关的,这意味着必须为感兴趣的对象设计特定的算法。相比之下,基于深度学习的模型(诸如实例分割和语义分割)允许为盲人个体单独地识别整个场景的一部分,即事物或东西。然而,两者都不能为视障人士提供对周围环境的整体理解。全景分割是一种新提出的视觉模型,其目标是统一语义分割和实例分割。出于这一动机,我们建议利用全景分割作为一种方法来导航视力受损的人,通过提供在视力受损的人附近的东西和东西的意识。我们证明,全景分割是能够配备一个整体的现实世界的场景感知,通过可穿戴的辅助系统的视觉障碍。
2020-07-20 cs.CV
Movable-Object-Aware Visual SLAM via Weakly Supervised Semantic Segmentation
Hong Kong University of Science and Technology(香港科技大学)
基于静态世界假设的视觉同时定位与地图构建(vSLAM)系统中,运动目标的存在会严重影响系统的性能。运动消除已经成功地解决了这个问题。两种主流的解决方案是基于几何约束或深度语义分割神经网络。前者依赖于静态多数假设,而后者需要劳动密集型的像素级注释。本文提出了一种新的弱监督语义分割方法。分割掩码是从仅用图像级类别标签预训练的CNN获得的。因此,我们利用深度语义分割CNN的能力,同时避免需要昂贵的注释进行训练。我们将我们的运动去除方法与ORB-SLAM 2系统相结合。在TUM RGB-D和KITTI立体声数据集上的实验结果证明了我们的优越性。
2019-07-31 cs.CV cs.RO
ViLiVO: Virtual LiDAR-Visual Odometry for an Autonomous Vehicle with a Multi-Camera System
Shanghai Jiao Tong University(上海交通大学);SAIC Motor(上海汽车集团股份有限公司)
在本文中,我们提出了一个多摄像机视觉里程计(VO)系统的自主车辆。我们的系统主要由一个虚拟激光雷达和一个姿态跟踪器。我们使用透视变换的方法来合成一个环绕视图的图像从无失真的鱼眼相机图像。利用语义分割模型,可以提取出自由空间。虚拟激光雷达的扫描是通过离散化自由空间的轮廓来生成的。在姿态跟踪方面,提出了一种融合特征匹配和虚拟激光雷达扫描匹配结果的视觉里程计系统。只有那些位于自由空间区域中的特征点被用来确保用于位姿估计的2D-2D匹配。此外,进行光束法平差(BA),以最小化特征点重投影误差和扫描匹配误差。我们将我们的系统应用于配备四个鱼眼摄像头的自动驾驶汽车。测试场景包括室外停车场和室内车库。实验结果表明,我们的系统实现了更强大的和准确的性能相比,基于鱼眼相机的单目视觉里程计系统。
2019-09-30 cs.CV cs.RO
Privacy-Preserving Semantic Segmentation from Ultra-Low-Resolution RGB Inputs
University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习和人工智能研究所);Center for Robotics(机器人中心)
本文提出一种全新联合学习框架,解决超低分辨率RGB输入下的语义分割难题,通过实验验证方法在隐私保护与分割性能间取得良好平衡,并在真实机器人任务中成功应用。
2026-04-04 cs.CV cs.RO
Visual-hint Boundary to Segment Algorithm for Image Segmentation
Southern Methodist University(南卫理公会大学)
图像分割一直是图像分析领域中一个非常活跃的研究课题。目前,大多数图像分割算法都是基于这样的思想设计的,即图像被划分为一组区域,这些区域保持内部区域的均匀性和内部区域的不均匀性。然而,人类的视觉直觉并不总是遵循这种模式。提出了一种新的图像分割方法--视觉提示边界分割法(VHBS)。VHBS遵循两个基于人类感知的视觉提示规则:(i)全局尺度边界往往是对象的真实边界;(ii)具有完全不同颜色或纹理的两个相邻区域往往导致它们之间的真实边界。实验结果表明,与传统的图像分割方法相比,VHBS方法具有更好的分割效果,同时保持了更高的计算效率。
2010-10-03 cs.CV
Zero-Shot Semantic Segmentation via Spatial and Multi-Scale Aware Visual Class Embedding
MINDsLab Inc.(MINDsLab 公司);Agency for Defense Development(国防发展局)
全监督语义分割技术带来了场景理解的范式转变。然而,昂贵的标签成本负担仍然是一个挑战。为了解决成本问题,近年来的研究提出了基于语言模型的zero-shot语义分割(L-SLOSS)方法。在本文中,我们解决了L-CSSs的局限性,推广是一个优点,零样本学习。针对这一局限性,本文提出了一种无语言模型的zero-shot语义分割框架--空间和多尺度感知的视觉类嵌入网络(SM-VCENet)。此外,利用面向视觉的类嵌入SM-VCENet通过多尺度注意和空间注意丰富了类嵌入的视觉信息。我们还提出了一个新的基准(PASCAL 2 COCO)的zero-shot语义分割,它提供了泛化评价领域自适应,并包含视觉上具有挑战性的样本。在实验中,我们的SM-VCENet优于zero-shot语义分割国家的最先进的PASCAL-5i基准测试的相对利润,并显示在PASCAL 2COCO基准测试的泛化鲁棒性。
2021-12-20 cs.CV
Egocentric Human Segmentation for Mixed Reality
Universidad Autonoma de Madrid(马德里自治大学);Nokia Bell-Labs(诺基亚贝尔实验室)
本文的目标是利用语义分割网络从以自我为中心的视频中分割出人体部位。我们的贡献是双重的:i)我们创建了一个半合成数据集,由超过15,000张真实图像和以自我为中心的人体部位的相关像素标签组成,例如包含不同人口统计因素的手臂或腿; ii)基于ThunderNet架构,我们实现了一种深度学习语义分割算法,该算法能够执行超过实时要求(720 x 720图像为16 ms)。相信该方法将增强虚拟环境的临场感,并将构成一个更真实的解决方案,以标准的虚拟化身。
2020-06-08 cs.CV
AV-SAM: Segment Anything Model Meets Audio-Visual Localization and Segmentation
Carnegie Mellon University(卡内基梅隆大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对SAM在音频-视觉任务中探索不足的问题,提出AV-SAM框架,通过像素级音视融合聚合跨模态表征生成发声物体掩码,在相关数据集上取得有竞争力的定位与分割性能。
2023-05-03 cs.CV cs.LG cs.MM
VIPA: Visual Informative Part Attention for Referring Image Segmentation
Sogang University(西江大学);LG Electronics(LG电子);Samsung Electronics(三星电子)
VIPA通过视觉信息部分注意力和视觉表达生成器提升指认图像分割的细粒度分割性能。
2026-02-16 cs.AI cs.CV
Fine-Grained Segmentation Networks: Self-Supervised Segmentation for Improved Long-Term Visual Localization
Chalmers University of Technology(查尔姆斯理工大学)
长期视觉定位是在外观随时间变化的场景中估计给定查询图像的相机姿态的问题。这是实践中的一个重要问题,例如在自动驾驶中遇到的问题。为了获得对这种变化的鲁棒性,长期定位方法通常使用分段分割作为不变的场景表示,因为每个场景部分的语义含义不应受到季节和其他变化的影响。然而,由于可用类别的数量有限,这些表示通常不是非常有区别的。在本文中,我们提出了一种新的神经网络,细粒度分割网络(FGSN),可用于提供图像分割与大量的标签,并可以在一个自我监督的方式进行训练。此外,我们还展示了如何训练FGSN在季节变化中输出一致的标签。我们通过大量的实验证明,将我们的FGSN产生的细粒度分割集成到现有的定位算法中,可以大大提高定位性能。
2019-08-18 cs.CV
Surgical fine-tuning for Grape Bunch Segmentation under Visual Domain Shifts
Politecnico di Milano(米兰理工大学);Università Cattolica del Sacro Cuore(圣心天主教大学)
本文首次将手术式微调应用于实例分割任务,通过选择性微调特定模型层,使预训练深度学习模型适应引入视觉域偏移的新采集葡萄串图像,同时大幅减少微调参数数量。
2023-07-03 cs.CV cs.LG cs.RO
On The Robustness of Foundational 3D Medical Image Segmentation Models Against Imprecise Visual Prompts
University of California, San Diego(加州大学圣地亚哥分校)
本研究探讨了基础3D医学图像分割模型在面对不精确视觉提示时的鲁棒性,通过实验揭示了模型对视觉形状和空间线索的依赖性及扰动的抗性。
2026-01-23 cs.CV eess.IV
OpenSeg-R: Improving Open-Vocabulary Segmentation via Step-by-Step Visual Reasoning
Mohamed Bin Zayed University of Artificial Intelligence(莫扎德大学人工智能学院);Tianjin University(天津大学);Nanjing University(南京大学);Aalto University(艾尔沃斯大学)
针对现有开放词汇分割方法缺乏显式推理、难以区分相似类别的问题,提出OpenSeg-R框架,借助大型多模态模型进行分层逐步视觉推理生成提示,在多个基准的语义与全景分割任务上取得性能提升,同时增强了可解释性。
2025-08-01 cs.CV
Self-supervised Semantic Segmentation Grounded in Visual Concepts
Robert Bosch Research and Technology Center North America(北美罗伯特·博世研究与技术中心);Robert Bosch GmbH(罗伯特·博世有限公司)
无监督的语义分割需要为每个像素分配一个标签,而不需要任何人工注释。尽管最近在个体图像的自监督表示学习方面取得了进展,但具有像素级表示的无监督语义分割仍然是一项具有挑战性的任务,并且仍然未得到充分探索。在这项工作中,我们提出了一个自我监督的像素表示学习方法的语义分割通过使用视觉概念(即,具有语义含义的像素组,例如部件、对象和场景)。为了指导自监督学习,我们利用像素和概念之间的三种类型的关系,包括像素和局部概念之间的关系,局部和全局概念之间的关系,以及概念的同现。我们在三个数据集上评估了学习的像素嵌入和视觉概念,包括PASCAL VOC 2012,COCO 2017和DAVIS 2017。我们的研究结果表明,该方法获得了一致的和实质性的改进,最近的无监督语义分割方法,也表明,视觉概念可以揭示图像数据集的见解。
2022-07-26 cs.AI cs.CV
Visual Boundary Knowledge Translation for Foreground Segmentation
Zhejiang University(浙江大学);Zhejiang Lab(之江实验室);Stevens Institute of Technology(斯蒂文斯理工学院);Jiangsu University of Science and Technology(江苏科技大学)
当面对图像中未知类型的物体时,人类可以毫不费力地精确地说出它们的视觉边界。这种识别机制和潜在的泛化能力似乎与依赖于大规模类别感知注释训练样本的最先进的图像分割网络形成对比。在本文中,我们尝试构建明确考虑视觉边界知识的模型,希望减少分割未见过类别的训练工作。具体来说,我们研究了一个新的任务,称为边界知识翻译(BKT)。给定一组完全标记的类别,BKT的目标是将从标记类别中学习到的视觉边界知识转换为一组新的类别,每个类别仅提供少量标记样本。为此,我们提出了一个翻译分割网络(Trans-Net),它包括一个分割网络和两个边界判别器。分割网络结合边界感知的自监督机制进行前景分割,而两个判别器以对抗的方式共同工作,以确保在轻监督下准确分割新类别。详尽的实验表明,只有几十个标记样本作为指导,Trans-Net实现了与完全监督方法相当的接近结果。
2021-08-01 cs.CV
Self-Supervised Audio-Visual Co-Segmentation
MIT(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
分割图像中的对象和分离音频中的声源是具有挑战性的任务,部分原因是传统方法需要大量的标记数据。在本文中,我们开发了一个神经网络模型的视觉对象分割和声音声源分离,学习自然视频通过自我监督。该模型是最近提出的将图像像素映射到声音的工作的扩展。在这里,我们引入了一种学习方法来解开神经网络中的概念,并将语义类别分配给网络特征通道,以便在视频上进行视听训练后实现独立的图像分割和声音声源分离。我们的评估表明,解开模型优于几个基线在语义分割和声音声源分离。
2019-04-18 cs.CV cs.SD eess.AS
Weakly-supervised fire segmentation by visualizing intermediate CNN layers
Instituto Superior Tecnico, University of Lisbon(里斯本大学高等技术学院)
图像和视频中的火灾定位是自治系统对抗火灾事件的重要步骤。基于深度神经网络的最先进的图像分割方法需要大量的像素注释样本来以完全监督的方式训练卷积神经网络(CNN)。在本文中,我们考虑弱监督分割图像中的火灾,其中只有图像标签被用来训练网络。我们表明,在火灾分割的情况下,这是一个二进制分割问题,在中间层的分类CNN的特征的平均值可以比传统的类激活映射(CAM)方法更好地执行。我们还建议通过在最后一个卷积层的特征上添加旋转等变正则化损失来进一步提高分割精度。我们的研究结果表明,明显的改善基线方法弱监督火灾分割。
2021-11-16 cs.CV
NVSMask3D: Hard Visual Prompting with Camera Pose Interpolation for 3D Open Vocabulary Instance Segmentation
Aalto University(阿莱大学);University of Helsinki(赫尔辛基大学);University of Oulu(奥卢大学)
提出NVSMask3D,一种基于三维高斯泼溅和相机位姿插值的免训练硬视觉提示方法,通过生成多样化视角并强制几何一致性,增强视觉语言模型在三维开放词汇实例分割中的性能。
2025-04-20 cs.CV
Segment-Phrase Table for Semantic Segmentation, Visual Entailment and Paraphrasing
University of Washington(华盛顿大学);The Allen Institute for AI(艾伦人工智能研究所)
我们介绍段短语表(SPT),文本短语和它们相应的分割之间的双射关联的大集合。利用对象识别和自然语言语义的最新进展,我们展示了如何成功地建立一个高质量的段短语表,使用最少的人的监督。更重要的是,我们展示了这种丰富的双峰资源所释放的独特价值,无论是视觉还是自然语言理解。首先,我们表明,细粒度的文本标签促进上下文推理,有助于满足跨图像段的语义约束。此功能使我们能够在基准数据集上实现最先进的分割结果。接下来,我们表明,高质量的分割文本短语的关联有助于更丰富的语义理解和推理这些文本短语。利用这一功能,我们激发了视觉蕴涵和视觉释义的问题,并展示了它在大型数据集上的实用性。
2015-09-27 cs.CV
Primitive Generation and Semantic-related Alignment for Universal Zero-Shot Segmentation
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学)
本文提出一种基于生成模型和语义相关对齐的通用零样本分割方法,通过原始特征组装与特征解耦,实现全景、实例和语义分割的最先进性能。
2023-06-19 cs.CV
Show or Tell? A Benchmark To Evaluate Visual and Textual Prompts in Semantic Segmentation
Politecnico di Torino(都灵理工大学);Focoos AI
本文提出SoT基准,首次在14个数据集上统一比较语义分割中文本与视觉提示,发现开放词汇方法擅长常见概念但弱于复杂领域,视觉参考方法平均好但波动大,为未来研究提供指导。
2025-05-06 cs.CV
Less is More: Encoder-only Audio-Visual Segmentation
Tampere University(坦佩雷大学)
提出仅编码器的音视频分割模型EASE,简化架构,实现365 FPS高速运行,训练不足11 GPU小时,在多种骨干和分辨率下达到最先进性能,证明AVSS可更简单高效。
2026-09-25 cs.AI cs.CV
Audio-Visual Segmentation with Semantics
Hefei University of Technology(合肥工业大学);Sensetime Research(商汤科技研究院);University of Oxford(牛津大学);Beihang University(北京航空航天大学);Australian National University(澳大利亚国立大学);Nvidia(英伟达);University of Hong Kong(香港大学);Shanghai AI Lab(上海人工智能实验室)
我们提出了一个新的问题,称为视听分割(AVS),其中的目标是输出一个像素级的映射的对象(S),在图像帧的时间产生声音。为了促进这项研究,我们构建了第一个视听分割基准,即,AVSBench,为可听视频中的发声对象提供像素级注释。它包含三个子集:AVSBench-object(单源子集,多源子集)和AVSBench-semantic(语义标签子集)。因此,研究了三种设置:1)具有单个声源的半监督视听分割; 2)具有多个声源的全监督视听分割;以及3)全监督视听语义分割。前两个设置需要生成表示与音频对应的像素的发声对象的二进制掩码,而第三个设置还需要生成表示对象类别的语义映射。为了解决这些问题,我们提出了一种新的基线方法,该方法使用时间像素级视听交互模块来注入音频语义作为视觉分割过程的指导。我们还设计了一个正则化损失,以鼓励在训练过程中的视听映射。AVSBench上的定量和定性实验将我们的方法与相关任务的几种现有方法进行比较,表明所提出的方法有希望在音频和像素视觉语义之间建立桥梁。代码可在https://github.com/OpenNLPLab/AVSBench上获得。在线基准测试可在http://www.avlbench.opennlplab.cn上获得。
2023-01-30 cs.CV
InstructSeg: Unifying Instructed Visual Segmentation with Multi-modal Large Language Models
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Meituan Inc.(美团公司)
本文定义了指令式视觉分割(IVS)任务,并提出端到端流程 InstructSeg,利用多模态大语言模型统一图像与视频的指代与推理分割,通过对象感知与多粒度文本融合实现单一模型在多任务上的卓越性能。
2024-12-18 cs.CV
Visual Localization Using Semantic Segmentation and Depth Prediction
OPPO Research Institute(OPPO研究院)
在本文中,我们提出了一个单目视觉定位管道利用语义和深度线索。我们应用语义一致性评价对图像检索结果进行排序,并使用一种实用的聚类技术来拒绝估计离群值。此外,我们证明了一个显着的性能提升实现了多个特征提取器的组合。此外,通过使用深度预测与深度神经网络,我们表明,大量的错误匹配的关键点被识别和消除。在2020年的长期视觉定位基准测试中,拟议的管道优于大多数现有方法。
2020-05-25 cs.CV
X2SAM: Any Segmentation in Images and Videos
Sun Yat-Sen University(中山大学);Peng Cheng Laboratory(鹏城实验室)
X2SAM是一种统一的分割多模态大语言模型,能够将图像分割能力扩展到视频,结合LLM和Mask Memory模块,支持通用、开放词汇、指称、推理、基于视觉的对话生成及交互式分割。
2026-04-27 cs.AI cs.CV
ProSAM: Enhancing the Robustness of SAM-based Visual Reference Segmentation with Probabilistic Prompts
Bosch Research North America(博世北美研究院);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心)
ProSAM通过变分提示编码器预测多元提示分布,避免生成不稳定区域提示,从而增强基于SAM的视觉参考分割的鲁棒性,并在Pascal-5$^i$和COCO-20$^i$数据集上超越现有方法。
2025-08-03 cs.CV
Impact of LiDAR visualisations on semantic segmentation of archaeological objects
Center for Cultural Heritage Technology, Istituto Italiano di Tecnologia(意大利技术研究院文化遗产技术中心);Research Centre of the Slovenian Academy of Sciences and Arts(斯洛文尼亚科学与艺术学院研究中心)
本文通过综合测试框架评估了七种LiDAR可视化方法在八个语义分割模型和五个考古类别上的表现,发现可视化选择对性能影响达8%,不同配置间差异高达25%,强调了合理选择模型与可视化的重要性。
2024-09-20 cs.CV
This is not what I imagined: Error Detection for Semantic Segmentation through Visual Dissimilarity
ETH Zurich(苏黎世联邦理工学院)
由于深度学习的能力,语义分割的准确性已经有了显著的进步。不幸的是,这些方法不能推广到比它们的训练数据的分布更远的地方,并且不能适当地处理分布外的类。这限制了对自主或安全关键系统的适用性。我们提出了一种新的方法,利用生成模型来检测错误分割或分布外的实例。以预测的语义分割为条件,生成RGB图像。然后,我们学习相异性度量,将生成的图像与原始输入进行比较,并检测由语义分割引入的不一致性。我们提出了测试用例离群值和误分类检测和评估我们的方法定性和定量多个数据集。
2019-09-02 cs.CV
XAI-Enhanced Semantic Segmentation Models for Visual Quality Inspection
Friedrich-Alexander-University Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);Software AG(Software AG公司);University of New Brunswick(新不伦瑞克大学)
本文提出一个结合CAM解释与专家知识的XAI增强框架,通过训练、解释、评估和标注增强四个阶段改进语义分割模型,实验表明其在复杂目标分割上优于原始DeepLabv3-ResNet101。
2024-01-18 cs.AI cs.CV
Visualizing Coalition Formation: From Hedonic Games to Image Segmentation
UFRJ(里约热内卢联邦大学)
本文通过图像分割技术研究享乐博弈中联盟形成的过程,揭示细粒度参数对均衡结构的影响,并将多代理系统与图像分割联系起来。
2026-03-09 cs.AI cs.CV
Interactive Segmentation and Visualization for Tiny Objects in Multi-megapixel Images
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);Las Cumbres Observatory(拉斯坎布雷斯天文台)
我们介绍了一个交互式图像分割和可视化框架,用于识别,检查和编辑大型多百万像素高动态范围(HDR)图像中的微小对象(只有几个像素宽)。在天文观测中检测宇宙射线(CR)是一个繁琐的工作流程,需要多种工具,因此我们开发了一个交互式工具包,将模型推理、HDR图像可视化、分割掩模检查和编辑统一到单个图形用户界面中。该功能集最初是为天文数据设计的,使这项工作成为生物医学、材料科学、遥感等科学领域中人类参与的微小物体分割的有用研究支持工具,以及计算机视觉。我们的界面具有鼠标控制,同步,双窗口可视化的图像和分割掩模,一个关键的功能,定位微小物体在多百万像素的图像。基于浏览器的工具可以很容易地托管在Web上,为任何设备提供多用户访问和GPU加速。该工具包还可以用作高精度注释工具,或用作交互式机器学习框架的前端。我们的开源数据集、CR检测模型和可视化工具包可在https://github.com/cy-xu/cosmic-conn上获得。
2022-04-21 astro-ph.IM cs.CV cs.HC
RSRefSeg: Referring Remote Sensing Image Segmentation with Foundation Models
Beihang University(北京航空航天大学)
针对现有指代式遥感图像分割方法细粒度语义对齐弱、跨模态表征不一致的问题,提出结合CLIP与SAM的基础模型RSRefSeg,通过全局局部文本语义滤波生成激活特征引导SAM分割,在RRSIS-D数据集上取得更优性能。
2025-01-12 cs.CV
Trend-Aware Fashion Recommendation with Visual Segmentation and Semantic Similarity
University of Luxembourg(卢森堡大学)
本文提出融合视觉分割、语义相似度、流行度匹配与用户行为模拟的趋势感知时尚推荐框架,并在 DeepFashion 上验证其类别相关性与流行度预测效果。
2025-06-09 cs.CV cs.LG
How Do Optical Flow and Textual Prompts Collaborate to Assist in Audio-Visual Semantic Segmentation?
Hong Kong Baptist University(香港 Baptist 大学);Guangdong Provincial/Zhuhai Key Laboratory IRADS(广东省级/珠海关键实验室 IRADS);Department of Computer Science, Beijing Normal-Hong Kong Baptist University, Zhuhai, China(计算机科学系,北京师范大学-香港 Baptist 大学,珠海,中国);Peking University, Shenzhen Graduate School, Shenzhen, China(北京大学,深圳研究生院,深圳,中国)
SSP通过整合光学流和文本提示,提升音频视觉语义分割的精度与效率。
2026-03-02 cs.AI cs.CV
3D-PointZshotS: Geometry-Aware 3D Point Cloud Zero-Shot Semantic Segmentation Narrowing the Visual-Semantic Gap
Syracuse University(雪城大学)
针对现有零样本3D点云分割方法迁移能力有限的问题,提出几何感知框架3D-PointZshotS,通过潜在几何原型增强特征生成与对齐,引入自一致性损失提升鲁棒性,在三个数据集上的调和mIoU优于基线。
2025-04-16 cs.CV
Incorporating Feature Pyramid Tokenization and Open Vocabulary Semantic Segmentation
Zhejiang University(浙江大学)
本文提出特征金字塔词元化(PAT),通过可学习码本聚类多分辨率特征并联合学习像素重构与语义分割,以统一的感知与语义词元压缩促进开放词汇语义分割,在提升基线性能的同时保持参数高效性。
2024-12-18 cs.CV
Segment Beyond View: Handling Partially Missing Modality for Audio-Visual Semantic Segmentation
The University of Adelaide(阿德莱德大学)
针对AR设备摄像头视野受限导致视野外车辆等目标难以感知的问题,提出SBV音视频语义分割方法,通过Omni2Ego师生蒸馏融合听觉信息,实现视野外目标分割并取得优于现有模型的稳定性能。
2024-09-05 cs.CV cs.SD eess.AS
SOUPLE: Enhancing Audio-Visual Localization and Segmentation with Learnable Prompt Contexts
Deakin University(德克萨斯大学);National Cancer Center(国立癌症中心)
SOUPLE通过可学习的上下文标记提升音频-视觉定位与分割性能,利用视觉特征生成条件上下文以连接音频与视觉输入。
2026-03-24 cs.CV
VocaDet: Sample-Driven Open-Vocabulary Object Detection and Segmentation via Visual Tokenization and Vector Database Retrieval
PowerChina Zhongnan Engineering Corporation Limited(中国电建集团中南勘测设计研究院有限公司)
VocaDet是样本驱动的开放词汇目标检测与分割框架,通过视觉词元化及向量数据库检索,直接从用户样本集学习物体概念,无需模型重训,能有效检测,支持识别能力随样本积累扩展,减少背景冗余检索。
2026-07-10 cs.AI cs.CV
Re-purposing SAM into Efficient Visual Projectors for MLLM-Based Referring Image Segmentation
Zhejiang University(浙江大学)
针对MLLM与SAM结合的指代图像分割中视觉token冗余问题,提出利用SAM生成语义超像素作为视觉投影器,减少93%视觉token且不损失性能,显著提升训练推理效率。
2025-09-17 cs.AI cs.CV
Context-aware virtual adversarial training for anatomically-plausible segmentation
Ecole de technologie supérieure(高等技术学院);Shandong University(山东大学)
尽管具有出色的准确性,但基于深度神经网络的半监督分割方法仍然可以产生临床医生认为在解剖学上不可能的预测,例如,包含孔或断开的区域。为了解决这个问题,我们提出了一个上下文感知的虚拟对抗训练(CaVAT)方法生成解剖学上合理的分割。与只关注准确性的方法不同,我们的方法还考虑了复杂的拓扑约束,如连接性,这不能很容易地在可微损失函数中建模。我们使用对抗性训练来生成违反约束的示例,因此网络可以学习避免对新示例进行这种错误的预测,并使用Reinforce算法来处理不可微的分割约束。所提出的方法提供了一种通用且有效的方法来在任何分割网络上添加任何约束。两个临床相关的数据集上的实验表明,我们的方法产生的分割是准确的和解剖学上合理的区域连接。
2021-07-13 cs.CV
Polyline Generative Navigable Space Segmentation for Autonomous Visual Navigation
Indiana University(印第安纳大学);Tulane University(杜兰大学)
可导航空间检测是移动机器人在未知或无地图环境中导航的基本能力。在这项工作中,我们把视觉导航空间分割作为一个场景分解问题,并提出折线分割变分自编码器网络(PSV-Net),一个表示学习为基础的框架,学习导航空间分割的自我监督的方式。目前的分割技术严重依赖于全监督学习策略,这需要大量的像素级注释图像。在这项工作中,我们提出了一个利用变分自编码器(VAE)和自编码器(AE)来学习折线表示的框架,该表示紧凑地勾勒出所需的可导航空间边界。通过大量的实验,我们验证了所提出的PSV网络可以在没有或很少标签的情况下学习视觉导航空间,从而产生与使用所有可用标签的完全监督的最先进方法相当的准确性。此外,我们表明,整合建议的可导航空间分割模型与视觉规划,可以实现高效的无地图导航在现实环境中。
2023-03-05 cs.CV cs.RO
Meta Compositional Referring Expression Segmentation
Singapore University of Technology and Design(新加坡科技设计大学);ByteDance(字节跳动);Institute for Infocomm Research(资讯通信研究院);Centre for Frontier AI Research(前沿人工智能研究中心)
本文提出元组合指代表达分割框架MCRES,通过构建虚拟训练集与多层级虚拟测试集并结合元优化,增强模型对概念新组合的泛化能力,在三个基准数据集上验证了有效性。
2023-04-12 cs.CV
CtrlVTON: Controllable Virtual Try-On via Visual-Instance-Prompt Segmentation
NXN Labs(NXN实验室);KAIST(韩国科学技术院)
研究旨在解决虚拟试穿中用户对服装穿着方式控制不足的问题。提出通过VIP - SAM解决视觉实例提示分割,引入CtrlVTON可控框架,将试穿转为图像编辑问题并添加分割掩码控制布局。二者在各自任务达先进水平,CtrlVTON能更忠实地遵循用户布局且保证服装逼真度。
2026-07-13 cs.AI cs.CV
Online Segment 3D Gaussians via Launching Virtual Drones
Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology, Shenzhen Graduate School, Peking University(广东省超高清沉浸式媒体技术重点实验室,北京大学深圳研究生院);Pengcheng Laboratory(鹏城实验室);Peking University(北京大学)
提出SAGO框架,通过虚拟无人机将3D分割转化为在线最佳视角规划任务,无需预设置即可在亚秒内从3D高斯体中提取干净3D资产。
2026-07-03 cs.CV
Virtual Testbed for Monocular Visual Navigation of Small Unmanned Aircraft Systems
Air Force Institute of Technology(空军理工学院)
单目视觉导航方法在过去十年中取得了重大进展,最近产生了几种实时解决方案,用于自主导航小型无人驾驶飞机系统,而无需依赖GPS。这对于可能涉及GPS信号降级或拒绝的环境的军事行动至关重要。然而,测试和比较视觉导航算法仍然是一个挑战,因为视觉数据是昂贵的收集。在进行户外测试之前,在虚拟环境中进行飞行测试是一个有吸引力的解决方案。这项工作提出了一个虚拟的测试平台进行模拟飞行测试,在现实世界的地形和分析的实时性能的视觉导航算法在31赫兹。创建该工具的目的是最终找到一种视觉里程计算法,该算法适用于在固定翼飞机上进一步进行GPS拒绝导航研究,尽管所有算法都是为其他模态设计的。该测试平台用于在固定翼平台上评估三种当前最先进的开源单眼视觉里程计算法:直接稀疏里程计、半直接视觉里程计和ORB-SLAM 2(禁用环路闭合)。
2020-07-01 cs.CV cs.RO
High-Resolution Virtual Try-On with Misalignment and Occlusion-Handled Conditions
Soongsil University(崇实大学);Korea Advanced Institute of Science and Technology(韩国科学技术院);Nestyle Inc.(Nestyle公司)
基于图像的虚拟试穿旨在合成穿着给定服装的人的图像。为了解决这个问题,现有的方法变形的服装项目,以适应人的身体,并产生的分割图的人穿着的项目之前,融合的项目与人。然而,当变形和分割生成阶段在没有信息交换的情况下单独操作时,发生变形的衣服和分割图之间的未对准,这导致最终图像中的伪影。信息断开还导致被身体部位遮挡的衣服区域附近的过度翘曲,即所谓的像素挤压伪影。为了解决这些问题,我们提出了一种新的试穿条件生成器作为两个阶段的统一模块(即,扭曲和分段生成阶段)。新提出的特征融合模块在条件发生器中实现了信息交换,并且条件发生器不会产生任何错位或像素挤压伪影。我们还引入了过滤器拒绝,过滤掉不正确的分割图预测,并确保虚拟试穿框架的性能。在高分辨率数据集上的实验表明,我们的模型成功地处理了错位和遮挡,并显着优于基线。代码可在https://github.com/sangyun884/HR-VITON上获得。
2022-07-20 cs.AI cs.CV
Improving Myocardium Segmentation in Cardiac CT Angiography using Spectral Information
Image Sciences Institute, University Medical Center Utrecht(乌得勒支大学医学中心影像科学研究所);Department of Radiology, University Medical Center Utrecht(乌得勒支大学医学中心放射科)
心脏CT血管造影(CCTA)中左心室心肌的准确分割对于例如心肌灌注的评估至关重要。CCTA中用于分割的自动深度学习方法可能会因非标准化造影剂给药方案和不同的心输出量而受到训练数据和测试数据之间造影剂衰减差异的影响。我们建议增强的训练数据与虚拟单能量重建从光谱CT扫描仪,显示不同的衰减水平的造影剂。我们将其与所有强度值的线性缩放的增强进行比较,并将这两种类型的增强结合起来。我们训练一个3D全卷积网络(FCN)与10个传统的CCTA图像和相应的虚拟单能量重建上获得的光谱CT扫描仪,并评估40 CCTA扫描上获得的传统CT扫描仪。我们表明,使用虚拟单能量图像进行数据增强的训练比仅使用常规图像进行训练的训练有所改善(Dice相似系数(DSC)0.895 $\pm$ 0.039 vs. 0.846 $\pm$ 0.125)。相比之下,使用线性缩放的数据增强训练将DSC提高到0.890 $\pm$ 0.039。此外,结合两种增强方法的结果导致DSC为0.901 $\pm$ 0.036,表明两种增强导致分割的不同局部改善。我们的研究结果表明,虚拟单能量图像提高了用于CCTA图像中心肌分割的FCN的泛化能力。
2019-01-28 cs.CV
Weakly-Supervised Audio-Visual Segmentation
CMU(卡内基梅隆大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对音视频分割中像素级掩码标注成本高的问题,提出弱监督框架WS-AVS,通过多尺度多实例对比学习实现多尺度音视频对齐,在AVSBench上验证了单源和多源场景下的有效性。
2023-11-25 cs.AI cs.CV cs.LG
Page Segmentation using Visual Adjacency Analysis
University of British Columbia(不列颠哥伦比亚大学)
页面分割是一个网页分析过程,它将页面划分为具有内聚性的段,例如侧边栏、页眉和页脚。当前的页面分割方法使用页面的DOM、文本内容或呈现样式信息。然而,这些方法有许多缺点,例如大量的参数和关于页面的刚性假设,这对它们的分割精度产生了负面影响。我们提出了一种新的页面分割方法的基础上视觉分析的局部邻接区域。它结合了DOM属性和视觉分析来构建给定页面的特征,并指导无监督聚类。我们评估我们的方法对35个真实世界的网页,并检查分割的有效性和效率。实验结果表明,与现有方法相比,该方法的精度平均提高了156%,F测度平均提高了249%。
2021-12-11 cs.CV