SAM-R1: Leveraging SAM for Reward Feedback in Multimodal Segmentation via Reinforcement Learning
本文提出SAM-R1框架,通过整合任务特定的细粒度奖励与定制优化目标,提升多模态模型在图像理解任务中的细粒度推理与分割对齐能力,仅用3k训练样本即在多个基准上取得优异表现。
2026-03-16 cs.CV
TranSiam: Fusing Multimodal Visual Features Using Transformer for Medical Image Segmentation
Tianjin University(天津大学);Central South University(中南大学);University of South Carolina(南卡罗来纳大学)
基于多模态的医学图像自动分割是疾病诊断的一个重要课题。虽然卷积神经网络(CNN)在图像分割任务中已被证明具有优异的性能,但难以获得全局信息。全局信息的缺乏会严重影响病变区域分割结果的准确性。此外,同一患者的多模态数据之间存在视觉表示差异。这些差异将影响自动分割方法的结果。为了解决这些问题,我们提出了一种适用于多模态医学图像的分割方法,可以捕获全局信息,命名为TranSiam。TranSiam是一个2D双路径网络,可以提取不同模态的特征。在每一条路径中,我们在低层利用卷积来提取细节信息,在高层设计一个ICMT模块来提取全局信息。ICMT模块将卷积嵌入到Transformer中,可以在提取全局信息的同时保留空间和细节信息。此外,我们设计了一种新的融合机制,称为TMM块的交叉注意和自注意的基础上,它可以有效地融合不同模态之间的功能。在BraTS 2019和BraTS 2020多模态数据集上,我们的准确性比其他流行方法有了显着提高。
2022-04-26 cs.CV
Recurrent Multimodal Interaction for Referring Image Segmentation
Johns Hopkins University(约翰斯·霍普金斯大学);Adobe Research(Adobe 研究院)
在本文中,我们感兴趣的问题,图像分割给定的自然语言的描述,即引用表达式。现有的作品解决这个问题,首先建模图像和句子独立,然后分割图像结合这两种类型的表示。我们认为,从联合建模图像分割任务的两种模态的意义上说,学习单词到图像的交互更原生,我们提出了卷积多模态LSTM来编码单个单词,视觉信息和空间信息之间的顺序交互。我们表明,我们提出的模型优于基准数据集上的基线模型。此外,我们还分析了所提出的多模态LSTM方法的中间输出,并实证解释了这种方法如何实现更有效的文字到图像的交互。
2017-08-04 cs.CV
DepthFormer: Multimodal Positional Encodings and Cross-Input Attention for Transformer-Based Segmentation Networks
University of Padova(帕多瓦大学)
大多数用于语义分割的方法仅使用来自彩色相机的信息来解析场景,然而最近的进展表明,使用深度数据允许进一步提高性能。在这项工作中,我们专注于基于transformer的深度学习架构,这些架构在分割任务上实现了最先进的性能,我们建议通过将深度信息嵌入到位置编码中来使用深度信息。有效地,我们将网络扩展到多模态数据,而不添加任何参数,并以一种自然的方式利用Transformers的自我注意力模块的力量。我们还研究了在注意力模块内部执行跨模态操作的想法,在深度和颜色分支之间交换关键输入。我们的方法不断提高Cityscapes基准的性能。
2023-03-27 cs.CV
OrthoSeg: A Deep Multimodal Convolutional Neural Network for Semantic Segmentation of Orthoimagery
Space Applications Centre, ISRO(印度空间研究组织空间应用中心);Birla Institute of Technology and Science, Pilani(皮拉尼博拉理工学院)
本文提出了利用光学RGB、红外和数字表面模型等多模态数据对正射影像进行语义分割的任务。我们提出了一种称为OrthoSeg的深度卷积神经网络架构,用于使用多模态、正射校正和共配准数据进行语义分割。我们还提出了一个培训程序的监督培训OrthoSeg。训练过程补充了OrthoSeg的固有架构特征,以防止学习特征的复杂协同适应,这可能是由于多模态和/或多光谱共配准数据中可能的高维和空间相关性而引起的。OrthoSeg由用于多模态特征图的独立编码的并行编码网络和设计用于有效融合独立编码的多模态特征图的解码器组成。网络末端的softmax层使用解码器生成的特征进行像素分类。解码器本地融合来自并行编码器的特征图,以及在多个尺度上的上下文,以生成用于最终逐像素分类的每像素特征图,从而产生分段输出。我们通过在ISPRS波茨坦2D语义分割数据集上展示最先进的准确性,实验证明了OrthoSeg的优点。适应性是OrthoSeg背后的关键动机之一,因此它可以作为一个有用的架构选项,用于解决涉及共配准多模态和/或多光谱图像的语义分割任务的各种问题。因此,OrthoSeg旨在支持并行编码器网络和解码器网络的独立缩放,以更好地匹配应用要求,例如输入通道数量,有效视场和模型容量。
2018-11-20 cs.CV
DR$^2$Seg: Decomposed Two-Stage Rollouts for Efficient Reasoning Segmentation in Multimodal Large Language Models
School of Computer, National University of Defense Technology, Changsha, China(计算机学院,国防科技大学,中国长沙)
DR$^2$Seg通过分解式两阶段rollout策略提升多模态大语言模型中的推理效率和分割准确性。
2026-02-01 cs.CV
Instruction-guided Multi-Granularity Segmentation and Captioning with Large Multimodal Model
Alibaba Group(阿里巴巴集团);The Hong Kong Polytechnic University(香港理工大学);Peng Cheng Laboratory(鹏城实验室)
针对现有模型仅支持实例级分割与描述的局限,提出多粒度大型多模态模型MGLMM,可依指令调整分割描述粒度,并构建含10K图像和30K问答对的基准,在多项任务上达到最优性能。
2024-09-20 cs.CV
H-EMD: A Hierarchical Earth Mover's Distance Method for Instance Segmentation
University of Notre Dame(圣母大学);Nanjing University of Science and Technology(南京理工大学);Leibniz-Institut für Analytische Wissenschaften–ISAS–e.V.(莱布尼茨分析科学研究所)
基于深度学习(DL)的语义分割方法在生物医学图像分割中取得了优异的性能,产生了高质量的概率图,允许提取丰富的实例信息,以促进良好的实例分割。虽然大量的努力投入到开发新的DL语义分割模型,很少注意到一个关键问题,即如何有效地探索其概率图,以达到最佳的可能实例分割。我们观察到,概率图DL语义分割模型可以用来生成许多可能的实例候选人,和准确的实例分割,可以通过选择一组“优化”的候选人作为输出实例。此外,所生成的实例候选形成行为良好的分层结构(森林),其允许以优化的方式选择实例。因此,我们提出了一种新的框架,称为分层地球移动的距离(H-EMD),实例分割在生物医学的2D+时间视频和3D图像,明智地采用了一致的实例选择与语义分割生成的概率图。H-EMD包含两个主要阶段。(1)实例候选生成:通过在森林结构中生成许多实例候选来捕获概率图中的实例结构化信息。(2)实例候选选择:从候选集合中选择实例进行最终的实例分割。我们制定了一个关键的实例选择问题的实例候选森林作为一个优化问题的基础上的推土机的距离(EMD),并解决它的整数线性规划。在8个生物医学视频或3D数据集上的大量实验表明,H-EMD始终提高DL语义分割模型,并且与最先进的方法具有很强的竞争力。
2022-06-02 cs.CV
Deep Class-Specific Affinity-Guided Convolutional Network for Multimodal Unpaired Image Segmentation
Southern University of Science and Technology(南方科技大学);NVIDIA(英伟达);Technical University of Munich(慕尼黑工业大学)
多模态医学图像分割在临床诊断中起着至关重要的作用。它仍然具有挑战性,因为输入方式往往在空间上没有很好地对齐。现有的基于学习的方法主要考虑跨模态共享可训练层和最小化视觉特征差异。虽然这个问题通常被表述为联合监督特征学习,但多尺度特征和特定于类的表示尚未被探索。在本文中,我们提出了一个仿射引导的全卷积网络的多模态图像分割。为了学习有效的表示,我们设计了特定于类的亲和矩阵来编码分层特征推理的知识,以及共享的卷积层来确保跨模态泛化。我们的亲和矩阵不依赖于视觉特征的空间对齐,因此允许我们用不成对的多模态输入进行训练。我们在两个公共多模态基准数据集上广泛评估了我们的方法,并优于最先进的方法。
2021-01-05 cs.AI cs.CV
Sim4Seg: Boosting Multimodal Multi-disease Medical Diagnosis Segmentation with Region-Aware Vision-Language Similarity Masks
Lingran Song, Yucheng Zhou, Jianbing Shen(作者)
本文提出医学诊断分割任务及M3DS数据集,并设计Sim4Seg框架,利用区域感知视觉-语言相似性掩码和测试时扩展策略,同时提升多模态多疾病医学图像的分割与诊断性能。
2025-11-10 cs.AI cs.CV
Position Prediction Self-Supervised Learning for Multimodal Satellite Imagery Semantic Segmentation
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校)
针对卫星图像语义分割中标注数据受限且现有自监督方法侧重重建忽视定位的问题,提出适配多模态数据的LOCA位置预测自监督学习方法,通过扩展通道分组与同组注意力掩码促进跨模态交互,在Sen1Floods11数据集上显著优于基于重建的方法。
2025-07-16 cs.AI cs.CV
An Interpretable Deep Semantic Segmentation Method for Earth Observation
Lancaster University(兰卡斯特大学);European Space Agency(欧洲空间局)
地球观测对于包括应对洪水在内的一系列人类活动至关重要,因为它为决策者提供了重要信息。语义分割在将来自卫星的原始高光谱数据映射为人类可理解的形式并为每个像素分配类别标签方面起着关键作用。本文介绍了一种基于原型的可解释的深度语义分割(IDSS)方法。它的参数数量级上低于U-Net等深度网络使用的参数数量,并且可以被人类清晰地解释。这里提出的IDSS提供了一个透明的结构,允许用户检查和审计算法的决定。结果表明,IDSS可以优于其他算法,包括U-Net,在IoU(交集超过并)总水和召回总水。我们使用WorldFloods数据集进行实验,并计划使用语义分割结果与永久水的掩码相结合来检测洪水事件。
2022-10-23 cs.CV
A review of technical factors to consider when designing neural networks for semantic segmentation of Earth Observation imagery
Clark University(克拉克大学);Graduate School of Geography(地理研究生院);Clark Labs(克拉克实验室)
本文系统综述了面向地球观测影像语义分割的神经网络设计技术因素,涵盖CNN、RNN、GAN和transformer等模型设计模式及数据预处理、不平衡处理和有限数据应对策略,为相关研究和实践提供全面参考。
2023-09-19 cs.CV
Robust Semi-supervised Multimodal Medical Image Segmentation via Cross Modality Collaboration
The Chinese University of Hong Kong(香港中文大学)
本文提出一种鲁棒的半监督多模态医学图像分割框架,通过跨模态协作蒸馏模态无关知识并结合通道级语义一致性损失与对比一致学习,有效应对标注数据稀缺和模态不对齐问题,在多个医学分割任务中取得竞争性性能。
2024-09-04 cs.AI cs.CV eess.IV
EIDSeg: A Pixel-Level Semantic Segmentation Dataset for Post-Earthquake Damage Assessment from Social Media Images
针对现有震后损伤评估依赖高成本航空影像、缺乏地面图像像素级标注数据集的问题,本文构建EIDSeg震后社交媒体影像语义分割数据集,提出跨学科标注规范并开展基准测试,为更快速细粒度的震损评估提供支撑。
2025-11-13 cs.CV
Speech-Guided Multimodal Learning for Vocal Tract Segmentation in Real-Time MRI
Harvard Medical School / Massachusetts General Hospital(哈佛医学院/麻省总医院);Institute for Information Processing, Leibniz University Hannover(汉诺威莱布尼茨信息处理研究所);GITA Lab, Facultad de Ingeniería. Universidad de Antioquia UdeA(安提奥基亚大学工程学院GITA实验室)
本文提出了一种三阶段框架,利用语音和语音学监督进行训练,仅需实时MRI图像进行推理,通过将语音学表示转换为空间边界框先验进行发音器官定位,通过双级跨模态对比预训练对视觉和音频编码器对齐,并通过跨注意力解码器融合学习的表示,有效将多模态知识转移到单模态推理管道中,实验表明该方法在75-Speaker~Annot-16和USC-TIMIT数据集上优于现有单模态和多模态方法。
2026-05-18 cs.CV
MM-OVSeg:Multimodal Optical-SAR Fusion for Open-Vocabulary Segmentation in Remote Sensing
The University of Tokyo(东京大学);RIKEN AIP(日本理化学研究所先进智能研究中心)
MM-OVSeg通过融合光学和SAR数据,提升恶劣天气下的开放词汇分割鲁棒性与泛化能力,采用跨模态统一过程和双编码器融合模块实现多传感器表征对齐与多模态分割。
2026-03-27 cs.CV
MultiResUNet : Rethinking the U-Net Architecture for Multimodal Biomedical Image Segmentation
BUET(孟加拉国工程技术大学)
近年来,深度学习在医学图像分割方面取得了突破性进展。在这方面,U-Net是最突出的深度网络,它一直是医学成像领域最受欢迎的架构。尽管在分割多模态医学图像方面表现出色,但从对具有挑战性的数据集的广泛实验中,我们发现经典的U-Net架构似乎在某些方面有所欠缺。因此,我们提出了一些修改,以改善已经国家的最先进的U-Net模型。因此,经过修改,我们开发了一种新的架构MultiResUNet作为成功的U-Net架构的潜在继任者。我们已经比较了我们提出的架构MultiResUNet与经典的U-Net上的大量的多模态医学图像。尽管在理想图像的情况下略有改进,但对于具有挑战性的图像,性能已获得显着提高。我们在五个不同的数据集上评估了我们的模型,每个数据集都有自己独特的挑战,并且分别获得了10.15%,5.07%,2.63%,1.41%和0.62%的相对性能提升。
2019-02-11 cs.CV
Multi-Task Partially Supervised Learning for Super-Resolution and Semantic Segmentation on Earth Observation data
CNES(法国国家空间研究中心)
针对地球观测数据,提出多任务部分监督学习框架,结合混合架构与重投影损失,在仅需单任务标注下同时提升超分辨率与语义分割性能,优于现有最先进方法。
2026-10-06 cs.CV
HiMTok: Learning Hierarchical Mask Tokens for Image Segmentation with Large Multimodal Model
Uni-Ubi;Zhejiang University(浙江大学);Tongji University(同济大学)
提出层次化掩码分词器HiMTok,用最多32个Token表示分割掩码,免除了去分词化对原始图像的依赖,通过3阶段训练方案实现由粗到细学习与多任务双向信息流,在多项分割任务上达到SOTA并增强视觉定位与理解能力。
2025-07-16 cs.CV
Multimodal-Aware Fusion Network for Referring Remote Sensing Image Segmentation
School of Electronic and Electrical Engineering, Shanghai University of Engineering Science(上海工程技术大学电子与电气工程学院)
针对指代表达遥感图像分割中双分支多模态信息挖掘不足的问题,提出 MAFN,利用 CFM 和 MSRC 实现细粒度跨模态融合与多尺度表征增强,并在 RRSIS-D 上取得优于现有方法的性能。
2025-03-14 cs.CV
Mirror U-Net: Marrying Multimodal Fission with Multi-task Learning for Semantic Segmentation in Medical Imaging
Institute for Anthropomatics and Robotics (IAR), Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院人机交互与机器人研究所);German Cancer Consortium (DKTK)(德国癌症联盟);HIDSS4Health - Helmholtz Information and Data Science School for Health(亥姆霍兹健康信息与数据科学学院(HIDSS4Health));Institute for AI in Medicine (IKIM), University Hospital Essen(埃森大学医院医学人工智能研究所(IKIM));University Hospital Essen(埃森大学医院);West German Cancer Center, Cancer Research Center Cologne Essen (CCCE), University Medicine Essen(埃森大学医学院西德癌症中心、科隆埃森癌症研究中心(CCCE))
正电子发射断层扫描(PET)和计算机断层扫描(CT)通常一起用于检测肿瘤。PET/CT分割模型可以自动进行肿瘤描绘,然而,当前的多模态模型没有充分利用每种模态中的互补信息,因为它们要么连接PET和CT数据,要么在决策层将它们融合。为了解决这一问题,我们提出了镜像U-网络,它通过将多模态表示分解为特定模态的分支和辅助多模态解码器来取代传统的融合方法。在这些分支上,Mirror U-Net为每个模态分配了一个定制的任务,以加强单峰特征,同时在共享表示中保留多模态特征。与以前使用裂变或多任务学习的方法相比,Mirror U-Net将这两种范式结合在一个统一的框架中。我们探索各种任务组合,并检查哪些参数在模型中共享。我们在AutoPET PET/CT和多模态MSD BrainTumor数据集上评估了Mirror U-Net,证明了其在多模态分割中的有效性,并在两个数据集上实现了最先进的性能。我们的代码将公开提供。
2023-03-13 cs.CV eess.IV
EGFormer: Towards Efficient and Generalizable Multimodal Semantic Segmentation
University of Sydney(悉尼大学);University of Technology Sydney(悉尼技术大学);HKUST(GZ)(香港科技大学(广州))
针对现有多模态语义分割方法计算效率不足的问题,提出含ASM和MDM模块的EGFormer框架,可灵活整合多模态、降参提效,在合成到真实迁移任务中实现SOTA泛化性能。
2025-05-20 cs.CV
A Unified Framework with Multimodal Fine-tuning for Remote Sensing Semantic Segmentation
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)科学与工程学院);School of Information Science and Engineering, Wuhan University of Science and Technology(武汉科技大学信息科学与工程学院);Department of Geography, The University of Hong Kong(香港大学地理系)
本文提出了一种多模态微调的统一框架,用于改进遥感语义分割的性能,通过引入新的MFNet和DFM模块,显著提升了多模态数据的分割效果。
2025-12-16 cs.CV
PanDA: Unsupervised Domain Adaptation for Multimodal 3D Panoptic Segmentation in Autonomous Driving
Singapore University of Technology and Design(新加坡科技设计大学);Institute for Infocomm Research (I2R), A*STAR, Singapore(新加坡资讯通信研究院(I2R),A*STAR,新加坡)
本文提出PanDA框架,针对多模态3D全景分割的无监督领域自适应问题,通过不对称多模态增强和双专家伪标签细化模块提升鲁棒性和伪标签完整性,实验表明在多种领域转移场景下超越现有SOTA方法。
2026-04-21 cs.CV
RFBNet: Deep Multimodal Networks with Residual Fusion Blocks for RGB-D Semantic Segmentation
Shanghai Jiao Tong University(上海交通大学)
RGB-D语义分割方法常规地使用两个独立的编码器来从RGB和深度数据提取特征。然而,缺乏有效的融合机制来桥接编码器,以充分利用来自多个模态的互补信息。本文提出了一种新的自下而上的交互式融合结构来建模编码器之间的相互依赖性。该结构引入交互流来互连编码器。交互流不仅逐步聚合来自编码器的特定于模态的特征,而且还为它们计算互补特征。为了实例化这种结构,本文提出了一种残差融合块(RFB),以制定编码器的相互依赖性。RFB由两个剩余单元和一个带有门机构的融合单元组成。它为特定于模态的编码器学习互补特征,并提取特定于模态的特征以及跨模态特征。在RFB的基础上,提出了一种用于RGB-D语义分割的深度多模态网络RFBNet。在两个数据集上的实验证明了对相互依赖关系建模的有效性,并且RFBNet达到了最先进的性能。
2019-09-16 cs.CV
MASTER: Multimodal Segmentation with Text Prompts
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
提出MASTER架构,将LLM集成到RGB-Thermal多模态融合中,利用双路径结构和文本提示生成可学习码本令牌,实现高效的语义分割。
2025-03-06 cs.AI cs.CV
Segment Any Architectural Facades (SAAF):An automatic segmentation model for building facades, walls and windows based on multimodal semantics guidance
National University of Singapore(新加坡国立大学);Guangzhou University(广州大学);Tsinghua University(清华大学);South China University of Technology(华南理工大学)
针对建筑立面墙体与窗户分割,提出基于多模态语义引导的SAAF模型,融合文本与图像特征,端到端训练,在多个数据集上mIoU优于现有方法,提升精度与泛化能力。
2025-08-02 cs.AI cs.CV
Segmentation of VHR EO Images using Unsupervised Learning
Technical University of Munich(慕尼黑工业大学);German Aerospace Center (DLR)(德国航空航天中心)
语义分割是许多地球观测任务中的关键步骤。需要大量的像素级注释来训练深度网络以进行语义分割。地球观测技术应用于各种应用,并且由于类别根据应用而变化很大,因此,通常需要领域知识来标记地球观测图像,这阻碍了在许多地球观测应用中标记的训练数据的可用性。为了应对这些挑战,在本文中,我们提出了一种无监督的语义分割方法,可以使用一个单一的未标记的场景进行训练。遥感场景一般都很大。所提出的方法利用该属性从较大场景中采样较小的补丁,并使用深度聚类和对比学习来细化由一系列卷积层以及嵌入式通道注意力组成的轻量级深度模型的权重。在对目标图像/场景进行无监督训练后,该模型自动分离场景中存在的主要类别并生成分割图。在Vaihingen数据集上的实验结果证明了该方法的有效性。
2021-08-10 cs.CV
Evaluation of Multimodal Semantic Segmentation using RGB-D Data
University of Southern California(南加州大学);Army Research Laboratory(陆军研究实验室)
我们的目标是开发稳定,准确,和强大的语义场景理解方法的广域场景感知和理解,特别是在具有挑战性的户外环境。为了实现这一目标,我们正在探索和评估一系列相关技术和解决方案,包括人工智能驱动的多模式场景感知、融合、处理和理解。这项工作报告了我们的努力评估的一个国家的最先进的方法语义分割与多个RGB和深度传感数据。我们采用了四个大型数据集组成的不同的城市和地形场景,并设计了各种实验方法和指标。此外,我们还开发了新的多数据集学习策略,以提高对不可见对象的检测和识别。广泛的实验,实施和结果的文件中报告。
2021-03-31 cs.AI cs.CV
Uncertainty evaluation of segmentation models for Earth observation
Google DeepMind(谷歌DeepMind)
本文针对遥感与地球观测场景,在PASTIS、ForTy数据集上基准测试多种逐像素不确定性估计方法的错误识别等实用性能,给出实用建议。
2025-10-22 cs.CV cs.LG
Disentangle, align and fuse for multimodal and semi-supervised image segmentation
The University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所);Cedars Sinai Medical Center(西达赛奈医疗中心)
磁共振(MR)协议依赖于几个序列,以正确评估病理和器官状态。尽管在图像分析的进步,我们倾向于处理每个序列,这里称为模态,在隔离。利用模态之间共享的共同信息(器官的解剖结构)有利于多模态处理和学习。然而,我们必须克服固有的解剖配准错误和信号强度的差异,以获得这种好处。我们提出了一种方法,通过学习利用其他模态中存在的信息,即使很少(半监督)或没有(无监督)注释可用于此特定模态,也可以提高感兴趣模态(在单个输入模型上)的分割准确性。我们的方法的核心是学习解剖和成像因素的分解。来自不同输入的共享解剖因素被联合处理和融合以提取更准确的分割掩模。使用空间Transformer网络校正图像配准错误,该网络非线性地对齐解剖因素。成像因子捕获跨不同模态数据的信号强度特性,并用于图像重建,从而实现半监督学习。动态学习输入之间的时间和切片配对。我们展示了在晚期钆增强(LGE)和血氧水平依赖(BOLD)心脏分割,以及在T2腹部分割的应用。代码可在https://github.com/vios-s/multimodal_segmentation上获得。
2020-11-09 cs.CV
LMFNet: An Efficient Multimodal Fusion Approach for Semantic Segmentation in High-Resolution Remote Sensing
State Key Laboratory of information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University(武汉大学测绘遥感信息工程国家重点实验室);Electronic Information School, Wuhan University(武汉大学电子信息学院)
本文提出轻量级多模态融合网络LMFNet,通过权重共享多分支视觉Transformer同时融合RGB、NirRG和DSM数据,在US3D等数据集上以极少参数增量显著提升高分辨率遥感语义分割精度。
2024-04-21 cs.CV
UniD-Shift: Towards Unified Semantic Segmentation via Interpretable Share-Private Multimodal Decomposition
HKUST(GZ)(香港科技大学(广州))
本文提出UniD-Shift框架,通过结合视觉和几何编码器提取互补特征,并通过共享-私有子空间分解实现2D-3D语义分割的统一。实验表明在SemanticKITTI和nuScenes数据集上优于基线方法,且具有良好的泛化能力。
2026-05-08 cs.CV
Interactive Learning for Semantic Segmentation in Earth Observation
ONERA/DTIS(法国国家航空航天研究院/信息与通信技术部);Université Paris-Saclay(巴黎萨克雷大学);Delair(德莱尔公司);ESA/ESRIN(欧洲空间局/欧洲空间研究与技术中心)
深度神经网络输出的密集像素分类图对于场景理解至关重要。然而,由于各种可能的因素,这些地图往往部分不准确。因此,我们建议在一个名为DISCA(Deep Image Segmentation with Continual Adaptation)的框架内交互式地改进它们。它包括不断适应神经网络的目标图像使用的交互式学习过程与稀疏的用户注释作为地面实况。我们通过使用合成注释的三个数据集上的实验展示了该方法的好处,对于十次采样点击,IoU提高了4.7%。最后,我们表明,我们的方法可以特别有益的,当它面临额外的问题,如领域自适应。
2020-09-23 cs.CV
MULTIAQUA: A multimodal maritime dataset and robust training strategies for multimodal semantic segmentation
MULTIAQUA数据集和多模态语义分割的鲁棒训练策略,旨在通过多模态数据提升恶劣能见度下的场景解释质量。
2025-12-19 cs.CV cs.LG
EarthMapper: A Tool Box for the Semantic Segmentation of Remote Sensing Imagery
Carlson Center for Imaging Science, Rochester Institute of Technology(卡尔森成像科学中心,罗切斯特理工学院)
深度学习继续推动颜色语义分割的最新性能(即,RGB)图像;然而,许多遥感传感器(即高光谱图像(HSI))缺乏注释数据,使研究人员无法利用最近的成功。由于生成传感器特定的数据集是时间密集型和成本高昂的,遥感研究人员已经接受了深度无监督特征提取。虽然这些方法已经在当前的HSI基准上推动了最先进的性能,但许多研究人员并不容易使用这些工具。在这封信中,我们介绍了一个软件管道,我们称之为EarthMapper,非RGB遥感图像的语义分割。它包括自学空间光谱特征提取,各种标准和深度学习分类器,以及用于后处理的无向图形模型。我们在Indian Pines和Pavia University数据集上评估了EarthMapper,并发布了此代码供公众使用。
2018-04-01 cs.CV cs.LG stat.ML
Multimodality Helps Few-shot 3D Point Cloud Semantic Segmentation
University of Copenhagen(哥本哈根大学);ETH Zurich(苏黎世联邦理工学院);Nankai University(南开大学);University of Oxford(牛津大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局信息通信研究所)
针对少样本三维点云分割忽视多模态信息的问题,提出多模态少样本分割网络MM-FSS,利用文本和二维图像模态,通过多模态相关性与语义融合及测试时校准,在S3DIS和ScanNet上显著提升性能。
2025-02-26 cs.CV
Multimodal Transfer Learning-based Approaches for Retinal Vascular Segmentation
VARPA Research Group, Instituto de Investigación Biomédica de A Coruña (INIBIC), Universidade da Coruña(拉科鲁尼亚大学生物医学研究所(INIBIC)VARPA研究组);Centro de Investigación CITIC, Universidade da Coruña(拉科鲁尼亚大学CITIC研究中心)
在眼科学中,视网膜微循环的研究是分析许多眼部和全身疾病(如高血压或糖尿病)的关键问题。这激发了对改进视网膜血管分割的研究。目前,全卷积神经网络(FCN)通常代表了最成功的图像分割方法。然而,这些模型的成功取决于对所使用的架构和技术的适当选择和调整,以及大量注释数据的可用性。这两个问题变得特别相关时,应用FCNs医学图像分割,第一,现有的模型通常是从广泛的领域应用调整摄影图像,第二,注释的数据量通常是稀缺的。在这项工作中,我们提出了基于多模式迁移学习的视网膜血管分割方法,对最近的FCN架构进行了比较研究。特别是,为了克服注释数据的稀缺性,我们提出了一种新的自监督网络预训练的应用,它利用了现有的未标记的多模态数据。结果表明,自监督预训练网络在目标任务中的训练较少的情况下获得了显著更好的血管掩模,与网络架构无关,并且一些针对广泛领域应用的FCN架构进步并没有转化为对血管分割任务的显着改进。
2020-12-18 cs.CV eess.IV
A Fully Transformer Based Multimodal Framework for Explainable Cancer Image Segmentation Using Radiology Reports
Department of Computer Science(计算机科学系)
本文提出Med-CTX,一种基于全Transformer的多模态乳腺癌超声分割框架,通过融合放射学报告与视觉特征,同时生成分割掩码、不确定性图和诊断依据,在BUS-BRA上取得99% Dice,显著超越现有基线并提升可解释性。
2025-08-19 cs.AI cs.CV
MMSFormer: Multimodal Transformer for Material and Semantic Segmentation
University of California Riverside(加利福尼亚大学河滨分校);Air Force Research Laboratory(空军研究实验室)
本文提出MMSFormer,一种多模态Transformer,通过新颖的融合策略有效整合多模态信息,在三个数据集上超越现有方法,并验证了融合模块和不同模态对材质识别的作用。
2024-04-07 cs.CV cs.LG
From Pixels to Damage Severity: Estimating Earthquake Impacts Using Semantic Segmentation of Social Media Images
Georgia Institute of Technology(佐治亚理工学院);Arup(奥雅纳)
本研究将震后社交媒体图像损坏评估从分类转为语义分割,构建三级损坏数据集并微调SegFormer,结合深度估计提出新的损坏评分系统,实现更客观全面的损坏量化,以指导灾后精准响应。
2025-07-03 cs.CV cs.SI
Multimodal SAM-adapter for Semantic Segmentation
University of Bologna(博洛尼亚大学);SINA
本文提出MM SAM-adapter框架,通过adapter网络将融合的多模态特征注入SAM的RGB特征中,在保留泛化能力的同时选择性利用辅助模态,在多个基准上实现了最先进的鲁棒语义分割性能。
2025-09-12 cs.AI cs.CV
SRMF: A Data Augmentation and Multimodal Fusion Approach for Long-Tail UHR Satellite Image Segmentation
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Haina Institute of Zhejiang University, Advanced Technology Institute, Zhejiang University(浙江大学海纳研究院、先进技术研究院);Binjiang Research Institute of Zhejiang University(浙江大学滨江研究院)
针对超高分辨率卫星图像语义分割中的长尾问题,提出SRMF框架,通过多尺度裁剪、语义重排序与重采样的数据增强策略,结合无需区域文本描述的多模态特征融合知识注入方法,有效提升了分割性能并在多个数据集上达到SOTA。
2025-04-28 cs.CV
End-to-End Referring Video Object Segmentation with Multimodal Transformers
Technion – Israel Institute of Technology(以色列理工学院)
参考视频对象分割任务(RVOS)涉及在给定视频的帧中分割文本参考对象实例。由于这种多模态任务的复杂性,它结合了文本推理,视频理解,实例分割和跟踪,现有的方法通常依赖于复杂的管道,以解决it. In本文中,我们提出了一个简单的基于transformer的方法RVOS。我们的框架,称为多模态跟踪Transformer(MTTR),模型的RVOS任务作为一个序列预测问题。随着计算机视觉和自然语言处理的最新进展,MTTR基于这样一种认识,即视频和文本可以通过单个多模式Transformer模型有效而优雅地处理在一起。MTTR是端到端可训练的,不含与文本相关的感应偏差组件,并且不需要额外的掩码优化后处理步骤。因此,与现有方法相比,它大大简化了RVOS管道。对标准基准的评估表明,MTTR在多个指标上明显优于以前的技术。特别是,MTTR在A2 D-Sentences和JHMDB-Sentences数据集上分别显示出令人印象深刻的+5.7和+5.0 mAP增益,同时每秒处理76帧。此外,我们报告了Refer-YouTube-VOS公共验证集的强有力结果,这是一个更具挑战性的RVOS数据集,尚未得到研究人员的关注。复制我们实验的代码可以在https://github.com/mttr2021/MTTR上找到。
2022-04-03 cs.CL cs.CV cs.LG
HaDR: Applying Domain Randomization for Generating Synthetic Multimodal Dataset for Hand Instance Segmentation in Cluttered Industrial Environments
VSB - Technical University of Ostrava(VSB - 俄斯特拉发技术大学)
HaDR通过领域随机化生成合成多模态数据集,提升工业环境中手部实例分割的准确性和鲁棒性。
2023-04-12 cs.CV cs.HC
SwinTF3D: A Lightweight Multimodal Fusion Approach for Text-Guided 3D Medical Image Segmentation
King Fahd University of Petroleum(国王法赫德石油大学);SDAIA-KFUPM Joint Research Center for Artificial Intelligence(SDAIA-KFUPM人工智能联合研究中心)
SwinTF3D通过统一视觉和语言表示,实现文本引导的3D医学图像分割,具备高效且适应性强的性能。
2025-12-28 cs.AI cs.CV
Deep Multimodal Fusion for Semantic Segmentation of Remote Sensing Earth Observation Data
Faculty of Computer Science and Engineering(计算机科学与工程学院);University Ss Cyril and Methodius(圣西里尔与美多德大学)
本文提出后期融合深度学习模型LF-DLM,结合VHR航空影像与Sentinel-2时间序列的互补优势,在FLAIR基准上取得最优语义分割结果。
2024-10-01 cs.CV
The Method of Multimodal MRI Brain Image Segmentation Based on Differential Geometric Features
Graduate School at Shenzhen, Tsinghua University(清华大学深圳研究生院);The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
由于不同类型的脑异常,磁共振图像(MRI)中脑组织的准确分割是一项困难的任务。使用来自多模态MRI(包括T1、T1加权反转恢复(T1-IR)和T2-FLAIR)的信息和特征以及微分几何特征(包括从T1模态导出的雅可比行列式(JD)和旋度向量(CV))可以导致对脑图像的更准确的分析。本文利用微分几何信息(JD和CV)作为图像特征来度量不同MRI图像之间的差异,这些差异代表了大脑图像的局部尺寸变化和局部旋转,并将其作为一个CNN通道与其他三种模式(T1加权,T1-IR和T2-FLAIR)一起使用,以获得更准确的大脑分割结果。我们在两个数据集上测试了该方法,包括IBSR数据集和基于深度体素残差网络(即VoxResNet)的MRBrainS数据集,并在单模态或三模态上获得了出色的改进,并在众所周知的MRBrainS 18数据集上将平均DSC(脑脊液(CSF),灰质(GM)和白质(WM))提高了约1.5%,在IBSR数据集上提高了约2.5%。此外,我们还讨论了一种模态结合其JD或CV信息可以替代三种模态的分割效果,这可以为医生提供医疗便利,因为只需要提取患者的T1模态MRI图像。最后,我们还比较了我们的方法在VoxResNet和U-Net两个网络中的分割性能。实验结果表明,VoxResNet在脑MRI分割中的性能优于U-Net。我们相信,所提出的方法可以提高大脑分割和临床诊断的性能。
2019-03-06 cs.CV
Dynamic Multimodal Instance Segmentation guided by natural language queries
Universidad de los Andes(安第斯大学)
我们解决了给定描述对象的自然语言表达式来分割对象的问题。(\textit{i})在通道维度中直接或递归地合并语言和视觉信息,然后执行卷积;或通过(\textit{ii})将所述表达式映射到可将其视为过滤器的空间,其响应与图像中给定空间坐标处的对象的存在直接相关,从而可以应用卷积来寻找对象。我们提出了一种新的方法,结合这两个见解,以充分利用语言的递归性质。此外,在上采样过程中,我们利用下采样图像时生成的中间信息,从而可以获得详细的分割。我们在四个标准数据集中将我们的方法与最先进的方法进行了比较,其中它在八个分裂中的六个中超过了所有以前的方法。
2018-07-22 cs.CV
General-Purpose Multimodal Transformer meets Remote Sensing Semantic Segmentation
Queensland University of Technology(昆士兰科技大学)
本文研究通用多模态网络PerceiverIO在遥感语义分割中的不足,提出结合3D卷积与交叉注意力的UNet风格空间体积学习组件,以解决尺度变化和类别不平衡问题,在保持竞争力的同时减少专用架构设计工作。
2023-07-07 cs.CV
SGMA: Semantic-Guided Modality-Aware Segmentation for Remote Sensing with Incomplete Multimodal Data
State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University(武汉大学测绘遥感信息工程国家重点实验室);Hangzhou Institute of Technology, Xidian University(西安电子科技大学杭州研究院);School of Artificial Intelligence, Wuhan University(武汉大学人工智能学院)
SGMA通过语义引导和模态感知方法解决不完整多模态数据下的语义分割问题,提升模态间平衡性和一致性。
2026-03-03 cs.CV
Learning from Multimodal Pseudo-Labels for Robust Open-Vocabulary Instance and Panoptic Segmentation
Seoul National University of Science and Technology(首尔科技大学);Chung-Ang University(中央大学)
该研究针对开放词汇实例分割与开放集全景分割的痛点,提出多模态框架,结合预训练视觉语言模型生成伪标签并优化训练目标,在COCO数据集上取得优于现有SOTA的性能。
2026-08-13 cs.AI cs.CV cs.MM
MMRNet: Improving Reliability for Multimodal Object Detection and Segmentation for Bin Picking via Multimodal Redundancy
University of Waterloo(滑铁卢大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对机器人料箱抓取中传感器故障导致的可靠性问题,提出MMRNet,通过多模态冗余、门控融合与动态集成学习,以及多模态一致性分数,提升系统输出可靠性。
2023-05-07 cs.CV cs.LG cs.RO