Instance-Specific Feature Propagation for Referring Segmentation
Nanyang Technological University（南洋理工大学）
引用分割旨在为由自然语言表达式指示的目标实例生成分割掩码。现有的方法主要有两种：一种是直接对融合后的视觉和语言特征进行分割的单阶段方法;另一种是首先利用实例分割模型进行实例建议，然后通过实例与语言特征的匹配来选择实例的两阶段方法。在这项工作中，我们提出了一种新的框架，同时检测目标的兴趣，通过特征传播，并生成一个细粒度的分割掩模。在我们的框架中，每个实例是由一个实例特定的功能（ISF），和目标的指的是通过交换信息之间的所有ISF使用我们提出的特征传播模块（FPM）。我们的实例感知方法学习所有对象之间的关系，这有助于比一阶段方法更好地定位感兴趣的目标。与两阶段方法相比，我们的方法协同和交互地利用视觉和语言信息进行同步识别和分割。在实验测试中，我们的方法在所有三个RefCOCO系列数据集上的性能优于以前的最先进的方法。
2022-04-26 cs.CV
PolyFormer: Referring Image Segmentation as Sequential Polygon Generation
Johns Hopkins University（约翰斯·霍普金斯大学）；AWS AI Labs（AWS人工智能实验室）
在这项工作中，而不是直接预测的像素级分割掩模，参考图像分割的问题制定为顺序的多边形生成，和预测的多边形可以稍后转换成分割掩模。这是通过一个新的序列到序列框架Polygon Transformer（PolyFormer）实现的，该框架将图像块和文本查询标记的序列作为输入，并以自回归方式输出多边形顶点的序列。为了更精确的几何定位，我们提出了一个基于回归的解码器，它直接预测精确的浮点坐标，没有任何坐标量化误差。在实验中，PolyFormer明显优于现有技术，例如，在具有挑战性的RefCOCO+和RefCOCOg数据集上，绝对改善了5.40%和4.52%。当在没有微调的情况下对参考视频分割任务进行评估时，它也显示出很强的泛化能力，例如，在Ref-DAVIS 17数据集上实现具有竞争力的61.5% J&F。
2023-03-27 cs.CV
Temporal-Conditional Referring Video Object Segmentation with Noise-Free Text-to-Video Diffusion Model
本文提出一种时间条件RVOS模型，通过改进分割头设计、利用无噪声文本到视频扩散模型提取特征，并设计TCMR模块，在四个公开基准上取得最先进性能。
2025-08-19 cs.CV
1st Place Solution for YouTubeVOS Challenge 2022: Referring Video Object Segmentation
Tomorrow Advancing Life (TAL) Education Group（好未来教育集团）
引用视频对象分割的任务旨在将引用表达式所引用的给定视频帧中的对象分割出来。以前的方法采用多阶段的方法和设计复杂的管道，以获得有希望的结果。近年来，基于Transformer的端到端方法已经证明了其优越性。在这项工作中，我们借鉴了上述方法的优点，为RVOS提供了一个简单而有效的管道。首先，我们改进了现有的一阶段方法ReferFormer，以获得与语言描述强相关的掩码序列。其次，基于可靠和高质量的关键帧，我们利用视频对象分割模型的优越性能，进一步提高掩模结果的质量和时间一致性。我们的单个模型在推荐Youtube-VOS验证集上达到70.3 J &F，在测试集上达到63.0。经过合奏，我们在最终排行榜上获得64.1，在CVPR 2022推荐Youtube-VOS挑战赛中排名第一。代码将在https://github.com/Zhiweihhh/cvpr2022-rvos-challenge.git上提供。
2022-12-27 cs.CV
Text-Promptable Propagation for Referring Medical Image Sequence Segmentation
Fudan University（复旦大学）；Shanghai University of Finance and Economics（上海财经大学）；Deakin University（迪肯大学）
针对引用医学图像序列分割任务中现有模型难以跨序列跟踪目标及缺乏文本交互引导的问题，提出Text-Promptable Propagation模型，通过跨模态交互与Transformer传播实现目标识别与跟踪，构建大规模基准并取得优异性能。
2025-04-12 cs.CV
Towards Omnimodal Expressions and Reasoning in Referring Audio-Visual Segmentation
Fudan University, China（复旦大学）
针对指代性视听分割在多模态整合与深度推理上的挑战，研究者构建了含8类多模态表达、侧重音频理解与复杂推理的OmniAVS数据集，并提出基于MLLM的OISA方法，实验证明其性能优于现有方法。
2025-07-31 cs.CV
Comprehensive Multi-Modal Interactions for Referring Image Segmentation
IIIT Hyderabad（海得拉巴国际信息技术研究所）；KCIS（科希斯坦计算机与信息科学学院）
我们研究参考图像分割（RIS），它输出一个分割图对应的自然语言的描述。有效地解决RIS需要考虑跨视觉和语言模态发生的交互以及每个模态内的交互。现有的方法是有限的，因为它们要么计算不同形式的相互作用顺序（导致错误传播）或忽略模内的相互作用。我们通过同步多模态融合模块（SFM）同时进行所有三种交互来解决这一限制。此外，为了产生精细的分割掩模，我们提出了一种新的分层跨模态聚合模块（HCAM），其中语言特征促进了跨视觉层次的上下文信息的交换。我们提出了彻底的消融研究，并验证了我们的方法在四个基准数据集的性能，表现出相当大的性能增益超过现有的最先进的（SOTA）方法。
2022-08-14 cs.CV
Utilizing Large Scale Vision and Text Datasets for Image Segmentation from Referring Expressions
UC Berkeley（加州大学伯克利分校）；ICSI, Berkeley（伯克利国际计算机科学研究所）；UT Austin（德克萨斯大学奥斯汀分校）
从指称表达式中分割图像是一个视觉和语言建模的联合任务，其中输入是图像和描述图像中特定区域的文本表达式;目标是基于给定表达式定位和分割特定图像区域。训练这种基于语言的图像分割系统的一个主要困难是缺乏具有联合视觉和文本注释的数据集。虽然现有的视觉数据集（如MS COCO）提供图像标题，但很少有数据集具有图像的区域级文本注释，并且这些数据集的规模通常较小。在本文中，我们将探讨如何利用现有的大规模纯视觉和纯文本数据集来训练模型，从参考表达式中进行图像分割。我们提出了一种方法来解决这个问题，并在实验中表明，我们的方法可以帮助这个联合视觉和语言建模任务与视觉和文本数据，并优于以前的结果。
2016-08-30 cs.CV
Referring Segmentation in Images and Videos with Cross-Modal Self-Attention Network
Wenzhou University（温州大学）；University of Manitoba（曼尼托巴大学）；Shanghai Institute for Advanced Communication and Data Science（上海先进通信与数据科学研究院）；Shanghai University（上海大学）
本文研究了基于自然语言的图像和视频的指代分割问题。给定输入图像（或视频）和引用表达式，目标是分割图像或视频中由表达式引用的实体。在本文中，我们提出了一个跨模态自我注意（CMSA）模块，利用单个单词和输入图像或视频的细节，有效地捕捉语言和视觉特征之间的长期依赖关系。我们的模型可以自适应地集中在信息词的指涉表达式和重要的区域的视觉输入。我们进一步提出了一个门控多层次融合（GMLF）模块，有选择地整合自我关注的跨模态功能，对应于不同层次的视觉功能。该模块控制不同层次特征的信息流与不同关注词相关的高、低层语义信息的特征融合。此外，我们引入跨帧自注意（CFSA）模块，有效地整合时间信息的连续帧，扩展了我们的方法在视频参考分割的情况下。在四个参考图像数据集和两个演员和动作视频分割数据集的基准数据集上的实验一致表明，我们提出的方法优于现有的最先进的方法。
2021-02-09 cs.CV
Linguistic Query-Guided Mask Generation for Referring Image Segmentation
Alibaba Group（阿里巴巴集团）
参考图像分割的目的是根据给定的语言表达分割出感兴趣的图像区域，这是一个典型的多模态任务。现有的方法要么采用基于像素分类的框架或基于可学习查询的框架来生成掩码，这两种方法都不足以处理具有固定数量的参数化原型的各种文本-图像对。在这项工作中，我们提出了一个端到端的框架建立在Transformer执行语言查询引导掩码生成，被称为LGFormer。该方法将语言特征看作查询，为任意输入的图像文本对生成专门的原型，从而生成更加一致的分割结果。此外，我们在编码器和解码器中设计了几个跨模态交互模块（\eg，视觉语言双向注意模块，VLBA），以实现更好的跨模态对齐。
2023-03-22 cs.CV
Ref-Diff: Zero-shot Referring Image Segmentation with Generative Models
Harbin Institute of Technology（哈尔滨工业大学）；Pengcheng Laboratory（鹏城实验室）
提出Ref-Diff，利用生成模型（如Stable Diffusion）的细粒度多模态信息实现零样本指代图像分割，无需提议生成器即可媲美现有弱监督方法，与判别模型结合后性能显著提升。
2023-09-01 cs.CV
Attribute Retrieving for Open-Vocabulary Endoscopic Compositional Referring Segmentation
Virginia Commonwealth University（弗吉尼亚联邦大学）；King’s College London（伦敦国王学院）；University at Buffalo（纽约州立大学布法罗分校）；Harvard Medical School（哈佛医学院）
该研究针对内镜图像指称分割面临的挑战，引入ReferEndoscopy基准，提出AR-ERIS框架，利用属性检索进行开放词汇量内镜组合式指称分割，在模拟和真实内镜数据上实现最优性能且泛化能力强。
2026-07-10 cs.CV
Dual Convolutional LSTM Network for Referring Image Segmentation
University of Manitoba（曼尼托巴大学）；Shanghai University（上海大学）
我们考虑参考图像分割。它是计算机视觉和自然语言理解交叉的问题。给定输入图像和自然语言句子形式的指称表达，目标是分割语言查询所指称的图像中的感兴趣对象。为此，我们提出了一个双卷积LSTM（ConvLSTM）网络来解决这个问题。我们的模型由一个编码器网络和一个解码器网络组成，其中ConvLSTM用于编码器和解码器网络来捕获空间和序列信息。编码器网络为表达句子中的每个单词提取视觉和语言特征，并采用注意力机制来关注多模态交互中信息量更大的单词。解码器网络将编码器网络在多个级别上生成的特征作为其输入进行集成，并产生最终的精确分割掩码。在四个具有挑战性的数据集上的实验结果表明，与其他最先进的方法相比，所提出的网络具有更好的分割性能。
2020-01-30 cs.CV
Fully and Weakly Supervised Referring Expression Segmentation with End-to-End Learning
指称表达式分割（RES）是根据给定的语言表达式对目标进行定位和分割的一种方法，受到了越来越多的关注。现有的方法共同考虑定位和分割步骤，这两个步骤依赖于融合的视觉和语言特征。我们认为，识别对象和生成掩码的目的之间的冲突限制了RES的性能。为了解决这个问题，我们提出了一个并行的位置内核分割流水线，以更好地隔离，然后互动的定位和分割步骤。在我们的管道中，语言信息不会直接污染分割的视觉特征。具体地，定位步骤基于所述参考表达式定位图像中的目标对象，然后从定位步骤获得的视觉核指导分割步骤。该管道还使我们能够以弱监督的方式训练RES，其中像素级分割标签被中心和角点上的点击注释所取代。位置头是完全监督的，并以点击注释作为监督来训练，而分割头是以弱监督的分割损失来训练的。为了在弱监督环境下验证我们的框架，我们用点击注释注释了三个RES基准数据集（RefCOCO，RefCOCO+和RefCOCOg）。我们的方法简单但令人惊讶的有效性，在完全和弱监督环境下的性能大大优于所有以前最先进的RES方法。将发布基准代码和数据集。
2022-12-17 cs.CV
Few-Shot Referring Video Single- and Multi-Object Segmentation via Cross-Modal Affinity with Instance Sequence Matching
School of Computer Science and Technology, Anhui University of Technology（安徽工业大学计算机科学与技术学院）；Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）；School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院）
提出少样本指代视频分割模型FS-RVOS，通过跨模态亲和力与实例序列匹配实现单/多目标分割，在多个基准上超越现有方法。
2025-04-18 cs.CV
Shatter and Gather: Learning Referring Image Segmentation with Text Supervision
Microsoft Research Asia（微软亚洲研究院）；POSTECH（浦项科技大学）
针对指代图像分割标注成本高的问题，提出一种仅用文本描述作为监督的弱监督学习方法，通过新模型发现图像语义实体并结合文本查询预测掩码，在四个公开基准上表现优于现有方法。
2023-10-24 cs.CV
RSRefSeg: Referring Remote Sensing Image Segmentation with Foundation Models
Beihang University（北京航空航天大学）
针对现有指代式遥感图像分割方法细粒度语义对齐弱、跨模态表征不一致的问题，提出结合CLIP与SAM的基础模型RSRefSeg，通过全局局部文本语义滤波生成激活特征引导SAM分割，在RRSIS-D数据集上取得更优性能。
2025-01-12 cs.CV
OPERA: A Unified Omnimodal Progressive Spatio-Temporal Reasoning Agent for Referring Video Segmentation
针对多模态查询的指代视频分割，提出基于单一MLLM的OPERA智能体，通过时间与空间双轴渐进推理，在OmniAVS和Ref-AVS上达到最先进水平，并可零样本迁移。
2026-09-29 cs.CV
Locate then Segment: A Strong Pipeline for Referring Image Segmentation
ByteDance AI Lab（字节跳动人工智能实验室）
参照图像分割的目的是分割由自然语言表达所参照的对象。以前的方法通常集中在设计一个隐式和经常性的特征交互机制，融合视觉语言特征，直接生成最终的分割掩码，而不显式建模的参考实例的本地化信息。为了解决这些问题，我们从另一个角度来看待这个任务，将其解耦成一个“定位然后分段”（LTS）计划。给定一个语言表达，人们通常首先对相应的目标图像区域进行关注，然后基于其上下文生成关于对象的精细分割掩模。LTS首先提取并融合视觉和文本特征以获得跨模态表示，然后在视觉-文本特征上应用跨模型交互来定位位置先验的参考对象，最后使用轻量级分割网络生成分割结果。我们的LTS很简单，但令人惊讶的有效。在三个流行的基准数据集上，LTS的性能大大优于所有以前的最先进的方法（例如，RefCOCO+为+3.2%，RefCOCOg为+3.4%）。此外，我们的模型是更好的解释与明确定位的对象，这也证明了可视化实验。我们相信这个框架是有希望作为一个强大的基线参考图像分割。
2021-03-30 cs.CV
RISAM: Referring Image Segmentation via Mutual-Aware Attention Features
Tianjin University（天津大学）；Xiaoying AI lab（小影AI实验室）
针对现有指代图像分割方法易受视觉上下文主导、分割错误的问题，提出结合SAM与互感知注意力机制的MARIS方法，通过双向跨模态融合和多模态查询令牌提升分割准确性，在三个基准上超越现有最优水平。
2024-05-21 cs.CV
OneRef: Unified One-tower Expression Grounding and Segmentation with Mask Referring Modeling
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Pengcheng Laboratory（鹏城实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
提出 OneRef 单塔统一视觉语言框架，并通过 MRefM 掩码指称建模学习跨模态指称关系，在定位与分割任务上均达到 SoTA。
2024-10-25 cs.CV
Recurrent Multimodal Interaction for Referring Image Segmentation
Johns Hopkins University（约翰斯·霍普金斯大学）；Adobe Research（Adobe 研究院）
在本文中，我们感兴趣的问题，图像分割给定的自然语言的描述，即引用表达式。现有的作品解决这个问题，首先建模图像和句子独立，然后分割图像结合这两种类型的表示。我们认为，从联合建模图像分割任务的两种模态的意义上说，学习单词到图像的交互更原生，我们提出了卷积多模态LSTM来编码单个单词，视觉信息和空间信息之间的顺序交互。我们表明，我们提出的模型优于基准数据集上的基线模型。此外，我们还分析了所提出的多模态LSTM方法的中间输出，并实证解释了这种方法如何实现更有效的文字到图像的交互。
2017-08-04 cs.CV
3D-DRES: Detailed 3D Referring Expression Segmentation
3D-DRES通过引入DetailRefer数据集和DetailBase架构，提升3D视觉语言理解的细粒度分割能力。
2026-03-03 cs.CV
Temporally Consistent Referring Video Object Segmentation with Hybrid Memory
The University of Western Australia（西澳大学）；Griffith University（格里菲斯大学）；University of Central Florida（中佛罗里达大学）
提出一种端到端R-VOS范式，通过引入混合内存促进帧间协作以实现稳健的时空匹配与传播，并采用MCS指标评估，大幅提升了时间一致性，在Ref-YouTube-VOS和Ref-DAVIS17基准上取得顶尖性能。
2024-10-11 cs.CV
Text Augmented Spatial-aware Zero-shot Referring Image Segmentation
Zhejiang University（浙江大学）
本文提出无需训练的文本增强空间感知（TAS）框架，通过 P 分数和 N 分数增强视觉-文本匹配并引入空间校正器，在多个指代表达分割基准上显著超越现有零样本方法。
2023-10-27 cs.CV
RESMatch: Referring Expression Segmentation in a Semi-Supervised Manner
Huzhou University（湖州大学）；Zhejiang University（浙江大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文提出首个针对指代表达分割的半监督学习方法RESMatch，通过修订强扰动、文本增强及伪标签质量调整等改进，显著优于基线方法并确立新SOTA。
2024-02-11 cs.CV
RIS-FUSION: Rethinking Text-Driven Infrared and Visible Image Fusion from the Perspective of Referring Image Segmentation
Central University of Finance and Economics（中央财经大学）；Tsinghua University（清华大学）
RIS-FUSION通过联合优化融合与指代图像分割，提升基于文本的红外和可见图像融合性能，实现mIoU指标的显著提升。
2026-01-19 cs.CV
RRSIS: Referring Remote Sensing Image Segmentation
Technical University of Munich（慕尼黑工业大学）；Shenzhen University（深圳大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文提出指代表达遥感图像分割任务，构建 RefSegRS 数据集并评测现有方法，进而设计 LGCE 模块以提升小目标和分散目标分割效果。
2024-03-01 cs.CV
Referring Expression Object Segmentation with Caption-Aware Consistency
Academia Sinica（中央研究院）；NEC Laboratories America（美国NEC实验室）；University of California, Merced（加州大学默塞德分校）；Google Cloud（谷歌云）
指称表达是自然语言描述，用于识别场景中的特定对象，并广泛用于我们的日常对话中。在这项工作中，我们专注于分割的对象指定的图像中的一个引用表达式。为此，我们提出了一个端到端的可训练理解网络，该网络由语言和视觉编码器组成，以从这两个域中提取特征表示。我们引入了空间感知的动态过滤器，将知识从文本转移到图像，并有效地捕捉指定对象的空间信息。为了更好地在语言和视觉模块之间进行通信，我们采用了一个标题生成网络，该网络将两个域之间共享的特征作为输入，并通过一致性来改进这两种表示，强制生成的句子与给定的引用表达式相似。我们在两个参考表达式数据集上评估了所提出的框架，并表明我们的方法对最先进的算法表现良好。
2019-10-10 cs.CV
Camera-Aware Cross-View Alignment for Referring 3D Gaussian Splatting Segmentation
East China Normal University（东华师范大学）；Tsinghua University（清华大学）
本文提出CaRF框架，通过引入CAM和GCLA模块，实现3D高斯点云中跨视角指称的一致性对齐，提升分割性能。
2026-03-19 cs.CV
Temporal-Enhanced Multimodal Transformer for Referring Multi-Object Tracking and Segmentation
College of Computer Science, National University of Defense Technology（国防科技大学计算机学院）；JD Technology（京东科技）；Meituan Inc.（美团公司）
本文提出TenRMOT，通过在编码与解码阶段进行跨模态融合并引入查询更新模块利用时序先验，同时构建Ref-KITTI Segmentation数据集，提升指称多目标跟踪与分割性能。
2024-10-17 cs.CV
Advancing Referring Expression Segmentation Beyond Single Image
Tongji University（同济大学）；SenseTime Research（商汤科技研究院）；Zhejiang University（浙江大学）
本文提出分组指代表达式分割（GRES）设定，将RES扩展至图像组，并构建GRD数据集与GRSer基线模型，通过捕捉跨模态与组内交互实现最优性能。
2023-05-21 cs.CV
Rethinking Cross-modal Interaction from a Top-down Perspective for Referring Video Object Segmentation
Zhejiang University（浙江大学）；ETH Zurich（苏黎世联邦理工学院）；Baidu Research（百度研究院）；University of Technology Sydney（悉尼科技大学）
针对RVOS中自下而上语言定位缺乏对象级线索的问题，本文提出两阶段自上而下框架，先传播掩码生成轨迹片段，再用Transformer建模实例关系与跨模态交互，并在CVPR2021挑战赛中夺冠。
2024-01-19 cs.CV
The 1st Solution for 4th PVUW MeViS Challenge: Unleashing the Potential of Large Multimodal Models for Referring Video Segmentation
Shandong University（山东大学）
本文提出一种基于Sa2VA的推理优化方法，通过均匀采样视频帧并融合多个专家模型结果，在MeViS测试集上取得61.98% J&F，获CVPR 2025第四届PVUW挑战赛MeViS赛道第一名。
2025-04-07 cs.CV
MeViS: A Multi-Modal Dataset for Referring Motion Expression Video Segmentation
Fudan University（复旦大学）；Shanghai University of Finance and Economics（上海财经大学）；Nanyang Technological University（南洋理工大学）
MeViS数据集通过多模态数据提升视频分割中运动表达的理解能力，提出LMPM++方法实现新突破。
2025-12-11 cs.CV
Omni-Referring Image Segmentation
Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（中国教育部多媒体可信感知与高效计算重点实验室，厦门大学）；Youtu Lab, Tencent, P.R. China（腾讯视频实验室，中国）；OpenGVLab, Shanghai AI Laboratory（上海AI实验室）
本文提出多模态指引用图像分割任务，通过OmniRIS框架实现高度通用的图像分割，结合文本和视觉模态，构建了OmniRef数据集和OmniSegNet基线模型，验证了其在多模态提示下的分割性能。
2025-12-07 cs.CV
VLT: Vision-Language Transformer and Query Generation for Referring Segmentation
Nanyang Technological University（南洋理工大学）
提出了一种视觉语言Transformer（VLT）框架，用于指代切分，以促进多模态信息之间的深度交互，增强对视觉语言特征的整体理解。有不同的方法来理解语言表达的动态强调，特别是在与图像交互时。然而，现有的Transformer作品中学习的查询在训练后是固定的，这不能应对语言表达的随机性和巨大的多样性。为了解决这个问题，我们提出了一个查询生成模块，它动态地产生多组特定于输入的查询来表示语言表达的不同理解。为了在这些不同的理解中找到最好的，从而生成更好的掩码，我们提出了一个查询平衡模块来选择性地融合查询集的相应响应。此外，为了提高模型处理不同语言表达的能力，我们考虑样本间学习，明确赋予模型理解同一对象的不同语言表达的知识。我们引入掩蔽对比学习来缩小对同一目标对象的不同表达的特征，同时区分不同对象的特征。所提出的方法是轻量级的，并在五个数据集上一致地实现了新的最先进的参考分割结果。
2022-10-28 cs.CV
CausalCLIPSeg: Unlocking CLIP's Potential in Referring Medical Image Segmentation with Causal Intervention
Wuhan University of Technology（武汉理工大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；MedAI Technology (Wuxi) Co. Ltd.（MedAI科技（无锡）有限公司）；Technical University of Munich（慕尼黑工业大学）
针对医学图像指代分割中跨模态对齐难及混淆偏差问题，提出融合CLIP与因果干预的CausalCLIPSeg框架，通过定制跨模态解码、因果干预模块及对抗博弈实现最优分割性能。
2025-03-20 cs.CV
Seek to Segment: Active Perception for Panoramic Referring Segmentation
Fudan University（复旦大学）
提出主动全景指代分割任务，通过记忆增强智能体PanoSeeker结合视觉语言模型与空间记忆，实现高效搜索与分割。
2026-07-03 cs.CV
Proxy-Embedding as an Adversarial Teacher: An Embedding-Guided Bidirectional Attack for Referring Expression Segmentation Models
National Pilot School of Software, Yunnan University（云南大学软件试点学校）；School of Information Science and Engineering, Yunnan University（云南大学信息科学与工程学院）；Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究所）
本文提出PEAT，一种嵌入引导的双向对抗攻击方法，用于揭示指代表达分割模型在多模态结构和跨文本输入下的脆弱性，并在多个架构与基准上验证其优于现有基线。
2025-09-22 cs.CV
Hierarchical Collaborative Fusion for 3D Instance-aware Referring Expression Segmentation
The University of Sydney（悉尼大学）；The University of Melbourne（墨尔本大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
HCF-RES通过层次化视觉语义分解和渐进多级融合，实现了3D实例感知指代表达分割的高精度与细粒度定位。
2026-03-06 cs.CV
Deeply Interleaved Two-Stream Encoder for Referring Video Segmentation
Dalian University of Technology（大连理工大学）
参考视频分割的目的是分割出语言表达所描述的相应视频对象。为了解决这个问题，我们首先设计了一个双流编码器来分层提取基于CNN的视觉特征和基于transformer的语言特征，并在编码器中多次插入视觉语言相互指导（VLMG）模块，以促进多模态特征的分层和渐进融合。与现有的多模态融合方法相比，该编码器考虑了多粒度语言上下文，并借助VLGM实现了模态间的深度交织。为了提高帧间的时间一致性，本文进一步提出了一种语言引导的多尺度动态滤波模块，该模块利用语言引导的时空特征生成一组特定于位置的动态滤波器，以更灵活有效地更新当前帧的特征。在四个数据集上的实验验证了该模型的有效性。
2022-03-30 cs.CV
RefVOS: A Closer Look at Referring Expressions for Video Object Segmentation
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；Institute for NLP, University of Stuttgart（斯图加特大学自然语言处理研究所）；Universitat Pompeu Fabra（庞培法布拉大学）；National Technical University of Athens（雅典国立技术大学）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
视频对象分割与引用表达式（语言引导VOS）的任务是，给定一个语言短语和一个视频，生成二进制掩码的短语所指的对象。我们的工作认为，现有的基准用于这一任务主要是由琐碎的情况下，可以确定与简单的短语所指。我们的分析依赖于对DAVIS-2017和Actor-Action数据集中的短语进行新的分类，将其分为平凡和非平凡的RE，其中非平凡的RE注释有七个RE语义类别。我们利用这些数据来分析RefVOS的结果，RefVOS是一种新型的神经网络，它在语言引导的图像分割任务中获得了有竞争力的结果，并且在语言引导的VOS中获得了最先进的结果。我们的研究表明，这项任务的主要挑战与理解运动和静态动作有关。
2020-10-01 cs.CV
Encoder Fusion Network with Co-Attention Embedding for Referring Image Segmentation
Dalian University of Technology（大连理工大学）
近年来，参考图像分割引起了人们的广泛关注。以前的方法在网络的解码侧执行语言和视觉之间的多模态融合。并且，语言特征与各个尺度的视觉特征分别相互作用，忽略了语言对多尺度视觉特征的连续引导作用。在这项工作中，我们提出了一个编码器融合网络（EFN），它将视觉编码器转换成一个多模态特征学习网络，并使用语言来逐步细化多模态特征。此外，在EFN中嵌入了协同注意力机制，实现了多模态特征的并行更新，提高了跨模态信息表示在语义空间中的一致性。最后，我们提出了一个边界增强模块（BEM），使网络更加关注精细结构。在四个基准数据集上的实验结果表明，该方法在不进行任何后处理的情况下，在不同的评价指标下都达到了最佳的性能。
2021-05-05 cs.CV
PRIMED: Adaptive Modality Suppression for Referring Audio-Visual Segmentation via Biased Competition
School of Information Science and Engineering, East China University of Science and Technology（信息科学与工程学院，东华大学）
PRIMED通过偏见竞争理论，实现适应性模态抑制，提升指引用视听分割的准确性，通过模态先验解码器和token蒸馏器增强多模态融合，实验表明其在Ref-AVS基准上达到最优性能。
2026-05-08 cs.CV
Find First, Track Next: Decoupling Identification and Propagation in Referring Video Object Segmentation
GenGenAI；Yonsei University（延世大学）
针对指代表达视频目标分割中多模态特征纠缠导致的目标识别歧义和跨帧传播不一致问题，本文提出 FindTrack 解耦框架，通过自适应关键帧选择与专用传播模块提升性能，并在公开基准上取得最优结果。
2025-07-26 cs.CV
RefMask3D: Language-Guided Transformer for 3D Referring Segmentation
Institute of Big Data, Fudan University（复旦大学大数据学院）；Nanyang Technological University（南洋理工大学）
提出RefMask3D模型，通过几何增强组词注意力、语言基元构建和物体聚类模块解决3D指代分割中的视觉-语言融合对齐问题，在多个任务上达到最先进性能。
2024-07-25 cs.CV
Video Object Segmentation with Language Referring Expressions
Max Planck Institute for Informatics（马克斯·普朗克信息研究所）；Bosch Center for Artificial Intelligence（博世人工智能中心）；University of California, Berkeley（加利福尼亚大学伯克利分校）
最先进的半监督视频对象分割方法依赖于为视频的第一帧提供的目标对象的像素精确掩模。然而，获得详细的分割掩模是昂贵且耗时的。在这项工作中，我们探讨了另一种方法来确定一个目标对象，即通过使用语言指涉表达式。除了是一种更实用和自然的方式来指出目标对象之外，使用语言规范可以帮助避免漂移，并使系统对复杂的动态和外观变化更加鲁棒。利用为图像设计的语言基础模型的最新进展，我们提出了一种将其扩展到视频数据的方法，以确保时间连贯的预测。为了评估我们的方法，我们增加了流行的视频对象分割基准，DAVIS'16和DAVIS'17与目标对象的语言描述。我们表明，我们的语言监督方法与DAVIS'16上可以访问目标对象的像素级掩模的方法不相上下，并且与具有挑战性的DAVIS'17数据集上使用涂鸦的方法相比具有竞争力。
2019-02-05 cs.CV
Referring Image Segmentation Using Text Supervision
Dalian University of Technology（大连理工大学）；City University of Hong Kong（香港城市大学）
针对现有RIS方法依赖高成本标注的问题，提出仅用文本监督的弱监督RIS框架，通过双边提示、响应图校准和伪标签生成策略训练分割网络，性能媲美全监督方法且优于现有弱监督方法。
2023-08-28 cs.CV
Robust Egocentric Referring Video Object Segmentation via Dual-Modal Causal Intervention
Sun Yat-sen University（中山大学）
CERES通过双模态因果干预方法，在自我参照视频中实现鲁棒的目标分割，提升对快速运动和遮挡的鲁棒性。
2025-12-30 cs.CV
MaIL: A Unified Mask-Image-Language Trimodal Network for Referring Image Segmentation
Zhejiang University（浙江大学）
指称图像分割是一个典型的多模态任务，其目的是为给定语言表达式所描述的指称对象生成一个二值模板。现有技术采用双模解决方案，将图像和语言作为编码器-融合器-解码器流水线内的两种模态。然而，由于两个原因，该流水线对于目标任务来说是次优的。首先，它们只融合了单模态编码器单独产生的高级特征，这阻碍了充分的跨模态学习。其次，单模态编码器是独立预训练的，这导致预训练的单模态任务和目标多模态任务之间的不一致性。此外，该管道经常忽略或很少使用直观有益的实例级功能。为了缓解这些问题，我们提出了MaIL，这是一个更简洁的编码器-解码器管道与掩码图像语言三峰编码器。具体来说，MaIL将单模态特征提取器及其融合模型统一到深度模态交互编码器中，从而促进不同模态之间的充分特征交互。同时，MaIL直接避免了第二个限制，因为不再需要单模编码器。此外，我们第一次提出引入实例掩码作为一种额外的模态，它明确地增强了实例级特征，并促进了更精细的分割结果。所提出的MaIL在所有常用的参考图像分割数据集（包括RefCOCO、RefCOCO+和G-Ref）上都具有新的最新技术水平，与以前的最佳方法相比，具有3%-10%的显著增益。代码将很快发布。
2021-11-25 cs.CV
SimToken: A Simple Baseline for Referring Audio-Visual Segmentation
本文提出 SimToken 框架，通过 MLLM 生成语义 token 引导 SAM 完成指代音视频分割，并引入目标一致语义对齐损失提升跨模态语义学习，在 Ref-AVS 基准上取得优于现有方法的效果。
2025-09-23 cs.CV
Multi-Attention Network for Compressed Video Referring Object Segmentation
University of Chinese Academy of Science（中国科学院大学）；Australian Institute for Machine Learning, The University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；Peng Cheng Laboratory（鹏城实验室）
引用视频对象分割的目的是分割由给定的语言表达所引用的对象。现有的工作通常需要压缩的视频比特流被解码成RGB帧之前被分割，这增加了计算和存储需求，并最终减慢推理。这可能会阻碍其在现实世界计算资源有限的场景中的应用，例如自动驾驶汽车和无人机。为了缓解这个问题，在本文中，我们探讨了压缩视频，即对原始视频数据流的参考对象分割任务。除了视频引用对象分割任务本身固有的困难之外，从压缩视频中获得有区别的表示也是相当具有挑战性的。针对这一问题，提出了一种由双路径双注意模块和基于查询的跨模态Transformer模块组成的多注意网络。具体地，双路径双注意模块被设计为从三种模态的压缩数据中提取有效表示，即，I帧、运动矢量和残差。基于查询的跨模态Transformer首先对语言模态和视觉模态之间的相关性进行建模，然后利用融合的多模态特征引导对象查询生成内容感知的动态核，并预测最终的分割模板。与以前的工作不同，我们建议只学习一个内核，从而消除了现有方法的复杂的后掩模匹配过程。在三个具有挑战性的数据集上进行的广泛的实验结果表明，我们的方法与几种用于处理RGB数据的最先进的方法相比是有效的。源代码可在https://github.com/DexiangHong/MANet上获得。
2022-07-26 cs.CV
CRIS: CLIP-Driven Referring Image Segmentation
University of Sydney（悉尼大学）；OPPO Research Institute（OPPO研究院）；Beijing University of Posts and Telecommunications（北京邮电大学）；Kuaishou Technology（快手科技）；University of Melbourne（墨尔本大学）
参考图像分割的目的是通过自然的语言表达分割出一个参考对象。由于文本和图像之间的数据属性不同，对于网络来说，很好地对齐文本和像素级特征是一个挑战。现有的方法使用预训练模型来促进学习，但单独地从预训练模型中转移语言/视觉知识，忽略了多模态对应信息。受对比图像预训练（CLIP）最新进展的启发，本文提出了一个端到端CLIP驱动的参考图像分割框架（CRIS）。为了有效地传递多模态知识，CRIS采用视觉语言解码和对比学习来实现文本到像素的对齐。更具体地说，我们设计了一个视觉语言解码器来传播细粒度的语义信息从文本表示到每个像素级激活，这促进了两种模式之间的一致性。此外，我们提出了文本到像素的对比学习，以明确地执行文本功能类似于相关的像素级功能和不同的不相关。三个基准数据集上的实验结果表明，我们提出的框架显着优于国家的最先进的性能，没有任何后处理。代码将被释放。
2022-03-14 cs.CV
