EventRR: Event Referential Reasoning for Referring Video Object Segmentation
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；The Hong Kong University of Science and Technology（香港科学与技术大学）；Northwestern Polytechnical University（西北工业大学）
针对指代视频目标分割中忽略表达式语义结构及事件时序关系的问题，提出事件指代推理框架EventRR，通过解耦目标摘要与指代推理并构建指代事件图进行时序概念角色推理，显著优于现有方法。
2025-08-13 cs.CV
1st Place Solution for YouTubeVOS Challenge 2022: Referring Video Object Segmentation
Tomorrow Advancing Life (TAL) Education Group（好未来教育集团）
引用视频对象分割的任务旨在将引用表达式所引用的给定视频帧中的对象分割出来。以前的方法采用多阶段的方法和设计复杂的管道，以获得有希望的结果。近年来，基于Transformer的端到端方法已经证明了其优越性。在这项工作中，我们借鉴了上述方法的优点，为RVOS提供了一个简单而有效的管道。首先，我们改进了现有的一阶段方法ReferFormer，以获得与语言描述强相关的掩码序列。其次，基于可靠和高质量的关键帧，我们利用视频对象分割模型的优越性能，进一步提高掩模结果的质量和时间一致性。我们的单个模型在推荐Youtube-VOS验证集上达到70.3 J &F，在测试集上达到63.0。经过合奏，我们在最终排行榜上获得64.1，在CVPR 2022推荐Youtube-VOS挑战赛中排名第一。代码将在https://github.com/Zhiweihhh/cvpr2022-rvos-challenge.git上提供。
2022-12-27 cs.CV
EAGLE: Towards Efficient Arbitrary Referring Visual Prompts Comprehension for Multimodal Large Language Models
Fudan University（复旦大学）；Meituan（美团）
针对多模态大语言模型在理解任意指代视觉提示时存在的架构冗余和泛化难题，提出EAGLE模型，通过将提示作为彩色色块渲染并引入几何无关学习范式，以更少训练量实现了高效理解。
2024-09-26 cs.CV
Real-Time Referring Expression Comprehension by Single-Stage Grounding Network
Tencent AI Lab（腾讯人工智能实验室）；National University of Singapore（新加坡国立大学）；University of Rochester（罗切斯特大学）
在本文中，我们提出了一种新的端到端的模型，即单级接地网络（SSG），在一个图像内的参考表达式的参考定位。不同于以往的多阶段模型，依赖于对象的建议或检测到的区域，我们提出的模型的目的是通过一个单一的阶段，而不诉诸区域的建议，以及随后的区域明智的特征提取理解所指的表达。具体地说，提出了一个多模态交互器，以集中地总结关于指称表达的局部区域特征。随后，提出了一个地面定位器，直接在给定的图像中定位所指的表达。为了进一步提高定位精度，提出了一种引导注意力机制，以强制接地集中在中心区域的指示。此外，通过利用和预测视觉属性信息，地面可以进一步区分图像中的所指对象，从而提高模型的性能。RefCOCO，RefCOCO+和RefCOCOg数据集上的实验表明，我们提出的SSG不依赖于任何区域建议，可以实现与其他先进模型相当的性能。此外，我们的SSG优于以前的模型，并在ReferItGame数据集上实现了最先进的性能。更重要的是，我们的SSG具有时间效率，可以在25 ms（每秒40个引用）内从RefCOCO数据集的416*416图像中获得引用表达式，平均使用Nvidia Tesla P40，比现有的多级模型加速超过9倍。
2018-12-09 cs.CV
Referring Expression Object Segmentation with Caption-Aware Consistency
Academia Sinica（中央研究院）；NEC Laboratories America（美国NEC实验室）；University of California, Merced（加州大学默塞德分校）；Google Cloud（谷歌云）
指称表达是自然语言描述，用于识别场景中的特定对象，并广泛用于我们的日常对话中。在这项工作中，我们专注于分割的对象指定的图像中的一个引用表达式。为此，我们提出了一个端到端的可训练理解网络，该网络由语言和视觉编码器组成，以从这两个域中提取特征表示。我们引入了空间感知的动态过滤器，将知识从文本转移到图像，并有效地捕捉指定对象的空间信息。为了更好地在语言和视觉模块之间进行通信，我们采用了一个标题生成网络，该网络将两个域之间共享的特征作为输入，并通过一致性来改进这两种表示，强制生成的句子与给定的引用表达式相似。我们在两个参考表达式数据集上评估了所提出的框架，并表明我们的方法对最先进的算法表现良好。
2019-10-10 cs.CV
WeakMCN: Multi-task Collaborative Network for Weakly Supervised Referring Expression Comprehension and Segmentation
The University of Hong Kong（香港大学）；King’s College London（伦敦国王学院）；Huazhong Agricultural University（华中农业大学）；National University of Singapore（新加坡国立大学）；Shanghai AI Laboratory（上海人工智能实验室）
该研究针对弱监督指代表达理解与分割任务，提出多任务协作网络WeakMCN，通过双分支架构及两项创新设计提升性能，在多个基准上优于单任务方法且泛化能力强。
2026-09-15 cs.CV
Neighbourhood Watch: Referring Expression Comprehension via Language-guided Graph Attention Networks
The University of Adelaide（阿德莱德大学）；The University of Electronic Science and Technology of China（电子科技大学）
指称表达理解的任务是将对象实例定位在由自然语言表达的指称表达所描述的图像中。作为一个语言到视觉的匹配任务，这个问题的关键是学习一个能够适应所使用的表达的有区别的对象特征。为了避免歧义，该表达式通常不仅倾向于描述所指对象本身的属性，而且还描述其与邻域的关系。为了捕捉和利用这些重要信息，我们提出了一个基于图形的，语言引导的注意力机制。该图注意力机制由节点注意力和边注意力两部分组成，明确地表示了对象间的关系，具有竞争方法所不具备的灵活性和强大性。此外，所提出的图形注意力机制使理解决策可视化和可解释。在三个参考表达式理解数据集上的实验表明了该方法的优越性。
2018-12-12 cs.CV
Unpaired Referring Expression Grounding via Bidirectional Cross-Modal Matching
Monash University（莫纳什大学）
指称表达基础是计算机视觉中一项重要而又具有挑战性的任务。为了避免传统的引用基础中的费力注释，引入了不成对的引用基础，其中训练数据仅包含一些图像和查询，而没有对应关系。由于学习图像-文本匹配的挑战和缺乏对不成对数据的自上而下的指导，现有的几个解决方案仍然是初步的。在本文中，我们提出了一种新的双向跨模态匹配（BiCM）框架来解决这些挑战。特别是，我们设计了一个查询感知的注意力地图（QAM）模块，通过生成特定于查询的视觉注意力地图，引入自顶向下的角度。进一步介绍了跨模态对象匹配（COM）模块，该模块利用最近出现的图像-文本匹配预训练模型CLIP从自下而上的角度预测目标对象。自上而下和自下而上的预测，然后通过一个相似性函数（SF）模块集成。我们还提出了一个知识自适应匹配（KAM）模块，利用未配对的训练数据，以适应预先训练的知识，目标数据集和任务。实验表明，我们的框架比以前的作品在两个流行的接地数据集分别提高了6.55%和9.94%。
2022-06-05 cs.CV
Deformable Attentive Visual Enhancement for Referring Segmentation Using Vision-Language Model
King Fahd University of Petroleum and Minerals（法赫德国王石油与矿产大学）
提出SegVLM视觉语言模型，通过集成SE块、可变形卷积和残差连接，并引入指代感知融合损失，提升指代分割精度与跨模态对齐，实验证明各组件有效且泛化性强。
2025-05-25 cs.CV
Rethinking Referring Object Removal
Southeast University（东南大学）；Centre de Recherche en Information Biomèdicale Sino-français (CRIBs)（中法生物医学信息研究中心）；Univ Rennes（雷恩大学）
针对指代物体移除任务，构建了ComCOCO数据集并提出语法感知混合映射网络，通过分层语言特征融合与特征对齐金字塔网络实现分割与修复，显著优于现有方法。
2024-03-14 cs.CV
Dynamic Graph Attention for Referring Expression Comprehension
The University of Hong Kong（香港大学）；Sun Yat-sen University（中山大学）；Deepwise AI Lab（深睿医疗人工智能实验室）
指称表达式理解的目的是在图像中定位由自然语言指称表达式描述的对象实例。这个任务是合成的，本质上需要在图像中对象之间的关系之上进行视觉推理。同时，视觉推理过程受指称表达的语言结构的指导。然而，现有的方法孤立地对待对象，或者只探索对象之间的一阶关系，而不与表达式的潜在复杂性对齐。因此，他们很难适应复杂指称表达的基础。本文从语言驱动的视觉推理的角度探讨了指称表情理解问题，提出了一种动态图注意网络，通过对图像中对象之间的关系和表情的语言结构进行建模，实现多步推理。特别是，我们构建了一个图形的图像与节点和边缘对应的对象和它们的关系分别，提出了一个差分分析器来预测语言引导的视觉推理过程，并执行逐步推理的图形上更新的复合对象表示在每个节点。实验结果表明，该方法不仅可以显着优于所有现有的国家的最先进的算法在三个常见的基准数据集，但也产生可解释的视觉证据逐步定位的对象所提到的复杂的语言描述。
2019-09-18 cs.CV
Object Referring-Guided Scanpath Prediction with Perception-Enhanced Vision-Language Models
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
本文提出ScanVLA模型，通过融合视觉和语言特征提升物体指称引导的注视路径预测性能，引入历史增强解码器和冻结分割LoRA辅助定位，提升预测精度且不增加计算成本。
2026-04-22 cs.CV
Whether you can locate or not? Interactive Referring Expression Generation
Beijing University of Posts and Telecommunications（北京邮电大学）
针对现有指称表达生成（REG）方法未利用与指称表达理解（REC）任务的交互潜力的问题，提出可与REC模型交互、借助定位信号和区域逐步修正表达的IREG模型，在多个基准上性能超越现有最优方法，人工评估效果更优。
2023-08-19 cs.CV
A Real-Time Cross-modality Correlation Filtering Method for Referring Expression Comprehension
Beihang University（北京航空航天大学）；SenseTime Research（商汤科技研究院）；Sun Yat-sen University（中山大学）
引用表达式理解的目的是本地化由自然语言表达式描述的对象实例。目前的指称表达方法已经取得了良好的性能。然而，没有一个能够实现实时的【形】推理而不降低精度。推理速度相对较慢的原因是这些方法人为地将指称表达理解分为两个连续的阶段，包括建议生成和建议排序。它并不完全符合人类的认知习惯。为此，我们提出了一种新的实时跨模态相关滤波方法（RCCF）。RCCF将指称表达理解重新表述为一个相关过滤过程。首先将表情从语言域映射到视觉域，然后将其作为模板（内核）对图像特征图进行相关滤波。相关性热图中的峰值指示目标框的中心点。此外，RCCF还回归2-D对象大小和2-D偏移。中心点坐标、对象大小和中心点偏移量共同构成目标限界框。我们的方法以40 FPS运行，同时在RefClef，RefCOCO，RefCOCO+和RefCOCOg基准测试中获得领先的性能。在具有挑战性的RefClef数据集中，我们的方法几乎是最先进性能的两倍（34.70%增加到63.79%）。我们希望这项工作能引起更多的关注和研究新的跨通道相关过滤框架，以及指称表达理解的一个阶段的框架。
2020-04-27 cs.CV
Co-Grounding Networks with Semantic Attention for Referring Expression Comprehension in Videos
Columbia University（哥伦比亚大学）
在本文中，我们解决的问题是指表达理解视频，这是具有挑战性的，由于复杂的表达和场景动态。不像以前的方法在多个阶段解决问题（即，跟踪，基于建议的匹配），我们从一个新的角度，\textbf{co-grounding}，一个优雅的一个阶段的框架来解决这个问题。我们通过语义注意学习提高单帧接地的准确性，并提高跨帧接地的一致性与共接地特征学习。语义注意学习显式地解析不同属性中的指称线索，以减少复杂表达式中的歧义。共接地特征学习通过整合时间相关性来提高视觉特征表示，以减少场景动态引起的模糊性。实验结果表明，我们的框架上的视频接地数据集VID和LiOTB在跨帧生成准确和稳定的结果的优越性。我们的模型也适用于引用图像中的表达理解，RefCOCO数据集上的性能改进说明了这一点。我们的项目可以在https://sijiesong.github.io/co-grounding上找到。
2021-03-23 cs.CV
MUTATT: Visual-Textual Mutual Guidance for Referring Expression Comprehension
Tianjin University（天津大学）；University of South Carolina（南卡罗来纳大学）
指称表达理解（REC）的目的是通过自然语言中的指称表达定位给定图像中的文本相关区域。现有的方法集中在如何建立令人信服的视觉和语言表示独立，这可能会显着分离的视觉和语言信息。本文认为，在REC中，指称表达和目标区域之间存在语义相关性，视觉和语言之间存在主体、位置和关系的一致性，在此基础上，提出了一种新的视觉和语言之间的相互引导方法MutAtt，该方法平等地对待视觉和语言，从而产生紧凑的信息匹配。具体而言，MutAtt针对主体、位置和关系三个模块分别构建了两种基于注意力的相互引导策略。一种策略是生成视觉引导的语言嵌入，以匹配相关的视觉特征。另一种是生成语言引导的视觉特征，以匹配相关的语言嵌入。这种相互指导的策略可以有效地保证三个模块中视觉语言的一致性。在三个流行的REC数据集上的实验表明，该方法优于当前最先进的方法。
2020-03-20 cs.CV
Cops-Ref: A new Dataset and Task on Compositional Referring Expression Comprehension
The University of Hong Kong（香港大学）；University of Wollongong（伍伦贡大学）；Tencent AI Lab（腾讯人工智能实验室）；Australian Centre for Robotic Vision, University of Adelaide（阿德莱德大学澳大利亚机器人视觉中心）
指称表达式理解（REF）的目的是通过自然语言表达式识别场景中的特定对象。它需要在文本和视觉域上进行联合推理来解决问题。然而，一些流行的引用表达式数据集未能提供用于评估模型推理能力的理想测试平台，主要是因为1）它们的表达式通常仅描述对象的一些简单独特属性，2）它们的图像包含有限的分散信息。为了弥补这一差距，我们提出了一个新的数据集的视觉推理的背景下，指的表达理解有两个主要特点。首先，我们设计了一个新的表达式引擎渲染各种推理逻辑，可以灵活地与丰富的视觉属性相结合，以生成具有不同的组合性的表达式。其次，为了更好地利用表达中体现的完整推理链，我们提出了一种新的测试设置，通过添加额外的分散注意力的图像，其中包含与所指对象共享相似属性的对象，从而最大限度地降低无推理跨域对齐的成功率。我们评估了几个国家的最先进的REF模型，但发现没有一个可以实现有前途的性能。提出的模块化硬挖掘策略表现最好，但仍有很大的改进空间。我们希望这个新的数据集和任务可以作为更深层次的视觉推理分析的基准，并促进对指称表达理解的研究。
2020-03-01 cs.CV
GREC: Generalized Referring Expression Comprehension
Nanyang Technological University（南洋理工大学）
本文提出广义指代表达理解（GREC）基准及首个大规模数据集gRefCOCO，扩展经典REC以支持多目标或无目标表达，并确保与经典REC兼容。
2023-12-24 cs.CV
OPERA: A Unified Omnimodal Progressive Spatio-Temporal Reasoning Agent for Referring Video Segmentation
针对多模态查询的指代视频分割，提出基于单一MLLM的OPERA智能体，通过时间与空间双轴渐进推理，在OmniAVS和Ref-AVS上达到最先进水平，并可零样本迁移。
2026-09-29 cs.CV
ChartREG++: Towards Benchmarking and Improving Chart Referring Expression Grounding under Diverse referring clues and Multi-Target Referring
Research Center for Social Computing and Interactive Robotics（社会计算与交互机器人研究中心）
针对现有图表指代表达式定位基准的局限，提出支持多种定位形式、多目标指代、多样化线索和图表类型的基准，并利用代码驱动合成流水线生成像素级实例掩码，训练实例分割模型集成到多模态定位框架，显著提升性能。
2026-06-09 cs.CL cs.CV
Towards Omnimodal Expressions and Reasoning in Referring Audio-Visual Segmentation
Fudan University, China（复旦大学）
针对指代性视听分割在多模态整合与深度推理上的挑战，研究者构建了含8类多模态表达、侧重音频理解与复杂推理的OmniAVS数据集，并提出基于MLLM的OISA方法，实验证明其性能优于现有方法。
2025-07-31 cs.CV
PRIMED: Adaptive Modality Suppression for Referring Audio-Visual Segmentation via Biased Competition
School of Information Science and Engineering, East China University of Science and Technology（信息科学与工程学院，东华大学）
PRIMED通过偏见竞争理论，实现适应性模态抑制，提升指引用视听分割的准确性，通过模态先验解码器和token蒸馏器增强多模态融合，实验表明其在Ref-AVS基准上达到最优性能。
2026-05-08 cs.CV
Generating Easy-to-Understand Referring Expressions for Target Identifications
The University of Tokyo（东京大学）；DENSO CORPORATION（电装公司）；DENSO IT Laboratory, Inc.（电装信息技术实验室有限公司）；RIKEN（理化学研究所）
本文讨论的指称表达式的生成，不仅指正确的对象，但也让人们找到他们迅速。随着目标变得相对不那么突出，识别所涉及的对象本身变得更加困难。然而，现有的研究认为所有正确指代物体的句子都是同样好的，而忽略了它们是否容易被人类理解。如果目标不是突出的，人类利用与周围的突出上下文的关系，以帮助听众更好地理解它。为了从人类注释中获得这些信息，我们的模型被设计为从目标和环境中提取信息。此外，我们认为容易理解的句子是那些被人类正确和快速理解的句子。我们通过使用人类定位引用对象所需的时间及其准确性来优化这一点。为了评估我们的系统，我们创建了一个新的引用表情数据集，其图像来自侠盗猎车手V（GTA V），将目标限制为人。实验结果表明了该方法的有效性。我们的代码和数据集可以在https://github.com/mikittt/easy-to-understand-REG上找到。
2019-08-29 cs.CV
RefEgo: Referring Expression Comprehension Dataset from First-Person Perception of Ego4D
RIKEN（理化学研究所）；University of Tsukuba（筑波大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文基于Ego4D第一人称视频构建了RefEgo指代表达理解数据集，包含超12k片段和41小时标注，并结合2D指代表达理解模型与目标跟踪算法，在物体出画或多相似物体等困难条件下实现了视频级所指目标跟踪。
2023-10-30 cs.CV
Referring Transformer: A One-step Approach to Multi-task Visual Grounding
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究所）
作为视觉推理的重要一步，视觉基础（例如，短语本地化、指称表达理解/分割）已经被广泛探索。由于两阶段设置，先前的指称表达理解（REC）或分割（RES）的方法或者受到有限性能的影响，或者需要设计复杂的特定于任务的一阶段体系结构。在本文中，我们提出了一个简单的一阶段多任务框架的视觉接地任务。具体来说，我们利用一个Transformer架构，其中两个模态融合在一个视觉语言编码器。在解码器中，模型学习生成上下文化的语言查询，然后将其解码并用于直接回归限界框并为相应的参考区域生成分割掩码。有了这个简单但高度情境化的模型，我们在REC和RES任务上都大大优于最先进的方法。我们还表明，一个简单的预训练时间表（在外部数据集上）进一步提高了性能。大量的实验和消融表明，我们的模型受益于上下文信息和多任务训练。
2021-07-14 cs.CV
Utilizing Large Scale Vision and Text Datasets for Image Segmentation from Referring Expressions
UC Berkeley（加州大学伯克利分校）；ICSI, Berkeley（伯克利国际计算机科学研究所）；UT Austin（德克萨斯大学奥斯汀分校）
从指称表达式中分割图像是一个视觉和语言建模的联合任务，其中输入是图像和描述图像中特定区域的文本表达式;目标是基于给定表达式定位和分割特定图像区域。训练这种基于语言的图像分割系统的一个主要困难是缺乏具有联合视觉和文本注释的数据集。虽然现有的视觉数据集（如MS COCO）提供图像标题，但很少有数据集具有图像的区域级文本注释，并且这些数据集的规模通常较小。在本文中，我们将探讨如何利用现有的大规模纯视觉和纯文本数据集来训练模型，从参考表达式中进行图像分割。我们提出了一种方法来解决这个问题，并在实验中表明，我们的方法可以帮助这个联合视觉和语言建模任务与视觉和文本数据，并优于以前的结果。
2016-08-30 cs.CV
Advancing Referring Expression Segmentation Beyond Single Image
Tongji University（同济大学）；SenseTime Research（商汤科技研究院）；Zhejiang University（浙江大学）
本文提出分组指代表达式分割（GRES）设定，将RES扩展至图像组，并构建GRD数据集与GRSer基线模型，通过捕捉跨模态与组内交互实现最优性能。
2023-05-21 cs.CV
Rex-Thinker: Grounded Object Referring via Chain-of-Thought Reasoning
International Digital Economy Academy (IDEA)（国际数字经济学院）；South China University of Technology（华南理工大学）；Peking University（北京大学）
本文提出Rex-Thinker模型，将目标指代形式化为显式思维链推理任务，通过构建HumanRef-CoT数据集并采用监督微调与GRPO强化学习两阶段训练，提升了预测的可解释性、可信性及域外泛化能力。
2025-06-04 cs.CV
Variational Context: Exploiting Visual and Textual Context for Grounding Referring Expressions
Renmin University of China（中国人民大学）；Nanyang Technological University（南洋理工大学）；Columbia University（哥伦比亚大学）
我们专注于接地（即，定位或链接）图像中的引用表达，例如，“最大的大象站在小象后面”。这是一个普遍但具有挑战性的视觉语言任务，因为它不仅需要对象的定位，而且还需要上下文的多模态理解-视觉属性（例如，“最大的”，“婴儿”）和关系（例如，“后面”），这有助于区分所指对象与其他对象，特别是那些相同类别的对象。由于涉及建模的上下文与多个图像区域的指数的复杂性，现有的工作过度简化这个任务，成对区域建模的多个实例学习。本文提出了一种变分贝叶斯方法，称为变分上下文，以解决复杂的上下文建模的问题，在引用表达式接地。具体来说，我们的框架利用了所指对象和语境之间的相互关系，即，它们中的任何一个都影响对另一个的后验分布的估计，从而可以大大减小上下文的搜索空间。除了互惠性，我们的框架还考虑了上下文的语义信息，即，可以基于所估计的上下文来再现所述指称表达。我们还将模型扩展到无监督设置，其中没有注释的referent可用。在各种基准上进行的广泛实验表明，在监督和无监督设置中，与最先进的方法相比，该方法具有一致的改进。
2019-07-08 cs.CV
Give Me Something to Eat: Referring Expression Comprehension with Commonsense Knowledge
Northwestern Polytechnical University（西北工业大学）；The University of Adelaide（阿德莱德大学）
传统的指称表达理解（REF）假设人们通过描述图像的视觉外观和空间位置来查询事物，但在实践中，我们经常通过描述其示能或其他非视觉属性来询问对象，特别是当我们没有精确的目标时。例如，有时我们说“给我点吃的”。在这种情况下，我们需要使用常识知识来识别图像中的对象。不幸的是，没有现有的引用表达式数据集反映这一要求，更不用说解决这一挑战的模型了。在本文中，我们收集了一个新的引用表达式数据集，称为KB-Ref，包含16 k图像上的43 k表达式。在KB-Ref中，要回答每个表达式（检测表达式所指的目标对象），必须至少需要一个常识知识。然后，我们在KB-Ref上测试了最先进的（SoTA）REF模型，发现与它们在一般REF数据集上的出色性能相比，所有这些模型都有很大的下降。我们还提出了一个表达条件图像和事实注意（ECIFA）网络，从相关的图像区域和常识知识事实中提取信息。我们的方法比SoTA REF模型有了显著的改进，尽管在这个强大的基线和人类表现之间仍然存在差距。将发布数据集和基线模型。
2020-08-17 cs.CV
Object Referring in Videos with Language and Human Gaze
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
我们研究的对象引用（或），即本地化的目标对象在视觉场景中的语言描述的问题。人类更多地将世界视为连续的视频片段而不是静态图像，并且不仅通过其外观来描述对象，而且还通过其时空上下文和运动特征来描述对象。当人类发出指称的表情时，他们也会凝视物体。现有的OR工作大多集中在静态图像，这在提供许多这样的线索不足。本文讨论了视频中的语言和人类凝视。为此，我们提出了一个新的视频数据集OR，超过5000个立体视频序列的30000个对象注释为他们的描述和凝视。我们进一步提出了一种新的网络模型，或在视频中，通过整合外观，运动，凝视，和时空背景到一个网络。实验结果表明，我们的方法有效地利用运动线索，人类的目光，和时空背景。我们的方法优于以前的OR方法。有关数据集和代码，请参阅https://people.ee.ethz.ch/~arunv/ORGaze.html。
2018-04-04 cs.CV
Referring Expression Comprehension Using Language Adaptive Inference
College of Computer Science & Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Software Technology, Zhejiang University（浙江大学软件学院）；Shanghai Institute for Advanced Study, Zhejiang University（浙江大学上海高等研究院）；Shanghai AI Laboratory（上海人工智能实验室）
本文针对REC中不同表达只需少量模型组件的问题，提出LADS框架按语言动态提取自适应子网，在四个基准上同时提升推理速度与准确率。
2023-06-06 cs.CV
DisCLIP: Open-Vocabulary Referring Expression Generation
Bar-Ilan University（巴伊兰大学）；NVIDIA（英伟达）
本文提出DisCLIP方法，利用预训练CLIP模型在推理阶段引导大语言模型生成具有判别力的指代表达，无需额外训练即可在域外数据集上显著超越以往方法。
2023-05-30 cs.CV
SimToken: A Simple Baseline for Referring Audio-Visual Segmentation
本文提出 SimToken 框架，通过 MLLM 生成语义 token 引导 SAM 完成指代音视频分割，并引入目标一致语义对齐损失提升跨模态语义学习，在 Ref-AVS 基准上取得优于现有方法的效果。
2025-09-23 cs.CV
Adaptive Reconstruction Network for Weakly Supervised Referring Expression Grounding
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS（中国科学院计算技术研究所智能信息处理重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology of China（中国科学技术大学）；Peng Cheng Laboratory（鹏城实验室）
弱监督指称表达式接地的目的是根据语言查询定位图像中的指称对象，其中指称对象和查询之间的映射在训练阶段是未知的。为了解决这个问题，我们提出了一种新的端到端自适应重建网络（ARN）。该方法以自适应的方式建立图像区域建议和查询之间的对应关系：自适应接地和协作重建。具体来说，我们首先提取的主题，位置和上下文功能，分别代表的建议和查询。然后，我们设计了自适应接地模块，计算每个建议和查询之间的匹配得分的层次注意力模型。最后，基于注意力分数和建议特征，我们重建输入查询的语言重建损失，自适应重建损失，和属性分类损失的协作损失。这种自适应机制有助于我们的模型，以减轻不同的指称表达的差异。在四个大规模数据集上的实验表明，ARN的性能大大优于现有的最先进的方法。定性结果表明，建议的ARN可以更好地处理的情况下，一个特定类别的多个对象位于一起。
2019-08-28 cs.CV
Grounding Referring Expressions in Images by Variational Context
Nanyang Technological University（南洋理工大学）；Renmin University of China（中国人民大学）；Columbia University（哥伦比亚大学）
我们专注于接地（即，定位或链接）图像中的引用表达，例如，“最大的大象站在小象后面”这是一个普遍但具有挑战性的视觉语言任务，因为它不仅需要对象的定位，而且还需要上下文的多模态理解-视觉属性（例如，“最大”，“婴儿”）和关系（例如，“后面”），这有助于区分所指对象与其他对象，特别是那些相同类别的对象。由于涉及建模的上下文与多个图像区域的指数的复杂性，现有的工作过度简化这个任务，成对区域建模的多个实例学习。本文提出了一种变分贝叶斯方法，称为变分上下文，以解决复杂的上下文建模的问题，在引用表达式接地。我们的模型利用了所指和语境之间的相互关系，即，它们中的任何一个都影响另一个的后验分布的估计，从而可以大大减少上下文的搜索空间，从而更好地定位所指对象。我们开发了一种新的特定于线索的语言视觉嵌入网络，它可以端到端地学习这种互惠模型。我们还将模型扩展到无监督设置，其中没有注释的referent可用。在各种基准上进行的广泛实验表明，在监督和无监督设置中，与最先进的方法相比，该方法具有一致的改进。
2018-03-31 cs.CV
Hierarchical Alignment-enhanced Adaptive Grounding Network for Generalized Referring Expression Comprehension
School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）；Institute of Big Data, Fudan University（复旦大学大数据学院）；Shanghai University of Finance and Economics（上海财经大学）；Nanyang Technological University（南洋理工大学）
本文提出层次对齐增强自适应定位网络HieA2G，通过层次多模态语义对齐和自适应定位计数器解决广义指代表达理解中无目标、单目标与多目标情况，并在GREC、REC、RES等多个任务上取得最优性能。
2025-01-02 cs.CV
Iterative Shrinking for Referring Expression Grounding Using Deep Reinforcement Learning
Xi’an Jiaotong-Liverpool University（西交利物浦大学）；University of Liverpool（利物浦大学）
在本文中，我们正在解决无提案的指称表达式基础任务，旨在根据查询句子定位目标对象，而不依赖现成的对象提案。现有的无建议方法采用查询图像匹配分支来选择图像特征图中得分最高的点作为目标框中心，其宽度和高度由另一分支预测。然而，这些方法未能利用目标对象和参照对象之间的上下文关系，并且其推理过程缺乏可解释性。为了解决这些问题，本文提出了一种迭代收缩机制来定位目标，其中收缩方向由强化学习代理决定，并综合考虑当前图像块内的所有内容。此外，顺序收缩过程能够演示如何迭代地找到目标的推理。实验表明，该方法提高了4.32%的准确率比以前的国家的最先进的（SOTA）的方法在RefCOCOg数据集，查询语句长而复杂，与许多目标所引用的其他参考对象。
2021-03-09 cs.CV
RefVOS: A Closer Look at Referring Expressions for Video Object Segmentation
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；Institute for NLP, University of Stuttgart（斯图加特大学自然语言处理研究所）；Universitat Pompeu Fabra（庞培法布拉大学）；National Technical University of Athens（雅典国立技术大学）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
视频对象分割与引用表达式（语言引导VOS）的任务是，给定一个语言短语和一个视频，生成二进制掩码的短语所指的对象。我们的工作认为，现有的基准用于这一任务主要是由琐碎的情况下，可以确定与简单的短语所指。我们的分析依赖于对DAVIS-2017和Actor-Action数据集中的短语进行新的分类，将其分为平凡和非平凡的RE，其中非平凡的RE注释有七个RE语义类别。我们利用这些数据来分析RefVOS的结果，RefVOS是一种新型的神经网络，它在语言引导的图像分割任务中获得了有竞争力的结果，并且在语言引导的VOS中获得了最先进的结果。我们的研究表明，这项任务的主要挑战与理解运动和静态动作有关。
2020-10-01 cs.CV
RESMatch: Referring Expression Segmentation in a Semi-Supervised Manner
Huzhou University（湖州大学）；Zhejiang University（浙江大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本文提出首个针对指代表达分割的半监督学习方法RESMatch，通过修订强扰动、文本增强及伪标签质量调整等改进，显著优于基线方法并确立新SOTA。
2024-02-11 cs.CV
Modeling Context in Referring Expressions
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
人类总是会提到周围环境中的物体，尤其是在与他人对话时。我们探索生成和理解图像中对象的自然语言引用表达式。特别是，我们专注于将更好的视觉上下文的措施，指表达模型，并发现视觉比较图像内的其他对象有助于显着提高性能。我们还开发了将语言生成过程联系在一起的方法，以便我们共同为特定类别的所有对象生成表达式。对RefCOCO、RefCOCO+和RefCOCOg三个数据集的评价表明，我们的方法在指称表达生成和理解方面都具有优势。
2016-08-10 cs.CL cs.CV
Resolving Referring Expressions in Images With Labeled Elements
Google AI（谷歌人工智能）
图像可以具有包含文本和与它们相关联的限界框的元素，例如，经由计算机屏幕图像上的光学字符识别识别的文本，或者具有标记对象的自然图像。我们提出了一个端到端的可训练架构，将这些元素和图像的信息，以分割/识别的部分图像的自然语言表达式是指。我们计算每个元素的嵌入，然后将其投影到相应的位置（即，相关的限界框）。我们表明，这种架构给出了一个改进，解决指的表达式，只使用图像，和其他方法，将元素信息。我们展示了基于COCO的指称表达数据集上的实验结果，以及我们开发的网页图像指称表达数据集上的实验结果。
2018-10-25 cs.CL cs.CV
One for All: One-stage Referring Expression Comprehension with Dynamic Reasoning
Northwestern Polytechnical University（西北工业大学）；National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology（空天地海一体化大数据应用技术国家工程实验室）
引用表达式理解（referencingexpressioncomprehension，REC）是视觉推理中最重要的任务之一，它需要一个模型来检测由自然语言表达式引用的目标对象。在提出的管道中，一阶段引用表达式理解（OSREC）已成为主导趋势，因为它合并了区域建议和选择阶段。许多最先进的OSREC模型采用多跳推理策略，因为一个对象的序列中经常提到一个单一的表达式，需要多跳推理来分析语义关系。然而，这些模型的一个未解决的问题是，推理步骤的数量需要预先定义和固定的推理之前，忽略了不同的复杂性的表达式。在本文中，我们提出了一个动态的多步推理网络，它允许推理步骤是动态调整的基础上的推理状态和表达式的复杂性。具体地说，我们采用了一个Transformer模块来存储和处理推理状态，并采用了一个强化学习策略来动态地推断推理步骤。这项工作在几个REC数据集上实现了最先进的性能或显着改进，从具有短表达式的RefCOCO（+，g）到具有长而复杂的组合表达式的Ref-Reasoning数据集。
2022-10-27 cs.CV
Proposal-free One-stage Referring Expression via Grid-Word Cross-Attention
Northwestern Polytechnical University（西北工业大学）；University of Adelaide（阿德莱德大学）
指称表达理解（REC）是视觉问答等视觉和语言任务的关键步骤，已成为视觉推理中最重要的任务之一。然而，由于两阶段方法计算量大，不可避免的误差积累，以及一阶段方法需要依赖大量的超参数（如锚点）来生成限界框，使得该方法在许多后续任务中没有得到广泛应用。在本文中，我们提出了一个无建议的一阶段（PFOS）模型，能够回归的区域的兴趣从图像，基于文本查询，在一个端到端的方式。而不是使用主导锚提案的时尚，我们直接采取密集的网格图像作为输入的交叉注意力Transformer，学习网格词的对应关系。直接从图像预测最终的限界框，而不像以前的方法那样需要耗时的锚点选择过程。我们的模型在四个引用表达式数据集上实现了最先进的性能，与以前最好的一阶段和两阶段方法相比，具有更高的效率。
2021-05-05 cs.CV
Understanding Synonymous Referring Expressions via Contrastive Features
University of California Merced（加州大学默塞德分校）；NEC Labs America（NEC美国实验室）；Google Research（谷歌研究院）
指称表达理解的目标是定位由自然语言描述识别的对象。这是一项具有挑战性的任务，因为它需要理解视觉和语言领域。一个本质是每个对象都可以用带有释义的同义句来描述，语言中的这种变化对学习理解模型具有关键影响。虽然以前的工作通常对待每一个句子，并出席它单独的对象，我们专注于学习一个参考表达理解模型，认为在同义句的属性。为此，我们开发了一个端到端的可训练框架来学习图像和对象实例级别的对比特征，其中从同义句中提取的描述同一对象的特征在映射到视觉域后应该彼此更接近。我们进行了广泛的实验，以评估所提出的算法在几个基准数据集，并证明我们的方法对国家的最先进的方法表现良好。此外，由于当以不同的方式描述对象时，表达式的变化在数据集之间变得更大，因此我们提出了跨数据集和迁移学习设置来验证我们学习的可迁移特征的能力。
2021-04-20 cs.CV
Comprehension of Multilingual Expressions Referring to Target Objects in Visual Inputs
Instituto Superior Técnico（技术高等学院）
本研究针对多语言指代表达式理解问题，构建了含10种语言的统一多语言数据集，提出基于多语言SigLIP2编码器的注意力锚定高效架构，验证了该模型在多语言视觉定位任务上的竞争力与稳定性。
2026-08-18 cs.CV
Referring Expression Instance Retrieval and A Strong End-to-End Baseline
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Mashang Consumer Finance Co, Ltd（马商消费金融有限公司）
本文提出指代表达式实例检索（REIR）任务，构建大规模基准 REIRCOCO，并设计端到端基线方法 CLARE，通过双流架构与对比语言-实例对齐同时实现跨图像实例级检索与定位。
2025-08-21 cs.CV
Learning to Generate Unambiguous Spatial Referring Expressions for Real-World Environments
KTH Royal Institute of Technology（瑞典皇家理工学院）；Middle East Technical University（中东技术大学）
以自然和明确的方式引用对象对于有效的人机交互至关重要。以往的研究主要集中在基于学习的指称表达的理解任务，而生成指称表达仍然主要限于基于规则的方法。在这项工作中，我们提出了一个两阶段的方法，依赖于深度学习来估计空间关系，以自然和明确地描述一个对象与引用表达式。我们将我们的方法与模糊环境中的最新算法（例如，包括具有相似关系的非常相似的对象的环境）。我们表明，我们的方法生成的引用表达式人们认为更准确（$\sim$好30%）并且更愿意使用（$\sim$使用频率高32%）。
2019-08-05 cs.CV cs.RO
Improving Referring Expression Grounding with Cross-modal Attention-guided Erasing
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
指称表达定位的目的是定位图像中具有指称表达的特定对象或人，其中的关键挑战是理解和对齐来自视觉和文本域的各种类型的信息，例如视觉属性，位置以及与周围区域的交互。虽然注意力机制已成功地应用于跨通道对齐，以前的注意力模型只关注两种通道的最主要的特征，而忽略了图像和指称表达之间可能存在多个全面的文本-视觉对应的事实。为了解决这个问题，我们设计了一种新的跨模态注意力引导擦除方法，在该方法中，我们丢弃来自文本或视觉域的最主要信息，以在线生成困难的训练样本，并驱动模型发现互补的文本-视觉对应关系。大量的实验证明了我们提出的方法的有效性，在三个引用表达式接地数据集上实现了最先进的性能。
2019-04-02 cs.CL cs.CV
A Joint Speaker-Listener-Reinforcer Model for Referring Expressions
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
指称表达是用于标识场景内的特定对象的自然语言构造。在本文中，我们提出了一个统一的框架，指的表达理解和生成的任务。我们的模型由三个模块组成：发言人，听众和发言人。说话者生成指称表达，听话者生成指称表达，而话语者引入奖励函数来引导对更具区分性的表达的采样。发音者-说话者模块在端到端学习框架中联合训练，允许模块在学习期间彼此意识到，同时还受益于有区别的发音者的反馈。我们证明了这个统一的框架和训练在三个参考表达数据集上实现了最先进的理解和生成结果。项目和演示页面：https://vision.cs.unc.edu/refer
2017-04-17 cs.AI cs.CL cs.CV
Graph-Structured Referring Expression Reasoning in The Wild
The University of Hong Kong（香港大学）；Deepwise AI Lab（深睿医疗人工智能实验室）；Sun Yat-sen University（中山大学）
基础指称表达旨在在图像中定位由自然语言表达指称的对象。指称表达的语言结构提供了对视觉内容的推理布局，将图像和指称表达对齐并共同理解通常是至关重要的。在本文中，我们提出了一个场景图引导模块化网络（SGMN），它执行推理的语义图和场景图与神经模块的语言结构的指导下的表达。特别是，我们建模的图像作为一个结构化的语义图，并解析到一个语言场景图的表达。语言场景图不仅解码了表情的语言结构，而且与图像语义图具有一致的表示。除了探索结构化的解决方案接地指的表达，我们还提出了参考推理，一个大规模的现实世界的数据集结构化指的表达推理。我们使用不同的表达模板和功能程序自动生成的图像的场景图上的引用表达式。该数据集配备了真实世界的视觉内容以及具有不同推理布局的语义丰富的表达式。实验结果表明，我们的SGMN不仅显着优于现有的国家的最先进的算法在新的参考推理数据集，但也超过了国家的最先进的结构化方法在常用的基准数据集。它还可以提供可解释的视觉推理证据。数据和代码可在https://github.com/sibeiyang/sgmn上获得
2020-04-19 cs.CL cs.CV
Weakly-supervised segmentation of referring expressions
Inria（法国国家信息与自动化研究所）；Ecole normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）
视觉基础在图像中定位与给定指称表达相对应的区域（框或段）。在这项工作中，我们解决了图像分割从引用表达式，一个问题，到目前为止，只有在一个完全监督的设置得到解决。然而，完全监督的设置需要逐像素的监督，并且由于手动注释的费用而难以扩展。因此，我们引入了一个新的任务，弱监督图像分割的引用表达式，并提出文本接地语义分割（TSEG），学习分割掩模直接从图像级的引用表达式没有像素级的注释。我们的基于transformer的方法计算补丁文本的相似性，并在训练过程中指导分类目标与一个新的多标签补丁分配机制。得到的视觉接地模型分割图像区域对应于给定的自然语言表达式。我们的方法TSEG在具有挑战性的PhraseCut和RefCOCO数据集上展示了弱监督指代表达分割的良好结果。TSEG在Pascal VOC上的语义分割的zero-shot设置中进行评估时也显示出有竞争力的性能。
2022-05-12 cs.AI cs.CV cs.LG
A-PAIR: A Benchmark and Identity-Consistent Grounding Framework for Air-Ground Cross-View Referring Person Detection
School of Automation, Southeast University（东南大学自动化学院）；Faculty of Information Engineering and Automation, Kunming University of Science and Technology（昆明理工大学信息工程与自动化学院）；School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）；School of Sports Training, Tianjin University of Sport（天津体育学院运动训练学院）；Tianjin University（天津大学）；National University of Defense Technology（国防科技大学）
针对空-地跨视角参考人物检测的挑战，本文提出首个该任务基准A-PAIR及ICRG框架，将对级F1从16.65%提至22.28%，验证了配对检测与身份一致推理的必要性。
2026-08-31 cs.CV cs.MM
CLIPUNetr: Assisting Human-robot Interface for Uncalibrated Visual Servoing Control with CLIP-driven Referring Expression Segmentation
University of Alberta（阿尔伯塔大学）
本文提出CLIPUNetr，一种CLIP驱动的指代表达分割网络，并将其集成到无标定视觉伺服控制中，以自然语言提升人机接口的语义理解能力，实验表明边界与结构指标平均提升120%，可辅助真实环境机器人控制。
2023-09-17 cs.CV cs.RO
