Resolving Referring Expressions in Images With Labeled Elements
Google AI（谷歌人工智能）
图像可以具有包含文本和与它们相关联的限界框的元素，例如，经由计算机屏幕图像上的光学字符识别识别的文本，或者具有标记对象的自然图像。我们提出了一个端到端的可训练架构，将这些元素和图像的信息，以分割/识别的部分图像的自然语言表达式是指。我们计算每个元素的嵌入，然后将其投影到相应的位置（即，相关的限界框）。我们表明，这种架构给出了一个改进，解决指的表达式，只使用图像，和其他方法，将元素信息。我们展示了基于COCO的指称表达数据集上的实验结果，以及我们开发的网页图像指称表达数据集上的实验结果。
2018-10-25 cs.CL cs.CV
A Joint Speaker-Listener-Reinforcer Model for Referring Expressions
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
指称表达是用于标识场景内的特定对象的自然语言构造。在本文中，我们提出了一个统一的框架，指的表达理解和生成的任务。我们的模型由三个模块组成：发言人，听众和发言人。说话者生成指称表达，听话者生成指称表达，而话语者引入奖励函数来引导对更具区分性的表达的采样。发音者-说话者模块在端到端学习框架中联合训练，允许模块在学习期间彼此意识到，同时还受益于有区别的发音者的反馈。我们证明了这个统一的框架和训练在三个参考表达数据集上实现了最先进的理解和生成结果。项目和演示页面：https://vision.cs.unc.edu/refer
2017-04-17 cs.AI cs.CL cs.CV
Collaborating on Referring Expressions
本文提出了一个计算模型，会话参与者如何合作，以使一个成功的参考行动。该模型基于语言作为目标导向行为的观点。我们建议，所指的表达的内容可以占的规划范式。这种方法不仅允许建立引用表达式和识别其引用的过程被捕获的计划建设和计划推理，它还允许我们考虑参与者如何澄清引用表达式通过使用元动作的原因和操纵的计划推导，对应于引用表达式。为了解释澄清目标是如何产生的，以及推断出的澄清计划如何影响代理人，我们建议代理人处于某种心理状态，这种状态包括实现参考目标的意图和代理人目前正在考虑的计划。正是这种心理状态促使人们采纳目标，接受推断出来的计划，从而成为理解和生成之间的纽带。
1995-04-04 cmp-lg cs.CL
CLEVR-Ref+: Diagnosing Visual Reasoning with Referring Expressions
Peking University（北京大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Northwestern Polytechnical University（西北工业大学）
参照目标检测和参照图像分割是一项重要的任务，需要对视觉信息和自然语言进行联合理解。然而，有证据表明，当前的基准数据集存在偏差，并且当前最先进的模型无法在其中间推理过程中进行评估。为了解决这些问题，并补充类似的努力，在视觉问答，我们建立CLEVR-Ref+，一个综合的诊断数据集，涉及表达理解。对象的精确位置和属性很容易获得，引用表达式自动与函数程序相关联。合成性质允许控制数据集偏差（通过采样策略），并且模块化程序允许在没有人类注释者的情况下进行中间推理。除了在CLEVR-Ref+上评估几个最先进的模型外，我们还提出了IEP-Ref，这是一种模块网络方法，在我们的数据集上显著优于其他模型。特别是，我们提出了两个有趣的和重要的发现，使用IEP-Ref：（1）模块训练转换特征映射到分割掩模可以附加到任何中间模块揭示整个推理过程的一步一步;（2）即使所有的训练数据至少有一个对象引用，IEP-Ref可以正确地预测无前景时，假前提引用表达式。据我们所知，这是第一个直接和定量的证据，证明神经模块的行为方式。
2019-04-06 cs.CL cs.CV cs.LG
Perspective-corrected Spatial Referring Expression Generation for Human-Robot Interaction
Nanjing University（南京大学）
设计用于在真实场景中与人类交互的智能机器人需要能够通过自然语言主动引用实体。在空间指称表达中，由于参考系的多样性，不可避免地会产生歧义，这将导致人与机器人之间的理解鸿沟。为了缩小这一差距，在本文中，我们提出了一种新的视角校正空间参考表达式生成（PcSREG）的方法，考虑到参考帧的选择，人机交互。该方法将指称表达式的生成简化为空间关系单元的生成过程。首先，我们挑选出所有的地标在这些空间关系的单位根据熵的偏好，并允许其更新通过堆栈模型。然后根据不同的参考框架策略生成所有可能的指称表达。最后，我们使用概率引用表达式解析模型来评估每个表达式，并找到满足适当性和有效性的最佳表达式。我们在一个机器人系统上实现了该方法，实验结果表明，该方法可以生成更有效的空间参考表达式。
2022-04-03 cs.CL cs.HC cs.RO
ChartREG++: Towards Benchmarking and Improving Chart Referring Expression Grounding under Diverse referring clues and Multi-Target Referring
Research Center for Social Computing and Interactive Robotics（社会计算与交互机器人研究中心）
针对现有图表指代表达式定位基准的局限，提出支持多种定位形式、多目标指代、多样化线索和图表类型的基准，并利用代码驱动合成流水线生成像素级实例掩码，训练实例分割模型集成到多模态定位框架，显著提升性能。
2026-06-09 cs.CL cs.CV
Graph-Structured Referring Expression Reasoning in The Wild
The University of Hong Kong（香港大学）；Deepwise AI Lab（深睿医疗人工智能实验室）；Sun Yat-sen University（中山大学）
基础指称表达旨在在图像中定位由自然语言表达指称的对象。指称表达的语言结构提供了对视觉内容的推理布局，将图像和指称表达对齐并共同理解通常是至关重要的。在本文中，我们提出了一个场景图引导模块化网络（SGMN），它执行推理的语义图和场景图与神经模块的语言结构的指导下的表达。特别是，我们建模的图像作为一个结构化的语义图，并解析到一个语言场景图的表达。语言场景图不仅解码了表情的语言结构，而且与图像语义图具有一致的表示。除了探索结构化的解决方案接地指的表达，我们还提出了参考推理，一个大规模的现实世界的数据集结构化指的表达推理。我们使用不同的表达模板和功能程序自动生成的图像的场景图上的引用表达式。该数据集配备了真实世界的视觉内容以及具有不同推理布局的语义丰富的表达式。实验结果表明，我们的SGMN不仅显着优于现有的国家的最先进的算法在新的参考推理数据集，但也超过了国家的最先进的结构化方法在常用的基准数据集。它还可以提供可解释的视觉推理证据。数据和代码可在https://github.com/sibeiyang/sgmn上获得
2020-04-19 cs.CL cs.CV
NeuralREG: An end-to-end approach to referring expression generation
Tilburg University（蒂尔堡大学）；University of Leipzig（莱比锡大学）；University of Paderborn（帕德博恩大学）
传统的指称表达生成（REG）模型首先决定文本中对话语实体的指称的形式，然后决定指称的内容，通常依赖于诸如显著性和语法功能之类的特征。在本文中，我们提出了一种新方法（NeuralREG），它依赖于深度神经网络，可以在没有显式特征提取的情况下一次性做出关于形式和内容的决定。使用WebNLG语料库的去词汇化版本，我们证明了神经模型在两个强基线上有了实质性的改进。数据和模型是公开的。
2018-05-21 cs.CL
Improving Referring Expression Grounding with Cross-modal Attention-guided Erasing
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
指称表达定位的目的是定位图像中具有指称表达的特定对象或人，其中的关键挑战是理解和对齐来自视觉和文本域的各种类型的信息，例如视觉属性，位置以及与周围区域的交互。虽然注意力机制已成功地应用于跨通道对齐，以前的注意力模型只关注两种通道的最主要的特征，而忽略了图像和指称表达之间可能存在多个全面的文本-视觉对应的事实。为了解决这个问题，我们设计了一种新的跨模态注意力引导擦除方法，在该方法中，我们丢弃来自文本或视觉域的最主要信息，以在线生成困难的训练样本，并驱动模型发现互补的文本-视觉对应关系。大量的实验证明了我们提出的方法的有效性，在三个引用表达式接地数据集上实现了最先进的性能。
2019-04-02 cs.CL cs.CV
Referring Image Segmentation via Cross-Modal Progressive Comprehension
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机学院）；Sun Yat-sen University（中山大学）；University of Technology Sydney（悉尼科技大学）；AI Institute（360人工智能研究院）
参考图像分割的目的是分割出实体的前景掩模，使其与自然语言表达式中给出的描述相匹配。以前的方法解决这个问题，使用隐式功能之间的相互作用和融合的视觉和语言的形式，但通常无法探索信息词的表达，以及对齐功能，从两种形式，以准确地识别所指的实体。在本文中，我们提出了跨模态渐进理解（CMPC）模块和文本引导的特征交换（TGFE）模块，以有效地解决具有挑战性的任务。具体地说，CMPC模块首先使用实体和属性词来感知表达式可能考虑的所有相关实体。然后，采用关系词突出正确的实体，以及抑制其他无关的多模态图推理。除了CMPC模块之外，我们还利用一个简单而有效的TGFE模块，在文本信息的指导下，从不同的层面整合推理的多模态特征。通过这种方式，来自多个层次的特征可以彼此通信，并基于文本上下文进行细化。我们进行了广泛的实验，四个流行的参考分割基准，并实现了新的国家的最先进的性能。
2020-10-01 cs.CL cs.CV
Toward Forgetting-Sensitive Referring Expression Generationfor Integrated Robot Architectures
Colorado School of Mines（科罗拉多矿业学院）
为了进行类似人类的对话，机器人需要能够描述其环境中的物体，位置和人，这种能力被称为“引用表达式生成”。“当说话者反复提到类似的物体时，他们倾向于重复使用先前描述的属性，部分原因是为了帮助听者，部分原因是工作记忆（WM）中这些属性的认知可用性。由于不同的工作记忆"遗忘"理论必然导致认知可用性的差异，我们假设，它们将同样导致不同的指称表达的产生。为了设计有效的智能代理，因此有必要确定不同的遗忘模型如何在产生自然的类人指称表达时产生差异。在这项工作中，我们计算两个候选模型的机器人认知架构内的工作记忆遗忘，并演示它们如何导致认知可用性为基础的差异生成的参考表达式。
2020-07-16 cs.AI cs.CL cs.RO
Recurrent Instance Segmentation using Sequences of Referring Expressions
Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；Universitat Pompeu Fabra（庞培法布拉大学）
这项工作的目标是分割的对象在图像中所提到的一系列的语言描述（指涉表达式）。我们提出了一个具有递归层的深度神经网络，该递归层输出一系列二进制掩码，每个掩码对应于用户提供的每个引用表达式。该架构中的递归层允许模型从同一图像内的空间角度对每个预测的掩模进行调整。我们的多模态方法使用现成的架构来编码图像和参考表达式。视觉分支提供像素嵌入张量，这些像素嵌入张量与语言编码器产生的短语嵌入连接在一起。我们的实验RefCOCO数据集的静止图像表明，所提出的架构如何成功地利用序列的引用表达式来解决像素级任务的实例分割。
2019-11-05 cs.CL cs.CV cs.MM
CoT Referring: Improving Referring Expression Tasks with Grounded Reasoning
Adobe Research（Adobe研究院）；Northeastern University（东北大学）
通过 grounded 推理改进指称表达任务，提出CoT Referring方法，提升多模态大语言模型在复杂指称场景中的性能。
2026-01-17 cs.AI cs.CL
The Role of the Gricean Maxims in the Generation of Referring Expressions
格赖斯的会话格言[格赖斯1975]被框定为指令，以遵循的语言发言者。本文认为，当考虑从自然语言生成的角度来看，这样的特性是相当误导，所需的行为掉出来，很自然，如果我们把语言生成作为一个目标导向的过程。我们认为这一立场，特别是关于指的表达的生成。
1996-04-18 cmp-lg cs.CL
Grounding Spatio-Semantic Referring Expressions for Human-Robot Interaction
National University of Singapore（新加坡国立大学）
人类语言是人类与机器人进行交互的最自然的接口之一。本文提出了一种机器人系统，检索日常对象与无约束的自然语言的描述。该系统的一个核心问题是语义和空间基础，即从图像和自然语言表达中推断对象及其空间关系。我们引入了一个两阶段的神经网络接地管道，映射自然语言引用表达式直接在图像中的对象。第一阶段使用指称表达中的视觉描述来生成相关对象的候选集合。第二阶段检查候选词之间的所有成对关系，并根据指称表达式中的空间描述来预测最可能的指称对象。我们的系统的一个关键特征是，通过利用带有文本描述的大型图像数据集，它允许不受限制的对象类型和自然语言引用表达式。初步结果表明，我们的系统在标准基准数据集上的性能优于接近最先进的对象理解系统。我们还提出了一个机器人系统，遵循语音命令，挑选和放置以前看不见的对象。
2017-07-18 cs.AI cs.CL cs.RO
A Formal Analysis of Multimodal Referring Strategies Under Common Ground
Brandeis University（布兰迪斯大学）
在本文中，我们提出了一个分析计算生成的混合模态明确的指称表达使用手势和语言描述的组合。在这样做的时候，我们暴露了一些引人注目的正式语义属性的手势和语言之间的相互作用，条件是引入的内容到（计算）扬声器和（人类）观众之间的共同点，并演示了这些正式的功能如何有助于训练更好的模型来预测观众的判断指的表达，并可能产生更自然和信息丰富的指的表达。
2020-03-16 cs.AI cs.CL
Relationship-Embedded Representation Learning for Grounding Referring Expressions
The University of Hong Kong（香港大学）；Deepwise AI Lab（深智云人工智能实验室）；Sun Yat-sen University（中山大学）
基于图像中的指称表达式旨在定位由指称表达式描述的图像中的对象实例。它涉及对自然语言和图像内容的联合理解，并且对于与人机交互相关的一系列视觉任务至关重要。作为一个语言到视觉的匹配任务，这个问题的核心是不仅要提取所有必要的信息（即，对象和它们之间的关系），而且还充分利用上下文信息来对齐提取信息中的跨模态语义概念。不幸的是，现有的工作接地指涉表达式未能准确地提取多阶关系的指涉表达式，并将它们与图像中的对象及其相关的上下文。在本文中，我们提出了一个跨模态的关系提取器（CMRE）自适应突出对象和关系（空间和语义关系）与跨模态的注意力机制与给定的表达式，并表示提取的信息作为一个语言引导的视觉关系图。此外，我们提出了一个门控图卷积网络（GGCN）计算多模态语义上下文融合信息从不同的模式和传播的结构化关系图的多模态信息。在三个常见的基准数据集上的实验结果表明，我们的跨模态关系推理网络，其中包括CMRE和GGCN，显着优于所有现有的最先进的方法。代码可在www.example.com上获得
2020-04-19 cs.CL cs.CV
Making Dialogue Grounding Data Rich: A Three-Tier Data Synthesis Framework for Generalized Referring Expression Comprehension
Queen Mary University of London（伦敦玛丽女王大学）；Queen's University Belfast（贝尔法斯特女王大学）；University of Vienna（维也纳大学）；Utrecht University（乌得勒支大学）
本文提出三层数据合成框架，通过平衡真实性和可控性，生成可扩展的对话条件 grounding 监督，提升指称表达理解的性能。
2026-04-26 cs.CL
Intrinsic Task-based Evaluation for Referring Expression Generation
Central China Normal University（华中师范大学）；University of Cologne（科隆大学）；Utrecht University（乌得勒支大学）
针对REG模型传统评分评估的局限性，提出包含指称成功判断和替代方案建议两项元级任务的内在任务型评估方法，更全面可靠地评估模型性能。
2024-02-12 cs.CL
SynthRef: Generation of Synthetic Referring Expressions for Object Segmentation
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；National Technical University of Athens（雅典国立技术大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）；University of Stuttgart（斯图加特大学）
深度学习的最新进展为视觉基础任务带来了重大进展，例如语言引导的视频对象分割。然而，为这些任务收集大型数据集在注释时间方面是昂贵的，这是一个瓶颈。为此，我们提出了一种新的方法，即SynthRef，用于生成合成参考表达式的图像（或视频帧）中的目标对象，我们还提出和传播的第一个大规模的数据集与合成参考表达式的视频对象分割。我们的实验表明，通过使用我们的合成引用表达式进行训练，可以提高模型在不同数据集上泛化的能力，而无需任何额外的注释成本。此外，我们的配方允许其应用到任何目标检测或分割数据集。
2021-06-09 cs.CL cs.CV cs.MM
Interactive Visual Grounding of Referring Expressions for Human-Robot Interaction
National University of Singapore（新加坡国立大学）
本文介绍了INGRESS，一个机器人系统，遵循人类自然语言的指令，以挑选和放置日常物品。这里的核心问题是指称表达的基础：从输入图像和语言表达中推断对象及其关系。INGRESS允许不受约束的对象类别和不受约束的语言表达式。此外，它提出问题，以消除歧义的指涉表达式交互式。为了实现这些，我们采取接地的方法，通过代，并提出了一个两阶段的神经网络模型接地。第一阶段使用神经网络来生成对象的视觉描述，将它们与输入语言表达进行比较，并识别一组候选对象。第二阶段使用另一个神经网络来检查候选对象之间的所有成对关系，并推断出最可能引用的对象。相同的神经网络用于消除歧义的基础和问题生成。实验表明，INGRESS在RefCOCO数据集和人类机器人实验中的表现优于最先进的方法。
2018-06-11 cs.CL cs.CV cs.RO
Using Syntax to Ground Referring Expressions in Natural Images
School of Computer Science（计算机科学学院）；Carnegie Mellon University（卡内基梅隆大学）
我们介绍了GroundNet，一个用于指代表情识别的神经网络-在图像中定位（或接地）由自然语言表达式指代的对象的任务。我们的方法来完成这项任务是第一个依赖于语法分析的输入引用表达式，以通知计算图的结构。给定一个输入表达式的解析树，我们将树中存在的语法成分和关系显式映射到定义我们执行本地化架构的神经模块组成图。这种基于语法的方法有助于\textit{both}、目标对象和表达式中提到的辅助支持对象的本地化。因此，GroundNet比以前的方法更具可解释性：我们可以（1）确定引用表达式的哪个短语指向图像中的哪个对象，以及（2）跟踪网络如何确定目标对象的定位。我们通过在GoogleRef数据集上引入一组新的注释来评估支持对象的本地化，从而根据经验研究此属性。我们的实验表明，GroundNet在识别支持对象方面达到了最先进的精度，同时在目标对象的定位方面保持了相当的性能。
2018-05-26 cs.CL cs.CV cs.NE
Referring Expression Comprehension: A Survey of Methods and Datasets
指称表达理解（REC）的目的是定位由自然语言表达的指称表达所描述的图像中的目标对象。与预先定义查询对象标签的目标检测任务不同，REC问题只能在测试过程中观察查询。因此，它比传统的计算机视觉问题更具挑战性。该任务引起了计算机视觉和自然语言处理界的广泛关注，并提出了几条工作路线，从CNN-RNN模型，模块化网络到基于复杂图的模型。在本调查中，我们首先通过比较现代解决问题的方法来研究最先进的技术。我们分类的方法，他们的机制编码的视觉和文本的形式。特别是，我们研究了联合嵌入图像和表达式到一个共同的特征空间的共同方法。我们还讨论了与结构化图表示接口的模块化架构和基于图的模型。在本调查的第二部分中，我们回顾了可用于训练和评估REC系统的数据集。然后，我们根据数据集、主干模型、设置对结果进行分组，以便它们可以进行公平的比较。最后，我们讨论了该领域有前途的未来发展方向，特别是组合指涉表达式的理解，需要更长的推理链来解决。
2020-12-07 cs.CL cs.CV
Harlequin: Color-driven Generation of Synthetic Data for Referring Expression Comprehension
University of Padova（帕多瓦大学）
本文提出Harlequin框架，通过修改现有注释并据此生成图像，自动合成超过100万条REC查询数据，预训练实验证明该人工数据能有效提升指代表达理解模型性能。
2024-11-22 cs.CL cs.CV cs.LG
Lessons from Computational Modelling of Reference Production in Mandarin and English
Utrecht University（乌得勒支大学）
引用表达式生成（REG）算法提供了产生引用表达式的计算模型。在早期的工作中，一个语料库的指称表达（RE）在普通话中介绍。在本文中，我们注释这个语料库，评估经典的REG算法，并比较结果与早期的结果评价REG的英语指称表达。接下来，我们对语料库进行了深入的分析，重点关注普通话语法中出现的问题。我们讨论了在我们的调查中发现的以前REG评估的缺点，并强调了一些令人惊讶的结果。也许最引人注目的是，我们发现了比以前的研究更高的未指定表达的比例，不仅在普通话中，在英语中也是如此。
2021-08-15 cs.CL
Non-neural Models Matter: A Re-evaluation of Neural Referring Expression Generation Systems
University of Cologne（科隆大学）；Utrecht University（乌得勒支大学）
近年来，神经模型在NLG中的表现往往优于基于规则的和经典的机器学习方法。这些经典方法现在经常被忽视，例如在评估新的神经模型时。我们认为，它们不应该被忽视，因为对于某些任务，设计良好的非神经方法比神经方法实现更好的性能。本文以生成语言语境中的指称表达为例，对指称表达的生成过程进行了研究。我们检查了两个非常不同的英语数据集（WEBNLG和WSJ），并使用自动和人工评估来评估每个算法。总的来说，这些评估的结果表明，与最先进的神经REG系统相比，具有简单规则集的基于规则的系统在两个数据集上都实现了同等或更好的性能。在更真实的数据集，WSJ，一个基于机器学习的系统，具有精心设计的语言特征，表现最好。我们希望我们的工作可以鼓励研究人员在未来考虑非神经模型。
2022-03-15 cs.CL
Resilience through Scene Context in Visual Referring Expression Generation
Bielefeld University（比勒费尔德大学）
本文研究视觉指代表达生成中场景上下文的作用，提出上下文作为提升模型韧性的资源，通过训练基于Transformer的REG模型并在含噪声目标表征上测试，发现简单场景上下文能使模型在目标视觉信息完全缺失时仍具惊人韧性并识别指代对象类型。
2024-08-23 cs.CL
CK-Transformer: Commonsense Knowledge Enhanced Transformers for Referring Expression Comprehension
University of Amsterdam（阿姆斯特丹大学）；King’s College London（伦敦国王学院）；United Imaging（联影医疗）
针对需超越空间等信息推理的常识知识指代表达式理解（KB-Ref）任务，提出CK-Transformer框架，将常识知识整合到图像对象表示中，在多个基准数据集上准确率较现有最优提升3.14%。
2023-02-17 cs.AI cs.CL cs.CV
Generating One-Anaphoric Expressions: Where Does the Decision Lie?
大多数自然语言生成系统包含用于选择是否随后借助于代词或定名词短语来指代已经引入的实体的机制。然而，相对而言，很少有系统考虑通过一个照应的表达方式来指代实体，例如\lingform{the small green one}。本文着眼于什么是参与生成这种类型的指称表达式。考虑到如何适应这种能力到一个标准的算法，涉及表达式生成导致我们建议修改现有的方法的基础上的一些假设。我们证明了我们的方法的有用性，在一个简单的数据库接口应用程序的上下文中的一个照应生成，并提出了一些意见，这种方法的影响，指表达生成更普遍。
1995-05-09 cmp-lg cs.CL
Phrase-Instance Alignment for Generalized Referring Segmentation
Stony Brook University（石溪大学）；UNC Charlotte（北卡罗来纳州立大学 Charlotte 分校）
本文提出通过短语-实例对齐解决通用指称分割问题，通过实例级推理和POA损失实现精确对应，提升分割性能。
2026-03-24 cs.CL cs.CV cs.LG
Computational Interpretations of the Gricean Maxims in the Generation of Referring Expressions
我们研究了生成作为适当指称表达的定指名词短语的问题，即：（1）成功地识别听话人的预期指称，同时（2）不向她传达任何虚假的会话含义（Grice，1975）。我们回顾了几种可能的计算解释的会话含义准则，不同的计算成本，并认为，最简单的可能是最好的，因为它似乎是最接近人类说话者做什么。我们详细描述了我们推荐的算法，以及主机系统必须提供的资源，以利用该算法的规范，并在IDAS系统的自然语言生成组件中使用的实现。这篇论文将发表在1995年4 - 6月的《认知科学》杂志上，并在该杂志的出版商Ablex的许可下在cmp-lg上提供。
1995-04-26 cmp-lg cs.CL
Vision-Language Models Are Not Pragmatically Competent in Referring Expression Generation
University of Michigan（密歇根大学）；GrowAI
该研究从语用视角重新审视指称表达生成任务，构建含1500张图像的RefOI数据集，发现前沿视觉-语言模型存在三类语用缺陷，且标准自动评估无法捕捉这些问题，呼吁发展具备语用意识的模型与评估框架。
2025-07-31 cs.CL
Visual Referring Expression Recognition: What Do Systems Actually Learn?
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个经验分析的国家的最先进的系统，涉及表达识别的任务，识别对象的图像所指的自然语言表达-的目标是深入了解这些系统的原因，语言和视觉。令人惊讶的是，我们发现强有力的证据表明，即使是复杂的和语言动机的模型，这项任务可能会忽略语言结构，而不是依赖于浅的相关性所引入的无意偏见在数据选择和注释过程。例如，我们证明了在输入图像$\textit{without the input referring expression}$上训练和测试的系统在前2个预测中可以达到71.2%的精度。此外，仅预测给定输入的对象类别的系统可以在前2个预测中实现84.2%的精度。这些令人惊讶的积极结果表明，在我们寻求在基础语言任务上取得实质性进展时，仔细分析我们的模型正在学习什么-以及我们的数据是如何构建的-至关重要。
2018-05-30 cs.AI cs.CL cs.CV
Cross-Modal Self-Attention Network for Referring Image Segmentation
University of Manitoba（曼尼托巴大学）；Shanghai University（上海大学）
我们考虑参考图像分割的问题。给定输入图像和自然语言表达式，目标是分割图像中语言表达式所指的对象。在这一领域的现有作品分别对待语言表达和输入图像在其表示。他们没有充分捕捉这两种模式之间的长期相关性。在本文中，我们提出了一个跨模态自我注意（CMSA）模块，有效地捕捉语言和视觉特征之间的长程依赖关系。我们的模型可以自适应地专注于信息词在所指的表达和输入图像中的重要区域。此外，我们提出了一个门控多层次融合模块，有选择地整合自我关注的跨模态功能对应于图像中的不同层次。该模块控制不同级别的功能信息流。我们在四个评估数据集上验证了所提出的方法。我们提出的方法始终优于现有的最先进的方法。
2019-04-09 cs.CL cs.CV
Referring Expression Generation in Visually Grounded Dialogue with Discourse-aware Comprehension Guiding
KTH Royal Institute of Technology（瑞典皇家理工学院）
针对视觉落地对话中的指称表达生成，本文提出两阶段方法，先用文本和视觉条件自回归生成候选 RE，再通过话语感知理解引导重排序，提升了表达的区分性与文本-图像检索准确率。
2024-09-09 cs.AI cs.CL cs.CV
MAttNet: Modular Attention Network for Referring Expression Comprehension
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Adobe Research（奥多比研究院）
在本文中，我们解决的是指表达理解：本地化的自然语言表达所描述的图像区域。虽然最近的工作将表达式作为一个单一的单元，我们建议将其分解为三个模块化组件相关的主题外观，位置和其他对象的关系。这使我们能够灵活地适应端到端框架中包含不同类型信息的表达式。在我们的模型中，我们称之为模块化注意力网络（MAttNet），使用了两种类型的注意力：基于语言的注意力，学习模块权重以及每个模块应该关注的单词/短语注意力;视觉注意力，允许主题和关系模块关注相关的图像组件。模块权重动态地结合所有三个模块的得分以输出总体得分。实验表明，MAttNet在边界框级别和像素级别的理解任务上都大大优于以前的最先进的方法。提供了演示和代码。
2018-03-27 cs.AI cs.CL cs.CV
ReCLIP: A Strong Zero-Shot Baseline for Referring Expression Comprehension
UC Berkeley（加州大学伯克利分校）；New York University（纽约大学）；Microsoft Semantic Machines（微软语义机器公司）；UC Irvine（加州大学欧文分校）；Allen Institute for AI (AI2)（艾伦人工智能研究所）
训练一个新的视觉域的指称表达理解（ReC）模型需要收集该域中图像的指称表达和潜在对应的边界框。虽然大规模的预训练模型对于跨领域的图像分类是有用的，但目前还不清楚它们是否可以以zero-shot的方式应用于更复杂的任务，如ReC。我们提出了ReCLIP，一个简单但强大的zero-shot基线，重新使用CLIP，一个最先进的大规模模型，用于ReC。ReCLIP的第一个组件是区域评分方法，该方法通过裁剪和模糊来隔离对象建议，并将它们传递给CLIP。然而，通过对合成数据集的对照实验，我们发现CLIP在很大程度上无法执行现成的空间推理。因此，ReCLIP的第二个组件是一个空间关系解析器，它处理几种类型的空间关系。在RefCOCOg上，我们将先前工作的zero-shot基线与监督模型之间的差距缩小了29%，在RefGTA（视频游戏图像）上，ReCLIP相对于在真实图像上训练的监督ReC模型的相对改进为8%。
2022-05-02 cs.CL cs.CV
Referring Expressions with Rational Speech Act Framework: A Probabilistic Approach
Boston University（波士顿大学）；Institut Teknologi Bandung（万隆理工学院）
本文重点研究了一个指称表达生成（REG）任务，其目标是在复杂的视觉场景中挑选出一个对象。这个问题的一个常见的理论方法是建模的任务作为一个两个代理的合作计划，其中一个“发言人”代理将产生的表达式，最好地描述了一个目标区域和一个“听众”代理将确定目标。最近的几个REG系统已经使用了深度学习方法来表示说话者/收听者代理。理性言语行为框架（RSA）是一种贝叶斯语用学方法，可以相当准确地预测人类的语言行为，已被证明可以在涉及简单视觉场景的玩具数据集上生成高质量和可解释的表达。然而，它的应用到大规模的问题，在很大程度上仍然是未开发的。本文将概率RSA框架和深度学习方法相结合，应用于涉及复杂视觉场景的大型数据集的多步骤过程，旨在生成更好的解释表达式。我们在RefCOCO和RefCOCO+数据集上进行了实验，并将我们的方法与其他端到端深度学习方法以及RSA的变体进行了比较，以突出我们的关键贡献。实验结果表明，该方法虽然准确率低于SOTA深度学习方法，但在人类理解方面优于类似的RSA方法，并且在有限数据场景下优于端到端深度学习。最后，我们提供了一个详细的分析，具体的例子，表达式生成过程中，从而提供了一个系统的错误类型和缺陷的生成过程中，并确定未来可能的改进领域。
2022-05-16 cs.CL
A dataset for resolving referring expressions in spoken dialogue via contextual query rewrites (CQR)
University of New Mexico（新墨西哥大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Alexa AI（Alexa人工智能）；Amazon.com, Inc.（亚马逊公司）
我们提出了上下文查询重写（CQR），一个用于多域面向任务的口语对话系统的数据集，它是斯坦福对话语料库的扩展（Eric等人，2017年a）。虽然先前的方法已经通过学习候选转换来解决不同模式的问题（Naik等人，2018），我们替代地将引用解析任务建模为用户查询重构任务，其中对话状态被串行化为可以由下游口语语言理解系统执行的自然语言查询。在本文中，我们描述了我们的方法来创建查询重构扩展的对话语料库，并提出了一套初步的实验，以建立一个基线的CQR任务。我们已经向公众发布了语料库[1]，以支持这一领域的进一步研究。
2019-04-01 cs.CL
CADEL: A Corpus of Administrative Web Documents for Japanese Entity Linking
National Institute of Information and Communications Technology（国立信息通信技术研究所）
本文构建了一个覆盖日本特定实体的标注语料库，用于评估日本实体链接系统，通过标注一致性验证了其可靠性，并初步实验表明其包含大量非平凡案例。
2026-03-31 cs.CL
Detecting Referring Expressions in Visually Grounded Dialogue with Autoregressive Language Models
Division of Speech, Music and Hearing（语音、音乐和听觉系）；KTH Royal Institute of Technology（皇家理工学院）
本文探索使用纯文本自回归大型语言模型，通过下一词元预测划定提及跨度边界，从视觉基础对话中提取指称表达，发现即使模型规模中等且数据集较小该方法依然有效，同时指出该任务本质是多模态问题。
2025-06-26 cs.AI cs.CL
Transcrib3D: 3D Referring Expression Resolution through Large Language Models
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Toyota Research Institute（丰田研究所）
Transcrib3D提出以文本为统一媒介，结合3D检测与大语言模型的推理能力解析3D指代表达，并通过自校正微调小模型实现接近大模型的性能，在基准上取得最先进结果并成功部署于真实机器人执行拾放任务。
2024-04-30 cs.CL cs.CV
Yes, this Way! Learning to Ground Referring Expressions into Actions with Intra-episodic Feedback from Supportive Teachers
University of Potsdam（波茨坦大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
本文研究协作交互中的情节内反馈，将指称语言游戏建模为稀疏奖励强化学习问题，学习跟随者策略，发现情节内反馈能提升模型在场景复杂度上的泛化能力，优于仅提供初始指令。
2023-05-22 cs.CL cs.CV
End-to-end Biomedical Entity Linking with Span-based Dictionary Matching
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Megagon Labs（Megagon实验室）
疾病名称识别和规范化是生物医学文本挖掘中的一个基本过程，通常称为生物医学实体链接。最近，已经提出了两个任务的神经联合学习，以利用相互的好处。虽然这种方法实现了高性能，但无法准确预测未出现在训练数据集中的疾病概念。本研究介绍了一种新的端到端的方法，结合跨度表示与字典匹配功能来解决这个问题。我们的模型通过引用字典来处理看不见的概念，同时以端到端的方式保持基于神经网络的模型的性能。使用两个主要数据集的实验表明，我们的模型在强基线的情况下取得了有竞争力的结果，特别是对于训练过程中看不见的概念。
2021-04-21 cs.CL
Pento-DIARef: A Diagnostic Dataset for Learning the Incremental Algorithm for Referring Expression Generation from Examples
University of Potsdam（波茨坦大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
本文提出诊断数据集Pento-DIARef，用于探究神经模型能否从外延性数据示例中学习指称表达式生成的增量算法规律，实验表明结合视觉检测与定向数据生成的模型能近乎完美地完成任务。
2023-05-24 cs.CL cs.CV
Exploring Spatial Language Grounding Through Referring Expressions
University of California San Diego（加利福尼亚大学圣迭戈分校）；Michigan State University（密歇根州立大学）
本文提出用指代表达理解任务评估视觉-语言模型的空间推理能力，重点考察目标检测歧义、复杂多关系空间表达和否定表达，揭示了不同模型在拓扑、方向、邻近等空间语义类别上的挑战与行为差异。
2025-02-04 cs.AI cs.CL cs.CV
Words aren't enough, their order matters: On the Robustness of Grounding Visual Referring Expressions
Amazon AI（亚马逊人工智能）；Mila（米拉）；McGill University（麦吉尔大学）
视觉指称表达识别是一项具有挑战性的任务，它需要在图像的上下文中理解自然语言。我们使用人类研究严格检查了RefCOCOg，这是该任务的标准基准，并表明83.7%的测试实例不需要对语言结构进行推理，即，单词足以识别目标对象，词序无关紧要。为了衡量现有模型的真实进展，我们将测试集分为两组，一组需要对语言结构进行推理，另一组不需要。此外，我们通过要求crowdworker扰动域内示例来创建一个分布外数据集Ref-Adv，以便目标对象发生变化。使用这些数据集，我们的经验表明，现有的方法未能利用语言结构，并且性能比该任务的既定进展低12%至23%。我们还提出了两种方法，一种是基于对比学习，另一种是基于多任务学习，以增加ViLBERT的鲁棒性，ViLBERT是目前最先进的模型。我们的数据集可在https://github.com/aws/aws-refcocog-adv上公开获取
2020-05-04 cs.CL cs.CV
Ref-Adv: Exploring MLLM Visual Reasoning in Referring Expression Tasks
Northeastern University（东北大学）
Ref-Adv 是一个旨在评估多模态大语言模型视觉推理能力的基准，通过增加表达复杂性和减少干扰项，揭示模型在视觉推理和 grounding 方面的不足。
2026-02-27 cs.AI cs.CL cs.CV
Referring Expressions as a Lens into Spatial Language Grounding in Vision-Language Models
UC San Diego（加州大学圣地亚哥分校）；IIT Kanpur（印度理工学院坎pur）；Michigan State University（密歇根州立大学）
本文提出用指代表达式理解任务评估视觉-语言模型的空间推理能力，分析其在目标歧义、复杂空间表达和否定表达下的表现，揭示不同模型在各类空间语义上的优势与不足。
2025-11-08 cs.AI cs.CL cs.CV
SAM4MLLM: Enhance Multi-Modal Large Language Model for Referring Expression Segmentation
National Taiwan University（台湾大学）；NVIDIA（英伟达公司）
SAM4MLLM通过基于查询的提示点方法将SAM与多模态大语言模型集成，实现无需架构修改的像素级指称表达分割，在公共基准上验证了有效性。
2024-12-14 cs.AI cs.CL cs.CV
Zero-shot Referring Image Segmentation with Global-Local Context Features
GIST（光州科学技术院）；Google Research（谷歌研究院）
提出一种基于CLIP的零样本指代图像分割方法，利用掩码引导的视觉编码器和全局-局部文本编码器提取多模态特征，以显著优势超越现有零样本及弱监督基线。
2023-04-03 cs.AI cs.CL cs.CV
Ref-NMS: Breaking Proposal Bottlenecks in Two-Stage Referring Expression Grounding
Zhejiang University（浙江大学）；Tencent AI Lab（腾讯AI实验室）；Nanyang Technological University（南洋理工大学）；Columbia University（哥伦比亚大学）
解决指称表达接地的主流框架基于两个阶段的过程：1）用对象检测器检测提议，2）将指称对象接地到其中一个提议。现有的两阶段解决方案主要集中在接地步骤，其目的是使表达式与提案保持一致。在本文中，我们认为这些方法忽略了两个阶段中提案角色之间的明显不匹配：它们仅基于检测置信度生成提案（即，表达式不可知的），希望建议在表达式中包含所有正确的实例（即，表情感知）。由于这种不匹配，当前的两阶段方法在检测到的建议和地面实况建议之间遭受严重的性能下降。为此，我们提出了Ref-NMS，这是在第一阶段产生表达感知建议的第一种方法。Ref-NMS将表达式中的所有名词视为关键对象，并引入了一个轻量级模块来预测每个框与关键对象对齐的分数。这些分数可以指导NMS操作过滤掉与表达式无关的框，增加关键对象的召回，从而显著提高接地性能。由于Ref- NMS与接地步骤无关，因此可以轻松集成到任何最先进的两阶段方法中。对几种骨干、基准和任务的广泛消融研究一致证明了Ref-NMS的优越性。代码可在https://github.com/ChopinSharp/ref-nms上获得。
2021-03-10 cs.AI cs.CL cs.CV
REVERIE: Remote Embodied Visual Referring Expression in Real Indoor Environments
The University of Adelaide（阿德莱德大学）；Georgia Institute of Technology（佐治亚理工学院）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
机器人技术的长期挑战之一是使机器人能够通过自然语言与视觉世界中的人类进行交互，因为人类是通过语言进行交流的视觉动物。克服这一挑战需要能够执行各种各样的复杂任务，以响应人类的各种指令。希望它可能会推动人类与机器人进行更灵活和更强大的交互，我们提出了一个不同的和复杂的机器人任务的数据集，用自然语言描述，在一个大的真实图像集合中可见的对象。在给定指令的情况下，成功需要在以前看不到的环境中导航以识别对象。这代表了一个实际的挑战，但它密切反映了机器人技术中的核心视觉问题之一。我们测试了几种最先进的视觉和语言导航模型，以及表达模型，以验证这个新任务的难度，但它们都没有显示出有希望的结果，因为我们的任务和以前的任务之间有许多根本性的差异。还提出了一种新的交互式导航指针模型，提供了一个强大的基线上的任务。所提出的模型特别是在看不见的测试分割上实现了最佳性能，但与人类性能相比仍有很大的改进空间。
2020-01-06 cs.CL cs.CV
LLMs as Bridges: Reformulating Grounded Multimodal Named Entity Recognition
School of New Media and Communication, Tianjin University（天津大学新媒体与传播学院）；College of Mathematics, Taiyuan University of Technology（太原理工大学数学学院）；Tianjin University of Science and Technology（天津科技大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；University of Copenhagen（哥本哈根大学）
本文提出RiVEG框架，利用大型语言模型作为桥梁，将基于多模态命名实体识别重构为联合任务，统一视觉接地与实体接地，在三个子任务上分别取得10.65%、6.21%和8.83%的绝对领先。
2024-05-29 cs.CL cs.CV
