首页/论文/2003.07385

arXiv 2003.073852020-03-16cs.CLcs.AI

基于共同基础的多通道参考策略的形式化分析

A Formal Analysis of Multimodal Referring Strategies Under Common Ground

Brandeis University（布兰迪斯大学）

Nikhil Krishnaswamy, James Pustejovsky

备注：: 9 pages (incl refs), 7 figures, 3 tables, proceedings of LREC 2020 (postponed due to COVID-19)

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

在本文中，我们提出了一个分析计算生成的混合模态明确的指称表达使用手势和语言描述的组合。在这样做的时候，我们暴露了一些引人注目的正式语义属性的手势和语言之间的相互作用，条件是引入的内容到（计算）扬声器和（人类）观众之间的共同点，并演示了这些正式的功能如何有助于训练更好的模型来预测观众的判断指的表达，并可能产生更自然和信息丰富的指的表达。

英文摘要：

In this paper, we present an analysis of computationally generated mixed-modality definite referring expressions using combinations of gesture and linguistic descriptions. In doing so, we expose some striking formal semantic properties of the interactions between gesture and language, conditioned on the introduction of content into the common ground between the (computational) speaker and (human) viewer, and demonstrate how these formal features can contribute to training better models to predict viewer judgment of referring expressions, and potentially to the generation of more natural and informative referring expressions.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

你指的是哪一个？情景对话中的多模态物体识别

Which One Are You Referring To? Multimodal Object Identification in Situated Dialogue

Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；The Hong Kong University of Science and Technology（香港科技大学）

多模态对话系统的需求在各个领域都在上升，强调了从会话和情景语境中解释多模态输入的重要性。我们探索了三种方法来解决这个问题，并在最大的对话数据集SIMMC 2.1上进行了评估。我们最好的方法，场景对话对齐，与SIMMC 2.1基线相比，性能提高了约20%的F1分数。我们提供的分析和讨论，我们的方法的局限性和未来工作的潜在方向。我们的代码可在https://github.com/holylovenia/multimodal-object-identification上公开获取。

2023-03-15cs.AIcs.CLcs.CV

ChatSpot：通过精准指代指令调优自举多模态大语言模型

ChatSpot: Bootstrapping Multimodal LLMs via Precise Referring Instruction Tuning

MEGVII Technology（旷视科技）；Huazhong University of Science and Technology（华中科技大学）；Tsinghua University（清华大学）；Xian Jiaotong University（西安交通大学）

针对现有多模态大语言模型仅支持语言交互、准确性和效率受限的问题，本研究提出精准指代指令与支持多种交互形式的ChatSpot模型，构建多粒度指令跟随数据集，实验验证其在区域识别与交互上的优异性能。

2023-07-18cs.CLcs.CV

基于语言结构指导的上下文建模的参考图像分割

Linguistic Structure Guided Context Modeling for Referring Image Segmentation

Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）；Sun Yat-sen University（中山大学）；Tencent Marketing Solution（腾讯营销解决方案）

指称图像分割的目的是预测由自然语言句子指称的对象的前景掩模。句子的多模态语境是区分指称对象和背景的关键。现有的方法要么不充分或冗余模型的多模态上下文。为了解决这个问题，我们提出了一个“传播-传播-分发”计划，通过跨模态交互建模多模态上下文，并实现该计划作为一个新的语言结构引导上下文建模（LSCM）模块。我们的LSCM模块建立了一个依存句法分析树抑制词图（DPT-WG），它引导所有的词包括有效的多模态上下文的句子，同时通过三个步骤排除干扰的多模态特征，即，聚集、约束传播和分发。在四个基准上的大量实验表明，我们的方法优于所有以前的国家的最先进的。

2020-10-05cs.CLcs.CV

MaPPER：面向指称表达理解的多模态先验引导的参数高效微调

MaPPER: Multimodal Prior-guided Parameter Efficient Tuning for Referring Expression Comprehension

College of Systems Engineering, National University of Defense Technology（系统工程学院，国防科技大学）；Tsinghua University（清华大学）；Hefei University of Technology（合肥工业大学）；iFLYTEK Research（iFLYTEK研究院）

针对指称表达理解任务，提出MaPPER框架，通过动态先验适配器和局部卷积适配器实现参数高效微调，仅用1.41%可调参数达到最优性能。

2025-06-20cs.AIcs.CLcs.CV

第五届GCAIAC零样本指代表达理解挑战赛解决方案

The Solution for the 5th GCAIAC Zero-shot Referring Expression Comprehension Challenge

Nanjing University of Science and Technology（南京理工大学）

针对零样本指代表达理解任务，结合视觉提示组合与文本提示影响，采用适配数据特征的联合预测方法，在第五届GCAIAC挑战赛A、B榜分别取得84.825、71.460的准确率，获得第一名。

2024-07-06cs.CLcs.CVcs.LG

CoT Referring: 通过 grounded 推理改进指称表达任务

CoT Referring: Improving Referring Expression Tasks with Grounded Reasoning

Adobe Research（Adobe研究院）；Northeastern University（东北大学）

通过 grounded 推理改进指称表达任务，提出CoT Referring方法，提升多模态大语言模型在复杂指称场景中的性能。

2026-01-17cs.AIcs.CL

更多相关论文收起更多论文

基于多模态Transformers的端到端参考视频对象分割

End-to-End Referring Video Object Segmentation with Multimodal Transformers

Technion – Israel Institute of Technology（以色列理工学院）

参考视频对象分割任务（RVOS）涉及在给定视频的帧中分割文本参考对象实例。由于这种多模态任务的复杂性，它结合了文本推理，视频理解，实例分割和跟踪，现有的方法通常依赖于复杂的管道，以解决it. In本文中，我们提出了一个简单的基于transformer的方法RVOS。我们的框架，称为多模态跟踪Transformer（MTTR），模型的RVOS任务作为一个序列预测问题。随着计算机视觉和自然语言处理的最新进展，MTTR基于这样一种认识，即视频和文本可以通过单个多模式Transformer模型有效而优雅地处理在一起。MTTR是端到端可训练的，不含与文本相关的感应偏差组件，并且不需要额外的掩码优化后处理步骤。因此，与现有方法相比，它大大简化了RVOS管道。对标准基准的评估表明，MTTR在多个指标上明显优于以前的技术。特别是，MTTR在A2 D-Sentences和JHMDB-Sentences数据集上分别显示出令人印象深刻的+5.7和+5.0 mAP增益，同时每秒处理76帧。此外，我们报告了Refer-YouTube-VOS公共验证集的强有力结果，这是一个更具挑战性的RVOS数据集，尚未得到研究人员的关注。复制我们实验的代码可以在https://github.com/mttr2021/MTTR上找到。

2022-04-03cs.CLcs.CVcs.LG

ChartREG++：面向多样化指代线索和多目标指代的图表指代表达式定位基准与改进

ChartREG++: Towards Benchmarking and Improving Chart Referring Expression Grounding under Diverse referring clues and Multi-Target Referring

Research Center for Social Computing and Interactive Robotics（社会计算与交互机器人研究中心）

针对现有图表指代表达式定位基准的局限，提出支持多种定位形式、多目标指代、多样化线索和图表类型的基准，并利用代码驱动合成流水线生成像素级实例掩码，训练实例分割模型集成到多模态定位框架，显著提升性能。

2026-06-09cs.CLcs.CV

使用自回归语言模型检测视觉基础对话中的指称表达

Detecting Referring Expressions in Visually Grounded Dialogue with Autoregressive Language Models

Division of Speech, Music and Hearing（语音、音乐和听觉系）；KTH Royal Institute of Technology（皇家理工学院）

本文探索使用纯文本自回归大型语言模型，通过下一词元预测划定提及跨度边界，从视觉基础对话中提取指称表达，发现即使模型规模中等且数据集较小该方法依然有效，同时指出该任务本质是多模态问题。

2025-06-26cs.AIcs.CL

Ref-Adv：探索提及表达任务中的多模态大语言模型视觉推理

Ref-Adv: Exploring MLLM Visual Reasoning in Referring Expression Tasks

Northeastern University（东北大学）

Ref-Adv 是一个旨在评估多模态大语言模型视觉推理能力的基准，通过增加表达复杂性和减少干扰项，揭示模型在视觉推理和 grounding 方面的不足。

2026-02-27cs.AIcs.CLcs.CV

基于知识嵌入的指称表达表示学习

Relationship-Embedded Representation Learning for Grounding Referring Expressions

The University of Hong Kong（香港大学）；Deepwise AI Lab（深智云人工智能实验室）；Sun Yat-sen University（中山大学）

基于图像中的指称表达式旨在定位由指称表达式描述的图像中的对象实例。它涉及对自然语言和图像内容的联合理解，并且对于与人机交互相关的一系列视觉任务至关重要。作为一个语言到视觉的匹配任务，这个问题的核心是不仅要提取所有必要的信息（即，对象和它们之间的关系），而且还充分利用上下文信息来对齐提取信息中的跨模态语义概念。不幸的是，现有的工作接地指涉表达式未能准确地提取多阶关系的指涉表达式，并将它们与图像中的对象及其相关的上下文。在本文中，我们提出了一个跨模态的关系提取器（CMRE）自适应突出对象和关系（空间和语义关系）与跨模态的注意力机制与给定的表达式，并表示提取的信息作为一个语言引导的视觉关系图。此外，我们提出了一个门控图卷积网络（GGCN）计算多模态语义上下文融合信息从不同的模式和传播的结构化关系图的多模态信息。在三个常见的基准数据集上的实验结果表明，我们的跨模态关系推理网络，其中包括CMRE和GGCN，显着优于所有现有的最先进的方法。代码可在www.example.com上获得

2020-04-19cs.CLcs.CV

Kosmos-2：将多模态大语言模型锚定到现实世界

Kosmos-2: Grounding Multimodal Large Language Models to the World

Microsoft Research（微软研究院）

本文提出 Kosmos-2 多模态大语言模型，通过 Markdown 链接形式和 GrIT 数据实现文本与视觉对象的锚定，并在多类 grounding、指代及语言任务上验证其能力。

2023-07-13cs.CLcs.CV

非指称描述词演绎的两个案例

Two Cases of Deduction with Non-referring Descriptions

Masaryk University（马萨里克大学）

本文在部分类型论与自然演绎框架下，提出处理非指称描述词演绎的替代方案，成功处理 intensional transitive 推理并推导出Strawsonian存在预设规则。

2024-12-31cs.CLcs.LO

CK-Transformer：常识知识增强型Transformer在指代表达式理解中的应用

CK-Transformer: Commonsense Knowledge Enhanced Transformers for Referring Expression Comprehension

University of Amsterdam（阿姆斯特丹大学）；King’s College London（伦敦国王学院）；United Imaging（联影医疗）

针对需超越空间等信息推理的常识知识指代表达式理解（KB-Ref）任务，提出CK-Transformer框架，将常识知识整合到图像对象表示中，在多个基准数据集上准确率较现有最优提升3.14%。

2023-02-17cs.AIcs.CLcs.CV

基于跨模态渐进理解的参考图像分割

Referring Image Segmentation via Cross-Modal Progressive Comprehension

Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机学院）；Sun Yat-sen University（中山大学）；University of Technology Sydney（悉尼科技大学）；AI Institute（360人工智能研究院）

参考图像分割的目的是分割出实体的前景掩模，使其与自然语言表达式中给出的描述相匹配。以前的方法解决这个问题，使用隐式功能之间的相互作用和融合的视觉和语言的形式，但通常无法探索信息词的表达，以及对齐功能，从两种形式，以准确地识别所指的实体。在本文中，我们提出了跨模态渐进理解（CMPC）模块和文本引导的特征交换（TGFE）模块，以有效地解决具有挑战性的任务。具体地说，CMPC模块首先使用实体和属性词来感知表达式可能考虑的所有相关实体。然后，采用关系词突出正确的实体，以及抑制其他无关的多模态图推理。除了CMPC模块之外，我们还利用一个简单而有效的TGFE模块，在文本信息的指导下，从不同的层面整合推理的多模态特征。通过这种方式，来自多个层次的特征可以彼此通信，并基于文本上下文进行细化。我们进行了广泛的实验，四个流行的参考分割基准，并实现了新的国家的最先进的性能。

2020-10-01cs.CLcs.CV

基于引用表达式序列的递归实例分割

Recurrent Instance Segmentation using Sequences of Referring Expressions

Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；Universitat Pompeu Fabra（庞培法布拉大学）

这项工作的目标是分割的对象在图像中所提到的一系列的语言描述（指涉表达式）。我们提出了一个具有递归层的深度神经网络，该递归层输出一系列二进制掩码，每个掩码对应于用户提供的每个引用表达式。该架构中的递归层允许模型从同一图像内的空间角度对每个预测的掩模进行调整。我们的多模态方法使用现成的架构来编码图像和参考表达式。视觉分支提供像素嵌入张量，这些像素嵌入张量与语言编码器产生的短语嵌入连接在一起。我们的实验RefCOCO数据集的静止图像表明，所提出的架构如何成功地利用序列的引用表达式来解决像素级任务的实例分割。

2019-11-05cs.CLcs.CVcs.MM

位置即你所需：一种用于基于多模态大语言模型的指代表达分割的免费午餐式令牌压缩策略

Position Is All You Need: A Free Lunch Token Compression Strategy for MLLM-based Referring Expression Segmentation

针对基于多模态大语言模型的指代表达分割任务的计算开销瓶颈，提出仅依赖位置信息的即插即用无训练令牌压缩方法PAYN，性能优于现有方法。

2026-08-28cs.AIcs.CL

Mask-aware Text-to-Image Retrieval：Referring Expression Segmentation 与跨模态检索的结合

Mask-aware Text-to-Image Retrieval: Referring Expression Segmentation Meets Cross-modal Retrieval

National Taiwan University（国立台湾大学）

本文提出统一文本到图像检索与指代分割的新任务 MaTIR，并设计两阶段框架，利用 SAM 2 和 Alpha-CLIP 离线生成掩码与区域嵌入以实现高效在线检索，再由 MLLM 重排序与定位，显著提升检索准确率与分割质量。

2025-06-28cs.AIcs.CLcs.CV

LLMs作为桥梁：重构基于多模态命名实体识别

LLMs as Bridges: Reformulating Grounded Multimodal Named Entity Recognition

School of New Media and Communication, Tianjin University（天津大学新媒体与传播学院）；College of Mathematics, Taiyuan University of Technology（太原理工大学数学学院）；Tianjin University of Science and Technology（天津科技大学）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；University of Copenhagen（哥本哈根大学）

本文提出RiVEG框架，利用大型语言模型作为桥梁，将基于多模态命名实体识别重构为联合任务，统一视觉接地与实体接地，在三个子任务上分别取得10.65%、6.21%和8.83%的绝对领先。

2024-05-29cs.CLcs.CV

Ferret：在任意位置、任意粒度下进行引用与定位

Ferret: Refer and Ground Anything Anywhere at Any Granularity

Apple AI/ML（苹果人工智能与机器学习部门）；Columbia University（哥伦比亚大学）

Ferret是一种多模态大语言模型，通过混合区域表示和空间感知采样器，实现任意形状粒度的引用与定位，并构建GRIT数据集训练，显著提升区域对话能力并缓解物体幻觉。

2023-10-11cs.CLcs.CV

Target-dependent UNITER：一种基于转换器的家政服务机器人多模态语言理解模型

Target-dependent UNITER: A Transformer-Based Multimodal Language Comprehension Model for Domestic Service Robots

Keio University（庆应义塾大学）

目前，国内服务机器人通过语言进行自然交互的能力不足。这是因为理解人类的指令是复杂的各种歧义和丢失的信息。在现有的方法中，指定对象之间的关系的引用表达式没有充分建模。在本文中，我们提出了目标相关的UNITER，它通过关注图像中的相关区域而不是整个图像来直接学习目标对象和其他对象之间的关系。我们的方法是基于UNITER的Transformer的扩展，可以在通用数据集上进行预训练。我们通过引入一种新的架构来处理目标候选人，从而扩展了UNITER方法。我们的模型在两个标准数据集上进行了验证，结果表明，目标依赖UNITER在分类精度方面优于基线方法。

2021-07-02cs.CLcs.CVcs.RO