Grounding Without Corrective Control: Truth-Tracking Profiles for Large Language Models
Humber Polytechnic(亨伯理工学院);University of Toronto(多伦多大学)
本文研究大语言模型中无校正控制的基础问题,提出路径剖面概念以分析真值追踪,指出纯文本模型继承的模式可提供衍生可应答性,不同方法对任务的真值追踪改进可能与表面改进不一致。
2026-08-17 cs.AI cs.CL
Grounding LLM Reasoning under Incomplete Graph Evidence
Tianjin Normal University, College of Computer and Information Engineering(天津师范大学计算机与信息工程学院);Harbin Institute of Technology, School of Mathematics(哈尔滨工业大学数学学院)
本文提出在不完全知识图谱证据下,通过KL正则化变形LLM先验实现软grounding,并给出稳定性界限,适用于GraphRAG、KGQA等场景。
2026-06-29 cs.CL
Static and Dynamic Vector Semantics for Lambda Calculus Models of Natural Language
Queen Mary University of London(伦敦玛丽女王大学);Tilburg University(蒂尔堡大学)
语言的向量模型基于语言的上下文方面,单词的分布以及它们如何在文本中共同出现。真值条件模型专注于语言的逻辑方面,单词的组成属性以及它们如何组成句子。在真值条件方法中,一个句子的指称决定了它的真值条件,它可以被认为是一个真值,一组可能世界,一个上下文变化势,或类似的。在向量模型中,词在上下文中的共现程度决定了词的含义有多相似。在本文中,我们把这两个模型结合起来,并开发了一个向量语义的基础上简单类型的λ演算模型的自然语言的语言。我们提供了两种类型的向量语义:一个静态的,使用熟悉的技术从真理条件的传统和动态的基础上的一种形式的动态解释的启发海姆的上下文变化的潜力。我们展示了如何动态模型可以应用到一个语料库和一个句子之间的蕴涵,我们提供的例子。
2018-10-26 cs.CL
Learning to Generate Grounded Visual Captions without Localization Supervision
Georgia Tech(佐治亚理工学院);NAVER LABS Europe(NAVER LABS 欧洲);Facebook
当自动生成图像或视频的句子描述时,通常仍然不清楚所生成的字幕的基础如何,即模型是否使用正确的图像区域来输出特定的单词,或者模型是否基于数据集和/或语言模型中的先验而产生幻觉。将图像区域与字幕模型中的单词相关联的最常见的方式是通过对用作输入以预测下一个单词的区域的注意力机制。因此,模型必须学会在不知道它应该定位的单词的情况下预测注意力权重。这在没有基础监督的情况下难以进行训练,因为递归模型可以传播过去的信息,并且没有明确的信号来迫使字幕模型适当地使各个解码的单词基础。在这项工作中,我们通过一种新的循环训练方案帮助模型实现这一目标,该方案迫使模型在句子解码器生成图像后定位图像中的每个单词,然后从定位的图像区域重建句子以匹配地面实况。我们提出的框架只需要学习一个额外的全连接层(定位器),一个可以在测试时删除的层。我们表明,我们的模型显着提高接地精度,而不依赖接地监督或引入额外的计算过程中的推理,图像和视频描述任务。代码可在https://github.com/chihyaoma/cyclical-visual-captioning上获得。
2020-07-17 cs.CL cs.CV cs.LG
Grounding of Textual Phrases in Images by Reconstruction
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
在视觉内容中的任意、自由形式的文本短语的基础(即,定位)对于人机交互和图像-文本参考解析的许多应用是具有挑战性的问题。很少有数据集提供短语的真实空间定位,因此希望在没有或很少有基础监督的情况下从数据中学习。我们提出了一种新的方法,学习接地重建一个给定的短语使用注意力机制,这可以是潜在的或直接优化。在训练过程中,我们的方法使用递归网络语言模型对短语进行编码,然后学习关注相关图像区域以重建输入短语。在测试时,正确的注意力,即,接地进行评估。如果接地监督可用,则可以通过注意力机制上的损失直接应用。我们证明了我们的方法的有效性Flickr 30 k实体和ReferItGame数据集与不同级别的监督,从没有监督到部分监督到全面监督。我们的监督变体在两个数据集上都比最先进的变体有很大的改进。
2017-02-17 cs.CL cs.CV cs.LG
MAGNet: Multi-Region Attention-Assisted Grounding of Natural Language Queries at Phrase Level
Syracuse University(雪城大学)
接地自由形式的文本查询需要理解这些文本短语及其与视觉线索的关系,以可靠地推理所描述的位置。空间注意力网络可以学习这种关系,并将目光集中在图像中的显著对象上。因此,我们建议利用空间注意力网络的图像级视觉-文本融合保留本地(词)和全球(短语)的信息,以完善区域建议与网络区域建议网络(RPN)和检测单个或多个区域的短语查询。我们只关注短语查询-地面真值对(引用表达式)对于独立于数据集的约束(即,附加属性、上下文等)的模型。对于这样的引用表达式数据集ReferIt游戏,我们的多区域注意力辅助接地网络(MAGNet)比现有的没有来自Flickr 30 k实体中的图像标题和属性信息的上下文,与最先进的技术相比,我们仍然获得了具有竞争力的结果。
2020-06-06 cs.CL cs.CV cs.LG
Parallel Attention Network with Sequence Matching for Video Grounding
Nanyang Technological University(南洋理工大学);Institute of High Performance Computing, A*STAR(新加坡科技研究局高性能计算研究院);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
提出SeqPAN网络,通过自引导并行注意力融合视频与文本多模态信息,并以序列匹配策略预测片段起止边界,在三个数据集上优于现有方法。
2021-05-18 cs.CL cs.CV
Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL
University of California, Santa Barbara(加州大学圣巴巴拉分校);Cisco Research(思科研究)
本文研究了自我博弈强化学习中数据门控和奖励基础的不对称作用,发现数据门控是维持稳定的关键因素,而奖励信号在门控移除后无法单独保证稳定性,揭示了'基础提出者悖论'。
2026-05-21 cs.CL cs.LG
Ref-NMS: Breaking Proposal Bottlenecks in Two-Stage Referring Expression Grounding
Zhejiang University(浙江大学);Tencent AI Lab(腾讯AI实验室);Nanyang Technological University(南洋理工大学);Columbia University(哥伦比亚大学)
解决指称表达接地的主流框架基于两个阶段的过程:1)用对象检测器检测提议,2)将指称对象接地到其中一个提议。现有的两阶段解决方案主要集中在接地步骤,其目的是使表达式与提案保持一致。在本文中,我们认为这些方法忽略了两个阶段中提案角色之间的明显不匹配:它们仅基于检测置信度生成提案(即,表达式不可知的),希望建议在表达式中包含所有正确的实例(即,表情感知)。由于这种不匹配,当前的两阶段方法在检测到的建议和地面实况建议之间遭受严重的性能下降。为此,我们提出了Ref-NMS,这是在第一阶段产生表达感知建议的第一种方法。Ref-NMS将表达式中的所有名词视为关键对象,并引入了一个轻量级模块来预测每个框与关键对象对齐的分数。这些分数可以指导NMS操作过滤掉与表达式无关的框,增加关键对象的召回,从而显著提高接地性能。由于Ref- NMS与接地步骤无关,因此可以轻松集成到任何最先进的两阶段方法中。对几种骨干、基准和任务的广泛消融研究一致证明了Ref-NMS的优越性。代码可在https://github.com/ChopinSharp/ref-nms上获得。
2021-03-10 cs.AI cs.CL cs.CV
VELD-QA: A Large-Scale Dataset for Visual Evidence Grounding and Question Answering in Long Documents
University of Southern California(南加州大学);Oracle AI(甲骨文人工智能公司);Turing Enterprise Inc(图灵企业公司);University of Pennsylvania(宾夕法尼亚大学)
研究人员提出VELD-QA数据集,该数据集含15000个人工问答对,用于评估长文档问答中视觉证据的定位与解释,发现视觉元素标注可缩小性能差距17%-24%。
2026-10-20 cs.CL cs.CV
Scalable and Reliable Evaluation of AI Knowledge Retrieval Systems: RIKER and the Coherent Simulated Universe
Kamiwaza AI
RIKER通过生成文档而非提取地面真实,提供了一种可扩展且抗污染的AI知识检索系统评估方法,揭示了上下文长度、跨文档聚合和事实基础能力等关键问题。
2026-01-15 cs.AI cs.CL
Grounding Spatio-Temporal Language with Transformers
Inria(法国国家信息与自动化研究所);Université de Bordeaux(波尔多大学);Microsoft Research(微软研究院);ENSTA ParisTech(巴黎高等先进技术学院)
语言是与外部世界的接口。为了让具身的代理人使用它,语言必须建立在其他感觉运动模式的基础上。虽然有大量文献研究机器如何学习基础语言,但如何学习时空语言概念的主题在很大程度上仍然是未知的。为了在这个方向上取得进展,我们在这里介绍了一种新的时空语言接地任务,其目标是学习的意义时空描述的行为痕迹的体现代理。这是通过训练一个真值函数来实现的,该函数预测描述是否与给定的观察历史相匹配。这些描述涉及过去式和现在式中的时间扩展谓词以及对场景中对象的时空引用。为了研究架构偏见在这项任务中的作用,我们训练了几个模型,包括多模态Transformer架构;后者在空间和时间上实现了单词和对象之间的不同注意力计算。我们在两类泛化上测试模型:1)泛化到随机保持的句子; 2)泛化到语法原语。我们观察到,在我们的Transformers的注意力计算中保持对象身份有助于在总体上实现良好的泛化性能,并且在单个令牌中总结对象轨迹对性能的影响很小。然后,我们将讨论如何打开新的视角,语言引导的自主体现代理。我们还在开源许可证下发布我们的代码以及预训练的模型和数据集,以鼓励更广泛的社区在未来建立和扩展我们的工作。
2021-10-11 cs.AI cs.CL cs.LG
Referring to Objects in Videos using Spatio-Temporal Identifying Descriptions
University of Maryland(马里兰大学)
本文提出了一个新的课题,即视频时空识别描述的基础。以前的工作表明,现有数据集的潜在偏见,并强调需要一个新的数据创建模式,以更好地建模语言结构。我们引入了一个新的数据汇集计划的基础上的语法约束的表面实现,使我们能够调查的问题接地时空识别描述的视频。然后,我们提出了一个双流模块化的注意力网络,学习和地面的时空识别描述的基础上的外观和运动。我们发现,运动模块有助于地面运动相关的话,也有助于学习的外观模块,因为模块化神经网络解决模块之间的任务干扰。最后,我们提出了一个未来的挑战和需要一个强大的系统所产生的自动视频对象检测器和时间事件本地化取代地面实况视觉注释。
2019-04-08 cs.CL cs.CV cs.LG
A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Meituan(美团);Tsinghua University(清华大学);Columbia University(哥伦比亚大学)
视频中的时间句子基础(TSGV)旨在将未修剪的视频中的自然语言句子基础,在过去几年中引起了广泛的关注。然而,最近的研究发现,当前的基准数据集可能存在明显的矩注释偏差,即使没有训练,也可以使用几个简单的基线来实现SOTA性能。在本文中,我们仔细研究了现有的评估协议,发现流行的数据集和评估指标都是导致不可信基准测试的魔鬼。因此,我们建议重新组织两个广泛使用的数据集,使地面实况矩分布在训练和测试分裂中不同,即,分布外(OOD)测试。同时,我们引入了一个新的评价指标“dR@n,IoU@m”,折扣的基本召回分数,以减轻由偏见的数据集造成的膨胀的评价。新的基准测试结果表明,我们提出的评估协议可以更好地监测研究进展。此外,我们提出了一种新的基于容差的多分支去混淆去偏(MDD)框架的无偏矩预测。具体来说,我们设计了一个多分支的deconfounder,以消除因果干预的多个混杂因素所造成的影响。为了帮助模型更好地对齐句子查询和视频时刻之间的语义,我们在特征编码过程中增强了表示。具体而言,对于文本信息,查询被解析成几个动词为中心的短语,以获得更细粒度的文本特征。对于视觉信息,位置信息已经从矩特征中分解出来,以增强具有不同位置的矩的表示。大量的实验表明,我们提出的方法可以实现现有的SOTA方法之间的竞争力的结果,并优于基本模型有很大的收益。
2022-03-10 cs.CL cs.CV cs.MM
Grounding Physical Concepts of Objects and Events Through Dynamic Visual Reasoning
The University of Hong Kong(香港大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Stanford University(斯坦福大学);MIT BCS, CBMM, CSAIL(麻省理工学院脑与认知科学系、大脑、心智与机器中心、计算机科学与人工智能实验室);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
我们研究了原始视频的动态视觉推理问题。这是一个具有挑战性的问题;当前,现有技术的模型通常需要对来自仿真的物理对象属性和事件进行密集监督,这在现实生活中是不切实际的。在本文中,我们提出了动态概念学习器(DCL),一个统一的框架,地面物理对象和事件从视频和语言。DCL首先采用轨迹提取器来跟踪每个对象,并将其表示为潜在的以对象为中心的特征向量。基于这种以对象为中心的表示,DCL学习使用图形网络来近似对象之间的动态交互。DCL还结合了一个语义解析器来将问题解析成语义程序,最后,一个程序执行器来运行程序来回答问题,从而利用学习到的动态模型。经过训练后,DCL可以跨帧检测和关联对象、地面视觉属性和物理事件,理解事件之间的因果关系,做出未来和反事实预测,并利用这些提取的演示来回答查询。DCL在CLEVRER上实现了最先进的性能,CLEVRER是一个具有挑战性的因果视频推理数据集,即使没有使用模拟训练的地面实况属性和碰撞标签。我们进一步测试DCL上新提出的视频检索和事件定位数据集来自CLEVRER,显示其强大的泛化能力。
2021-03-30 cs.AI cs.CL cs.CV