Language in a (Search) Box: Grounding Language Learning in Real-World Human-Machine Interaction
Bocconi University(博科尼大学);Coveo Labs(Coveo实验室)
我们通过真实世界的数据调查接地语言学习,通过用户和搜索引擎之间发生的自然交互来建模教师-学习者动态;特别是,我们探索了合成环境之外无监督密集表示的语义泛化的出现。仅从用户数据学习基础域、表示函数和合成函数。我们展示了如何产生的语义名词短语表现出成分属性,同时完全可学习,没有任何明确的标签。我们基准我们的接地语义组合性和zero-shot推理任务,我们表明,它提供了更好的结果和更好的推广比SOTA非接地模型,如word 2 vec和BERT。
2021-04-18 cs.CL
The ART of Composition: Attention-Regularized Training for Compositional Visual Grounding
The University of British Columbia(不列颠哥伦比亚大学);Nanyang Technological University(南洋理工大学)
本文提出CompART,通过分解标题为以对象为中心的短语并构建复合短语,提升多对象定位能力,验证了其在多种视觉语言模型上的有效性。
2026-05-07 cs.CL cs.CV cs.LG
Compositional Generalization with Grounded Language Models
University of Oslo(奥斯陆大学)
本文通过生成自然语言问题与知识图谱配对的数据集,系统评估了基于知识图谱的语言模型在组合泛化上的表现,发现现有方法在未见长度序列和新组合上存在困难,并发布了数据集以推动后续研究。
2024-06-07 cs.CL
Geo-Spatial Concept Probing of Large Language Models: Abstraction, Compositionality, and Grounding
University of Toulouse(图卢兹大学);IRIT(信息科学与技术研究院(IRIT))
该研究针对LLMs的抽象性、组合性与接地性设计测试,构建空间概念基准并开展多模型实验,揭示当前LLMs的概念理解局限,为相关模型的优化提供洞见。
2026-08-10 cs.AI cs.CL cs.IR
Multimodal Grounding for Language Processing
University of Duisburg-Essen(杜伊斯堡-埃森大学);Technische Universität Darmstadt(达姆施塔特工业大学)
本调查讨论了多模态处理的最新发展如何促进语言的概念基础。我们将多模态处理中的信息流与人类信息处理的认知模型进行了分类,并分析了不同的多模态表示方法。基于这种方法库存,我们讨论了多模态接地的各种语言处理任务的好处和出现的挑战。我们特别关注动词的多模态接地,这对语言的合成能力起着至关重要的作用。
2019-07-03 cs.AI cs.CL
CoLLIE: Continual Learning of Language Grounding from Language-Image Embeddings
KTH Royal Institute of Technology(KTH皇家理工学院)
本文介绍了CoLLIE:一个简单,但有效的持续学习的语言是如何在视觉的基础模型。给定一个预先训练的多模态嵌入模型,其中语言和图像被投影在相同的语义空间中(在这种情况下,OpenAI的CLIP),CoLLIE学习一个转换函数,该函数在需要时调整语言嵌入以适应新的语言使用。这是通过预测需要应用的差向量以及该向量的缩放因子来完成的,使得仅在需要时应用调整。与传统的少样本学习不同,该模型不仅学习新的类和标签,还可以推广到类似的语言使用并利用语义组合。我们验证了该模型的性能上的两个不同的任务,确定的目标是指表达,它必须学习新的语言使用。结果表明,该模型可以有效地学习和推广,只有少数的例子,与模型的原始zero-shot性能的干扰很小。
2022-07-10 cs.CL
Language Models Can Resolve Reference Compositionally, But It's Not Their Native Strength: The Case of the Personal Relation Task
通过个人关系任务,比较人类与大型语言模型在外延任务(确定指称对象)和内涵任务(结构化表示意义)上的表现,发现人类更擅长外延任务而LLM更擅长内涵任务,表明缺乏指称基础是LLM模拟人类语言理解的关键缺失。
2026-07-08 cs.CL
Grounding Language about Belief in a Bayesian Theory-of-Mind
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学)
该研究将信念陈述语义建立在贝叶斯心智理论基础上,构建能联合推断智能体目标、信念与计划的框架,经门与钥匙网格世界谜题实验验证,其对人类信念归因的拟合度优于多种基线方法。
2024-07-09 cs.AI cs.CL
NELLIE: A Neuro-Symbolic Inference Engine for Grounded, Compositional, and Explainable Reasoning
Johns Hopkins University(约翰斯·霍普金斯大学);Allen Institute for AI(艾伦人工智能研究所)
该研究提出神经符号推理系统NELLIE,结合神经语言建模、引导生成与半参数检索替代Prolog手工规则,实现端到端可解释落地问答,性能优于同等规模最先进推理器,可利用多类型语料库引导推理,兼顾神经方法与符号推理优势。
2024-08-12 cs.CL
Compositional Instruction Following with Language Models and Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of the Witwatersrand(威特沃特斯兰德大学);Arizona State University(亚利桑那州立大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出CERLLA方法,结合组合性策略表示和强化学习训练的语义解析器,在162个任务上实现组合性泛化,以92%成功率超越非组合性基线80%。
2025-01-21 cs.CL cs.LG
ReferentialGym: A Nomenclature and Framework for Language Emergence & Grounding in (Visual) Referential Games
University of York(约克大学)
自然语言是人类用来交流信息和为共同目标而合作的强大工具。它们的价值在于一些主要的性质,如组合性,层次性和递归句法,计算语言学家一直在研究语言游戏诱导的人工语言的出现。直到最近,人工智能社区才开始研究语言的出现和基础,以实现更好的人机界面。例如,交互式/对话式AI助手能够将他们的视觉与正在进行的对话联系起来。本文提供了两个贡献,这一研究领域。首先,提出一个术语,以了解研究语言的出现和接地的主要举措,会计的假设和限制的变化。其次,介绍了一个基于PyTorch的深度学习框架,名为ReferentialGym,致力于进一步探索语言的出现和基础。通过提供主要算法和指标的基线实现,以及许多不同的功能和方法,ReferentialGym试图减轻该领域的进入障碍,并为社区提供通用实现。
2020-12-17 cs.CL cs.LG
Entropy-Gradient Grounding: Training-Free Evidence Retrieval in Vision-Language Models
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(ETH人工智能中心);KAIST AI(韩国科学技术院人工智能系)
本文提出一种无需训练的视觉语言模型证据检索方法,通过熵梯度映射提升对微小视觉细节和多区域线索的处理能力,实验显示在多个基准上取得显著改进。
2026-04-09 cs.CL cs.CV
SCITAB: A Challenging Benchmark for Compositional Reasoning and Claim Verification on Scientific Tables
National University of Singapore(新加坡国立大学);University of California, Santa Barbara(加州大学圣巴巴拉分校);Sea AI Lab(Sea人工智能实验室);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对现有科学事实核查基准的偏差和过度依赖文本证据的问题,提出包含1.2K条专家验证声明的SCITAB基准,要求基于科学表格进行组合推理验证,实验表明现有先进模型在该任务上面临重大挑战。
2023-10-23 cs.AI cs.CL
LINGO-Space: Language-Conditioned Incremental Grounding for Space
Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对复合空间指称表达式的定位与歧义问题,本文提出 LINGO-Space,利用可配置极坐标概率分布进行增量空间 grounding,并在桌面操作、模拟操作及真实四足导航任务中验证其有效性。
2024-02-02 cs.AI cs.CL cs.CV
Agent S2: A Compositional Generalist-Specialist Framework for Computer Use Agents
Simular Research(西穆拉研究机构)
针对计算机使用智能体GUI定位不准、长程规划难及单模型瓶颈问题,提出组合式通才-专才框架Agent S2,采用混合定位与主动分层规划技术,在多个基准上创下SOTA并实现跨系统泛化。
2025-04-01 cs.AI cs.CL cs.CV
Grounding Hindsight Instructions in Multi-Goal Reinforcement Learning for Robotics
Hamburg University of Technology(汉堡工业大学);University of Hamburg(汉堡大学)
本文重点研究了机器人强化学习与稀疏奖励的自然语言目标表示。一个开放的问题是样本效率低下,这源于自然语言的组合性,以及语言在感官数据和动作中的基础。我们通过三个贡献来解决这些问题。我们首先提出了一种机制,利用专家反馈后见之明指令重放。其次,我们提出了一个seq2seq模型来生成语言后见之明指令。最后,我们提出了一类新的语言为重点的学习任务。我们表明,后见之明的指示,提高学习性能,正如预期的那样。此外,我们还提供了一个意想不到的结果:我们表明,我们的代理的学习性能可以提高三分之一,如果在某种意义上说,代理学习与自己交谈,在自我监督的方式。我们通过学习生成语言指令来实现这一点,这些语言指令本来适合作为最初无意行为的自然语言目标。我们的研究结果表明,性能增益与任务的复杂性增加。
2022-09-08 cs.AI cs.CL cs.LG
Knowledge Graphs are Implicit Reward Models: Path-Derived Signals Enable Compositional Reasoning
Department of Electrical and Computer Engineering, Princeton University, New Jersey, USA(电气与计算机工程系,普林斯顿大学,新泽西州,美国)
本文提出利用知识图谱作为隐式奖励模型,通过路径衍生信号提升模型在复杂推理任务中的组合推理能力。
2026-03-06 cs.AI cs.CL
Q-GroundCAM: Quantifying Grounding in Vision Language Models via GradCAM
George Mason University(乔治梅森大学)
本文提出 Q-GroundCAM 指标套件,利用 GradCAM 激活量化评估 CLIP、BLIP 和 ALBEF 等预训练视觉语言模型的零样本定位能力,揭示模型规模、数据集大小与性能之间的权衡关系。
2024-04-29 cs.CL cs.CV cs.LG
Explainable Semantic Space by Grounding Language to Vision with Cross-Modal Contrastive Learning
University of Michigan(密歇根大学);University of California San Francisco(加利福尼亚大学旧金山分校)
在自然语言处理中,大多数模型试图仅仅从文本中学习语义表示。学习的表示编码的分布语义,但未能连接到任何有关物理世界的知识。相比之下,人类通过感知和行动中的基础概念来学习语言,大脑为认知编码基础语义。受这一概念和最近在视觉语言学习方面的工作的启发,我们设计了一个双流模型,用于在视觉中进行语言学习。该模型包括基于VGG的视觉流和基于Bert的语言流。这两个流合并成一个联合代表空间。通过跨模态对比学习,模型首先学习将视觉和语言表示与MS COCO数据集对齐。该模型进一步学习通过跨模态注意模块检索具有语言查询的视觉对象,并通过具有Visual Genome数据集的双线性运算符推断检索到的对象之间的视觉关系。在训练之后,该模型的语言流是能够将概念嵌入在视觉上接地的语义空间中的独立语言模型。这个语义空间表现出人类直觉和神经生物学知识可以解释的主要维度。在这个语义空间中的词嵌入是人类定义的语义特征规范的预测,并被分离成感知上独特的集群。此外,基于视觉的语言模型还使得能够实现基于视觉知识的组合语言理解和具有基于图像、文本或其组合的查询的多模态图像搜索。
2021-11-13 cs.CL cs.LG
Semantic Composition in Visually Grounded Language Models
Carnegie Mellon University(卡内基梅隆大学);School of Computer Science(计算机学院);Language Technologies Institute(语言技术研究所)
本文针对视觉基础语言模型在语义组合表征上的不足,提出基准、蒸馏度量、因果追踪、句法池化和跨模态正则化五种方法,以提升视觉-语言组合能力。
2023-05-15 cs.CL cs.LG
$C^3$: Compositional Counterfactual Contrastive Learning for Video-grounded Dialogues
Salesforce Research Asia(Salesforce亚洲研究院);A*STAR, Institute for Infocomm Research(新加坡科技研究局资讯通信研究院)
本文提出组合式反事实对比学习($C^3$),通过事实/反事实采样和对比隐藏状态表示优化视频基础对话生成,并在AVSD基准上取得性能提升。
2023-08-05 cs.CL cs.CV cs.LG
GQA: A New Dataset for Real-World Visual Reasoning and Compositional Question Answering
Stanford University(斯坦福大学)
我们介绍了GQA,一个新的数据集,用于现实世界的视觉推理和组合问答,寻求解决以前的VQA数据集的关键缺点。我们已经开发了一个强大而强大的问题引擎,利用场景图结构创建22M不同的推理问题,所有这些问题都带有表示其语义的功能程序。我们使用的程序来获得严格的控制答案分布,并提出了一个新的可调平滑技术,以减轻问题的偏见。该数据集附带了一套新的指标,用于评估一致性、基础和合理性等基本质量。对基线以及最先进的模型进行了广泛的分析,为不同的问题类型和拓扑提供了细粒度的结果。虽然盲LSTM仅获得42.1%,强大的VQA模型获得54.1%,但人类性能最高可达89.3%,为新研究提供了充分的探索机会。我们强烈希望GQA能够为下一代模型提供一个支持资源,增强鲁棒性,提高一致性,并对图像和语言进行更深入的语义理解。
2019-05-10 cs.AI cs.CL cs.CV
Progressive Multi-granular Alignments for Grounded Reasoning in Large Vision-Language Models
Posts and Telecommunications Institute of Technology(邮电技术学院);University of Arkansas(阿肯色大学)
本文提出渐进式多粒度视觉-语言对齐框架PromViL,通过构建从简单到复杂的多模态层次结构并逐步对齐文本与视觉区域,利用低层上下文指导高层推理,显著提升了大型视觉-语言模型在视觉基础和组合问答任务上的表现。
2024-12-19 cs.CL cs.CV cs.LG
Learning Language Structures through Grounding
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO(芝加哥丰田技术研究所)
本论文研究通过视觉、程序执行和其他语言等接地信号学习语言结构,提出视觉接地语法归纳、执行感知语义解析和跨语言结构投影等方法,显著提升解析、组合泛化及零样本跨语言性能。
2024-10-21 cs.AI cs.CL cs.CV
Evaluating Explanation-Driven Vision-Language Reasoning via Generation Order Interventions
German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Oldenburg(奥尔登堡大学)
本研究通过控制生成顺序干预,系统评估了解释与预测的因果关联,发现模型规模是理由优先推理的关键,而答案优先更稳定,二者共同影响推理忠实度。
2026-09-25 cs.CL
CURV: Enhancing Chart Understanding Through Curriculum Visual Grounded Reasoning
针对多模态大语言模型视觉接地与推理不足的问题,提出CURV课程学习框架,结合CCQA数据集,在图表问答任务中实现显著性能提升并具备良好泛化性。
2026-08-05 cs.AI cs.CL cs.CV
Towards Grounded Visual Spatial Reasoning in Multi-Modal Vision Language Models
George Mason University(乔治梅森大学)
本研究针对大型视觉语言模型空间关系理解能力差的问题,证实目标定位能力不足是重要原因,提出结合名词短语grounding证据的细粒度组合式空间子句排序方法,并在代表性VLM上验证了效果。
2024-03-06 cs.CL cs.CV cs.LG
Contrastive Region Guidance: Improving Grounding in Vision-Language Models without Training
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出无需训练的 Contrastive Region Guidance(CRG),通过对比有无视觉提示的模型输出来抵消先验偏差,从而增强开源 VLM 的区域 grounding,并在多类视觉-语言任务上取得显著提升。
2024-03-04 cs.AI cs.CL cs.CV
WebShop: Towards Scalable Real-World Web Interaction with Grounded Language Agents
Princeton University(普林斯顿大学)
现有的基准接地语言在交互式环境中要么缺乏现实世界的语言元素,或证明难以扩大规模,由于大量的人类参与收集数据或反馈信号。为了弥合这一差距,我们开发了WebShop --一个模拟的电子商务网站环境,其中包含$1.18$百万种真实世界的产品和$12,087$众包文本说明。给定指定产品需求的文本指令,代理需要浏览多种类型的网页并发布各种操作来查找、定制和购买物品。WebShop为语言基础提供了几个挑战,包括理解组合指令,查询(重新)公式化,理解和处理网页中的嘈杂文本,以及执行战略探索。我们收集了超过$1,600$的任务演示,并使用强化学习、模仿学习和预训练的图像和语言模型对各种代理进行训练和评估。我们的最佳模型实现了$29\%$的任务成功率,其性能优于基于规则的算法($9.6\%$),但远低于人类专家性能($59\%$)。我们还分析了代理和人类的轨迹和消融各种模型组件,为开发具有更强语言理解和决策能力的未来代理提供见解。最后,我们表明,在WebShop上训练的代理表现出非平凡的仿真到现实迁移时,在amazon.com和ebay.com进行评估,表明在开发实用的基于Web的代理,可以在野外的潜在价值的WebShop。
2023-02-08 cs.AI cs.CL cs.LG
Co-Evolving Structured Knowledge and Reasoning in Language Models
Cornell University(康奈尔大学)
针对检索增强方法的局限,提出协同演化框架KBevo,联合学习构建结构化知识库与推理,提升了知识结构质量、答案可达性及推理与可控性。
2026-09-09 cs.AI cs.CL cs.LG