Compositional Semantics Grounded in Commonsense Metaphysics
American Institutes for Research(美国研究院)
我们认为,一个组成的语义强类型的本体,反映了我们的常识世界观和我们谈论它在普通语言的基础上。假设存在这样的结构,我们表明,各种自然语言现象的语义可能会变得几乎微不足道。
2007-08-31 cs.AI cs.CL
MetaReVision: Meta-Learning with Retrieval for Visually Grounded Compositional Concept Acquisition
Michigan State University(密歇根州立大学);University of Michigan(密歇根大学)
受人类借助原始概念学习新组合概念的机制启发,本文提出检索增强的元学习模型MetaReVision,构建两个基准数据集,实验证明其在视觉接地组合概念学习任务上优于基线,且检索模块作用关键。
2023-11-02 cs.AI cs.CL
COVR: A test-bed for Visually Grounded Compositional Generalization with real images
Tel-Aviv University(特拉维夫大学);University of California Irvine(加州大学欧文分校);Allen Institute for AI(艾伦人工智能研究所)
虽然近年来对在测试时推广到新组合的模型的兴趣有所增加,但视觉基础领域的基准迄今为止仅限于合成图像。在这项工作中,我们提出了COVR,一个新的测试平台,视觉接地组成的泛化与真实图像。为了创建COVR,我们使用带有场景图注释的真实图像,并提出了一个几乎完全自动的过程,用于生成问答对以及一组上下文图像。COVR专注于需要复杂推理的问题,包括量化和聚合等高阶运算。由于自动生成过程,COVR促进了组合分割的创建,其中测试时的模型需要在零或Few-Shot设置中泛化到新的概念和组合。我们使用COVR构建组合分裂,并展示了无数的情况下,最先进的预先训练的语言和视觉模型在组合上难以概括。
2021-09-22 cs.CL
Semantic Composition in Visually Grounded Language Models
Carnegie Mellon University(卡内基梅隆大学);School of Computer Science(计算机学院);Language Technologies Institute(语言技术研究所)
本文针对视觉基础语言模型在语义组合表征上的不足,提出基准、蒸馏度量、因果追踪、句法池化和跨模态正则化五种方法,以提升视觉-语言组合能力。
2023-05-15 cs.CL cs.LG
Recursive Decoding: A Situated Cognition Approach to Compositional Generation in Grounded Language Understanding
Pacific Northwest National Laboratory(太平洋西北国家实验室)
组合泛化是神经语言模型的一个令人不安的盲点。最近的努力已经提出了用于改进模型对已知输入的新颖组合进行编码的能力的技术,但是较少的工作集中在生成已知输出的新颖组合上。在这里,我们专注于后一种“解码端”形式的泛化在gSCAN的上下文中,一个合成的基准合成泛化在接地语言理解。我们提出了递归解码(RD),这是一种用于训练和使用seq2seq模型的新方法,旨在实现解码端的泛化。而不是在一次通过中生成整个输出序列,模型被训练为每次预测一个令牌。输入(即,外部gSCAN环境)然后基于预测的令牌被递增地更新,并且被重新编码用于下一个解码器时间步长。因此,RD将复杂的分布外序列生成任务分解为一系列增量预测,每个预测都类似于模型在训练期间已经看到的预测。RD在gSCAN中产生了两个以前被忽视的泛化任务的显着改进。我们提供的分析,以阐明这些收益失败的基线,然后讨论自然接地语言理解的泛化的影响,和seq2seq更普遍。
2022-02-18 cs.AI cs.CL cs.LG
Visually Grounded Continual Learning of Compositional Phrases
University of Southern California(南加州大学)
与当代NLP系统相比,人类不断地获取语言,每次对数据样本的访问要有限得多。为了研究这种类似人类的语言习得能力,我们提出了VisCOLL,一个视觉接地的语言学习任务,它模拟连续收购的组成短语从流视觉场景。在该任务中,模型在具有移动对象分布的成对图像-字幕流上进行训练;同时在保持的测试集上通过视觉接地的掩蔽语言预测任务进行不断评估。VisCOLL将持续学习的挑战(即,从连续移动的数据分布中学习)和合成概括(即,推广到新的组合物)。为了方便对VisCOLL的研究,我们构建了两个数据集,COCO-shift和Flickr-shift,并使用不同的持续学习方法对它们进行了基准测试。结果表明,SoTA持续学习方法对VisCOLL几乎没有改进,因为存储所有可能组合物的示例是不可行的。我们进行进一步的消融和分析,以指导未来的工作。
2020-11-17 cs.CL
Latent Compositional Representations Improve Systematic Generalization in Grounded Question Answering
Tel-Aviv University(特拉维夫大学);Allen Institute for AI(艾伦人工智能研究所)
涉及多步推理的问题需要分解它们,并使用中间步骤的答案来达到最终答案。然而,在接地问答的最先进的模型往往不显式地执行分解,导致难以推广到分布外的例子。在这项工作中,我们提出了一个模型,计算表示和外延的所有问题跨度在一个自下而上,组合的方式使用CKY风格的解析器。我们的模型诱导潜在树,仅由端到端(答案)监督驱动。我们发现,这种对树结构的归纳偏见显着提高了系统的泛化到分布外的例子,相比强大的基线上的算术表达式基准以及CLOSURE,一个数据集,专注于系统的泛化接地问答。在这个具有挑战性的数据集上,我们的模型达到了96.1%的准确率,明显高于之前的模型,后者几乎完美地解决了随机分布分割的任务。
2020-11-10 cs.AI cs.CL cs.LG
$C^3$: Compositional Counterfactual Contrastive Learning for Video-grounded Dialogues
Salesforce Research Asia(Salesforce亚洲研究院);A*STAR, Institute for Infocomm Research(新加坡科技研究局资讯通信研究院)
本文提出组合式反事实对比学习($C^3$),通过事实/反事实采样和对比隐藏状态表示优化视频基础对话生成,并在AVSD基准上取得性能提升。
2023-08-05 cs.CL cs.CV cs.LG
Emergence of Grounded Compositional Language in Multi-Agent Populations
OpenAI;UC Berkeley(加州大学伯克利分校)
通过捕获大型语料库中的统计模式,机器学习在自然语言处理方面取得了重大进展,包括机器翻译、问答和情感分析。然而,对于智能体与人类进行智能交互,仅仅捕获统计模式是不够的。在本文中,我们调查,如果,以及如何接地组成语言可以出现作为一种手段,以实现目标的多智能体人口。为此,我们提出了一个多智能体的学习环境和学习方法,带来了一个基本的组成语言的出现。这种语言被表示为代理人随着时间的推移发出的抽象离散符号流,但仍然具有一个具有定义的词汇和语法的连贯结构。我们还观察到非语言交流的出现,如指向和指导时,语言交流是不可用的。
2018-07-24 cs.AI cs.CL
Compositional Generalization with Grounded Language Models
University of Oslo(奥斯陆大学)
本文通过生成自然语言问题与知识图谱配对的数据集,系统评估了基于知识图谱的语言模型在组合泛化上的表现,发现现有方法在未见长度序列和新组合上存在困难,并发布了数据集以推动后续研究。
2024-06-07 cs.CL
Grounded learning for compositional vector semantics
本文提出在脉冲神经网络中实现组合分布语义学,以解决概念绑定问题,并利用带标签图像训练词表示,从而提升认知合理性。
2024-01-10 cs.AI cs.CL cs.NE
Grounded Compositional Outputs for Adaptive Language Modeling
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
语言模型已经成为NLP的核心组件,并且大量的进展取决于廉价地适应它们的能力(例如,通过微调)到新的域和任务。语言模型的词汇表$-$通常在训练前选择,并在以后永久固定$-$,这会影响其大小,并且是使其抵抗这种适应的部分原因。先前的工作已经使用基于表面形式的合成输入嵌入来改善这个问题。在这项工作中,我们更进一步,并提出了一个完全组成的输出嵌入层的语言模型,这是进一步接地从结构化词典(WordNet)的信息,即语义相关的单词和自由文本的定义。据我们所知,结果是第一个单词级语言模型,其大小不依赖于训练词汇表。我们对传统语言建模以及具有开放词汇的跨域设置进行了评估,发现它匹配或优于以前最先进的输出嵌入方法和自适应方法。我们的分析将改进归因于样本效率:我们的模型对低频词更准确。
2020-10-05 cs.CL
Compositional Networks Enable Systematic Generalization for Grounded Language Understanding
MIT(麻省理工学院)
人类在理解新句子时非常灵活,这些句子包含了他们以前从未遇到过的概念组合。最近的研究表明,虽然深度网络在呈现新句子时可以模仿一些人类语言能力,但系统变化揭示了网络语言理解能力的局限性。我们证明,这些限制可以通过解决gSCAN数据集中的泛化挑战来克服,gSCAN数据集明确衡量了智能体能够解释基于视觉的新语言命令的能力,例如,形容词和名词的新奇配对。我们采用的关键原则是组合性:网络的组成结构应该反映它们所解决的问题域的组成结构,同时允许端到端学习其他参数。我们建立了一个通用的机制,使代理,以概括他们的语言理解组成域。至关重要的是,我们的网络具有与先前工作相同的最先进性能,同时在先前工作不具备的情况下推广其知识。我们的网络还提供了一定程度的可解释性,使用户能够检查网络的每个部分都学到了什么。强大的接地语言理解,没有戏剧性的失败,没有角落的情况下,是至关重要的建设安全和公平的机器人,我们证明了组合性可以在实现这一目标中发挥的重要作用。
2021-10-19 cs.AI cs.CL cs.RO
Progressive Multi-granular Alignments for Grounded Reasoning in Large Vision-Language Models
Posts and Telecommunications Institute of Technology(邮电技术学院);University of Arkansas(阿肯色大学)
本文提出渐进式多粒度视觉-语言对齐框架PromViL,通过构建从简单到复杂的多模态层次结构并逐步对齐文本与视觉区域,利用低层上下文指导高层推理,显著提升了大型视觉-语言模型在视觉基础和组合问答任务上的表现。
2024-12-19 cs.CL cs.CV cs.LG
Compositional Phoneme Approximation for L1-Grounded L2 Pronunciation Training
Stanford University(斯坦福大学);KAIST(韩国科学技术院)
本文提出基于合成音素近似(CPA)的L1锚定发音训练方法,用母语音素序列近似二语声音,实验表明该方法能以极少训练显著提升韩语母语者的英语发音自然度和音素识别准确率。
2025-11-10 cs.CL cs.SD eess.AS
A Benchmark for Systematic Generalization in Grounded Language Understanding
University of Amsterdam(阿姆斯特丹大学);Massachusetts Institute of Technology(麻省理工学院);ICREA(加泰罗尼亚高等研究院);Facebook Artificial Intelligence Research(脸书人工智能研究院);Facebook AI Research(脸书人工智能研究院);New York University(纽约大学)
人类很容易理解由熟悉的部分组成的描述不熟悉情况的表达(“在摩天轮旁迎接粉红雷龙”)。相比之下,现代神经网络很难解释新的作品。在本文中,我们介绍了一个新的基准,gSCAN,用于评估成分概括在情境语言理解。gSCAN超越了专注于泛化的语法方面的相关基准,定义了一种基于网格世界状态的语言,促进了对获取语言动机规则的新评估。例如,代理人必须了解如何解释形容词,如“小”相对于当前的世界状态,或如何副词,如“谨慎”与新的动词结合。我们测试了一个强大的多模态基线模型和最先进的合成方法,发现在大多数情况下,当泛化需要系统的合成规则时,它们会显着失败。
2020-10-17 cs.AI cs.CL cs.LG
NELLIE: A Neuro-Symbolic Inference Engine for Grounded, Compositional, and Explainable Reasoning
Johns Hopkins University(约翰斯·霍普金斯大学);Allen Institute for AI(艾伦人工智能研究所)
该研究提出神经符号推理系统NELLIE,结合神经语言建模、引导生成与半参数检索替代Prolog手工规则,实现端到端可解释落地问答,性能优于同等规模最先进推理器,可利用多类型语料库引导推理,兼顾神经方法与符号推理优势。
2024-08-12 cs.CL
When Can Transformers Ground and Compose: Insights from Compositional Generalization Benchmarks
I2R, A*STAR Singapore(新加坡科技研究局信息通信研究院);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);Microsoft Research India(微软印度研究院)
人类可以进行成分推理,同时将语言话语与现实世界联系起来。最近的基准测试,如ReaSCAN,使用基于网格世界的导航任务来评估神经模型是否表现出类似的能力。在这项工作中,我们提出了一个简单的基于transformer的模型,优于ReaSCAN和gSCAN的修改版本的专门架构。在分析任务时,我们发现,在网格世界中识别目标位置是模型的主要挑战。此外,我们还证明了测试深度泛化的ReaSCAN中的一个特定分裂是不公平的。在这种分裂的修正版本,我们表明,Transformers可以推广到更深的输入结构。最后,我们设计了一个更简单的接地合成泛化任务,RefEx,调查Transformers的原因组成。我们表明,一个单一的自我注意力层与一个单一的头概括为新的组合的对象属性。此外,我们推导出一个精确的数学构造的Transformer的计算从学习网络。总的来说,我们提供了有价值的见解接地合成泛化任务和Transformers的行为,这将是有用的研究人员在这一领域的工作。
2022-10-31 cs.CL
3DCoMPaT200: Language-Grounded Compositional Understanding of Parts and Materials of 3D Shapes
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Poly9
针对现有3D部件理解数据集类别有限的问题,提出包含200类物体的大规模组合理解数据集3DCoMPaT200,并设计组合部件形状检索任务验证其对提升3D模型组合理解能力的有效性。
2025-01-12 cs.CL cs.CV
CounterCurate: Enhancing Physical and Semantic Visio-Linguistic Compositional Reasoning via Counterfactual Examples
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院)
CounterCurate框架通过物理基础数据增强和语义反事实微调,显著提升了CLIP和LLaVA等模型的视觉-语言组合推理能力。
2024-06-12 cs.AI cs.CL cs.CV
The Emergence of Compositional Languages for Numeric Concepts Through Iterated Learning in Neural Agents
University of Edinburgh(爱丁堡大学)
自引入以来,计算机模拟已成为进化语言学研究中越来越重要的工具。最近,随着深度学习技术的发展,扎根语言学习的研究也开始关注促进没有预定义的基本语言知识的组合语言的出现。在这项工作中,我们探讨了出现的组合语言的数字概念在多智能体通信系统。我们证明了用于编码数字概念的组合语言可以通过在深度神经网络代理群体中的迭代学习而出现。然而,语言属性在很大程度上取决于给代理的输入表示。我们发现,组合语言只出现,如果他们需要更少的迭代完全学习比其他非退化语言的代理在一个给定的输入表示。
2019-10-11 cs.AI cs.CL cs.LG
Compositional Sentence Representation from Character within Large Context Text
Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
本文描述了一个层次组合递归网络(HCRN),它包括一个3级层次的组合模型:字符,单词和句子。该模型的目的是克服两个问题的基础上表示一个句子的组成词序列。第一个是词嵌入中的数据稀疏问题,另一个是没有使用句间依赖。在HCRN中,单词表示是从字符中构建的,从而解决了数据稀疏性问题,并且在句子组成的级别上将句间依赖嵌入到句子表示中。我们采用分层学习方案,以减轻以端到端方式学习深度分层递归网络的优化困难。HCRN的定量和定性评估的对话行为分类任务。特别是,具有句间依赖性的句子表示能够捕获句子的隐式和显式语义,显着提高性能。最后,HCRN在SWBD-DAMSL数据库上的对话行为分类测试出错率为22.7%,达到了最先进的性能。
2016-06-03 cs.CL
PACEShop: Evaluating Personalized, Actionable, Compositional, and Evidence-grounded Shopping Assistants
Amazon(亚马逊);Northeastern University(东北大学);Expedia(亿客行)
针对现有购物助手评估基准未覆盖结构化回复联合评估目标的问题,提出 PACE 评估框架,构建含 22625 条记录的 PACEShop 基准数据集和 PACEJudge 协议,验证任务匹配输出契约对评估的重要性。
2026-08-28 cs.AI cs.CL
A Corpus for Reasoning About Natural Language Grounded in Photographs
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技校区);University of Maryland(马里兰大学)
我们引入了一个新的数据集,用于对自然语言和图像进行联合推理,重点关注语义多样性,组合性和视觉推理挑战。数据包含107,292个与网络照片配对的英语句子示例。任务是确定关于一对照片的自然语言说明是否是真实的。我们众包的数据使用视觉丰富的图像集和比较和对比的任务,以引出语言多样的语言。定性分析表明,数据需要组合联合推理,包括数量,比较和关系。使用最先进的视觉推理方法进行的评估显示,这些数据具有很强的挑战性。
2019-07-21 cs.CL cs.CV
Language in a (Search) Box: Grounding Language Learning in Real-World Human-Machine Interaction
Bocconi University(博科尼大学);Coveo Labs(Coveo实验室)
我们通过真实世界的数据调查接地语言学习,通过用户和搜索引擎之间发生的自然交互来建模教师-学习者动态;特别是,我们探索了合成环境之外无监督密集表示的语义泛化的出现。仅从用户数据学习基础域、表示函数和合成函数。我们展示了如何产生的语义名词短语表现出成分属性,同时完全可学习,没有任何明确的标签。我们基准我们的接地语义组合性和zero-shot推理任务,我们表明,它提供了更好的结果和更好的推广比SOTA非接地模型,如word 2 vec和BERT。
2021-04-18 cs.CL
Learning to Generate Compositional Color Descriptions
Stanford University(斯坦福大学)
色彩语言的产生是扎根语言生成的关键。颜色描述具有许多具有挑战性的特性:它们可能是模糊的,成分复杂的,并且外延丰富。我们提出了一种有效的方法来生成颜色描述使用递归神经网络和傅立叶变换的颜色表示。我们的模型优于以前的工作,在一个大型语料库的自然色彩描述的条件语言建模任务。此外,探测模型的输出表明,它不仅可以准确地产生基本的颜色术语,而且还可以产生具有非凸表示(“绿色”),裸露修饰符(“明亮”,“暗淡”)和组成短语(“褪色的青色”)的描述符。
2016-10-18 cs.CL
A Deep Compositional Framework for Human-like Language Acquisition in Virtual Environment
我们解决了一个任务,代理学习在一个名为XWORLD的2D迷宫般的环境中导航。在每个会话中,智能体感知一系列原始像素帧、教师发出的自然语言命令和一组奖励。智能体以一种接地和合成的方式从头开始学习教师的语言,使得在训练之后,它能够正确地执行zero-shot命令:1)命令中的单词的组合以前从未出现过,和/或2)命令包含从另一个任务中学习但从未从导航中学习的新对象概念。我们的智能体深层框架是端到端训练的:它同时学习环境的视觉表示、语言的语法和语义以及输出动作的动作模块。我们的框架的零样本学习能力来自于其组合性和模块性与参数绑定。我们可视化框架的中间输出,证明代理真正了解如何解决问题。我们相信,我们的研究结果提供了一些初步的见解,如何训练代理具有类似的能力,在三维环境中。
2017-05-19 cs.CL cs.LG
Rearranging the Familiar: Testing Compositional Generalization in Recurrent Networks
Facebook AI Research(脸书人工智能研究院);New York University(纽约大学)
系统组合性是将有意义的单位与规则和可预测的结果重新组合的能力,它被视为人类语言概括能力的关键。最近的工作研究了现代seq2seq模型中的系统组合性,在接地环境中使用泛化到新的导航指令作为探测工具,要求模型快速引导新单词的含义。我们在这里将这个框架扩展到模型只需要在新的上下文中重新组合训练有素的功能词(如“around”和“right”)的设置。我们的研究结果证实并加强了早期的研究结果:seq2seq模型可以令人印象深刻地善于推广到以前看到的输入的新组合,但只有当它们接受了关于要推广的特定模式的广泛训练时(例如,从“右周围X”到“右周围跳跃”的许多示例中概括),而当概括需要合成规则的新颖应用时失败(例如,从“右”和“左右”的含义推断“左右”的含义)。
2018-07-19 cs.AI cs.CL cs.LG
CSyMR: Benchmarking Compositional Music Information Retrieval in Symbolic Music Reasoning
University of California, San Diego(加州大学圣地亚哥分校)
CSyMR-Bench通过工具增强的检索和推理框架,在符号音乐推理中实现组合音乐信息检索的准确率提升。
2026-02-27 cs.AI cs.CL cs.LG
ActTail: Global Activation Sparsity in Large Language Models
本文提出ActTail方法,基于Heavy-Tailed Self-Regularization理论,通过计算每个投影的经验谱密度得到重尾指数,实现基于投影的稀疏性分配,提升大语言模型在高稀疏率下的性能。
2026-10-27 cs.CL cs.LG
Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
系统组合性是人类语言中的一种基本机制,它允许已知部分的重组来创造新的表达。然而,现有的神经模型已经被证明缺乏这种学习符号结构的基本能力。由于Transformer模型在SCAN组合性挑战(Lake和Baroni,2018)中失败,需要将命令解析为动作,我们提出了两个辅助序列预测任务,用于跟踪函数和参数语义的进展,作为额外的训练监督。这些自动生成的序列更能代表输入数据的底层组成符号结构。在推理过程中,模型在每一步联合预测辅助序列中的下一个动作和下一个标记。在SCAN数据集上的实验表明,我们的方法鼓励Transformer理解命令的组合结构,将其在多个具有挑战性的拆分上的准确率从<= 10%提高到100%。在只有418个(5%)训练实例的情况下,我们的方法在MCD1分割上仍然达到了97.8%的准确率。因此,我们认为,组合性可以诱导在Transformers给予最小的,但适当的指导。我们还表明,更好的结果是实现使用较少的上下文向量作为注意力的查询,实现系统的组合性的架构选择提供见解。最后,我们展示了对PulledSCAN任务的积极推广结果(Ruis等人,2020年)。我们的代码可在https://github.com/jiangycTarheel/compositional-auxseq上公开获取
2021-09-30 cs.AI cs.CL cs.LG
Compositional Generalization in Multilingual Semantic Parsing over Wikidata
University of Copenhagen(哥本哈根大学)
语义解析(SP)允许人类通过自然交互来利用大量的知识资源。然而,解析器大多是针对英语资源设计和评估的,例如CFQ(Keysers等人,2020),目前的标准基准基于从语法规则生成的英语数据,并面向Freebase,一个过时的知识库。我们提出了一种方法,用于创建一个多语言的,并行的数据集的问题查询对,接地在维基数据。我们引入这样一个数据集,我们称之为多语言组成维基数据问题(MCWQ),并使用它来分析组成的概括语义分析器在希伯来语,卡纳达语,中文和英文。虽然语言内泛化在不同语言之间是可比的,但zero-shot跨语言迁移的实验表明,跨语言合成泛化失败,即使使用最先进的预训练多语言编码器也是如此。此外,我们的方法,数据集和结果将有助于未来的研究SP在更现实和更多样化的设置比已经可能与现有资源。
2022-05-31 cs.CL
A Joint Model of Language and Perception for Grounded Attribute Learning
University of Washington(华盛顿大学)
随着机器人变得越来越普遍和强大,让未经训练的用户能够轻松地与它们进行交互变得越来越重要。最近,这导致了对语言基础问题的研究,其目标是提取与物理世界中的感知和驱动相关的自然语言的含义的表示。在本文中,我们提出了一种联合学习的语言和感知模型接地属性归纳的方法。我们的感知模型包括属性分类器,例如检测对象的颜色和形状,和语言模型是基于概率范畴语法,使丰富的,组成的意义表示的建设。该方法进行评估的任务解释的句子,描述在物理工作空间中的对象集。我们展示了准确的任务性能和有效的潜在变量概念归纳在物理接地场景。
2012-06-27 cs.CL cs.LG cs.RO
A Complexity-Based Theory of Compositionality
Mila – Quebec AI Institute(魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
本文提出基于算法信息论的表示组合性形式化定义,要求表示具有表达力、可重组为符号序列且语义映射简单,并通过实验验证其能统一AI与认知科学中的组合性直觉。
2025-06-02 cs.AI cs.CL cs.LG
Syntax-Guided Transformers: Elevating Compositional Generalization and Grounding in Multimodal Environments
Michigan State University(密歇根州立大学)
针对多模态环境下智能模型组合泛化难的问题,提出Syntax-Guided Transformers方法,利用文本解析得到的注意力掩码结合Transformer编码器权重共享,提升了多模态接地与参数高效建模的性能。
2023-11-07 cs.CL cs.RO
Language Identification via Compositional Data Analysis: A Linear-Time Classifier Based on Log-Ratio Geometry
Faculty of Mathematics and Computer Science Babeş-Bolyai University(巴比什-波雅依大学数学与计算机科学学院)
研究针对语言识别,将字符和二元语法频率分布建模为成分向量,经CLR变换映射到特定子空间,结合CLR变换特征与拉普拉斯平滑提出管道方法,在六种语言上评估,该方法在不同文本长度下准确率高,提供了高效且可解释的语言识别替代方案。
2026-07-17 cs.CL
Differentiable Fuzzy Inference Layer: A Monotone, Compositional Ordinal Reasoning Head for Large Language Models
Technical University of Munich(慕尼黑工业大学)
针对大语言模型无法组合序数量词的问题,提出可微模糊推理层(DFIL),通过双路径头结合标量瓶颈与隶属函数,实现单调性和t-范数组合推理,无需组合训练数据。
2026-09-23 cs.CL
Improved Compositional Generalization by Generating Demonstrations for Meta-Learning
Aalto University(阿尔托大学)
针对gSCAN中训练数据缺乏良好支持示例的问题,提出一种智能体生成相关支持示例并通过元学习解决测试查询的方法,显著提升了组合泛化性能。
2024-10-12 cs.CL
CLEVR Parser: A Graph Parser Library for Geometric Learning on Language Grounded Image Scenes
University of Toronto Computer Science(多伦多大学计算机科学系);Vector Institute for Artificial Intelligence(人工智能矢量研究所)
CLEVR数据集已被广泛用于机器学习(ML)和自然语言处理(NLP)领域的基于语言的视觉推理。我们提出了一个图形解析器库CLEVR,提供以对象为中心的属性和关系提取的功能,和双模态的结构图表示的建设。结构顺序不变表示使几何学习成为可能,并可以帮助下游任务,如视觉,机器人,组合性,可解释性和计算语法构建的语言基础。我们提供了三个可扩展的主要组件-解析器,嵌入器和可视化器,可以定制以适应特定的学习设置。我们还提供了开箱即用的功能,可与流行的深度图神经网络(GNN)库进行无缝集成。此外,我们还讨论了该库的下游使用和应用,以及它如何加速NLP研究社区的研究。
2020-10-01 cs.CL
Skills-in-Context Prompting: Unlocking Compositionality in Large Language Models
Georgia Institute of Technology(佐治亚理工学院);Tencent AI Lab(腾讯AI实验室)
本文提出技能上下文提示(SKiC),通过在同一提示中展示基础技能及组合示例,仅需两个示例即可激发LLMs的组合泛化能力,实现近乎完美的系统泛化,并解锁其内部技能,且微调SKiC风格数据可实现零样本弱到强泛化。
2024-07-16 cs.CL
WebAggregator: Enhancing Compositional Reasoning Capabilities of Deep Research Agent Foundation Models
MoE Lab, The Chinese University of Hong Kong(莫埃实验室,香港中文大学);Tencent AI Lab(腾讯AI实验室)
本文提出WebAggregator数据合成管道,通过主动探索和组合逻辑提案,提升深度研究代理的组合推理能力,并在多个基准测试中超越GPT-4.1和Claude-3.7-Sonnet。
2026-04-29 cs.CL
GLIDE-RL: Grounded Language Instruction through DEmonstration in RL
Microsoft(微软);AI Redefined Inc(AI Redefined 公司);Microsoft Research(微软研究院);University of Alberta(阿尔伯塔大学)
提出GLIDE-RL算法,引入教师-指导者-学生多智能体课程学习框架,通过多教师同时训练解决语言接地RL智能体的稀疏奖励与泛化难题。
2024-01-03 cs.AI cs.CL cs.LG
ALFRED: A Benchmark for Interpreting Grounded Instructions for Everyday Tasks
Paul G. Allen School of Computer Sci. & Eng., Univ. of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Allen Institute for AI(艾伦人工智能研究所);NVIDIA(英伟达公司)
我们提出了ALFRED(从现实环境和指令的行动学习),学习从自然语言指令和以自我为中心的视觉映射到家庭任务的行动序列的基准。ALFRED包括具有不可逆状态变化的长时间组合任务,以缩小研究基准和现实世界应用之间的差距。ALFRED由25k自然语言指令的交互式视觉环境中的专家演示组成。这些指令包含两个高层次的目标,如“冲洗杯子并将其放入咖啡机。和低级语言指令,如“走到右边的咖啡机。“ALFRED任务在序列长度、动作空间和语言方面比现有的视觉和语言任务数据集更复杂。我们发现,基于最近体现的视觉和语言任务的基线模型在ALFRED上表现不佳,这表明在此基准下开发创新的接地视觉语言理解模型有很大的空间。
2020-03-31 cs.AI cs.CL cs.CV
A Note on Ontology and Ordinary Language
Computing and Statistical Sciences Center(计算与统计科学中心);American Institutes for Research(美国研究院)
我们主张一种基于强类型本体的组合语义,它反映了我们对世界的常识性看法和我们谈论它的方式。假设这样一种结构,我们表明,各种自然语言现象的语义可能变得几乎微不足道。
2007-05-07 cs.AI cs.CL
Understanding Compositional Data Augmentation in Typologically Diverse Morphological Inflection
University of British Columbia(不列颠哥伦比亚大学)
本研究通过信息论分析揭示了数据增强策略StemCorrupt通过消除语素间伪相关改善组合泛化的机制,发现选择高多样性和高预测不确定性的数据点可显著提升其在七种语言中的数据效率,但高异形态语言因音位组合违规获益较少。
2023-10-23 cs.CL
Sequential Compositional Generalization in Multimodal Models
Hacettepe University(哈杰泰佩大学);Koç University(科克大学);KUIS AI Center(KUIS人工智能中心);University of Copenhagen(哥本哈根大学);Pioneer Centre for AI(先锋人工智能中心)
本研究通过CompAct数据集探究多模态模型的序列组合泛化能力,发现双模态和三模态模型优于纯文本模型,强调了多模态在泛化中的关键作用。
2024-04-18 cs.CL
Emergence of Numeric Concepts in Multi-Agent Autonomous Communication
University of Edinburgh(爱丁堡大学);School of Informatics(信息学院)
随着深度学习的快速发展,当前自然语言处理的最新技术大多基于使用argescaled静态文本语料库训练的深度学习模型。然而,我们人类以不同的方式学习和理解。因此,扎根语言学习认为,模型需要通过与环境交互获得的经验和感知来学习和理解语言,就像人类一样。在深度强化学习技术的帮助下,已经有大量的工作集中在促进计算代理群体中具有自然语言等组合性的通信协议的出现。与这些工作不同的是,我们,另一方面,关注的是数字概念,对应于抽象的认知和功能词在自然语言。基于一个专门设计的语言游戏,我们验证了计算代理能够在自主通信过程中传输数字概念,以及涌现的通信协议可以反映意义空间的底层结构。虽然从人类的角度来看,它们的编码方法不像自然语言那样是组合的,但涌现语言可以推广到看不见的输入,更重要的是,模型更容易学习。此外,在拓扑相似性度量下,迭代学习有助于进一步提高涌现语言的组合性。此外,我们还尝试了另一种表示方法,即直接将数字编码成one-hot向量的连接,并发现涌现语言将变得像人类自然语言一样组合。因此,我们认为,有两个重要因素的合成语言的出现。
2019-11-04 cs.CL
Compositional Machine Design as Program Synthesis with LLMs
The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳))
本研究提出基于物理模拟的组合式机器设计任务,构建BesiegeField测试平台,测试LLM智能体的机器程序合成能力,并用模拟奖励微调Qwen2.5-14B提升了机器性能,为相关研究提供参考。
2026-10-14 cs.AI cs.CL cs.CV
UniDataAgent: An Ontology-Grounded Agent for Enterprise Question-to-Report Automation
China Unicom Software Research Institute(中国联通软件研究院);College Of Artificial Intelligence, Nankai University(南开大学人工智能学院)
本文提出UniDataAgent,一个基于本体的企业问题到报告自动化系统,通过分离语义获取与在线执行,在27张表上实现95%准确率,显著缩短构建与报告生成时间。
2026-10-09 cs.CL
BabyAI: A Platform to Study the Sample Efficiency of Grounded Language Learning
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);AdeptMind Scholar;Element AI;École Normale Supérieure, Paris(巴黎高等师范学院);IIT Bombay(印度理工学院孟买分校);University of Oregon(俄勒冈大学);CIFAR(加拿大高等研究院)
允许人类交互式地训练人工智能体来理解语言指令是出于实践和科学的原因而期望的,但是鉴于当前学习方法的数据效率差,该目标可能需要大量的研究工作。在这里,我们介绍了BabyAI研究平台,以支持将人类纳入接地语言学习循环的研究。BabyAI平台包括一个可扩展的套件,包含19个难度递增的级别。这些水平逐渐引导代理获得一种组合丰富的合成语言,这是英语的一个适当的子集。该平台还提供了一个启发式的专家代理的目的,模拟人类教师。我们报告了基线结果,并估计了在某些BabyAI级别上训练基于神经网络的代理所需的人类参与量。我们提出了强有力的证据,表明当前的深度学习方法在学习具有组合属性的语言时还没有足够的样本效率。
2019-12-19 cs.AI cs.CL
Learning Compositional Behaviors from Demonstration and Language
Stanford University(斯坦福大学)
本文提出BLADE框架,通过整合模仿学习与基于模型的规划,利用语言标注演示和LLM提取抽象动作知识,自动构建包含前置条件、效果和控制器的结构化动作表示库,有效提升了长程机器人操作在仿真和真实环境中对新颖情况的泛化能力。
2025-05-28 cs.AI cs.CL cs.CV
K-BrowseComp: A Web Browsing Agent Benchmark Grounded in Korean Contexts
Chung-Ang University(Chung-Ang 大学);KAIST(韩国科学技术院);Seoul National University(首尔国立大学);OnelineAI;NAVER Cloud AI;Carnegie Mellon University(卡内基梅隆大学)
针对韩国语境,构建包含400个问题的网页浏览代理基准K-BrowseComp,评估前沿模型性能,发现其准确率显著低于BrowseComp,并公开数据与代码。
2026-11-17 cs.CL
Categorizing Semantic Representations for Neural Machine Translation
Zhejiang University(浙江大学);Westlake University(西湖大学);Tencent Inc(腾讯公司);Westlake Institute for Advanced Study(西湖高等研究院)
现代神经机器翻译(NMT)模型在标准基准测试中取得了有竞争力的性能。然而,它们最近被证明在成分概括方面受到限制,未能有效地学习原子的平移(例如,词)及其语义组成(例如,修饰)从所见的化合物(例如,短语),并且因此在推理期间遭受对看不见的复合物的显著减弱的翻译性能。我们解决这个问题,通过引入分类的源上下文表示。其主要思想是通过减少稀疏性和过拟合来增强泛化能力,这是通过在训练集上找到令牌表示的原型并将其嵌入到源编码中来实现的。在专用MT数据集上的实验(即,CoGnition)表明,我们的方法减少了24%的错误减少的组合泛化误差率。此外,我们概念上简单的方法在一系列一般MT数据集上给出了比Transformer基线更好的结果。
2022-10-13 cs.CL