Visually Grounded Continual Learning of Compositional Phrases
University of Southern California（南加州大学）
与当代NLP系统相比，人类不断地获取语言，每次对数据样本的访问要有限得多。为了研究这种类似人类的语言习得能力，我们提出了VisCOLL，一个视觉接地的语言学习任务，它模拟连续收购的组成短语从流视觉场景。在该任务中，模型在具有移动对象分布的成对图像-字幕流上进行训练;同时在保持的测试集上通过视觉接地的掩蔽语言预测任务进行不断评估。VisCOLL将持续学习的挑战（即，从连续移动的数据分布中学习）和合成概括（即，推广到新的组合物）。为了方便对VisCOLL的研究，我们构建了两个数据集，COCO-shift和Flickr-shift，并使用不同的持续学习方法对它们进行了基准测试。结果表明，SoTA持续学习方法对VisCOLL几乎没有改进，因为存储所有可能组合物的示例是不可行的。我们进行进一步的消融和分析，以指导未来的工作。
2020-11-17 cs.CL
Latent Compositional Representations Improve Systematic Generalization in Grounded Question Answering
Tel-Aviv University（特拉维夫大学）；Allen Institute for AI（艾伦人工智能研究所）
涉及多步推理的问题需要分解它们，并使用中间步骤的答案来达到最终答案。然而，在接地问答的最先进的模型往往不显式地执行分解，导致难以推广到分布外的例子。在这项工作中，我们提出了一个模型，计算表示和外延的所有问题跨度在一个自下而上，组合的方式使用CKY风格的解析器。我们的模型诱导潜在树，仅由端到端（答案）监督驱动。我们发现，这种对树结构的归纳偏见显着提高了系统的泛化到分布外的例子，相比强大的基线上的算术表达式基准以及CLOSURE，一个数据集，专注于系统的泛化接地问答。在这个具有挑战性的数据集上，我们的模型达到了96.1%的准确率，明显高于之前的模型，后者几乎完美地解决了随机分布分割的任务。
2020-11-10 cs.AI cs.CL cs.LG
Compositional Generalization with Grounded Language Models
University of Oslo（奥斯陆大学）
本文通过生成自然语言问题与知识图谱配对的数据集，系统评估了基于知识图谱的语言模型在组合泛化上的表现，发现现有方法在未见长度序列和新组合上存在困难，并发布了数据集以推动后续研究。
2024-06-07 cs.CL
Grounded Graph Decoding Improves Compositional Generalization in Question Answering
University of California, Berkeley（加州大学伯克利分校）
问答模型很难推广到训练模式的新组合，例如更长的序列或更复杂的测试结构。当前的端到端模型学习一个平面输入嵌入，这可能会丢失输入语法上下文。以前的方法通过学习置换不变模型来提高泛化能力，但这些方法不能扩展到更复杂的训练测试分割。我们提出了接地图解码，一种方法，以提高合成概括的语言表示接地结构化预测与注意力机制。接地使模型能够保留来自输入的语法信息，从而显着提高复杂输入的泛化能力。通过预测一个包含查询子句的连接的结构化图，我们学习了一个组不变表示，而无需对目标域进行假设。我们的模型在组合自由基问题（CFQ）数据集上的表现显着优于最先进的基线，CFQ数据集是问答中组合泛化的一个具有挑战性的基准。此外，我们以98%的准确率有效地解决了MCD1分裂。
2021-11-05 cs.CL cs.LG
Compositional Generalization in Grounded Language Learning via Induced Model Sparsity
Aalto University（阿尔托大学）
我们提供了一个研究如何诱导模型稀疏可以帮助实现组合泛化和更好的样本效率接地语言学习问题。我们考虑简单的语言条件导航问题，在网格世界环境中与解开的意见。我们表明，标准的神经架构并不总是产生组合泛化。为了解决这个问题，我们设计了一个代理，其中包含一个目标识别模块，鼓励稀疏的指令和对象的属性之间的相关性，把它们组合在一起，找到目标。目标识别模块的输出是值迭代网络规划器的输入。我们的代理在包含新的属性组合的目标上保持高水平的性能，即使在从少数演示中学习时也是如此。我们检查我们的代理的内部表示，并找到其字典中的单词和环境中的属性之间的正确对应关系。
2022-07-06 cs.CL cs.LG
Grounded Compositional Outputs for Adaptive Language Modeling
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
语言模型已经成为NLP的核心组件，并且大量的进展取决于廉价地适应它们的能力（例如，通过微调）到新的域和任务。语言模型的词汇表$-$通常在训练前选择，并在以后永久固定$-$，这会影响其大小，并且是使其抵抗这种适应的部分原因。先前的工作已经使用基于表面形式的合成输入嵌入来改善这个问题。在这项工作中，我们更进一步，并提出了一个完全组成的输出嵌入层的语言模型，这是进一步接地从结构化词典（WordNet）的信息，即语义相关的单词和自由文本的定义。据我们所知，结果是第一个单词级语言模型，其大小不依赖于训练词汇表。我们对传统语言建模以及具有开放词汇的跨域设置进行了评估，发现它匹配或优于以前最先进的输出嵌入方法和自适应方法。我们的分析将改进归因于样本效率：我们的模型对低频词更准确。
2020-10-05 cs.CL
Compositional Phoneme Approximation for L1-Grounded L2 Pronunciation Training
Stanford University（斯坦福大学）；KAIST（韩国科学技术院）
本文提出基于合成音素近似（CPA）的L1锚定发音训练方法，用母语音素序列近似二语声音，实验表明该方法能以极少训练显著提升韩语母语者的英语发音自然度和音素识别准确率。
2025-11-10 cs.CL cs.SD eess.AS
$C^3$: Compositional Counterfactual Contrastive Learning for Video-grounded Dialogues
Salesforce Research Asia（Salesforce亚洲研究院）；A*STAR, Institute for Infocomm Research（新加坡科技研究局资讯通信研究院）
本文提出组合式反事实对比学习（$C^3$），通过事实/反事实采样和对比隐藏状态表示优化视频基础对话生成，并在AVSD基准上取得性能提升。
2023-08-05 cs.CL cs.CV cs.LG
A Benchmark for Systematic Generalization in Grounded Language Understanding
University of Amsterdam（阿姆斯特丹大学）；Massachusetts Institute of Technology（麻省理工学院）；ICREA（加泰罗尼亚高等研究院）；Facebook Artificial Intelligence Research（脸书人工智能研究院）；Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）
人类很容易理解由熟悉的部分组成的描述不熟悉情况的表达（“在摩天轮旁迎接粉红雷龙”）。相比之下，现代神经网络很难解释新的作品。在本文中，我们介绍了一个新的基准，gSCAN，用于评估成分概括在情境语言理解。gSCAN超越了专注于泛化的语法方面的相关基准，定义了一种基于网格世界状态的语言，促进了对获取语言动机规则的新评估。例如，代理人必须了解如何解释形容词，如“小”相对于当前的世界状态，或如何副词，如“谨慎”与新的动词结合。我们测试了一个强大的多模态基线模型和最先进的合成方法，发现在大多数情况下，当泛化需要系统的合成规则时，它们会显着失败。
2020-10-17 cs.AI cs.CL cs.LG
NELLIE: A Neuro-Symbolic Inference Engine for Grounded, Compositional, and Explainable Reasoning
Johns Hopkins University（约翰斯·霍普金斯大学）；Allen Institute for AI（艾伦人工智能研究所）
该研究提出神经符号推理系统NELLIE，结合神经语言建模、引导生成与半参数检索替代Prolog手工规则，实现端到端可解释落地问答，性能优于同等规模最先进推理器，可利用多类型语料库引导推理，兼顾神经方法与符号推理优势。
2024-08-12 cs.CL
PACEShop: Evaluating Personalized, Actionable, Compositional, and Evidence-grounded Shopping Assistants
Amazon（亚马逊）；Northeastern University（东北大学）；Expedia（亿客行）
针对现有购物助手评估基准未覆盖结构化回复联合评估目标的问题，提出 PACE 评估框架，构建含 22625 条记录的 PACEShop 基准数据集和 PACEJudge 协议，验证任务匹配输出契约对评估的重要性。
2026-08-28 cs.AI cs.CL
When Can Transformers Ground and Compose: Insights from Compositional Generalization Benchmarks
I2R, A*STAR Singapore（新加坡科技研究局信息通信研究院）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；Microsoft Research India（微软印度研究院）
人类可以进行成分推理，同时将语言话语与现实世界联系起来。最近的基准测试，如ReaSCAN，使用基于网格世界的导航任务来评估神经模型是否表现出类似的能力。在这项工作中，我们提出了一个简单的基于transformer的模型，优于ReaSCAN和gSCAN的修改版本的专门架构。在分析任务时，我们发现，在网格世界中识别目标位置是模型的主要挑战。此外，我们还证明了测试深度泛化的ReaSCAN中的一个特定分裂是不公平的。在这种分裂的修正版本，我们表明，Transformers可以推广到更深的输入结构。最后，我们设计了一个更简单的接地合成泛化任务，RefEx，调查Transformers的原因组成。我们表明，一个单一的自我注意力层与一个单一的头概括为新的组合的对象属性。此外，我们推导出一个精确的数学构造的Transformer的计算从学习网络。总的来说，我们提供了有价值的见解接地合成泛化任务和Transformers的行为，这将是有用的研究人员在这一领域的工作。
2022-10-31 cs.CL
3DCoMPaT200: Language-Grounded Compositional Understanding of Parts and Materials of 3D Shapes
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Poly9
针对现有3D部件理解数据集类别有限的问题，提出包含200类物体的大规模组合理解数据集3DCoMPaT200，并设计组合部件形状检索任务验证其对提升3D模型组合理解能力的有效性。
2025-01-12 cs.CL cs.CV
Semantic Composition in Visually Grounded Language Models
Carnegie Mellon University（卡内基梅隆大学）；School of Computer Science（计算机学院）；Language Technologies Institute（语言技术研究所）
本文针对视觉基础语言模型在语义组合表征上的不足，提出基准、蒸馏度量、因果追踪、句法池化和跨模态正则化五种方法，以提升视觉-语言组合能力。
2023-05-15 cs.CL cs.LG
CounterCurate: Enhancing Physical and Semantic Visio-Linguistic Compositional Reasoning via Counterfactual Examples
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）
CounterCurate框架通过物理基础数据增强和语义反事实微调，显著提升了CLIP和LLaVA等模型的视觉-语言组合推理能力。
2024-06-12 cs.AI cs.CL cs.CV
Progressive Multi-granular Alignments for Grounded Reasoning in Large Vision-Language Models
Posts and Telecommunications Institute of Technology（邮电技术学院）；University of Arkansas（阿肯色大学）
本文提出渐进式多粒度视觉-语言对齐框架PromViL，通过构建从简单到复杂的多模态层次结构并逐步对齐文本与视觉区域，利用低层上下文指导高层推理，显著提升了大型视觉-语言模型在视觉基础和组合问答任务上的表现。
2024-12-19 cs.CL cs.CV cs.LG
From compositional to systematic semantics
我们证明了一个定理，说明任何语义可以编码为一个组合语义，这意味着，从本质上说，标准定义的组合性是形式上空洞的。然后，我们表明，当成分语义被要求是“系统的”（即，意义功能不能是任意的，但必须属于某个类），它是可以区分成分和非成分语义。因此，我们相信，本文澄清了组合性的概念，并打开了一个可能性，使系统的形式比较不同的语法系统。
1995-03-24 cmp-lg cs.CL
A Systematic Study of Compositional Syntactic Transformer Language Models
School of Information Science and Technology, ShanghaiTech University（信息科学与技术学院，上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（智能视觉与成像工程技术研究中心）；Ant Group（蚂蚁集团）
本文系统研究了组合式句法语言模型，提出涵盖现有模型与新变体的统一框架，并在语言建模、句法泛化、摘要、对话和推理效率上进行全面评估，为组合式 SLMs 的设计提供了多项建议。
2025-06-28 cs.AI cs.CL
Syntax-Guided Transformers: Elevating Compositional Generalization and Grounding in Multimodal Environments
Michigan State University（密歇根州立大学）
针对多模态环境下智能模型组合泛化难的问题，提出Syntax-Guided Transformers方法，利用文本解析得到的注意力掩码结合Transformer编码器权重共享，提升了多模态接地与参数高效建模的性能。
2023-11-07 cs.CL cs.RO
Knowledge Graphs are Implicit Reward Models: Path-Derived Signals Enable Compositional Reasoning
Department of Electrical and Computer Engineering, Princeton University, New Jersey, USA（电气与计算机工程系，普林斯顿大学，新泽西州，美国）
本文提出利用知识图谱作为隐式奖励模型，通过路径衍生信号提升模型在复杂推理任务中的组合推理能力。
2026-03-06 cs.AI cs.CL
A Corpus for Reasoning About Natural Language Grounded in Photographs
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技校区）；University of Maryland（马里兰大学）
我们引入了一个新的数据集，用于对自然语言和图像进行联合推理，重点关注语义多样性，组合性和视觉推理挑战。数据包含107，292个与网络照片配对的英语句子示例。任务是确定关于一对照片的自然语言说明是否是真实的。我们众包的数据使用视觉丰富的图像集和比较和对比的任务，以引出语言多样的语言。定性分析表明，数据需要组合联合推理，包括数量，比较和关系。使用最先进的视觉推理方法进行的评估显示，这些数据具有很强的挑战性。
2019-07-21 cs.CL cs.CV
The Emergence of Compositional Languages for Numeric Concepts Through Iterated Learning in Neural Agents
University of Edinburgh（爱丁堡大学）
自引入以来，计算机模拟已成为进化语言学研究中越来越重要的工具。最近，随着深度学习技术的发展，扎根语言学习的研究也开始关注促进没有预定义的基本语言知识的组合语言的出现。在这项工作中，我们探讨了出现的组合语言的数字概念在多智能体通信系统。我们证明了用于编码数字概念的组合语言可以通过在深度神经网络代理群体中的迭代学习而出现。然而，语言属性在很大程度上取决于给代理的输入表示。我们发现，组合语言只出现，如果他们需要更少的迭代完全学习比其他非退化语言的代理在一个给定的输入表示。
2019-10-11 cs.AI cs.CL cs.LG
Towards Equipping Transformer with the Ability of Systematic Compositionality
Sichuan University（四川大学）；Engineering Research Center of Machine Learning and Industry Intelligence, Ministry of Education（教育部机器学习与工业智能工程研究中心）
针对Transformer系统组合性泛化能力不足的问题，提出组合感知Transformer模型CAT与两种预训练任务，基于BERT实现多层版本，在组合任务上优于基线且对标准语言理解任务影响极小。
2023-12-12 cs.CL
Language in a (Search) Box: Grounding Language Learning in Real-World Human-Machine Interaction
Bocconi University（博科尼大学）；Coveo Labs（Coveo实验室）
我们通过真实世界的数据调查接地语言学习，通过用户和搜索引擎之间发生的自然交互来建模教师-学习者动态;特别是，我们探索了合成环境之外无监督密集表示的语义泛化的出现。仅从用户数据学习基础域、表示函数和合成函数。我们展示了如何产生的语义名词短语表现出成分属性，同时完全可学习，没有任何明确的标签。我们基准我们的接地语义组合性和zero-shot推理任务，我们表明，它提供了更好的结果和更好的推广比SOTA非接地模型，如word 2 vec和BERT。
2021-04-18 cs.CL
Learning to Generate Compositional Color Descriptions
Stanford University（斯坦福大学）
色彩语言的产生是扎根语言生成的关键。颜色描述具有许多具有挑战性的特性：它们可能是模糊的，成分复杂的，并且外延丰富。我们提出了一种有效的方法来生成颜色描述使用递归神经网络和傅立叶变换的颜色表示。我们的模型优于以前的工作，在一个大型语料库的自然色彩描述的条件语言建模任务。此外，探测模型的输出表明，它不仅可以准确地产生基本的颜色术语，而且还可以产生具有非凸表示（“绿色”），裸露修饰符（“明亮”，“暗淡”）和组成短语（“褪色的青色”）的描述符。
2016-10-18 cs.CL
Generalization without systematicity: On the compositional skills of sequence-to-sequence recurrent networks
Dept. of Psychology and Center for Data Science, New York University（纽约大学心理学系和数据科学中心）；Facebook Artificial Intelligence Research（Facebook人工智能研究院）
人类可以毫不费力地理解和产生新的话语，这要归功于他们的组合技能。一旦一个人学会了一个新动词“dax”的意思，他或她就能立即理解“dax两次”或“sing and dax”的意思。在本文中，我们介绍了SCAN域，它由一组简单的组合导航命令和相应的动作序列组成。然后，我们测试了各种循环神经网络（RNN）的zero-shot泛化能力的SCAN训练序列到序列的方法。我们发现，当训练和测试命令之间的差异很小时，RNN可以成功地进行zero-shot概括，从而可以应用“混合匹配”策略来解决任务。然而，当泛化需要系统的组合技能时（如上面的“dax”示例），RNN会失败。我们以神经机器翻译的概念验证实验作为结论，表明缺乏系统性可能是神经网络臭名昭著的训练数据饥渴的部分原因。
2018-06-06 cs.AI cs.CL cs.LG
On (Emergent) Systematic Generalisation and Compositionality in Visual Referential Games with Straight-Through Gumbel-Softmax Estimator
University of York（约克大学）
当两个（或多个）智能体玩非视觉参考游戏时，人工语言中出现的组合性驱动因素先前已经使用基于REINFORCE算法和（神经）迭代学习模型的方法进行了研究。继最近推出的\textit{Straight-Through Gumbel-Softmax}（ST-GS）的方法，本文探讨了在何种程度上的驱动程序的组合性，到目前为止，在该领域的应用在ST-GS的背景下，在何种程度上他们转化为（紧急）系统的概括能力，当玩视觉参考游戏。组合性和概括能力的新兴语言进行了评估，使用地形相似性和zero-shot成分测试。首先，我们提供的证据表明，测试列车分裂策略显着影响zero-shot成分测试时，处理视觉刺激，而它不处理时，象征性的。其次，经验证据表明，使用ST-GS的方法与小批量和过完整的沟通渠道，提高了新兴语言的组合性。然而，虽然表现出强大的符号刺激，批量大小的影响是不那么明确的处理视觉刺激时。我们的研究结果还表明，并不是所有的过完备沟通渠道都是平等的。事实上，虽然增加最大的句子长度被发现是有益的，进一步的组合性和概括能力，增加词汇量的大小被发现是有害的。最后，在视觉刺激的歧视性参考游戏的背景下，观察到在训练时的语言组合性和代理的泛化能力之间缺乏相关性。这与先前在使用具有符号刺激的生成变体的领域中的观察结果相似。
2020-12-19 cs.AI cs.CL cs.LG
CSyMR: Benchmarking Compositional Music Information Retrieval in Symbolic Music Reasoning
University of California, San Diego（加州大学圣地亚哥分校）
CSyMR-Bench通过工具增强的检索和推理框架，在符号音乐推理中实现组合音乐信息检索的准确率提升。
2026-02-27 cs.AI cs.CL cs.LG
Rearranging the Familiar: Testing Compositional Generalization in Recurrent Networks
Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）
系统组合性是将有意义的单位与规则和可预测的结果重新组合的能力，它被视为人类语言概括能力的关键。最近的工作研究了现代seq2seq模型中的系统组合性，在接地环境中使用泛化到新的导航指令作为探测工具，要求模型快速引导新单词的含义。我们在这里将这个框架扩展到模型只需要在新的上下文中重新组合训练有素的功能词（如“around”和“right”）的设置。我们的研究结果证实并加强了早期的研究结果：seq2seq模型可以令人印象深刻地善于推广到以前看到的输入的新组合，但只有当它们接受了关于要推广的特定模式的广泛训练时（例如，从“右周围X”到“右周围跳跃”的许多示例中概括），而当概括需要合成规则的新颖应用时失败（例如，从“右”和“左右”的含义推断“左右”的含义）。
2018-07-19 cs.AI cs.CL cs.LG
Evaluating Morphological Compositional Generalization in Large Language Models
EPFL（瑞士联邦理工学院）；Idiap Research Institute（Idiap研究机构）；Duke University（杜克大学）；Brandeis University（布兰迪斯大学）；LMU Munich（慕尼黑大学）；University of Cambridge（剑桥大学）；Johns Hopkins University（约翰霍普金斯大学）；Università della Svizzera Italiana（瑞士意大利大学）；New York University（纽约大学）
本文通过组合性视角系统研究大语言模型在黏着语中的形态泛化能力，设计生成式与判别式任务评估多个先进多语言模型，发现其在面对新词根和复杂形态时性能显著下降且缺乏系统性。
2025-06-05 cs.AI cs.CL
Exploring the Compositional Deficiency of Large Language Models in Mathematical Reasoning
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Shanghai Key Laboratory of Intelligent Information Processing, Fudan University（复旦大学上海智能信息处理重点实验室）
本研究构建含逻辑陷阱的MathTrap数据集，发现LLMs虽具备所需知识却无法自发组合以处理数学推理中的新案例，并验证了提示、微调及类人“慢思考”可部分缓解此组合性缺陷。
2024-10-10 cs.AI cs.CL
Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
系统组合性是人类语言中的一种基本机制，它允许已知部分的重组来创造新的表达。然而，现有的神经模型已经被证明缺乏这种学习符号结构的基本能力。由于Transformer模型在SCAN组合性挑战（Lake和Baroni，2018）中失败，需要将命令解析为动作，我们提出了两个辅助序列预测任务，用于跟踪函数和参数语义的进展，作为额外的训练监督。这些自动生成的序列更能代表输入数据的底层组成符号结构。在推理过程中，模型在每一步联合预测辅助序列中的下一个动作和下一个标记。在SCAN数据集上的实验表明，我们的方法鼓励Transformer理解命令的组合结构，将其在多个具有挑战性的拆分上的准确率从<= 10%提高到100%。在只有418个（5%）训练实例的情况下，我们的方法在MCD1分割上仍然达到了97.8%的准确率。因此，我们认为，组合性可以诱导在Transformers给予最小的，但适当的指导。我们还表明，更好的结果是实现使用较少的上下文向量作为注意力的查询，实现系统的组合性的架构选择提供见解。最后，我们展示了对PulledSCAN任务的积极推广结果（Ruis等人，2020年）。我们的代码可在https://github.com/jiangycTarheel/compositional-auxseq上公开获取
2021-09-30 cs.AI cs.CL cs.LG
Compositional Generalization in Multilingual Semantic Parsing over Wikidata
University of Copenhagen（哥本哈根大学）
语义解析（SP）允许人类通过自然交互来利用大量的知识资源。然而，解析器大多是针对英语资源设计和评估的，例如CFQ（Keysers等人，2020），目前的标准基准基于从语法规则生成的英语数据，并面向Freebase，一个过时的知识库。我们提出了一种方法，用于创建一个多语言的，并行的数据集的问题查询对，接地在维基数据。我们引入这样一个数据集，我们称之为多语言组成维基数据问题（MCWQ），并使用它来分析组成的概括语义分析器在希伯来语，卡纳达语，中文和英文。虽然语言内泛化在不同语言之间是可比的，但zero-shot跨语言迁移的实验表明，跨语言合成泛化失败，即使使用最先进的预训练多语言编码器也是如此。此外，我们的方法，数据集和结果将有助于未来的研究SP在更现实和更多样化的设置比已经可能与现有资源。
2022-05-31 cs.CL
A Joint Model of Language and Perception for Grounded Attribute Learning
University of Washington（华盛顿大学）
随着机器人变得越来越普遍和强大，让未经训练的用户能够轻松地与它们进行交互变得越来越重要。最近，这导致了对语言基础问题的研究，其目标是提取与物理世界中的感知和驱动相关的自然语言的含义的表示。在本文中，我们提出了一种联合学习的语言和感知模型接地属性归纳的方法。我们的感知模型包括属性分类器，例如检测对象的颜色和形状，和语言模型是基于概率范畴语法，使丰富的，组成的意义表示的建设。该方法进行评估的任务解释的句子，描述在物理工作空间中的对象集。我们展示了准确的任务性能和有效的潜在变量概念归纳在物理接地场景。
2012-06-27 cs.CL cs.LG cs.RO
A Complexity-Based Theory of Compositionality
Mila – Quebec AI Institute（魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
本文提出基于算法信息论的表示组合性形式化定义，要求表示具有表达力、可重组为符号序列且语义映射简单，并通过实验验证其能统一AI与认知科学中的组合性直觉。
2025-06-02 cs.AI cs.CL cs.LG
A Note on Ontology and Ordinary Language
Computing and Statistical Sciences Center（计算与统计科学中心）；American Institutes for Research（美国研究院）
我们主张一种基于强类型本体的组合语义，它反映了我们对世界的常识性看法和我们谈论它的方式。假设这样一种结构，我们表明，各种自然语言现象的语义可能变得几乎微不足道。
2007-05-07 cs.AI cs.CL
Learning Compositional Behaviors from Demonstration and Language
Stanford University（斯坦福大学）
本文提出BLADE框架，通过整合模仿学习与基于模型的规划，利用语言标注演示和LLM提取抽象动作知识，自动构建包含前置条件、效果和控制器的结构化动作表示库，有效提升了长程机器人操作在仿真和真实环境中对新颖情况的泛化能力。
2025-05-28 cs.AI cs.CL cs.CV
CNNs found to jump around more skillfully than RNNs: Compositional generalization in seq2seq convolutional networks
CIMeC, University of Trento（特伦托大学心智/脑科学中心）；ICREA（加泰罗尼亚研究与高等教育学院）；Facebook AI Research（脸书人工智能研究院）
Lake和Baroni（2018）介绍了SCAN数据集，探索seq 2seq模型捕获合成概括的能力，例如从组成词中推断“跳跃”0-shot的含义。递归网络（RNN）被发现在最具挑战性的泛化情况下完全失败。我们在这里测试了卷积网络（CNN）在这些任务上的性能，报告了相对于RNN的巨大改进。尽管有很大的改进，但CNN并没有引入系统的规则，这表明组合行为和非组合行为之间的区别并不明确。
2019-05-21 cs.AI cs.CL cs.LG
Linguistic generalization and compositionality in modern artificial neural networks
Catalan Institute for Advanced Studies and Research（加泰罗尼亚高等研究院）；Universitat Pompeu Fabra（庞培法布拉大学）；Facebook Artificial Intelligence Research（Facebook人工智能研究院）
在过去的十年中，深度人工神经网络在许多自然语言处理任务中取得了惊人的性能。鉴于语言的高生产力，这些模型必须具有有效的泛化能力。人们普遍认为，人类通过代数组合规则来处理语言生产力：深层网络也是如此吗？在回顾了当前深度语言处理网络的主要创新之后，我讨论了一系列研究，这些研究表明，深度网络能够进行微妙的语法依赖性概括，但它们也不依赖于系统的组成规则。我认为，有趣的行为，这些设备（仍在等待一个充分的理解）应该感兴趣的语言学家和认知科学家，因为它提供了一个新的视角，可能的计算策略，以处理语言生产力超越基于规则的组合性，它可能会导致新的见解不太系统的泛化模式，也出现在自然语言。
2019-06-26 cs.CL
Differentiable Fuzzy Inference Layer: A Monotone, Compositional Ordinal Reasoning Head for Large Language Models
Technical University of Munich（慕尼黑工业大学）
针对大语言模型无法组合序数量词的问题，提出可微模糊推理层（DFIL），通过双路径头结合标量瓶颈与隶属函数，实现单调性和t-范数组合推理，无需组合训练数据。
2026-09-23 cs.CL
Compositionality decomposed: how do neural networks generalise?
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）；University of Pompeu Fabra（庞培法布拉大学）
尽管有大量的实证研究，但关于神经网络是否能够组合概括的共识很少，这一争议部分源于对神经模型组合意味着什么缺乏一致意见。作为对这一争议的回应，我们提出了一套测试，一方面，大量的语言和哲学理论的语言的组合性，另一方面，成功的神经模型的语言之间提供了一个桥梁。我们收集不同的解释组合性，并将它们转化为五个理论上接地测试的模型，制定了一个任务独立的水平。特别是，我们提供的测试调查（i）如果模型系统地重组已知的部分和规则（ii）如果模型可以扩展他们的预测超过他们在训练数据中看到的长度（iii）如果模型的组合操作是本地或全球（iv）如果模型的预测是强大的同义词替换和（v）如果模型在训练过程中有利于规则或例外。为了证明这种评估范式的有用性，我们实例化这五个测试的高度组成的数据集，我们称之为PCFG设置和测试结果应用到三个流行的序列到序列模型：经常性的，卷积为基础的和一个Transformer模型。我们对结果进行了深入的分析，揭示了这三种架构的优势和劣势，并指出了潜在的改进领域。
2020-02-23 cs.AI cs.CL cs.LG
Improved Compositional Generalization by Generating Demonstrations for Meta-Learning
Aalto University（阿尔托大学）
针对gSCAN中训练数据缺乏良好支持示例的问题，提出一种智能体生成相关支持示例并通过元学习解决测试查询的方法，显著提升了组合泛化性能。
2024-10-12 cs.CL
BabyAI: A Platform to Study the Sample Efficiency of Grounded Language Learning
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；AdeptMind Scholar；Element AI；École Normale Supérieure, Paris（巴黎高等师范学院）；IIT Bombay（印度理工学院孟买分校）；University of Oregon（俄勒冈大学）；CIFAR（加拿大高等研究院）
允许人类交互式地训练人工智能体来理解语言指令是出于实践和科学的原因而期望的，但是鉴于当前学习方法的数据效率差，该目标可能需要大量的研究工作。在这里，我们介绍了BabyAI研究平台，以支持将人类纳入接地语言学习循环的研究。BabyAI平台包括一个可扩展的套件，包含19个难度递增的级别。这些水平逐渐引导代理获得一种组合丰富的合成语言，这是英语的一个适当的子集。该平台还提供了一个启发式的专家代理的目的，模拟人类教师。我们报告了基线结果，并估计了在某些BabyAI级别上训练基于神经网络的代理所需的人类参与量。我们提出了强有力的证据，表明当前的深度学习方法在学习具有组合属性的语言时还没有足够的样本效率。
2019-12-19 cs.AI cs.CL
ALFRED: A Benchmark for Interpreting Grounded Instructions for Everyday Tasks
Paul G. Allen School of Computer Sci. & Eng., Univ. of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Allen Institute for AI（艾伦人工智能研究所）；NVIDIA（英伟达公司）
我们提出了ALFRED（从现实环境和指令的行动学习），学习从自然语言指令和以自我为中心的视觉映射到家庭任务的行动序列的基准。ALFRED包括具有不可逆状态变化的长时间组合任务，以缩小研究基准和现实世界应用之间的差距。ALFRED由25k自然语言指令的交互式视觉环境中的专家演示组成。这些指令包含两个高层次的目标，如“冲洗杯子并将其放入咖啡机。和低级语言指令，如“走到右边的咖啡机。“ALFRED任务在序列长度、动作空间和语言方面比现有的视觉和语言任务数据集更复杂。我们发现，基于最近体现的视觉和语言任务的基线模型在ALFRED上表现不佳，这表明在此基准下开发创新的接地视觉语言理解模型有很大的空间。
2020-03-31 cs.AI cs.CL cs.CV
Zero-Shot Generalization using Intrinsically Motivated Compositional Emergent Protocols
Indian Institute of Science（印度科学研究所）
人类语言被描述为一个制造\textit{use of finite means to express an unlimited array of thoughts}的系统。特别感兴趣的是组合性方面，由此，复合语言表达的含义可以从其组成部分的含义中推导出来。如果人工智能体能够开发出类似于人类语言的组合通信协议，它们就可以无缝地推广到看不见的组合。研究已经认识到好奇心在促进儿童语言发展方面的作用。在本文中，我们试图使用这种内在的反馈，诱导一个系统的和明确的原语言。我们演示了组合性如何使代理不仅与看不见的对象进行交互，而且还将技能从一个任务转移到另一个任务中的zero-shot设置：\textit{Can an agent, trained to `pull' and `push twice', `pull twice'?}。
2021-05-11 cs.AI cs.CL
Bonsai: Interpretable Tree-Adaptive Grounded Reasoning
Johns Hopkins University（约翰斯·霍普金斯大学）
提出Bonsai组合概率推理系统，通过检索接地证据生成可适应推理树，在多领域问答与人类对齐实验中匹配黑盒性能，同时提供可解释且不确定性感知的推理轨迹。
2025-04-04 cs.AI cs.CL cs.CV
Compositional Generalization Requires Compositional Parsers
Saarland University（萨尔兰大学）
一个快速增长的研究机构对合成泛化研究语义解析器的能力，动态重组训练中看到的语言元素到看不见的序列。我们对最近的COGS语料库（Kim和Linzen，2020）上的序列到序列模型和由组成原则指导的模型进行了系统的比较。尽管seq 2seq模型在词汇任务上表现良好，但在需要新语法结构的结构泛化任务上，它们的准确率接近于零;即使它们被训练来预测语法而不是语义，也是如此。相比之下，组合模型在结构泛化方面达到了近乎完美的准确性;我们提出了来自AM解析器的新结果（Groschwitz et al.，2021年）。我们的研究结果表明，结构泛化是组成泛化的一个关键措施，需要知道复杂结构的模型。
2022-02-24 cs.CL
What makes a language easy to deep-learn? Deep neural networks and humans similarly benefit from compositional structure
University of Southern Denmark（南丹麦大学）；Max Planck Institute for Psycholinguistics（马克斯·普朗克心理语言学研究所）；Tel Aviv University（特拉维夫大学）；University of Glasgow（格拉斯哥大学）
本文通过让大型语言模型和循环神经网络学习组合程度不同的语言，证明二者均像人类一样更易学习组合性强的语言，并表现出更系统的泛化与更高的一致性。
2024-10-10 cs.CL
Learning compositionally through attentive guidance
University of Amsterdam（阿姆斯特丹大学）；Facebook AI Research（脸书人工智能研究院）
虽然神经网络模型已经成功地应用于需要大量概括技能的领域，但最近的研究表明，当解决他们训练的任务时，他们需要推断其潜在的组成结构。在本文中，我们引入了注意力引导，一种机制，直接序列到序列模型配备了注意力，以找到更多的组合解决方案。我们在两个任务上测试了它，这些任务是为了评估神经模型的组合能力而设计的，我们发现，具有注意力的香草序列到序列模型过拟合训练分布，而指导版本提出了几乎同样适合训练和测试分布的组合解决方案。此外，即使在训练和测试分布严重分歧的情况下，学习到的解决方案也能推广。通过这种方式，我们证明了序列到序列模型能够在不需要额外组件的情况下找到组合解决方案。这些结果有助于解开神经网络缺乏系统组合性的原因，这反过来又可以推动未来的工作。
2019-07-05 cs.AI cs.CL cs.LG
A Deep Compositional Framework for Human-like Language Acquisition in Virtual Environment
我们解决了一个任务，代理学习在一个名为XWORLD的2D迷宫般的环境中导航。在每个会话中，智能体感知一系列原始像素帧、教师发出的自然语言命令和一组奖励。智能体以一种接地和合成的方式从头开始学习教师的语言，使得在训练之后，它能够正确地执行zero-shot命令：1）命令中的单词的组合以前从未出现过，和/或2）命令包含从另一个任务中学习但从未从导航中学习的新对象概念。我们的智能体深层框架是端到端训练的：它同时学习环境的视觉表示、语言的语法和语义以及输出动作的动作模块。我们的框架的零样本学习能力来自于其组合性和模块性与参数绑定。我们可视化框架的中间输出，证明代理真正了解如何解决问题。我们相信，我们的研究结果提供了一些初步的见解，如何训练代理具有类似的能力，在三维环境中。
2017-05-19 cs.CL cs.LG
CLEVR Parser: A Graph Parser Library for Geometric Learning on Language Grounded Image Scenes
University of Toronto Computer Science（多伦多大学计算机科学系）；Vector Institute for Artificial Intelligence（人工智能矢量研究所）
CLEVR数据集已被广泛用于机器学习（ML）和自然语言处理（NLP）领域的基于语言的视觉推理。我们提出了一个图形解析器库CLEVR，提供以对象为中心的属性和关系提取的功能，和双模态的结构图表示的建设。结构顺序不变表示使几何学习成为可能，并可以帮助下游任务，如视觉，机器人，组合性，可解释性和计算语法构建的语言基础。我们提供了三个可扩展的主要组件-解析器，嵌入器和可视化器，可以定制以适应特定的学习设置。我们还提供了开箱即用的功能，可与流行的深度图神经网络（GNN）库进行无缝集成。此外，我们还讨论了该库的下游使用和应用，以及它如何加速NLP研究社区的研究。
2020-10-01 cs.CL
Understanding and Patching Compositional Reasoning in LLMs
School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
本文揭示大语言模型组合推理失败主要源于隐式推理结果生成或利用不当，定位中间层多头自注意力模块为关键，并提出轻量级方法CREME通过编辑这些模块修复推理错误。
2024-06-06 cs.CL
SPOR: A Comprehensive and Practical Evaluation Method for Compositional Generalization in Data-to-Text Generation
Peking University（北京大学）
针对数据到文本生成中组合泛化评估局限于单一表现、未覆盖大语言模型的问题，本文提出涵盖四类表现形式、无需额外人工标注的SPOR评估方法，验证其有效性并发现现有模型存在多方面不足，为相关评估提供框架。
2024-07-15 cs.CL
Improving Compositional Generalization in Classification Tasks via Structure Annotations
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
组合泛化是通过组合已知组件系统地泛化到新数据分布的能力。虽然人类似乎有很强的概括能力，但最先进的神经模型很难做到这一点。在这项工作中，我们研究了分类任务中的合成泛化，并提出了两个主要贡献。首先，我们研究如何将自然语言序列到序列数据集转换为分类数据集，也需要组合泛化。第二，我们表明，提供结构提示（特别是，提供解析树和实体链接作为Transformer模型的注意掩码）有助于组合泛化。
2021-06-19 cs.CL cs.LG
