Correlation-Weighted Multi-Reward Optimization for Compositional Generation
Korea University（韩国大学）；Korea Institute of Science and Technology（韩国科学技术院）
本文提出相关性加权多奖励优化方法，通过调整概念奖励权重提升多概念生成效果，改进了SD3.5和FLUX.1-dev模型在多概念基准测试中的表现。
2026-07-07 cs.AI
Learning Algebraic Recombination for Compositional Generalization
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Xi’an Jiaotong University（西安交通大学）；Beihang University（北京航空航天大学）
神经序列模型在语义解析任务中表现出有限的组合泛化能力。合成泛化需要代数重组，即，以递归方式动态重组结构化表达式。然而，以往的研究主要集中在词汇单位的重组上，这是代数重组的一个重要部分，但并不充分。在本文中，我们提出了LeAR，一个端到端的神经模型来学习组合泛化的代数重组。关键的洞察力是模型的语义解析任务之间的一个潜在的语法代数和语义代数的同态，从而鼓励代数重组。具体来说，我们共同学习两个模块：一个用于生成潜在语法的Composer和一个用于分配语义操作的Interpreter。两个现实的和全面的组合泛化基准的实验证明了我们的模型的有效性。源代码可在https://github.com/microsoft/ContextualSP上公开获得。
2021-07-14 cs.AI cs.CL
Adversarial Concept Search: Predicting Compositional Errors From Feature Geometry
Brown University（布朗大学）；University of Southern California（南加州大学）；Harvard University（哈佛大学）；Boston University（波士顿大学）
利用LLM的表征几何预测其组合失败模式，发现概念编码近正交时可靠组合，编码接近时因干扰导致失败，无需评估具体输入即可预测错误。
2026-06-15 cs.AI
Compositional Generalization by Learning Analytical Expressions
Beihang University（北京航空航天大学）；Xi’an Jiaotong University（西安交通大学）；Microsoft Research（微软研究院）
组合概括是人类最基本、最重要的思维能力之一，它使我们能够很容易地对已知的部分进行重组。然而，现有的基于神经网络的模型已经被证明在这种能力方面是极其不足的。受认知工作的启发，认为组合性可以通过具有符号功能的变量槽来捕获，我们提出了一个令人耳目一新的观点，将记忆增强的神经模型与分析表达式连接起来，以实现组合概括。我们的模型由两个合作神经模块组成，Composer和Solver，与认知论点非常吻合，同时能够通过分层强化学习算法以端到端的方式进行训练。在著名的基准测试SCAN上的实验表明，我们的模型具有很强的合成泛化能力，以100%的准确率解决了以前的作品所面临的所有挑战。
2020-10-24 cs.AI cs.CL
Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
成分泛化是人类语言学习的一个基本机制，目前的神经网络正在努力解决这一问题。最近提出的解纠缠序列到序列模型（Dangle）通过为每个解码步骤学习专门的编码，显示出很有前途的泛化能力。我们对这个模型进行了两个关键的修改，鼓励更多的解纠缠表示，并提高其计算和内存效率，使我们能够在更现实的环境中处理合成泛化。具体来说，我们不是在每个时间步自适应地重新编码源键和值，而是解开它们的表示，只在某个时间间隔周期性地重新编码键。我们的新架构在现有的任务和数据集上带来了更好的泛化性能，以及一个新的机器翻译基准，我们通过检测与训练集相关的自然发生的组成模式来创建该基准。我们表明，这种方法比人工挑战更好地模拟现实世界的要求。
2022-12-12 cs.AI cs.CL
Revisiting Iterative Back-Translation from the Perspective of Compositional Generalization
Microsoft Research Asia（微软亚洲研究院）
人类智能表现出合成概括（即，理解和产生可见成分的不可见组合的能力），但目前的神经seq2seq模型缺乏这种能力。在本文中，我们重新审视迭代反向翻译，一个简单而有效的半监督方法，调查它是否以及如何提高组合泛化。在这项工作中：（1）我们首先经验性地表明，迭代回译大大提高了组合泛化基准（CFQ和SCAN）的性能。(2)为了理解为什么迭代反向翻译是有用的，我们仔细检查了性能增益，发现迭代反向翻译可以越来越多地纠正伪并行数据中的错误。(3)为了进一步鼓励这种机制，我们提出了课程迭代回译，更好地提高伪并行数据的质量，从而进一步提高性能。
2020-12-08 cs.AI cs.CL
A Survey on Compositional Generalization in Applications
Columbia University（哥伦比亚大学）；IBM TJ Watson Research Center（IBM托马斯·J·沃森研究中心）；Mila - Quebec AI Institute（Mila - 魁北克人工智能研究所）
合成泛化领域目前正在经历人工智能的复兴，因为各种实际应用所激发的新问题设置和算法正在引入，建立在经典合成泛化问题之上。本文旨在提供一个全面的审查最近的发展，在多个现实生活中的应用组合泛化。具体来说，我们介绍了一种常见的应用程序的分类，并总结了这些领域的最新技术。此外，我们还确定了当前的重要趋势，并提供了与这一新兴领域的未来有关的新观点。
2023-02-02 cs.AI cs.LG cs.SC
Scalable Evaluation and Neural Models for Compositional Generalization
IBM Research – Zurich（IBM瑞士研究院）；ETH Zurich（苏黎世联邦理工学院）
本文针对组合泛化评估缺乏标准和视觉架构归纳偏置不足的问题，提出统一的可扩展评估框架和Attribute Invariant Networks模型，在提升23.43%准确率的同时大幅降低参数开销。
2025-11-05 cs.AI cs.LG
How Do In-Context Examples Affect Compositional Generalization?
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）；Microsoft Corporation（微软公司）
该研究提出测试套件CoFe探究上下文学习的组合泛化能力，发现示例选择显著影响性能，明确结构相似、多样且单个简单的示例效果更佳，同时指出虚构词语泛化弱、示例需覆盖语言结构等局限，为上下文学习范式的研究与应用提供参考。
2023-06-09 cs.AI cs.CL
CNNs found to jump around more skillfully than RNNs: Compositional generalization in seq2seq convolutional networks
CIMeC, University of Trento（特伦托大学心智/脑科学中心）；ICREA（加泰罗尼亚研究与高等教育学院）；Facebook AI Research（脸书人工智能研究院）
Lake和Baroni（2018）介绍了SCAN数据集，探索seq 2seq模型捕获合成概括的能力，例如从组成词中推断“跳跃”0-shot的含义。递归网络（RNN）被发现在最具挑战性的泛化情况下完全失败。我们在这里测试了卷积网络（CNN）在这些任务上的性能，报告了相对于RNN的巨大改进。尽管有很大的改进，但CNN并没有引入系统的规则，这表明组合行为和非组合行为之间的区别并不明确。
2019-05-21 cs.AI cs.CL cs.LG
On Compositional Generalization of Neural Machine Translation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
现代神经机器翻译（NMT）模型在WMT等标准基准测试中取得了有竞争力的性能。然而，仍然存在显著的问题，如鲁棒性，领域泛化等。在本文中，我们研究NMT模型的组成泛化的角度，通过建立一个基准数据集，CoGnition，由216 k干净和一致的句子对。我们使用复合翻译出错率定量分析了各种因素的影响，然后证明了NMT模型在组合泛化方面严重失败，尽管它在传统度量下表现得非常好。
2021-05-31 cs.AI cs.CL cs.LG
Mosaic: Compositional Multi-Concept Erasure via Vector Field Blending
Department of Artificial Intelligence, Yonsei University（延世大学人工智能系）；School of Integrated Technology, Yonsei University（延世大学整合技术学院）
针对流式文本到图像模型中同时擦除多个目标概念的任务，提出Mosaic框架，通过动态构建概念特定掩码并选择性混合向量场，无需额外优化即可有效移除复杂场景中的多概念。
2026-05-25 cs.AI cs.CV
A Theoretical Analysis of Provable Compositional Generalization in Neural Networks: A Necessary and Sufficient Condition
本文提出可证明组合泛化的充要条件（结构对齐与无歧义最小化表示），经Lean 4验证，并给出算法示例及SCAN任务验证。
2026-09-09 cs.AI cs.LG
Improving Compositional Generalization Using Iterated Learning and Simplicial Embeddings
University of British Columbia（不列颠哥伦比亚大学）；Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）；Intel AI Lab（英特尔人工智能实验室）；Amii（阿尔伯塔机器智能研究所）
本文借鉴认知科学中的迭代学习思想，结合单纯嵌入对表示进行近似离散化，以提升深度网络在视觉和分子图预测等任务上的组合泛化能力。
2023-10-28 cs.AI cs.LG
Towards Compositional Generalization of LLMs via Skill Taxonomy Guided Data Synthesis
State Key Laboratory of Complex & Critical Software Environment, Beihang University（复杂与关键软件环境国家重点实验室，北京航空航天大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Beijing Institute of Technology（北京理工大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
STEPS通过技能分类引导的数据合成提升大语言模型的组合泛化能力。
2026-01-07 cs.AI cs.CL
Making Transformers Solve Compositional Tasks
Google Research（谷歌研究院）
几项研究已经报道了Transformer模型无法进行组合概括，这是许多NLP任务（如语义解析）中的一种关键类型的概括。在本文中，我们探讨了Transformer模型的设计空间，显示了几个设计决策对模型的归纳偏差显着影响组合泛化。通过这种探索，我们确定了Transformer配置，概括组成显着优于以前在文献中报道的一组不同的合成任务，并实现了最先进的结果，在语义解析合成概括基准（COGS），和字符串编辑操作合成基准（PCFG）。
2022-03-03 cs.AI cs.CL
Compositional Generalization via Neural-Symbolic Stack Machines
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
尽管取得了巨大的成功，但现有的深度学习模型已经暴露了组合泛化的局限性，即学习组合规则并以系统的方式将其应用于看不见的案例的能力。为了解决这个问题，我们提出了神经符号堆栈机（NeSS）。它包含一个神经网络来生成跟踪，然后由一个增强了序列操作操作的符号堆栈机执行。NeSS将神经序列模型的表达能力与符号堆栈机支持的递归相结合。在没有对执行轨迹进行训练监督的情况下，NeSS在四个领域实现了100%的泛化性能：语言驱动导航任务的SCAN基准测试、组合指令的少样本学习任务、组合机器翻译基准测试和上下文无关文法解析任务。
2020-10-22 cs.AI cs.LG stat.ML
What Drives Compositional Generalization in Visual Generative Models? The Importance of Continuous Training Objectives
University of Freiburg；Bosch Center for Artificial Intelligence；Inria, \'E cole Normale Sup \'e rieure, CNRS, PSL Research University
研究探讨了视觉生成模型中连续训练目标对组合泛化能力的影响，发现训练目标分布的离散或连续性及条件信息对泛化性能有关键作用。
2026-10-02 cs.AI cs.CV cs.LG
Consistency of Compositional Generalization across Multiple Levels
Beijing Institute of Technology（北京理工大学）；Shenzhen MSU-BIT University（深圳北理莫斯科大学）；Zhejiang University（浙江大学）
针对跨多个新组合层级的组合泛化一致性问题，提出基于元学习的框架，通过多级优化由简到繁逐步学习组合，并构建GQA-CCG数据集验证了其有效性。
2024-12-18 cs.AI cs.CV
Compositional generalization through meta sequence-to-sequence learning
New York University（纽约大学）
人们可以学习一个新的概念，并在组合中使用它，在学习如何“blicket”之后，理解如何“blicket twice”。相比之下，强大的序列到序列（seq2seq）神经网络无法通过这种组合性测试，特别是在将新概念与现有概念组合在一起时。在本文中，我展示了如何通过Meta seq2seq学习来训练记忆增强的神经网络进行组合概括。在这种方法中，模型对一系列seq2seq问题进行训练，以获得解决新seq2seq问题所需的组合技能。Meta se2seq学习解决了组合学习的几个SCAN测试，并且可以学习将隐式规则应用于变量。
2019-10-08 cs.AI cs.CL cs.LG
Improving Compositional Generalization with Self-Training for Data-to-Text Generation
Carnegie Mellon University（卡内基梅隆大学）；Google（谷歌）；Google Research（谷歌研究院）
数据到文本生成的重点是从结构化的意义表示（MR）生成流畅的自然语言响应。这种表示是组成的，它是昂贵的收集原子意义图式的所有可能的组合的响应，从而需要Few-Shot概括到新的MR。在这项工作中，我们系统地研究了组成概括的国家的最先进的T5模型在Few-Shot数据到文本的任务。我们发现，T5模型无法推广到看不见的MR，我们提出了一个基于模板的输入表示，大大提高了模型的泛化能力。为了进一步提高模型的性能，我们提出了一种基于自训练的方法，使用微调BLEURT进行伪响应选择。在常用的SGD和天气基准测试中，所提出的自训练方法在Few-Shot设置中将树的准确性提高了46%+，并将时隙出错率降低了73%+。
2022-04-11 cs.AI cs.CL
Compositional Learning of Visually-Grounded Concepts Using Reinforcement
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Centre for Frontier AI Research, A*STAR（新加坡科技研究局前沿人工智能研究中心）
本文研究强化学习智能体在合成3D环境中导航颜色-形状目标的组合泛化能力，发现朴素训练可隐式实现组合学习，概念预训练可将所需回合数减少20倍，并首次证明结合概念与组合学习能零样本解决更复杂环境。
2024-05-03 cs.AI cs.LG
The Emergence of Compositional Languages for Numeric Concepts Through Iterated Learning in Neural Agents
University of Edinburgh（爱丁堡大学）
自引入以来，计算机模拟已成为进化语言学研究中越来越重要的工具。最近，随着深度学习技术的发展，扎根语言学习的研究也开始关注促进没有预定义的基本语言知识的组合语言的出现。在这项工作中，我们探讨了出现的组合语言的数字概念在多智能体通信系统。我们证明了用于编码数字概念的组合语言可以通过在深度神经网络代理群体中的迭代学习而出现。然而，语言属性在很大程度上取决于给代理的输入表示。我们发现，组合语言只出现，如果他们需要更少的迭代完全学习比其他非退化语言的代理在一个给定的输入表示。
2019-10-11 cs.AI cs.CL cs.LG
Evaluating Morphological Compositional Generalization in Large Language Models
EPFL（瑞士联邦理工学院）；Idiap Research Institute（Idiap研究机构）；Duke University（杜克大学）；Brandeis University（布兰迪斯大学）；LMU Munich（慕尼黑大学）；University of Cambridge（剑桥大学）；Johns Hopkins University（约翰霍普金斯大学）；Università della Svizzera Italiana（瑞士意大利大学）；New York University（纽约大学）
本文通过组合性视角系统研究大语言模型在黏着语中的形态泛化能力，设计生成式与判别式任务评估多个先进多语言模型，发现其在面对新词根和复杂形态时性能显著下降且缺乏系统性。
2025-06-05 cs.AI cs.CL
Radically Compositional Cognitive Concepts
University of Oxford（牛津大学）
尽管有充分的证据表明，我们的概念、认知结构和数学本身都是深度组合的，但很少有模型利用这种结构。因此，我们提出了一个从根本上组成的方法，计算神经科学，应用范畴理论的方法。我们描述了这些工具如何为我们提供了一种克服复杂性和提高可解释性的方法，并为科学建模提供了一种严格的通用语言，类似于计算机科学的类型理论。作为一个案例研究，我们勾勒出如何从合成叙事概念到神经回路的转换。
2019-11-14 cs.AI cs.CL cs.NE
ClassicLogic: A Knowledge-Driven Benchmark of Classic Puzzle Games for Evaluating Compositional Generalization
Universität Duisburg-Essen（杜伊斯堡-埃森大学）
针对现有组合泛化基准缺乏复杂显式结构的问题，构建含4类经典逻辑谜题的新基准，可细粒度评估智能体从基础规则学习到多步组合推理的能力。
2026-07-07 cs.AI cs.SC
Gate-and-Merge: Zero-shot Compositional Personalization of Vision Language Models
National University of Singapore（新加坡国立大学）
本文提出Gate-and-Merge框架，实现视觉语言模型的零样本组合个性化，通过轻量LoRA适配器和门控机制，在无需共现训练的情况下提升多概念联合识别性能。
2026-05-09 cs.AI cs.CV
Rearranging the Familiar: Testing Compositional Generalization in Recurrent Networks
Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）
系统组合性是将有意义的单位与规则和可预测的结果重新组合的能力，它被视为人类语言概括能力的关键。最近的工作研究了现代seq2seq模型中的系统组合性，在接地环境中使用泛化到新的导航指令作为探测工具，要求模型快速引导新单词的含义。我们在这里将这个框架扩展到模型只需要在新的上下文中重新组合训练有素的功能词（如“around”和“right”）的设置。我们的研究结果证实并加强了早期的研究结果：seq2seq模型可以令人印象深刻地善于推广到以前看到的输入的新组合，但只有当它们接受了关于要推广的特定模式的广泛训练时（例如，从“右周围X”到“右周围跳跃”的许多示例中概括），而当概括需要合成规则的新颖应用时失败（例如，从“右”和“左右”的含义推断“左右”的含义）。
2018-07-19 cs.AI cs.CL cs.LG
Representational Homomorphism Predicts and Improves Compositional Generalization In Transformer Language Model
University of California, Merced（加州大学默塞德分校）
本文提出同构误差（HE）作为衡量模型组合泛化能力的指标，并通过实验表明在训练中降低HE能提升模型在噪声下的泛化性能。
2026-03-24 cs.AI cs.LG
Zero-Shot Generalization using Intrinsically Motivated Compositional Emergent Protocols
Indian Institute of Science（印度科学研究所）
人类语言被描述为一个制造\textit{use of finite means to express an unlimited array of thoughts}的系统。特别感兴趣的是组合性方面，由此，复合语言表达的含义可以从其组成部分的含义中推导出来。如果人工智能体能够开发出类似于人类语言的组合通信协议，它们就可以无缝地推广到看不见的组合。研究已经认识到好奇心在促进儿童语言发展方面的作用。在本文中，我们试图使用这种内在的反馈，诱导一个系统的和明确的原语言。我们演示了组合性如何使代理不仅与看不见的对象进行交互，而且还将技能从一个任务转移到另一个任务中的zero-shot设置：\textit{Can an agent, trained to `pull' and `push twice', `pull twice'?}。
2021-05-11 cs.AI cs.CL
Learning Attention as Disentangler for Compositional Zero-shot Learning
The University of Hong Kong（香港大学）
构图零样本学习（CNOML）旨在学习视觉概念（即，属性和对象），并将概念知识组合到看不见的组合中。CNOML的关键是学习如何解开属性-对象组合的纠缠。为此，我们建议利用交叉注意作为成分解缠器来学习解缠的概念嵌入。例如，如果我们想识别一个看不见的成分“黄色的花”，我们可以分别从不同的黄色对象和不同的花中学习属性概念“黄色”和对象概念“花”。为了进一步约束解缠器学习兴趣的概念，我们在注意力水平上采用了正则化。具体来说，我们适应推土机的距离（EMD）作为一个特征相似性度量的交叉注意力模块。此外，受益于概念解纠缠，我们改进了推理过程，并通过组合多个概念概率来调整预测得分。在三个CNOGL基准数据集上的综合实验表明，我们的方法在封闭和开放世界环境中的性能都明显优于以前的作品，建立了一个新的最先进的技术。
2023-03-27 cs.AI cs.CV
Cross-Modal Masked Compositional Concept Modeling for Enhancing Visio-Linguistic Compositionality
MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China（中国科学技术大学，教育部脑启发智能感知与认知重点实验室）；Independent Researcher（独立研究员）
提出MACCO框架，通过掩码一个模态的组合概念并从另一模态完整上下文重建，增强视觉-语言模型的组合理解能力，在五个基准上显著提升。
2026-06-12 cs.AI cs.CL cs.CV
An explainable transformer circuit for compositional generalization
Massachusetts Institute of Technology（麻省理工学院）；McGovern Institute（麦戈文研究所）；New York University（纽约大学）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）
本研究识别并机制性解释了紧凑Transformer中负责组合归纳的电路，通过因果消融验证并以类程序描述其运作，证明该理解可实现精确激活编辑以可控引导模型行为，推进了Transformer可解释性与模型控制研究。
2025-02-19 cs.AI cs.CL cs.LG
Revisiting Compositional Generalization Capability of Large Language Models Considering Instruction Following Ability
Nara Institute of Science and Technology（奈良科学技術大學）
本研究提出Ordered CommonGen基准，通过有序覆盖率同时评估LLMs的组合泛化与指令遵循能力，发现LLMs存在顺序偏见且最强者覆盖率仅约75%，需改进。
2025-06-18 cs.AI cs.CL
ChatGPT as Data Augmentation for Compositional Generalization: A Case Study in Open Intent Detection
Ingenuity Labs Research Institute（创新实验室研究所）；Queen’s University（女王大学）；Smith School of Business（史密斯商学院）；Department of Electrical and Computer Engineering（电气与计算机工程系）
本研究针对开放意图检测的组合泛化挑战，提出用ChatGPT生成合成数据做数据增强的方法，经多基准验证性能优于现有技术，证明大语言模型在自然语言理解数据增强中的潜力。
2023-08-25 cs.AI cs.CL
ATOM-Bench: A Real-World Benchmark for Atomic Skills and Compositional Generalization in Manipulation Policies
Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Peking University（北京大学）
提出ATOM-Bench基准，通过分解桌面操作为原子任务和组合任务，评估操作策略的原子技能获取与组合泛化能力，发现当前策略在细粒度原子技能和组合重用上存在不足。
2026-06-16 cs.AI cs.RO
Grounded learning for compositional vector semantics
本文提出在脉冲神经网络中实现组合分布语义学，以解决概念绑定问题，并利用带标签图像训练词表示，从而提升认知合理性。
2024-01-10 cs.AI cs.CL cs.NE
Towards Compositionally Generalizable Semantic Parsing in Large Language Models: A Survey
University of Florida（佛罗里达大学）
本文综述了大语言模型在语义解析任务中组合泛化能力的局限性、改进方法和评估方案，为相关研究提供了起点。
2024-04-15 cs.AI cs.CL
Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
系统组合性是人类语言中的一种基本机制，它允许已知部分的重组来创造新的表达。然而，现有的神经模型已经被证明缺乏这种学习符号结构的基本能力。由于Transformer模型在SCAN组合性挑战（Lake和Baroni，2018）中失败，需要将命令解析为动作，我们提出了两个辅助序列预测任务，用于跟踪函数和参数语义的进展，作为额外的训练监督。这些自动生成的序列更能代表输入数据的底层组成符号结构。在推理过程中，模型在每一步联合预测辅助序列中的下一个动作和下一个标记。在SCAN数据集上的实验表明，我们的方法鼓励Transformer理解命令的组合结构，将其在多个具有挑战性的拆分上的准确率从<= 10%提高到100%。在只有418个（5%）训练实例的情况下，我们的方法在MCD1分割上仍然达到了97.8%的准确率。因此，我们认为，组合性可以诱导在Transformers给予最小的，但适当的指导。我们还表明，更好的结果是实现使用较少的上下文向量作为注意力的查询，实现系统的组合性的架构选择提供见解。最后，我们展示了对PulledSCAN任务的积极推广结果（Ruis等人，2020年）。我们的代码可在https://github.com/jiangycTarheel/compositional-auxseq上公开获取
2021-09-30 cs.AI cs.CL cs.LG
Generalization without systematicity: On the compositional skills of sequence-to-sequence recurrent networks
Dept. of Psychology and Center for Data Science, New York University（纽约大学心理学系和数据科学中心）；Facebook Artificial Intelligence Research（Facebook人工智能研究院）
人类可以毫不费力地理解和产生新的话语，这要归功于他们的组合技能。一旦一个人学会了一个新动词“dax”的意思，他或她就能立即理解“dax两次”或“sing and dax”的意思。在本文中，我们介绍了SCAN域，它由一组简单的组合导航命令和相应的动作序列组成。然后，我们测试了各种循环神经网络（RNN）的zero-shot泛化能力的SCAN训练序列到序列的方法。我们发现，当训练和测试命令之间的差异很小时，RNN可以成功地进行zero-shot概括，从而可以应用“混合匹配”策略来解决任务。然而，当泛化需要系统的组合技能时（如上面的“dax”示例），RNN会失败。我们以神经机器翻译的概念验证实验作为结论，表明缺乏系统性可能是神经网络臭名昭著的训练数据饥渴的部分原因。
2018-06-06 cs.AI cs.CL cs.LG
Automatically Composing Representation Transformations as a Means for Generalization
University of California, Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
一般来说，聪明的学习者应该泛化到比以前遇到的更复杂的任务，但是机器学习中的两种常见范式--要么为每个任务训练一个单独的学习者，要么为所有任务训练一个学习者--都很难进行这种泛化，因为它们没有利用任务分布的组成结构。本文介绍了组成的问题图作为一个广泛适用的形式主义，涉及不同的复杂性的问题与共享的子问题的任务。我们提出了组合泛化问题来衡量旧知识如何容易被重用，从而建立在。作为解决组合泛化的第一步，我们引入了组合递归学习器，这是一个域通用框架，用于学习组合表示变换的算法过程，产生一个学习器，该学习器通过与以前看到的问题进行类比来推理执行什么计算。我们在一个符号和一个高维域上表明，我们的组合方法可以推广到比学习者以前遇到的更复杂的问题，而基线没有明确的组合。
2019-05-08 cs.AI cs.LG cs.NE
Compositional Networks Enable Systematic Generalization for Grounded Language Understanding
MIT（麻省理工学院）
人类在理解新句子时非常灵活，这些句子包含了他们以前从未遇到过的概念组合。最近的研究表明，虽然深度网络在呈现新句子时可以模仿一些人类语言能力，但系统变化揭示了网络语言理解能力的局限性。我们证明，这些限制可以通过解决gSCAN数据集中的泛化挑战来克服，gSCAN数据集明确衡量了智能体能够解释基于视觉的新语言命令的能力，例如，形容词和名词的新奇配对。我们采用的关键原则是组合性：网络的组成结构应该反映它们所解决的问题域的组成结构，同时允许端到端学习其他参数。我们建立了一个通用的机制，使代理，以概括他们的语言理解组成域。至关重要的是，我们的网络具有与先前工作相同的最先进性能，同时在先前工作不具备的情况下推广其知识。我们的网络还提供了一定程度的可解释性，使用户能够检查网络的每个部分都学到了什么。强大的接地语言理解，没有戏剧性的失败，没有角落的情况下，是至关重要的建设安全和公平的机器人，我们证明了组合性可以在实现这一目标中发挥的重要作用。
2021-10-19 cs.AI cs.CL cs.RO
Compositional Generalization Across Distributional Shifts with Sparse Tree Operations
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Edinburgh（爱丁堡大学）；Microsoft Research（微软研究院）
提出统一的神经符号系统Differentiable Tree Machine的改进方法，通过稀疏向量表示提升效率并扩展至seq2seq问题，在保留泛化能力的同时避免传统符号计算缺陷。
2024-12-18 cs.AI cs.CL
Siamese recurrent networks learn first-order logic reasoning and exhibit zero-shot compositional generalization
University of Amsterdam（阿姆斯特丹大学）
神经网络可以学习逻辑吗？我们用当前的方法来处理这个经典问题，并证明了递归神经网络可以学习识别表达式之间的一阶逻辑蕴涵关系。我们在一阶谓词逻辑中定义了一种人工语言，生成了一个大型的样本“数据集”，并使用自动定理证明器来推断这些句子的随机对之间的关系。我们描述了一个暹罗神经架构训练预测的逻辑关系，并与递归和递归网络的实验。Siamese递归网络在蕴涵识别任务中取得了惊人的成功，在新句子（由已知单词组成）上达到了近乎完美的性能，甚至优于递归网络。我们报告了一系列的实验，以测试的能力的模型进行组合泛化。特别是，我们研究他们如何处理看不见的长度的句子，和句子包含看不见的话。我们发现，设置使用LSTM和GRU在这些测试中获得高分，表现出一种形式的组合。
2019-06-01 cs.AI cs.CL cs.LG
Data Factors for Better Compositional Generalization
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本研究针对从头训练模型在组合泛化诊断数据集上表现差、而大通用数据集训练模型泛化性好的矛盾，通过实验分析数据因素对Transformer组合泛化的影响，揭示复杂度增益的双维度及不同难度样本的作用，提出均衡混合样本可实现最强泛化。
2023-11-08 cs.AI cs.CL cs.LG
A Neuroscience-Inspired Dual-Process Model of Compositional Generalization
Department of Computer Science, Cornell University（计算机科学系，康奈尔大学）；Department of Neurobiology and Behavior, Cornell University（神经生物学与行为系，康奈尔大学）
针对深度学习模型系统性组合泛化能力不足的问题，该研究提出受神经科学启发的双过程模型Mirage，结合直觉系统与规则系统，在SCAN基准上实现超99%准确率，为组合推理的认知机制提供了计算模型参考。
2025-10-28 cs.AI cs.NE
Does CLIP Bind Concepts? Probing Compositionality in Large Image Models
School of Engineering Mathematics and Technology, University of Bristol（布里斯托大学工程数学与技术学院）；Department of Computer Science, Brown University（布朗大学计算机科学系）
本文通过三个合成数据集评测 CLIP 与组合分布语义模型的概念绑定能力，发现 CLIP 仅在单物体场景可组合概念，在需要绑定时性能骤降，而 CDSMs 也仅达随机水平。
2024-08-30 cs.AI cs.CL cs.CV
Layer Specialization Underlying Compositional Reasoning in Transformers
ENS, Université PSL, EHESS, CNRS（高等科学研究院、巴黎高等科学研究所、国家科学研究中心）
该研究利用 Random Hierarchy Model 分析 Transformer 的组合推理，揭示层特化随训练逐步形成，并与不同泛化条件下的性能相关。
2025-10-20 cs.AI cs.LG
Recursive Decoding: A Situated Cognition Approach to Compositional Generation in Grounded Language Understanding
Pacific Northwest National Laboratory（太平洋西北国家实验室）
组合泛化是神经语言模型的一个令人不安的盲点。最近的努力已经提出了用于改进模型对已知输入的新颖组合进行编码的能力的技术，但是较少的工作集中在生成已知输出的新颖组合上。在这里，我们专注于后一种“解码端”形式的泛化在gSCAN的上下文中，一个合成的基准合成泛化在接地语言理解。我们提出了递归解码（RD），这是一种用于训练和使用seq2seq模型的新方法，旨在实现解码端的泛化。而不是在一次通过中生成整个输出序列，模型被训练为每次预测一个令牌。输入（即，外部gSCAN环境）然后基于预测的令牌被递增地更新，并且被重新编码用于下一个解码器时间步长。因此，RD将复杂的分布外序列生成任务分解为一系列增量预测，每个预测都类似于模型在训练期间已经看到的预测。RD在gSCAN中产生了两个以前被忽视的泛化任务的显着改进。我们提供的分析，以阐明这些收益失败的基线，然后讨论自然接地语言理解的泛化的影响，和seq2seq更普遍。
2022-02-18 cs.AI cs.CL cs.LG
Latent Compositional Representations Improve Systematic Generalization in Grounded Question Answering
Tel-Aviv University（特拉维夫大学）；Allen Institute for AI（艾伦人工智能研究所）
涉及多步推理的问题需要分解它们，并使用中间步骤的答案来达到最终答案。然而，在接地问答的最先进的模型往往不显式地执行分解，导致难以推广到分布外的例子。在这项工作中，我们提出了一个模型，计算表示和外延的所有问题跨度在一个自下而上，组合的方式使用CKY风格的解析器。我们的模型诱导潜在树，仅由端到端（答案）监督驱动。我们发现，这种对树结构的归纳偏见显着提高了系统的泛化到分布外的例子，相比强大的基线上的算术表达式基准以及CLOSURE，一个数据集，专注于系统的泛化接地问答。在这个具有挑战性的数据集上，我们的模型达到了96.1%的准确率，明显高于之前的模型，后者几乎完美地解决了随机分布分割的任务。
2020-11-10 cs.AI cs.CL cs.LG
Policy Architectures for Compositional Generalization in Control
Stanford University（斯坦福大学）；Meta AI (FAIR)（Meta人工智能（基础人工智能研究院））
控制、机器人和规划中的许多任务可以使用环境中各种实体的期望目标配置来指定。学习目标制约策略是解决此类任务的自然范式。然而，目前的方法很难学习和概括的任务复杂性的增加，如环境实体或目标的组成的数量的变化。在这项工作中，我们引入了一个框架，用于在任务中建模基于实体的组合结构，并创建合适的策略设计，可以利用这种结构。我们的策略利用了Deep Sets和自注意力等架构，非常灵活，可以进行端到端的训练，而不需要任何动作原语。当使用标准强化和模仿学习方法对一套模拟机器人操作任务进行训练时，我们发现这些架构以更少的数据实现了更高的成功率。我们还发现，这些架构可以实现更广泛的组合泛化，产生的策略可以外推到与训练中不同数量的实体，并以新颖的方式将学习到的技能缝合在一起（即组合）。结果的视频可以在https://sites.google.com/view/comp-gen-rl上找到。
2022-03-10 cs.AI cs.LG cs.RO
A Compositional Explanation of the Pet Fish Phenomenon
University of Oxford（牛津大学）
"观赏鱼"现象经常被引用为人类概念使用的"非组合性"的范例。我们在这里展示了这种现象是如何自然地容纳在一个组成的分布模型的意义。该模型通过解释其成分之间的相互作用来描述复合概念的含义。我们给出了两个说明性的例子来说明定性现象是如何表现出来的。我们继续应用模型的实验数据，最后讨论扩展的形式主义。
2015-09-22 cs.AI cs.CL math.CT
Compositional Law Parsing with Latent Random Functions
Fudan University（复旦大学）
人的认知具有组合性。我们通过将场景分解为不同的概念来理解场景（例如，物体的形状和位置），并学习这些概念的各自规律，这些规律可以是自然的（例如，运动定律）或人为的（例如，游戏规则）。这些法律的自动解析表明模型的理解场景的能力，这使得法律解析在许多视觉任务中发挥着核心作用。提出了一种用于组合式LAw解析（CLAP）的深层潜变量模型，该模型通过编码-解码架构将场景中的概念表示为潜变量，实现了类似人类的组合能力。CLAP采用神经过程实例化的概念特定的潜在随机函数来捕获概念的规律。我们的实验结果表明，CLAP优于基线方法在多个视觉任务，如直观的物理，抽象的视觉推理，场景表示。通过修改样本上的特定潜在随机函数，法律操作实验说明了CLAP的可解释性。例如，CLAP从场景中移动的球中学习位置变化和外观恒定性的规律，从而可以在样本之间交换规律或将现有的规律组合成新的规律。
2023-02-25 cs.AI cs.CV cs.LG
Compositional Generalization from Learned Skills via CoT Training: A Theoretical and Structural Analysis for Reasoning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）；Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大型模型与智能治理研究重点实验室）；Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（下一代智能搜索与推荐工程研究中心，教育部）；Tianjin University of Science and Technology（天津科技大学）；Beijing Institute of Technology（北京理工大学）
本文通过理论和结构分析揭示CoT训练通过组合学习技能提升模型推理泛化能力的核心机制。
2026-02-12 cs.AI cs.CL cs.LG
