Think before you act: A simple baseline for compositional generalization
Seminar for Statistics, ETH Zurich（苏黎世联邦理工学院统计研讨班）；Facebook AI Research（Facebook人工智能研究）
人类有能力重组熟悉的表情来创造新的表情，但现代神经网络却很难做到这一点。最近，随着基准数据集“gSCAN”（Ruis et al. 2020）的引入，这一点得到了强调，旨在评估模型在基于语言理解的组合泛化方面的性能。在这项工作中，我们提出了一个简单的模型，实现了令人惊讶的良好性能的gSCAN测试分裂的gSCAN基准的挑战。我们的模型是基于这样的观察，即要成功完成gSCAN任务，智能体必须（i）识别目标对象（思考），然后（ii）成功导航到它（行动）。具体地说，我们提出了对（Ruis et al. 2020）的基线模型的注意力启发修改，以及考虑到步骤（i）和（ii）的顺序性质的辅助损失。虽然我们的方法解决了两个合成任务，但我们也发现其他任务仍未解决，验证了gSCAN作为评估模型合成能力的基准的相关性。
2020-10-01 cs.LG stat.ML
Compositional Generalization via Neural-Symbolic Stack Machines
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
尽管取得了巨大的成功，但现有的深度学习模型已经暴露了组合泛化的局限性，即学习组合规则并以系统的方式将其应用于看不见的案例的能力。为了解决这个问题，我们提出了神经符号堆栈机（NeSS）。它包含一个神经网络来生成跟踪，然后由一个增强了序列操作操作的符号堆栈机执行。NeSS将神经序列模型的表达能力与符号堆栈机支持的递归相结合。在没有对执行轨迹进行训练监督的情况下，NeSS在四个领域实现了100%的泛化性能：语言驱动导航任务的SCAN基准测试、组合指令的少样本学习任务、组合机器翻译基准测试和上下文无关文法解析任务。
2020-10-22 cs.AI cs.LG stat.ML
A Study of Compositional Generalization in Neural Models
Thomas J. Watson Research Center（托马斯·J·沃森研究中心）；IBM Research AI（IBM研究院人工智能）；MIT Media Lab（麻省理工学院媒体实验室）
组合和关系学习是人类智能的标志，但这对神经模型提出了挑战。开发这种模型的一个困难是缺乏具有明确的组成和关系任务结构的基准，以便系统地评估它们。在本文中，我们介绍了一个名为ConceptWorld的环境，它可以生成图像的组成和关系的概念，使用逻辑域特定的语言定义。我们使用它来生成各种组成结构的图像：2x2正方形，五角形，序列，涉及这些对象的场景以及其他更复杂的概念。我们进行实验，以测试标准的神经架构的能力，以概括的关系与组成的参数，这些参数的组成深度的增加和替代。我们比较了标准神经网络，如MLP，CNN和ResNet，以及最先进的关系网络，包括WReN和PrediNet在多类图像分类设置。对于简单的问题，所有模型都能很好地推广到封闭的概念，但却难以处理较长的组合链。对于涉及替代性的更复杂的测试，所有模型都很难，即使是短链。在强调这些困难，并提供一个环境，进一步的实验，我们希望鼓励发展的模型，能够有效地概括在成分，关系域。
2020-07-08 cs.LG stat.ML
Measuring Compositional Generalization: A Comprehensive Method on Realistic Data
Google Research（谷歌研究院）
最先进的机器学习方法表现出有限的合成泛化。与此同时，缺乏全面衡量这一能力的现实基准，这使得寻找和评估改进之处具有挑战性。我们引入了一种新的方法，系统地构建这样的基准，通过最大限度地提高复合发散，同时保证小原子之间的分歧训练和测试集，我们定量比较这种方法与其他方法创建组合泛化基准。我们提出了一个大的和现实的自然语言问答数据集，根据这种方法构建，我们用它来分析组合泛化能力的三个机器学习架构。我们发现，他们未能概括成分，有一个令人惊讶的强大的负相关性之间的复合分歧和准确性。我们还演示了如何使用我们的方法在现有的SCAN数据集之上创建新的组合性基准，这证实了这些发现。
2020-06-25 cs.CL cs.LG stat.ML
Improving Compositional Generalization in Classification Tasks via Structure Annotations
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
组合泛化是通过组合已知组件系统地泛化到新数据分布的能力。虽然人类似乎有很强的概括能力，但最先进的神经模型很难做到这一点。在这项工作中，我们研究了分类任务中的合成泛化，并提出了两个主要贡献。首先，我们研究如何将自然语言序列到序列数据集转换为分类数据集，也需要组合泛化。第二，我们表明，提供结构提示（特别是，提供解析树和实体链接作为Transformer模型的注意掩码）有助于组合泛化。
2021-06-19 cs.CL cs.LG
Compositional generalization in a deep seq2seq model by separating syntax and semantics
University of Colorado Boulder（科罗拉多大学博尔德分校）；MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）
用于自然语言处理的深度学习中的标准方法无法捕获人类语言的组成结构，该结构允许在训练分布之外进行系统泛化。然而，人类学习者很容易以这种方式进行归纳，例如通过将已知的语法规则应用于新单词。受神经科学工作的启发，建议单独的大脑系统进行句法和语义处理，我们对神经机器翻译中的标准方法进行了修改，实施了类似的分离。我们称之为句法注意力的新模型在SCAN数据集上的深度学习中大大优于标准方法，这是一种组合泛化任务，没有任何手工设计的功能或额外的监督。我们的工作表明，分离句法语义学习可能是一个有用的启发式捕捉成分结构。
2019-05-23 cs.CL cs.LG stat.ML
On Provable Length and Compositional Generalization
FAIR (Meta)（FAIR（Meta））；EPFL and Mila-Quebec AI Institute（EPFL和Mila-Quebec人工智能研究所）
本文首次为Deep Sets、Transformers等常见序列到序列模型提供了长度泛化与组合泛化的可证明保证，证明在训练分布足够多样时其有限容量版本可实现双重泛化，并发现思维链监督能促使更高容量模型实现长度泛化。
2025-05-28 cs.CL cs.LG stat.ML
Task Generalization With AutoRegressive Compositional Structure: Can Learning From $D$ Tasks Generalize to $D^{T}$ Tasks?
UC San Diego（加州大学圣地亚哥分校）；Tsinghua University（清华大学）；Stanford University（斯坦福大学）；Amazon（亚马逊）
本文从自回归组合结构出发，证明仅学习约 $\widetilde{O}(D)$ 个任务即可理论泛化至 $D^T$ 个任务，并通过 ICL 与 CoT 在稀疏奇偶校验、算术和翻译上验证该指数级泛化。
2025-06-09 cs.LG stat.ML
Swing-by Dynamics in Concept Learning and Compositional Generalization
CBS-NTT Physics of Intelligence Program, Harvard University（哈佛大学）；Physics & Informatics Laboratories, NTT Research, Inc.（NTT研究公司）；Computer Science and Engineering, University of Michigan（密歇根大学）；Department of Physics, Harvard University（哈佛大学）
本文提出结构化恒等映射（SIM）任务从理论角度抽象组合泛化问题，通过分析神经网络的学习动力学解释了扩散模型中的概念学习现象，并揭示了训练早期测试损失非单调变化的新机制。
2025-10-31 cs.LG stat.ML
Toward Compositional Generalization in Object-Oriented World Modeling
Khoury College of Computer Sciences, Northeastern University（东北大学库利计算机学院）
作文概括是学习和决策的关键能力。我们专注于强化学习在面向对象环境中的设置，研究世界建模中的组合泛化。我们（1）用代数方法形式化合成泛化问题，（2）研究世界模型如何实现这一点。我们介绍了一个概念环境，对象库，和两个实例，并部署了一个原则性的管道来衡量泛化能力。出于制定，我们分析了几种方法，准确或没有组合泛化能力，使用我们的框架，并设计了一个可微的方法，同态面向对象的世界模型（HOWM），实现软，但更有效的组合泛化。
2022-06-17 cs.AI cs.LG cs.RO
When does compositional structure yield compositional generalization? A kernel theory
Center for Theoretical Neuroscience（理论神经科学中心）；Columbia University（哥伦比亚大学）；Google DeepMind（谷歌DeepMind）
本文提出核模型中的组合泛化理论，揭示组合结构化表征受限于逐合取可加性，并识别记忆泄漏和捷径偏差等失败模式，为理解深度学习模型的组合泛化提供理论依据。
2025-04-08 cs.LG q-bio.NC
Does Data Scaling Lead to Visual Compositional Generalization?
Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学）；Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Max Planck Institute for Intelligent Systems, Tübingen（马克斯·普朗克智能系统研究所，图宾根）
本研究通过控制实验证明，视觉组合泛化由数据多样性驱动而非数据规模，并揭示线性分解的表示结构是实现高效组合泛化的关键。
2025-07-09 cs.LG
Local Mechanisms of Compositional Generalization in Conditional Diffusion
Apple（苹果公司）
本文研究了条件扩散模型在长度泛化中的能力，发现局部条件分数与组合结构存在等价关系，并通过实验验证了局部条件分数对泛化能力的影响。
2026-03-13 cs.LG
Enhancing Compositional Generalization via Compositional Feature Alignment
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；William and Mary（威廉玛丽学院）
针对多域多类场景下模型组合泛化能力不足的问题，提出组合特征对齐（CFA）两阶段微调方法，通过正交线性头与冻结微调，在CG-Bench上提升CLIP和DINOv2的泛化性能。
2024-05-22 cs.CV cs.LG stat.ML
Emergent Language Generalization and Acquisition Speed are not tied to Compositionality
Facebook AI（Facebook人工智能）；ICREA
当神经代理进行通信以解决联合任务时出现的离散语言的研究通常会寻找组成结构的证据。这源于这样一种期望，即这种结构将允许代理更快地获得语言，并使它们能够更好地泛化。我们认为，这些有益的属性只是松散地连接到组合。在两个实验中，我们证明，根据任务，非组合语言可能会表现出相同的，或更好的，泛化性能和采集速度比组合的。该领域的进一步研究应该更清楚地了解组合性的预期好处，以及后者将如何导致它们。
2020-04-25 cs.CL cs.LG
Provable Compositional Generalization for Object-Centric Learning
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tübingen AI Center（蒂宾根人工智能中心）；ELLIS Institute Tübingen（ELLIS蒂宾根研究所）
本研究基于可辨识性理论，证明满足解码器结构假设及编码器-解码器一致性的自编码器能学习到可证明具有组合泛化能力的以对象为中心的表示，并通过合成图像实验验证了理论。
2024-11-12 cs.LG
Compositional Generalization in Semantic Parsing: Pre-training vs. Specialized Architectures
Google Research, Brain Team（谷歌研究院大脑团队）
虽然已知主流机器学习方法具有有限的合成概括能力，但仍不断提出新的架构和技术来解决这一限制。我们调查国家的最先进的技术和架构，以评估其有效性，以提高成分概括的语义解析任务的基础上的SCAN和CFQ数据集。我们发现，掩蔽语言模型（MLM）的预训练对手的扫描启发的架构上的原始的坚持分裂。在一个更复杂的组合任务中，我们表明，与可比的非预训练模型相比，预训练导致性能的显着改善，而建议鼓励在SCAN或算法学习领域进行组合泛化的架构未能导致显着改善。我们使用MLM预训练和中间表示在CFQ组合泛化基准上建立了一个新的最新技术水平。
2021-09-22 cs.CL cs.LG
A Survey on Compositional Generalization in Applications
Columbia University（哥伦比亚大学）；IBM TJ Watson Research Center（IBM托马斯·J·沃森研究中心）；Mila - Quebec AI Institute（Mila - 魁北克人工智能研究所）
合成泛化领域目前正在经历人工智能的复兴，因为各种实际应用所激发的新问题设置和算法正在引入，建立在经典合成泛化问题之上。本文旨在提供一个全面的审查最近的发展，在多个现实生活中的应用组合泛化。具体来说，我们介绍了一种常见的应用程序的分类，并总结了这些领域的最新技术。此外，我们还确定了当前的重要趋势，并提供了与这一新兴领域的未来有关的新观点。
2023-02-02 cs.AI cs.LG cs.SC
When and How Does CLIP Enable Domain and Compositional Generalization?
University of Freiburg（弗赖堡大学）
本文研究了CLIP在领域泛化和组合泛化中的表现，发现领域多样性对两者至关重要，但训练分布包含次优子集时组合泛化可能更弱，且成功泛化需在中间层和电路中学习充分共享的表示。
2025-09-12 cs.CV cs.LG
CNNs found to jump around more skillfully than RNNs: Compositional generalization in seq2seq convolutional networks
CIMeC, University of Trento（特伦托大学心智/脑科学中心）；ICREA（加泰罗尼亚研究与高等教育学院）；Facebook AI Research（脸书人工智能研究院）
Lake和Baroni（2018）介绍了SCAN数据集，探索seq 2seq模型捕获合成概括的能力，例如从组成词中推断“跳跃”0-shot的含义。递归网络（RNN）被发现在最具挑战性的泛化情况下完全失败。我们在这里测试了卷积网络（CNN）在这些任务上的性能，报告了相对于RNN的巨大改进。尽管有很大的改进，但CNN并没有引入系统的规则，这表明组合行为和非组合行为之间的区别并不明确。
2019-05-21 cs.AI cs.CL cs.LG
On Compositional Generalization of Neural Machine Translation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
现代神经机器翻译（NMT）模型在WMT等标准基准测试中取得了有竞争力的性能。然而，仍然存在显著的问题，如鲁棒性，领域泛化等。在本文中，我们研究NMT模型的组成泛化的角度，通过建立一个基准数据集，CoGnition，由216 k干净和一致的句子对。我们使用复合翻译出错率定量分析了各种因素的影响，然后证明了NMT模型在组合泛化方面严重失败，尽管它在传统度量下表现得非常好。
2021-05-31 cs.AI cs.CL cs.LG
Automatically Composing Representation Transformations as a Means for Generalization
University of California, Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
一般来说，聪明的学习者应该泛化到比以前遇到的更复杂的任务，但是机器学习中的两种常见范式--要么为每个任务训练一个单独的学习者，要么为所有任务训练一个学习者--都很难进行这种泛化，因为它们没有利用任务分布的组成结构。本文介绍了组成的问题图作为一个广泛适用的形式主义，涉及不同的复杂性的问题与共享的子问题的任务。我们提出了组合泛化问题来衡量旧知识如何容易被重用，从而建立在。作为解决组合泛化的第一步，我们引入了组合递归学习器，这是一个域通用框架，用于学习组合表示变换的算法过程，产生一个学习器，该学习器通过与以前看到的问题进行类比来推理执行什么计算。我们在一个符号和一个高维域上表明，我们的组合方法可以推广到比学习者以前遇到的更复杂的问题，而基线没有明确的组合。
2019-05-08 cs.AI cs.LG cs.NE
Compositional Generalization for Primitive Substitutions
Baidu Research（百度研究院）
成分泛化是人类语言学习的一个基本机制，但目前的神经网络缺乏这种能力。本文对神经网络的编码组合性进行了基础性研究。传统的方法对输入句子使用单一的表示，使得很难应用组合性的先验知识。相比之下，我们的方法利用这样的知识与两个表示，一个生成注意力地图，和其他的映射参加输入单词输出符号。我们减少每个表示中的熵以提高泛化能力。我们的实验表明，在五个自然语言处理任务，包括指令学习和机器翻译的显着改善传统的方法。在SCAN域中，Jump任务的准确率从14.0%提高到98.8%，TurnLeft任务的准确率从92.0%提高到99.7%。在少样本学习任务上，它也胜过人类。我们希望所提出的方法可以帮助减轻未来的研究对人类水平的合成语言学习。
2019-10-07 cs.CL cs.LG
Compositional Generalization Requires Linear, Orthogonal Representations in Vision Embedding Models
Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学）；Technical University of Munich（慕尼黑技术大学）
研究组合泛化中表示结构需满足的条件，通过形式化三个需求得出其几何约束，为线性表示假设提供理论基础，还推导维度界限并通过实验验证，揭示模型表示结构与组合泛化的关联。
2026-07-07 cs.CV cs.LG
Scalable Evaluation and Neural Models for Compositional Generalization
IBM Research – Zurich（IBM瑞士研究院）；ETH Zurich（苏黎世联邦理工学院）
本文针对组合泛化评估缺乏标准和视觉架构归纳偏置不足的问题，提出统一的可扩展评估框架和Attribute Invariant Networks模型，在提升23.43%准确率的同时大幅降低参数开销。
2025-11-05 cs.AI cs.LG
What Drives Compositional Generalization in Visual Generative Models? The Importance of Continuous Training Objectives
University of Freiburg；Bosch Center for Artificial Intelligence；Inria, \'E cole Normale Sup \'e rieure, CNRS, PSL Research University
研究探讨了视觉生成模型中连续训练目标对组合泛化能力的影响，发现训练目标分布的离散或连续性及条件信息对泛化性能有关键作用。
2026-10-02 cs.AI cs.CV cs.LG
Compositional Generalization and Decomposition in Neural Program Synthesis
Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）
本文研究神经程序合成的组合泛化能力，基于SCAN和RobustFill构建基准测试，并提出受人类分解策略启发的注意力机制以改进Transformer模型，实验显示其优于基线但仍具挑战性。
2022-04-07 cs.LG cs.PL stat.ML
Grounded Graph Decoding Improves Compositional Generalization in Question Answering
University of California, Berkeley（加州大学伯克利分校）
问答模型很难推广到训练模式的新组合，例如更长的序列或更复杂的测试结构。当前的端到端模型学习一个平面输入嵌入，这可能会丢失输入语法上下文。以前的方法通过学习置换不变模型来提高泛化能力，但这些方法不能扩展到更复杂的训练测试分割。我们提出了接地图解码，一种方法，以提高合成概括的语言表示接地结构化预测与注意力机制。接地使模型能够保留来自输入的语法信息，从而显着提高复杂输入的泛化能力。通过预测一个包含查询子句的连接的结构化图，我们学习了一个组不变表示，而无需对目标域进行假设。我们的模型在组合自由基问题（CFQ）数据集上的表现显着优于最先进的基线，CFQ数据集是问答中组合泛化的一个具有挑战性的基准。此外，我们以98%的准确率有效地解决了MCD1分裂。
2021-11-05 cs.CL cs.LG
A Theoretical Analysis of Provable Compositional Generalization in Neural Networks: A Necessary and Sufficient Condition
本文提出可证明组合泛化的充要条件（结构对齐与无歧义最小化表示），经Lean 4验证，并给出算法示例及SCAN任务验证。
2026-09-09 cs.AI cs.LG
Compositional Generalization in Image Captioning
University of Tübingen（图宾根大学）；University of Copenhagen（哥本哈根大学）；Stanford University（斯坦福大学）
图像描述模型通常是根据它们描述一组图像的能力来评估的，而不是根据它们概括看不见的概念的能力。我们研究了合成泛化的问题，它衡量了一个模型在描述图像时如何组合看不见的概念组合。国家的最先进的图像描述模型在这项任务上表现出较差的泛化性能。我们提出了一个多任务模型，以解决性能不佳，结合字幕生成和图像-句子排名，并使用解码机制，重新排名的字幕，根据其相似性的图像。与最先进的字幕模型相比，该模型在推广看不见的概念组合方面要好得多。
2019-09-16 cs.CL cs.CV cs.LG
Block-Operations: Using Modular Routing to Improve Compositional Generalization
Saarland University（萨尔大学）
本文提出块操作概念，通过将激活张量分割为统一块并引入 Multiplexer 组件增强前馈神经网络，实验证明其能学习任务底层过程，在组合泛化上显著优于 FNN 和 Transformer。
2024-08-01 cs.LG
Learning to Recombine and Resample Data for Compositional Generalization
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Boston University（波士顿大学）
灵活的神经序列模型在各种任务上都优于基于语法和自动机的模型。然而，神经模型在需要超出训练数据的合成泛化的设置中表现不佳-特别是对于罕见或不可见的连续性。过去的工作已经发现符号脚手架（例如语法或自动机）在这些设置中必不可少。我们描述R&R，一个学习的数据增强计划，使一个大类的组成概括，而不呼吁潜在的符号结构。R&R有两个组成部分：通过基于原型的生成模型重新组合原始训练样本，并重新存储生成的样本以鼓励外推。在用重组和重新采样的示例增强的数据集上训练普通神经序列模型，可以显着提高两个语言处理问题的泛化能力-指令遵循（SCAN）和形态分析（SIGMORPHON 2018）-其中R&R可以从最少8个初始示例中学习新的结构和时态。
2021-06-08 cs.CL cs.LG
Improving Compositional Generalization Using Iterated Learning and Simplicial Embeddings
University of British Columbia（不列颠哥伦比亚大学）；Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）；Intel AI Lab（英特尔人工智能实验室）；Amii（阿尔伯塔机器智能研究所）
本文借鉴认知科学中的迭代学习思想，结合单纯嵌入对表示进行近似离散化，以提升深度网络在视觉和分子图预测等任务上的组合泛化能力。
2023-10-28 cs.AI cs.LG
Compositional generalization through meta sequence-to-sequence learning
New York University（纽约大学）
人们可以学习一个新的概念，并在组合中使用它，在学习如何“blicket”之后，理解如何“blicket twice”。相比之下，强大的序列到序列（seq2seq）神经网络无法通过这种组合性测试，特别是在将新概念与现有概念组合在一起时。在本文中，我展示了如何通过Meta seq2seq学习来训练记忆增强的神经网络进行组合概括。在这种方法中，模型对一系列seq2seq问题进行训练，以获得解决新seq2seq问题所需的组合技能。Meta se2seq学习解决了组合学习的几个SCAN测试，并且可以学习将隐式规则应用于变量。
2019-10-08 cs.AI cs.CL cs.LG
Towards Understanding the Relationship between In-context Learning and Compositional Generalization
dot Inc.（42dot公司）；University of Stuttgart（斯图加特大学）
本文假设强制上下文学习能提供归纳偏置以促进组合泛化，通过打乱训练顺序和标签训练因果Transformer，在SCAN、COGS和GeoQuery上验证了该方法确实提升了组合泛化能力。
2024-03-18 cs.CL cs.LG
Rearranging the Familiar: Testing Compositional Generalization in Recurrent Networks
Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）
系统组合性是将有意义的单位与规则和可预测的结果重新组合的能力，它被视为人类语言概括能力的关键。最近的工作研究了现代seq2seq模型中的系统组合性，在接地环境中使用泛化到新的导航指令作为探测工具，要求模型快速引导新单词的含义。我们在这里将这个框架扩展到模型只需要在新的上下文中重新组合训练有素的功能词（如“around”和“right”）的设置。我们的研究结果证实并加强了早期的研究结果：seq2seq模型可以令人印象深刻地善于推广到以前看到的输入的新组合，但只有当它们接受了关于要推广的特定模式的广泛训练时（例如，从“右周围X”到“右周围跳跃”的许多示例中概括），而当概括需要合成规则的新颖应用时失败（例如，从“右”和“左右”的含义推断“左右”的含义）。
2018-07-19 cs.AI cs.CL cs.LG
A General Theory for Compositional Generalization
Microsoft（微软公司）
本文从任务无关视角定义组合泛化，提出首个无免费午餐定理、通用泛化界和生成效应，构建理解 CG 的一般理论。
2024-05-20 cs.LG
ExeDec: Execution Decomposition for Compositional Generalization in Neural Program Synthesis
Google DeepMind（谷歌DeepMind）；UC Berkeley（加州大学伯克利分校）；University of Illinois（伊利诺伊大学）
本文提出 ExeDec 执行分解策略，通过逐步预测执行子目标提升神经程序合成的组合泛化能力，并在 RobustFill、DeepCoder 及少样本大语言模型编程场景中验证其有效性。
2024-05-06 cs.LG cs.PL
Pretraining Frequency Predicts Compositional Generalization of CLIP on Real-World Tasks
Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tübingen AI Center（蒂宾根人工智能中心）；University of Tübingen（蒂宾根大学）；ELLIS Institute Tübingen（ELLIS蒂宾根研究所）
本研究通过性能预测证明，CLIP在真实任务上的组合泛化能力可由预训练中单个对象的频率准确预测，且平衡对象出现频率可提升泛化，无需增加数据量。
2025-02-17 cs.LG
Scaling can lead to compositional generalization
ETH Zurich（苏黎世联邦理工学院）；Princeton University（普林斯顿大学）
本研究通过扩展数据和模型规模实现神经网络的组合泛化，并证明多层感知器可线性逼近组合任务族，且成功泛化时任务成分可从隐藏激活中线性解码。
2025-10-23 cs.LG cs.NE
Compositional Generalization in Grounded Language Learning via Induced Model Sparsity
Aalto University（阿尔托大学）
我们提供了一个研究如何诱导模型稀疏可以帮助实现组合泛化和更好的样本效率接地语言学习问题。我们考虑简单的语言条件导航问题，在网格世界环境中与解开的意见。我们表明，标准的神经架构并不总是产生组合泛化。为了解决这个问题，我们设计了一个代理，其中包含一个目标识别模块，鼓励稀疏的指令和对象的属性之间的相关性，把它们组合在一起，找到目标。目标识别模块的输出是值迭代网络规划器的输入。我们的代理在包含新的属性组合的目标上保持高水平的性能，即使在从少数演示中学习时也是如此。我们检查我们的代理的内部表示，并找到其字典中的单词和环境中的属性之间的正确对应关系。
2022-07-06 cs.CL cs.LG
Iterative Decoding for Compositional Generalization in Transformers
University of Pennsylvania（宾夕法尼亚大学）；Google Research（谷歌研究院）
深度学习模型可以很好地推广到分布式数据，但很难在组成上进行推广，即，结合一组学习过的原语来解决更复杂的任务。在序列到序列（seq2seq）学习中，Transformers通常无法预测比训练时看到的更长的样本的正确输出。本文介绍了迭代解码，seq2seq的替代方案，（i）提高了PCFG和笛卡尔积数据集的Transformer组合泛化，（ii）证明在这些数据集中，seq2seq Transformers不学习未展开的迭代。在迭代解码中，训练样本被分解为Transformer迭代学习的一系列中间步骤。在推理时，中间输出作为中间输入反馈给Transformer，直到预测到迭代结束令牌。最后，我们说明了迭代解码的CFQ数据集的一些限制。
2021-12-09 cs.CL cs.LG
Compositional Generalization via Forced Rendering of Disentangled Latents
Massachusetts Institute of Technology（麻省理工学院）；University of Cambridge（剑桥大学）；NTT Research（NTT研究）
本研究通过二维高斯凸起生成任务，发现标准生成模型在OOD区域因重新纠缠潜在表示而失败，而强制将解缠因子渲染到像素空间可实现高效稳健的组合泛化。
2025-05-24 cs.AI cs.LG stat.ML
An explainable transformer circuit for compositional generalization
Massachusetts Institute of Technology（麻省理工学院）；McGovern Institute（麦戈文研究所）；New York University（纽约大学）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）
本研究识别并机制性解释了紧凑Transformer中负责组合归纳的电路，通过因果消融验证并以类程序描述其运作，证明该理解可实现精确激活编辑以可控引导模型行为，推进了Transformer可解释性与模型控制研究。
2025-02-19 cs.AI cs.CL cs.LG
From Reasoning Traces to Reusable Modules: Understanding Compositional Generalization in Language Model Reasoning
Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Institute of Foundation Models（基础模型研究院）；University of Michigan（密歇根大学）
本文通过层次化潜在选择模型形式化组合泛化，理论证明SFT提供原子模块，RL分解轨迹实现组合泛化，实验验证RL能从复合轨迹中提取原子模块并重组解决新配置。
2026-07-07 cs.LG
Gated Target Propagation for Compositional Generalization in Continual Learning
Université de Montréal（蒙特利尔大学）；Mila Quebec AI Institute（魁北克人工智能研究所米拉）；University of Oregon（俄勒冈大学）；McGill University（麦吉尔大学）
GaTaP通过门控变量与双时间尺度学习，在持续学习中保持旧任务性能并实现少样本组合泛化。
2026-10-06 cs.LG
Representational Homomorphism Predicts and Improves Compositional Generalization In Transformer Language Model
University of California, Merced（加州大学默塞德分校）
本文提出同构误差（HE）作为衡量模型组合泛化能力的指标，并通过实验表明在训练中降低HE能提升模型在噪声下的泛化性能。
2026-03-24 cs.AI cs.LG
Learning to Substitute Spans towards Improving Compositional Generalization
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）；City University of Hong Kong（香港城市大学）
本文针对神经序列模型组合泛化不足的问题，提出多粒度跨度替换增强策略 SpanSub，并通过端到端 L2S2 框架学习替换概率，在 SCAN、COGS 和 GeoQuery 上取得显著提升。
2023-06-05 cs.CL cs.LG
Compositional Generalization for Data-to-Text Generation
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
针对数据到文本生成中未见谓词组合导致的组合泛化问题，提出谓词聚类逐句生成模型，并构建基准，在忠实度指标上比T5提升31%。
2023-12-05 cs.CL cs.LG
Rule Extrapolation in Language Models: A Study of Compositional Generalization on OOD Prompts
University of Cambridge（剑桥大学）；AI Center, UCL（伦敦大学学院人工智能中心）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ELLIS Institute Tübingen（蒂宾根ELLIS研究所）；Tübingen AI Center（蒂宾根人工智能中心）
本文提出形式语言中的“规则外推”OOD组合泛化场景，比较多种架构的表现，并借鉴Solomonoff先验奠定规范理论基础。
2024-10-24 cs.CL cs.LG stat.ML
Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
系统组合性是人类语言中的一种基本机制，它允许已知部分的重组来创造新的表达。然而，现有的神经模型已经被证明缺乏这种学习符号结构的基本能力。由于Transformer模型在SCAN组合性挑战（Lake和Baroni，2018）中失败，需要将命令解析为动作，我们提出了两个辅助序列预测任务，用于跟踪函数和参数语义的进展，作为额外的训练监督。这些自动生成的序列更能代表输入数据的底层组成符号结构。在推理过程中，模型在每一步联合预测辅助序列中的下一个动作和下一个标记。在SCAN数据集上的实验表明，我们的方法鼓励Transformer理解命令的组合结构，将其在多个具有挑战性的拆分上的准确率从<= 10%提高到100%。在只有418个（5%）训练实例的情况下，我们的方法在MCD1分割上仍然达到了97.8%的准确率。因此，我们认为，组合性可以诱导在Transformers给予最小的，但适当的指导。我们还表明，更好的结果是实现使用较少的上下文向量作为注意力的查询，实现系统的组合性的架构选择提供见解。最后，我们展示了对PulledSCAN任务的积极推广结果（Ruis等人，2020年）。我们的代码可在https://github.com/jiangycTarheel/compositional-auxseq上公开获取
2021-09-30 cs.AI cs.CL cs.LG
CoGe-GCD: Reframing Generalized Category Discovery with Compositional Generalization
The University of Hong Kong（香港大学）；Xiamen University（厦门大学）；Shenzhen University（深圳大学）
CoGe-GCD通过组合感知和泛化归纳两阶段，将广义类别发现重构为组合泛化问题，在标准基准上提升全类准确率、未知类别估计和几何质量，且开销极小。
2026-09-10 cs.LG
Generalization without systematicity: On the compositional skills of sequence-to-sequence recurrent networks
Dept. of Psychology and Center for Data Science, New York University（纽约大学心理学系和数据科学中心）；Facebook Artificial Intelligence Research（Facebook人工智能研究院）
人类可以毫不费力地理解和产生新的话语，这要归功于他们的组合技能。一旦一个人学会了一个新动词“dax”的意思，他或她就能立即理解“dax两次”或“sing and dax”的意思。在本文中，我们介绍了SCAN域，它由一组简单的组合导航命令和相应的动作序列组成。然后，我们测试了各种循环神经网络（RNN）的zero-shot泛化能力的SCAN训练序列到序列的方法。我们发现，当训练和测试命令之间的差异很小时，RNN可以成功地进行zero-shot概括，从而可以应用“混合匹配”策略来解决任务。然而，当泛化需要系统的组合技能时（如上面的“dax”示例），RNN会失败。我们以神经机器翻译的概念验证实验作为结论，表明缺乏系统性可能是神经网络臭名昭著的训练数据饥渴的部分原因。
2018-06-06 cs.AI cs.CL cs.LG
Quantum Models with Multi-Stage Training for Compositional Concept Generalization
University College London（伦敦大学学院）；University of Amsterdam（阿姆斯特丹大学）
该研究针对多模态学习的组合概念泛化挑战，提出带多阶段训练的量子模型，在CLEVR数据集上验证其可提升分布外关系泛化能力且参数远少于经典基准。
2026-08-18 cs.LG
