Development of Compositionality and Generalization through Interactive Learning of Language and Action of Robots
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
本文提出一种基于自由能原理的脑启发神经网络模型，整合视觉、本体感觉与语言进行预测编码与主动推理，发现增加任务组合训练变体可显著提升机器人对未学习动名词组合的泛化能力，且视觉注意力与工作记忆对实现目标至关重要。
2024-07-23 cs.AI cs.CL cs.RO
Plan Arithmetic: Compositional Plan Vectors for Multi-Task Control
University of California, Berkeley（加州大学伯克利分校）
位于真实世界环境中的自主智能体必须能够掌握大量技能。虽然一个简单的技能可以很快学会，但独立学习每一项任务是不切实际的。相反，智能体应该在行为之间共享知识，这样每个任务都可以有效地学习，并且由此产生的模型可以推广到新的任务，特别是那些以前看到的任务的组合或子集。以目标或演示为条件的策略如果看到足够多的输入，就有可能在任务之间共享知识。但是，这些方法可能无法在测试时推广到更复杂的任务。我们引入组合计划向量（CPV），使一个政策，以执行组合任务，而无需额外的监督。CPV将轨迹表示为其中的子任务的总和。我们表明，CPV可以在一个一次性的模仿学习框架内学习，而无需任何额外的监督或有关任务层次的信息，并使演示条件的政策，以推广到任务序列的两倍，在训练过程中看到的任务的技能。与NLP中的word 2 vec等嵌入类似，CPV也可以支持简单的算术运算-例如，我们可以为两个不同的任务添加CPV，以命令代理组合这两个任务，而无需任何额外的训练。
2020-08-02 cs.AI cs.LG cs.RO
CoDrift: Compositional Drifting for Offline Reinforcement Learning
Xi’an Jiaotong University（西安交通大学）
CoDrift是面向离线强化学习的组合框架，通过组合三类目标场生成策略，在OGBench和D4RL的73个任务中，于离线和离线转在线设置均取得最优平均排名。
2026-08-26 cs.LG cs.RO
What Do You Need for Compositional Generalization in Diffusion Planning?
Department of Computer Science, University of Toronto（计算机科学系，多伦多大学）
本文提出Eq-Net架构，通过位移等变性、局部感受野和推断选择实现扩散规划的组合泛化，展示其在导航和操作任务中的有效性。
2026-02-09 cs.LG cs.RO
Compositional RL: Evaluating and Training LLMs for Collaborative Reasoning
University of Washington（华盛顿大学）；NVIDIA（英伟达）
该研究提出组合式强化学习（C-RL），发现大语言模型的个体性能与协作价值基本不相关，C-RL在多数设置中可显著提升多模型协作的性能。
2026-10-14 cs.AI cs.CL cs.LG
From Reasoning Traces to Reusable Modules: Understanding Compositional Generalization in Language Model Reasoning
Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Institute of Foundation Models（基础模型研究院）；University of Michigan（密歇根大学）
本文通过层次化潜在选择模型形式化组合泛化，理论证明SFT提供原子模块，RL分解轨迹实现组合泛化，实验验证RL能从复合轨迹中提取原子模块并重组解决新配置。
2026-07-07 cs.LG
Compositional Instruction Following with Language Models and Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of the Witwatersrand（威特沃特斯兰德大学）；Arizona State University（亚利桑那州立大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出CERLLA方法，结合组合性策略表示和强化学习训练的语义解析器，在162个任务上实现组合性泛化，以92%成功率超越非组合性基线80%。
2025-01-21 cs.CL cs.LG
Factorization Regret mediates compositional generalization in latent space
Edmond and Lily Safra Center for Brain Sciences（埃德蒙和莉莉·萨弗拉脑科学中心）
本文通过将组合泛化视为潜在变量的变分推断问题，探讨了在所有相关变量已知时泛化障碍的消除机制，提出因子化遗憾作为衡量潜在变量交互对任务性能影响的理论量，并通过认知网格世界验证了交互学习对泛化能力的提升。
2026-09-27 cs.LG
Refactoring Policy for Compositional Generalizability using Self-Supervised Object Proposals
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Shanghai Jiao Tong University（上海交通大学）
我们研究了如何学习一个策略与组合的概括性。我们提出了一个两阶段的框架，重构高奖励的教师政策到一个概括的学生政策与强烈的归纳偏见。特别是，我们实现了一个以对象为中心的GNN为基础的学生政策，其输入对象是通过自监督学习从图像中学习。从经验上讲，我们评估我们的方法对四个困难的任务，需要合成的概括性，并实现卓越的性能相比，基线。
2020-10-26 cs.AI cs.CV cs.LG
Compositional Generalization in Unsupervised Compositional Representation Learning: A Study on Disentanglement and Emergent Language
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
深度学习模型难以进行组合泛化，即识别或生成观察到的基本概念的新颖组合的能力。为了实现组合泛化，已经提出了各种无监督学习算法，这些算法具有归纳偏差，旨在诱导学习表示中的组合结构（例如，解纠缠表示和涌现语言学习）。在这项工作中，我们评估这些无监督学习算法，以及他们如何使组合泛化。具体来说，我们的评估协议侧重于是否很容易训练一个简单的模型上学习的表示，推广到新的组合成分的因素。我们系统地研究了三种无监督的表示学习算法- $β$ -VAE，$β$ -TCVAE和紧急语言（EL）自动编码器-在两个数据集上，允许直接测试组合泛化。我们发现，直接使用简单模型和少量标签的瓶颈表示可能会导致比使用学习表示本身之前或之后的层表示更差的泛化。此外，我们发现，以前提出的指标，用于评估水平的组合性不相关的实际组成概括在我们的框架。令人惊讶的是，我们发现，越来越多的压力，以产生一个解开的表示产生的表示与更差的泛化，而表示从EL模型显示出强大的组成泛化。综上所述，我们的研究结果揭示了不同的无监督学习算法的合成泛化行为，并提出了一个新的设置，以严格测试这种行为，并建议delevoping EL学习算法的潜在好处，更概括的表示。
2022-10-05 cs.AI cs.CV cs.LG
A Survey on Compositional Generalization in Applications
Columbia University（哥伦比亚大学）；IBM TJ Watson Research Center（IBM托马斯·J·沃森研究中心）；Mila - Quebec AI Institute（Mila - 魁北克人工智能研究所）
合成泛化领域目前正在经历人工智能的复兴，因为各种实际应用所激发的新问题设置和算法正在引入，建立在经典合成泛化问题之上。本文旨在提供一个全面的审查最近的发展，在多个现实生活中的应用组合泛化。具体来说，我们介绍了一种常见的应用程序的分类，并总结了这些领域的最新技术。此外，我们还确定了当前的重要趋势，并提供了与这一新兴领域的未来有关的新观点。
2023-02-02 cs.AI cs.LG cs.SC
Scalable Evaluation and Neural Models for Compositional Generalization
IBM Research – Zurich（IBM瑞士研究院）；ETH Zurich（苏黎世联邦理工学院）
本文针对组合泛化评估缺乏标准和视觉架构归纳偏置不足的问题，提出统一的可扩展评估框架和Attribute Invariant Networks模型，在提升23.43%准确率的同时大幅降低参数开销。
2025-11-05 cs.AI cs.LG
CNNs found to jump around more skillfully than RNNs: Compositional generalization in seq2seq convolutional networks
CIMeC, University of Trento（特伦托大学心智/脑科学中心）；ICREA（加泰罗尼亚研究与高等教育学院）；Facebook AI Research（脸书人工智能研究院）
Lake和Baroni（2018）介绍了SCAN数据集，探索seq 2seq模型捕获合成概括的能力，例如从组成词中推断“跳跃”0-shot的含义。递归网络（RNN）被发现在最具挑战性的泛化情况下完全失败。我们在这里测试了卷积网络（CNN）在这些任务上的性能，报告了相对于RNN的巨大改进。尽管有很大的改进，但CNN并没有引入系统的规则，这表明组合行为和非组合行为之间的区别并不明确。
2019-05-21 cs.AI cs.CL cs.LG
A Theoretical Analysis of Provable Compositional Generalization in Neural Networks: A Necessary and Sufficient Condition
本文提出可证明组合泛化的充要条件（结构对齐与无歧义最小化表示），经Lean 4验证，并给出算法示例及SCAN任务验证。
2026-09-09 cs.AI cs.LG
On Compositional Generalization of Neural Machine Translation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
现代神经机器翻译（NMT）模型在WMT等标准基准测试中取得了有竞争力的性能。然而，仍然存在显著的问题，如鲁棒性，领域泛化等。在本文中，我们研究NMT模型的组成泛化的角度，通过建立一个基准数据集，CoGnition，由216 k干净和一致的句子对。我们使用复合翻译出错率定量分析了各种因素的影响，然后证明了NMT模型在组合泛化方面严重失败，尽管它在传统度量下表现得非常好。
2021-05-31 cs.AI cs.CL cs.LG
Improving Compositional Generalization Using Iterated Learning and Simplicial Embeddings
University of British Columbia（不列颠哥伦比亚大学）；Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）；Intel AI Lab（英特尔人工智能实验室）；Amii（阿尔伯塔机器智能研究所）
本文借鉴认知科学中的迭代学习思想，结合单纯嵌入对表示进行近似离散化，以提升深度网络在视觉和分子图预测等任务上的组合泛化能力。
2023-10-28 cs.AI cs.LG
Compositional Generalization via Neural-Symbolic Stack Machines
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
尽管取得了巨大的成功，但现有的深度学习模型已经暴露了组合泛化的局限性，即学习组合规则并以系统的方式将其应用于看不见的案例的能力。为了解决这个问题，我们提出了神经符号堆栈机（NeSS）。它包含一个神经网络来生成跟踪，然后由一个增强了序列操作操作的符号堆栈机执行。NeSS将神经序列模型的表达能力与符号堆栈机支持的递归相结合。在没有对执行轨迹进行训练监督的情况下，NeSS在四个领域实现了100%的泛化性能：语言驱动导航任务的SCAN基准测试、组合指令的少样本学习任务、组合机器翻译基准测试和上下文无关文法解析任务。
2020-10-22 cs.AI cs.LG stat.ML
What Drives Compositional Generalization in Visual Generative Models? The Importance of Continuous Training Objectives
University of Freiburg；Bosch Center for Artificial Intelligence；Inria, \'E cole Normale Sup \'e rieure, CNRS, PSL Research University
研究探讨了视觉生成模型中连续训练目标对组合泛化能力的影响，发现训练目标分布的离散或连续性及条件信息对泛化性能有关键作用。
2026-10-02 cs.AI cs.CV cs.LG
Improving Compositional Generalization in Classification Tasks via Structure Annotations
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
组合泛化是通过组合已知组件系统地泛化到新数据分布的能力。虽然人类似乎有很强的概括能力，但最先进的神经模型很难做到这一点。在这项工作中，我们研究了分类任务中的合成泛化，并提出了两个主要贡献。首先，我们研究如何将自然语言序列到序列数据集转换为分类数据集，也需要组合泛化。第二，我们表明，提供结构提示（特别是，提供解析树和实体链接作为Transformer模型的注意掩码）有助于组合泛化。
2021-06-19 cs.CL cs.LG
Compositional generalization through meta sequence-to-sequence learning
New York University（纽约大学）
人们可以学习一个新的概念，并在组合中使用它，在学习如何“blicket”之后，理解如何“blicket twice”。相比之下，强大的序列到序列（seq2seq）神经网络无法通过这种组合性测试，特别是在将新概念与现有概念组合在一起时。在本文中，我展示了如何通过Meta seq2seq学习来训练记忆增强的神经网络进行组合概括。在这种方法中，模型对一系列seq2seq问题进行训练，以获得解决新seq2seq问题所需的组合技能。Meta se2seq学习解决了组合学习的几个SCAN测试，并且可以学习将隐式规则应用于变量。
2019-10-08 cs.AI cs.CL cs.LG
Compositional Generalization from First Principles
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）；Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文从数据生成过程的组合性出发，提出仅依赖训练分布支撑集与模型架构的充分条件，并通过真实场景与实验验证，为组合泛化建立第一性原理理论框架。
2023-07-10 cs.LG stat.ML
When does compositional structure yield compositional generalization? A kernel theory
Center for Theoretical Neuroscience（理论神经科学中心）；Columbia University（哥伦比亚大学）；Google DeepMind（谷歌DeepMind）
本文提出核模型中的组合泛化理论，揭示组合结构化表征受限于逐合取可加性，并识别记忆泄漏和捷径偏差等失败模式，为理解深度学习模型的组合泛化提供理论依据。
2025-04-08 cs.LG q-bio.NC
Rearranging the Familiar: Testing Compositional Generalization in Recurrent Networks
Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）
系统组合性是将有意义的单位与规则和可预测的结果重新组合的能力，它被视为人类语言概括能力的关键。最近的工作研究了现代seq2seq模型中的系统组合性，在接地环境中使用泛化到新的导航指令作为探测工具，要求模型快速引导新单词的含义。我们在这里将这个框架扩展到模型只需要在新的上下文中重新组合训练有素的功能词（如“around”和“right”）的设置。我们的研究结果证实并加强了早期的研究结果：seq2seq模型可以令人印象深刻地善于推广到以前看到的输入的新组合，但只有当它们接受了关于要推广的特定模式的广泛训练时（例如，从“右周围X”到“右周围跳跃”的许多示例中概括），而当概括需要合成规则的新颖应用时失败（例如，从“右”和“左右”的含义推断“左右”的含义）。
2018-07-19 cs.AI cs.CL cs.LG
Representational Homomorphism Predicts and Improves Compositional Generalization In Transformer Language Model
University of California, Merced（加州大学默塞德分校）
本文提出同构误差（HE）作为衡量模型组合泛化能力的指标，并通过实验表明在训练中降低HE能提升模型在噪声下的泛化性能。
2026-03-24 cs.AI cs.LG
Emergent Language Generalization and Acquisition Speed are not tied to Compositionality
Facebook AI（Facebook人工智能）；ICREA
当神经代理进行通信以解决联合任务时出现的离散语言的研究通常会寻找组成结构的证据。这源于这样一种期望，即这种结构将允许代理更快地获得语言，并使它们能够更好地泛化。我们认为，这些有益的属性只是松散地连接到组合。在两个实验中，我们证明，根据任务，非组合语言可能会表现出相同的，或更好的，泛化性能和采集速度比组合的。该领域的进一步研究应该更清楚地了解组合性的预期好处，以及后者将如何导致它们。
2020-04-25 cs.CL cs.LG
Deep Learning: Generalization Requires Deep Compositional Feature Space Design
Indian Institute of Technology, Guwahati（印度理工学院古瓦哈提分校）
泛化误差定义了深度模型的可辨别性和表示能力。在这项工作中，我们声称，使用深层组合函数的特征空间设计在泛化以及显式和隐式正则化中起着重要作用。我们的主张正在建立与几个图像分类实验。我们表明，由于卷积和最大池的信息损失可以边缘化的组合设计，提高泛化性能。此外，我们将证明学习率衰减在深度模型训练中充当隐式正则化器。
2017-07-08 cs.LG stat.ML
Compositional Generalization in Semantic Parsing: Pre-training vs. Specialized Architectures
Google Research, Brain Team（谷歌研究院大脑团队）
虽然已知主流机器学习方法具有有限的合成概括能力，但仍不断提出新的架构和技术来解决这一限制。我们调查国家的最先进的技术和架构，以评估其有效性，以提高成分概括的语义解析任务的基础上的SCAN和CFQ数据集。我们发现，掩蔽语言模型（MLM）的预训练对手的扫描启发的架构上的原始的坚持分裂。在一个更复杂的组合任务中，我们表明，与可比的非预训练模型相比，预训练导致性能的显着改善，而建议鼓励在SCAN或算法学习领域进行组合泛化的架构未能导致显着改善。我们使用MLM预训练和中间表示在CFQ组合泛化基准上建立了一个新的最新技术水平。
2021-09-22 cs.CL cs.LG
Does Data Scaling Lead to Visual Compositional Generalization?
Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学）；Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Max Planck Institute for Intelligent Systems, Tübingen（马克斯·普朗克智能系统研究所，图宾根）
本研究通过控制实验证明，视觉组合泛化由数据多样性驱动而非数据规模，并揭示线性分解的表示结构是实现高效组合泛化的关键。
2025-07-09 cs.LG
An explainable transformer circuit for compositional generalization
Massachusetts Institute of Technology（麻省理工学院）；McGovern Institute（麦戈文研究所）；New York University（纽约大学）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）
本研究识别并机制性解释了紧凑Transformer中负责组合归纳的电路，通过因果消融验证并以类程序描述其运作，证明该理解可实现精确激活编辑以可控引导模型行为，推进了Transformer可解释性与模型控制研究。
2025-02-19 cs.AI cs.CL cs.LG
Local Mechanisms of Compositional Generalization in Conditional Diffusion
Apple（苹果公司）
本文研究了条件扩散模型在长度泛化中的能力，发现局部条件分数与组合结构存在等价关系，并通过实验验证了局部条件分数对泛化能力的影响。
2026-03-13 cs.LG
Compositional Generalization with Tree Stack Memory Units
Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Washington（华盛顿大学）；University of California Irvine（加州大学欧文分校）；California Institute of Technology（加州理工学院）
我们研究合成泛化，即，zero-shot推广到领域中概念的新组合的问题。标准神经网络在很大程度上无法进行组合学习。我们提出了树堆栈内存单元（Tree-SMU），以实现强大的组合泛化。Tree-SMU是一种带有堆栈记忆单元的递归神经网络（\SMU s），它是一种新型的记忆增强神经网络，其记忆具有可微堆栈结构。树架构中的每个SMU学习从其堆栈中读取，并通过门控组合其子堆栈和状态来写入堆栈。堆栈有助于捕获问题域中的长期依赖关系，从而实现组合泛化。此外，堆栈还保留每个节点的后代的顺序，从而保留树上的局部性。我们展示了两个数学推理基准强有力的实证结果。我们使用四个组合性测试来评估Tree-SMU的泛化性能，并表明与Transformers和Tree-LSTM等强基线相比，它可以实现准确的组合泛化。
2020-10-16 cs.LG cs.NE stat.ML
When and How Does CLIP Enable Domain and Compositional Generalization?
University of Freiburg（弗赖堡大学）
本文研究了CLIP在领域泛化和组合泛化中的表现，发现领域多样性对两者至关重要，但训练分布包含次优子集时组合泛化可能更弱，且成功泛化需在中间层和电路中学习充分共享的表示。
2025-09-12 cs.CV cs.LG
Provable Compositional Generalization for Object-Centric Learning
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tübingen AI Center（蒂宾根人工智能中心）；ELLIS Institute Tübingen（ELLIS蒂宾根研究所）
本研究基于可辨识性理论，证明满足解码器结构假设及编码器-解码器一致性的自编码器能学习到可证明具有组合泛化能力的以对象为中心的表示，并通过合成图像实验验证了理论。
2024-11-12 cs.LG
Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
系统组合性是人类语言中的一种基本机制，它允许已知部分的重组来创造新的表达。然而，现有的神经模型已经被证明缺乏这种学习符号结构的基本能力。由于Transformer模型在SCAN组合性挑战（Lake和Baroni，2018）中失败，需要将命令解析为动作，我们提出了两个辅助序列预测任务，用于跟踪函数和参数语义的进展，作为额外的训练监督。这些自动生成的序列更能代表输入数据的底层组成符号结构。在推理过程中，模型在每一步联合预测辅助序列中的下一个动作和下一个标记。在SCAN数据集上的实验表明，我们的方法鼓励Transformer理解命令的组合结构，将其在多个具有挑战性的拆分上的准确率从<= 10%提高到100%。在只有418个（5%）训练实例的情况下，我们的方法在MCD1分割上仍然达到了97.8%的准确率。因此，我们认为，组合性可以诱导在Transformers给予最小的，但适当的指导。我们还表明，更好的结果是实现使用较少的上下文向量作为注意力的查询，实现系统的组合性的架构选择提供见解。最后，我们展示了对PulledSCAN任务的积极推广结果（Ruis等人，2020年）。我们的代码可在https://github.com/jiangycTarheel/compositional-auxseq上公开获取
2021-09-30 cs.AI cs.CL cs.LG
Generalization without systematicity: On the compositional skills of sequence-to-sequence recurrent networks
Dept. of Psychology and Center for Data Science, New York University（纽约大学心理学系和数据科学中心）；Facebook Artificial Intelligence Research（Facebook人工智能研究院）
人类可以毫不费力地理解和产生新的话语，这要归功于他们的组合技能。一旦一个人学会了一个新动词“dax”的意思，他或她就能立即理解“dax两次”或“sing and dax”的意思。在本文中，我们介绍了SCAN域，它由一组简单的组合导航命令和相应的动作序列组成。然后，我们测试了各种循环神经网络（RNN）的zero-shot泛化能力的SCAN训练序列到序列的方法。我们发现，当训练和测试命令之间的差异很小时，RNN可以成功地进行zero-shot概括，从而可以应用“混合匹配”策略来解决任务。然而，当泛化需要系统的组合技能时（如上面的“dax”示例），RNN会失败。我们以神经机器翻译的概念验证实验作为结论，表明缺乏系统性可能是神经网络臭名昭著的训练数据饥渴的部分原因。
2018-06-06 cs.AI cs.CL cs.LG
Text AutoAugment: Learning Compositional Augmentation Policy for Text Classification
Peking University（北京大学）；Tencent Inc（腾讯公司）
数据增强的目的是丰富训练样本，以减轻在低资源或类不平衡的情况下的过拟合问题。传统的方法首先设计特定任务的操作，如同义词替换，然后人为地预设相应的参数，如替换率，这需要大量的先验知识，容易陷入次优。此外，在以前的方法中，编辑操作的数量是有限的，这降低了增强数据的多样性，从而限制了性能增益。为了克服上述局限性，我们提出了一个名为文本自动增强（TAA）的框架，建立一个组合和可学习的范例数据增强。我们把各种操作的组合作为一种增强策略，并利用一种有效的贝叶斯优化算法来自动搜索最佳策略，这大大提高了模型的泛化能力。在六个基准数据集上的实验表明，TAA在低资源和类不平衡的情况下，分类准确率平均分别提高了8.8%和9.7%，优于强基线。
2021-09-01 cs.CL cs.LG
Compositional Generalization for Primitive Substitutions
Baidu Research（百度研究院）
成分泛化是人类语言学习的一个基本机制，但目前的神经网络缺乏这种能力。本文对神经网络的编码组合性进行了基础性研究。传统的方法对输入句子使用单一的表示，使得很难应用组合性的先验知识。相比之下，我们的方法利用这样的知识与两个表示，一个生成注意力地图，和其他的映射参加输入单词输出符号。我们减少每个表示中的熵以提高泛化能力。我们的实验表明，在五个自然语言处理任务，包括指令学习和机器翻译的显着改善传统的方法。在SCAN域中，Jump任务的准确率从14.0%提高到98.8%，TurnLeft任务的准确率从92.0%提高到99.7%。在少样本学习任务上，它也胜过人类。我们希望所提出的方法可以帮助减轻未来的研究对人类水平的合成语言学习。
2019-10-07 cs.CL cs.LG
Automatically Composing Representation Transformations as a Means for Generalization
University of California, Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
一般来说，聪明的学习者应该泛化到比以前遇到的更复杂的任务，但是机器学习中的两种常见范式--要么为每个任务训练一个单独的学习者，要么为所有任务训练一个学习者--都很难进行这种泛化，因为它们没有利用任务分布的组成结构。本文介绍了组成的问题图作为一个广泛适用的形式主义，涉及不同的复杂性的问题与共享的子问题的任务。我们提出了组合泛化问题来衡量旧知识如何容易被重用，从而建立在。作为解决组合泛化的第一步，我们引入了组合递归学习器，这是一个域通用框架，用于学习组合表示变换的算法过程，产生一个学习器，该学习器通过与以前看到的问题进行类比来推理执行什么计算。我们在一个符号和一个高维域上表明，我们的组合方法可以推广到比学习者以前遇到的更复杂的问题，而基线没有明确的组合。
2019-05-08 cs.AI cs.LG cs.NE
Stability and Generalization of Stochastic Compositional Gradient Descent Algorithms
University at Albany, SUNY（纽约州立大学奥尔巴尼分校）；Texas A&M University（德克萨斯农工大学）
本文在统计学习理论框架下，通过引入组合均匀稳定性概念，首次分析了随机组合梯度下降算法（SCGD和SCSC）的稳定性与泛化性，并推导出维度无关的超额风险界。
2023-11-21 cs.LG stat.ML
Compositional Generalization Requires Linear, Orthogonal Representations in Vision Embedding Models
Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学）；Technical University of Munich（慕尼黑技术大学）
研究组合泛化中表示结构需满足的条件，通过形式化三个需求得出其几何约束，为线性表示假设提供理论基础，还推导维度界限并通过实验验证，揭示模型表示结构与组合泛化的关联。
2026-07-07 cs.CV cs.LG
Measuring Compositional Generalization: A Comprehensive Method on Realistic Data
Google Research（谷歌研究院）
最先进的机器学习方法表现出有限的合成泛化。与此同时，缺乏全面衡量这一能力的现实基准，这使得寻找和评估改进之处具有挑战性。我们引入了一种新的方法，系统地构建这样的基准，通过最大限度地提高复合发散，同时保证小原子之间的分歧训练和测试集，我们定量比较这种方法与其他方法创建组合泛化基准。我们提出了一个大的和现实的自然语言问答数据集，根据这种方法构建，我们用它来分析组合泛化能力的三个机器学习架构。我们发现，他们未能概括成分，有一个令人惊讶的强大的负相关性之间的复合分歧和准确性。我们还演示了如何使用我们的方法在现有的SCAN数据集之上创建新的组合性基准，这证实了这些发现。
2020-06-25 cs.CL cs.LG stat.ML
Siamese recurrent networks learn first-order logic reasoning and exhibit zero-shot compositional generalization
University of Amsterdam（阿姆斯特丹大学）
神经网络可以学习逻辑吗？我们用当前的方法来处理这个经典问题，并证明了递归神经网络可以学习识别表达式之间的一阶逻辑蕴涵关系。我们在一阶谓词逻辑中定义了一种人工语言，生成了一个大型的样本“数据集”，并使用自动定理证明器来推断这些句子的随机对之间的关系。我们描述了一个暹罗神经架构训练预测的逻辑关系，并与递归和递归网络的实验。Siamese递归网络在蕴涵识别任务中取得了惊人的成功，在新句子（由已知单词组成）上达到了近乎完美的性能，甚至优于递归网络。我们报告了一系列的实验，以测试的能力的模型进行组合泛化。特别是，我们研究他们如何处理看不见的长度的句子，和句子包含看不见的话。我们发现，设置使用LSTM和GRU在这些测试中获得高分，表现出一种形式的组合。
2019-06-01 cs.AI cs.CL cs.LG
Data Factors for Better Compositional Generalization
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本研究针对从头训练模型在组合泛化诊断数据集上表现差、而大通用数据集训练模型泛化性好的矛盾，通过实验分析数据因素对Transformer组合泛化的影响，揭示复杂度增益的双维度及不同难度样本的作用，提出均衡混合样本可实现最强泛化。
2023-11-08 cs.AI cs.CL cs.LG
Grounded Graph Decoding Improves Compositional Generalization in Question Answering
University of California, Berkeley（加州大学伯克利分校）
问答模型很难推广到训练模式的新组合，例如更长的序列或更复杂的测试结构。当前的端到端模型学习一个平面输入嵌入，这可能会丢失输入语法上下文。以前的方法通过学习置换不变模型来提高泛化能力，但这些方法不能扩展到更复杂的训练测试分割。我们提出了接地图解码，一种方法，以提高合成概括的语言表示接地结构化预测与注意力机制。接地使模型能够保留来自输入的语法信息，从而显着提高复杂输入的泛化能力。通过预测一个包含查询子句的连接的结构化图，我们学习了一个组不变表示，而无需对目标域进行假设。我们的模型在组合自由基问题（CFQ）数据集上的表现显着优于最先进的基线，CFQ数据集是问答中组合泛化的一个具有挑战性的基准。此外，我们以98%的准确率有效地解决了MCD1分裂。
2021-11-05 cs.CL cs.LG
Layer Specialization Underlying Compositional Reasoning in Transformers
ENS, Université PSL, EHESS, CNRS（高等科学研究院、巴黎高等科学研究所、国家科学研究中心）
该研究利用 Random Hierarchy Model 分析 Transformer 的组合推理，揭示层特化随训练逐步形成，并与不同泛化条件下的性能相关。
2025-10-20 cs.AI cs.LG
Learning to Recombine and Resample Data for Compositional Generalization
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Boston University（波士顿大学）
灵活的神经序列模型在各种任务上都优于基于语法和自动机的模型。然而，神经模型在需要超出训练数据的合成泛化的设置中表现不佳-特别是对于罕见或不可见的连续性。过去的工作已经发现符号脚手架（例如语法或自动机）在这些设置中必不可少。我们描述R&R，一个学习的数据增强计划，使一个大类的组成概括，而不呼吁潜在的符号结构。R&R有两个组成部分：通过基于原型的生成模型重新组合原始训练样本，并重新存储生成的样本以鼓励外推。在用重组和重新采样的示例增强的数据集上训练普通神经序列模型，可以显着提高两个语言处理问题的泛化能力-指令遵循（SCAN）和形态分析（SIGMORPHON 2018）-其中R&R可以从最少8个初始示例中学习新的结构和时态。
2021-06-08 cs.CL cs.LG
Recursive Decoding: A Situated Cognition Approach to Compositional Generation in Grounded Language Understanding
Pacific Northwest National Laboratory（太平洋西北国家实验室）
组合泛化是神经语言模型的一个令人不安的盲点。最近的努力已经提出了用于改进模型对已知输入的新颖组合进行编码的能力的技术，但是较少的工作集中在生成已知输出的新颖组合上。在这里，我们专注于后一种“解码端”形式的泛化在gSCAN的上下文中，一个合成的基准合成泛化在接地语言理解。我们提出了递归解码（RD），这是一种用于训练和使用seq2seq模型的新方法，旨在实现解码端的泛化。而不是在一次通过中生成整个输出序列，模型被训练为每次预测一个令牌。输入（即，外部gSCAN环境）然后基于预测的令牌被递增地更新，并且被重新编码用于下一个解码器时间步长。因此，RD将复杂的分布外序列生成任务分解为一系列增量预测，每个预测都类似于模型在训练期间已经看到的预测。RD在gSCAN中产生了两个以前被忽视的泛化任务的显着改进。我们提供的分析，以阐明这些收益失败的基线，然后讨论自然接地语言理解的泛化的影响，和seq2seq更普遍。
2022-02-18 cs.AI cs.CL cs.LG
Latent Compositional Representations Improve Systematic Generalization in Grounded Question Answering
Tel-Aviv University（特拉维夫大学）；Allen Institute for AI（艾伦人工智能研究所）
涉及多步推理的问题需要分解它们，并使用中间步骤的答案来达到最终答案。然而，在接地问答的最先进的模型往往不显式地执行分解，导致难以推广到分布外的例子。在这项工作中，我们提出了一个模型，计算表示和外延的所有问题跨度在一个自下而上，组合的方式使用CKY风格的解析器。我们的模型诱导潜在树，仅由端到端（答案）监督驱动。我们发现，这种对树结构的归纳偏见显着提高了系统的泛化到分布外的例子，相比强大的基线上的算术表达式基准以及CLOSURE，一个数据集，专注于系统的泛化接地问答。在这个具有挑战性的数据集上，我们的模型达到了96.1%的准确率，明显高于之前的模型，后者几乎完美地解决了随机分布分割的任务。
2020-11-10 cs.AI cs.CL cs.LG
Compositional generalization in a deep seq2seq model by separating syntax and semantics
University of Colorado Boulder（科罗拉多大学博尔德分校）；MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）
用于自然语言处理的深度学习中的标准方法无法捕获人类语言的组成结构，该结构允许在训练分布之外进行系统泛化。然而，人类学习者很容易以这种方式进行归纳，例如通过将已知的语法规则应用于新单词。受神经科学工作的启发，建议单独的大脑系统进行句法和语义处理，我们对神经机器翻译中的标准方法进行了修改，实施了类似的分离。我们称之为句法注意力的新模型在SCAN数据集上的深度学习中大大优于标准方法，这是一种组合泛化任务，没有任何手工设计的功能或额外的监督。我们的工作表明，分离句法语义学习可能是一个有用的启发式捕捉成分结构。
2019-05-23 cs.CL cs.LG stat.ML
Towards Understanding the Relationship between In-context Learning and Compositional Generalization
dot Inc.（42dot公司）；University of Stuttgart（斯图加特大学）
本文假设强制上下文学习能提供归纳偏置以促进组合泛化，通过打乱训练顺序和标签训练因果Transformer，在SCAN、COGS和GeoQuery上验证了该方法确实提升了组合泛化能力。
2024-03-18 cs.CL cs.LG
On Provable Length and Compositional Generalization
FAIR (Meta)（FAIR（Meta））；EPFL and Mila-Quebec AI Institute（EPFL和Mila-Quebec人工智能研究所）
本文首次为Deep Sets、Transformers等常见序列到序列模型提供了长度泛化与组合泛化的可证明保证，证明在训练分布足够多样时其有限容量版本可实现双重泛化，并发现思维链监督能促使更高容量模型实现长度泛化。
2025-05-28 cs.CL cs.LG stat.ML
Compositional Generalization from Learned Skills via CoT Training: A Theoretical and Structural Analysis for Reasoning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）；Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大型模型与智能治理研究重点实验室）；Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（下一代智能搜索与推荐工程研究中心，教育部）；Tianjin University of Science and Technology（天津科技大学）；Beijing Institute of Technology（北京理工大学）
本文通过理论和结构分析揭示CoT训练通过组合学习技能提升模型推理泛化能力的核心机制。
2026-02-12 cs.AI cs.CL cs.LG
What makes Models Compositional? A Theoretical View: With Supplement
IBM Research（IBM研究院）；Centaur AI Institute（半人马人工智能研究院）；Purdue University（普渡大学）
本文从理论上研究模型组合结构如何影响序列处理模型的组合泛化失败，提出组合函数与组合复杂度的一般神经符号定义，并据此分析现有模型的表达能力与样本复杂度，为系统泛化提供理论保证。
2024-05-02 cs.AI cs.LG
Block-Operations: Using Modular Routing to Improve Compositional Generalization
Saarland University（萨尔大学）
本文提出块操作概念，通过将激活张量分割为统一块并引入 Multiplexer 组件增强前馈神经网络，实验证明其能学习任务底层过程，在组合泛化上显著优于 FNN 和 Transformer。
2024-08-01 cs.LG
