Improving Compositional Generalization Using Iterated Learning and Simplicial Embeddings
University of British Columbia（不列颠哥伦比亚大学）；Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）；Intel AI Lab（英特尔人工智能实验室）；Amii（阿尔伯塔机器智能研究所）
本文借鉴认知科学中的迭代学习思想，结合单纯嵌入对表示进行近似离散化，以提升深度网络在视觉和分子图预测等任务上的组合泛化能力。
2023-10-28 cs.AI cs.LG
Compositional Generalization via Neural-Symbolic Stack Machines
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
尽管取得了巨大的成功，但现有的深度学习模型已经暴露了组合泛化的局限性，即学习组合规则并以系统的方式将其应用于看不见的案例的能力。为了解决这个问题，我们提出了神经符号堆栈机（NeSS）。它包含一个神经网络来生成跟踪，然后由一个增强了序列操作操作的符号堆栈机执行。NeSS将神经序列模型的表达能力与符号堆栈机支持的递归相结合。在没有对执行轨迹进行训练监督的情况下，NeSS在四个领域实现了100%的泛化性能：语言驱动导航任务的SCAN基准测试、组合指令的少样本学习任务、组合机器翻译基准测试和上下文无关文法解析任务。
2020-10-22 cs.AI cs.LG stat.ML
What Drives Compositional Generalization in Visual Generative Models? The Importance of Continuous Training Objectives
University of Freiburg；Bosch Center for Artificial Intelligence；Inria, \'E cole Normale Sup \'e rieure, CNRS, PSL Research University
研究探讨了视觉生成模型中连续训练目标对组合泛化能力的影响，发现训练目标分布的离散或连续性及条件信息对泛化性能有关键作用。
2026-10-02 cs.AI cs.CV cs.LG
Concepts, Properties and an Approach for Compositional Generalization
组合概括是从已知成分中识别和想象大量新颖组合的能力。它是人类智能的关键，但目前的神经网络普遍缺乏这种能力。这份报告连接了我们的一系列工作的合成概括，并总结了一种方法。第一部分包含概念和属性。第二部分研究了机器学习方法。该方法使用架构设计和正则化来调节表示的信息。这份报告侧重于基本思想与直观和说明性的解释。我们希望这项工作将有助于澄清基本的合成泛化，并导致先进的人工智能。
2021-02-08 cs.AI
Compositional generalization through meta sequence-to-sequence learning
New York University（纽约大学）
人们可以学习一个新的概念，并在组合中使用它，在学习如何“blicket”之后，理解如何“blicket twice”。相比之下，强大的序列到序列（seq2seq）神经网络无法通过这种组合性测试，特别是在将新概念与现有概念组合在一起时。在本文中，我展示了如何通过Meta seq2seq学习来训练记忆增强的神经网络进行组合概括。在这种方法中，模型对一系列seq2seq问题进行训练，以获得解决新seq2seq问题所需的组合技能。Meta se2seq学习解决了组合学习的几个SCAN测试，并且可以学习将隐式规则应用于变量。
2019-10-08 cs.AI cs.CL cs.LG
ClassicLogic: A Knowledge-Driven Benchmark of Classic Puzzle Games for Evaluating Compositional Generalization
Universität Duisburg-Essen（杜伊斯堡-埃森大学）
针对现有组合泛化基准缺乏复杂显式结构的问题，构建含4类经典逻辑谜题的新基准，可细粒度评估智能体从基础规则学习到多步组合推理的能力。
2026-07-07 cs.AI cs.SC
Rearranging the Familiar: Testing Compositional Generalization in Recurrent Networks
Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）
系统组合性是将有意义的单位与规则和可预测的结果重新组合的能力，它被视为人类语言概括能力的关键。最近的工作研究了现代seq2seq模型中的系统组合性，在接地环境中使用泛化到新的导航指令作为探测工具，要求模型快速引导新单词的含义。我们在这里将这个框架扩展到模型只需要在新的上下文中重新组合训练有素的功能词（如“around”和“right”）的设置。我们的研究结果证实并加强了早期的研究结果：seq2seq模型可以令人印象深刻地善于推广到以前看到的输入的新组合，但只有当它们接受了关于要推广的特定模式的广泛训练时（例如，从“右周围X”到“右周围跳跃”的许多示例中概括），而当概括需要合成规则的新颖应用时失败（例如，从“右”和“左右”的含义推断“左右”的含义）。
2018-07-19 cs.AI cs.CL cs.LG
Representational Homomorphism Predicts and Improves Compositional Generalization In Transformer Language Model
University of California, Merced（加州大学默塞德分校）
本文提出同构误差（HE）作为衡量模型组合泛化能力的指标，并通过实验表明在训练中降低HE能提升模型在噪声下的泛化性能。
2026-03-24 cs.AI cs.LG
Hierarchical Poset Decoding for Compositional Generalization in Language
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
我们将人类的语言理解形式化为一个结构化的预测任务，其输出是一个偏序集（poset）。现有的编码器-解码器体系结构没有充分考虑语义的偏序集结构，因此组合泛化能力较差。在本文中，我们提出了一个新的层次偏序集解码范式的合成概括的语言。直觉：（1）所提出的范例在语义上强制执行部分置换不变性，从而避免对偏置排序信息的过拟合;（2）分层机制允许捕获偏序集的高级结构。我们评估我们提出的解码器上的组合自由基问题（CFQ），一个大的和现实的自然语言问答数据集，是专门设计来衡量组成的泛化。结果表明，它优于目前的解码器。
2020-10-15 cs.AI cs.CL
An explainable transformer circuit for compositional generalization
Massachusetts Institute of Technology（麻省理工学院）；McGovern Institute（麦戈文研究所）；New York University（纽约大学）；Howard Hughes Medical Institute（霍华德·休斯医学研究所）
本研究识别并机制性解释了紧凑Transformer中负责组合归纳的电路，通过因果消融验证并以类程序描述其运作，证明该理解可实现精确激活编辑以可控引导模型行为，推进了Transformer可解释性与模型控制研究。
2025-02-19 cs.AI cs.CL cs.LG
Learning Algebraic Recombination for Compositional Generalization
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Xi’an Jiaotong University（西安交通大学）；Beihang University（北京航空航天大学）
神经序列模型在语义解析任务中表现出有限的组合泛化能力。合成泛化需要代数重组，即，以递归方式动态重组结构化表达式。然而，以往的研究主要集中在词汇单位的重组上，这是代数重组的一个重要部分，但并不充分。在本文中，我们提出了LeAR，一个端到端的神经模型来学习组合泛化的代数重组。关键的洞察力是模型的语义解析任务之间的一个潜在的语法代数和语义代数的同态，从而鼓励代数重组。具体来说，我们共同学习两个模块：一个用于生成潜在语法的Composer和一个用于分配语义操作的Interpreter。两个现实的和全面的组合泛化基准的实验证明了我们的模型的有效性。源代码可在https://github.com/microsoft/ContextualSP上公开获得。
2021-07-14 cs.AI cs.CL
Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
系统组合性是人类语言中的一种基本机制，它允许已知部分的重组来创造新的表达。然而，现有的神经模型已经被证明缺乏这种学习符号结构的基本能力。由于Transformer模型在SCAN组合性挑战（Lake和Baroni，2018）中失败，需要将命令解析为动作，我们提出了两个辅助序列预测任务，用于跟踪函数和参数语义的进展，作为额外的训练监督。这些自动生成的序列更能代表输入数据的底层组成符号结构。在推理过程中，模型在每一步联合预测辅助序列中的下一个动作和下一个标记。在SCAN数据集上的实验表明，我们的方法鼓励Transformer理解命令的组合结构，将其在多个具有挑战性的拆分上的准确率从<= 10%提高到100%。在只有418个（5%）训练实例的情况下，我们的方法在MCD1分割上仍然达到了97.8%的准确率。因此，我们认为，组合性可以诱导在Transformers给予最小的，但适当的指导。我们还表明，更好的结果是实现使用较少的上下文向量作为注意力的查询，实现系统的组合性的架构选择提供见解。最后，我们展示了对PulledSCAN任务的积极推广结果（Ruis等人，2020年）。我们的代码可在https://github.com/jiangycTarheel/compositional-auxseq上公开获取
2021-09-30 cs.AI cs.CL cs.LG
Compositional Generalization by Learning Analytical Expressions
Beihang University（北京航空航天大学）；Xi’an Jiaotong University（西安交通大学）；Microsoft Research（微软研究院）
组合概括是人类最基本、最重要的思维能力之一，它使我们能够很容易地对已知的部分进行重组。然而，现有的基于神经网络的模型已经被证明在这种能力方面是极其不足的。受认知工作的启发，认为组合性可以通过具有符号功能的变量槽来捕获，我们提出了一个令人耳目一新的观点，将记忆增强的神经模型与分析表达式连接起来，以实现组合概括。我们的模型由两个合作神经模块组成，Composer和Solver，与认知论点非常吻合，同时能够通过分层强化学习算法以端到端的方式进行训练。在著名的基准测试SCAN上的实验表明，我们的模型具有很强的合成泛化能力，以100%的准确率解决了以前的作品所面临的所有挑战。
2020-10-24 cs.AI cs.CL
Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
成分泛化是人类语言学习的一个基本机制，目前的神经网络正在努力解决这一问题。最近提出的解纠缠序列到序列模型（Dangle）通过为每个解码步骤学习专门的编码，显示出很有前途的泛化能力。我们对这个模型进行了两个关键的修改，鼓励更多的解纠缠表示，并提高其计算和内存效率，使我们能够在更现实的环境中处理合成泛化。具体来说，我们不是在每个时间步自适应地重新编码源键和值，而是解开它们的表示，只在某个时间间隔周期性地重新编码键。我们的新架构在现有的任务和数据集上带来了更好的泛化性能，以及一个新的机器翻译基准，我们通过检测与训练集相关的自然发生的组成模式来创建该基准。我们表明，这种方法比人工挑战更好地模拟现实世界的要求。
2022-12-12 cs.AI cs.CL
Revisiting Iterative Back-Translation from the Perspective of Compositional Generalization
Microsoft Research Asia（微软亚洲研究院）
人类智能表现出合成概括（即，理解和产生可见成分的不可见组合的能力），但目前的神经seq2seq模型缺乏这种能力。在本文中，我们重新审视迭代反向翻译，一个简单而有效的半监督方法，调查它是否以及如何提高组合泛化。在这项工作中：（1）我们首先经验性地表明，迭代回译大大提高了组合泛化基准（CFQ和SCAN）的性能。(2)为了理解为什么迭代反向翻译是有用的，我们仔细检查了性能增益，发现迭代反向翻译可以越来越多地纠正伪并行数据中的错误。(3)为了进一步鼓励这种机制，我们提出了课程迭代回译，更好地提高伪并行数据的质量，从而进一步提高性能。
2020-12-08 cs.AI cs.CL
Generalization without systematicity: On the compositional skills of sequence-to-sequence recurrent networks
Dept. of Psychology and Center for Data Science, New York University（纽约大学心理学系和数据科学中心）；Facebook Artificial Intelligence Research（Facebook人工智能研究院）
人类可以毫不费力地理解和产生新的话语，这要归功于他们的组合技能。一旦一个人学会了一个新动词“dax”的意思，他或她就能立即理解“dax两次”或“sing and dax”的意思。在本文中，我们介绍了SCAN域，它由一组简单的组合导航命令和相应的动作序列组成。然后，我们测试了各种循环神经网络（RNN）的zero-shot泛化能力的SCAN训练序列到序列的方法。我们发现，当训练和测试命令之间的差异很小时，RNN可以成功地进行zero-shot概括，从而可以应用“混合匹配”策略来解决任务。然而，当泛化需要系统的组合技能时（如上面的“dax”示例），RNN会失败。我们以神经机器翻译的概念验证实验作为结论，表明缺乏系统性可能是神经网络臭名昭著的训练数据饥渴的部分原因。
2018-06-06 cs.AI cs.CL cs.LG
Automatically Composing Representation Transformations as a Means for Generalization
University of California, Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
一般来说，聪明的学习者应该泛化到比以前遇到的更复杂的任务，但是机器学习中的两种常见范式--要么为每个任务训练一个单独的学习者，要么为所有任务训练一个学习者--都很难进行这种泛化，因为它们没有利用任务分布的组成结构。本文介绍了组成的问题图作为一个广泛适用的形式主义，涉及不同的复杂性的问题与共享的子问题的任务。我们提出了组合泛化问题来衡量旧知识如何容易被重用，从而建立在。作为解决组合泛化的第一步，我们引入了组合递归学习器，这是一个域通用框架，用于学习组合表示变换的算法过程，产生一个学习器，该学习器通过与以前看到的问题进行类比来推理执行什么计算。我们在一个符号和一个高维域上表明，我们的组合方法可以推广到比学习者以前遇到的更复杂的问题，而基线没有明确的组合。
2019-05-08 cs.AI cs.LG cs.NE
Siamese recurrent networks learn first-order logic reasoning and exhibit zero-shot compositional generalization
University of Amsterdam（阿姆斯特丹大学）
神经网络可以学习逻辑吗？我们用当前的方法来处理这个经典问题，并证明了递归神经网络可以学习识别表达式之间的一阶逻辑蕴涵关系。我们在一阶谓词逻辑中定义了一种人工语言，生成了一个大型的样本“数据集”，并使用自动定理证明器来推断这些句子的随机对之间的关系。我们描述了一个暹罗神经架构训练预测的逻辑关系，并与递归和递归网络的实验。Siamese递归网络在蕴涵识别任务中取得了惊人的成功，在新句子（由已知单词组成）上达到了近乎完美的性能，甚至优于递归网络。我们报告了一系列的实验，以测试的能力的模型进行组合泛化。特别是，我们研究他们如何处理看不见的长度的句子，和句子包含看不见的话。我们发现，设置使用LSTM和GRU在这些测试中获得高分，表现出一种形式的组合。
2019-06-01 cs.AI cs.CL cs.LG
How Do In-Context Examples Affect Compositional Generalization?
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）；Microsoft Corporation（微软公司）
该研究提出测试套件CoFe探究上下文学习的组合泛化能力，发现示例选择显著影响性能，明确结构相似、多样且单个简单的示例效果更佳，同时指出虚构词语泛化弱、示例需覆盖语言结构等局限，为上下文学习范式的研究与应用提供参考。
2023-06-09 cs.AI cs.CL
Data Factors for Better Compositional Generalization
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本研究针对从头训练模型在组合泛化诊断数据集上表现差、而大通用数据集训练模型泛化性好的矛盾，通过实验分析数据因素对Transformer组合泛化的影响，揭示复杂度增益的双维度及不同难度样本的作用，提出均衡混合样本可实现最强泛化。
2023-11-08 cs.AI cs.CL cs.LG
A Survey on Compositional Learning of AI Models: Theoretical and Experimental Practices
Michigan State University（密歇根州立大学）
本文系统综述了AI模型组合性学习的理论定义、评估基准、计算模型及与认知研究的联系，重点分析语言与视觉模型的前沿组合能力并指出未来研究方向。
2024-11-21 cs.AI
Towards Compositional Generalization of LLMs via Skill Taxonomy Guided Data Synthesis
State Key Laboratory of Complex & Critical Software Environment, Beihang University（复杂与关键软件环境国家重点实验室，北京航空航天大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Beijing Institute of Technology（北京理工大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
STEPS通过技能分类引导的数据合成提升大语言模型的组合泛化能力。
2026-01-07 cs.AI cs.CL
Making Transformers Solve Compositional Tasks
Google Research（谷歌研究院）
几项研究已经报道了Transformer模型无法进行组合概括，这是许多NLP任务（如语义解析）中的一种关键类型的概括。在本文中，我们探讨了Transformer模型的设计空间，显示了几个设计决策对模型的归纳偏差显着影响组合泛化。通过这种探索，我们确定了Transformer配置，概括组成显着优于以前在文献中报道的一组不同的合成任务，并实现了最先进的结果，在语义解析合成概括基准（COGS），和字符串编辑操作合成基准（PCFG）。
2022-03-03 cs.AI cs.CL
Layer Specialization Underlying Compositional Reasoning in Transformers
ENS, Université PSL, EHESS, CNRS（高等科学研究院、巴黎高等科学研究所、国家科学研究中心）
该研究利用 Random Hierarchy Model 分析 Transformer 的组合推理，揭示层特化随训练逐步形成，并与不同泛化条件下的性能相关。
2025-10-20 cs.AI cs.LG
Recursive Decoding: A Situated Cognition Approach to Compositional Generation in Grounded Language Understanding
Pacific Northwest National Laboratory（太平洋西北国家实验室）
组合泛化是神经语言模型的一个令人不安的盲点。最近的努力已经提出了用于改进模型对已知输入的新颖组合进行编码的能力的技术，但是较少的工作集中在生成已知输出的新颖组合上。在这里，我们专注于后一种“解码端”形式的泛化在gSCAN的上下文中，一个合成的基准合成泛化在接地语言理解。我们提出了递归解码（RD），这是一种用于训练和使用seq2seq模型的新方法，旨在实现解码端的泛化。而不是在一次通过中生成整个输出序列，模型被训练为每次预测一个令牌。输入（即，外部gSCAN环境）然后基于预测的令牌被递增地更新，并且被重新编码用于下一个解码器时间步长。因此，RD将复杂的分布外序列生成任务分解为一系列增量预测，每个预测都类似于模型在训练期间已经看到的预测。RD在gSCAN中产生了两个以前被忽视的泛化任务的显着改进。我们提供的分析，以阐明这些收益失败的基线，然后讨论自然接地语言理解的泛化的影响，和seq2seq更普遍。
2022-02-18 cs.AI cs.CL cs.LG
AGEL-Comp: A Neuro-Symbolic Framework for Compositional Generalization in Interactive Agents
Universität Duisburg-Essen（杜伊斯堡- Essen大学）
AGEL-Comp通过动态因果程序图、归纳逻辑编程引擎和混合推理核心，实现基于符号和神经网络的组合泛化学习，优于纯LLM模型。
2026-04-29 cs.AI cs.LG cs.LO
Latent Compositional Representations Improve Systematic Generalization in Grounded Question Answering
Tel-Aviv University（特拉维夫大学）；Allen Institute for AI（艾伦人工智能研究所）
涉及多步推理的问题需要分解它们，并使用中间步骤的答案来达到最终答案。然而，在接地问答的最先进的模型往往不显式地执行分解，导致难以推广到分布外的例子。在这项工作中，我们提出了一个模型，计算表示和外延的所有问题跨度在一个自下而上，组合的方式使用CKY风格的解析器。我们的模型诱导潜在树，仅由端到端（答案）监督驱动。我们发现，这种对树结构的归纳偏见显着提高了系统的泛化到分布外的例子，相比强大的基线上的算术表达式基准以及CLOSURE，一个数据集，专注于系统的泛化接地问答。在这个具有挑战性的数据集上，我们的模型达到了96.1%的准确率，明显高于之前的模型，后者几乎完美地解决了随机分布分割的任务。
2020-11-10 cs.AI cs.CL cs.LG
Policy Architectures for Compositional Generalization in Control
Stanford University（斯坦福大学）；Meta AI (FAIR)（Meta人工智能（基础人工智能研究院））
控制、机器人和规划中的许多任务可以使用环境中各种实体的期望目标配置来指定。学习目标制约策略是解决此类任务的自然范式。然而，目前的方法很难学习和概括的任务复杂性的增加，如环境实体或目标的组成的数量的变化。在这项工作中，我们引入了一个框架，用于在任务中建模基于实体的组合结构，并创建合适的策略设计，可以利用这种结构。我们的策略利用了Deep Sets和自注意力等架构，非常灵活，可以进行端到端的训练，而不需要任何动作原语。当使用标准强化和模仿学习方法对一套模拟机器人操作任务进行训练时，我们发现这些架构以更少的数据实现了更高的成功率。我们还发现，这些架构可以实现更广泛的组合泛化，产生的策略可以外推到与训练中不同数量的实体，并以新颖的方式将学习到的技能缝合在一起（即组合）。结果的视频可以在https://sites.google.com/view/comp-gen-rl上找到。
2022-03-10 cs.AI cs.LG cs.RO
Consistency of Compositional Generalization across Multiple Levels
Beijing Institute of Technology（北京理工大学）；Shenzhen MSU-BIT University（深圳北理莫斯科大学）；Zhejiang University（浙江大学）
针对跨多个新组合层级的组合泛化一致性问题，提出基于元学习的框架，通过多级优化由简到繁逐步学习组合，并构建GQA-CCG数据集验证了其有效性。
2024-12-18 cs.AI cs.CV
Compositional Generalization from Learned Skills via CoT Training: A Theoretical and Structural Analysis for Reasoning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）；Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大型模型与智能治理研究重点实验室）；Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（下一代智能搜索与推荐工程研究中心，教育部）；Tianjin University of Science and Technology（天津科技大学）；Beijing Institute of Technology（北京理工大学）
本文通过理论和结构分析揭示CoT训练通过组合学习技能提升模型推理泛化能力的核心机制。
2026-02-12 cs.AI cs.CL cs.LG
What makes Models Compositional? A Theoretical View: With Supplement
IBM Research（IBM研究院）；Centaur AI Institute（半人马人工智能研究院）；Purdue University（普渡大学）
本文从理论上研究模型组合结构如何影响序列处理模型的组合泛化失败，提出组合函数与组合复杂度的一般神经符号定义，并据此分析现有模型的表达能力与样本复杂度，为系统泛化提供理论保证。
2024-05-02 cs.AI cs.LG
Compositional Concept Generalization with Variational Quantum Circuits
School of Computer Science；Engineering University of New South Wales Sydney, Australia；Stanford University California, USA；Computer Science University College London London, UK；School of Eng. Maths. \& Tech University of Bristol Bristol, UK；Inst. Logic Language \& Computation University of Amsterdam Amsterdam, NL
本研究利用变分量子电路在希尔伯特空间中学习组合张量表示，以提升图像字幕任务的组合泛化能力，实验表明量子模型优于经典组合模型。
2025-09-11 cs.AI
Improving Compositional Generalization with Self-Training for Data-to-Text Generation
Carnegie Mellon University（卡内基梅隆大学）；Google（谷歌）；Google Research（谷歌研究院）
数据到文本生成的重点是从结构化的意义表示（MR）生成流畅的自然语言响应。这种表示是组成的，它是昂贵的收集原子意义图式的所有可能的组合的响应，从而需要Few-Shot概括到新的MR。在这项工作中，我们系统地研究了组成概括的国家的最先进的T5模型在Few-Shot数据到文本的任务。我们发现，T5模型无法推广到看不见的MR，我们提出了一个基于模板的输入表示，大大提高了模型的泛化能力。为了进一步提高模型的性能，我们提出了一种基于自训练的方法，使用微调BLEURT进行伪响应选择。在常用的SGD和天气基准测试中，所提出的自训练方法在Few-Shot设置中将树的准确性提高了46%+，并将时隙出错率降低了73%+。
2022-04-11 cs.AI cs.CL
Evaluating Morphological Compositional Generalization in Large Language Models
EPFL（瑞士联邦理工学院）；Idiap Research Institute（Idiap研究机构）；Duke University（杜克大学）；Brandeis University（布兰迪斯大学）；LMU Munich（慕尼黑大学）；University of Cambridge（剑桥大学）；Johns Hopkins University（约翰霍普金斯大学）；Università della Svizzera Italiana（瑞士意大利大学）；New York University（纽约大学）
本文通过组合性视角系统研究大语言模型在黏着语中的形态泛化能力，设计生成式与判别式任务评估多个先进多语言模型，发现其在面对新词根和复杂形态时性能显著下降且缺乏系统性。
2025-06-05 cs.AI cs.CL
Towards Compositionally Generalizable Semantic Parsing in Large Language Models: A Survey
University of Florida（佛罗里达大学）
本文综述了大语言模型在语义解析任务中组合泛化能力的局限性、改进方法和评估方案，为相关研究提供了起点。
2024-04-15 cs.AI cs.CL
Complexity Induction: Compositional Generalization via Structured Training Distortion
研究提出复杂度诱导方法，通过结构化标签失真（混合标签、扩展数据集），使标准CNN分类器在不修改架构时具备组合泛化能力，可预测未见颜色-形状组合，为自然语言在认知发展中的作用提供启发。
2026-08-28 cs.AI cs.CV cs.LG
Zero-Shot Generalization using Intrinsically Motivated Compositional Emergent Protocols
Indian Institute of Science（印度科学研究所）
人类语言被描述为一个制造\textit{use of finite means to express an unlimited array of thoughts}的系统。特别感兴趣的是组合性方面，由此，复合语言表达的含义可以从其组成部分的含义中推导出来。如果人工智能体能够开发出类似于人类语言的组合通信协议，它们就可以无缝地推广到看不见的组合。研究已经认识到好奇心在促进儿童语言发展方面的作用。在本文中，我们试图使用这种内在的反馈，诱导一个系统的和明确的原语言。我们演示了组合性如何使代理不仅与看不见的对象进行交互，而且还将技能从一个任务转移到另一个任务中的zero-shot设置：\textit{Can an agent, trained to `pull' and `push twice', `pull twice'?}。
2021-05-11 cs.AI cs.CL
Compositional Generalization via Forced Rendering of Disentangled Latents
Massachusetts Institute of Technology（麻省理工学院）；University of Cambridge（剑桥大学）；NTT Research（NTT研究）
本研究通过二维高斯凸起生成任务，发现标准生成模型在OOD区域因重新纠缠潜在表示而失败，而强制将解缠因子渲染到像素空间可实现高效稳健的组合泛化。
2025-05-24 cs.AI cs.LG stat.ML
Compositional Networks Enable Systematic Generalization for Grounded Language Understanding
MIT（麻省理工学院）
人类在理解新句子时非常灵活，这些句子包含了他们以前从未遇到过的概念组合。最近的研究表明，虽然深度网络在呈现新句子时可以模仿一些人类语言能力，但系统变化揭示了网络语言理解能力的局限性。我们证明，这些限制可以通过解决gSCAN数据集中的泛化挑战来克服，gSCAN数据集明确衡量了智能体能够解释基于视觉的新语言命令的能力，例如，形容词和名词的新奇配对。我们采用的关键原则是组合性：网络的组成结构应该反映它们所解决的问题域的组成结构，同时允许端到端学习其他参数。我们建立了一个通用的机制，使代理，以概括他们的语言理解组成域。至关重要的是，我们的网络具有与先前工作相同的最先进性能，同时在先前工作不具备的情况下推广其知识。我们的网络还提供了一定程度的可解释性，使用户能够检查网络的每个部分都学到了什么。强大的接地语言理解，没有戏剧性的失败，没有角落的情况下，是至关重要的建设安全和公平的机器人，我们证明了组合性可以在实现这一目标中发挥的重要作用。
2021-10-19 cs.AI cs.CL cs.RO
Compositional-ARC: Assessing Systematic Generalization in Abstract Spatial Reasoning
本研究通过元学习方法在抽象空间推理领域实现系统泛化，展示了一个小型模型在组合变换任务上的优越表现。
2026-02-26 cs.AI
Revisiting Compositional Generalization Capability of Large Language Models Considering Instruction Following Ability
Nara Institute of Science and Technology（奈良科学技術大學）
本研究提出Ordered CommonGen基准，通过有序覆盖率同时评估LLMs的组合泛化与指令遵循能力，发现LLMs存在顺序偏见且最强者覆盖率仅约75%，需改进。
2025-06-18 cs.AI cs.CL
ChatGPT as Data Augmentation for Compositional Generalization: A Case Study in Open Intent Detection
Ingenuity Labs Research Institute（创新实验室研究所）；Queen’s University（女王大学）；Smith School of Business（史密斯商学院）；Department of Electrical and Computer Engineering（电气与计算机工程系）
本研究针对开放意图检测的组合泛化挑战，提出用ChatGPT生成合成数据做数据增强的方法，经多基准验证性能优于现有技术，证明大语言模型在自然语言理解数据增强中的潜力。
2023-08-25 cs.AI cs.CL
ATOM-Bench: A Real-World Benchmark for Atomic Skills and Compositional Generalization in Manipulation Policies
Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Peking University（北京大学）
提出ATOM-Bench基准，通过分解桌面操作为原子任务和组合任务，评估操作策略的原子技能获取与组合泛化能力，发现当前策略在细粒度原子技能和组合重用上存在不足。
2026-06-16 cs.AI cs.RO
CTL++: Evaluating Generalization on Never-Seen Compositional Patterns of Known Functions, and Compatibility of Neural Representations
The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；USI（瑞士意大利语区大学）；SUPSI（瑞士意大利语区应用科学大学）；KAUST（阿卜杜拉国王科技大学）
精心设计的诊断任务在研究神经网络（NN）系统泛化失败方面发挥了关键作用。著名的例子包括SCAN和组合查表（CTL）。在这里，我们介绍CTL++，一个新的诊断数据集的基础上组成的一元符号函数。虽然最初的CTL用于测试长度泛化或生产力，但CTL++旨在测试NN的系统性，即它们泛化到已知函数的不可见组合的能力。CTL++将函数分成组，并测试以训练期间未见过的方式组成的组元素的性能。我们发现，最近的CTL解决Transformer变种失败的CTL++。任务设计的简单性允许对任务难度进行细粒度的控制，以及许多有见地的分析。例如，我们测量测试的NN学习作曲需要多少组之间的重叠。我们还可视化了来自不同群体的函数输出中的学习符号表示在成功的情况下是如何兼容的，而在失败的情况下则不然。这些结果提供了深入了解失败的情况下，更复杂的组成报告在自然语言域。代码是公开的。
2022-10-12 cs.AI cs.LG cs.NE
Exploring Compositional Generalization of Multimodal LLMs for Medical Imaging
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文通过构建包含106个数据集的Med-MAT基准，验证组合泛化（CG）是多模态LLM在医学影像多任务训练中实现泛化的关键驱动力，并确认其在分类与检测任务及有限数据场景下的有效性。
2025-05-31 cs.AI cs.CL cs.CV
Explain Before You Answer: A Survey on Compositional Visual Reasoning
Monash University（墨尔本大学）；Stanford University（斯坦福大学）；University of Washington（华盛顿大学）；Griffith University（格里菲斯大学）；Princeton University（普林斯顿大学）；Allen Institute for Artificial Intelligence（人工智能研究院）
综述2023年至2025年组合视觉推理文献，形式化核心定义，追溯范式转变，编目基准指标，提炼见解、识别挑战并概述方向，为该领域提供统一分类、历史路线图和批判性展望。
2026-07-09 cs.AI cs.CV
Learning Compositional Representations for Effective Low-Shot Generalization
Boston University（波士顿大学）
我们提出了识别部分组成（RPC），图像编码方法的灵感来自人类认知。它基于认知理论，即人类通过组件来识别复杂对象，并且他们构建了一个小型紧凑的概念词汇表来表示每个实例。RPC通过首先将图像分解为突出部分，然后将每个部分编码为少量原型的混合，每个原型代表某个概念。我们发现，这种受人类认知启发的学习可以克服深度卷积网络在低拍摄泛化任务中面临的障碍，如零样本学习，少样本学习和无监督领域自适应。此外，我们发现使用RPC图像编码器的分类器对对抗攻击相当鲁棒，而深度神经网络是已知的。鉴于我们的图像编码原理是基于人类认知的，人们会期望编码是人类可以解释的，我们通过众包实验发现了这种情况。最后，我们提出了一个应用程序，这些可解释的编码生成合成属性注释的形式评估新的数据集上的零样本学习方法。
2022-04-17 cs.AI cs.CV cs.LG
Compositional Generalization Across Distributional Shifts with Sparse Tree Operations
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Edinburgh（爱丁堡大学）；Microsoft Research（微软研究院）
提出统一的神经符号系统Differentiable Tree Machine的改进方法，通过稀疏向量表示提升效率并扩展至seq2seq问题，在保留泛化能力的同时避免传统符号计算缺陷。
2024-12-18 cs.AI cs.CL
Investigating More Explainable and Partition-Free Compositionality Estimation for LLMs: A Rule-Generation Perspective
National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（国家多媒体信息处理重点实验室，计算机学院，北京大学）；OPPO AI Center（OPPO人工智能中心）
本文提出从规则生成角度评估LLM组合性的新方法，解决现有测试的局限性，通过字符串到网格任务实验揭示LLM的组合性特征与不足。
2026-04-30 cs.AI
A Neuroscience-Inspired Dual-Process Model of Compositional Generalization
Department of Computer Science, Cornell University（计算机科学系，康奈尔大学）；Department of Neurobiology and Behavior, Cornell University（神经生物学与行为系，康奈尔大学）
针对深度学习模型系统性组合泛化能力不足的问题，该研究提出受神经科学启发的双过程模型Mirage，结合直觉系统与规则系统，在SCAN基准上实现超99%准确率，为组合推理的认知机制提供了计算模型参考。
2025-10-28 cs.AI cs.NE
Generalization of Compositional Tasks with Logical Specification via Implicit Planning
Georgia Institute of Technology（佐治亚理工学院）
针对逻辑规约定义的组合任务强化学习泛化难、收敛慢的问题，提出带隐式规划器的分层RL框架，用GNN在潜空间规划并引导低层策略，在效率和最优性上均优于现有方法。
2024-11-02 cs.AI cs.SY eess.SY
CrossMed: A Multimodal Cross-Task Benchmark for Compositional Generalization in Medical Imaging
针对医学多模态LLM组合泛化能力未充分探索的问题，本文提出CrossMed基准，基于MAT模式重构四个数据集为VQA格式，评估模型在不同拆分下的性能，验证其对跨任务迁移及组合泛化评估的有效性。
2025-11-14 cs.AI cs.CV
Training for Compositional Sensitivity Reduces Dense Retrieval Generalization
Redis
本研究通过增加结构针对性负样本，减少密集检索的泛化能力，发现最大相似度在重排序中表现优异，但无法拒绝结构近似情况，而小型Transformer在相似度映射上能有效分离近似情况。
2026-03-16 cs.AI cs.CL cs.IR
Multi-Sourced Compositional Generalization in Visual Question Answering
Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science & Technology, Beijing Institute of Technology, China（北京智能信息科技重点实验室，计算机科学与技术学院，北京理工大学，中国）；Guangdong Laboratory of Machine Perception and Intelligent Computing, Shenzhen MSU-BIT University, China（广东机器感知与智能计算实验室，深圳MSU-BIT大学，中国）
本文探索视觉问答中的多源组合泛化（MSCG），提出检索增强训练框架，通过为不同模态基本元素学习统一表示增强模型泛化能力，并构建GQA-MSCG数据集验证有效性。
2025-05-29 cs.AI cs.CV
