Can LLM find the green circle? Investigation and Human-guided tool manipulation for compositional generalization
Virginia Tech（弗吉尼亚理工大学）；George Mason University（乔治梅森大学）
针对大语言模型组合泛化潜力未明、现有ICL方法易因长推理累积误差难处理复杂组合问题的情况，提出人类引导的工具操纵框架HTM，以少量人力提升工具效用，在两个基准上达SOTA，最难测试集性能提升70%。
2023-12-12 cs.CL
The Mystery of Compositional Generalization in Graph-based Generative Commonsense Reasoning
Heidelberg University（海德堡大学）
针对大语言模型组合泛化能力存疑的问题，提出基于推理图的CGGC挑战，评估发现7种知名LLM表现不佳，分析推理图结构难度后提出由易到难的样本组织方式可提升其组合泛化能力。
2024-10-08 cs.CL
DiNeR: a Large Realistic Dataset for Evaluating Compositional Generalization
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
本文提出菜名识别任务DiNeR，构建包含3,811道菜和228,114条食谱的大规模真实中文数据集，以更丰富的语言现象和组合多样性评估组合泛化，并提供基于T5和大语言模型的基线方法。
2024-06-07 cs.CL
Siamese recurrent networks learn first-order logic reasoning and exhibit zero-shot compositional generalization
University of Amsterdam（阿姆斯特丹大学）
神经网络可以学习逻辑吗？我们用当前的方法来处理这个经典问题，并证明了递归神经网络可以学习识别表达式之间的一阶逻辑蕴涵关系。我们在一阶谓词逻辑中定义了一种人工语言，生成了一个大型的样本“数据集”，并使用自动定理证明器来推断这些句子的随机对之间的关系。我们描述了一个暹罗神经架构训练预测的逻辑关系，并与递归和递归网络的实验。Siamese递归网络在蕴涵识别任务中取得了惊人的成功，在新句子（由已知单词组成）上达到了近乎完美的性能，甚至优于递归网络。我们报告了一系列的实验，以测试的能力的模型进行组合泛化。特别是，我们研究他们如何处理看不见的长度的句子，和句子包含看不见的话。我们发现，设置使用LSTM和GRU在这些测试中获得高分，表现出一种形式的组合。
2019-06-01 cs.AI cs.CL cs.LG
How Do In-Context Examples Affect Compositional Generalization?
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）；Microsoft Corporation（微软公司）
该研究提出测试套件CoFe探究上下文学习的组合泛化能力，发现示例选择显著影响性能，明确结构相似、多样且单个简单的示例效果更佳，同时指出虚构词语泛化弱、示例需覆盖语言结构等局限，为上下文学习范式的研究与应用提供参考。
2023-06-09 cs.AI cs.CL
Evaluating the Impact of Model Scale for Compositional Generalization in Semantic Parsing
Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）
尽管预训练的语言模型在许多任务上表现出色，但已被证明在分布外的合成泛化上很困难。与此同时，最近的工作表明，模型缩放在许多NLP任务上有了相当大的改进。在语义解析中，按比例增加模型大小也能提高组合泛化能力吗？我们评估了高达11 B参数的编码器-解码器模型和高达540 B参数的仅解码器模型，并比较了将预训练语言模型应用于新任务的三种不同方法的模型缩放曲线：微调所有参数，提示微调和上下文学习。我们观察到，在语义解析评估中，微调通常在分布外的合成概括上具有平坦或负的缩放曲线。上下文学习具有正的缩放曲线，但通常会被更小的微调模型所超越。微调可以优于微调，这表明缩放的进一步潜在改进，因为它表现出更积极的缩放曲线。此外，我们还确定了几个随模型规模而变化的误差趋势。例如，较大的模型通常更好地建模输出空间的语法，但也更容易出现某些类型的过拟合。总的来说，我们的研究强调了当前技术的局限性，有效地利用模型规模进行组合泛化，而我们的分析也为未来的工作提出了有希望的方向。
2022-10-24 cs.CL
Compositional Generalization and Decomposition in Neural Program Synthesis
Google Research（谷歌研究院）；UC Berkeley（加州大学伯克利分校）
本文研究神经程序合成的组合泛化能力，基于SCAN和RobustFill构建基准测试，并提出受人类分解策略启发的注意力机制以改进Transformer模型，实验显示其优于基线但仍具挑战性。
2022-04-07 cs.LG cs.PL stat.ML
Towards Compositional Generalization of LLMs via Skill Taxonomy Guided Data Synthesis
State Key Laboratory of Complex & Critical Software Environment, Beihang University（复杂与关键软件环境国家重点实验室，北京航空航天大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Beijing Institute of Technology（北京理工大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）
STEPS通过技能分类引导的数据合成提升大语言模型的组合泛化能力。
2026-01-07 cs.AI cs.CL
Learning to Substitute Components for Compositional Generalization
School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；Department of Computer Science, Hong Kong Baptist University（香港浸会大学计算机科学系）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
针对神经语言模型组合泛化不足，提出CompSub多粒度组件替换增强及LCS端到端学习框架，并扩展至LLM的ICL场景，在四个基准上分别提升最高66.5%、10.3%、1.4%和8.8%。
2025-02-28 cs.CL
Compositional Generalization from Learned Skills via CoT Training: A Theoretical and Structural Analysis for Reasoning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）；Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大型模型与智能治理研究重点实验室）；Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（下一代智能搜索与推荐工程研究中心，教育部）；Tianjin University of Science and Technology（天津科技大学）；Beijing Institute of Technology（北京理工大学）
本文通过理论和结构分析揭示CoT训练通过组合学习技能提升模型推理泛化能力的核心机制。
2026-02-12 cs.AI cs.CL cs.LG
Diverse Demonstrations Improve In-context Compositional Generalization
Tel-Aviv University（特拉维夫大学）
本研究提出一种选择多样化示例的方法，通过集体覆盖输出程序所需的所有结构，鼓励模型在组合泛化任务中泛化到新结构。实验表明，该方法在纯上下文学习及结合微调时，显著提升了三个语义解析数据集的性能。
2023-06-24 cs.CL
Scaling can lead to compositional generalization
ETH Zurich（苏黎世联邦理工学院）；Princeton University（普林斯顿大学）
本研究通过扩展数据和模型规模实现神经网络的组合泛化，并证明多层感知器可线性逼近组合任务族，且成功泛化时任务成分可从隐藏激活中线性解码。
2025-10-23 cs.LG cs.NE
Evaluating Morphological Compositional Generalization in Large Language Models
EPFL（瑞士联邦理工学院）；Idiap Research Institute（Idiap研究机构）；Duke University（杜克大学）；Brandeis University（布兰迪斯大学）；LMU Munich（慕尼黑大学）；University of Cambridge（剑桥大学）；Johns Hopkins University（约翰霍普金斯大学）；Università della Svizzera Italiana（瑞士意大利大学）；New York University（纽约大学）
本文通过组合性视角系统研究大语言模型在黏着语中的形态泛化能力，设计生成式与判别式任务评估多个先进多语言模型，发现其在面对新词根和复杂形态时性能显著下降且缺乏系统性。
2025-06-05 cs.AI cs.CL
NeSyCoCo: A Neuro-Symbolic Concept Composer for Compositional Generalization
Michigan State University（密歇根州立大学）
提出神经符号框架NeSyCoCo，利用大语言模型生成符号表示并映射至可微神经计算，通过依存结构增强输入、分布式词表示链接谓词与神经模块及软组合对齐推理，在组合泛化基准上达到最优。
2024-12-20 cs.CL
Counterfactual Recipe Generation: Exploring Compositional Generalization in a Realistic Scenario
Peking University（北京大学）；Baidu Inc.（百度公司）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
人们可以通过阅读以无监督的方式获取知识，并将知识组合成新颖的组合。在本文中，我们研究了预训练的语言模型是否可以在现实环境中执行组合泛化：配方生成。我们设计了反事实配方生成任务，要求模型根据原料的变化修改基本配方。这项任务需要在两个层面上进行成分概括：将新成分纳入基本配方的表面层面，以及与变化成分相关的调整行动的更深层次。我们收集了一个大规模的中文食谱数据集，用于学习烹饪知识的模型，以及一个用于评估的动作级细粒度注释子集。我们在食谱语料库上微调预训练的语言模型，并使用无监督的反事实生成方法来生成修改后的食谱。结果表明，现有的模型很难修改的成分，同时保持原始文本的风格，往往错过了需要调整的动作。虽然预训练的语言模型可以生成流畅的食谱文本，但它们无法以组合的方式真正学习和使用烹饪知识。代码和数据可在https://github.com/xxxiaol/counterfactual-recipe-generation上获得。
2022-10-20 cs.CL
Tuning without Peeking: Provable Generalization Bounds and Robust LLM Post-Training
Meta FAIR；LISN, Inria, CNRS（LISN，Inria，CNRS）；NYU Courant Institute（NYU Courant学院）
提出BBoxER黑盒进化方法用于LLM后训练，通过隐式压缩数据诱导信息瓶颈，提供非平凡泛化边界和对数据投毒、提取攻击的鲁棒性理论保证，实验证明其有效性和隐私保护。
2026-06-24 cs.AI cs.CL cs.CR
Revisiting Compositional Generalization Capability of Large Language Models Considering Instruction Following Ability
Nara Institute of Science and Technology（奈良科学技術大學）
本研究提出Ordered CommonGen基准，通过有序覆盖率同时评估LLMs的组合泛化与指令遵循能力，发现LLMs存在顺序偏见且最强者覆盖率仅约75%，需改进。
2025-06-18 cs.AI cs.CL
ChatGPT as Data Augmentation for Compositional Generalization: A Case Study in Open Intent Detection
Ingenuity Labs Research Institute（创新实验室研究所）；Queen’s University（女王大学）；Smith School of Business（史密斯商学院）；Department of Electrical and Computer Engineering（电气与计算机工程系）
本研究针对开放意图检测的组合泛化挑战，提出用ChatGPT生成合成数据做数据增强的方法，经多基准验证性能优于现有技术，证明大语言模型在自然语言理解数据增强中的潜力。
2023-08-25 cs.AI cs.CL
Exploring Compositional Generalization of Multimodal LLMs for Medical Imaging
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文通过构建包含106个数据集的Med-MAT基准，验证组合泛化（CG）是多模态LLM在医学影像多任务训练中实现泛化的关键驱动力，并确认其在分类与检测任务及有限数据场景下的有效性。
2025-05-31 cs.AI cs.CL cs.CV
Towards Compositionally Generalizable Semantic Parsing in Large Language Models: A Survey
University of Florida（佛罗里达大学）
本文综述了大语言模型在语义解析任务中组合泛化能力的局限性、改进方法和评估方案，为相关研究提供了起点。
2024-04-15 cs.AI cs.CL
A Theoretical Analysis of Provable Compositional Generalization in Neural Networks: A Necessary and Sufficient Condition
本文提出可证明组合泛化的充要条件（结构对齐与无歧义最小化表示），经Lean 4验证，并给出算法示例及SCAN任务验证。
2026-09-09 cs.AI cs.LG
Sparse Mixture-of-Experts for Compositional Generalization: Empirical Evidence and Theoretical Foundations of Optimal Sparsity
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Ohio State University（俄亥俄州立大学）；Cisco Research（思科研究）
本研究挑战稀疏专家混合模型（SMoE）最少激活即可泛化的假设，通过实证与理论分析证明最优稀疏性介于最小与全激活间，随任务复杂度比例缩放，为高效且泛化性强的SMoE设计提供依据。
2025-06-15 cs.LG
Provable Compositional Generalization for Object-Centric Learning
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Tübingen AI Center（蒂宾根人工智能中心）；ELLIS Institute Tübingen（ELLIS蒂宾根研究所）
本研究基于可辨识性理论，证明满足解码器结构假设及编码器-解码器一致性的自编码器能学习到可证明具有组合泛化能力的以对象为中心的表示，并通过合成图像实验验证了理论。
2024-11-12 cs.LG
Stochastic Compositional Minimax Optimization with Provable Convergence Guarantees
The Pennsylvania State University（宾夕法尼亚州立大学）
本文定义了随机复合极小极大优化问题，提出带复合校正的下降上升算法CODA及其方差缩减版CODA+，在原变量、对偶变量及双变量复合的多类凸凹设定下证明了收敛速率，为领域自适应等场景提供理论指导。
2024-08-22 cs.LG math.OC
Measuring Compositional Generalization: A Comprehensive Method on Realistic Data
Google Research（谷歌研究院）
最先进的机器学习方法表现出有限的合成泛化。与此同时，缺乏全面衡量这一能力的现实基准，这使得寻找和评估改进之处具有挑战性。我们引入了一种新的方法，系统地构建这样的基准，通过最大限度地提高复合发散，同时保证小原子之间的分歧训练和测试集，我们定量比较这种方法与其他方法创建组合泛化基准。我们提出了一个大的和现实的自然语言问答数据集，根据这种方法构建，我们用它来分析组合泛化能力的三个机器学习架构。我们发现，他们未能概括成分，有一个令人惊讶的强大的负相关性之间的复合分歧和准确性。我们还演示了如何使用我们的方法在现有的SCAN数据集之上创建新的组合性基准，这证实了这些发现。
2020-06-25 cs.CL cs.LG stat.ML
Compositional generalization in a deep seq2seq model by separating syntax and semantics
University of Colorado Boulder（科罗拉多大学博尔德分校）；MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）
用于自然语言处理的深度学习中的标准方法无法捕获人类语言的组成结构，该结构允许在训练分布之外进行系统泛化。然而，人类学习者很容易以这种方式进行归纳，例如通过将已知的语法规则应用于新单词。受神经科学工作的启发，建议单独的大脑系统进行句法和语义处理，我们对神经机器翻译中的标准方法进行了修改，实施了类似的分离。我们称之为句法注意力的新模型在SCAN数据集上的深度学习中大大优于标准方法，这是一种组合泛化任务，没有任何手工设计的功能或额外的监督。我们的工作表明，分离句法语义学习可能是一个有用的启发式捕捉成分结构。
2019-05-23 cs.CL cs.LG stat.ML
Improving Compositional Generalization in Classification Tasks via Structure Annotations
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
组合泛化是通过组合已知组件系统地泛化到新数据分布的能力。虽然人类似乎有很强的概括能力，但最先进的神经模型很难做到这一点。在这项工作中，我们研究了分类任务中的合成泛化，并提出了两个主要贡献。首先，我们研究如何将自然语言序列到序列数据集转换为分类数据集，也需要组合泛化。第二，我们表明，提供结构提示（特别是，提供解析树和实体链接作为Transformer模型的注意掩码）有助于组合泛化。
2021-06-19 cs.CL cs.LG
Compositional Generalization from First Principles
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）；Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文从数据生成过程的组合性出发，提出仅依赖训练分布支撑集与模型架构的充分条件，并通过真实场景与实验验证，为组合泛化建立第一性原理理论框架。
2023-07-10 cs.LG stat.ML
Emergent Language Generalization and Acquisition Speed are not tied to Compositionality
Facebook AI（Facebook人工智能）；ICREA
当神经代理进行通信以解决联合任务时出现的离散语言的研究通常会寻找组成结构的证据。这源于这样一种期望，即这种结构将允许代理更快地获得语言，并使它们能够更好地泛化。我们认为，这些有益的属性只是松散地连接到组合。在两个实验中，我们证明，根据任务，非组合语言可能会表现出相同的，或更好的，泛化性能和采集速度比组合的。该领域的进一步研究应该更清楚地了解组合性的预期好处，以及后者将如何导致它们。
2020-04-25 cs.CL cs.LG
Deep Learning: Generalization Requires Deep Compositional Feature Space Design
Indian Institute of Technology, Guwahati（印度理工学院古瓦哈提分校）
泛化误差定义了深度模型的可辨别性和表示能力。在这项工作中，我们声称，使用深层组合函数的特征空间设计在泛化以及显式和隐式正则化中起着重要作用。我们的主张正在建立与几个图像分类实验。我们表明，由于卷积和最大池的信息损失可以边缘化的组合设计，提高泛化性能。此外，我们将证明学习率衰减在深度模型训练中充当隐式正则化器。
2017-07-08 cs.LG stat.ML
Compositional Generalization in Semantic Parsing: Pre-training vs. Specialized Architectures
Google Research, Brain Team（谷歌研究院大脑团队）
虽然已知主流机器学习方法具有有限的合成概括能力，但仍不断提出新的架构和技术来解决这一限制。我们调查国家的最先进的技术和架构，以评估其有效性，以提高成分概括的语义解析任务的基础上的SCAN和CFQ数据集。我们发现，掩蔽语言模型（MLM）的预训练对手的扫描启发的架构上的原始的坚持分裂。在一个更复杂的组合任务中，我们表明，与可比的非预训练模型相比，预训练导致性能的显着改善，而建议鼓励在SCAN或算法学习领域进行组合泛化的架构未能导致显着改善。我们使用MLM预训练和中间表示在CFQ组合泛化基准上建立了一个新的最新技术水平。
2021-09-22 cs.CL cs.LG
Provable Length Generalization in Sequence Prediction via Spectral Filtering
Google DeepMind（谷歌DeepMind）
该研究针对序列预测中的长度泛化问题，定义非对称遗憾度量，提出基于谱滤波的梯度学习算法，证明其在线性动力系统上可实现长度泛化，并通过概念验证实验验证了理论结论。
2024-11-01 cs.AI cs.CL cs.LG
Compositional Generalization for Primitive Substitutions
Baidu Research（百度研究院）
成分泛化是人类语言学习的一个基本机制，但目前的神经网络缺乏这种能力。本文对神经网络的编码组合性进行了基础性研究。传统的方法对输入句子使用单一的表示，使得很难应用组合性的先验知识。相比之下，我们的方法利用这样的知识与两个表示，一个生成注意力地图，和其他的映射参加输入单词输出符号。我们减少每个表示中的熵以提高泛化能力。我们的实验表明，在五个自然语言处理任务，包括指令学习和机器翻译的显着改善传统的方法。在SCAN域中，Jump任务的准确率从14.0%提高到98.8%，TurnLeft任务的准确率从92.0%提高到99.7%。在少样本学习任务上，它也胜过人类。我们希望所提出的方法可以帮助减轻未来的研究对人类水平的合成语言学习。
2019-10-07 cs.CL cs.LG
Stability and Generalization of Stochastic Compositional Gradient Descent Algorithms
University at Albany, SUNY（纽约州立大学奥尔巴尼分校）；Texas A&M University（德克萨斯农工大学）
本文在统计学习理论框架下，通过引入组合均匀稳定性概念，首次分析了随机组合梯度下降算法（SCGD和SCSC）的稳定性与泛化性，并推导出维度无关的超额风险界。
2023-11-21 cs.LG stat.ML
Provable Weak-to-Strong Generalization via Benign Overfitting
UC Berkeley（加州大学伯克利分校）
本文研究弱教师监督强学生的弱到强泛化问题，在高斯协变量的过参数化模型中证明了强学生存在成功泛化与随机猜测两个渐近阶段，并强调了利用 logits 的价值。
2025-01-31 cs.LG stat.ML
Provable Domain Generalization via Invariant-Feature Subspace Recovery
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
领域泛化要求在一组训练环境中训练的模型在看不见的测试环境中表现良好。近年来，针对领域泛化提出了一系列的算法，如不变风险最小化算法。然而，Rosenfeld等人（2021）表明，在一个简单的线性数据模型中，即使忽略非凸性问题，也不能将非凸性及其扩展推广到具有小于$d_s+1$训练环境的不可见环境，其中$d_s$是虚假特征子空间的维度。在本文中，我们提出了实现领域泛化与不变特征子空间恢复（ISR）。我们的第一个算法ISR-Mean可以从类条件分布的一阶矩中识别出由不变特征所覆盖的子空间，并在Rosenfeld等人（2021）的数据模型下使用$d_s+1$训练环境实现可证明的领域泛化。我们的第二个算法，ISR-Cov，进一步减少了所需的训练环境的数量，$O(1)$使用二阶矩的信息。值得注意的是，与非凸性问题不同，我们的算法绕过了非凸性问题，并享有全局收敛保证。从经验上讲，我们的ISR可以获得优越的性能相比，在合成基准测试。此外，在三个真实世界的图像和文本数据集上，我们证明了这两种ISR都可以用作简单而有效的后处理方法，以提高（预）训练模型在最坏情况下的准确性，以对抗虚假相关性和组移位。
2022-07-07 cs.LG stat.ML
Compositional Generalization with Tree Stack Memory Units
Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Washington（华盛顿大学）；University of California Irvine（加州大学欧文分校）；California Institute of Technology（加州理工学院）
我们研究合成泛化，即，zero-shot推广到领域中概念的新组合的问题。标准神经网络在很大程度上无法进行组合学习。我们提出了树堆栈内存单元（Tree-SMU），以实现强大的组合泛化。Tree-SMU是一种带有堆栈记忆单元的递归神经网络（\SMU s），它是一种新型的记忆增强神经网络，其记忆具有可微堆栈结构。树架构中的每个SMU学习从其堆栈中读取，并通过门控组合其子堆栈和状态来写入堆栈。堆栈有助于捕获问题域中的长期依赖关系，从而实现组合泛化。此外，堆栈还保留每个节点的后代的顺序，从而保留树上的局部性。我们展示了两个数学推理基准强有力的实证结果。我们使用四个组合性测试来评估Tree-SMU的泛化性能，并表明与Transformers和Tree-LSTM等强基线相比，它可以实现准确的组合泛化。
2020-10-16 cs.LG cs.NE stat.ML
Learning to Recombine and Resample Data for Compositional Generalization
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Boston University（波士顿大学）
灵活的神经序列模型在各种任务上都优于基于语法和自动机的模型。然而，神经模型在需要超出训练数据的合成泛化的设置中表现不佳-特别是对于罕见或不可见的连续性。过去的工作已经发现符号脚手架（例如语法或自动机）在这些设置中必不可少。我们描述R&R，一个学习的数据增强计划，使一个大类的组成概括，而不呼吁潜在的符号结构。R&R有两个组成部分：通过基于原型的生成模型重新组合原始训练样本，并重新存储生成的样本以鼓励外推。在用重组和重新采样的示例增强的数据集上训练普通神经序列模型，可以显着提高两个语言处理问题的泛化能力-指令遵循（SCAN）和形态分析（SIGMORPHON 2018）-其中R&R可以从最少8个初始示例中学习新的结构和时态。
2021-06-08 cs.CL cs.LG
From Linear to Nonlinear: Provable Weak-to-Strong Generalization through Feature Learning
KAIST（韩国科学技术院）
该研究针对弱到强泛化理论局限于线性模型的问题，对线性CNN到两层ReLU CNN的泛化展开形式化分析，划分数据稀缺与充足两种模式并揭示对应泛化机制，为理解非线性模型的弱到强泛化提供理论支撑。
2025-10-28 cs.LG stat.ML
CNNs found to jump around more skillfully than RNNs: Compositional generalization in seq2seq convolutional networks
CIMeC, University of Trento（特伦托大学心智/脑科学中心）；ICREA（加泰罗尼亚研究与高等教育学院）；Facebook AI Research（脸书人工智能研究院）
Lake和Baroni（2018）介绍了SCAN数据集，探索seq 2seq模型捕获合成概括的能力，例如从组成词中推断“跳跃”0-shot的含义。递归网络（RNN）被发现在最具挑战性的泛化情况下完全失败。我们在这里测试了卷积网络（CNN）在这些任务上的性能，报告了相对于RNN的巨大改进。尽管有很大的改进，但CNN并没有引入系统的规则，这表明组合行为和非组合行为之间的区别并不明确。
2019-05-21 cs.AI cs.CL cs.LG
On Compositional Generalization of Neural Machine Translation
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
现代神经机器翻译（NMT）模型在WMT等标准基准测试中取得了有竞争力的性能。然而，仍然存在显著的问题，如鲁棒性，领域泛化等。在本文中，我们研究NMT模型的组成泛化的角度，通过建立一个基准数据集，CoGnition，由216 k干净和一致的句子对。我们使用复合翻译出错率定量分析了各种因素的影响，然后证明了NMT模型在组合泛化方面严重失败，尽管它在传统度量下表现得非常好。
2021-05-31 cs.AI cs.CL cs.LG
Provable Generalization of SGD-trained Neural Networks of Any Width in the Presence of Adversarial Label Noise
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们考虑一个任意宽度的单隐藏层Leaky ReLU网络，该网络在任意初始化后通过随机梯度下降（SGD）进行训练。我们证明了SGD产生的神经网络具有竞争力的分类精度的最佳半空间分布的广泛的一类分布，包括日志凹各向同性和硬边缘分布。等价地，当数据分布是线性可分的但被对抗性标签噪声破坏时，这样的网络可以泛化，尽管有过拟合的能力。据我们所知，这是第一个表明SGD训练的过参数化神经网络在数据被对抗性标签噪声破坏时可以泛化的工作。
2021-02-15 cs.LG math.OC stat.ML
On the Provable Generalization of Recurrent Neural Networks
Beijing Jiaotong University（北京交通大学）
递归神经网络（RNN）是深度学习的基本结构。最近，一些工作研究过参数化神经网络的训练过程，并表明，过参数化网络可以学习一些显着的概念类的函数，具有可证明的泛化误差界。本文分析了随机初始化RNN的训练和泛化问题，并对已有的研究工作进行了如下改进：1）对于输入序列为$x=(X_1,X_2,...,X_L)$的RNN，以前的研究工作主要是学习$f(β^T_lX_l)$的求和函数，并且要求$||X_l||\leqε$具有一些非常小的$ε$，这取决于$f$的复杂度。本文通过对神经正切核矩阵的详细分析，证明了在没有归一化条件的情况下学习这类函数的泛化误差界，并证明了一些值得注意的概念类是可学习的，其迭代次数和样本在输入长度$L$上几乎是多项式的。2)此外，我们证明了一个新的结果，学习N元函数的输入序列的形式$f(β^T[X_{l_1},...,X_{l_N}])$，这不属于“加性”的概念类，即，函数$f(X_l)$的求和。当$N$或$l_0=\max(l_1,..,l_N)-\min(l_1,..,l_N)$都很小时，$f(β^T[X_{l_1},...,X_{l_N}])$将是可学习的，迭代次数和样本在输入长度$L$上几乎是多项式的.
2022-01-26 cs.LG stat.ML
Compositional Generalization via Neural-Symbolic Stack Machines
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
尽管取得了巨大的成功，但现有的深度学习模型已经暴露了组合泛化的局限性，即学习组合规则并以系统的方式将其应用于看不见的案例的能力。为了解决这个问题，我们提出了神经符号堆栈机（NeSS）。它包含一个神经网络来生成跟踪，然后由一个增强了序列操作操作的符号堆栈机执行。NeSS将神经序列模型的表达能力与符号堆栈机支持的递归相结合。在没有对执行轨迹进行训练监督的情况下，NeSS在四个领域实现了100%的泛化性能：语言驱动导航任务的SCAN基准测试、组合指令的少样本学习任务、组合机器翻译基准测试和上下文无关文法解析任务。
2020-10-22 cs.AI cs.LG stat.ML
Compositional Generalization in Image Captioning
University of Tübingen（图宾根大学）；University of Copenhagen（哥本哈根大学）；Stanford University（斯坦福大学）
图像描述模型通常是根据它们描述一组图像的能力来评估的，而不是根据它们概括看不见的概念的能力。我们研究了合成泛化的问题，它衡量了一个模型在描述图像时如何组合看不见的概念组合。国家的最先进的图像描述模型在这项任务上表现出较差的泛化性能。我们提出了一个多任务模型，以解决性能不佳，结合字幕生成和图像-句子排名，并使用解码机制，重新排名的字幕，根据其相似性的图像。与最先进的字幕模型相比，该模型在推广看不见的概念组合方面要好得多。
2019-09-16 cs.CL cs.CV cs.LG
Iterative Decoding for Compositional Generalization in Transformers
University of Pennsylvania（宾夕法尼亚大学）；Google Research（谷歌研究院）
深度学习模型可以很好地推广到分布式数据，但很难在组成上进行推广，即，结合一组学习过的原语来解决更复杂的任务。在序列到序列（seq2seq）学习中，Transformers通常无法预测比训练时看到的更长的样本的正确输出。本文介绍了迭代解码，seq2seq的替代方案，（i）提高了PCFG和笛卡尔积数据集的Transformer组合泛化，（ii）证明在这些数据集中，seq2seq Transformers不学习未展开的迭代。在迭代解码中，训练样本被分解为Transformer迭代学习的一系列中间步骤。在推理时，中间输出作为中间输入反馈给Transformer，直到预测到迭代结束令牌。最后，我们说明了迭代解码的CFQ数据集的一些限制。
2021-12-09 cs.CL cs.LG
Compositional generalization through meta sequence-to-sequence learning
New York University（纽约大学）
人们可以学习一个新的概念，并在组合中使用它，在学习如何“blicket”之后，理解如何“blicket twice”。相比之下，强大的序列到序列（seq2seq）神经网络无法通过这种组合性测试，特别是在将新概念与现有概念组合在一起时。在本文中，我展示了如何通过Meta seq2seq学习来训练记忆增强的神经网络进行组合概括。在这种方法中，模型对一系列seq2seq问题进行训练，以获得解决新seq2seq问题所需的组合技能。Meta se2seq学习解决了组合学习的几个SCAN测试，并且可以学习将隐式规则应用于变量。
2019-10-08 cs.AI cs.CL cs.LG
Think before you act: A simple baseline for compositional generalization
Seminar for Statistics, ETH Zurich（苏黎世联邦理工学院统计研讨班）；Facebook AI Research（Facebook人工智能研究）
人类有能力重组熟悉的表情来创造新的表情，但现代神经网络却很难做到这一点。最近，随着基准数据集“gSCAN”（Ruis et al. 2020）的引入，这一点得到了强调，旨在评估模型在基于语言理解的组合泛化方面的性能。在这项工作中，我们提出了一个简单的模型，实现了令人惊讶的良好性能的gSCAN测试分裂的gSCAN基准的挑战。我们的模型是基于这样的观察，即要成功完成gSCAN任务，智能体必须（i）识别目标对象（思考），然后（ii）成功导航到它（行动）。具体地说，我们提出了对（Ruis et al. 2020）的基线模型的注意力启发修改，以及考虑到步骤（i）和（ii）的顺序性质的辅助损失。虽然我们的方法解决了两个合成任务，但我们也发现其他任务仍未解决，验证了gSCAN作为评估模型合成能力的基准的相关性。
2020-10-01 cs.LG stat.ML
Learning to Substitute Spans towards Improving Compositional Generalization
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）；City University of Hong Kong（香港城市大学）
本文针对神经序列模型组合泛化不足的问题，提出多粒度跨度替换增强策略 SpanSub，并通过端到端 L2S2 框架学习替换概率，在 SCAN、COGS 和 GeoQuery 上取得显著提升。
2023-06-05 cs.CL cs.LG
Provable Generalization in Overparameterized Neural Nets
针对过参数化神经网络泛化性问题，本研究提出基于注意力矩阵有效秩的替代容量概念，导出与大型语言模型经验缩放律匹配的泛化界，为理解其泛化性提供新视角。
2025-08-24 cs.AI cs.LG stat.ML
Compositional Generalization for Data-to-Text Generation
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
针对数据到文本生成中未见谓词组合导致的组合泛化问题，提出谓词聚类逐句生成模型，并构建基准，在忠实度指标上比T5提升31%。
2023-12-05 cs.CL cs.LG
Compositional Generalization in Unsupervised Compositional Representation Learning: A Study on Disentanglement and Emergent Language
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
深度学习模型难以进行组合泛化，即识别或生成观察到的基本概念的新颖组合的能力。为了实现组合泛化，已经提出了各种无监督学习算法，这些算法具有归纳偏差，旨在诱导学习表示中的组合结构（例如，解纠缠表示和涌现语言学习）。在这项工作中，我们评估这些无监督学习算法，以及他们如何使组合泛化。具体来说，我们的评估协议侧重于是否很容易训练一个简单的模型上学习的表示，推广到新的组合成分的因素。我们系统地研究了三种无监督的表示学习算法- $β$ -VAE，$β$ -TCVAE和紧急语言（EL）自动编码器-在两个数据集上，允许直接测试组合泛化。我们发现，直接使用简单模型和少量标签的瓶颈表示可能会导致比使用学习表示本身之前或之后的层表示更差的泛化。此外，我们发现，以前提出的指标，用于评估水平的组合性不相关的实际组成概括在我们的框架。令人惊讶的是，我们发现，越来越多的压力，以产生一个解开的表示产生的表示与更差的泛化，而表示从EL模型显示出强大的组成泛化。综上所述，我们的研究结果揭示了不同的无监督学习算法的合成泛化行为，并提出了一个新的设置，以严格测试这种行为，并建议delevoping EL学习算法的潜在好处，更概括的表示。
2022-10-05 cs.AI cs.CV cs.LG
Rearranging the Familiar: Testing Compositional Generalization in Recurrent Networks
Facebook AI Research（脸书人工智能研究院）；New York University（纽约大学）
系统组合性是将有意义的单位与规则和可预测的结果重新组合的能力，它被视为人类语言概括能力的关键。最近的工作研究了现代seq2seq模型中的系统组合性，在接地环境中使用泛化到新的导航指令作为探测工具，要求模型快速引导新单词的含义。我们在这里将这个框架扩展到模型只需要在新的上下文中重新组合训练有素的功能词（如“around”和“right”）的设置。我们的研究结果证实并加强了早期的研究结果：seq2seq模型可以令人印象深刻地善于推广到以前看到的输入的新组合，但只有当它们接受了关于要推广的特定模式的广泛训练时（例如，从“右周围X”到“右周围跳跃”的许多示例中概括），而当概括需要合成规则的新颖应用时失败（例如，从“右”和“左右”的含义推断“左右”的含义）。
2018-07-19 cs.AI cs.CL cs.LG
Toward Compositional Generalization in Object-Oriented World Modeling
Khoury College of Computer Sciences, Northeastern University（东北大学库利计算机学院）
作文概括是学习和决策的关键能力。我们专注于强化学习在面向对象环境中的设置，研究世界建模中的组合泛化。我们（1）用代数方法形式化合成泛化问题，（2）研究世界模型如何实现这一点。我们介绍了一个概念环境，对象库，和两个实例，并部署了一个原则性的管道来衡量泛化能力。出于制定，我们分析了几种方法，准确或没有组合泛化能力，使用我们的框架，并设计了一个可微的方法，同态面向对象的世界模型（HOWM），实现软，但更有效的组合泛化。
2022-06-17 cs.AI cs.LG cs.RO
