The paradox of the compositionality of natural language: a neural machine translation case study
University of Edinburgh（爱丁堡大学）；University of Osnabrück（奥斯纳布吕克大学）；Facebook AI Research（脸书人工智能研究院）
在NLP中获得类似人类的性能通常被认为需要组合概括。神经网络是否表现出这种能力，通常是通过在高度组成的合成数据上训练模型来研究的。然而，自然语言中的组合性比这些数据所遵循的严格的、类似算术的版本要复杂得多，因此人工组合性测试无法让我们确定神经模型如何处理更现实形式的组合性。在这项工作中，我们重新实例化三个组合性测试从文献和重新制定他们的神经机器翻译（NMT）。我们的研究结果突出表明：i）不利的是，在更多数据上训练的模型更具组合性; ii）模型有时比预期的组合性更低，但有时更多，这说明需要不同水平的组合性，模型并不总是能够在它们之间正确地调节; iii）一些非组合行为是错误的，而其他行为反映了数据的自然变化。除了实证研究之外，我们的工作是一个行动的号召：我们应该重新思考神经网络中组合性的评估，并使用真实数据开发基准来评估自然语言的组合性，其中组成意义并不像做数学那样简单。
2022-03-31 cs.AI cs.CL cs.LG
Compositional 3D Human-Object Neural Animation
The University of Sydney（悉尼大学）
本文提出基于隐式神经表示与CC-NeRF的组合式三维人-物神经动画框架，通过潜码解耦人物和物体，实现新颖交互、人物、物体及姿态驱动下的HOI渲染与泛化控制。
2023-04-27 cs.AI cs.CV cs.LG
Visual analogy: Deep learning versus compositional models
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
类比推理是一项必须从头开始学习的任务，通过将深度学习模型应用于大量推理问题来解决吗？或者类比是通过计算类比的结构化表征之间的相似性来解决的？我们解决这个问题，通过比较人类的表现，使用熟悉的三维物体（汽车及其子区域）的图像与替代计算模型的性能创建的视觉类比。人类推理者对所有问题类型都达到了高于机会的准确性，但在几种情况下（例如，当相关次区域被遮挡时）。我们将人类的表现与两个最近的深度学习模型（暹罗网络和关系网络）进行了比较，这些模型直接训练来解决这些类比问题，以及评估基于部分的表示之间关系相似性的组合模型。基于部件表示的组合模型，而不是深度学习模型，产生了类似于人类推理机的定性性能。
2021-05-14 cs.AI cs.LG
Hypergraph Pattern Machine: Compositional Tokenization for Higher-Order Interactions
University of Notre Dame（内布拉斯加大学）；Stanford University（斯坦福大学）；Yale University（耶鲁大学）；University of Cambridge（剑桥大学）；University of Washington（华盛顿大学）
本文提出超图模式机，通过学习子集的组合模式，改进高阶交互的建模，从而在超图基准和真实案例中取得更好效果。
2026-05-15 cs.AI cs.LG
Lifelong Machine Learning of Functionally Compositional Structures
University of Pennsylvania（宾夕法尼亚大学）；Brown University（布朗大学）
人类智能的一个标志是能够构建自包含的知识块，并将它们重新用于解决不同问题的新组合。由于底层的组合搜索，学习这样的组成结构对人工系统来说是一个挑战。到目前为止，对组合学习的研究在很大程度上是与终身学习或持续学习的研究分开进行的。本论文整合了这两条线的工作，提出了一个通用的框架，终身学习的功能组成结构。该框架将学习分为两个阶段：学习如何结合现有组件来同化新问题，以及学习如何调整现有组件来适应新问题。这种分离明确地处理了稳定性和灵活性之间的权衡。本文将该框架应用到各种监督学习和强化学习（RL）算法中。监督学习评估发现，1）组合模型提高了不同任务的终身学习，2）多阶段过程允许终身学习组合知识，3）框架学习的组件表示自包含和可重用的功能。类似的RL评估表明，1）框架下的算法加速了高性能策略的发现，2）这些算法保留或提高了先前学习的任务的性能。本文将一种终身组合强化学习算法扩展到非平稳环境，其中任务分布随时间变化，并发现模块化允许单独跟踪环境中不同元素的变化。本论文的最后贡献是一个新的基准组合RL，它暴露了现有的方法很难发现环境的组成属性。
2022-07-25 cs.AI cs.LG
Map Induction: Compositional spatial submap learning for efficient exploration in novel environments
Massachusetts Institute of Technology（麻省理工学院）
人类是专业的探险家。理解支持这种效率的计算认知机制可以推进人类思维的研究，并实现更有效的探索算法。我们假设，人类探索新的环境，有效地推断未观察到的空间结构使用空间信息收集从以前探索的空间。这种认知过程可以使用分层贝叶斯框架中的程序归纳来计算建模，该框架明确地推理具有强空间先验的不确定性。使用一个新的行为地图归纳任务，我们证明了这个计算框架解释人类的探索行为比非归纳模型更好，并优于国家的最先进的规划算法时，应用到一个现实的空间导航域。
2022-03-17 cs.AI cs.LG
Learning Compositional Rules via Neural Program Synthesis
MIT（麻省理工学院）；NYU（纽约大学）；Facebook AI（Facebook人工智能研究院（Facebook AI））
人类推理的许多方面，包括语言，都需要从很少的数据中学习规则。人类可以做到这一点，通常从很少的例子中学习系统规则，并将这些规则组合起来形成基于规则的组合系统。另一方面，当前的神经架构通常无法以组合的方式进行概括，特别是当以系统地从训练中变化的方式进行评估时。在这项工作中，我们提出了一个神经符号模型，从一个小的例子集学习整个规则系统。而不是直接预测输出的输入，我们训练我们的模型，以诱导规则的显式系统，管理一组以前看到的例子，从神经程序合成文献中的技术。我们的规则合成方法在三个领域优于神经元学习技术：用于评估人类学习的人工推理学习领域，SCAN挑战数据集，以及学习基于规则的数字词到整数的翻译，用于各种人类语言。
2020-10-22 cs.AI cs.LG
Exploiting Deep Semantics and Compositionality of Natural Language for Human-Robot-Interaction
International Computer Science Institute（国际计算机科学研究所）
我们开发了一个用于人机交互的自然语言接口，实现了对自然语言中深层语义的推理。为了实现所需的深入分析，我们采用了认知语言学的方法，即嵌入式构式语法（ECG）的模块和组合框架[Feldman，2009]。使用ECG，机器人能够解决细粒度的引用解析问题以及与自然语言的深层语义和组合性相关的其他问题。这还包括与人类的口头交互，以澄清过于模糊而无法安全执行的命令和查询。我们将我们的NLU框架实现为ROS包，并使用不同的机器人提供概念验证场景，以及对最先进技术的调查。
2016-04-22 cs.AI cs.CL cs.RO
ARM-FM: Automated Reward Machines via Foundation Models for Compositional Reinforcement Learning
Université de Montréal（蒙特利尔大学）；Mila – Quebec AI Institute（魁北克人工智能研究所）；University of British Columbia（不列颠哥伦比亚大学）
ARM-FM通过基础模型实现自动化奖励设计，利用自然语言生成奖励机并实现跨任务泛化，提升强化学习的通用性和效率。
2026-03-08 cs.AI cs.LG
Recognition of Visually Perceived Compositional Human Actions by Multiple Spatio-Temporal Scales Recurrent Neural Networks
Korea Institute of Science and Technology（韩国科学技术院）；Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
本文提出了一种新的神经网络模型，用于识别视觉感知的人类行为。在传统的卷积神经网络模型基础上引入多时间尺度递归动力学，提出了多时空尺度递归神经网络（MSTRNN）模型。MSTRNN的一个基本特征是其结构同时对不同层之间在多个尺度上变化的神经活动施加空间和时间约束。根据向上和向下因果关系原理，假设网络在学习过程中可以利用这些约束来发展有意义的结构，如功能层次结构。为了评估模型的特性，本研究使用了三种类型的人类动作视频数据集，包括不同类型的原始动作和不同层次的组合性。将MSTRNN在使用这些数据集进行测试时的性能与该领域使用的其他代表性深度学习模型的性能进行比较。通过对数据集的学习获得的内部表示的分析阐明了通过提取数据集底层的基本组成性可以开发什么样的功能层次结构。
2017-02-22 cs.AI cs.CV cs.LG
Open Vocabulary Compositional Explanations for Neuron Alignment
Department of Computer Science and Engineering University of California, Santa Cruz（计算机科学与工程系加州大学圣克ruz分校）
本文提出了一种开放词汇组合解释框架，通过语义分割生成掩码来实现神经元对齐，提升解释的灵活性和适用性。
2025-11-25 cs.AI cs.CV cs.LG
Benchmarking Compositional Generalisation for Machine Learning Interatomic Potentials
Cardiff University（卡迪夫大学）
本文提出四个任务评估分子学习势函数的组成泛化能力，发现最先进模型在面对新分子时表现显著下降，误差比分布内例子高一个数量级。
2026-10-23 cs.AI cs.CE cs.LG
Compositional Machine Design as Program Synthesis with LLMs
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
本研究提出基于物理模拟的组合式机器设计任务，构建BesiegeField测试平台，测试LLM智能体的机器程序合成能力，并用模拟奖励微调Qwen2.5-14B提升了机器性能，为相关研究提供参考。
2026-10-14 cs.AI cs.CL cs.CV
Ineq-Comp: Benchmarking Human-Intuitive Compositional Reasoning in Automated Theorem Proving on Inequalities
Princeton Language and Intelligence（普林斯顿语言与智能）；Princeton University（普林斯顿大学）；Peking University（北京大学）；Tsinghua University（清华大学）；Amazon（亚马逊）
本文提出 Ineq-Comp 不等式组合推理基准，通过变量复制、代数重写和多步组合测试 LLM 证明器，发现主流模型即使获得子证明仍存在显著组合推理缺陷。
2025-10-20 cs.AI cs.CL cs.LG
Improving Compositional Generalization Using Iterated Learning and Simplicial Embeddings
University of British Columbia（不列颠哥伦比亚大学）；Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）；Intel AI Lab（英特尔人工智能实验室）；Amii（阿尔伯塔机器智能研究所）
本文借鉴认知科学中的迭代学习思想，结合单纯嵌入对表示进行近似离散化，以提升深度网络在视觉和分子图预测等任务上的组合泛化能力。
2023-10-28 cs.AI cs.LG
Shattered Compositionality: Counterintuitive Learning Dynamics of Transformers for Arithmetic
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Department of Computer Sciences, University of Wisconsin–Madison（威斯康星大学麦迪逊分校计算机科学系）；Department of Statistics, University of Wisconsin–Madison（威斯康星大学麦迪逊分校统计学系）
本研究发现变换器在学习算术任务时表现出反直觉的组合性，其学习动态受训练数据相关性影响而非因果或程序性组合。
2026-11-13 cs.AI cs.LG
Human2Any: Human-to-Robot Transfer via Constraint-Aware Compositional Planning
Georgia Institute of Technology（佐治亚理工学院）；NVIDIA Corporation（英伟达公司）
提出Human2Any框架，从人类视频学习可重用的物体中心交互先验，结合机器人端可行性推理与运动规划，实现无需目标任务真实机器人数据的跨实体、场景和任务迁移。
2026-06-27 cs.AI cs.RO
A Benchmark for Compositional Visual Reasoning
Carney Institute for Brain Science（卡尼脑科学研究所）；Brown University（布朗大学）；Centre de Recherche Cerveau et Cognition（脑与认知研究中心）；CNRS（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；Artificial and Natural Intelligence Toulouse Institute（图卢兹人工智能与自然智能研究所）
人类视觉的一个基本组成部分是我们解析复杂视觉场景并判断其组成对象之间关系的能力。近年来，视觉推理的人工智能基准测试推动了快速发展，最先进的系统现在在其中一些基准测试上达到了人类的准确性。然而，在人类和人工智能系统学习新的视觉推理任务的样本效率方面仍然存在重大差距。人类在学习方面的非凡效率至少部分归因于他们利用组合性的能力-这样他们就可以在学习新任务时有效地利用以前获得的知识。在这里，我们介绍了一种新的视觉推理基准，组合视觉关系（CVR），以推动更数据有效的学习算法的发展。我们从流体智能和非语言推理测试中获得灵感，并描述了一种用于大规模创建抽象规则和相关图像数据集组合的新方法。我们提出的基准测试包括样本效率，泛化和跨任务规则的传输，以及利用组合性的能力。我们系统地评估了现代神经架构，并发现令人惊讶的是，在大多数数据体系中，卷积架构在所有性能指标上都超过了基于transformer的架构。然而，所有的计算模型都比人类的数据效率低得多，即使在使用自我监督学习信息丰富的视觉表示之后。总的来说，我们希望我们的挑战将激发人们对开发神经架构的兴趣，这些神经架构可以学会利用组合性实现更有效的学习。
2022-06-11 cs.AI cs.CV
Moral Dilemmas for Artificial Intelligence: a position paper on an application of Compositional Quantum Cognition
University of Oxford（牛津大学）；INSERM（法国国家健康与医学研究院）；Institute for BioEngineering of Catalonia（加泰罗尼亚生物工程研究所）；Pompeu Fabra University（庞培法布拉大学）
传统上，人们评估人工智能（AI）系统性能的方式是通过与人类在特定任务中的表现进行比较，将人类视为高级认知的参考。然而，这些比较忽略了人类智能的重要特征：转移知识和基于情感和理性推理做出复杂决策的能力。这些决策受到当前推断和先前经验的影响，使得决策过程具有很强的主观性和明显的偏见。在这种情况下，组合智能的定义是必要的，以将这些功能纳入未来的AI测试。在这里，一个具体的实施，这将建议，使用量子认知，自然语言和句子的组成意义，由于意义的分类组成模型的最新发展。
2019-11-22 cs.AI cs.CL
Compositional Obverter Communication Learning From Raw Visual Input
Georgia Institute of Technology（佐治亚理工学院）；DeepMind（深度思维）
人类语言的一个显著特点是它的组合性，这使我们能够用有限的词汇来描述复杂的环境。以前，已经表明神经网络代理可以学习以高度结构化的、可能是基于分离的输入（例如，手工设计的特征）的组合语言进行通信。然而，人类并没有学会根据总结良好的特征进行交流。在这项工作中，我们训练神经代理，同时开发从原始图像像素的视觉感知，并学习与一系列离散符号进行通信。智能体玩图像描述游戏，其中图像包含颜色和形状等因素。我们训练代理使用obverter技术，代理introphiles生成的消息，最大限度地提高自己的理解。通过定性分析，可视化和一个zero-shot测试，我们表明，代理可以开发，从原始图像像素，一种语言的成分属性，从环境中给予适当的压力。
2018-04-06 cs.AI cs.CL cs.LG
Compositional Zero-Shot Learning for Attribute-Based Object Reference in Human-Robot Interaction
DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）；University of Denver（丹佛大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对开放世界中对象视觉信息缺失及属性数量无界的挑战，本文提出基于属性的组成式零样本学习方法，在MIT-States和Clothing 16K数据集上验证了机器人能正确识别人类指令所指对象。
2023-12-21 cs.AI cs.CL cs.CV
From Frege to chatGPT: Compositionality in language, cognition, and deep neural networks
本文面向哲学、认知科学等领域读者，综述机器学习领域关于组合性的实证研究，介绍赋予神经网络组合泛化能力的两种方法，指出LLM预训练可视为元学习并带来该能力，探讨其对人类认知研究的启示与未来方向。
2025-09-04 cs.AI cs.LG cs.NE
Compositional Law Parsing with Latent Random Functions
Fudan University（复旦大学）
人的认知具有组合性。我们通过将场景分解为不同的概念来理解场景（例如，物体的形状和位置），并学习这些概念的各自规律，这些规律可以是自然的（例如，运动定律）或人为的（例如，游戏规则）。这些法律的自动解析表明模型的理解场景的能力，这使得法律解析在许多视觉任务中发挥着核心作用。提出了一种用于组合式LAw解析（CLAP）的深层潜变量模型，该模型通过编码-解码架构将场景中的概念表示为潜变量，实现了类似人类的组合能力。CLAP采用神经过程实例化的概念特定的潜在随机函数来捕获概念的规律。我们的实验结果表明，CLAP优于基线方法在多个视觉任务，如直观的物理，抽象的视觉推理，场景表示。通过修改样本上的特定潜在随机函数，法律操作实验说明了CLAP的可解释性。例如，CLAP从场景中移动的球中学习位置变化和外观恒定性的规律，从而可以在样本之间交换规律或将现有的规律组合成新的规律。
2023-02-25 cs.AI cs.CV cs.LG
A Survey on Compositional Learning of AI Models: Theoretical and Experimental Practices
Michigan State University（密歇根州立大学）
本文系统综述了AI模型组合性学习的理论定义、评估基准、计算模型及与认知研究的联系，重点分析语言与视觉模型的前沿组合能力并指出未来研究方向。
2024-11-21 cs.AI
Towards Truly Zero-shot Compositional Visual Reasoning with LLMs as Programmers
Google DeepMind（谷歌DeepMind）
本研究针对LLM作为视觉推理控制器时需人工设计特定上下文示例的问题，提出含时空抽象例程、用少量标注自动生成上下文示例的框架，提升了性能与鲁棒性，免去人工设计成本。
2024-05-14 cs.AI cs.CV cs.LG
Emergence of Grounded Compositional Language in Multi-Agent Populations
OpenAI；UC Berkeley（加州大学伯克利分校）
通过捕获大型语料库中的统计模式，机器学习在自然语言处理方面取得了重大进展，包括机器翻译、问答和情感分析。然而，对于智能体与人类进行智能交互，仅仅捕获统计模式是不够的。在本文中，我们调查，如果，以及如何接地组成语言可以出现作为一种手段，以实现目标的多智能体人口。为此，我们提出了一个多智能体的学习环境和学习方法，带来了一个基本的组成语言的出现。这种语言被表示为代理人随着时间的推移发出的抽象离散符号流，但仍然具有一个具有定义的词汇和语法的连贯结构。我们还观察到非语言交流的出现，如指向和指导时，语言交流是不可用的。
2018-07-24 cs.AI cs.CL
Compositional diversity in visual concept learning
New York University（纽约大学）
本文研究人类在视觉概念学习中的组合泛化能力，提出贝叶斯程序归纳模型和神经符号程序归纳模型，在少样本分类与生成任务中揭示人类和模型如何从已有部件组合出新概念并产生多样化行为。
2023-05-30 cs.AI cs.CV cs.LG
Zero-Shot Generalization using Intrinsically Motivated Compositional Emergent Protocols
Indian Institute of Science（印度科学研究所）
人类语言被描述为一个制造\textit{use of finite means to express an unlimited array of thoughts}的系统。特别感兴趣的是组合性方面，由此，复合语言表达的含义可以从其组成部分的含义中推导出来。如果人工智能体能够开发出类似于人类语言的组合通信协议，它们就可以无缝地推广到看不见的组合。研究已经认识到好奇心在促进儿童语言发展方面的作用。在本文中，我们试图使用这种内在的反馈，诱导一个系统的和明确的原语言。我们演示了组合性如何使代理不仅与看不见的对象进行交互，而且还将技能从一个任务转移到另一个任务中的zero-shot设置：\textit{Can an agent, trained to `pull' and `push twice', `pull twice'?}。
2021-05-11 cs.AI cs.CL
Compositional Processing Emerges in Neural Networks Solving Math Problems
Microsoft（微软）
认知科学中一个长期存在的问题是关于人类认知中组合性的学习机制。人类可以推断结构化关系（例如，语法规则）隐含在他们的感官观察中（例如，听觉语音），并使用这些知识来指导简单的意义组合成复杂的整体。人工神经网络的最新进展表明，当大型模型在足够的语言数据上训练时，语法结构就会出现在它们的表示中。我们将这项工作扩展到数学推理领域，在那里可以制定关于意义如何的精确假设（例如，对应于数字的量）应当根据结构化规则组成（例如，操作顺序）。我们的工作表明，神经网络不仅能够推断出隐含在其训练数据中的结构化关系，而且还可以利用这些知识来指导将单个意义组合成复合整体。
2021-05-19 cs.AI cs.CL cs.LG
Concepts, Properties and an Approach for Compositional Generalization
组合概括是从已知成分中识别和想象大量新颖组合的能力。它是人类智能的关键，但目前的神经网络普遍缺乏这种能力。这份报告连接了我们的一系列工作的合成概括，并总结了一种方法。第一部分包含概念和属性。第二部分研究了机器学习方法。该方法使用架构设计和正则化来调节表示的信息。这份报告侧重于基本思想与直观和说明性的解释。我们希望这项工作将有助于澄清基本的合成泛化，并导致先进的人工智能。
2021-02-08 cs.AI
Evaluating Morphological Compositional Generalization in Large Language Models
EPFL（瑞士联邦理工学院）；Idiap Research Institute（Idiap研究机构）；Duke University（杜克大学）；Brandeis University（布兰迪斯大学）；LMU Munich（慕尼黑大学）；University of Cambridge（剑桥大学）；Johns Hopkins University（约翰霍普金斯大学）；Università della Svizzera Italiana（瑞士意大利大学）；New York University（纽约大学）
本文通过组合性视角系统研究大语言模型在黏着语中的形态泛化能力，设计生成式与判别式任务评估多个先进多语言模型，发现其在面对新词根和复杂形态时性能显著下降且缺乏系统性。
2025-06-05 cs.AI cs.CL
Compositional Attention Networks for Machine Reasoning
Stanford University（斯坦福大学）
我们提出了MAC网络，一种新的完全可微的神经网络架构，旨在促进明确和表达的推理。MAC从单一的黑盒神经架构转向鼓励透明性和多功能性的设计。该模型通过将问题分解为一系列基于注意力的推理步骤来解决问题，每个步骤都由一个新的循环记忆，注意力和组合（MAC）单元执行，该单元保持控制和记忆之间的分离。通过将细胞串在一起并施加调节其相互作用的结构约束，MAC有效地学习执行直接从端到端方法中的数据推断的迭代推理过程。我们在具有挑战性的CLEVR数据集上展示了该模型的强度、鲁棒性和可解释性，实现了最新的98.9%的准确率，将之前最佳模型的出错率减半。更重要的是，我们证明了该模型具有计算效率和数据效率，特别是需要比现有模型少5倍的数据才能获得强大的结果。
2018-04-24 cs.AI
GenAI-Bench: Evaluating and Improving Compositional Text-to-Visual Generation
Carnegie Mellon University（卡内基梅隆大学）；Meta
该研究基于GenAI-Bench评估文本到视觉模型的组合生成能力，发现VQAScore指标优于现有方法，可通过黑盒排序提升生成效果，并发布含超8万条人类评分的基准以推动相关研究。
2024-11-03 cs.AI cs.CL cs.CV
Motion-Oriented Compositional Neural Radiance Fields for Monocular Dynamic Human Modeling
HKUST（香港科技大学）；NAVER Cloud Corp.（NAVER云公司）
本文提出MoCo-NeRF，通过将非刚性运动建模为辐射残差场并利用刚性辐射场先验，实现单目人体视频的高质量自由视点渲染，支持多主体同时训练，性能领先。
2024-07-18 cs.AI cs.CV cs.LG
Directional Non-Commutative Monoidal Structures for Compositional Embeddings in Machine Learning
Swansea University（斯旺西大学）
本研究提出基于定向非交换幺半群算子的多维组合嵌入代数框架，兼具结合律等优良理论性质且兼容现有架构，可统一经典序列建模范式，为深度学习模型设计提供新的理论基础。
2025-05-21 cs.AI cs.CV cs.IR
Towards a neural architecture of language: Deep learning versus logistics of access in neural architectures for compositional processing
University of Twente（特文特大学）
最近，一些文章认为，深度学习模型（如GPT）也可以捕捉人类思维和大脑中语言处理的关键方面。然而，我认为这些模型不适合作为人类语言的神经模型。首先，因为它们在基本的边界条件上失败了，比如它们需要的学习量。这实际上意味着GPT和大脑语言处理的机制是根本不同的。其次，因为它们不具备合成和生产性人类语言处理所需的访问逻辑。神经架构可以拥有基于小世界网络结构的访问逻辑，其中处理不包括符号操作，而是控制激活流。在这种观点下，需要两种互补的方法来研究大脑和认知之间的关系。研究学习方法可以揭示在深度学习中发现的“习得认知”如何在大脑中发展。然而，还应该开发具有访问逻辑的神经架构，以解释自然或人工人类语言处理所需的“生产性认知”。以后，这些方法也许可以结合起来，看看如何通过从更简单的基础上学习和开发来开发这样的架构。
2022-10-19 cs.AI cs.CL cs.NE
Compositional Networks Enable Systematic Generalization for Grounded Language Understanding
MIT（麻省理工学院）
人类在理解新句子时非常灵活，这些句子包含了他们以前从未遇到过的概念组合。最近的研究表明，虽然深度网络在呈现新句子时可以模仿一些人类语言能力，但系统变化揭示了网络语言理解能力的局限性。我们证明，这些限制可以通过解决gSCAN数据集中的泛化挑战来克服，gSCAN数据集明确衡量了智能体能够解释基于视觉的新语言命令的能力，例如，形容词和名词的新奇配对。我们采用的关键原则是组合性：网络的组成结构应该反映它们所解决的问题域的组成结构，同时允许端到端学习其他参数。我们建立了一个通用的机制，使代理，以概括他们的语言理解组成域。至关重要的是，我们的网络具有与先前工作相同的最先进性能，同时在先前工作不具备的情况下推广其知识。我们的网络还提供了一定程度的可解释性，使用户能够检查网络的每个部分都学到了什么。强大的接地语言理解，没有戏剧性的失败，没有角落的情况下，是至关重要的建设安全和公平的机器人，我们证明了组合性可以在实现这一目标中发挥的重要作用。
2021-10-19 cs.AI cs.CL cs.RO
Lessons from Neuroscience for AI: How integrating Actions, Compositional Structure and Episodic Memory could enable Safe, Interpretable and Human-Like AI
通过整合动作、组合结构和事件记忆，改进基础模型以实现安全、可解释和类人的人工智能。
2025-12-27 cs.AI physics.bio-ph q-bio.NC
Compositional Few-Shot Class-Incremental Learning
School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院）；School of Computer Science, Peking University（北京大学计算机学院）
针对少样本类增量学习挑战，提出认知启发的组合模型，通过基元组合与重用模块，利用CKA相似性实现有效且可解释的增量学习，在三个数据集上超越现有方法。
2024-05-27 cs.AI cs.CV
Hierarchical Poset Decoding for Compositional Generalization in Language
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
我们将人类的语言理解形式化为一个结构化的预测任务，其输出是一个偏序集（poset）。现有的编码器-解码器体系结构没有充分考虑语义的偏序集结构，因此组合泛化能力较差。在本文中，我们提出了一个新的层次偏序集解码范式的合成概括的语言。直觉：（1）所提出的范例在语义上强制执行部分置换不变性，从而避免对偏置排序信息的过拟合;（2）分层机制允许捕获偏序集的高级结构。我们评估我们提出的解码器上的组合自由基问题（CFQ），一个大的和现实的自然语言问答数据集，是专门设计来衡量组成的泛化。结果表明，它优于目前的解码器。
2020-10-15 cs.AI cs.CL
Adversarial Concept Search: Predicting Compositional Errors From Feature Geometry
Brown University（布朗大学）；University of Southern California（南加州大学）；Harvard University（哈佛大学）；Boston University（波士顿大学）
利用LLM的表征几何预测其组合失败模式，发现概念编码近正交时可靠组合，编码接近时因干扰导致失败，无需评估具体输入即可预测错误。
2026-06-15 cs.AI
CROP: Expert-Aligned Image Cropping via Compositional Reasoning and Optimizing Preference
Southeast University（东南大学）；Key Laboratory of New Generation Artificial Intelligence Technology（新一代人工智能技术重点实验室）；Alibaba Group（阿里巴巴集团）
本文提出CROP方法，通过组合推理和优化偏好，解决传统图像裁剪方法在复杂场景中难以做出组合权衡和缺乏适应性推理的问题，提升裁剪结果与专家审美的一致性。
2026-05-09 cs.AI cs.CV
Exploring the Compositional Deficiency of Large Language Models in Mathematical Reasoning
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Shanghai Key Laboratory of Intelligent Information Processing, Fudan University（复旦大学上海智能信息处理重点实验室）
本研究构建含逻辑陷阱的MathTrap数据集，发现LLMs虽具备所需知识却无法自发组合以处理数学推理中的新案例，并验证了提示、微调及类人“慢思考”可部分缓解此组合性缺陷。
2024-10-10 cs.AI cs.CL
Evaluating Compositional Scene Understanding in Multimodal Generative Models
Department of Psychology, University of California, Los Angeles（加州大学洛杉矶分校心理学系）；Microsoft Research, NYC（微软研究院纽约分部）；Air Force Research Laboratory（美国空军研究实验室）；Department of Statistics, University of California, Los Angeles（加州大学洛杉矶分校统计学系）
本研究评估了DALL-E 3、GPT-4V等当前多模态生成模型在组合场景理解上的能力，发现其较前代有所提升，但在处理多物体和多重关系的复杂场景时仍远不及人类水平。
2025-03-29 cs.AI cs.CV
Revisiting Iterative Back-Translation from the Perspective of Compositional Generalization
Microsoft Research Asia（微软亚洲研究院）
人类智能表现出合成概括（即，理解和产生可见成分的不可见组合的能力），但目前的神经seq2seq模型缺乏这种能力。在本文中，我们重新审视迭代反向翻译，一个简单而有效的半监督方法，调查它是否以及如何提高组合泛化。在这项工作中：（1）我们首先经验性地表明，迭代回译大大提高了组合泛化基准（CFQ和SCAN）的性能。(2)为了理解为什么迭代反向翻译是有用的，我们仔细检查了性能增益，发现迭代反向翻译可以越来越多地纠正伪并行数据中的错误。(3)为了进一步鼓励这种机制，我们提出了课程迭代回译，更好地提高伪并行数据的质量，从而进一步提高性能。
2020-12-08 cs.AI cs.CL
Compositional Generalization by Learning Analytical Expressions
Beihang University（北京航空航天大学）；Xi’an Jiaotong University（西安交通大学）；Microsoft Research（微软研究院）
组合概括是人类最基本、最重要的思维能力之一，它使我们能够很容易地对已知的部分进行重组。然而，现有的基于神经网络的模型已经被证明在这种能力方面是极其不足的。受认知工作的启发，认为组合性可以通过具有符号功能的变量槽来捕获，我们提出了一个令人耳目一新的观点，将记忆增强的神经模型与分析表达式连接起来，以实现组合概括。我们的模型由两个合作神经模块组成，Composer和Solver，与认知论点非常吻合，同时能够通过分层强化学习算法以端到端的方式进行训练。在著名的基准测试SCAN上的实验表明，我们的模型具有很强的合成泛化能力，以100%的准确率解决了以前的作品所面临的所有挑战。
2020-10-24 cs.AI cs.CL
