Disentangled Action Recognition with Knowledge Bases
University of California, Berkeley(加州大学伯克利分校);Amazon Alexa AI(亚马逊Alexa人工智能部门);Fujitsu Laboratories Ltd.(富士通实验室有限公司);Pennsylvania State University(宾夕法尼亚州立大学)
视频中的动作通常涉及人与物体的交互。动作标签通常由动词和名词的各种组合组成,但我们可能没有所有可能组合的训练数据。在本文中,我们的目标是提高合成动作识别模型的泛化能力,新的动词或新的名词是看不见的训练时间,通过利用知识图谱的力量。以前的工作利用动词-名词组成的动作节点的知识图谱,使其效率低下的规模,因为组成的动作节点的数量的增长二次方相对于动词和名词的数量。为了解决这个问题,我们提出了我们的方法:与知识库(DARK),它利用了固有的组合性的行动的分离动作识别。DARK首先提取动词和名词的分解特征表示,然后使用外部知识图谱中的关系预测分类权重,从而训练因子化模型。动词和名词之间的类型约束是从外部知识库中提取的,并最终应用于组合动作。DARK在对象和动词的数量方面具有更好的可扩展性,并在Charades数据集上实现了最先进的性能。我们进一步提出了一个新的基准分裂的基础上Epic-kitchen数据集,这是一个数量级更大的类和样本的数量级,并基准各种模型在这个基准。
2022-07-04 cs.AI cs.CL cs.CV
Hierarchical Poset Decoding for Compositional Generalization in Language
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
我们将人类的语言理解形式化为一个结构化的预测任务,其输出是一个偏序集(poset)。现有的编码器-解码器体系结构没有充分考虑语义的偏序集结构,因此组合泛化能力较差。在本文中,我们提出了一个新的层次偏序集解码范式的合成概括的语言。直觉:(1)所提出的范例在语义上强制执行部分置换不变性,从而避免对偏置排序信息的过拟合;(2)分层机制允许捕获偏序集的高级结构。我们评估我们提出的解码器上的组合自由基问题(CFQ),一个大的和现实的自然语言问答数据集,是专门设计来衡量组成的泛化。结果表明,它优于目前的解码器。
2020-10-15 cs.AI cs.CL
Learning Algebraic Recombination for Compositional Generalization
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Xi’an Jiaotong University(西安交通大学);Beihang University(北京航空航天大学)
神经序列模型在语义解析任务中表现出有限的组合泛化能力。合成泛化需要代数重组,即,以递归方式动态重组结构化表达式。然而,以往的研究主要集中在词汇单位的重组上,这是代数重组的一个重要部分,但并不充分。在本文中,我们提出了LeAR,一个端到端的神经模型来学习组合泛化的代数重组。关键的洞察力是模型的语义解析任务之间的一个潜在的语法代数和语义代数的同态,从而鼓励代数重组。具体来说,我们共同学习两个模块:一个用于生成潜在语法的Composer和一个用于分配语义操作的Interpreter。两个现实的和全面的组合泛化基准的实验证明了我们的模型的有效性。源代码可在https://github.com/microsoft/ContextualSP上公开获得。
2021-07-14 cs.AI cs.CL
Compositional Generalization by Learning Analytical Expressions
Beihang University(北京航空航天大学);Xi’an Jiaotong University(西安交通大学);Microsoft Research(微软研究院)
组合概括是人类最基本、最重要的思维能力之一,它使我们能够很容易地对已知的部分进行重组。然而,现有的基于神经网络的模型已经被证明在这种能力方面是极其不足的。受认知工作的启发,认为组合性可以通过具有符号功能的变量槽来捕获,我们提出了一个令人耳目一新的观点,将记忆增强的神经模型与分析表达式连接起来,以实现组合概括。我们的模型由两个合作神经模块组成,Composer和Solver,与认知论点非常吻合,同时能够通过分层强化学习算法以端到端的方式进行训练。在著名的基准测试SCAN上的实验表明,我们的模型具有很强的合成泛化能力,以100%的准确率解决了以前的作品所面临的所有挑战。
2020-10-24 cs.AI cs.CL
Revisiting Iterative Back-Translation from the Perspective of Compositional Generalization
Microsoft Research Asia(微软亚洲研究院)
人类智能表现出合成概括(即,理解和产生可见成分的不可见组合的能力),但目前的神经seq2seq模型缺乏这种能力。在本文中,我们重新审视迭代反向翻译,一个简单而有效的半监督方法,调查它是否以及如何提高组合泛化。在这项工作中:(1)我们首先经验性地表明,迭代回译大大提高了组合泛化基准(CFQ和SCAN)的性能。(2)为了理解为什么迭代反向翻译是有用的,我们仔细检查了性能增益,发现迭代反向翻译可以越来越多地纠正伪并行数据中的错误。(3)为了进一步鼓励这种机制,我们提出了课程迭代回译,更好地提高伪并行数据的质量,从而进一步提高性能。
2020-12-08 cs.AI cs.CL
How Do In-Context Examples Affect Compositional Generalization?
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(西安交通大学人工智能与机器人研究所);Microsoft Corporation(微软公司)
该研究提出测试套件CoFe探究上下文学习的组合泛化能力,发现示例选择显著影响性能,明确结构相似、多样且单个简单的示例效果更佳,同时指出虚构词语泛化弱、示例需覆盖语言结构等局限,为上下文学习范式的研究与应用提供参考。
2023-06-09 cs.AI cs.CL
Towards Compositional Generalization of LLMs via Skill Taxonomy Guided Data Synthesis
State Key Laboratory of Complex & Critical Software Environment, Beihang University(复杂与关键软件环境国家重点实验室,北京航空航天大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Beijing Institute of Technology(北京理工大学);Institute of Computing Technology, CAS(中国科学院计算技术研究所)
STEPS通过技能分类引导的数据合成提升大语言模型的组合泛化能力。
2026-01-07 cs.AI cs.CL
Making Transformers Solve Compositional Tasks
Google Research(谷歌研究院)
几项研究已经报道了Transformer模型无法进行组合概括,这是许多NLP任务(如语义解析)中的一种关键类型的概括。在本文中,我们探讨了Transformer模型的设计空间,显示了几个设计决策对模型的归纳偏差显着影响组合泛化。通过这种探索,我们确定了Transformer配置,概括组成显着优于以前在文献中报道的一组不同的合成任务,并实现了最先进的结果,在语义解析合成概括基准(COGS),和字符串编辑操作合成基准(PCFG)。
2022-03-03 cs.AI cs.CL
Improving Compositional Generalization with Self-Training for Data-to-Text Generation
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌);Google Research(谷歌研究院)
数据到文本生成的重点是从结构化的意义表示(MR)生成流畅的自然语言响应。这种表示是组成的,它是昂贵的收集原子意义图式的所有可能的组合的响应,从而需要Few-Shot概括到新的MR。在这项工作中,我们系统地研究了组成概括的国家的最先进的T5模型在Few-Shot数据到文本的任务。我们发现,T5模型无法推广到看不见的MR,我们提出了一个基于模板的输入表示,大大提高了模型的泛化能力。为了进一步提高模型的性能,我们提出了一种基于自训练的方法,使用微调BLEURT进行伪响应选择。在常用的SGD和天气基准测试中,所提出的自训练方法在Few-Shot设置中将树的准确性提高了46%+,并将时隙出错率降低了73%+。
2022-04-11 cs.AI cs.CL
Evaluating Morphological Compositional Generalization in Large Language Models
EPFL(瑞士联邦理工学院);Idiap Research Institute(Idiap研究机构);Duke University(杜克大学);Brandeis University(布兰迪斯大学);LMU Munich(慕尼黑大学);University of Cambridge(剑桥大学);Johns Hopkins University(约翰霍普金斯大学);Università della Svizzera Italiana(瑞士意大利大学);New York University(纽约大学)
本文通过组合性视角系统研究大语言模型在黏着语中的形态泛化能力,设计生成式与判别式任务评估多个先进多语言模型,发现其在面对新词根和复杂形态时性能显著下降且缺乏系统性。
2025-06-05 cs.AI cs.CL
Compositional Generalization Requires Compositional Parsers
Saarland University(萨尔兰大学)
一个快速增长的研究机构对合成泛化研究语义解析器的能力,动态重组训练中看到的语言元素到看不见的序列。我们对最近的COGS语料库(Kim和Linzen,2020)上的序列到序列模型和由组成原则指导的模型进行了系统的比较。尽管seq 2seq模型在词汇任务上表现良好,但在需要新语法结构的结构泛化任务上,它们的准确率接近于零;即使它们被训练来预测语法而不是语义,也是如此。相比之下,组合模型在结构泛化方面达到了近乎完美的准确性;我们提出了来自AM解析器的新结果(Groschwitz et al.,2021年)。我们的研究结果表明,结构泛化是组成泛化的一个关键措施,需要知道复杂结构的模型。
2022-02-24 cs.CL
Zero-Shot Generalization using Intrinsically Motivated Compositional Emergent Protocols
Indian Institute of Science(印度科学研究所)
人类语言被描述为一个制造\textit{use of finite means to express an unlimited array of thoughts}的系统。特别感兴趣的是组合性方面,由此,复合语言表达的含义可以从其组成部分的含义中推导出来。如果人工智能体能够开发出类似于人类语言的组合通信协议,它们就可以无缝地推广到看不见的组合。研究已经认识到好奇心在促进儿童语言发展方面的作用。在本文中,我们试图使用这种内在的反馈,诱导一个系统的和明确的原语言。我们演示了组合性如何使代理不仅与看不见的对象进行交互,而且还将技能从一个任务转移到另一个任务中的zero-shot设置:\textit{Can an agent, trained to `pull' and `push twice', `pull twice'?}。
2021-05-11 cs.AI cs.CL
CNNs found to jump around more skillfully than RNNs: Compositional generalization in seq2seq convolutional networks
CIMeC, University of Trento(特伦托大学心智/脑科学中心);ICREA(加泰罗尼亚研究与高等教育学院);Facebook AI Research(脸书人工智能研究院)
Lake和Baroni(2018)介绍了SCAN数据集,探索seq 2seq模型捕获合成概括的能力,例如从组成词中推断“跳跃”0-shot的含义。递归网络(RNN)被发现在最具挑战性的泛化情况下完全失败。我们在这里测试了卷积网络(CNN)在这些任务上的性能,报告了相对于RNN的巨大改进。尽管有很大的改进,但CNN并没有引入系统的规则,这表明组合行为和非组合行为之间的区别并不明确。
2019-05-21 cs.AI cs.CL cs.LG
Revisiting Compositional Generalization Capability of Large Language Models Considering Instruction Following Ability
Nara Institute of Science and Technology(奈良科学技術大學)
本研究提出Ordered CommonGen基准,通过有序覆盖率同时评估LLMs的组合泛化与指令遵循能力,发现LLMs存在顺序偏见且最强者覆盖率仅约75%,需改进。
2025-06-18 cs.AI cs.CL
ChatGPT as Data Augmentation for Compositional Generalization: A Case Study in Open Intent Detection
Ingenuity Labs Research Institute(创新实验室研究所);Queen’s University(女王大学);Smith School of Business(史密斯商学院);Department of Electrical and Computer Engineering(电气与计算机工程系)
本研究针对开放意图检测的组合泛化挑战,提出用ChatGPT生成合成数据做数据增强的方法,经多基准验证性能优于现有技术,证明大语言模型在自然语言理解数据增强中的潜力。
2023-08-25 cs.AI cs.CL
Towards Compositionally Generalizable Semantic Parsing in Large Language Models: A Survey
University of Florida(佛罗里达大学)
本文综述了大语言模型在语义解析任务中组合泛化能力的局限性、改进方法和评估方案,为相关研究提供了起点。
2024-04-15 cs.AI cs.CL
Improving Compositional Generalization in Math Word Problem Solving
East China Normal University(华东师范大学);Singapore Management University(新加坡管理大学)
组合泛化是指模型基于在训练期间观察到的数据组件泛化到新组合的输入数据的能力。由于概括是语言和问题解决技能的一个重要方面,它引发了一系列关于不同任务的合成概括分析。然而,对数学应用题(MWPs)的类似讨论是有限的。本文研究了MWP求解中的合成泛化问题。具体来说,我们首先介绍了一种数据分割方法,从现有的MWP数据集创建组合分裂。同时,我们综合数据来隔离成分的影响。为了提高MWP求解中的组合泛化能力,我们提出了一种迭代数据增强方法,该方法将不同的组合变化纳入训练数据中,并可与MWP方法协作。在评估过程中,我们检查了一组方法,发现它们在评估的数据集上都遇到了严重的性能损失。我们还发现我们的数据增强方法可以显着提高一般MWP方法的合成概括。代码可在https://github.com/demoleiwang/CGMWP上获得。
2022-09-03 cs.CL
The Role of Linguistic Priors in Measuring Compositional Generalization of Vision-Language Models
Duke University(杜克大学);AWS AI, Amazon(亚马逊AWS人工智能);Stanford University(斯坦福大学)
本文研究视觉-语言模型的组合泛化评估问题,指出现有改进主要依赖语言先验而非图像信息,并提出一种去除语言先验的新型组合性度量。
2023-10-04 cs.CL
Compositional Generalization via Semantic Tagging
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
尽管神经序列到序列模型已经成功地应用于语义解析,但是它们在合成泛化方面失败,即,它们不能系统地归纳出可见成分的不可见成分。出于传统的语义解析,组合性是明确占符号语法,我们提出了一个新的解码框架,保留了表达性和一般性的序列到序列模型,同时具有词典风格的路线和解开信息处理。具体来说,我们分解解码成两个阶段,其中输入的话语是第一次标记的语义符号表示的含义的个别单词,然后序列到序列模型被用来预测最终的意义表示条件的话语和预测的标签序列。在三个语义解析数据集上的实验结果表明,该方法一致地提高了跨模型架构、域和语义形式主义的组合泛化能力。
2021-09-09 cs.CL
Compositional generalization through meta sequence-to-sequence learning
New York University(纽约大学)
人们可以学习一个新的概念,并在组合中使用它,在学习如何“blicket”之后,理解如何“blicket twice”。相比之下,强大的序列到序列(seq2seq)神经网络无法通过这种组合性测试,特别是在将新概念与现有概念组合在一起时。在本文中,我展示了如何通过Meta seq2seq学习来训练记忆增强的神经网络进行组合概括。在这种方法中,模型对一系列seq2seq问题进行训练,以获得解决新seq2seq问题所需的组合技能。Meta se2seq学习解决了组合学习的几个SCAN测试,并且可以学习将隐式规则应用于变量。
2019-10-08 cs.AI cs.CL cs.LG
Improving Compositional Generalization in Semantic Parsing
Tel-Aviv University(特拉维夫大学);University of Pennsylvania(宾夕法尼亚大学);Allen Institute for AI(艾伦人工智能研究所)
推广模型的分布外(OOD)的数据最近引起了极大的关注。具体而言,成分概括,即,模型是否推广到由训练期间观察到的组件构建的新结构,已经引起了极大的兴趣。在这项工作中,我们调查的组成概括的语义解析,一个自然的测试床组成概括,作为输出程序的子组件。我们分析了各种各样的模型,并提出了多个扩展的语义解析器的注意力模块,旨在提高合成泛化。我们发现,以下因素提高了合成泛化:(a)使用上下文表示,如ELMo和BERT,(b)通知解码器什么输入令牌先前已经注意到,(c)训练解码器注意力与预先计算的令牌对齐,以及(d)下采样对应于频繁的程序模板的例子。虽然我们大大减少了分布和OOD泛化之间的差距,但OOD组合的性能仍然很低。
2020-10-12 cs.CL
Compositional Generalization Across Distributional Shifts with Sparse Tree Operations
Johns Hopkins University(约翰斯·霍普金斯大学);University of Edinburgh(爱丁堡大学);Microsoft Research(微软研究院)
提出统一的神经符号系统Differentiable Tree Machine的改进方法,通过稀疏向量表示提升效率并扩展至seq2seq问题,在保留泛化能力的同时避免传统符号计算缺陷。
2024-12-18 cs.AI cs.CL
Compositionality and Generalization in Emergent Languages
Cognitive Machine Learning (ENS - EHESS - PSL Research University - CNRS - INRIA)(认知机器学习(巴黎高等师范学院 - 社会科学高等学院 - 巴黎文理研究大学 - 法国国家科学研究中心 - 法国国家信息与自动化研究所));Facebook AI Research(Facebook人工智能研究院);ICREA(ICREA(加泰罗尼亚研究与高等教育机构))
自然语言允许我们通过根据系统规则组合表示其部分的表达式来引用新的复合概念,该属性称为\emph{compositionality}。在本文中,我们研究了在深度多智能体模拟中出现的语言是否具有类似的引用新的原始组合的能力,以及它是否通过类似于人类语言组合的策略来实现这一壮举。配备了新的方法来衡量涌现语言的组合性启发解开表示学习,我们建立了三个主要结果。首先,如果输入空间足够大,涌现语言自然会发展出引用新的复合概念的能力。第二,一种新出现的语言的组合性程度和它的概括能力之间没有相关性。第三,虽然组合性不是泛化所必需的,但它在语言传播方面提供了优势:一种语言的组合性越强,新学习者就越容易掌握它,即使后者在结构上与原始代理不同。我们的结论是,复合性并不是来自简单的泛化压力,但如果一种新兴语言确实偶然遇到它,它将更有可能生存和繁荣。
2020-04-20 cs.AI cs.CL cs.LG
Rearranging the Familiar: Testing Compositional Generalization in Recurrent Networks
Facebook AI Research(脸书人工智能研究院);New York University(纽约大学)
系统组合性是将有意义的单位与规则和可预测的结果重新组合的能力,它被视为人类语言概括能力的关键。最近的工作研究了现代seq2seq模型中的系统组合性,在接地环境中使用泛化到新的导航指令作为探测工具,要求模型快速引导新单词的含义。我们在这里将这个框架扩展到模型只需要在新的上下文中重新组合训练有素的功能词(如“around”和“right”)的设置。我们的研究结果证实并加强了早期的研究结果:seq2seq模型可以令人印象深刻地善于推广到以前看到的输入的新组合,但只有当它们接受了关于要推广的特定模式的广泛训练时(例如,从“右周围X”到“右周围跳跃”的许多示例中概括),而当概括需要合成规则的新颖应用时失败(例如,从“右”和“左右”的含义推断“左右”的含义)。
2018-07-19 cs.AI cs.CL cs.LG
Revisiting the Compositional Generalization Abilities of Neural Sequence Models
Microsoft Research India(微软印度研究院);University of Oxford(牛津大学)
组合概括是人类的一个基本特征,使我们能够毫不费力地将已知的短语组合成新的句子。最近的研究表明,标准的seq-to-seq模型严重缺乏组合概括的能力。在本文中,我们专注于流行的SCAN基准介绍了一次原始的泛化。我们证明,以简单直观的方式修改训练分布使标准seq-to-seq模型能够实现近乎完美的泛化性能,从而表明它们的组合泛化能力以前被低估了。我们对这一现象进行了详细的实证分析。我们的研究结果表明,模型的泛化性能是高度敏感的训练数据的特点,应仔细考虑,在未来设计这样的基准。
2022-03-14 cs.CL
Exploring Continual Learning of Compositional Generalization in NLI
Heidelberg University(海德堡大学)
本文提出C2Gen NLI挑战,探讨持续学习对NLI组合泛化的影响,发现模型在持续场景下泛化失败,但通过合理排序子任务及利用依赖关系可增强该能力。
2024-07-25 cs.CL
Improving Compositional Generalization in Classification Tasks via Structure Annotations
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
组合泛化是通过组合已知组件系统地泛化到新数据分布的能力。虽然人类似乎有很强的概括能力,但最先进的神经模型很难做到这一点。在这项工作中,我们研究了分类任务中的合成泛化,并提出了两个主要贡献。首先,我们研究如何将自然语言序列到序列数据集转换为分类数据集,也需要组合泛化。第二,我们表明,提供结构提示(特别是,提供解析树和实体链接作为Transformer模型的注意掩码)有助于组合泛化。
2021-06-19 cs.CL cs.LG
Improving Compositional Generalization with Latent Structure and Data Augmentation
Google Research(谷歌研究院)
一般的非结构化神经网络已经被证明在分布外的组合泛化上挣扎。通过示例重组的组合数据增强已经将关于组合性的一些先验知识转移到用于若干语义解析任务的这种黑盒神经模型,但是这通常需要特定于任务的工程或提供有限的增益。我们提出了一个更强大的数据重组方法,使用一个名为组合结构学习器(CSL)的模型。CSL是一个具有准同步上下文无关文法主干的生成模型,我们从训练数据中归纳出该主干。我们从CSL中抽取重组样本,并将其添加到预训练序列到序列模型(T5)的微调数据中。这个过程有效地转移CSL的成分偏差的T5诊断任务,并导致在两个现实世界的合成泛化任务的模型甚至比T5-CSL合奏。这导致新的国家的最先进的性能,这些具有挑战性的语义解析任务,需要推广到自然语言的变化和新颖的成分。
2022-05-04 cs.CL
An explainable transformer circuit for compositional generalization
Massachusetts Institute of Technology(麻省理工学院);McGovern Institute(麦戈文研究所);New York University(纽约大学);Howard Hughes Medical Institute(霍华德·休斯医学研究所)
本研究识别并机制性解释了紧凑Transformer中负责组合归纳的电路,通过因果消融验证并以类程序描述其运作,证明该理解可实现精确激活编辑以可控引导模型行为,推进了Transformer可解释性与模型控制研究。
2025-02-19 cs.AI cs.CL cs.LG
Unobserved Local Structures Make Compositional Generalization Hard
Tel-Aviv University(特拉维夫大学);University of California Irvine(加州大学欧文分校)
虽然最近的工作令人信服地表明,序列到序列模型很难推广到新的组合(称为组合泛化),但很少有人知道是什么让组合泛化在特定的测试实例上很难。在这项工作中,我们调查是什么因素,使推广到某些测试实例的挑战。我们首先证实,确实有些例子比其他人更困难,表明不同的模型始终失败或成功的相同的测试实例。然后,我们提出了一个示例难度的标准:如果测试实例包含在训练时未观察到的局部结构,则该测试实例很难。我们制定了一个简单的决策规则的基础上,这个标准和经验表明,它预测实例级泛化以及在5个不同的语义解析数据集,大大优于替代决策规则。最后,我们展示了可以利用局部结构来创建困难的对抗性组合分裂,并通过策略性地选择训练集的示例来提高有限训练预算下的组合泛化。
2022-10-22 cs.CL
COGS: A Compositional Generalization Challenge Based on Semantic Interpretation
Johns Hopkins University(约翰斯·霍普金斯大学);New York University(纽约大学)
自然语言的特点是组合性:一个复杂表达式的意义是由其组成部分的意义构成的。为了便于评估语言处理架构的组合能力,我们引入了COGS,一个基于英语片段的语义解析数据集。COGS的评估部分包含多个系统性缺口,这些缺口只能通过合成概括来解决;这些缺口包括熟悉句法结构的新组合,或熟悉单词和熟悉结构的新组合。在使用Transformers和LSTM的实验中,我们发现在COGS测试集上的分布准确度接近完美(96- 99%),但泛化准确度低得多(16- 35%),并且对随机种子表现出高敏感性($\pm$ 6- 8%)。这些发现表明,当代标准的NLP模型在其成分概括能力方面是有限的,并将COGS定位为衡量进展的好方法。
2020-10-12 cs.CL
Can LLM find the green circle? Investigation and Human-guided tool manipulation for compositional generalization
Virginia Tech(弗吉尼亚理工大学);George Mason University(乔治梅森大学)
针对大语言模型组合泛化潜力未明、现有ICL方法易因长推理累积误差难处理复杂组合问题的情况,提出人类引导的工具操纵框架HTM,以少量人力提升工具效用,在两个基准上达SOTA,最难测试集性能提升70%。
2023-12-12 cs.CL
Analyzing the Inner Workings of Transformers in Compositional Generalization
The University of Tokyo(东京大学)
本研究通过定位泛化相关子网络与句法特征因果分析,探究Transformer的组合泛化内部机制,发现高性能子网络兼具句法特征依赖与非组合算法,且后者于训练早期习得。
2025-02-21 cs.CL
Benchmarking and Improving Compositional Generalization of Multi-aspect Controllable Text Generation
University of Science and Technology of China(中国科学技术大学);City University of Hong Kong(香港城市大学);Beijing University of Posts and Telecommunications(北京邮电大学);Nanyang Technological University(南洋理工大学)
针对多方面可控文本生成(MCTG)缺乏组合泛化评估基准及现有方法组合测试性能下降的问题,提出CompMCTG基准与融合元学习的Meta-MCTG训练框架,有效提升了模型的组合泛化能力。
2024-06-03 cs.CL
Compositional Generalization and Natural Language Variation: Can a Semantic Parsing Approach Handle Both?
Google Research(谷歌研究院)
序列到序列模型擅长处理自然语言变化,但已被证明与分布外的组合泛化的斗争。这激发了具有更强成分偏差的新的专门架构,但这些方法中的大多数仅在合成生成的数据集上进行了评估,这些数据集并不代表自然语言的变化。在这项工作中,我们问:我们可以开发一个语义解析的方法,既处理自然语言的变化和组成的概括?为了更好地评估这种能力,我们提出了新的非合成数据集的训练和测试分裂。我们证明,强大的现有方法在广泛的评估中表现不佳。我们还提出了NQG-T5,这是一种混合模型,将高精度的基于语法的方法与预训练的序列到序列模型相结合。它在非合成数据上的几个合成泛化挑战方面优于现有方法,同时在标准评估方面也与最先进的方法竞争。虽然还远远没有解决这个问题,我们的研究突出了多样的评价和开放的挑战,处理组合泛化和自然语言变化的语义解析的重要性。
2021-06-01 cs.CL
Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
系统组合性是人类语言中的一种基本机制,它允许已知部分的重组来创造新的表达。然而,现有的神经模型已经被证明缺乏这种学习符号结构的基本能力。由于Transformer模型在SCAN组合性挑战(Lake和Baroni,2018)中失败,需要将命令解析为动作,我们提出了两个辅助序列预测任务,用于跟踪函数和参数语义的进展,作为额外的训练监督。这些自动生成的序列更能代表输入数据的底层组成符号结构。在推理过程中,模型在每一步联合预测辅助序列中的下一个动作和下一个标记。在SCAN数据集上的实验表明,我们的方法鼓励Transformer理解命令的组合结构,将其在多个具有挑战性的拆分上的准确率从<= 10%提高到100%。在只有418个(5%)训练实例的情况下,我们的方法在MCD1分割上仍然达到了97.8%的准确率。因此,我们认为,组合性可以诱导在Transformers给予最小的,但适当的指导。我们还表明,更好的结果是实现使用较少的上下文向量作为注意力的查询,实现系统的组合性的架构选择提供见解。最后,我们展示了对PulledSCAN任务的积极推广结果(Ruis等人,2020年)。我们的代码可在https://github.com/jiangycTarheel/compositional-auxseq上公开获取
2021-09-30 cs.AI cs.CL cs.LG
Compositional Generalization in Spoken Language Understanding
Amazon Alexa(亚马逊Alexa);Samsung Research America(三星美国研究院)
针对口语理解模型在有限数据下缺乏组合泛化的问题,本文提出首个组合性SLU模型,通过组合性损失和配对训练,在ATIS和SNIPS上显著优于BERT SLU模型。
2023-12-25 cs.CL
The Mystery of Compositional Generalization in Graph-based Generative Commonsense Reasoning
Heidelberg University(海德堡大学)
针对大语言模型组合泛化能力存疑的问题,提出基于推理图的CGGC挑战,评估发现7种知名LLM表现不佳,分析推理图结构难度后提出由易到难的样本组织方式可提升其组合泛化能力。
2024-10-08 cs.CL
Linguistic generalization and compositionality in modern artificial neural networks
Catalan Institute for Advanced Studies and Research(加泰罗尼亚高等研究院);Universitat Pompeu Fabra(庞培法布拉大学);Facebook Artificial Intelligence Research(Facebook人工智能研究院)
在过去的十年中,深度人工神经网络在许多自然语言处理任务中取得了惊人的性能。鉴于语言的高生产力,这些模型必须具有有效的泛化能力。人们普遍认为,人类通过代数组合规则来处理语言生产力:深层网络也是如此吗?在回顾了当前深度语言处理网络的主要创新之后,我讨论了一系列研究,这些研究表明,深度网络能够进行微妙的语法依赖性概括,但它们也不依赖于系统的组成规则。我认为,有趣的行为,这些设备(仍在等待一个充分的理解)应该感兴趣的语言学家和认知科学家,因为它提供了一个新的视角,可能的计算策略,以处理语言生产力超越基于规则的组合性,它可能会导致新的见解不太系统的泛化模式,也出现在自然语言。
2019-06-26 cs.CL
Compositional Generalization for Multi-label Text Classification: A Data-Augmentation Approach
Wuhan University(武汉大学);Monash University(莫纳什大学)
针对多标签文本分类模型对组合概念泛化能力不足的问题,提出利用两个创新文本生成模型进行数据增强的方法,在三个基准上显著提升组合泛化性能。
2023-12-20 cs.CL
Simple and effective data augmentation for compositional generalization
Saarland University(萨尔兰大学)
本文研究 seq2seq 模型的组合泛化难题,发现对 MR 采样并回译的数据增强在采用均匀分布时效果接近测试分布采样,并显著优于训练分布采样,同时实验分析了收益来源。
2024-01-18 cs.CL
Seen to Unseen: Exploring Compositional Generalization of Multi-Attribute Controllable Dialogue Generation
Meituan(美团);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出DCG模型,通过属性提示向量和解耦损失实现多属性可控对话生成的组合泛化,并设计统一无参考评估框架,在两个基准上验证了有效性。
2023-06-17 cs.CL
Compositional Networks Enable Systematic Generalization for Grounded Language Understanding
MIT(麻省理工学院)
人类在理解新句子时非常灵活,这些句子包含了他们以前从未遇到过的概念组合。最近的研究表明,虽然深度网络在呈现新句子时可以模仿一些人类语言能力,但系统变化揭示了网络语言理解能力的局限性。我们证明,这些限制可以通过解决gSCAN数据集中的泛化挑战来克服,gSCAN数据集明确衡量了智能体能够解释基于视觉的新语言命令的能力,例如,形容词和名词的新奇配对。我们采用的关键原则是组合性:网络的组成结构应该反映它们所解决的问题域的组成结构,同时允许端到端学习其他参数。我们建立了一个通用的机制,使代理,以概括他们的语言理解组成域。至关重要的是,我们的网络具有与先前工作相同的最先进性能,同时在先前工作不具备的情况下推广其知识。我们的网络还提供了一定程度的可解释性,使用户能够检查网络的每个部分都学到了什么。强大的接地语言理解,没有戏剧性的失败,没有角落的情况下,是至关重要的建设安全和公平的机器人,我们证明了组合性可以在实现这一目标中发挥的重要作用。
2021-10-19 cs.AI cs.CL cs.RO
DiNeR: a Large Realistic Dataset for Evaluating Compositional Generalization
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
本文提出菜名识别任务DiNeR,构建包含3,811道菜和228,114条食谱的大规模真实中文数据集,以更丰富的语言现象和组合多样性评估组合泛化,并提供基于T5和大语言模型的基线方法。
2024-06-07 cs.CL
Span-based Semantic Parsing for Compositional Generalization
Tel-Aviv University(特拉维夫大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
尽管序列到序列(seq2seq)模型在语义解析中取得了成功,但最近的工作表明它们在组合泛化中失败,即,在训练过程中观察到的组件构建的新结构的能力。在这项工作中,我们认为一个基于跨度的解析器应该导致更好的组合泛化。我们提出SpanBasedSP,一个分析器,预测一个输入话语的生成树,明确编码部分程序如何组成的跨度在输入。SpanBasedSP扩展了Pasupat et al.(2019),使其与seq2seq模型相当,方法是(i)从程序中进行训练,不访问黄金树,将树视为潜在变量,(ii)通过对标准CKY的扩展来解析一类非投影树。在GeoQuery、SCAN和CLOSURE数据集上,SpanBasedSP在随机拆分上的性能与强seq2seq基线相似,但与需要组合泛化的拆分基线相比,性能显著提高:从$61.0 \rightarrow 88.9$平均精度。
2021-06-13 cs.CL
Emergent Language Generalization and Acquisition Speed are not tied to Compositionality
Facebook AI(Facebook人工智能);ICREA
当神经代理进行通信以解决联合任务时出现的离散语言的研究通常会寻找组成结构的证据。这源于这样一种期望,即这种结构将允许代理更快地获得语言,并使它们能够更好地泛化。我们认为,这些有益的属性只是松散地连接到组合。在两个实验中,我们证明,根据任务,非组合语言可能会表现出相同的,或更好的,泛化性能和采集速度比组合的。该领域的进一步研究应该更清楚地了解组合性的预期好处,以及后者将如何导致它们。
2020-04-25 cs.CL cs.LG
Measuring and Improving Compositional Generalization in Text-to-SQL via Component Alignment
Queen Mary University of London(伦敦玛丽女王大学);UC Berkeley(加州大学伯克利分校);Jožef Stefan Institute(约瑟夫·斯特凡研究所);Nanning Central Sub-branch of the People’s Bank of China(中国人民银行南宁中心支行)
在文本到SQL的任务中--就像在大多数NLP中一样--组合泛化是一个主要的挑战:神经网络在训练和测试分布不同的情况下与组合泛化作斗争。然而,最近试图改善这一点是基于单词级的合成数据或特定的数据集分裂,以产生成分偏见。在这项工作中,我们提出了一个子句级的组合示例生成方法。我们首先将Spider text-to-SQL数据集中的句子拆分为子句子,用相应的SQL子句注释每个子句子,从而生成一个新的数据集Spider-SS。然后,我们构建了一个进一步的数据集,蜘蛛CG,通过组成蜘蛛SS子句子在不同的组合,测试模型的能力,组成概括。实验表明,现有的模型在Spider-CG上进行评估时,即使在训练过程中看到每个子句子,也会出现显着的性能下降。为了解决这个问题,我们修改了一些国家的最先进的模型,训练的Spider-SS的分割数据,我们表明,这种方法提高了泛化性能。
2022-05-04 cs.CL
Blackbird's language matrices (BLMs): a new benchmark to investigate disentangled generalisation in neural networks
University of Geneva(日内瓦大学)
机器学习架构的当前成功是基于计算上昂贵的算法和令人望而却步的大量数据。我们需要开发任务和数据来训练网络,以达到更复杂、更组合的技能。在本文中,我们举例说明了黑鸟语言矩阵(BLM),这是一种新型语法数据集,旨在测试雷文渐进矩阵的语言变体,雷文渐进矩阵是一种通常基于视觉刺激的智力测试。该数据集由44800个句子组成,生成性地构建以支持对当前模型对语法一致性规则的语言掌握及其概括能力的调查。我们提出了数据集的逻辑,大规模自动构建数据的方法以及学习它们的架构。通过对数据集变化的错误分析和几个实验,我们证明了这种语言任务和实例化它的数据提供了一个新的具有挑战性的测试平台来理解概括和抽象。
2022-05-22 cs.CL
Compositional Generalization in Semantic Parsing: Pre-training vs. Specialized Architectures
Google Research, Brain Team(谷歌研究院大脑团队)
虽然已知主流机器学习方法具有有限的合成概括能力,但仍不断提出新的架构和技术来解决这一限制。我们调查国家的最先进的技术和架构,以评估其有效性,以提高成分概括的语义解析任务的基础上的SCAN和CFQ数据集。我们发现,掩蔽语言模型(MLM)的预训练对手的扫描启发的架构上的原始的坚持分裂。在一个更复杂的组合任务中,我们表明,与可比的非预训练模型相比,预训练导致性能的显着改善,而建议鼓励在SCAN或算法学习领域进行组合泛化的架构未能导致显着改善。我们使用MLM预训练和中间表示在CFQ组合泛化基准上建立了一个新的最新技术水平。
2021-09-22 cs.CL cs.LG
Compositional Generalization for Natural Language Interfaces to Web APIs
Microsoft Research(微软研究院);Microsoft(微软)
本文介绍了Okapi,一个新的数据集自然语言可执行的Web应用程序编程接口(NL2API)。这个数据集是英文的,包含22,508个问题和9,019个独特的API调用,覆盖三个领域。我们为NL2API定义了新的组合泛化任务,这些任务探索了模型从训练集中的简单API调用推断到推理阶段的新的和更复杂的API调用的能力。此外,这些模型需要生成正确执行的API调用,而不是使用占位符值评估查询的现有方法。我们的数据集是不同于大多数现有的组合语义解析数据集,因为它是一个非合成的数据集,在低资源的设置研究组合泛化。Okapi是朝着创建现实的数据集和基准的方向迈出的一步,用于研究与现有数据集和任务一起进行的合成泛化。我们报告了在各种SCAN和Okapi数据集任务上训练的序列到序列基线模型的泛化能力。当从简单的API调用推广到更复杂的API调用时,最好的模型达到了15%的精确匹配精度。这突出了未来研究的一些挑战。Okapi数据集和任务可在https://aka.ms/nl2api/data上公开获取。
2021-12-09 cs.CL
Compositional Generalization in Multilingual Semantic Parsing over Wikidata
University of Copenhagen(哥本哈根大学)
语义解析(SP)允许人类通过自然交互来利用大量的知识资源。然而,解析器大多是针对英语资源设计和评估的,例如CFQ(Keysers等人,2020),目前的标准基准基于从语法规则生成的英语数据,并面向Freebase,一个过时的知识库。我们提出了一种方法,用于创建一个多语言的,并行的数据集的问题查询对,接地在维基数据。我们引入这样一个数据集,我们称之为多语言组成维基数据问题(MCWQ),并使用它来分析组成的概括语义分析器在希伯来语,卡纳达语,中文和英文。虽然语言内泛化在不同语言之间是可比的,但zero-shot跨语言迁移的实验表明,跨语言合成泛化失败,即使使用最先进的预训练多语言编码器也是如此。此外,我们的方法,数据集和结果将有助于未来的研究SP在更现实和更多样化的设置比已经可能与现有资源。
2022-05-31 cs.CL
Siamese recurrent networks learn first-order logic reasoning and exhibit zero-shot compositional generalization
University of Amsterdam(阿姆斯特丹大学)
神经网络可以学习逻辑吗?我们用当前的方法来处理这个经典问题,并证明了递归神经网络可以学习识别表达式之间的一阶逻辑蕴涵关系。我们在一阶谓词逻辑中定义了一种人工语言,生成了一个大型的样本“数据集”,并使用自动定理证明器来推断这些句子的随机对之间的关系。我们描述了一个暹罗神经架构训练预测的逻辑关系,并与递归和递归网络的实验。Siamese递归网络在蕴涵识别任务中取得了惊人的成功,在新句子(由已知单词组成)上达到了近乎完美的性能,甚至优于递归网络。我们报告了一系列的实验,以测试的能力的模型进行组合泛化。特别是,我们研究他们如何处理看不见的长度的句子,和句子包含看不见的话。我们发现,设置使用LSTM和GRU在这些测试中获得高分,表现出一种形式的组合。
2019-06-01 cs.AI cs.CL cs.LG
Data Factors for Better Compositional Generalization
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本研究针对从头训练模型在组合泛化诊断数据集上表现差、而大通用数据集训练模型泛化性好的矛盾,通过实验分析数据因素对Transformer组合泛化的影响,揭示复杂度增益的双维度及不同难度样本的作用,提出均衡混合样本可实现最强泛化。
2023-11-08 cs.AI cs.CL cs.LG
When Can Transformers Ground and Compose: Insights from Compositional Generalization Benchmarks
I2R, A*STAR Singapore(新加坡科技研究局信息通信研究院);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);Microsoft Research India(微软印度研究院)
人类可以进行成分推理,同时将语言话语与现实世界联系起来。最近的基准测试,如ReaSCAN,使用基于网格世界的导航任务来评估神经模型是否表现出类似的能力。在这项工作中,我们提出了一个简单的基于transformer的模型,优于ReaSCAN和gSCAN的修改版本的专门架构。在分析任务时,我们发现,在网格世界中识别目标位置是模型的主要挑战。此外,我们还证明了测试深度泛化的ReaSCAN中的一个特定分裂是不公平的。在这种分裂的修正版本,我们表明,Transformers可以推广到更深的输入结构。最后,我们设计了一个更简单的接地合成泛化任务,RefEx,调查Transformers的原因组成。我们表明,一个单一的自我注意力层与一个单一的头概括为新的组合的对象属性。此外,我们推导出一个精确的数学构造的Transformer的计算从学习网络。总的来说,我们提供了有价值的见解接地合成泛化任务和Transformers的行为,这将是有用的研究人员在这一领域的工作。
2022-10-31 cs.CL