Revisiting the Compositional Generalization Abilities of Neural Sequence Models
Microsoft Research India(微软印度研究院);University of Oxford(牛津大学)
组合概括是人类的一个基本特征,使我们能够毫不费力地将已知的短语组合成新的句子。最近的研究表明,标准的seq-to-seq模型严重缺乏组合概括的能力。在本文中,我们专注于流行的SCAN基准介绍了一次原始的泛化。我们证明,以简单直观的方式修改训练分布使标准seq-to-seq模型能够实现近乎完美的泛化性能,从而表明它们的组合泛化能力以前被低估了。我们对这一现象进行了详细的实证分析。我们的研究结果表明,模型的泛化性能是高度敏感的训练数据的特点,应仔细考虑,在未来设计这样的基准。
2022-03-14 cs.CL
Exploring Continual Learning of Compositional Generalization in NLI
Heidelberg University(海德堡大学)
本文提出C2Gen NLI挑战,探讨持续学习对NLI组合泛化的影响,发现模型在持续场景下泛化失败,但通过合理排序子任务及利用依赖关系可增强该能力。
2024-07-25 cs.CL
Improving Compositional Generalization with Latent Structure and Data Augmentation
Google Research(谷歌研究院)
一般的非结构化神经网络已经被证明在分布外的组合泛化上挣扎。通过示例重组的组合数据增强已经将关于组合性的一些先验知识转移到用于若干语义解析任务的这种黑盒神经模型,但是这通常需要特定于任务的工程或提供有限的增益。我们提出了一个更强大的数据重组方法,使用一个名为组合结构学习器(CSL)的模型。CSL是一个具有准同步上下文无关文法主干的生成模型,我们从训练数据中归纳出该主干。我们从CSL中抽取重组样本,并将其添加到预训练序列到序列模型(T5)的微调数据中。这个过程有效地转移CSL的成分偏差的T5诊断任务,并导致在两个现实世界的合成泛化任务的模型甚至比T5-CSL合奏。这导致新的国家的最先进的性能,这些具有挑战性的语义解析任务,需要推广到自然语言的变化和新颖的成分。
2022-05-04 cs.CL
Unobserved Local Structures Make Compositional Generalization Hard
Tel-Aviv University(特拉维夫大学);University of California Irvine(加州大学欧文分校)
虽然最近的工作令人信服地表明,序列到序列模型很难推广到新的组合(称为组合泛化),但很少有人知道是什么让组合泛化在特定的测试实例上很难。在这项工作中,我们调查是什么因素,使推广到某些测试实例的挑战。我们首先证实,确实有些例子比其他人更困难,表明不同的模型始终失败或成功的相同的测试实例。然后,我们提出了一个示例难度的标准:如果测试实例包含在训练时未观察到的局部结构,则该测试实例很难。我们制定了一个简单的决策规则的基础上,这个标准和经验表明,它预测实例级泛化以及在5个不同的语义解析数据集,大大优于替代决策规则。最后,我们展示了可以利用局部结构来创建困难的对抗性组合分裂,并通过策略性地选择训练集的示例来提高有限训练预算下的组合泛化。
2022-10-22 cs.CL
COGS: A Compositional Generalization Challenge Based on Semantic Interpretation
Johns Hopkins University(约翰斯·霍普金斯大学);New York University(纽约大学)
自然语言的特点是组合性:一个复杂表达式的意义是由其组成部分的意义构成的。为了便于评估语言处理架构的组合能力,我们引入了COGS,一个基于英语片段的语义解析数据集。COGS的评估部分包含多个系统性缺口,这些缺口只能通过合成概括来解决;这些缺口包括熟悉句法结构的新组合,或熟悉单词和熟悉结构的新组合。在使用Transformers和LSTM的实验中,我们发现在COGS测试集上的分布准确度接近完美(96- 99%),但泛化准确度低得多(16- 35%),并且对随机种子表现出高敏感性($\pm$ 6- 8%)。这些发现表明,当代标准的NLP模型在其成分概括能力方面是有限的,并将COGS定位为衡量进展的好方法。
2020-10-12 cs.CL
Can LLM find the green circle? Investigation and Human-guided tool manipulation for compositional generalization
Virginia Tech(弗吉尼亚理工大学);George Mason University(乔治梅森大学)
针对大语言模型组合泛化潜力未明、现有ICL方法易因长推理累积误差难处理复杂组合问题的情况,提出人类引导的工具操纵框架HTM,以少量人力提升工具效用,在两个基准上达SOTA,最难测试集性能提升70%。
2023-12-12 cs.CL
Analyzing the Inner Workings of Transformers in Compositional Generalization
The University of Tokyo(东京大学)
本研究通过定位泛化相关子网络与句法特征因果分析,探究Transformer的组合泛化内部机制,发现高性能子网络兼具句法特征依赖与非组合算法,且后者于训练早期习得。
2025-02-21 cs.CL
Benchmarking and Improving Compositional Generalization of Multi-aspect Controllable Text Generation
University of Science and Technology of China(中国科学技术大学);City University of Hong Kong(香港城市大学);Beijing University of Posts and Telecommunications(北京邮电大学);Nanyang Technological University(南洋理工大学)
针对多方面可控文本生成(MCTG)缺乏组合泛化评估基准及现有方法组合测试性能下降的问题,提出CompMCTG基准与融合元学习的Meta-MCTG训练框架,有效提升了模型的组合泛化能力。
2024-06-03 cs.CL
Compositional Generalization and Natural Language Variation: Can a Semantic Parsing Approach Handle Both?
Google Research(谷歌研究院)
序列到序列模型擅长处理自然语言变化,但已被证明与分布外的组合泛化的斗争。这激发了具有更强成分偏差的新的专门架构,但这些方法中的大多数仅在合成生成的数据集上进行了评估,这些数据集并不代表自然语言的变化。在这项工作中,我们问:我们可以开发一个语义解析的方法,既处理自然语言的变化和组成的概括?为了更好地评估这种能力,我们提出了新的非合成数据集的训练和测试分裂。我们证明,强大的现有方法在广泛的评估中表现不佳。我们还提出了NQG-T5,这是一种混合模型,将高精度的基于语法的方法与预训练的序列到序列模型相结合。它在非合成数据上的几个合成泛化挑战方面优于现有方法,同时在标准评估方面也与最先进的方法竞争。虽然还远远没有解决这个问题,我们的研究突出了多样的评价和开放的挑战,处理组合泛化和自然语言变化的语义解析的重要性。
2021-06-01 cs.CL
Compositional Generalization in Spoken Language Understanding
Amazon Alexa(亚马逊Alexa);Samsung Research America(三星美国研究院)
针对口语理解模型在有限数据下缺乏组合泛化的问题,本文提出首个组合性SLU模型,通过组合性损失和配对训练,在ATIS和SNIPS上显著优于BERT SLU模型。
2023-12-25 cs.CL
The Mystery of Compositional Generalization in Graph-based Generative Commonsense Reasoning
Heidelberg University(海德堡大学)
针对大语言模型组合泛化能力存疑的问题,提出基于推理图的CGGC挑战,评估发现7种知名LLM表现不佳,分析推理图结构难度后提出由易到难的样本组织方式可提升其组合泛化能力。
2024-10-08 cs.CL
Linguistic generalization and compositionality in modern artificial neural networks
Catalan Institute for Advanced Studies and Research(加泰罗尼亚高等研究院);Universitat Pompeu Fabra(庞培法布拉大学);Facebook Artificial Intelligence Research(Facebook人工智能研究院)
在过去的十年中,深度人工神经网络在许多自然语言处理任务中取得了惊人的性能。鉴于语言的高生产力,这些模型必须具有有效的泛化能力。人们普遍认为,人类通过代数组合规则来处理语言生产力:深层网络也是如此吗?在回顾了当前深度语言处理网络的主要创新之后,我讨论了一系列研究,这些研究表明,深度网络能够进行微妙的语法依赖性概括,但它们也不依赖于系统的组成规则。我认为,有趣的行为,这些设备(仍在等待一个充分的理解)应该感兴趣的语言学家和认知科学家,因为它提供了一个新的视角,可能的计算策略,以处理语言生产力超越基于规则的组合性,它可能会导致新的见解不太系统的泛化模式,也出现在自然语言。
2019-06-26 cs.CL
Compositional Generalization for Multi-label Text Classification: A Data-Augmentation Approach
Wuhan University(武汉大学);Monash University(莫纳什大学)
针对多标签文本分类模型对组合概念泛化能力不足的问题,提出利用两个创新文本生成模型进行数据增强的方法,在三个基准上显著提升组合泛化性能。
2023-12-20 cs.CL
Simple and effective data augmentation for compositional generalization
Saarland University(萨尔兰大学)
本文研究 seq2seq 模型的组合泛化难题,发现对 MR 采样并回译的数据增强在采用均匀分布时效果接近测试分布采样,并显著优于训练分布采样,同时实验分析了收益来源。
2024-01-18 cs.CL
DiNeR: a Large Realistic Dataset for Evaluating Compositional Generalization
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所)
本文提出菜名识别任务DiNeR,构建包含3,811道菜和228,114条食谱的大规模真实中文数据集,以更丰富的语言现象和组合多样性评估组合泛化,并提供基于T5和大语言模型的基线方法。
2024-06-07 cs.CL
Span-based Semantic Parsing for Compositional Generalization
Tel-Aviv University(特拉维夫大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
尽管序列到序列(seq2seq)模型在语义解析中取得了成功,但最近的工作表明它们在组合泛化中失败,即,在训练过程中观察到的组件构建的新结构的能力。在这项工作中,我们认为一个基于跨度的解析器应该导致更好的组合泛化。我们提出SpanBasedSP,一个分析器,预测一个输入话语的生成树,明确编码部分程序如何组成的跨度在输入。SpanBasedSP扩展了Pasupat et al.(2019),使其与seq2seq模型相当,方法是(i)从程序中进行训练,不访问黄金树,将树视为潜在变量,(ii)通过对标准CKY的扩展来解析一类非投影树。在GeoQuery、SCAN和CLOSURE数据集上,SpanBasedSP在随机拆分上的性能与强seq2seq基线相似,但与需要组合泛化的拆分基线相比,性能显著提高:从$61.0 \rightarrow 88.9$平均精度。
2021-06-13 cs.CL
Compositional Generalization via Semantic Tagging
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
尽管神经序列到序列模型已经成功地应用于语义解析,但是它们在合成泛化方面失败,即,它们不能系统地归纳出可见成分的不可见成分。出于传统的语义解析,组合性是明确占符号语法,我们提出了一个新的解码框架,保留了表达性和一般性的序列到序列模型,同时具有词典风格的路线和解开信息处理。具体来说,我们分解解码成两个阶段,其中输入的话语是第一次标记的语义符号表示的含义的个别单词,然后序列到序列模型被用来预测最终的意义表示条件的话语和预测的标签序列。在三个语义解析数据集上的实验结果表明,该方法一致地提高了跨模型架构、域和语义形式主义的组合泛化能力。
2021-09-09 cs.CL
Measuring and Improving Compositional Generalization in Text-to-SQL via Component Alignment
Queen Mary University of London(伦敦玛丽女王大学);UC Berkeley(加州大学伯克利分校);Jožef Stefan Institute(约瑟夫·斯特凡研究所);Nanning Central Sub-branch of the People’s Bank of China(中国人民银行南宁中心支行)
在文本到SQL的任务中--就像在大多数NLP中一样--组合泛化是一个主要的挑战:神经网络在训练和测试分布不同的情况下与组合泛化作斗争。然而,最近试图改善这一点是基于单词级的合成数据或特定的数据集分裂,以产生成分偏见。在这项工作中,我们提出了一个子句级的组合示例生成方法。我们首先将Spider text-to-SQL数据集中的句子拆分为子句子,用相应的SQL子句注释每个子句子,从而生成一个新的数据集Spider-SS。然后,我们构建了一个进一步的数据集,蜘蛛CG,通过组成蜘蛛SS子句子在不同的组合,测试模型的能力,组成概括。实验表明,现有的模型在Spider-CG上进行评估时,即使在训练过程中看到每个子句子,也会出现显着的性能下降。为了解决这个问题,我们修改了一些国家的最先进的模型,训练的Spider-SS的分割数据,我们表明,这种方法提高了泛化性能。
2022-05-04 cs.CL
Compositional Generalization for Natural Language Interfaces to Web APIs
Microsoft Research(微软研究院);Microsoft(微软)
本文介绍了Okapi,一个新的数据集自然语言可执行的Web应用程序编程接口(NL2API)。这个数据集是英文的,包含22,508个问题和9,019个独特的API调用,覆盖三个领域。我们为NL2API定义了新的组合泛化任务,这些任务探索了模型从训练集中的简单API调用推断到推理阶段的新的和更复杂的API调用的能力。此外,这些模型需要生成正确执行的API调用,而不是使用占位符值评估查询的现有方法。我们的数据集是不同于大多数现有的组合语义解析数据集,因为它是一个非合成的数据集,在低资源的设置研究组合泛化。Okapi是朝着创建现实的数据集和基准的方向迈出的一步,用于研究与现有数据集和任务一起进行的合成泛化。我们报告了在各种SCAN和Okapi数据集任务上训练的序列到序列基线模型的泛化能力。当从简单的API调用推广到更复杂的API调用时,最好的模型达到了15%的精确匹配精度。这突出了未来研究的一些挑战。Okapi数据集和任务可在https://aka.ms/nl2api/data上公开获取。
2021-12-09 cs.CL
Compositional Generalization in Multilingual Semantic Parsing over Wikidata
University of Copenhagen(哥本哈根大学)
语义解析(SP)允许人类通过自然交互来利用大量的知识资源。然而,解析器大多是针对英语资源设计和评估的,例如CFQ(Keysers等人,2020),目前的标准基准基于从语法规则生成的英语数据,并面向Freebase,一个过时的知识库。我们提出了一种方法,用于创建一个多语言的,并行的数据集的问题查询对,接地在维基数据。我们引入这样一个数据集,我们称之为多语言组成维基数据问题(MCWQ),并使用它来分析组成的概括语义分析器在希伯来语,卡纳达语,中文和英文。虽然语言内泛化在不同语言之间是可比的,但zero-shot跨语言迁移的实验表明,跨语言合成泛化失败,即使使用最先进的预训练多语言编码器也是如此。此外,我们的方法,数据集和结果将有助于未来的研究SP在更现实和更多样化的设置比已经可能与现有资源。
2022-05-31 cs.CL
When Can Transformers Ground and Compose: Insights from Compositional Generalization Benchmarks
I2R, A*STAR Singapore(新加坡科技研究局信息通信研究院);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);Microsoft Research India(微软印度研究院)
人类可以进行成分推理,同时将语言话语与现实世界联系起来。最近的基准测试,如ReaSCAN,使用基于网格世界的导航任务来评估神经模型是否表现出类似的能力。在这项工作中,我们提出了一个简单的基于transformer的模型,优于ReaSCAN和gSCAN的修改版本的专门架构。在分析任务时,我们发现,在网格世界中识别目标位置是模型的主要挑战。此外,我们还证明了测试深度泛化的ReaSCAN中的一个特定分裂是不公平的。在这种分裂的修正版本,我们表明,Transformers可以推广到更深的输入结构。最后,我们设计了一个更简单的接地合成泛化任务,RefEx,调查Transformers的原因组成。我们表明,一个单一的自我注意力层与一个单一的头概括为新的组合的对象属性。此外,我们推导出一个精确的数学构造的Transformer的计算从学习网络。总的来说,我们提供了有价值的见解接地合成泛化任务和Transformers的行为,这将是有用的研究人员在这一领域的工作。
2022-10-31 cs.CL
COVR: A test-bed for Visually Grounded Compositional Generalization with real images
Tel-Aviv University(特拉维夫大学);University of California Irvine(加州大学欧文分校);Allen Institute for AI(艾伦人工智能研究所)
虽然近年来对在测试时推广到新组合的模型的兴趣有所增加,但视觉基础领域的基准迄今为止仅限于合成图像。在这项工作中,我们提出了COVR,一个新的测试平台,视觉接地组成的泛化与真实图像。为了创建COVR,我们使用带有场景图注释的真实图像,并提出了一个几乎完全自动的过程,用于生成问答对以及一组上下文图像。COVR专注于需要复杂推理的问题,包括量化和聚合等高阶运算。由于自动生成过程,COVR促进了组合分割的创建,其中测试时的模型需要在零或Few-Shot设置中泛化到新的概念和组合。我们使用COVR构建组合分裂,并展示了无数的情况下,最先进的预先训练的语言和视觉模型在组合上难以概括。
2021-09-22 cs.CL
The Impact of Depth on Compositional Generalization in Transformer Language Models
New York University(纽约大学);Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
本研究通过控制总参数量构建不同深度的Transformer模型,验证深度对组合泛化的影响,发现更深模型泛化能力更强但收益递减,且该增益不完全来自语言建模性能提升,建议给定参数预算下可采用更浅架构。
2024-04-10 cs.CL
Finding needles in a haystack: Sampling Structurally-diverse Training Sets from Synthetic Data for Compositional Generalization
Tel-Aviv University(特拉维夫大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
现代语义解析器有两个主要的局限性。首先,训练需要昂贵的话语-程序对集合。第二,语义解析器在测试时无法泛化到在训练期间没有观察到的新组合/结构。最近的研究表明,自动生成的合成话语程序对可以缓解第一个问题,但其潜力的第二个迄今尚未被充分发掘。在这项工作中,我们研究自动生成的合成话语程序对,以提高合成概括语义解析。给定一个小的注释示例训练集和一个“无限”的合成示例池,我们选择一个结构多样的合成示例子集,并使用它们来提高合成泛化。我们评估我们的方法上的schema 2 QA数据集的一个新的分裂,并表明,它导致了显着的改进,在组成的泛化以及温和的改进,在传统的i.i.d设置。此外,结构多样性采样仅用5 K个样本就实现了这些改进,而随机均匀采样时只有1 M个样本-数据效率提高了200倍。
2021-09-06 cs.CL
Evaluating the Impact of Model Scale for Compositional Generalization in Semantic Parsing
Massachusetts Institute of Technology(麻省理工学院);Google Research(谷歌研究院)
尽管预训练的语言模型在许多任务上表现出色,但已被证明在分布外的合成泛化上很困难。与此同时,最近的工作表明,模型缩放在许多NLP任务上有了相当大的改进。在语义解析中,按比例增加模型大小也能提高组合泛化能力吗?我们评估了高达11 B参数的编码器-解码器模型和高达540 B参数的仅解码器模型,并比较了将预训练语言模型应用于新任务的三种不同方法的模型缩放曲线:微调所有参数,提示微调和上下文学习。我们观察到,在语义解析评估中,微调通常在分布外的合成概括上具有平坦或负的缩放曲线。上下文学习具有正的缩放曲线,但通常会被更小的微调模型所超越。微调可以优于微调,这表明缩放的进一步潜在改进,因为它表现出更积极的缩放曲线。此外,我们还确定了几个随模型规模而变化的误差趋势。例如,较大的模型通常更好地建模输出空间的语法,但也更容易出现某些类型的过拟合。总的来说,我们的研究强调了当前技术的局限性,有效地利用模型规模进行组合泛化,而我们的分析也为未来的工作提出了有希望的方向。
2022-10-24 cs.CL
SPOR: A Comprehensive and Practical Evaluation Method for Compositional Generalization in Data-to-Text Generation
Peking University(北京大学)
针对数据到文本生成中组合泛化评估局限于单一表现、未覆盖大语言模型的问题,本文提出涵盖四类表现形式、无需额外人工标注的SPOR评估方法,验证其有效性并发现现有模型存在多方面不足,为相关评估提供框架。
2024-07-15 cs.CL
Disentangled Sequence to Sequence Learning for Compositional Generalization
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
越来越多的证据表明,现有的神经网络模型,特别是非常流行的序列到序列架构,很难系统地推广到可见组件的不可见组成。我们证明了阻碍合成泛化的原因之一与表征纠缠有关。我们提出了一个扩展序列到序列模型,鼓励解开自适应重新编码(在每个时间步)的源输入。具体来说,我们将源表示条件化为新解码的目标上下文,这使得编码器更容易为每个预测利用专门的信息,而不是在单个前向传递中捕获所有信息。语义解析和机器翻译的实验结果表明,我们的建议提供了更多的解纠缠表示和更好的泛化。
2022-03-22 cs.CL
Harnessing Dataset Cartography for Improved Compositional Generalization in Transformers
Koç University(科奇大学);University of Tehran(德黑兰大学);Hacettepe University(哈斯特帕大学);Tehran Institute for Advanced Studies(德黑兰高等研究院);Khatam University(哈塔姆大学)
提出利用数据集制图作为课程学习标准,无需超参数调优即可在 CFQ 和 COGS 数据集上提升 Transformer 组合泛化准确率高达 10%。
2023-10-18 cs.CL
Unlocking Compositional Generalization in Pre-trained Models Using Intermediate Representations
Tel-Aviv University(特拉维夫大学);Google Research(谷歌研究院)
序列到序列(seq2seq)模型在语义解析中很流行,但已经发现在分布外的组合泛化方面很困难。虽然已经提出了专门的模型架构和seq2seq模型的预训练来解决这个问题,但前者通常以通用性为代价,而后者只显示出有限的成功。在本文中,我们研究了中间表示对预训练seq2seq模型中组合泛化的影响,而根本不改变模型架构,并确定了设计有效表示的关键方面。我们不是训练直接将自然语言映射到可执行形式,而是映射到与自然语言具有更强结构对应性的可逆或有损中间表示。我们提出的中间表示和预训练模型的组合令人惊讶地有效,其中最佳组合在CFQ(+14.8准确度点)和三个文本到SQL数据集的模板分割(+15.0到+19.4准确度点)上获得了新的最先进水平。这项工作强调,中间表示提供了一个重要的,可能被忽视的自由度,以提高预训练seq2seq模型的组合泛化能力。
2021-04-15 cs.CL
Learning to Substitute Components for Compositional Generalization
School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院);Department of Computer Science, Hong Kong Baptist University(香港浸会大学计算机科学系);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
针对神经语言模型组合泛化不足,提出CompSub多粒度组件替换增强及LCS端到端学习框架,并扩展至LLM的ICL场景,在四个基准上分别提升最高66.5%、10.3%、1.4%和8.8%。
2025-02-28 cs.CL
Uncontrolled Lexical Exposure Leads to Overestimation of Compositional Generalization in Pretrained Models
Boston University(波士顿大学);New York University(纽约大学);Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Research(微软研究院)
人类的语言能力通常以组合性和它所能实现的概括为特征--人类学习者可以通过组合已知的部分来产生和理解新颖的复杂表达。几个基准测试在训练和测试中利用分布式控制来衡量合成泛化,其中某些词汇项仅在训练期间出现在有限的上下文中。虽然最近使用这些基准测试的工作表明,预训练模型实现了令人印象深刻的泛化性能,但我们认为,暴露于预训练数据可能会打破上述分布控制。使用Kim和Linzen(2020)的COGS基准,我们测试了两种改进的评估设置来控制这个问题:(1)用新的字符序列替换上下文控制的词汇项,以及(2)用由新的嵌入表示的特殊标记替换它们。我们发现,这两种设置都导致T5的泛化性能较低(Raffel et al.,2020年),这表明先前报道的结果被高估,由于不受控制的词汇暴露在预训练。对于新的嵌入,性能下降更极端,并且随着预训练数据的量而增加,突出了逆缩放的有趣情况。
2022-12-21 cs.CL
Improving Compositional Generalization in Classification Tasks via Structure Annotations
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
组合泛化是通过组合已知组件系统地泛化到新数据分布的能力。虽然人类似乎有很强的概括能力,但最先进的神经模型很难做到这一点。在这项工作中,我们研究了分类任务中的合成泛化,并提出了两个主要贡献。首先,我们研究如何将自然语言序列到序列数据集转换为分类数据集,也需要组合泛化。第二,我们表明,提供结构提示(特别是,提供解析树和实体链接作为Transformer模型的注意掩码)有助于组合泛化。
2021-06-19 cs.CL cs.LG
Seen to Unseen: Exploring Compositional Generalization of Multi-Attribute Controllable Dialogue Generation
Meituan(美团);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出DCG模型,通过属性提示向量和解耦损失实现多属性可控对话生成的组合泛化,并设计统一无参考评估框架,在两个基准上验证了有效性。
2023-06-17 cs.CL
Compositional Generalization in Dependency Parsing
McGill University(麦吉尔大学);Quebec Artificial Intelligence Institute (Mila)(魁北克人工智能研究所(Mila));ServiceNow Research(ServiceNow研究院);Facebook(脸书)
组合性(Compositionality)--将熟悉的单元(如单词)组合成新颖的短语和句子的能力--近年来一直是人工智能的焦点。为了测试语义解析中的组合泛化,Keysers等人(2020)引入了组合自由基分析(CFQ)。该数据集最大化了测试和训练分布在原始单元(如单词)上的相似性,同时最大化了复合发散:测试和训练分布在较大结构(如短语)上的不相似性。然而,依存句法分析缺少组合泛化基准。在这项工作中,我们为CFQ引入了一套黄金标准的依赖解析器,并使用它来分析最先进的依赖解析器的行为(Qi等人,2020年,CFQ数据集。我们发现,增加复合分歧降低依存句法分析的性能,虽然没有显着的语义解析的性能。此外,我们发现的依赖分析器的性能并不均匀降低相对于复合发散,和解析器执行不同的分裂相同的复合发散。我们探讨了一些假设是什么原因的非均匀退化的依存句法分析性能,并确定了一些句法结构,驱动依赖解析器的最具挑战性的分裂的性能较低。
2022-03-15 cs.CL
Dynamic MOdularized Reasoning for Compositional Structured Explanation Generation
Heidelberg University(海德堡大学)
提出动态模块化推理模型MORSE,通过模块化自注意力机制动态路由输入至专用头以分解推理过程,在结构化解释生成任务中显著提升了神经模型的组合泛化能力。
2023-09-14 cs.CL
Diverse Demonstrations Improve In-context Compositional Generalization
Tel-Aviv University(特拉维夫大学)
本研究提出一种选择多样化示例的方法,通过集体覆盖输出程序所需的所有结构,鼓励模型在组合泛化任务中泛化到新结构。实验表明,该方法在纯上下文学习及结合微调时,显著提升了三个语义解析数据集的性能。
2023-06-24 cs.CL
Compositional Generalization with Grounded Language Models
University of Oslo(奥斯陆大学)
本文通过生成自然语言问题与知识图谱配对的数据集,系统评估了基于知识图谱的语言模型在组合泛化上的表现,发现现有方法在未见长度序列和新组合上存在困难,并发布了数据集以推动后续研究。
2024-06-07 cs.CL
Exploring the Compositional Generalization in Context Dependent Text-to-SQL Parsing
Tsinghua University(清华大学)
本文首次研究上下文依赖 Text-to-SQL 的组合泛化,构建 CoSQL-CG 与 SParC-CG 基准,并提出 p-align 通过对齐历史 SQL 与当前话语提升模型泛化性能。
2023-05-29 cs.CL
NeSyCoCo: A Neuro-Symbolic Concept Composer for Compositional Generalization
Michigan State University(密歇根州立大学)
提出神经符号框架NeSyCoCo,利用大语言模型生成符号表示并映射至可微神经计算,通过依存结构增强输入、分布式词表示链接谓词与神经模块及软组合对齐推理,在组合泛化基准上达到最优。
2024-12-20 cs.CL
Counterfactual Recipe Generation: Exploring Compositional Generalization in a Realistic Scenario
Peking University(北京大学);Baidu Inc.(百度公司);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
人们可以通过阅读以无监督的方式获取知识,并将知识组合成新颖的组合。在本文中,我们研究了预训练的语言模型是否可以在现实环境中执行组合泛化:配方生成。我们设计了反事实配方生成任务,要求模型根据原料的变化修改基本配方。这项任务需要在两个层面上进行成分概括:将新成分纳入基本配方的表面层面,以及与变化成分相关的调整行动的更深层次。我们收集了一个大规模的中文食谱数据集,用于学习烹饪知识的模型,以及一个用于评估的动作级细粒度注释子集。我们在食谱语料库上微调预训练的语言模型,并使用无监督的反事实生成方法来生成修改后的食谱。结果表明,现有的模型很难修改的成分,同时保持原始文本的风格,往往错过了需要调整的动作。虽然预训练的语言模型可以生成流畅的食谱文本,但它们无法以组合的方式真正学习和使用烹饪知识。代码和数据可在https://github.com/xxxiaol/counterfactual-recipe-generation上获得。
2022-10-20 cs.CL
Compositional Generalization without Trees using Multiset Tagging and Latent Permutations
University of Edinburgh(爱丁堡大学);Saarland University(萨尔大学);University of Amsterdam(阿姆斯特丹大学)
本文提出将语义解析分解为多重集标注与潜在排列预测两步,通过正则化线性规划求解排列,摆脱树结构归纳偏置,在COGS等基准上实现了更强的组合泛化和深层递归泛化能力。
2023-05-26 cs.CL
Emergent Language Generalization and Acquisition Speed are not tied to Compositionality
Facebook AI(Facebook人工智能);ICREA
当神经代理进行通信以解决联合任务时出现的离散语言的研究通常会寻找组成结构的证据。这源于这样一种期望,即这种结构将允许代理更快地获得语言,并使它们能够更好地泛化。我们认为,这些有益的属性只是松散地连接到组合。在两个实验中,我们证明,根据任务,非组合语言可能会表现出相同的,或更好的,泛化性能和采集速度比组合的。该领域的进一步研究应该更清楚地了解组合性的预期好处,以及后者将如何导致它们。
2020-04-25 cs.CL cs.LG
Hierarchical Poset Decoding for Compositional Generalization in Language
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
我们将人类的语言理解形式化为一个结构化的预测任务,其输出是一个偏序集(poset)。现有的编码器-解码器体系结构没有充分考虑语义的偏序集结构,因此组合泛化能力较差。在本文中,我们提出了一个新的层次偏序集解码范式的合成概括的语言。直觉:(1)所提出的范例在语义上强制执行部分置换不变性,从而避免对偏置排序信息的过拟合;(2)分层机制允许捕获偏序集的高级结构。我们评估我们提出的解码器上的组合自由基问题(CFQ),一个大的和现实的自然语言问答数据集,是专门设计来衡量组成的泛化。结果表明,它优于目前的解码器。
2020-10-15 cs.AI cs.CL
Compositional Generalization in Semantic Parsing: Pre-training vs. Specialized Architectures
Google Research, Brain Team(谷歌研究院大脑团队)
虽然已知主流机器学习方法具有有限的合成概括能力,但仍不断提出新的架构和技术来解决这一限制。我们调查国家的最先进的技术和架构,以评估其有效性,以提高成分概括的语义解析任务的基础上的SCAN和CFQ数据集。我们发现,掩蔽语言模型(MLM)的预训练对手的扫描启发的架构上的原始的坚持分裂。在一个更复杂的组合任务中,我们表明,与可比的非预训练模型相比,预训练导致性能的显着改善,而建议鼓励在SCAN或算法学习领域进行组合泛化的架构未能导致显着改善。我们使用MLM预训练和中间表示在CFQ组合泛化基准上建立了一个新的最新技术水平。
2021-09-22 cs.CL cs.LG
Meta-Learning to Compositionally Generalize
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
自然语言是合成的;句子的意义是其各部分意义的函数。这种特性使人类能够创造和解释新的句子,在他们先前的经验之外进行有力的概括。神经网络已经被证明难以处理这种泛化,特别是在设计用于评估组合泛化的任务上表现不佳(即训练和测试分布的不同方式对于组合策略来说是微不足道的)。他们在这些任务上的糟糕表现可能部分是由于监督学习的性质,它假设训练和测试数据来自同一分布。我们实现了一个元学习增强版本的监督学习,其目标直接优化分布外泛化。我们通过对现有的训练数据进行子采样来构建元学习的任务对。每一对任务都被构造成包含由相似性度量确定的相关示例,以防止模型记住它们的输入。在COGS和SCAN数据集上的实验结果表明,我们的相似性驱动的元学习可以提高泛化性能。
2021-06-29 cs.CL
Learning Algebraic Recombination for Compositional Generalization
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Xi’an Jiaotong University(西安交通大学);Beihang University(北京航空航天大学)
神经序列模型在语义解析任务中表现出有限的组合泛化能力。合成泛化需要代数重组,即,以递归方式动态重组结构化表达式。然而,以往的研究主要集中在词汇单位的重组上,这是代数重组的一个重要部分,但并不充分。在本文中,我们提出了LeAR,一个端到端的神经模型来学习组合泛化的代数重组。关键的洞察力是模型的语义解析任务之间的一个潜在的语法代数和语义代数的同态,从而鼓励代数重组。具体来说,我们共同学习两个模块:一个用于生成潜在语法的Composer和一个用于分配语义操作的Interpreter。两个现实的和全面的组合泛化基准的实验证明了我们的模型的有效性。源代码可在https://github.com/microsoft/ContextualSP上公开获得。
2021-07-14 cs.AI cs.CL
Compositional Generalization by Learning Analytical Expressions
Beihang University(北京航空航天大学);Xi’an Jiaotong University(西安交通大学);Microsoft Research(微软研究院)
组合概括是人类最基本、最重要的思维能力之一,它使我们能够很容易地对已知的部分进行重组。然而,现有的基于神经网络的模型已经被证明在这种能力方面是极其不足的。受认知工作的启发,认为组合性可以通过具有符号功能的变量槽来捕获,我们提出了一个令人耳目一新的观点,将记忆增强的神经模型与分析表达式连接起来,以实现组合概括。我们的模型由两个合作神经模块组成,Composer和Solver,与认知论点非常吻合,同时能够通过分层强化学习算法以端到端的方式进行训练。在著名的基准测试SCAN上的实验表明,我们的模型具有很强的合成泛化能力,以100%的准确率解决了以前的作品所面临的所有挑战。
2020-10-24 cs.AI cs.CL
Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
成分泛化是人类语言学习的一个基本机制,目前的神经网络正在努力解决这一问题。最近提出的解纠缠序列到序列模型(Dangle)通过为每个解码步骤学习专门的编码,显示出很有前途的泛化能力。我们对这个模型进行了两个关键的修改,鼓励更多的解纠缠表示,并提高其计算和内存效率,使我们能够在更现实的环境中处理合成泛化。具体来说,我们不是在每个时间步自适应地重新编码源键和值,而是解开它们的表示,只在某个时间间隔周期性地重新编码键。我们的新架构在现有的任务和数据集上带来了更好的泛化性能,以及一个新的机器翻译基准,我们通过检测与训练集相关的自然发生的组成模式来创建该基准。我们表明,这种方法比人工挑战更好地模拟现实世界的要求。
2022-12-12 cs.AI cs.CL
Revisiting Iterative Back-Translation from the Perspective of Compositional Generalization
Microsoft Research Asia(微软亚洲研究院)
人类智能表现出合成概括(即,理解和产生可见成分的不可见组合的能力),但目前的神经seq2seq模型缺乏这种能力。在本文中,我们重新审视迭代反向翻译,一个简单而有效的半监督方法,调查它是否以及如何提高组合泛化。在这项工作中:(1)我们首先经验性地表明,迭代回译大大提高了组合泛化基准(CFQ和SCAN)的性能。(2)为了理解为什么迭代反向翻译是有用的,我们仔细检查了性能增益,发现迭代反向翻译可以越来越多地纠正伪并行数据中的错误。(3)为了进一步鼓励这种机制,我们提出了课程迭代回译,更好地提高伪并行数据的质量,从而进一步提高性能。
2020-12-08 cs.AI cs.CL
Atomic-to-Compositional Generalization for Mobile Agents with A New Benchmark and Scheduling System
Shanghai Jiao Tong University(上海交通大学);Langboat Technology(澜舟科技)
针对现有移动智能体在组合任务上泛化不足的问题,本文提出UI-NEXUS组合任务评估基准与AGENT-NEXUS动态任务拆解调度系统,显著提升了智能体的组合任务成功率。
2025-06-10 cs.CL
Improved Compositional Generalization by Generating Demonstrations for Meta-Learning
Aalto University(阿尔托大学)
针对gSCAN中训练数据缺乏良好支持示例的问题,提出一种智能体生成相关支持示例并通过元学习解决测试查询的方法,显著提升了组合泛化性能。
2024-10-12 cs.CL
Compositional Generalization for Primitive Substitutions
Baidu Research(百度研究院)
成分泛化是人类语言学习的一个基本机制,但目前的神经网络缺乏这种能力。本文对神经网络的编码组合性进行了基础性研究。传统的方法对输入句子使用单一的表示,使得很难应用组合性的先验知识。相比之下,我们的方法利用这样的知识与两个表示,一个生成注意力地图,和其他的映射参加输入单词输出符号。我们减少每个表示中的熵以提高泛化能力。我们的实验表明,在五个自然语言处理任务,包括指令学习和机器翻译的显着改善传统的方法。在SCAN域中,Jump任务的准确率从14.0%提高到98.8%,TurnLeft任务的准确率从92.0%提高到99.7%。在少样本学习任务上,它也胜过人类。我们希望所提出的方法可以帮助减轻未来的研究对人类水平的合成语言学习。
2019-10-07 cs.CL cs.LG
Syntax-Guided Transformers: Elevating Compositional Generalization and Grounding in Multimodal Environments
Michigan State University(密歇根州立大学)
针对多模态环境下智能模型组合泛化难的问题,提出Syntax-Guided Transformers方法,利用文本解析得到的注意力掩码结合Transformer编码器权重共享,提升了多模态接地与参数高效建模的性能。
2023-11-07 cs.CL cs.RO
Compositional Generalization via Structural Identification in a Category-Theoretic Framework
The University of Tokyo(东京大学);CNRS(法国国家科学研究中心)
该研究在范畴论框架下,通过分析COGS数据集的21种泛化类型,以结构识别替代模型训练来诊断组合泛化的可容许性,明确训练语料库的许可范围。
2026-08-28 cs.CL stat.ML