Grounded Compositional Outputs for Adaptive Language Modeling
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
语言模型已经成为NLP的核心组件,并且大量的进展取决于廉价地适应它们的能力(例如,通过微调)到新的域和任务。语言模型的词汇表$-$通常在训练前选择,并在以后永久固定$-$,这会影响其大小,并且是使其抵抗这种适应的部分原因。先前的工作已经使用基于表面形式的合成输入嵌入来改善这个问题。在这项工作中,我们更进一步,并提出了一个完全组成的输出嵌入层的语言模型,这是进一步接地从结构化词典(WordNet)的信息,即语义相关的单词和自由文本的定义。据我们所知,结果是第一个单词级语言模型,其大小不依赖于训练词汇表。我们对传统语言建模以及具有开放词汇的跨域设置进行了评估,发现它匹配或优于以前最先进的输出嵌入方法和自适应方法。我们的分析将改进归因于样本效率:我们的模型对低频词更准确。
2020-10-05 cs.CL
Compositional Morphology for Word Representations and Language Modelling
University of Oxford(牛津大学)
本文提出了一种可扩展的方法,将组合形态表示集成到基于向量的概率语言模型。我们的方法进行评估的上下文中的日志双线性语言模型,呈现适当的效率内的机器翻译解码器的实施因素的词汇。我们进行了内在和外在的评估,展示了一系列语言的结果,这些语言表明我们的模型学习了在单词相似性任务上表现良好的形态表示,并导致困惑的大幅减少。当用于翻译成具有大词汇量的形态丰富的语言时,我们的模型相对于使用退避n-gram模型的基线系统获得了高达1.2个BLEU点的改进。
2014-05-16 cs.CL
Recursive Neural Networks with Bottlenecks Diagnose (Non-)Compositionality
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
NLP最近的一系列工作集中在模型在合成上概括人工语言的能力上。然而,当考虑自然语言任务时,所涉及的数据不是严格的或局部的组合。量化数据的组合性是一项具有挑战性的任务,主要针对短话语进行了研究。我们使用递归神经模型(Tree-LSTM),它具有限制节点之间信息传输的瓶颈。我们说明,比较数据的表示模型和没有瓶颈可以用来产生一个组合性度量。该过程被应用到使用合成数据的算术表达式的评估,和使用自然语言数据的情感分类。我们证明了通过瓶颈压缩不成比例地影响非组合的例子,然后使用瓶颈组合性度量(bottleneck compositionality metric)来区分组合样本和非组合样本,从而在数据集上产生组合性排名。
2023-01-31 cs.CL
A Character-Word Compositional Neural Language Model for Finnish
Reaktor;Aalto University(阿尔托大学)
受最近研究的启发,我们探索了在字符水平上对高度形态芬兰语进行建模的方法,同时保持词级模型的性能。我们提出了一个新的字符到单词到字符(C2W2C)的组合语言模型,使用字符作为输入和输出,同时仍然在内部处理单词级嵌入。我们的初步实验,使用芬兰Europarl V7语料库,表明C2W2C可以很好地应对形态丰富的语言,如高出的词汇率,预测新的单词,和不断增长的词汇量的挑战。值得注意的是,该模型能够正确地对训练数据中不存在的屈折形式进行评分,并逐个字符地对语法和语义正确的芬兰语句子进行采样。
2016-12-10 cs.CL
The Impact of Depth on Compositional Generalization in Transformer Language Models
New York University(纽约大学);Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
本研究通过控制总参数量构建不同深度的Transformer模型,验证深度对组合泛化的影响,发现更深模型泛化能力更强但收益递减,且该增益不完全来自语言建模性能提升,建议给定参数预算下可采用更浅架构。
2024-04-10 cs.CL
Compositional Generalization with Grounded Language Models
University of Oslo(奥斯陆大学)
本文通过生成自然语言问题与知识图谱配对的数据集,系统评估了基于知识图谱的语言模型在组合泛化上的表现,发现现有方法在未见长度序列和新组合上存在困难,并发布了数据集以推动后续研究。
2024-06-07 cs.CL
Applying Distributional Compositional Categorical Models of Meaning to Language Translation
University of Oxford(牛津大学)
本文的目的是双重的:首先,我们将使用向量空间分布的成分分类模型的意义比较的意义在爱尔兰语和英语(从而确定当一个句子是另一个句子的翻译)使用余弦相似性得分。然后,我们将概述一个程序,翻译名词通过理解他们的上下文,使用认知的概念空间模型。我们将在类别ConvexRel上使用度量来确定概念之间的距离(并确定名词何时是另一个名词的翻译)。本文将重点介绍爱尔兰语的应用,爱尔兰语是盖尔语家族的一员。
2018-11-08 cs.CL
Language Identification via Compositional Data Analysis: A Linear-Time Classifier Based on Log-Ratio Geometry
Faculty of Mathematics and Computer Science Babeş-Bolyai University(巴比什-波雅依大学数学与计算机科学学院)
研究针对语言识别,将字符和二元语法频率分布建模为成分向量,经CLR变换映射到特定子空间,结合CLR变换特征与拉普拉斯平滑提出管道方法,在六种语言上评估,该方法在不同文本长度下准确率高,提供了高效且可解释的语言识别替代方案。
2026-07-17 cs.CL
Learning to Generate Compositional Color Descriptions
Stanford University(斯坦福大学)
色彩语言的产生是扎根语言生成的关键。颜色描述具有许多具有挑战性的特性:它们可能是模糊的,成分复杂的,并且外延丰富。我们提出了一种有效的方法来生成颜色描述使用递归神经网络和傅立叶变换的颜色表示。我们的模型优于以前的工作,在一个大型语料库的自然色彩描述的条件语言建模任务。此外,探测模型的输出表明,它不仅可以准确地产生基本的颜色术语,而且还可以产生具有非凸表示(“绿色”),裸露修饰符(“明亮”,“暗淡”)和组成短语(“褪色的青色”)的描述符。
2016-10-18 cs.CL
Linguistic generalization and compositionality in modern artificial neural networks
Catalan Institute for Advanced Studies and Research(加泰罗尼亚高等研究院);Universitat Pompeu Fabra(庞培法布拉大学);Facebook Artificial Intelligence Research(Facebook人工智能研究院)
在过去的十年中,深度人工神经网络在许多自然语言处理任务中取得了惊人的性能。鉴于语言的高生产力,这些模型必须具有有效的泛化能力。人们普遍认为,人类通过代数组合规则来处理语言生产力:深层网络也是如此吗?在回顾了当前深度语言处理网络的主要创新之后,我讨论了一系列研究,这些研究表明,深度网络能够进行微妙的语法依赖性概括,但它们也不依赖于系统的组成规则。我认为,有趣的行为,这些设备(仍在等待一个充分的理解)应该感兴趣的语言学家和认知科学家,因为它提供了一个新的视角,可能的计算策略,以处理语言生产力超越基于规则的组合性,它可能会导致新的见解不太系统的泛化模式,也出现在自然语言。
2019-06-26 cs.CL
Emergent Language Generalization and Acquisition Speed are not tied to Compositionality
Facebook AI(Facebook人工智能);ICREA
当神经代理进行通信以解决联合任务时出现的离散语言的研究通常会寻找组成结构的证据。这源于这样一种期望,即这种结构将允许代理更快地获得语言,并使它们能够更好地泛化。我们认为,这些有益的属性只是松散地连接到组合。在两个实验中,我们证明,根据任务,非组合语言可能会表现出相同的,或更好的,泛化性能和采集速度比组合的。该领域的进一步研究应该更清楚地了解组合性的预期好处,以及后者将如何导致它们。
2020-04-25 cs.CL cs.LG
Compositional Generalization for Natural Language Interfaces to Web APIs
Microsoft Research(微软研究院);Microsoft(微软)
本文介绍了Okapi,一个新的数据集自然语言可执行的Web应用程序编程接口(NL2API)。这个数据集是英文的,包含22,508个问题和9,019个独特的API调用,覆盖三个领域。我们为NL2API定义了新的组合泛化任务,这些任务探索了模型从训练集中的简单API调用推断到推理阶段的新的和更复杂的API调用的能力。此外,这些模型需要生成正确执行的API调用,而不是使用占位符值评估查询的现有方法。我们的数据集是不同于大多数现有的组合语义解析数据集,因为它是一个非合成的数据集,在低资源的设置研究组合泛化。Okapi是朝着创建现实的数据集和基准的方向迈出的一步,用于研究与现有数据集和任务一起进行的合成泛化。我们报告了在各种SCAN和Okapi数据集任务上训练的序列到序列基线模型的泛化能力。当从简单的API调用推广到更复杂的API调用时,最好的模型达到了15%的精确匹配精度。这突出了未来研究的一些挑战。Okapi数据集和任务可在https://aka.ms/nl2api/data上公开获取。
2021-12-09 cs.CL
Are Representations Built from the Ground Up? An Empirical Examination of Local Composition in Language Models
Carnegie Mellon University(卡内基梅隆大学)
组合性是人类语言的一个重要特征,它是一个短语的意义可以从它的组成部分推导出来的现象。与此同时,许多短语是非合成的,其含义超出了孤立的每个部分。表示这两种类型的短语是语言理解的关键,但它是一个悬而未决的问题,现代语言模型(LM)是否学会这样做,在这项工作中,我们研究这个问题。首先,我们制定了一个问题,预测LM内部表示较长的短语给定的成分。我们发现,一个父短语的表示可以预测一定的准确性给出了仿射变换的孩子。虽然我们希望预测准确性与人类对语义组合性的判断相关,但我们发现情况在很大程度上并非如此,这表明LM可能无法准确区分成分和非成分短语。我们进行了各种分析,揭示了不同品种的LM做,不产生组成表示,并讨论了未来的建模工作的影响。
2022-10-22 cs.CL
On Using Distribution-Based Compositionality Assessment to Evaluate Compositional Generalisation in Machine Translation
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学)
本文提出利用基于分布的组合性评估框架划分Europarl语料库,以测试神经机器翻译系统的组合泛化能力,并提供了自动化基准构建方法。
2023-11-14 cs.CL
Compositional Evaluation on Japanese Textual Entailment and Similarity
The University of Tokyo(东京大学);Keio University(庆应义塾大学)
自然语言推理(NLI)和语义文本相似性(STS)是用于预训练语言模型的组合评估的广泛使用的基准任务。尽管对语言共性的兴趣越来越大,但大多数NLI/STS研究几乎完全集中在英语上。特别是,日语中没有可用的多语言NLI/STS数据集,这在类型上不同于英语,并且可以揭示语言模型在诸如词序和格粒子的敏感性等问题上的当前有争议的行为。在此背景下,我们介绍了JSICK,一个日本NLI/STS数据集,是手动翻译的英文数据集SICK。我们还提出了一个压力测试数据集的成分推理,通过转换在JSICK句子的句法结构,调查是否语言模型是敏感的词序和情况粒子。我们对不同的预训练语言模型进行基线实验,并比较多语言模型应用于日语和其他语言时的性能。压力测试的结果表明,目前预训练的语言模型是不敏感的词序和情况标记。
2022-08-09 cs.CL
Differentiable Fuzzy Inference Layer: A Monotone, Compositional Ordinal Reasoning Head for Large Language Models
Technical University of Munich(慕尼黑工业大学)
针对大语言模型无法组合序数量词的问题,提出可微模糊推理层(DFIL),通过双路径头结合标量瓶颈与隶属函数,实现单调性和t-范数组合推理,无需组合训练数据。
2026-09-23 cs.CL
Fuzzy Generalised Quantifiers for Natural Language in Categorical Compositional Distributional Semantics
Czech Technical University(捷克技术大学);University College London(伦敦大学学院);Queen Mary University of London(伦敦玛丽女王大学)
最近的工作组合分布模型表明,双代数有限维向量空间可以用来治疗广义量词的自然语言。这种技术需要在幂集上构造向量空间,因此计算成本很高。在本文中,我们克服了这个问题,考虑模糊版本的量词沿线的扎德,在许多值的关系的范畴内。我们表明,这一类是一个具体的实例组成的分布模型。我们表明,在这个模型中得到的语义是等价的Zadeh的模糊量词的语义。因此,我们现在能够处理模糊量化,而不需要幂集构造。
2021-09-23 cs.CL
Unified Representation for Non-compositional and Compositional Expressions
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-尚佩恩分校)
本文提出基于BART的语言模型PIER,用于为英语潜在习语表达生成语义恰当的统一表示,在嵌入聚类、语义分类和跨度检测上均优于BART和GIEA,且不损害NLU任务性能。
2023-10-29 cs.CL
Cross-Modal Masked Compositional Concept Modeling for Enhancing Visio-Linguistic Compositionality
MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China(中国科学技术大学,教育部脑启发智能感知与认知重点实验室);Independent Researcher(独立研究员)
提出MACCO框架,通过掩码一个模态的组合概念并从另一模态完整上下文重建,增强视觉-语言模型的组合理解能力,在五个基准上显著提升。
2026-06-12 cs.AI cs.CL cs.CV
Hierarchical Poset Decoding for Compositional Generalization in Language
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
我们将人类的语言理解形式化为一个结构化的预测任务,其输出是一个偏序集(poset)。现有的编码器-解码器体系结构没有充分考虑语义的偏序集结构,因此组合泛化能力较差。在本文中,我们提出了一个新的层次偏序集解码范式的合成概括的语言。直觉:(1)所提出的范例在语义上强制执行部分置换不变性,从而避免对偏置排序信息的过拟合;(2)分层机制允许捕获偏序集的高级结构。我们评估我们提出的解码器上的组合自由基问题(CFQ),一个大的和现实的自然语言问答数据集,是专门设计来衡量组成的泛化。结果表明,它优于目前的解码器。
2020-10-15 cs.AI cs.CL
Visually Grounded Continual Learning of Compositional Phrases
University of Southern California(南加州大学)
与当代NLP系统相比,人类不断地获取语言,每次对数据样本的访问要有限得多。为了研究这种类似人类的语言习得能力,我们提出了VisCOLL,一个视觉接地的语言学习任务,它模拟连续收购的组成短语从流视觉场景。在该任务中,模型在具有移动对象分布的成对图像-字幕流上进行训练;同时在保持的测试集上通过视觉接地的掩蔽语言预测任务进行不断评估。VisCOLL将持续学习的挑战(即,从连续移动的数据分布中学习)和合成概括(即,推广到新的组合物)。为了方便对VisCOLL的研究,我们构建了两个数据集,COCO-shift和Flickr-shift,并使用不同的持续学习方法对它们进行了基准测试。结果表明,SoTA持续学习方法对VisCOLL几乎没有改进,因为存储所有可能组合物的示例是不可行的。我们进行进一步的消融和分析,以指导未来的工作。
2020-11-17 cs.CL
Exploring the Limitations of Large Language Models in Compositional Relation Reasoning
University of Toronto(多伦多大学);University of Waterloo(滑铁卢大学)
本文提出了多语言组合关系(MCR)基准,包含1,500个测试用例及五种语言,全面评估大型语言模型在组合关系推理中的鲁棒性与多语言适应性。
2024-09-21 cs.CL
BaziQA-Benchmark: Evaluating Symbolic and Temporally Compositional Reasoning in Large Language Models
Shanghai Jiao Tong University(上海交通大学)
BaziQA-Benchmark通过结构化推理协议评估大语言模型在符号性和时间组合推理中的表现,揭示其在时间难度和推理顺序上的敏感性及系统性缺陷。
2026-02-13 cs.CL
On the Correspondence between Compositionality and Imitation in Emergent Neural Communication
UPF(庞培法布拉大学);INRIA(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);ENS-PSL(巴黎高等师范学院-巴黎文理研究大学)
在深度神经智能体参与的Lewis博弈中,研究了组合性与模仿学习的联系,发现强化学习比监督学习更能促使语言具组合性,且组合性语言更易被模仿。
2023-05-22 cs.CL cs.NE
Finding Function in Form: Compositional Character Models for Open Vocabulary Word Representation
Carnegie Mellon University(卡内基梅隆大学);INESC-ID(葡萄牙系统与计算机工程研究所(ID 版));Instituto Superior Técnico(里斯本高等理工学院)
我们介绍了一个模型,用于构建矢量表示的单词组成字符使用双向LSTM。相对于传统的单词表示模型,每个单词类型都有独立的向量,我们的模型只需要一个单一的向量,每个字符类型和一组固定的参数组成的模型。尽管这个模型的紧凑性,更重要的是,在语言中的形式-功能关系的任意性,我们的“组成”的单词表示产生的语言建模和词性标注的最先进的结果。相对于传统基线的优势在形态丰富的语言中特别明显(例如,土耳其语)。
2016-05-23 cs.CL
Can Transformer be Too Compositional? Analysing Idiom Processing in Neural Machine Translation
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
与字面表达不同,习语的意义并不直接从其部件中推导出来,这给神经机器翻译(NMT)带来了挑战。NMT模型通常无法准确地翻译习语,并且过度生成合成的字面翻译。本文以英语为源语言,欧洲七种语言中的一种为目标语言,通过分析模式的隐藏状态和注意模式,探讨习语的非组合性是否反映在主导的NMT模型Transformer的机制中。当Transformer发出一个非字面翻译时--也就是说,将表达式标识为惯用的--与字面表达式相比,编码器更强烈地将惯用作为单个词汇单元处理。这主要表现在习语的各个部分通过注意力的作用而被组合在一起,习语与语境之间的互动减少。在解码器的交叉注意中,比喻性输入导致对源端令牌的注意力降低。这些结果表明,Transformer倾向于将成语作为组合表达进行处理,这有助于成语的字面翻译。
2022-05-30 cs.CL
Learning to Substitute Components for Compositional Generalization
School of Computer Science and Technology, University of Science and Technology of China(中国科学技术大学计算机科学与技术学院);Department of Computer Science, Hong Kong Baptist University(香港浸会大学计算机科学系);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
针对神经语言模型组合泛化不足,提出CompSub多粒度组件替换增强及LCS端到端学习框架,并扩展至LLM的ICL场景,在四个基准上分别提升最高66.5%、10.3%、1.4%和8.8%。
2025-02-28 cs.CL
The Emergence of Compositional Languages for Numeric Concepts Through Iterated Learning in Neural Agents
University of Edinburgh(爱丁堡大学)
自引入以来,计算机模拟已成为进化语言学研究中越来越重要的工具。最近,随着深度学习技术的发展,扎根语言学习的研究也开始关注促进没有预定义的基本语言知识的组合语言的出现。在这项工作中,我们探讨了出现的组合语言的数字概念在多智能体通信系统。我们证明了用于编码数字概念的组合语言可以通过在深度神经网络代理群体中的迭代学习而出现。然而,语言属性在很大程度上取决于给代理的输入表示。我们发现,组合语言只出现,如果他们需要更少的迭代完全学习比其他非退化语言的代理在一个给定的输入表示。
2019-10-11 cs.AI cs.CL cs.LG
Compositional Instruction Following with Language Models and Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of the Witwatersrand(威特沃特斯兰德大学);Arizona State University(亚利桑那州立大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出CERLLA方法,结合组合性策略表示和强化学习训练的语义解析器,在162个任务上实现组合性泛化,以92%成功率超越非组合性基线80%。
2025-01-21 cs.CL cs.LG
Emergence of Grounded Compositional Language in Multi-Agent Populations
OpenAI;UC Berkeley(加州大学伯克利分校)
通过捕获大型语料库中的统计模式,机器学习在自然语言处理方面取得了重大进展,包括机器翻译、问答和情感分析。然而,对于智能体与人类进行智能交互,仅仅捕获统计模式是不够的。在本文中,我们调查,如果,以及如何接地组成语言可以出现作为一种手段,以实现目标的多智能体人口。为此,我们提出了一个多智能体的学习环境和学习方法,带来了一个基本的组成语言的出现。这种语言被表示为代理人随着时间的推移发出的抽象离散符号流,但仍然具有一个具有定义的词汇和语法的连贯结构。我们还观察到非语言交流的出现,如指向和指导时,语言交流是不可用的。
2018-07-24 cs.AI cs.CL
Intrinsically Motivated Compositional Language Emergence
Örebro University(厄勒布鲁大学);Indian Institute of Science(印度科学学院)
近年来,关于人工智能体在模拟环境中交互的紧急通信已经有了大量的研究。最近的研究表明,一般来说,新兴语言不遵循自然语言的组合模式。为了解决这个问题,现有的作品已经提出了一个有限的信道容量作为一个重要的约束,学习高度组合的语言。在本文中,我们表明,这不是一个充分条件,并提出了一个内在的奖励框架,以提高组合性的紧急通信。我们使用一个带有两个代理的强化学习设置--一个PDMATHAMM Speaker和一个\textit{state-aware} Speaker,它们需要进行通信以执行一组任务。通过我们对三种不同的参考游戏设置的实验,包括一个新的环境gComm,我们发现内在奖励提高组合性分数的$\approx \mathbf{1.5-2}$倍,现有的框架,使用有限的信道容量。
2023-01-27 cs.AI cs.CL
Explainable Verbal Reasoner Plus (EVR+): A Natural Language Reasoning Framework that Supports Diverse Compositional Reasoning
University of Arizona(亚利桑那大学)
针对语言模型组合泛化能力不足的问题,提出支持嵌套循环、多类型递归等多样推理的EVR+框架,通过显式生成执行符号算子、灵活分解任务提升组合推理能力,微调模型在5项合成任务上表现更优,还探讨了与少样本提示模型结合的可能与挑战。
2023-04-28 cs.AI cs.CL
The paradox of the compositionality of natural language: a neural machine translation case study
University of Edinburgh(爱丁堡大学);University of Osnabrück(奥斯纳布吕克大学);Facebook AI Research(脸书人工智能研究院)
在NLP中获得类似人类的性能通常被认为需要组合概括。神经网络是否表现出这种能力,通常是通过在高度组成的合成数据上训练模型来研究的。然而,自然语言中的组合性比这些数据所遵循的严格的、类似算术的版本要复杂得多,因此人工组合性测试无法让我们确定神经模型如何处理更现实形式的组合性。在这项工作中,我们重新实例化三个组合性测试从文献和重新制定他们的神经机器翻译(NMT)。我们的研究结果突出表明:i)不利的是,在更多数据上训练的模型更具组合性; ii)模型有时比预期的组合性更低,但有时更多,这说明需要不同水平的组合性,模型并不总是能够在它们之间正确地调节; iii)一些非组合行为是错误的,而其他行为反映了数据的自然变化。除了实证研究之外,我们的工作是一个行动的号召:我们应该重新思考神经网络中组合性的评估,并使用真实数据开发基准来评估自然语言的组合性,其中组成意义并不像做数学那样简单。
2022-03-31 cs.AI cs.CL cs.LG
A Systematic Study of Compositional Syntactic Transformer Language Models
School of Information Science and Technology, ShanghaiTech University(信息科学与技术学院,上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(智能视觉与成像工程技术研究中心);Ant Group(蚂蚁集团)
本文系统研究了组合式句法语言模型,提出涵盖现有模型与新变体的统一框架,并在语言建模、句法泛化、摘要、对话和推理效率上进行全面评估,为组合式 SLMs 的设计提供了多项建议。
2025-06-28 cs.AI cs.CL
Evaluating Adjective-Noun Compositionality in LLMs: Functional vs Representational Perspectives
研究探讨LLM在形容词-名词组合性任务中的表现,发现模型内部状态与任务性能存在差异,强调对比评估的重要性。
2026-03-15 cs.AI cs.CL
A Generalised Quantifier Theory of Natural Language in Categorical Compositional Distributional Semantics with Bialgebras
University of Oxford(牛津大学);Queen Mary University of London(伦敦玛丽女王大学)
范畴组合分布语义学是自然语言的一种模型,它将词的统计向量空间模型和语法的组合模型结合起来。我们正式在这个模型中的广义量词理论的自然语言,由于Barwise和库珀。其基础是一个具有双代数的紧闭范畴。我们从生成语法形式化开始,并为其开发抽象的范畴组合语义,然后将抽象设置实例化为集合和关系以及有限维向量空间和线性映射。我们证明了等价的关系实例化的真值理论语义的广义量词。向量空间实例化形式化的统计使用的话,使我们能够,第一次,原因量化的短语和句子组成的分布语义。
2017-09-02 cs.AI cs.CL math.CT
Emergence of Compositional Language with Deep Generational Transmission
Georgia Tech(佐治亚理工学院);Oregon State University(俄勒冈州立大学);Facebook AI Research(Facebook人工智能研究院)
最近的工作研究了必须合作解决任务的深度强化学习代理之间的语言出现。特别令人感兴趣的是导致语言成分化的因素,即,通过组合本身有意义的词来表达意义。进化语言学家发现,除了深度学习中已经研究过的结构先验外,语言代代相传的动态对组合性的出现有很大贡献。在本文中,我们将这些文化进化动力引入语言的出现,通过定期更换人口中的代理人来创建知识缺口,隐含地诱导语言的文化传播。我们表明,这种隐含的文化传播鼓励由此产生的语言表现出更好的组合概括。
2020-05-27 cs.AI cs.CL cs.LG
Compositional Semantics Grounded in Commonsense Metaphysics
American Institutes for Research(美国研究院)
我们认为,一个组成的语义强类型的本体,反映了我们的常识世界观和我们谈论它在普通语言的基础上。假设存在这样的结构,我们表明,各种自然语言现象的语义可能会变得几乎微不足道。
2007-08-31 cs.AI cs.CL
CLoVe: Encoding Compositional Language in Contrastive Vision-Language Models
University of Michigan(密歇根大学);Netflix(网飞公司)
针对 CLIP、GPT-4V 等视觉-语言模型难以理解词序与概念组合的问题,提出 CLoVe 框架,在组合性基准上绝对提升逾10%,且不损害识别与检索性能。
2024-03-01 cs.CL cs.CV
Compositional Languages Emerge in a Neural Iterated Learning Model
University of Edinburgh(爱丁堡大学);University of Cambridge(剑桥大学);LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI实验室)
组合性原则使自然语言能够通过简单概念的结构化组合来表示复杂概念,使我们能够使用有限的词汇来传达开放式的信息集。如果组合性确实是语言的一种自然属性,我们可以期待它出现在语言游戏中由神经代理创建的通信协议中。在本文中,我们提出了一种有效的神经迭代学习(NIL)算法,当应用于交互神经代理时,有助于出现更结构化的语言类型。事实上,这些语言在训练过程中为神经代理提供了学习速度优势,这可以通过NIL逐步放大。我们提供了一个概率模型的NIL和解释为什么组合语言的优势存在。我们的实验证实了我们的分析,也表明,出现的语言大大提高了神经智能体通信的泛化能力。
2020-02-17 cs.AI cs.CL cs.LG
Evaluating Morphological Compositional Generalization in Large Language Models
EPFL(瑞士联邦理工学院);Idiap Research Institute(Idiap研究机构);Duke University(杜克大学);Brandeis University(布兰迪斯大学);LMU Munich(慕尼黑大学);University of Cambridge(剑桥大学);Johns Hopkins University(约翰霍普金斯大学);Università della Svizzera Italiana(瑞士意大利大学);New York University(纽约大学)
本文通过组合性视角系统研究大语言模型在黏着语中的形态泛化能力,设计生成式与判别式任务评估多个先进多语言模型,发现其在面对新词根和复杂形态时性能显著下降且缺乏系统性。
2025-06-05 cs.AI cs.CL
Re-Tuning: Overcoming the Compositionality Limits of Large Language Models with Recursive Tuning
Washington University in St. Louis(圣路易斯华盛顿大学);UC Berkeley(加州大学伯克利分校)
本文提出 Re-Tuning 方法,通过递归调优使大模型分解并求解子问题,在整数加法、动态规划和奇偶校验任务上显著提升准确率并降低 GPU 内存开销。
2024-07-05 cs.AI cs.CL cs.LG
Compositional Generalization in Grounded Language Learning via Induced Model Sparsity
Aalto University(阿尔托大学)
我们提供了一个研究如何诱导模型稀疏可以帮助实现组合泛化和更好的样本效率接地语言学习问题。我们考虑简单的语言条件导航问题,在网格世界环境中与解开的意见。我们表明,标准的神经架构并不总是产生组合泛化。为了解决这个问题,我们设计了一个代理,其中包含一个目标识别模块,鼓励稀疏的指令和对象的属性之间的相关性,把它们组合在一起,找到目标。目标识别模块的输出是值迭代网络规划器的输入。我们的代理在包含新的属性组合的目标上保持高水平的性能,即使在从少数演示中学习时也是如此。我们检查我们的代理的内部表示,并找到其字典中的单词和环境中的属性之间的正确对应关系。
2022-07-06 cs.CL cs.LG
Learning to Follow Language Instructions with Compositional Policies
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of the Witwatersrand(金山大学);Georgia Institute of Technology(佐治亚理工学院)
我们提出了一个框架,学习执行自然语言指令的环境中达成目标的任务,共享组件的任务描述。我们的方法利用了价值函数和语言的组合性,目的是降低学习新任务的样本复杂性。首先,我们训练一个强化学习代理来学习价值函数,这些函数随后可以通过布尔代数来组合,以解决新的任务。其次,我们微调了在网络规模语料库上预训练的seq2seq模型,以将语言映射到指定所需价值函数组成的逻辑表达式。在BabyAI领域评估我们的代理,我们观察到在掌握一个任务后学习第二个任务所需的训练步骤减少了86%。消融研究的结果进一步表明,它是组合的价值函数和语言表示,使代理快速概括到新的任务。
2021-10-09 cs.CL cs.LG
Compositional Networks Enable Systematic Generalization for Grounded Language Understanding
MIT(麻省理工学院)
人类在理解新句子时非常灵活,这些句子包含了他们以前从未遇到过的概念组合。最近的研究表明,虽然深度网络在呈现新句子时可以模仿一些人类语言能力,但系统变化揭示了网络语言理解能力的局限性。我们证明,这些限制可以通过解决gSCAN数据集中的泛化挑战来克服,gSCAN数据集明确衡量了智能体能够解释基于视觉的新语言命令的能力,例如,形容词和名词的新奇配对。我们采用的关键原则是组合性:网络的组成结构应该反映它们所解决的问题域的组成结构,同时允许端到端学习其他参数。我们建立了一个通用的机制,使代理,以概括他们的语言理解组成域。至关重要的是,我们的网络具有与先前工作相同的最先进性能,同时在先前工作不具备的情况下推广其知识。我们的网络还提供了一定程度的可解释性,使用户能够检查网络的每个部分都学到了什么。强大的接地语言理解,没有戏剧性的失败,没有角落的情况下,是至关重要的建设安全和公平的机器人,我们证明了组合性可以在实现这一目标中发挥的重要作用。
2021-10-19 cs.AI cs.CL cs.RO
Towards Compositionally Generalizable Semantic Parsing in Large Language Models: A Survey
University of Florida(佛罗里达大学)
本文综述了大语言模型在语义解析任务中组合泛化能力的局限性、改进方法和评估方案,为相关研究提供了起点。
2024-04-15 cs.AI cs.CL
Completeness of Compositional Translation for Context-Free Grammars
如果所有符合源语言语法的正确表达都可以翻译成目标语言,那么机器翻译系统就被称为“完整”。本文讨论了组合机器翻译的完整性问题,特别是上下文无关语法的组合机器翻译。给出了保证上下文无关文法翻译完全性的条件。
1996-07-31 cmp-lg cs.CL
Compositional Semantic Parsing with Large Language Models
Google Research(谷歌研究院);UMass Amherst CICS(马萨诸塞大学阿默斯特分校信息与计算机科学学院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
当面对新任务时,人类可以进行组合推理。先前的研究表明,适当的提示技术使大语言模型(LLM)能够解决人工合成泛化任务,如SCAN。在这项工作中,我们确定了更多的挑战,更现实的语义解析任务,更大的词汇量和完善这些提示技术来解决这些问题。我们最好的方法是基于最小到最大的提示:它分解的问题,使用基于语法分析的句法分析,然后使用这种分解,以选择适当的样本,并顺序生成语义分析。这种方法使我们能够为CFQ设定一个新的技术水平,同时只需要传统方法使用的训练数据的1%。由于我们的方法的一般性质,我们预计类似的努力将导致在其他任务和领域,特别是知识密集型应用程序的新成果。
2022-09-30 cs.AI cs.CL
Exploring the Compositional Deficiency of Large Language Models in Mathematical Reasoning
School of Computer Science, Fudan University(复旦大学计算机科学学院);Shanghai Key Laboratory of Intelligent Information Processing, Fudan University(复旦大学上海智能信息处理重点实验室)
本研究构建含逻辑陷阱的MathTrap数据集,发现LLMs虽具备所需知识却无法自发组合以处理数学推理中的新案例,并验证了提示、微调及类人“慢思考”可部分缓解此组合性缺陷。
2024-10-10 cs.AI cs.CL
A Deep Compositional Framework for Human-like Language Acquisition in Virtual Environment
我们解决了一个任务,代理学习在一个名为XWORLD的2D迷宫般的环境中导航。在每个会话中,智能体感知一系列原始像素帧、教师发出的自然语言命令和一组奖励。智能体以一种接地和合成的方式从头开始学习教师的语言,使得在训练之后,它能够正确地执行zero-shot命令:1)命令中的单词的组合以前从未出现过,和/或2)命令包含从另一个任务中学习但从未从导航中学习的新对象概念。我们的智能体深层框架是端到端训练的:它同时学习环境的视觉表示、语言的语法和语义以及输出动作的动作模块。我们的框架的零样本学习能力来自于其组合性和模块性与参数绑定。我们可视化框架的中间输出,证明代理真正了解如何解决问题。我们相信,我们的研究结果提供了一些初步的见解,如何训练代理具有类似的能力,在三维环境中。
2017-05-19 cs.CL cs.LG
SugarCrepe: Fixing Hackable Benchmarks for Vision-Language Compositionality
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
针对视觉-语言模型组合理解基准测试存在可被黑客攻击的偏差问题,研究提出SugarCrepe基准测试,利用大语言模型生成硬负样本并通过对抗性细化机制减少偏差,发现现有模型的改进被高估。
2023-06-26 cs.CL cs.CV cs.LG
A Language-independent and Compositional Model for Personality Trait Recognition from Short Texts
Xerox Research Center Europe(欧洲施乐研究院)
许多方法已被用于从文本中识别作者的个性特征,通常将语言特征工程与浅层学习模型相结合,例如线性回归或支持向量机。这项工作使用基于深度学习的模型和文本的原子特征,即字符,来构建用于特质推断的分层矢量单词和句子表示。这种方法应用于推文语料库,与作者分析的先前工作相比,显示了五种特征和三种语言(英语,西班牙语和意大利语)的最先进性能。这些结果得到了初步可视化工作的支持,对于检测复杂人类特征的能力来说是令人鼓舞的。
2016-10-14 cs.CL stat.ML
Compositional Attention Networks for Interpretability in Natural Language Question Answering
Saama AI Research(萨马人工智能研究院)
MAC网是一个为视觉问答设计的合成注意网络。我们提出了一种改进的MAC网络结构的自然语言问答。问答通常需要语言理解和多步推理。MAC网独特的体系结构-存储和控制分离,有利于数据驱动的迭代推理。这使得它成为解决涉及逻辑推理的任务的理想候选人。我们的实验与20 bAbI任务证明了MAC网的价值作为一个数据高效和可解释的架构自然语言问答。MAC网络的透明性提供了一个高度粒度的视图,网络在回答查询时所采取的推理步骤。
2018-10-30 cs.AI cs.CL cs.LG
Rehearsal-Free Modular and Compositional Continual Learning for Language Models
Bosch Center for Artificial Intelligence(博世人工智能中心);LMU Munich(慕尼黑大学);Hochschule der Medien(斯图加特媒体大学);Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用技术大学)
本文提出无排练的模块化与组合式持续学习框架MoCL,通过持续添加并组合模块,在避免遗忘的同时促进任务间知识迁移,并在多个基准上超越现有方法。
2024-03-31 cs.CL cs.LG