The paradox of the compositionality of natural language: a neural machine translation case study
University of Edinburgh(爱丁堡大学);University of Osnabrück(奥斯纳布吕克大学);Facebook AI Research(脸书人工智能研究院)
在NLP中获得类似人类的性能通常被认为需要组合概括。神经网络是否表现出这种能力,通常是通过在高度组成的合成数据上训练模型来研究的。然而,自然语言中的组合性比这些数据所遵循的严格的、类似算术的版本要复杂得多,因此人工组合性测试无法让我们确定神经模型如何处理更现实形式的组合性。在这项工作中,我们重新实例化三个组合性测试从文献和重新制定他们的神经机器翻译(NMT)。我们的研究结果突出表明:i)不利的是,在更多数据上训练的模型更具组合性; ii)模型有时比预期的组合性更低,但有时更多,这说明需要不同水平的组合性,模型并不总是能够在它们之间正确地调节; iii)一些非组合行为是错误的,而其他行为反映了数据的自然变化。除了实证研究之外,我们的工作是一个行动的号召:我们应该重新思考神经网络中组合性的评估,并使用真实数据开发基准来评估自然语言的组合性,其中组成意义并不像做数学那样简单。
2022-03-31 cs.AI cs.CL cs.LG
Recognition of Visually Perceived Compositional Human Actions by Multiple Spatio-Temporal Scales Recurrent Neural Networks
Korea Institute of Science and Technology(韩国科学技术院);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
本文提出了一种新的神经网络模型,用于识别视觉感知的人类行为。在传统的卷积神经网络模型基础上引入多时间尺度递归动力学,提出了多时空尺度递归神经网络(MSTRNN)模型。MSTRNN的一个基本特征是其结构同时对不同层之间在多个尺度上变化的神经活动施加空间和时间约束。根据向上和向下因果关系原理,假设网络在学习过程中可以利用这些约束来发展有意义的结构,如功能层次结构。为了评估模型的特性,本研究使用了三种类型的人类动作视频数据集,包括不同类型的原始动作和不同层次的组合性。将MSTRNN在使用这些数据集进行测试时的性能与该领域使用的其他代表性深度学习模型的性能进行比较。通过对数据集的学习获得的内部表示的分析阐明了通过提取数据集底层的基本组成性可以开发什么样的功能层次结构。
2017-02-22 cs.AI cs.CV cs.LG
Compositional Processing Emerges in Neural Networks Solving Math Problems
Microsoft(微软)
认知科学中一个长期存在的问题是关于人类认知中组合性的学习机制。人类可以推断结构化关系(例如,语法规则)隐含在他们的感官观察中(例如,听觉语音),并使用这些知识来指导简单的意义组合成复杂的整体。人工神经网络的最新进展表明,当大型模型在足够的语言数据上训练时,语法结构就会出现在它们的表示中。我们将这项工作扩展到数学推理领域,在那里可以制定关于意义如何的精确假设(例如,对应于数字的量)应当根据结构化规则组成(例如,操作顺序)。我们的工作表明,神经网络不仅能够推断出隐含在其训练数据中的结构化关系,而且还可以利用这些知识来指导将单个意义组合成复合整体。
2021-05-19 cs.AI cs.CL cs.LG
Compositionality Through Language Transmission, using Artificial Neural Networks
ASAPP
我们提出了一种用于将迭代学习模型(“ILM”)用于人工神经网络的体系结构和过程。我们发现,ILM不会导致相同的清晰的组合使用DCG观察到的,但确实导致适度的改善组合,测量的坚持精度和拓扑相似性。我们发现,ILM可以导致保持精度和拓扑ρ之间的反相关。我们证明,ILM可以增加组合性时,使用非符号的高维图像作为输入。
2021-04-07 cs.CL
On Compositionality in Neural Machine Translation
我们研究了神经机器翻译(NMT)中组合性的两种具体表现:(1)生产力-模型将其预测扩展到训练数据中观察到的长度之外的能力;(2)系统性-模型系统地重组已知部分和规则的能力。我们评估了一个标准的序列到序列模型的测试,旨在评估这两个属性在NMT。我们定量地表明,不充分的时间处理,在形式差的编码器表示是生产力和系统性的瓶颈。我们提出了一个简单的预训练机制,该机制可以提高模型在这两个属性上的性能,并显著提高BLEU分数。
2019-12-14 cs.CL cs.LG
Basic syntax from speech: Spontaneous concatenation in unsupervised deep neural networks
Department of Linguistics, University of California, Berkeley(加州大学伯克利分校语言学系);Department of Computer Science, Iowa State University(爱荷华州立大学计算机科学系)
研究通过无监督深度神经网络发现,从原始语音中可自发生成多词拼接,揭示了语法演化的潜在机制。
2026-04-22 cs.AI cs.CL cs.SD
Modeling Compositionality with Multiplicative Recurrent Neural Networks
Cornell University(康奈尔大学)
我们提出的乘法递归神经网络作为一个通用的模型组成的意义的语言,并评估它的细粒度的情感分析的任务。我们建立了一个连接到以前研究的矩阵空间模型的组合性,并表明它们是乘法递归网络的特殊情况。我们的实验表明,这些模型的性能比Elman型加性循环神经网络和优于矩阵空间模型的标准细粒度的情感分析语料库。此外,它们在最近出版的斯坦福情感树库上产生了与结构深度模型相当的结果,而不需要生成解析树。
2015-05-02 cs.CL cs.LG stat.ML
Siamese recurrent networks learn first-order logic reasoning and exhibit zero-shot compositional generalization
University of Amsterdam(阿姆斯特丹大学)
神经网络可以学习逻辑吗?我们用当前的方法来处理这个经典问题,并证明了递归神经网络可以学习识别表达式之间的一阶逻辑蕴涵关系。我们在一阶谓词逻辑中定义了一种人工语言,生成了一个大型的样本“数据集”,并使用自动定理证明器来推断这些句子的随机对之间的关系。我们描述了一个暹罗神经架构训练预测的逻辑关系,并与递归和递归网络的实验。Siamese递归网络在蕴涵识别任务中取得了惊人的成功,在新句子(由已知单词组成)上达到了近乎完美的性能,甚至优于递归网络。我们报告了一系列的实验,以测试的能力的模型进行组合泛化。特别是,我们研究他们如何处理看不见的长度的句子,和句子包含看不见的话。我们发现,设置使用LSTM和GRU在这些测试中获得高分,表现出一种形式的组合。
2019-06-01 cs.AI cs.CL cs.LG
Learning by Abstraction: The Neural State Machine
Stanford University(斯坦福大学)
我们引入神经状态机,寻求弥合人工智能的神经和符号视图之间的差距,并将它们的互补优势整合到视觉推理任务中。给定一个图像,我们首先预测一个概率图,表示其底层语义,并作为一个结构化的世界模型。然后,我们在图上执行顺序推理,迭代地遍历其节点以回答给定的问题或得出新的推理。与大多数旨在与原始感觉数据密切交互的神经架构相比,我们的模型在抽象的潜在空间中运行,通过将视觉和语言模态转换为基于语义概念的表示,从而实现增强的透明度和模块化。我们在VQA-CP和GQA上评估了我们的模型,这两个最近的VQA数据集涉及组合性,多步推理和多种推理技能,在这两种情况下都取得了最先进的结果。我们提供了进一步的实验来说明该模型在多个维度上的强大泛化能力,包括概念的新颖组合、答案分布的变化和看不见的语言结构,从而证明了我们方法的质量和有效性。
2019-11-25 cs.AI cs.CL cs.CV
Obtaining Faithful Interpretations from Compositional Neural Networks
Allen Institute for AI(艾伦人工智能研究所);Tel-Aviv University(特拉维夫大学);University of California, Irvine(加利福尼亚大学欧文分校);University of Pennsylvania(宾夕法尼亚大学)
神经模块网络(NMN)是一种流行的组合性建模方法:当应用于语言和视觉问题时,它们实现了高精度,同时反映了网络架构中问题的组成结构。然而,先前的工作隐含地假设,网络模块的结构,描述了抽象的推理过程,提供了一个忠实的解释模型的推理,也就是说,所有的模块执行其预期的行为。在这项工作中,我们提出并进行系统的评估NMN的中间输出NLVR2和DROP,两个数据集,需要组成多个推理步骤。我们发现,中间输出不同于预期的输出,说明网络结构不提供一个忠实的解释模型的行为。为了弥补这一点,我们用辅助监督训练模型,并为模块架构提出特定的选择,以最小的精度代价产生更好的忠诚度。
2020-09-08 cs.AI cs.CL cs.CV
Neural Tree Indexers for Text Understanding
University of Massachusetts(马萨诸塞大学)
递归神经网络(RNN)顺序处理输入文本,并对单词标记之间的条件转换进行建模。相比之下,递归网络的优点包括它们显式地对自然语言的组合性和递归结构进行建模。然而,当前的递归体系结构受到其对语法树的依赖的限制。在本文中,我们介绍了一个强大的句法分析独立的树结构模型,神经树索引(NTI),提供了一个中间地带之间的顺序RNN和基于语法树的递归模型。NTI构造一个完整的n-ary树处理输入文本与其节点功能在一个自底向上的方式。然后,注意力机制可以应用于结构和节点功能。我们实现并评估了NTI的二叉树模型,显示该模型在三个不同的NLP任务上实现了最先进的性能:自然语言推理,答案句子选择和句子分类,优于最先进的递归和递归神经网络。
2017-02-28 cs.CL cs.LG stat.ML
Recursive Neural Networks with Bottlenecks Diagnose (Non-)Compositionality
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
NLP最近的一系列工作集中在模型在合成上概括人工语言的能力上。然而,当考虑自然语言任务时,所涉及的数据不是严格的或局部的组合。量化数据的组合性是一项具有挑战性的任务,主要针对短话语进行了研究。我们使用递归神经模型(Tree-LSTM),它具有限制节点之间信息传输的瓶颈。我们说明,比较数据的表示模型和没有瓶颈可以用来产生一个组合性度量。该过程被应用到使用合成数据的算术表达式的评估,和使用自然语言数据的情感分类。我们证明了通过瓶颈压缩不成比例地影响非组合的例子,然后使用瓶颈组合性度量(bottleneck compositionality metric)来区分组合样本和非组合样本,从而在数据集上产生组合性排名。
2023-01-31 cs.CL
Recurrent Convolutional Neural Networks for Discourse Compositionality
Oxford University(牛津大学)
意义的组合性超出了单个句子。正如单词组合形成句子的意义一样,句子组合形成段落,对话和一般话语的意义。我们介绍了相应的两个层次的组合性的句子模型和话语模型。句子模型采用卷积作为语义向量构成的中心运算,并基于一种新型的分层卷积神经网络。话语模型扩展了句子模型,并基于一个递归神经网络,该网络以一种新颖的方式对当前句子和当前说话者进行调节。语篇模型能够捕捉句子的顺序性和不同说话者之间的互动。在没有特征工程或预训练的情况下,通过简单的贪心解码,与句子模型耦合的话语模型在对话行为分类实验上获得了最先进的性能。
2013-06-15 cs.CL
On the Correspondence between Compositionality and Imitation in Emergent Neural Communication
UPF(庞培法布拉大学);INRIA(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);ENS-PSL(巴黎高等师范学院-巴黎文理研究大学)
在深度神经智能体参与的Lewis博弈中,研究了组合性与模仿学习的联系,发现强化学习比监督学习更能促使语言具组合性,且组合性语言更易被模仿。
2023-05-22 cs.CL cs.NE
Computer Model of a "Sense of Humour". II. Realization in Neural Networks
P.N.Lebedev Physical Institute(P.N.列别捷夫物理研究所);P.L.Kapitza Institute for Physical Problems(P.L.卡皮察物理问题研究所)
“幽默感”的计算机实现需要创建一个算法来解决“语言问题”,即识别连续序列的多语义图像的问题。这种算法经过适当的修改后,可以在神经网络的Hopfield模型中实现。
2007-11-13 cs.AI q-bio.NC
Syntax-guided Neural Module Distillation to Probe Compositionality in Sentence Embeddings
Carnegie Mellon University(卡内基梅隆大学)
过去在句子嵌入模型中探索组合性的工作面临着确定隐式语法表示的因果影响的问题。给定一个句子,我们构造一个神经模块网络的基础上,其语法分析和训练它端到端近似句子的嵌入生成的Transformer模型。然后,Transformer到句法神经元模块网(SynNaMoN)的可转换性捕获句法是否是其组合能力的强因果模型。此外,我们通过指定各个SynNaMoN模块的内部架构和线性来解决语义组合的几何问题。我们发现各种句子嵌入模型的可扩展性与其性能广泛相关,但观察到可扩展性不会因模型大小而发生很大变化。我们还提出了初步的证据表明,在句子嵌入模型的语法指导的组成是线性的,非线性可能主要用于处理非成分短语。
2023-02-08 cs.CL
Dynamic Compositionality in Recursive Neural Networks with Structure-aware Tag Representations
Seoul National University(首尔国立大学);University of Chicago(芝加哥大学)
大多数现有的递归神经网络(RvNN)结构只利用解析树的结构,而忽略了作为解析副产品的句法标记。我们提出了一种新的RvNN体系结构,可以提供动态的组合性,考虑来自结构和语言标签的综合句法信息。具体来说,我们引入了一个由单独的标签级树LSTM构建的结构感知标签表示。有了这个,我们可以通过将表示作为树-LSTM的门函数的补充输入来控制现有字级树-LSTM的组合函数。在广泛的实验中,我们表明,建立在所提出的架构模型获得优越的或有竞争力的性能,如情感分析和自然语言的推理与以前的树结构模型和其他复杂的神经模型相比,在几个层次的任务。
2018-11-26 cs.CL
The Neural Race Reduction: Dynamics of Abstraction in Gated Networks
Sainsbury Wellcome Centre, UCL(伦敦大学学院塞恩斯伯里·韦尔科姆中心);Meta AI;CIFAR(加拿大高等研究院)
我们对深度学习的理论理解并没有跟上它的经验成功。虽然网络架构是众所周知的关键,我们还不了解它对学习表征和网络行为的影响,或者这种架构应该如何反映任务结构。在这项工作中,我们开始通过引入门控深度线性网络框架来解决这一差距,该框架图示了信息流的路径如何影响架构内的学习动态。至关重要的是,由于门控,这些网络可以计算其输入的非线性函数。我们得到一个确切的减少,并在某些情况下,确切的解决方案的动态学习。我们的分析表明,结构化网络中的学习动态可以被概念化为一个神经竞赛,它对共享表示有隐含的偏见,然后控制模型系统概括,多任务和转移的能力。我们验证了我们对自然主义数据集的关键见解,并采用了宽松的假设。总的来说,我们的工作产生了神经结构与学习相关的一般假设,并提供了一种数学方法来理解更复杂的结构的设计以及模块化和组合性在解决现实问题中的作用。代码和结果可在https://www.saxelab.org/gated-dln上获得。
2022-07-21 cs.AI cs.LG
Emergent Language Generalization and Acquisition Speed are not tied to Compositionality
Facebook AI(Facebook人工智能);ICREA
当神经代理进行通信以解决联合任务时出现的离散语言的研究通常会寻找组成结构的证据。这源于这样一种期望,即这种结构将允许代理更快地获得语言,并使它们能够更好地泛化。我们认为,这些有益的属性只是松散地连接到组合。在两个实验中,我们证明,根据任务,非组合语言可能会表现出相同的,或更好的,泛化性能和采集速度比组合的。该领域的进一步研究应该更清楚地了解组合性的预期好处,以及后者将如何导致它们。
2020-04-25 cs.CL cs.LG
Restricted Recurrent Neural Tensor Networks: Exploiting Word Frequency and Compositionality
Institute of Informatics, Federal University of Rio Grande do Sul(联邦南里奥格兰德大学信息学院);School of Computer Science and Electronic Engineering, University of Essex(埃塞克斯大学计算机科学与电子工程学院)
增加递归神经网络(RNN)的容量通常涉及增加隐藏层的大小,从而显著增加计算成本。递归神经张量网络(RNTN)为每个单词使用不同的隐藏层权重来增加容量,但内存使用成本更高。在本文中,我们引入了限制递归神经张量网络(r-RNTN),它为频繁词汇保留不同的隐藏层权重,同时为不频繁词汇共享一组权重。复杂度评估表明,对于固定的隐藏层大小,r-RNTN提高语言模型的性能,RNN只使用一小部分的参数的不受限制的RNTN。这些结果适用于使用门控递归单位和长短期记忆的r-RNTN。
2018-05-11 cs.CL
Linguistic generalization and compositionality in modern artificial neural networks
Catalan Institute for Advanced Studies and Research(加泰罗尼亚高等研究院);Universitat Pompeu Fabra(庞培法布拉大学);Facebook Artificial Intelligence Research(Facebook人工智能研究院)
在过去的十年中,深度人工神经网络在许多自然语言处理任务中取得了惊人的性能。鉴于语言的高生产力,这些模型必须具有有效的泛化能力。人们普遍认为,人类通过代数组合规则来处理语言生产力:深层网络也是如此吗?在回顾了当前深度语言处理网络的主要创新之后,我讨论了一系列研究,这些研究表明,深度网络能够进行微妙的语法依赖性概括,但它们也不依赖于系统的组成规则。我认为,有趣的行为,这些设备(仍在等待一个充分的理解)应该感兴趣的语言学家和认知科学家,因为它提供了一个新的视角,可能的计算策略,以处理语言生产力超越基于规则的组合性,它可能会导致新的见解不太系统的泛化模式,也出现在自然语言。
2019-06-26 cs.CL
How degenerate is the parametrization of neural networks with the ReLU activation function?
University of Vienna(维也纳大学)
神经网络训练通常通过使用随机梯度下降求解非凸优化问题来完成。尽管对网络参数进行了优化,但主损失函数通常仅取决于神经网络的实现,即它计算的函数。研究实现空间上的优化问题为理解神经网络训练开辟了新的途径。特别是,通常的损失函数,如均方误差和分类交叉熵在神经网络实现的空间上是凸的,它们本身是非凸的。神经网络的逼近能力可以用来处理后者的非凸性,这使我们能够建立,对于足够大的网络的局部极小值的正则化优化问题的实现空间几乎是最优的。然而,请注意,每个实现都有许多不同的、可能退化的参数化。特别地,参数化空间中的局部最小值不需要对应于实现空间中的局部最小值。为了建立这样的连接,需要实现映射的逆稳定性,这意味着实现的接近必须意味着相应参数化的接近。我们提出的病理,防止逆稳定的一般,并为浅网络,着手建立一个限制空间的参数化,我们有逆稳定w.r.t.索伯列夫范数此外,我们表明,通过优化这样的限制集,它仍然是可以学习任何功能,可以通过优化非限制集学习。
2023-02-08 cs.LG math.FA math.OC
Propositional Logic for Probing Generalization in Neural Networks
University of Amsterdam(阿姆斯特丹大学);CLCG, Rijksuniversiteit Groningen(CLCG,格罗宁根大学);ILLC, University of Amsterdam(ILLC,阿姆斯特丹大学)
本文构建命题逻辑受控任务与均衡数据集,评估 Transformers、GCN 和 LSTM 对未见逻辑运算符组合的泛化,揭示标准架构尤其难以组合性处理否定。
2025-06-10 cs.AI cs.LG
Post-Training Quantization for Energy Efficient Realization of Deep Neural Networks
RWTH Aachen University(亚琛工业大学)
深度神经网络(DNN)部署在边缘设备上生成的数据附近的最大挑战是它们的大小,即,存储器占用和计算复杂性。两者都随着量化而显着减少。随着所产生的较低的字长,DNN的能量效率成比例地增加。然而,较低的字长通常会导致精度下降。为了抵消这种影响,量化的DNN被重新训练。不幸的是,训练比量化DNN的推理多花费5000倍的能量。为了解决这个问题,我们提出了一个后训练量化流程,而不需要再培训。为此,我们研究了不同的量化选项。此外,我们的分析系统地评估了减少词长度的权重和激活的影响,揭示了词长度选择的明显趋势。这两个方面迄今尚未得到系统的研究。我们的结果与DNN的深度无关,并适用于均匀量化,允许对给定的预训练DNN进行快速量化。我们在ImageNet的6位和2.2%的Top-1准确率方面表现出色。在没有重新训练的情况下,我们量化到8位的精度超过了浮点精度。
2022-10-14 cs.AI cs.CV cs.LG
Laziness Is a Virtue When It Comes to Compositionality in Neural Semantic Parsing
IBM Research(IBM研究院)
本研究提出一种自底向上的懒惰式神经语义解析生成方法,从逻辑形式叶子节点逐步构建,仅扩展最有希望的候选解析,在CFQ和三个Text-to-SQL数据集上优于通用解析器并具竞争力。
2023-05-07 cs.AI cs.CL
Realization of Stochastic Neural Networks and Its Potential Applications
Istanbul Technical University(伊斯坦布尔理工大学)
自实现传统SC解码器以来,连续抵消解码器已经取得了很大进展,但仍有改进的潜力。多年来的主要斗争是找到一个最佳算法来实现它们。大多数提出的算法是不够实用,在现实生活中实现。在本研究中,我们的目的是介绍随机神经网络作为SC解码器的效率,并找到可能的方法来提高其性能和实用性。在本文中,在简要介绍了随机神经元和SNNs,我们介绍了方法来实现随机神经网络的确定性和随机平台。
2020-11-12 cs.AI cs.NE cs.NI
Visualizing and Understanding Neural Models in NLP
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
虽然神经网络已经成功地应用于许多自然语言处理任务,但由此产生的基于向量的模型非常难以解释。例如,不清楚它们如何实现{ \em组合性},从单词和短语的意义中构建句子意义。在本文中,我们描述了四种策略,可视化NLP神经模型中的组合性,灵感来自计算机视觉的类似工作。我们首先绘制单位值来可视化否定、强化和让步从句的组合性,让我们看到否定中众所周知的标记不对称。然后,我们介绍了三种简单而直接的方法来可视化一个单元的{ \em显着性},它对最终组成的意义的贡献量:(1)梯度反向传播,(2)从平均单词节点的令牌的方差,(3)LSTM风格的门,测量信息流。我们使用简单的递归网络和LSTM来测试我们的方法。我们的通用方法可能在理解深度网络的组合性和其他语义属性方面具有广泛的应用,并且还揭示了为什么LSTM优于简单的递归网络,
2016-01-08 cs.CL
Compositional Languages Emerge in a Neural Iterated Learning Model
University of Edinburgh(爱丁堡大学);University of Cambridge(剑桥大学);LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI实验室)
组合性原则使自然语言能够通过简单概念的结构化组合来表示复杂概念,使我们能够使用有限的词汇来传达开放式的信息集。如果组合性确实是语言的一种自然属性,我们可以期待它出现在语言游戏中由神经代理创建的通信协议中。在本文中,我们提出了一种有效的神经迭代学习(NIL)算法,当应用于交互神经代理时,有助于出现更结构化的语言类型。事实上,这些语言在训练过程中为神经代理提供了学习速度优势,这可以通过NIL逐步放大。我们提供了一个概率模型的NIL和解释为什么组合语言的优势存在。我们的实验证实了我们的分析,也表明,出现的语言大大提高了神经智能体通信的泛化能力。
2020-02-17 cs.AI cs.CL cs.LG
Coordination Among Neural Modules Through a Shared Global Workspace
Mila(米拉人工智能研究所);University of Montreal(蒙特利尔大学);Google Deepmind(谷歌DeepMind);Max Planck Institute(马克斯·普朗克研究所);Google Research(谷歌研究院);Microsoft Research(微软研究院);Indian Institute of Technology, Delhi(印度理工学院德里分校)
深度学习已经看到了一种从用单一的隐藏状态表示示例向丰富结构化状态的转变。例如,Transformers根据位置进行分段,而以对象为中心的架构将图像分解为实体。在所有这些架构中,不同元素之间的交互都是通过成对交互来建模的:Transformers利用自我注意力来合并来自其他位置的信息;以对象为中心的架构利用图神经网络来建模实体之间的交互。然而,成对交互可能无法实现全局协调或可用于下游任务的连贯、集成表示。在认知科学中,已经提出了一种全局工作空间架构,其中功能专门化的组件通过公共的、带宽有限的通信信道共享信息。我们探索在深度学习的背景下使用这样的通信通道来建模复杂环境的结构。所提出的方法包括一个共享的工作空间,通过该工作空间,不同的专家模块之间的通信发生,但由于通信带宽的限制,专家模块必须竞争访问。我们表明,能力限制有一个合理的基础,因为(1)他们鼓励专业化和组合性和(2)他们促进同步,否则独立的专家。
2022-03-22 cs.AI cs.LG stat.ML
Benchmarking Compositionality with Formal Languages
University of Cambridge(剑桥大学);New York University(纽约大学);San José State University(圣何塞州立大学);FAIR(FAIR(脸书人工智能研究院));ETH Zürich(苏黎世联邦理工学院)
本文从形式语言角度研究NLP大模型的组合性学习能力,利用确定性有限状态转换器生成可控数据集,发现模型能否学会组合关系取决于转移覆盖率,并在每转移400个示例处设定软学习界限。
2023-08-01 cs.CL
Hardware Realization of Nonlinear Activation Functions for NN-based Optical Equalizers
Aston University(阿斯顿大学);Infinera(英飞朗公司)
为降低基于神经网络的光学信道均衡器硬件实现复杂度,本文证明使用近似激活函数的biLSTM均衡器性能接近原始模型。
2023-05-16 cs.LG physics.optics
Convolutional Neural Networks with Recurrent Neural Filters
Bloomberg(彭博)
我们介绍了一类利用递归神经网络(RNN)作为卷积滤波器的卷积神经网络(CNN)。卷积滤波器通常被实现为线性仿射变换,然后是非线性函数,这无法考虑语言的组合性。因此,它限制了高阶过滤器的使用,而高阶过滤器通常是自然语言处理任务所必需的。在这项工作中,我们使用RNN对卷积过滤器进行建模,这些RNN可以自然地捕获语言中的组合性和长期依赖性。我们表明,配备循环神经过滤器(RNF)的简单CNN架构实现的结果与斯坦福情感树库和两个答案句子选择数据集上发表的最佳结果不相上下。
2018-08-28 cs.CL
Contextualized word senses: from attention to compositionality
Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS)(智能技术卓越研究中心(CiTIUS));Universidade de Santiago de Compostela(圣地亚哥德孔波斯特拉大学)
本文提出一种基于语义组合性、依存关系和选择偏好的透明可解释词义编码策略,并在词义相似度任务上与Transformer对比,证明语言学驱动模型可达到有竞争力的效果。
2023-12-01 cs.CL
Neural Language Models Learn the Contextual Distributions of Dependency Structures: a statistical learning theory to compositionality
University of Oxford(牛津大学)
本文提出统计学习理论,认为NLM将已学依存结构作为新分布单元,通过合成语法实验证明模型能学习复合结构的上下文分布,且依存关系学习先于上下文特征,为组合性提供解释。
2026-09-29 cs.CL
Scaling can lead to compositional generalization
ETH Zurich(苏黎世联邦理工学院);Princeton University(普林斯顿大学)
本研究通过扩展数据和模型规模实现神经网络的组合泛化,并证明多层感知器可线性逼近组合任务族,且成功泛化时任务成分可从隐藏激活中线性解码。
2025-10-23 cs.LG cs.NE
A Closed-Form Formula for Consistent Lipschitz Regression on Metric Spaces with Sparse Neural Network Realizations
针对深度神经网络缺乏闭式解与凸优化目标的问题,提出度量空间上未知Lipschitz函数的两阶段闭式重构公式$\hat{f}$,给出高概率一致恢复保证,证明其在函数空间、参数空间及前向传播三方面的最优性,可由稀疏ReLU网络精确实现。
2026-09-04 cs.LG stat.ML
Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
系统组合性是人类语言中的一种基本机制,它允许已知部分的重组来创造新的表达。然而,现有的神经模型已经被证明缺乏这种学习符号结构的基本能力。由于Transformer模型在SCAN组合性挑战(Lake和Baroni,2018)中失败,需要将命令解析为动作,我们提出了两个辅助序列预测任务,用于跟踪函数和参数语义的进展,作为额外的训练监督。这些自动生成的序列更能代表输入数据的底层组成符号结构。在推理过程中,模型在每一步联合预测辅助序列中的下一个动作和下一个标记。在SCAN数据集上的实验表明,我们的方法鼓励Transformer理解命令的组合结构,将其在多个具有挑战性的拆分上的准确率从<= 10%提高到100%。在只有418个(5%)训练实例的情况下,我们的方法在MCD1分割上仍然达到了97.8%的准确率。因此,我们认为,组合性可以诱导在Transformers给予最小的,但适当的指导。我们还表明,更好的结果是实现使用较少的上下文向量作为注意力的查询,实现系统的组合性的架构选择提供见解。最后,我们展示了对PulledSCAN任务的积极推广结果(Ruis等人,2020年)。我们的代码可在https://github.com/jiangycTarheel/compositional-auxseq上公开获取
2021-09-30 cs.AI cs.CL cs.LG
Circuit realization and hardware linearization of monotone operator equilibrium networks
University of Sydney(悉尼大学)
本文证明电阻-二极管网络的端口行为对应于ReLU单调算子均衡网络的解,并提出硬件线性化方法实现网络在硬件中的直接训练,通过器件级电路仿真验证。
2026-10-08 cs.LG cs.NE cs.SY
Beyond Multilayer Perceptrons: Investigating Complex Topologies in Neural Networks
University of Rome Tor Vergata(罗马第二大学);Harvard Medical School(哈佛医学院)
本研究提出基于多种复杂拓扑结构构建人工神经网络的方法,发现复杂拓扑在高难度任务中优于传统多层感知器,但会增加计算时间并降低对图损伤的鲁棒性,且性能差异无法由单一拓扑属性解释。
2023-10-23 cond-mat.dis-nn cs.LG cs.NE
Compositionality as Lexical Symmetry
Massachusetts Institute of Technology(麻省理工学院)
本文提出LEXSYM,将组合性定义为数据分布对称性约束,通过自动发现数据变换并增强训练数据,使普通神经序列模型在语义解析、指令跟随和视觉问答等任务上达到或超越专用模型。
2023-07-05 cs.CL cs.CV cs.LG
VCWE: Visual Character-Enhanced Word Embeddings
Fudan University(复旦大学)
汉语是一种语标书写系统,汉字的字形包含着丰富的句法和语义信息。在本文中,我们提出了一个模型来学习中文词嵌入通过三个层次的组合:(1)一个卷积神经网络,以提取字符的视觉形状的字符内的组合;(2)一个递归神经网络与自我注意组成的字符表示到词嵌入;(3)Skip-Gram框架,直接从上下文信息捕获非组合。评估表明,我们的模型在四个任务:词相似度,情感分析,命名实体识别和词性标注的优越性能。
2019-03-25 cs.CL
Compositional Generalization for Primitive Substitutions
Baidu Research(百度研究院)
成分泛化是人类语言学习的一个基本机制,但目前的神经网络缺乏这种能力。本文对神经网络的编码组合性进行了基础性研究。传统的方法对输入句子使用单一的表示,使得很难应用组合性的先验知识。相比之下,我们的方法利用这样的知识与两个表示,一个生成注意力地图,和其他的映射参加输入单词输出符号。我们减少每个表示中的熵以提高泛化能力。我们的实验表明,在五个自然语言处理任务,包括指令学习和机器翻译的显着改善传统的方法。在SCAN域中,Jump任务的准确率从14.0%提高到98.8%,TurnLeft任务的准确率从92.0%提高到99.7%。在少样本学习任务上,它也胜过人类。我们希望所提出的方法可以帮助减轻未来的研究对人类水平的合成语言学习。
2019-10-07 cs.CL cs.LG
Neural-Symbolic Inference for Robust Autoregressive Graph Parsing via Compositional Uncertainty Quantification
UC San Diego(加州大学圣迭戈分校);Google Research(谷歌研究院);Harvard University(哈佛大学)
预训练的seq2seq模型在具有丰富注释数据的图语义解析方面表现出色,但对分布外(OOD)和长尾示例的推广较差。相比之下,符号解析器在人口级指标上表现不佳,但在OOD和尾部泛化方面表现出独特的优势。在这项工作中,我们研究了由模型置信度提供信息的组合感知神经符号推理方法,在子图级别(即,节点和边),并在神经解析器中精确地瞄准具有高不确定性的子图分量。因此,该方法结合了神经和符号方法在捕获图预测的不同方面的独特优势,从而在跨域和尾部都具有全面的泛化性能。我们实证研究的方法在英语资源语法(ERG)的分析问题上的一套不同的标准领域和七个面向对象的语料库。我们的方法分别使神经和符号方法的合计Smatch得分的错误减少了35.26%和35.60%,并且在神经模型的关键尾部语言类别中获得了14%的绝对准确度,优于先前不考虑组合性或不确定性的最先进方法。
2023-01-26 cs.CL
Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision
Northwestern University(西北大学);Tel-Aviv University(特拉维夫大学);Google Inc.(谷歌公司)
利用神经网络的统计能力来执行语言理解和符号推理是困难的,当它需要对大型知识库执行有效的离散操作时。在这项工作中,我们介绍了一个神经符号机,它包含(a)一个神经“程序员”,即,将语言语句映射到程序并利用键变量存储器来处理组合性的序列到序列模型(b)符号“计算机”,即,一个Lisp解释器,执行程序执行,并通过修剪搜索空间来帮助找到好的程序。我们应用REINFORCE直接优化这个结构化预测问题的任务奖励。为了在弱监督下进行训练并提高REINFORCE的稳定性,我们使用迭代最大似然训练过程对其进行了增强。当仅从问答对进行训练时,NSM在Websites SP数据集上的表现优于最先进的技术,而不需要任何特征工程或特定领域的知识。
2017-04-23 cs.AI cs.CL cs.LG
Analyzing and Interpreting Convolutional Neural Networks in NLP
University of California, Santa Barbara(加州大学圣巴巴拉分校)
卷积神经网络已成功地应用于各种NLP任务。然而,这是不明显的,他们是否模拟不同的语言模式,如否定,强化,和小句组合,以帮助决策过程。在本文中,我们应用可视化技术来观察模型如何捕捉不同的语言特征,以及这些特征如何影响模型的性能。随后,我们尝试识别模型误差及其来源。我们认为,解释CNN是理解潜在语义特征的第一步,这可以提高人们的意识,以进一步提高CNN模型的性能和可解释性。
2018-10-18 cs.CL cs.LG stat.ML
Compositional generalization through meta sequence-to-sequence learning
New York University(纽约大学)
人们可以学习一个新的概念,并在组合中使用它,在学习如何“blicket”之后,理解如何“blicket twice”。相比之下,强大的序列到序列(seq2seq)神经网络无法通过这种组合性测试,特别是在将新概念与现有概念组合在一起时。在本文中,我展示了如何通过Meta seq2seq学习来训练记忆增强的神经网络进行组合概括。在这种方法中,模型对一系列seq2seq问题进行训练,以获得解决新seq2seq问题所需的组合技能。Meta se2seq学习解决了组合学习的几个SCAN测试,并且可以学习将隐式规则应用于变量。
2019-10-08 cs.AI cs.CL cs.LG
Does CLIP Bind Concepts? Probing Compositionality in Large Image Models
School of Engineering Mathematics and Technology, University of Bristol(布里斯托大学工程数学与技术学院);Department of Computer Science, Brown University(布朗大学计算机科学系)
本文通过三个合成数据集评测 CLIP 与组合分布语义模型的概念绑定能力,发现 CLIP 仅在单物体场景可组合概念,在需要绑定时性能骤降,而 CDSMs 也仅达随机水平。
2024-08-30 cs.AI cs.CL cs.CV
Characterizing Intrinsic Compositionality in Transformers with Tree Projections
Stanford University(斯坦福大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
当在语言数据上训练时,Transformers是学习一些任意的计算,利用架构的全部能力,还是学习一个更简单的、树状的计算,假设它是人类语言等组合意义系统的基础?在人类语言理解的组合解释(基于一种受限的自下而上的计算过程)和神经模型(如Transformers)的巨大成功(可以在输入的不同部分之间任意路由信息)之间,存在着明显的张力。一种可能性是,这些模型虽然在原则上非常灵活,但在实践中学会了分层解释语言,最终构建的句子表示接近自下而上的树形结构模型的预测。为了评估这种可能性,我们描述了一种无监督和无参数的方法\emph{functionally project}的行为的任何Transformer到树结构网络的空间。给定一个输入句子,我们生成一个近似于Transformer的表示构建过程的二叉树,以及一个捕获Transformer的行为在输入上的“树状”程度的分数。虽然计算这个分数不需要训练任何额外的模型,但它可以证明Transformer和任何树结构近似之间的拟合上限。使用这种方法,我们证明了三种不同任务的Transformers在训练过程中变得更加树状,在某些情况下,无监督地恢复与监督解析器相同的树。反过来,这些树可以预测模型的行为,更多的树状模型在组合泛化测试中泛化得更好。
2022-11-03 cs.CL
Step-by-Step: Separating Planning from Realization in Neural Data-to-Text Generation
Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
数据到文本的生成在概念上可以分为两个部分:信息的排序和结构化(规划),以及生成描述信息的流畅语言(实现)。现代神经生成系统将这两个步骤合并为一个端到端的可微分系统。我们建议将生成过程分为一个忠实于输入的符号文本规划阶段,然后是一个只关注实现的神经生成阶段。为了训练计划到文本生成器,我们提出了一种将参考文本与其相应的文本计划进行匹配的方法。对于推理时间,我们描述了一种为新输入选择高质量文本计划的方法。我们在WebNLG基准上实施和评估我们的方法。我们的研究结果表明,从神经实现解耦文本规划确实提高了系统的可靠性和充分性,同时保持流畅的输出。我们观察到BLEU评分和手动评估都有所改善。我们的方法的另一个好处是能够输出相同输入的不同实现,为显式控制生成的文本结构铺平了道路。
2019-05-01 cs.AI cs.CL
Learning compositionally through attentive guidance
University of Amsterdam(阿姆斯特丹大学);Facebook AI Research(脸书人工智能研究院)
虽然神经网络模型已经成功地应用于需要大量概括技能的领域,但最近的研究表明,当解决他们训练的任务时,他们需要推断其潜在的组成结构。在本文中,我们引入了注意力引导,一种机制,直接序列到序列模型配备了注意力,以找到更多的组合解决方案。我们在两个任务上测试了它,这些任务是为了评估神经模型的组合能力而设计的,我们发现,具有注意力的香草序列到序列模型过拟合训练分布,而指导版本提出了几乎同样适合训练和测试分布的组合解决方案。此外,即使在训练和测试分布严重分歧的情况下,学习到的解决方案也能推广。通过这种方式,我们证明了序列到序列模型能够在不需要额外组件的情况下找到组合解决方案。这些结果有助于解开神经网络缺乏系统组合性的原因,这反过来又可以推动未来的工作。
2019-07-05 cs.AI cs.CL cs.LG
Dynamic Compositional Neural Networks over Tree Structure
Fudan University(复旦大学)
树结构神经网络已被证明是有效的学习语义表示,通过利用句法信息。尽管他们的成功,大多数现有的模型遭受欠拟合的问题:他们递归地使用相同的共享组合功能在整个合成过程中,由于无法捕捉丰富的组合性缺乏表达能力。在本文中,我们解决这个问题,通过引入动态组合神经网络的树结构(DC-TreeNN),其中的组合功能是动态生成的Meta网络。元网络的作用是捕获跨不同组合规则的元知识并将其公式化。两个典型任务的实验结果表明了所提模型的有效性。
2017-05-11 cs.CL
Neural networks can understand compositional functions that humans do not, in the context of emergent communication
ASAPP
我们表明,有可能制作转换,应用于组合语法,导致语法,神经网络可以很容易地学习,但人类不。这可以解释当前以人为中心的组合性指标与神经网络推广到看不见的例子的能力之间的脱节。我们建议使用的转换作为基准,ICY,它可以用来衡量网络的组成归纳偏见的方面,并寻找与人类相似的组成归纳偏见的网络。作为这种方法的一个例子,我们提出了一个分层模型,HU-RNN,它显示了对位置无关的,单词般的令牌组的归纳偏见。
2021-11-23 cs.CL
Designing a Symbolic Intermediate Representation for Neural Surface Realization
ADAPT Centre(ADAPT中心);Dublin City University(都柏林城市大学);Autodesk, inc.(欧特克公司)
从神经NLG系统生成的输出通常包含错误,如幻觉,重复或矛盾。这项工作的重点是设计一个象征性的中间表示,用于多阶段的神经生成的意图,以减少失败的输出的频率。我们表明,从这个中间表示的表面实现是高质量的,当整个系统应用于E2E数据集,它优于E2E挑战的赢家。此外,通过将表面实现步骤从典型的端到端神经系统中分离出来,我们还为非神经内容选择和规划系统提供了一个框架,以潜在地利用神经表面实现模型的半监督预训练。
2019-05-24 cs.CL
Story Realization: Expanding Plot Events into Sentences
Georgia Institute of Technology(佐治亚理工学院)
基于神经网络的自动故事情节生成方法尝试学习如何从自然语言情节摘要的语料库生成新颖的情节。先前的工作已经表明,被称为事件的句子的语义抽象改进了神经情节生成,并且允许将问题分解为:(1)事件序列的生成(事件到事件)和(2)将这些事件转换为自然语言句子(事件到句子)。然而,典型的神经语言生成方法的事件到句子可以忽略事件的细节,并产生语法正确,但语义无关的句子。我们提出了一个基于集合的模型,生成由事件引导的自然语言。我们提供了一个完整的端到端自动故事生成系统的结果--包括人类受试者的研究--表明我们的方法比基线方法生成更连贯和合理的故事。
2019-11-21 cs.AI cs.CL cs.LG