Exploiting Cross-Dialectal Gold Syntax for Low-Resource Historical Languages: Towards a Generic Parser for Pre-Modern Slavic
University of Oxford(牛津大学)
本文探讨了通过训练来自不同相关品种的数据来提高前现代斯拉夫语专用解析器性能的可能性。由于其语言的异质性,前现代斯拉夫语的品种被视为低资源的历史语言,从而跨方言树库数据可以被利用,以克服数据稀缺性,并尝试训练的品种不可知的解析器。以前的实验早期斯拉夫语依存句法分析进行了讨论,特别是关于他们的能力,以解决不同的正字法,区域和文体特征。使用jPTDP(Nguyen & Verspoor 2018)训练了一个通用的前现代斯拉夫语解析器和两个专门的解析器-一个用于东斯拉夫语,一个用于南斯拉夫语-这是一种用于联合词性(POS)标记和依存句法分析的神经网络模型,它在许多通用依存关系(UD)树库上显示出有希望的结果,包括旧教会斯拉夫语(OCS)。通过这些实验,获得了OCS(83.79%的未标记依恋得分(UAS)和78.43%的标记依恋得分(LAS))和Old East Slavic(85.7%UAS和80.16%LAS)的最新技术水平。
2020-11-12 cs.CL
Improving Pretrained Models for Zero-shot Multi-label Text Classification through Reinforced Label Hierarchy Reasoning
Ingenuity Labs Research Institute & ECE, Queen’s University(女王大学创新实验室研究所与电子与计算机工程系);Amazon.com Inc(亚马逊公司)
利用标签层次结构已成为解决zero-shot多标签文本分类问题的一种很有前途的方法。传统的方法旨在学习文本和标签之间的匹配模型,使用图形编码器来合并标签层次结构以获得有效的标签表示\cite{rios2018few}。最近,像BERT \cite{devlin2018bert}这样的预训练模型已被用于将分类任务转换为文本蕴涵任务\cite{yin-etal-2019-benchmarking}。这种方法自然适合于M-MTC任务。然而,在现有的工作中,预训练的模型没有得到充分的研究,因为它们不会为文本或标签生成单独的矢量表示,因此将它们与传统的图形编码方法相结合是不直观的。在本文中,我们探索如何改进带有标签层次结构的预训练模型。我们提出了一个加强标签层次推理(RLHR)的方法,以鼓励在训练过程中的层次结构中的标签之间的相互依赖性。同时,为了克服平面预测的弱点,我们设计了一个回滚算法,可以在推理过程中删除预测中的逻辑错误。在三个真实数据集上的实验结果表明,我们的方法取得了更好的性能,并优于以前的非预训练的方法在机器学习MTC任务。
2021-04-04 cs.CL
LAGr: Labeling Aligned Graphs for Improving Systematic Generalization in Semantic Parsing
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);ServiceNow Research(ServiceNow研究院)
语义解析是为自然语言话语或问题产生结构化意义表示的任务。最近的研究指出,常用的序列到序列(seq2seq)语义解析器难以系统地概括,即处理需要在新环境中重新组合已知知识的示例。在这项工作中,我们表明,更好的系统化的推广,可以通过生产的意义表示(MR)直接作为一个图,而不是作为一个序列。为此,我们提出了LAGr,标签对齐图算法,通过预测一个完整的多层输入对齐图的节点和边标签,产生语义分析。强监督的LAGr算法需要对齐的图作为输入,而弱监督的LAGr使用近似MAP推理过程来推断最初未对齐的目标图的对齐。在COGS和CFQ组合泛化基准测试中,强监督和弱监督LAGr算法在基线seq2seq解析器上实现了显着改进。
2022-06-01 cs.AI cs.CL
Generating Synthetic Data for Task-Oriented Semantic Parsing with Hierarchical Representations
Amazon(亚马逊);Amazon Alexa(亚马逊Alexa);Berlin, Germany(德国柏林);Cambridge, MA, USA(美国马萨诸塞州剑桥)
现代对话式AI系统支持自然语言理解,具有多种功能。虽然这些任务中的大多数可以使用意图和槽的简单和平面表示来完成,但更复杂的功能需要由语义解析支持的复杂分层表示。最先进的语义解析器是使用监督学习来训练的,其中数据根据分层模式进行标记,这可能是昂贵的,或者对于新的领域来说是不容易获得的。在这项工作中,我们探索了使用预训练的去噪序列到序列模型(即,BART)。具体来说,我们首先提取掩蔽模板从现有的标记的话语,然后微调BART生成合成话语上提取的模板调节。最后,我们使用一个辅助语法分析器(AP)过滤生成的话语。AP保证生成数据的质量。我们展示了我们的方法在Facebook TOP数据集上评估导航域时的潜力。
2020-11-03 cs.CL
Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic Parsing
Facebook(脸书)
构建seq 2seq、非自回归、面向任务的解析器以将话语映射到语义框架的有效方法分三个步骤进行:编码话语$x$、预测帧的长度|y|、以及用话语和本体令牌解码|y|大小的帧。虽然这些模型在经验上很强,但通常会受到长度预测的检验,因为即使是很小的不准确也会改变结果帧的句法和语义特征。在我们的工作中,我们提出了跨度指针网络,将解码任务从文本生成转移到跨度预测的非自回归解析器;也就是说,当将话语跨度输入到帧时隙时,我们的模型产生端点(例如,[i,j])而不是文本(例如,“6pm”)。输出空间的这种自然量化减少了黄金帧的可变性,从而改善了长度预测,并最终实现了精确匹配。此外,长度预测现在负责帧语法,解码器负责帧语义,从而产生由粗到精的模型。我们评估我们的方法在几个面向任务的语义解析数据集。值得注意的是,我们弥合了非自回归和自回归解析器之间的质量差距,在TOPv 2上实现了87个EM(Chen et al. 2020)。此外,由于我们更一致的黄金框架,我们在低资源环境下的跨域和跨语言迁移中显示出模型泛化的显著改善。最后,由于我们减少了输出词汇,我们观察到与之前的非自回归解析器相比,在波束大小为5时,延迟减少了70%,内存减少了83%。
2021-09-14 cs.CL
Improving Neural Parsing by Disentangling Model Combination and Reranking Effects
University of California, Berkeley(加州大学伯克利分校)
最近的工作提出了几个生成神经模型的选区解析,实现国家的最先进的结果。由于在这些生成模型中直接搜索是困难的,它们主要用于从解码更直接的基本解析器中重新核候选输出。我们首先提出了一个算法,直接搜索这些生成模型。然后,我们证明,重新评分的结果至少部分是由于隐式模型组合,而不是重新排序的影响。最后,我们证明了显式模型组合可以进一步提高性能,当仅在黄金数据上训练时,PTB上的最新数字为94.25 F1,当使用外部数据时,PTB上的最新数字为94.66 F1。
2017-07-10 cs.CL
Improving Coverage and Runtime Complexity for Exact Inference in Non-Projective Transition-Based Dependency Parsers
Cornell University(康奈尔大学);Universidade da Coruña(拉科鲁尼亚大学)
我们将Cohen,Gómez-Rodríguez和Satta(2011)的解析器推广到一系列基于非投射转换的依赖解析器,允许多项式时间精确推理。这包括比Cohen等人(2011)具有更好覆盖率的新型解析器,甚至是将时间复杂度降低到$O(n^6)$的变体,改进了基于非投射转换的解析的精确推理的已知界限。我们希望,这一块的理论工作启发设计新的过渡系统,更好的覆盖率和更好的运行时保证。代码可在https://github.com/tzshi/nonproj-dp-variants-naacl2018获得
2018-05-02 cs.CL
Hexatagging: Projective Dependency Parsing as Tagging
提出名为hexatagger的依存句法分析器,通过将单词标注为有限标签来构建依存树,实现训练时完全并行化和线性时空复杂度的精确解码,并在Penn Treebank上取得SOTA性能且解码速度提升约10倍。
2023-06-08 cs.AI cs.CL
Thai Universal Dependency Treebank
Department of Linguistics, Chulalongkorn University(朱拉隆梭大学语言学系);AI Singapore(AI新加坡);Amazon(亚马逊);Prince of Songkhla University(素可诺大学)
针对泰语自动依存分析缺乏大规模树库和系统性模型评估的问题,构建了符合UD框架的最大规模泰语依存树库TUD,基准测试验证了基于预训练transformer的分析器性能更优,相关资源已开源。
2024-05-13 cs.CL
Does Character-level Information Always Improve DRS-based Semantic Parsing?
The University of Tokyo(东京大学)
本文通过打乱和随机化字符序列,分析基于 DRS 的语义解析器中字符级信息的作用,发现其收益并非来自正确词序,且在英语和德语上没有提升。
2023-06-04 cs.CL
Transition-based Abstract Meaning Representation Parsing with Contextual Embeddings
University of Oxford(牛津大学);The University of Edinburgh(爱丁堡大学)
理解和生成语言的能力使人类认知有别于其他已知的生命形式。我们研究了在语义解析任务中,将两种最成功的语言意义途径--统计语言模型和符号语义形式主义--结合起来的方法。建立在一个过渡为基础的,抽象意义表示(AMR)解析器,AmrEager,我们探讨了将预先训练的上下文感知的词嵌入-如BERT和RoBERTa-在AMR解析的问题,贡献一个新的解析器,我们称之为AmrBerger的效用。实验发现,这些丰富的词汇功能单独是不是特别有帮助,在提高分析器的整体性能的SMATCH分数相比,非上下文对应时,而额外的概念信息使系统能够超越基线。通过病变研究,我们发现上下文嵌入的使用有助于使系统对显式句法特征的去除更加鲁棒。这些发现揭示了当前形式的上下文嵌入和语言模型的优点和缺点,并促进了对它们的更深入的理解。
2022-06-13 cs.AI cs.CL cs.LG
Multilingual Neural Semantic Parsing for Low-Resourced Languages
Amazon Research Cambridge(亚马逊剑桥研究院)
多语言语义解析是一种经济有效的方法,它允许单个模型理解不同的语言。然而,研究人员面临着训练数据的可用性很大的不平衡,英语资源丰富,而其他语言的数据少得多。为了解决数据限制的问题,我们提出使用机器翻译引导多语言训练数据从更丰富的英语数据。为了补偿机器翻译的训练数据的数据质量,我们利用来自预训练的多语言编码器的迁移学习来进一步改进模型。为了评估我们的多语言模型对人类写的句子,而不是机器翻译的,我们介绍了一个新的多语言语义解析数据集的基础上,Facebook的任务导向解析(TOP)数据集的英语,意大利语和日语。我们发现,使用预训练编码器的联合多语言训练在TOP数据集上的表现远远优于我们的基线,并且在公共NLMaps数据集上的表现优于最先进的模型。我们还在TOP数据集上建立了一个新的零样本学习基线。我们发现,一个语义解析器只训练英语数据实现了zero-shot性能的44.9%的精确匹配准确度对意大利语句子。
2021-06-14 cs.CL
Improving Semantic Parsing with Neural Generator-Reranker Architecture
Stanford University(斯坦福大学);Google Research(谷歌研究院);Google Inc.(谷歌公司)
语义解析是从自然语言话语中导出机器可解释的含义表示的问题。具有编码器-解码器架构的神经模型最近相对于传统方法取得了实质性的改进。虽然神经语义解析器似乎具有相对较高的召回率使用大的波束尺寸,有改进的空间方面的一个最佳精度。在这项工作中,我们提出了一个生成器-reranker架构的语义解析。生成器产生一个潜在的候选人列表和reranker,其中包括一个预处理步骤的候选人,其次是一个新的评论家网络,重新排名这些候选人之间的相似性的基础上,每个候选人和输入的句子。我们展示了这种方法的优点以及它如何通过广泛的分析提高解析性能。我们在三个语义解析数据集(GEO,ATIS和OVERNIGHT)上对我们的模型进行了实验。整体架构在所有三个数据集中实现了最先进的结果。
2019-09-27 cs.CL
Fast-R2D2: A Pretrained Recursive Neural Network based on Pruned CKY for Grammar Induction and Text Representation
Ant Group(蚂蚁集团);Shandong University(山东大学);Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学)
近年来,基于CKY的模型在无监督语法归纳中显示出巨大的潜力,这要归功于它们类似于人类的编码范式,它递归地、层次地运行,但需要$O(n^3)$时间复杂度。基于可微树的递归Transformer(R2D2)通过引入启发式剪枝方法,使得即使使用复杂的树编码器也可以扩展到大语言模型预训练。然而,基于规则的剪枝方法存在局部最优和推理速度慢的问题。在本文中,我们解决这些问题在一个统一的方法。我们建议使用一个自顶向下的解析器作为基于模型的修剪方法,这也使并行编码在推理。通常,我们的解析器将解析转换为分割点评分任务,首先对给定句子的所有分割点进行评分,然后通过选择当前跨度中得分最高的分割点将跨度递归地分为两个。拆分的相反顺序被认为是R2D2编码器中的修剪顺序。除了双向语言模型损失外,我们还通过最小化解析器和R2D2的树概率之间的KL距离来优化解析器。我们的实验表明,我们的Fast-R2D2在语法归纳方面显着提高了性能,并在下游分类任务中取得了有竞争力的结果。
2022-11-02 cs.CL
Improving Compositional Generalization in Semantic Parsing
Tel-Aviv University(特拉维夫大学);University of Pennsylvania(宾夕法尼亚大学);Allen Institute for AI(艾伦人工智能研究所)
推广模型的分布外(OOD)的数据最近引起了极大的关注。具体而言,成分概括,即,模型是否推广到由训练期间观察到的组件构建的新结构,已经引起了极大的兴趣。在这项工作中,我们调查的组成概括的语义解析,一个自然的测试床组成概括,作为输出程序的子组件。我们分析了各种各样的模型,并提出了多个扩展的语义解析器的注意力模块,旨在提高合成泛化。我们发现,以下因素提高了合成泛化:(a)使用上下文表示,如ELMo和BERT,(b)通知解码器什么输入令牌先前已经注意到,(c)训练解码器注意力与预先计算的令牌对齐,以及(d)下采样对应于频繁的程序模板的例子。虽然我们大大减少了分布和OOD泛化之间的差距,但OOD组合的性能仍然很低。
2020-10-12 cs.CL
Shift-Reduce Task-Oriented Semantic Parsing with Stack-Transformers
Universidade de Vigo(维戈大学)
本文提出基于Stack-Transformers的移进-归约任务型语义解析器,融合自底向上和按序转移系统,在Facebook TOP的高、低资源设置中均优于现有方法。
2024-09-10 cs.CL
Improving Top-K Decoding for Non-Autoregressive Semantic Parsing via Intent Conditioning
Google(谷歌)
语义解析(SP)是现代虚拟助手(如Google Assistant和Amazon Alexa)的核心组件。虽然基于序列到序列的自回归(AR)方法对于会话语义解析是常见的,但是最近的研究使用非自回归(NAR)解码器并且在保持竞争性解析质量的同时减少推理延迟。然而,NAR解码器的主要缺点是难以生成top-k(即,k-best)输出。为了解决这一挑战,我们提出了一种新的NAR语义解析器,它引入了解码器上的意图条件。受传统意图和槽标记解析器的启发,我们将顶层意图预测与解析的其余部分分离。由于顶级意图在很大程度上控制解析的语法和语义,因此意图调节允许模型更好地控制束搜索并提高前k个输出的质量和多样性。我们引入了一种混合的教师强迫方法,以避免训练和推理不匹配。我们评估建议的NAR会话SP数据集,TOP和TOPv 2。与现有的NAR模型一样,我们保持了O(1)的解码时间复杂度,同时生成更多样化的输出,并将前3个精确匹配(EM)提高了2.4个点。与AR模型相比,我们的模型加快了束搜索推理6.7倍的CPU与竞争力的top-k EM。
2022-04-14 cs.AI cs.CL cs.LG
Constrained Language Models Yield Few-Shot Semantic Parsers
Microsoft Semantic Machines(微软语义机器)
我们探索使用大型预训练语言模型作为Few-Shot语义解析器。语义解析的目标是在给定自然语言输入的情况下生成结构化的含义表示。然而,语言模型被训练以生成自然语言。为了弥合这一差距,我们使用语言模型将输入解释为类似英语的受控子语言,该子语言可以自动映射到目标含义表示。我们的研究结果表明,只有少量的数据和很少的代码转换成类似英语的表示,我们的快速引导语义解析器的蓝图在多个社区任务上产生了令人惊讶的有效性能,大大超过了在相同的有限数据上训练的基线方法。
2021-11-16 cs.CL
Improving Generalization in Semantic Parsing by Increasing Natural Language Variation
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
针对 text-to-SQL 语义解析模型在 Spider 基准上因问题语言形式单一而难以泛化的问题,利用大型语言模型进行数据增强生成更多样真实的问题,显著提升了模型在鲁棒性基准和域外数据上的表现。
2024-02-13 cs.CL
Improving Constituency Parsing with Span Attention
University of Washington(华盛顿大学);The Hong Kong University of Science and Technology(香港科技大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
选区句法分析是自然语言理解的一项基本而重要的任务,而良好的上下文信息表示可以帮助完成这一任务。N-gram是上下文信息的常规类型的特征,已经被证明在许多任务中是有用的,并且因此如果它们被适当地建模,则也可以有益于选区解析。在本文中,我们提出了跨度注意神经图表为基础的选区分析,利用n-gram信息。考虑到当前基于图表的解析器与基于transformer的编码器表示跨度减去隐藏状态的跨度边界,这可能会导致信息丢失,特别是对于长跨度,我们将n-gram到跨度表示加权,根据他们的贡献解析过程。此外,我们提出了类别跨度注意力,以进一步加强模型的加权n-gram在不同长度的类别,从而有利于长句分析。在三个广泛使用的基准数据集上的实验结果表明,我们的方法在解析阿拉伯语,汉语和英语,其中国家的最先进的性能是通过我们的方法获得所有这些的有效性。
2020-10-15 cs.CL
Improving Disfluency Detection by Self-Training a Self-Attentive Model
Macquarie University(麦考瑞大学);Oracle Corporation(甲骨文公司)
使用语境化词嵌入(例如ELMo或BERT)的自注意神经句法分析器目前在语音转录中的联合分析和不流利检测中产生最先进的结果。由于上下文化的词嵌入是在大量未标记数据上预先训练的,因此使用额外的未标记数据来训练神经模型似乎是多余的。然而,我们表明,自我训练-一种用于合并未标记数据的半监督技术-为不流利检测的自我关注解析器设置了一种新的最先进的技术,表明自我训练提供了与预训练的上下文化单词表示正交的好处。我们还表明,集成自我训练的解析器提供了进一步的收益不流利检测。
2020-04-29 cs.CL
Improving Generalization in Language Model-Based Text-to-SQL Semantic Parsing: Two Simple Semantic Boundary-Based Techniques
George Mason University(乔治梅森大学);MIT(麻省理工学院)
本文提出词元预处理和组件边界标记两种简单技术,以保留语义边界并提升语言模型在文本到SQL解析中的组合泛化与领域泛化能力。
2023-05-27 cs.AI cs.CL
PaLM: A Hybrid Parser and Language Model
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们提出了PaLM,一个混合解析器和神经语言模型。PaLM建立在RNN语言模型的基础上,在左上下文中的文本跨度上添加了一个注意层。一个无监督的选区分析器可以从它的注意力权重,使用贪心解码算法。我们评估PaLM语言建模,并实证表明,它优于强大的基线。如果语法注释可用,则可以以监督的方式训练注意力组件,提供上下文的语法通知表示,并进一步提高语言建模性能。
2019-09-04 cs.CL
Effective Inference for Generative Neural Parsing
University of California, Berkeley(加州大学伯克利分校)
生成神经模型最近取得了国家的最先进的成果选区解析。然而,由于没有一个可行的搜索过程,它们的使用到目前为止仅限于重新排序解码更容易处理的外部解析器的输出。我们描述了一种替代传统的动作级束搜索用于判别神经模型,使我们能够直接在这些生成模型解码。然后,我们表明,通过改进我们的基本候选人选择策略,并使用粗修剪功能,我们可以提高准确性,同时探索显着更少的搜索空间。应用于Choe和Charniak(2016)的模型,我们的推理程序在Penn Treebank的第23节上获得了92.56 F1,超过了单模型系统的现有最先进结果。
2017-07-27 cs.CL
A Modest Pareto Optimisation Analysis of Dependency Parsers in 2021
Universidade da Coruña(拉科鲁尼亚大学);CITIC(信息与通信技术研究中心)
我们评估了三个领先的依赖解析器系统从不同的范式在一个小而多样的语言子集的准确性,效率的帕累托前。由于我们对效率感兴趣,我们评估了没有预先训练的语言模型的核心解析器(因为这些模型通常是巨大的网络,并且会构成大部分计算时间)或其他可以横向应用于其中任何一个的增强。Biaffine解析作为一个平衡的默认选择出现,如果推理速度(而不是训练能量成本)是优先级,则序列标记解析是首选。
2021-06-09 cs.AI cs.CL
Back-Translated Task Adaptive Pretraining: Improving Accuracy and Robustness on Text Classification
Korea University(高丽大学)
在大型文本语料库上预训练并在下游文本语料库上微调并在下游任务上微调的语言模型(LM)成为若干自然语言处理(NLP)任务的事实上的训练策略。最近,一种自适应预训练方法重新训练预训练的语言模型与任务相关的数据已经显示出显着的性能改善。然而,目前的自适应预训练方法遭受欠拟合的任务分布,由于相对少量的数据来重新预训练LM。为了完全使用自适应预训练的概念,我们提出了一种反向翻译任务自适应预训练(BT-TAPT)方法,该方法通过使用反向翻译来增加任务数据以将LM推广到目标任务域,从而增加LM重新预训练的任务特定数据量。实验结果表明,所提出的BT-TAPT在低资源和高资源数据上都提高了分类精度,并且比传统的自适应预训练方法对噪声具有更好的鲁棒性。
2021-07-22 cs.CL cs.LG
Translate & Fill: Improving Zero-Shot Multilingual Semantic Parsing with Synthetic Data
Google Research(谷歌研究院)
虽然在单一语言上微调的多语言预训练语言模型(LM)已经显示出大量的跨语言任务传输能力,但当目标语言监督可用时,在语义解析任务中仍然存在很大的性能差距。在本文中,我们提出了一种新的翻译和填充(TaF)方法产生银训练数据的多语言语义分析器。该方法简化了流行的翻译对齐项目(TAP)管道,并由一个序列到序列的填充模型,构建一个完整的解析条件的话语和相同的解析视图。我们的填充器仅在英语数据上进行训练,但可以准确地完成其他语言的实例(即,英语训练话语的翻译)。在三个多语种语义解析数据集上的实验结果表明,与传统对齐技术相比,TaF的数据增强具有竞争力的准确率。
2021-09-09 cs.AI cs.CL cs.LG
Parsing as Pretraining
Universidade da Coruña(拉科鲁尼亚大学);CITIC, Ciencias de la Computación y Tecnologías de la Información (CC&TI)(CITIC,计算机科学与信息技术(CC&TI));University of Copenhagen, Department of Computer Science(哥本哈根大学计算机科学系);Google Research, Berlin(谷歌研究院柏林分院);Google Research(谷歌研究院);Berlin(柏林(注:此处仅保留机构名本身,Berlin为城市名,按要求不提取额外信息,故仅提取Google Research))
最近的分析表明,编码器预先训练的语言建模捕捉一定的形态句法结构。然而,词向量的探测框架仍然没有报告标准设置的结果,如成分和依存句法分析。本文解决了这个问题,并只依赖于预训练架构进行完整的解析(英语),而不进行解码。我们首先将成分分析和依存句法分析转换为序列标记。然后,我们使用单个前馈层将词向量直接映射到编码线性化树的标签。这用于:(i)看看我们可以在仅仅使用预训练的编码器的语法建模上走多远,以及(ii)揭示不同词向量的语法敏感性(通过在训练期间冻结预训练网络的权重)。为了进行评估,我们使用括号F1分数和LAS,并分析跨跨度长度和依赖位移的表示的深入差异。总体结果超过了PTB(93.5%)和端到端EN-EWT UD(78.8%)上现有的序列标记解析器。
2020-02-05 cs.CL cs.LG
Training Naturalized Semantic Parsers with Very Little Data
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Amazon Alexa AI(亚马逊Alexa人工智能部门)
语义解析是一个重要的NLP问题,特别是对于Alexa和Google Assistant等语音助手。最先进的(SOTA)语义解析器是基于大语言模型的seq 2seq架构,这些模型已经在大量文本上进行了预训练。为了更好地利用预训练,最近的工作探索了语义解析的重新表述,其中输出序列本身是自然语言句子,但在自然语言的受控片段中。这种方法提供了强大的结果,特别是对于Few-Shot语义解析,这是在实践中的关键重要性,我们的论文的重点。我们通过引入一种自动化方法来推进这一工作,该方法通过利用少量的未注释数据(通常很容易获得)来提供非常显著的额外改进。我们的方法是基于一种新的合成四种技术:联合训练与辅助无监督任务;约束解码;自我训练;和释义。我们表明,这种方法提供了新的SOTA Few-Shot性能的隔夜数据集,特别是在非常低的资源设置,和非常引人注目的Few-Shot结果的一个新的语义解析数据集。
2022-05-04 cs.CL
Improving Neural Topic Models using Knowledge Distillation
University of Maryland(马里兰大学)
主题模型通常用于识别人类可解释的主题,以帮助理解大型文档集合。我们使用知识蒸馏来组合概率主题模型和预训练Transformers的最佳属性。我们的模块化方法可以直接应用于任何神经主题模型,以提高主题质量,我们使用两个具有不同架构的模型来证明这一点,从而获得最先进的主题一致性。我们表明,我们的适应性强的框架不仅提高了所有估计的主题的聚合性能,正如通常报道的那样,而且在对齐主题的头对头比较中。
2020-10-05 cs.CL cs.IR cs.LG
Learning a natural-language to LTL executable semantic parser for grounded robotics
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);CBMM(大脑、思维与机器研究中心)
儿童通过观察语言在语境中的使用情况并尝试自己使用语言,显然很容易习得母语。他们这样做没有费力的注释,负面的例子,甚至直接更正。我们通过训练一个接地的语义解析器,向可以做同样事情的机器人迈出了一步,该解析器可以发现可用于执行自然语言命令的潜在语言表示。特别是,我们专注于困难的领域的命令与时间方面,其语义,我们捕捉线性时序逻辑,LTL。我们的解析器是用成对的句子和执行以及执行器来训练的。在训练时,解析器假设输入的意义表示为LTL中的公式。三种相互竞争的压力使语法分析器能够从语言中发现意义。首先,任何假设的句子含义必须足够宽松,以反映所有注释的执行轨迹。其次,执行者--一个预先训练好的端到端LTL规划者--必须发现观察到的轨迹很可能是意义的执行。最后,生成器重建原始输入,鼓励模型找到保存有关命令的知识的表示。这些共同确保了含义既不太笼统也不太具体。我们的模型泛化良好,能够解析和执行机器生成和人类生成的命令,具有几乎相同的准确性,尽管人类生成的句子在开放词典中更加多样和复杂。这里提出的方法不是特定的LTL:它可以应用于任何领域,句子的含义可以假设和执行者可以验证这些含义,从而打开了大门,许多应用程序的机器人代理。
2021-03-17 cs.CL
From Parse-Execute to Parse-Execute-Refine: Improving Semantic Parser for Complex Question Answering over Knowledge Base
Sun Yat-Sen University(中山大学)
针对复杂知识库问答的多步推理难题,本文提出解析-执行-细化范式,基于KoPL生成逻辑形式并执行得到中间推理步骤,再用该过程细化模型,推出的PER-KBQA在基准数据集上性能优于现有最优基线。
2023-05-05 cs.AI cs.CL cs.LG
Go Beyond Plain Fine-tuning: Improving Pretrained Models for Social Commonsense
Amazon(亚马逊公司)
预训练的语言模型最近在许多NLP任务中表现出了出色的性能。然而,他们的社会智力仍在发展,这需要对他人的现状和精神状态进行常识推理。为了提高语言模型的社会智能,我们专注于社会IQA数据集,一个需要社会和情感常识推理的任务。在预训练的RoBERTa和GPT2模型的基础上,我们提出了几种架构变体和扩展,并利用外部常识语料库来优化社交IQA的模型。我们所提出的系统实现了竞争力的结果,因为那些在排行榜上排名靠前的模型。这项工作展示了预训练的语言模型的优势,并提供了可行的方法来提高它们在特定任务中的性能。
2021-05-12 cs.CL
Interleaving Syntax and Semantics in an Efficient Bottom-Up Parser
我们描述了一个有效的自下而上的分析器,交错的语法和语义结构的建设。提出了两种通过减少局部歧义来减少搜索的技术:有限左上下文约束用于减少局部句法歧义,延迟排序约束应用用于减少局部语义歧义。我们实验评估这些技术,并显示显着减少图表边缘的数量和总解析时间。该分析器的强大处理能力在其用于提高语音识别器的准确性中得到了证明。
1994-07-05 cmp-lg cs.CL
Learning Cross-lingual Distributed Logical Representations for Semantic Parsing
Singapore University of Technology and Design(新加坡科技设计大学)
随着用于语义解析的多语言数据集的发展,最近的研究工作已经研究了在多语言设置中学习语义解析器的问题。然而,如何提高一个特定语言的单语语义分析器的性能,利用不同语言的数据注释仍然是一个研究问题,是未充分探讨。在这项工作中,我们提出了一项研究,以显示如何学习分布式表示的逻辑形式的数据注释在不同的语言可以用于提高单语语义分析器的性能。我们扩展了现有的两个单语语义解析器,将这种跨语言的分布式逻辑表示的功能。实验表明,我们提出的方法是能够产生改进的语义解析结果的标准多语言GeoQuery数据集。
2018-06-14 cs.CL
Improving Multi-Party Dialogue Discourse Parsing via Domain Integration
Institute for Infocomm Research, A*STAR, Singapore(信息通信研究院(A*STAR),新加坡)
虽然多方对话往往不如独白和文档结构化,但它们隐含地通过交互轮之间的语义水平相关性来组织,并且对话语篇分析可以用于预测基本语篇单元之间的依赖结构和关系,并为下游任务提供功能丰富的结构信息。然而,现有的语料库与对话话语注释收集从特定的领域与有限的样本量,呈现数据驱动的方法的性能差传入的对话没有任何领域自适应。在本文中,我们首先介绍了一个基于transformer的解析器,并评估其跨域性能。接下来,我们采用三种方法从数据和语言建模的角度来获得域集成,以提高泛化能力。实验结果表明,神经解析器可以受益于我们提出的方法,并表现出更好的跨域对话样本。
2021-10-09 cs.CL
Improving Dialogue Discourse Parsing through Discourse-aware Utterance Clarification
Soochow University(苏州大学)
本文提出话语感知澄清模块和贡献感知偏好优化,解决对话话语解析中的歧义问题,在STAC和Molweni数据集上显著优于现有最先进方法。
2025-06-18 cs.AI cs.CL
SETUP: Sentence-level English-To-Uniform Meaning Representation Parser
Amherst College(阿默斯特学院)
本文提出两种英语到统一意义表示(UMR)的解析方法,其中一种微调了现有的抽象意义表示解析器,另一种利用了通用依赖关系转换器。所提出的最佳模型SETUP在AnCast和SMATCH++评分上分别达到84和91,显示出在自动UMR解析中的显著提升。
2026-05-19 cs.CL
Improving Pretrained Cross-Lingual Language Models via Self-Labeled Word Alignment
Beijing Institute of Technology(北京理工大学);Microsoft Research(微软研究院)
跨语言语言模型通常是在多语言文本或平行句子上使用掩蔽语言建模进行预训练的。在本文中,我们引入了去噪单词对齐作为一项新的跨语言预训练任务。具体来说,该模型首先为平行句子自标记单词对齐。然后,我们随机屏蔽一个bitext对中的标记。给定一个掩码标记,该模型使用指针网络来预测另一种语言中的对齐标记。我们以期望最大化的方式交替执行上述两个步骤。实验结果表明,该方法提高了跨语言的可移植性在各种数据集上,特别是在令牌级的任务,如问答,结构化预测。此外,该模型可以作为一个预先训练的字对齐器,实现合理的低出错率的对齐基准。代码和预训练参数可在https://github.com/CZWin32768/XLM-Align上获得。
2021-09-13 cs.CL
Measuring and Improving Consistency in Pretrained Language Models
Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);LMU Munich(慕尼黑大学);Carnegie Mellon University(卡内基梅隆大学)
在自然语言处理中,模型的一致性--即在其输入中保持意义的变化下其行为的不变性--是非常需要的属性。在本文中,我们研究的问题:预训练的语言模型(PLM)与事实知识一致吗?为此,我们创建了ParaRel,一个高质量的完形填空式查询英语释义资源。它包含了328个释义共38个关系。使用ParaRel,我们发现我们实验的所有PLM的一致性都很差-尽管关系之间的差异很大。我们的分析表明,他们有一个穷人的结构,目前不适合鲁棒地表示知识的代表空间。最后,我们提出了一种改进模型一致性的方法,并通过实验证明了其有效性。
2021-05-29 cs.CL
Parsing with Pretrained Language Models, Multiple Datasets, and Dataset Embeddings
IT University of Copenhagen(哥本哈根信息技术大学);Uppsala University(乌普萨拉大学);KU Leuven(鲁汶大学);University of Copenhagen(哥本哈根大学)
随着数据集可用性的增加,从各种数据源学习的潜力也增加了。改进从多个数据源学习的一种特定方法是在训练期间嵌入数据源。这允许模型学习可概括的特征以及区分数据集之间的特征。然而,在自然语言处理领域引入基于上下文转换器的嵌入之前,这些数据集嵌入大多被使用。在这项工作中,我们比较了两种方法来嵌入数据集在基于transformer的多语言依赖分析器,并进行了广泛的评估。我们证明:1)嵌入数据集仍然是有益的,这些模型2)性能提高是最高的,当嵌入数据集在编码器级别3)不出所料,我们确认,性能提高是最高的小数据集和数据集与低基线得分。4)我们表明,对所有数据集的组合进行训练与基于语言相关性设计较小的集群类似。
2021-12-07 cs.CL
A Simple and Strong Baseline for End-to-End Neural RST-style Discourse Parsing
Institute of Innovative Research, Tokyo Institute of Technology(东京工业大学创新研究院);NTT Communication Science Laboratories, NTT Corporation(日本电信电话株式会社NTT通信科学实验室)
为了推广和进一步发展RST风格的语篇分析模型,我们需要一个强有力的基线,可以被视为报告可靠的实验结果的参考。本文通过将现有的简单解析策略(自上而下和自下而上)与各种基于transformer的预训练语言模型相集成,探索了一个强大的基线。在两个基准数据集上的实验结果表明,句法分析的性能主要依赖于预训练的语言模型,而不是句法分析策略。特别是,自底向上的解析器实现了大的性能增益相比,目前最好的解析器时,采用DeBERTa。我们进一步揭示,语言模型与跨度掩蔽计划,特别是提高分析性能,通过我们的分析内和多个领域的分析,和核预测。
2022-11-01 cs.CL
Improving Stability of Fine-Tuning Pretrained Language Models via Component-Wise Gradient Norm Clipping
University of Chicago(芝加哥大学);University of Southern California(南加州大学)
对大型预训练语言模型(PLM)的微调已经建立了许多最先进的结果。尽管其性能优越,但这种微调可能是不稳定的,导致性能的显著差异和实际应用的潜在风险。以前的工作归因于这种不稳定性的灾难性遗忘问题,在PLM的顶层,这表明反复微调层自上而下的方式是一个有前途的解决方案。在本文中,我们首先指出,这种方法并不总是工作,由于不同的层/模块的收敛速度不同。受此启发,我们提出了一个简单的分量方向梯度范数裁剪方法来调整不同分量的收敛速度。实验结果表明,该方法在泛化性能、收敛速度和训练稳定性等方面都取得了一致的改善。代码库可以在https://github.com/yangalan123/FineTuningStability上找到。
2022-10-19 cs.CL
Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation
LMU Munich(慕尼黑大学)
无监督神经机器翻译(UNMT)的成功方法是通过自我监督进行跨语言预训练,通常以掩蔽语言建模或序列生成任务的形式进行,这需要模型对齐两种语言的词汇和高级表示。虽然跨语言预训练适用于具有丰富语料库的相似语言,但它在低资源和遥远的语言中表现不佳。以前的研究表明,这是因为表征没有充分对齐。在本文中,我们加强双语掩蔽语言模型预训练与词汇级信息,通过使用类型级跨语言子词嵌入。实证结果表明,使用我们的方法与UNMT基线相比,UNMT(高达4.5 BLEU)和双语词典归纳的性能都有所改善。
2021-04-14 cs.CL
Improving Biomedical Pretrained Language Models with Knowledge
Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团)
预训练的语言模型已经在许多自然语言处理任务中显示出成功。许多作品探索将知识合并到语言模型中。在生物医学领域,专家们已经花了几十年的努力来建立大规模的知识库。例如,统一医学语言系统(UMLS)包含数百万个实体及其同义词,并定义了实体之间的数百种关系。利用这些知识可以使各种下游任务受益,例如命名实体识别和关系抽取。为此,我们提出了KeBioLM,生物医学预训练的语言模型,明确利用知识的UMLS知识库。具体来说,我们从PubMed摘要中提取实体,并将其链接到UMLS。然后,我们训练知识感知的语言模型,首先应用纯文本编码层来学习实体表示,并应用文本-实体融合编码来聚合实体表示。此外,我们增加了实体检测和实体连接两个训练目标。在BLURB基准测试中进行的命名实体识别和关系抽取实验表明了该方法的有效性。对收集的探测数据集的进一步分析表明,我们的模型具有更好的建模能力的医学知识。
2021-04-21 cs.CL
Learning to Learn Semantic Parsers from Natural Language Supervision
LAER AI, Inc.(LAER人工智能公司);Carnegie Mellon University(卡内基梅隆大学)
作为人类,我们经常依靠语言来学习语言。例如,当在对话中被纠正时,我们可以从纠正中学习,随着时间的推移提高我们的语言流利性。受此启发,我们提出了一个学习算法,用于训练语义分析器从监督(反馈)表示在自然语言。我们的算法从用户的更正中学习语义解析器,例如“不,我真正的意思是在他工作之前,而不是之后”,同时学习解析这种自然语言反馈,以利用它作为一种监督形式。与金标准的逻辑形式的监督,我们的方法不需要用户熟悉的基本逻辑形式主义,从外延监督不同,它不需要用户知道正确的答案,他们的查询。这使得我们的学习算法在现有会话日志可用并且可以用作训练数据的设置中自然地可扩展。我们构建了一个新的数据集的自然语言反馈的对话设置,并表明我们的方法是有效的学习语义解析器从这样的自然语言监督。
2019-02-22 cs.CL cs.LG
Improving Estonian Text Simplification through Pretrained Language Models and Custom Datasets
Institute of Computer Science(计算机科学研究所);University of Tartu(塔尔图大学)
本文利用预训练语言模型和定制数据集,改进爱沙尼亚文本简化效果,验证了LLaMA在低资源语言中的优越性。
2026-01-23 cs.CL
Arithmetic-Based Pretraining -- Improving Numeracy of Pretrained Language Models
Technical University of Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心(hessian.AI));The University of Sheffield(谢菲尔德大学)
针对预训练语言模型数感不足的问题,提出无需改架构或从头预训练的基于算术的预训练方法,结合对比学习和新型可推断数字预测任务目标,在多类数感相关任务上验证了有效性。
2023-06-09 cs.CL
Awakening Latent Grounding from Pretrained Language Models for Semantic Parsing
Beihang University(北京航空航天大学);Microsoft Research(微软研究院);Xi’an Jiaotong University(西安交通大学)
近年来,预训练的语言模型(PLM)在一些下游任务上取得了成功,显示了它们在语言建模方面的强大功能。为了更好地理解和利用PLM所学到的知识,已经出现了几种技术来探索PLM所需要的语法结构。然而,很少有人努力探索PLM的接地能力,这也是必不可少的。在本文中,我们强调PLM的能力,发现哪些令牌应该接地的概念,如果结合我们提出的擦除,然后唤醒的方法。在四个数据集上的实证研究表明,我们的方法可以唤醒人类专家可以理解的潜在基础,即使在训练过程中没有暴露于此类标签。更重要的是,我们的方法显示出巨大的潜力,有利于下游的语义解析模型。以文本到SQL作为案例研究,我们成功地将我们的方法与两个现成的解析器相结合,获得了高达9.8%的绝对改进。
2021-09-22 cs.AI cs.CL
Improving Low-Resource Speech Recognition with Pretrained Speech Models: Continued Pretraining vs. Semi-Supervised Training
Information Sciences Institute - University of Southern California
基于自监督Transformer的模型,例如wav 2 vec 2.0和HuBERT,已经对自动语音识别(ASR)的现有方法产生了显著的改进。这在基于wav 2 vec 2.0的预训练XLSR-53模型在许多语言中的性能中很明显,当使用可用的标记数据进行微调时。然而,微调这些模型的性能可能取决于预训练数据集中包含的语言数据或类似语言数据的数量。在本文中,我们研究了在几种低资源语言的XLSR-53预训练模型上使用未标记的语言音频数据进行持续预训练(CoPT)。CoPT比半监督训练(SST)更有效,半监督训练是在ASR中利用未标记数据的标准方法,因为它省略了对未标记数据的伪标记的需要。我们显示CoPT的字出错率(WERs)的结果,等于或略优于使用SST。此外,我们表明,使用CoPT模型的伪标签,并使用这些标签在SST中,结果在WER的进一步改善。
2022-07-01 cs.CL cs.LG
Improving Non-autoregressive Translation Quality with Pretrained Language Model, Embedding Distillation and Upsampling Strategy for CTC
National Taiwan University(台湾大学)
本文提出通过CTC损失微调PMLMs、采用MASK插入上采样及嵌入蒸馏技术提升非自回归翻译质量,在多数据集上超越自回归基线,并实现16.35倍推理加速。
2024-10-14 cs.CL
Improving Hybrid CTC/Attention End-to-end Speech Recognition with Pretrained Acoustic and Language Model
Tencent Cloud Xiaowei(腾讯云小微);Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
最近,自我监督预训练在端到端(E2 E)自动语音识别(ASR)中取得了令人印象深刻的结果。然而,占主导地位的序列到序列(S2 S)E2 E模型仍然难以充分利用自监督预训练方法,因为其解码器以声学表示为条件,因此无法单独进行预训练。在本文中,我们提出了一个预训练的Transformer(Preformer)S2 S ASR架构的基础上混合CTC/注意力E2 E模型,充分利用预训练的声学模型(AM)和语言模型(LM)。在我们的框架中,编码器使用预训练的AM(wav2vec2.0)初始化。Preformer利用CTC作为训练和推理期间的辅助任务。此外,我们设计了一个单交叉解码器(OCD),它放松了对声学表示的依赖,以便可以使用预训练的LM(DistilGPT 2)进行初始化。在AISHELL-1语料库上进行了实验,并在测试集上获得了$4.6\%$字符错误率(CER)。与我们的香草混合CTC/注意力Transformer基线相比,我们提出的CTC/注意力为基础的预生成器产生$27\%$相对CER减少。据我们所知,这是第一个在S2 S ASR系统中利用预训练的AM和LM的工作。
2021-12-14 cs.CL cs.SD eess.AS
Mutlitask Learning for Cross-Lingual Transfer of Semantic Dependencies
The George Washington University(乔治华盛顿大学);University of Pennsylvania(宾夕法尼亚大学)
我们描述了一种方法,用于开发广泛覆盖的语义依赖分析器的语言,没有语义注释的资源。我们利用一个多任务的学习框架加上注释投影方法。我们通过并行数据将监督语义依赖解析注释从资源丰富的语言转移到资源较少的语言,并在投影数据上训练语义解析器。我们利用监督句法分析作为一个辅助任务的多任务学习框架,并表明,与不同的多任务学习设置,我们一贯提高单任务基线。在英语为源语言,捷克语为目标语言的设置中,我们的最佳多任务模型在域内SemEval数据中将标记的F1分数提高了1.8,超过单任务基线(Oepen et al.,2015年),以及2.5在域外测试集。此外,我们观察到句法和语义依赖方向匹配是改善结果的重要因素。
2020-04-30 cs.CL
Exploring Pretraining via Active Forgetting for Improving Cross Lingual Transfer for Decoder Language Models
Microsoft Research India(微软印度研究院)
针对仅解码器大语言模型非英语语言效果有限的问题,提出基于主动遗忘的预训练策略,实现类似仅编码器模型的跨语言迁移,提升多语言表示与下游任务性能。
2025-05-21 cs.CL