A C-LSTM Neural Network for Text Classification
The University of Hong Kong（香港大学）；Dalian University of Technology（大连理工大学）；Tsinghua University（清华大学）
神经网络模型已经被证明能够在句子和文档建模中实现卓越的性能。卷积神经网络（CNN）和递归神经网络（RNN）是这类建模任务的两种主流架构，它们采用完全不同的理解自然语言的方式。在这项工作中，我们结合了这两种架构的优势，并提出了一种新的统一模型，称为C-LSTM，用于句子表示和文本分类。C-LSTM利用CNN来提取一系列更高级别的短语表示，并将其馈送到长短期记忆递归神经网络（LSTM）中以获得句子表示。C-LSTM能够捕获短语的局部特征以及全局和时间句子语义。我们评估所提出的架构上的情感分类和问题分类任务。实验结果表明，C-LSTM的性能优于CNN和LSTM，并且可以在这些任务上实现出色的性能。
2015-11-30 cs.CL
Predicting the Semantic Textual Similarity with Siamese CNN and LSTM
Université d’Avignon et des Pays de Vaucluse（阿维尼翁大学）；Universidade Federal do Ceará（塞阿拉联邦大学）；École Polytechnique de Montréal（蒙特利尔综合理工学院）
语义文本相似性是自然语言处理中许多应用的基础。我们的系统结合了卷积和递归神经网络来衡量句子的语义相似性。它使用卷积网络来考虑单词的局部上下文，使用LSTM来考虑句子的全局上下文。这种网络的组合有助于保留句子的相关信息，并改进句子之间相似度的计算。我们的模型已经取得了良好的效果，是最好的国家的最先进的系统的竞争力。
2018-10-24 cs.CL
A Sequential Neural Encoder with Latent Structured Description for Modeling Sentences
University of Science and Technology of China（中国科学技术大学）
在本文中，我们提出了一个序列神经编码器与潜在结构化描述（SNELSD）建模的句子。该模型将潜在的块级表示引入到传统的顺序神经编码器中，即，具有长短期记忆（LSTM）单元的递归神经网络（RNN），以在语义建模中考虑语言的组合性。SNELSD模型具有包括检测层和描述层的分层结构。检测层预测输入句子中潜在词块的边界，并为每个词导出块级向量。描述层利用修改后的LSTM单元以递归方式处理这些块级向量，并产生顺序编码输出。这些输出向量进一步与词向量或链式LSTM编码器的输出连接，以获得最终的句子表示。所有的模型参数都是以端到端的方式学习的，而不依赖于额外的文本分块或语法解析。一个自然语言推理（NLI）任务和一个情感分析（SA）任务被用来评估我们提出的模型的性能。实验结果表明，所提出的SNELSD模型的有效性，探索任务相关的组块模式在语义建模的句子。此外，所提出的方法实现了更好的性能比传统的链LSTM和树结构的LSTM在这两个任务。
2017-11-15 cs.CL
Incremental Parsing with Minimal Features Using Bi-Directional LSTM
Oregon State University（俄勒冈州立大学）
最近，用于解析的神经网络方法已经在很大程度上自动化了个体特征的组合，但仍然依赖于从人类语言直觉创建的（通常是大量的）原子特征，并且潜在地省略了重要的全局上下文。为了进一步将特征工程减少到最低限度，我们使用双向LSTM句子表示来建模只有三个句子位置的解析器状态，它自动识别整个句子的重要方面。该模型在英语贪婪依赖解析器中取得了最先进的结果。我们还介绍了一种新的过渡系统，选区解析，不需要二进制化，并与上述架构，实现国家的最先进的结果之间的贪婪解析器为英语和中文。
2016-06-21 cs.CL
A Convolutional Neural Network for Aspect Sentiment Classification
Beijing University of Technology（北京工业大学）
随着互联网的发展，自然语言处理（NLP）在信息处理中变得至关重要，情感分析是其中的重要任务。情感分析包括方面情感分类。方面情绪可以提供完整和深入的结果，增加方面级别的关注。句子中的不同语境词影响句子的情感极性，而极性因句子中的不同方面而异。比如说，“我买了一台新相机。图像质量很好，但电池寿命太短。'作为例子。如果方面是图片质量，那么预期的情感极性是“积极的”，如果考虑电池寿命方面，那么情感极性应该是“消极的”;因此，当我们探索句子中的方面情感时，方面是很重要的。递归神经网络（RNN）被认为是处理自然语言处理的良好模型，并且RNN在方面情感分类方面具有良好的性能，包括目标依赖LSTM（TD-LSTM），目标连接LSTM（TC-LSTM）（Tang，2015 a，b），AE-LSTM，AT-LSTM，AEAT-LSTM（Wang et al.，2016).关于利用卷积神经网络进行情感分类也有大量的文献，但是关于利用卷积神经网络进行方面情感分类的文献很少。在我们的论文中，我们开发了基于注意力的输入层，其中方面的信息被认为是由输入层。然后，我们将基于注意力的输入层纳入卷积神经网络（CNN），以引入上下文单词信息。在我们的实验中，将方面的信息到CNN提高后者的方面的情感分类性能，而不使用语法分析器或外部情感词典在一个基准数据集从Twitter的，但得到更好的性能相比，其他模型。
2018-07-04 cs.CL
Morphological Analysis of Japanese Hiragana Sentences using the BI-LSTM CRF Model
Ibaraki University（茨城大学）；Tokyo University of Agriculture and Technology（东京农工大学）
本研究提出了一种使用Bi-LSTM CRF模型开发日语平假名句子形态分析器神经模型的方法。形态分析是一种将文本数据划分为单词并分配信息（如词性）的技术。这种技术在日语自然语言处理系统的下游应用中起着至关重要的作用，因为日语在单词之间没有单词分隔符。平假名是一种日本表音文字，用于儿童或无法阅读汉字的人的文本。平假名句的词法分析比普通日语句子的词法分析要困难，因为平假名句中可供划分的信息较少。对于平假名句子的形态分析，我们使用基于普通日语文本的模型证明了微调的有效性，并检查了训练数据对各种体裁文本的影响。
2022-01-10 cs.CL cs.LG
Aspect Specific Opinion Expression Extraction using Attention based LSTM-CRF Network
Indian Institute of Technology Delhi（德里印度理工学院）；University of Houston（休斯顿大学）
意见短语抽取是细粒度情感分析的关键任务之一。虽然意见表达可以是一般的主观表达，但体特定意见表达既包含体，也包含原始句子上下文中的意见表达。在这项工作中，我们制定的任务作为一个实例的令牌级序列标签。当句子中存在多个方面时，意见短语边界的检测变得困难，并且每个词的标签不仅取决于周围的词，而且还取决于所关注的方面。我们提出了一种具有双向LSTM（Bi-LSTM）和新型注意力机制的神经网络架构。Bi-LSTM层学习单词之间的各种顺序模式，而不需要任何手工制作的功能。注意力机制通过基于位置和内容的存储器捕获当多个方面存在于句子中时上下文词对特定方面意见表达的重要性。在最后一层中加入了条件随机场（CRF）模型，以显式地对输出标签之间的依赖关系进行建模。在www.example.com的酒店数据集上的实验结果表明，我们的方法优于几个最先进的基线。
2019-02-07 cs.CL
Refining Raw Sentence Representations for Textual Entailment Recognition via Attention
The University of Tokyo（东京大学）
在本文中，我们介绍了Rivercorners团队在2017年RepEval共享任务中使用的模型。首先，我们的模型通过使用双向LSTM将一对句子单独编码为可变长度表示。然后，它通过简单的聚合函数创建固定长度的原始表示，然后使用注意力机制对其进行细化。最后，它将两个句子的精确表示组合成一个用于分类的向量。使用该模型，我们在匹配和不匹配的评估轨道中分别获得了72.057%和72.055%的测试准确率，优于LSTM基线，并获得了类似于依赖于句子之间共享信息的模型（ESIM）的性能。当使用集成时，准确率分别提高到72.247%和72.827%。
2017-07-12 cs.CL
An enhanced Tree-LSTM architecture for sentence semantic modeling using typed dependencies
National Institute of Technology Calicut（卡利卡特国家理工学院）
基于树的长短期记忆（LSTM）网络已经成为建模语言文本含义的最先进技术，因为它们可以有效地利用语法句法，从而利用句子中单词之间的非线性依赖关系。然而，这些模型中的大多数都无法识别由单词或短语的语义角色变化引起的含义差异，因为它们不承认句子结构中的语法关系类型，也称为类型依赖。本文提出了一种增强的LSTM架构，称为关系门控LSTM，它可以使用控制输入来建模序列的两个输入之间的关系。我们还引入了一个称为类型依赖树-LSTM的Tree-LSTM模型，它使用句子依赖解析结构以及依赖类型将句子含义嵌入到密集向量中。该模型在两个典型的NLP任务-语义相关性评分和情感分析中，在较少的训练时间内优于其类型未知的对应物。结果与其他最先进的模型相当或具有竞争力。定性分析表明，句子的声音变化对模型的预测分数影响不大，而名词（名词）词的变化有更显着的影响。该模型识别句子对中的微妙语义关系。学习到的类型依赖嵌入的大小也与人类的直觉一致。研究结果表明语法关系在句子建模中的重要性。所提出的模型将作为未来研究在这个方向上的基础。
2020-09-25 cs.AI cs.CL cs.LG
A Sentence is Worth 128 Pseudo Tokens: A Semantic-Aware Contrastive Learning Framework for Sentence Embeddings
City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）；City University of Hong Kong（香港城市大学）；Peking University（北京大学）
对比学习在无监督的句子嵌入任务中显示出巨大的潜力，例如，SimCSE。然而，我们发现，这些现有的解决方案是严重影响的表面特征，如句子的长度或句法结构。在本文中，我们提出了一个语义感知的句子嵌入对比学习框架，称为伪令牌BERT（PT-BERT），它能够利用伪令牌空间（即，潜在语义空间）表示，同时消除诸如句子长度和句法的表面特征的影响。具体来说，我们引入了一个独立于BERT编码器的额外的伪令牌嵌入层，以将每个句子映射到固定长度的伪令牌序列中。利用这些伪序列，我们能够基于注意力机制构造相同长度的正对和负对来执行对比学习。此外，我们利用梯度更新和动量更新编码器来编码实例，同时动态地维护一个额外的队列来存储句子嵌入的表示，提高编码器的学习性能的负面的例子。实验表明，我们的模型优于国家的最先进的基线上六个标准的语义文本相似性（STS）的任务。此外，对齐和一致性损失的实验，以及不同句子长度和语法的硬例子，一致验证了我们的方法的有效性。
2022-03-11 cs.CL
AC-BLSTM: Asymmetric Convolutional Bidirectional LSTM Networks for Text Classification
Sun Yat-sen University（中山大学）
最近，深度学习模型已经被证明能够在句子和文档分类任务中取得显着的性能。在这项工作中，我们提出了一个新的框架称为AC-BLSTM建模的句子和文档，它结合了非对称卷积神经网络（ACNN）与双向长短期记忆网络（BLSTM）。实验结果表明，该模型在情感分析、问题类型分类和主观性分类等五个任务上均取得了较好的效果。为了进一步提高AC-BLSTM的性能，本文将生成模型与AC-BLSTM相结合，提出了一种用于文本分类的半监督学习框架G-AC-BLSTM。
2017-06-05 cs.CL
Tell Me Why You Feel That Way: Processing Compositional Dependency for Tree-LSTM Aspect Sentiment Triplet Extraction (TASTE)
University of Hamburg（汉堡大学）；Umeå University（于默奥大学）
情感分析已经从对整个句子的情感进行分类转变为提供句子中存在什么目标、各个目标具有什么情感以及负责该情感的因果词是什么的上下文信息。然而，这导致了对数据集的详细要求，这些数据集需要训练神经网络来完成确定实体、其情感以及该情感的因果词的联合三元组任务。需要这类数据来训练系统是有问题的，因为它们会受到叠加主观注释和域过度拟合的影响，导致在新的环境中应用时模型泛化能力差。随着我们今后试图共同确定其他背景要素，这些问题也可能变得更加复杂。为了缓解这些问题，我们提出了一种混合神经-符号方法，该方法利用依赖树-LSTM的组合情感解析结构和补充符号规则来正确地从句子中提取目标-情感-原因三元组，而不需要三元组训练数据。我们表明，这种方法有可能与最先进的方法保持一致，同时还简化了所需的数据，并通过Tree-LSTM提供了一定程度的可解释性。
2021-03-10 cs.CL
Convolutional Auto-encoding of Sentence Topics for Image Paragraph Generation
Nanjing University of Science and Technology（南京理工大学）；JD AI Research（京东人工智能研究院）
图像段落生成是生成描述图像视觉内容的连贯故事（通常是一个段落）的任务。然而，这个问题并不是微不足道的，特别是当段落生成需要考虑多种描述性和不同的要点时，这经常发生在真实图像中。一个有效的问题是如何从图像中封装这些值得一提的要点/主题，然后从一个主题到另一个主题描述图像，但具有连贯的结构。在本文中，我们提出了一种新的设计-卷积自动编码（CAE），纯粹采用卷积和去卷积自动编码框架的主题建模的区域级特征的图像。此外，我们提出了一个架构，即CAE加上长短期记忆（称为CAE-LSTM），新颖地集成了学习的主题，以支持段落生成。从技术上讲，CAE-LSTM利用了一个两级的基于LSTM的段落生成框架和注意力机制。段落级LSTM捕获段落中的句间依赖性，而段落级LSTM则生成一个以每个学习主题为条件的句子。在斯坦福图像段落数据集上进行了大量的实验，并与最先进的方法相比，获得了更好的结果。更值得注意的是，CAE-LSTM将CIDER性能从20.93%提高到25.15%。
2019-08-01 cs.CL cs.CV
Improved Sentence Modeling using Suffix Bidirectional LSTM
IBM Research AI（IBM研究院人工智能部门）
递归神经网络在计算序列数据的表示中已经变得无处不在，特别是在自然语言处理中的文本数据。特别是，双向LSTM是几个神经模型的核心，在NLP的各种任务中实现了最先进的性能。然而，BiLSTM被称为遭受顺序偏差-令牌的上下文表示受到句子中接近它的令牌的严重影响。我们对BiLSTM模型提出了一种通用且有效的改进，该模型在正向和反向方向上对令牌序列的每个后缀和前缀进行编码。我们称这个模型为Suffix Bidirectional LSTM或SubiLSTM。这引入了有利于长范围依赖性的替代偏差。我们将SubiLSTM应用于几个需要句子建模的任务。我们证明了在现有模型中使用SubiLSTM而不是BiLSTM可以提高学习一般句子表示，文本分类，文本蕴涵和释义检测的性能。使用SuBiLSTM，我们实现了细粒度情感分类和问题分类的最新结果。
2018-09-10 cs.AI cs.CL cs.LG
Syntax-aware Hybrid prompt model for Few-shot multi-modal sentiment analysis
School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；School of Informatics, Xiamen University（厦门大学信息学院）
针对少样本多模态情感分析中标注数据匮乏的问题，提出结合手工提示与可学习提示的语法感知混合提示模型，利用注意力机制优化提示编码器，在句子级和方面级数据集上均取得显著性能提升。
2023-07-31 cs.CL
Syntax-based Attention Model for Natural Language Inference
Fudan University（复旦大学）
在神经网络中引入注意机制是一个强大的概念，并在许多自然语言处理任务中取得了令人印象深刻的结果。然而，大多数现有的模型施加注意力分布上的平面拓扑结构，即整个输入表示序列。显然，任何格式良好的句子都有其相应的句法树结构，这是一个非常丰富的拓扑结构。将注意力应用于这样的拓扑不仅利用了底层语法，而且还使注意力更可解释。在本文中，我们将在自然语言推理的背景下探索这一方向。结果证明了它的有效性。我们还进行了广泛的定性分析，得出了关于我们的模型为什么以及如何工作的见解和直觉。
2016-07-22 cs.CL
Syntax-Enhanced Self-Attention-Based Semantic Role Labeling
Alibaba Group（阿里巴巴集团）
语义角色标注（SRL）是自然语言处理的一项基本任务，旨在发现句子中每个谓词的语义角色。本文探讨了如何将句法知识有效地融入自主学习任务。我们提出了不同的方法编码的句法信息来自不同的质量和表示的依赖树，我们提出了一个语法增强的自我注意力模型，并将其与其他两个强基线方法进行比较，我们进行实验，以及新出版的深语境单词表示。实验结果表明，在CoNLL-2009数据集上，通过适当地引入高质量的句法信息，我们的模型在中文SRL任务上取得了新的性能。
2019-10-24 cs.CL
gundapusunil at SemEval-2020 Task 9: Syntactic Semantic LSTM Architecture for SENTIment Analysis of Code-MIXed Data
Language Technologies Research Centre（语言技术研究中心）；KCIS, IIIT Hyderabad（海得拉巴国际信息技术研究所知识计算与集成系统中心）
语码混合是指多种语言的词汇和句法在同一话语中混合使用的现象。这在多语言社会中更为明显。在本文中，我们开发了一个系统SemEval 2020：任务9对代码混合社交媒体文本的情感分析。我们的系统首先为社交媒体文本生成两种类型的嵌入。其中，第一个是字符级嵌入，用于编码字符级信息并处理词汇表外的条目，第二个是FastText词嵌入，用于捕获形态和语义。这两个嵌入被传递到LSTM网络，系统的性能优于基线模型。
2020-10-09 cs.CL
Deteksi Depresi dan Kecemasan Pengguna Twitter Menggunakan Bidirectional LSTM
Universitas Brawijaya（布拉维贾亚大学）；UIN Maulana Malik Ibrahim（毛拉纳马利克易卜拉欣国立伊斯兰大学）；Universitas Gadjah Mada（加查马达大学）；Universitas Widyagama Malang（维迪亚加玛玛琅大学）
一个人在日常生活中经历的最常见的精神障碍是抑郁和焦虑。社会污名使抑郁和焦虑患者被周围的环境所忽视。因此，他们转向Twitter等社交媒体寻求支持。通过文本数据检测潜在的抑郁症和焦虑症用户并不容易，因为他们没有明确地讨论他们的精神状态。它需要一个模型，可以识别出在文本数据上经历抑郁和焦虑的潜在用户，以便更早地获得治疗。文本分类技术可以实现这一点。可以使用的一种方法是LSTM作为处理消失梯度问题的RNN架构开发。标准LSTM无法捕获足够的信息，因为它只能从一个方向读取句子。同时，双向LSTM（BiLSTM）是一种双向LSTM，可以在不忽略句子上下文和含义的情况下捕获信息。提出的BiLSTM模型比所有传统的机器学习模型和标准LSTM都要高。根据测试结果，BiLSTM获得的最高准确率达到94.12%。这项研究成功地开发了一个模型，用于检测Twitter用户的抑郁和焦虑。
2023-01-11 cs.CL
Encoding Sentences with Graph Convolutional Networks for Semantic Role Labeling
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
语义角色标注是识别句子的谓元-论元结构的任务。它通常被认为是标准NLP管道中的重要一步。由于语义表征与句法表征密切相关，我们在模型中充分利用了句法信息。我们提出了一个版本的图卷积网络（GCN），最近的一类神经网络操作的图形，适合建模语法依赖图。句法依赖树上的GCN被用作句子编码器，产生句子中单词的潜在特征表示。我们观察到GCN层与LSTM层是互补的：当我们堆叠GCN和LSTM层时，我们获得了比现有最先进的LSTM SRL模型更大的改进，从而在标准基准测试（CoNLL-2009）中获得了中文和英文的最佳报告分数。
2017-07-30 cs.CL cs.LG
IIT Gandhinagar at SemEval-2020 Task 9: Code-Mixed Sentiment Classification Using Candidate Sentence Generation and Selection
Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校）
语码混用是指在同一话语中使用多种语言的现象。这是一种在各种平台上经常使用的交流模式，例如社交媒体网站、在线游戏、产品评论等。单语文本的情感分析是一项深入研究的任务。语码混合增加了分析文本情感的挑战，这是由于非标准的写作风格。我们在基于Bi-LSTM的神经分类器之上提出了一种基于候选句子生成和选择的方法，将Hinglish代码混合文本分类为三种情感类别之一：积极，消极或中性。与基于Bi-LSTM的神经分类器相比，所提出的方法显示了系统性能的改善。这些结果为理解文本数据中代码混合的各种其他细微差别提供了机会，例如幽默检测，意图分类等。
2020-07-23 cs.CL
A Novel Way of Identifying Cyber Predators
Concordia University（康考迪亚大学）
具有长短期记忆单元的递归神经网络（LSTM-RNN）在序列数据处理方面具有很强的能力，特别是在语言模型的建立和文本分类方面。本研究将情感分析、句子向量新方法和LSTM-RNN相结合，提出了一种新的性捕食者识别方法。应用LSTM-RNN语言模型生成句子向量，句子向量是语言模型中的最后隐藏状态。句子向量被送入另一个LSTM-RNN分类器，以捕获可疑会话。隐藏状态可以为以前从未见过的句子生成矢量。Fasttext用于过滤对话内容并生成情感评分，以识别潜在的捕食者。实验取得了破纪录的准确率和精确率为100%，召回率为81.10%，超过了SPI比赛的第一名。
2017-12-11 cs.CL cs.CY
Improving Aspect-based Sentiment Analysis with Gated Graph Convolutional Networks and Syntax-based Regulation
University of Oregon（俄勒冈大学）；Adobe Research（奥多比研究院）；VinAI Research（越南人工智能研究院）
基于语义的情感分析（ABSA）试图预测句子对特定方面的情感极性。最近，已经证明依赖树可以集成到深度学习模型中，以产生ABSA的最先进性能。然而，这些模型倾向于计算隐藏/表示向量而不考虑方面项，并且无法从可以从ABSA的依赖关系树获得的单词的整体上下文重要性得分中受益。在这项工作中，我们提出了一种新的基于图的深度学习模型，以克服这两个问题的ABSA先前的工作。在我们的模型中，门向量生成的方面条款的表示向量定制的隐藏向量的基于图的模型向方面条款。此外，我们提出了一种机制，以获得的依赖树的基础上，然后注入到模型中，以提高ABSA的表示向量的句子中的每个单词的重要性分数。该模型在三个基准数据集上实现了最先进的性能。
2020-10-26 cs.CL
Evaluating the Effectiveness of Efficient Neural Architecture Search for Sentence-Pair Tasks
Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机科学学院）；Amazon Alexa（亚马逊 Alexa）
自动学习整个神经模型或单个神经细胞架构的神经架构搜索（NAS）方法最近已经在各种自然语言处理和计算机视觉任务（包括语言建模、自然语言推理和图像分类）上实现了有竞争力的或最先进的（SOTA）性能。在这项工作中，我们探索了SOTA NAS算法的适用性，高效神经架构搜索（ENAS）（Pham等人，2018）到两个句子对任务，释义检测和语义文本相似性。我们使用ENAS来执行微观级搜索，并学习任务优化的RNN单元架构，作为LSTM的直接替代品。我们通过三个数据集（MRPC，SICK，STS-B），两个不同的模型（ESIM，BiLSTM-Max）和两组嵌入（Glove，BERT）的实验来探索ENAS的有效性。与之前将ENAS应用于NLP任务的工作相比，我们的结果是混合的-我们发现ENAS架构有时，但并非总是优于LSTM，并且与随机架构搜索相似。
2020-10-08 cs.CL
Syntax-aware Neural Semantic Role Labeling
Soochow University（苏州大学）；Heilongjiang University（黑龙江大学）；Alibaba Group（阿里巴巴集团）
语义角色标注（SRL），也称为浅层语义解析，是自然语言处理中一项重要而又具有挑战性的任务。由于句法结构和语义结构之间的紧密联系，传统的基于离散特征的自组织学习方法大量使用句法特征。相比之下，基于深度神经网络的方法通常将输入句子编码为单词序列，而不考虑句法结构。在这项工作中，我们调查了以前的几种编码语法树的方法，并深入研究了额外的语法感知表示是否有利于神经SRL模型。在基准测试CoNLL-2005数据集上的实验表明，语法感知的SRL方法可以有效地提高性能。通过额外的语法感知表示，我们的方法在测试数据上实现了新的最先进的85.6 F1（单个模型）和86.6 F1（集成），分别比ELMo的相应强基线高出0.8和1.0。详细的误差分析进行，以获得更多的见解所调查的方法。
2019-07-22 cs.CL
Greedy, Joint Syntactic-Semantic Parsing with Stack LSTMs
Carnegie Mellon University（卡内基梅隆大学）；Universitat Pompeu Fabra（庞培法布拉大学）；Google DeepMind（谷歌DeepMind）；University of Washington（华盛顿大学）
我们提出了一个过渡为基础的分析器，共同产生语法和语义的依赖关系。它使用堆栈长短期记忆学习整个算法状态的表示。我们的贪婪推理算法具有线性时间，包括特征提取。在CoNLL 2008--9英语共享任务上，我们在联合学习语法和语义的模型中获得了最好的解析性能。
2018-07-05 cs.AI cs.CL
Depth-Adaptive Graph Recurrent Network for Text Classification
Beijing Jiaotong University（北京交通大学）；Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯公司微信人工智能模式识别中心）
S-LSTM是一种强大而高效的图递归网络，它将单词视为节点，并同时在它们之间执行逐层递归步骤。尽管S-LSTM在文本表示方面取得了成功，但它仍然存在两个缺点。首先，给定一个句子，某些单词通常比其他单词更模糊，因此需要对这些困难的单词采取更多的计算步骤，反之亦然。然而，S-LSTM对所有单词都采取固定的计算步骤，而不管它们的硬度如何。第二个原因是缺乏顺序信息（例如，词序），这对于自然语言是固有的重要。在本文中，我们试图解决这些问题，并为S-LSTM提出了一种深度自适应机制，该机制允许模型根据需要学习为不同的单词进行多少计算步骤。此外，我们还集成了一个额外的RNN层来注入顺序信息，这也可以作为自适应深度决策的输入特征。经典文本分类任务（24个不同大小和领域的数据集）的结果表明，我们的模型相对于传统的S-LSTM和其他高性能模型（例如，Transformer），同时实现了良好的精度-速度平衡。
2020-02-29 cs.CL
BiSyn-GAT+: Bi-Syntax Aware Graph Attention Network for Aspect-based Sentiment Analysis
Huazhong University of Science and Technology（华中科技大学）；Beijing Institute of Technology（北京理工大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Naval University of Engineering（海军工程大学）
基于方面的情感分析（ABSA）是一种细粒度的情感分析任务，其目的是将方面和相应的情感对齐以进行特定于方面的情感极性推断。这是具有挑战性的，因为一个句子可能包含多个方面或复杂的（例如，条件、并列或转折）关系。近年来，利用图神经网络来挖掘依存句法信息已成为一种流行趋势。尽管其成功，但是严重依赖于依赖关系树的方法在准确地对方面及其指示情感的词的对齐进行建模方面提出了挑战，因为依赖关系树可能提供不相关关联的噪声信号（例如，图2中“伟大”和“可怕”之间的“conj”关系）。在本文中，为了缓解这个问题，我们提出了一个双感知图注意力网络（BiSyn-GAT+）。具体地，BiSyn-GAT+充分利用语法信息（例如，短语分割和分层结构）来对每个方面的感知情感的上下文（称为内部上下文）和跨方面的情感关系（称为内部上下文）进行建模以用于学习。在四个基准数据集上的实验表明，BiSyn-GAT+的性能始终优于最先进的方法。
2022-07-15 cs.AI cs.CL
SIFTER: A Task-specific Alignment Strategy for Enhancing Sentence Embeddings
Shanghai University（上海大学）
SIFTER提出一种任务特定对齐策略，通过缩放模型与数据信息增强相关部分、减少无关元素，改进SimCSE和LSTM，实验显示优于基线。
2023-06-21 cs.AI cs.CL
Semantic Role Labeling with Associated Memory Network
Shanghai Jiao Tong University（上海交通大学）
语义角色标注是一个识别句子中所有谓词-论元对的任务，在一系列最新的工作提出后，该任务一直处于性能提升的瓶颈。本文提出了一种新的句法不可知的SRL模型增强建议的关联记忆网络（AMN），它利用标记已知的关联句子的句间注意力作为一种记忆，以进一步增强依赖性为基础的SRL。具体来说，我们使用来自训练数据集的句子及其标签作为关联记忆线索来帮助标记目标句子。此外，我们还比较了AMN中的几种关联句选择策略和标签合并方法，以便在关注关联句的同时发现和利用关联句的标签。通过利用已知训练数据的注意记忆，我们的完整模型在CoNLL-2009基准数据集上达到了最先进的语法不可知设置，显示了一种新的有效的SRL增强研究路线，而不是利用外部资源，如预先训练好的语言模型。
2019-08-05 cs.AI cs.CL cs.LG
A Simple and Accurate Syntax-Agnostic Neural Model for Dependency-based Semantic Role Labeling
University of Amsterdam（阿姆斯特丹大学）；Yandex；University of Edinburgh（爱丁堡大学）
我们介绍了一个简单而准确的神经模型依赖为基础的语义角色标注。我们的模型预测依赖于双向LSTM编码器状态的谓词参数依赖性。即使在没有任何句法信息和只使用局部推理的情况下，语义角色标注器在英语上也取得了有竞争力的性能。然而，当自动预测的词性标签作为输入时，它大大优于所有以前的本地模型，并接近英语CoNLL-2009数据集上的最佳报告结果。我们还考虑了中文、捷克语和西班牙语，我们的方法也取得了有竞争力的结果。语法解析器在域外数据上是不可靠的，所以标准（即，在这种设置下测试时，SRL模型受到阻碍。我们的语法不可知模型看起来更健壮，在标准的域外测试集上得到了最好的报告结果。
2017-06-15 cs.AI cs.CL
Syntax-guided Neural Module Distillation to Probe Compositionality in Sentence Embeddings
Carnegie Mellon University（卡内基梅隆大学）
过去在句子嵌入模型中探索组合性的工作面临着确定隐式语法表示的因果影响的问题。给定一个句子，我们构造一个神经模块网络的基础上，其语法分析和训练它端到端近似句子的嵌入生成的Transformer模型。然后，Transformer到句法神经元模块网（SynNaMoN）的可转换性捕获句法是否是其组合能力的强因果模型。此外，我们通过指定各个SynNaMoN模块的内部架构和线性来解决语义组合的几何问题。我们发现各种句子嵌入模型的可扩展性与其性能广泛相关，但观察到可扩展性不会因模型大小而发生很大变化。我们还提出了初步的证据表明，在句子嵌入模型的语法指导的组成是线性的，非线性可能主要用于处理非成分短语。
2023-02-08 cs.CL
Generating Natural Language Inference Chains
University College London（伦敦大学学院）
使用自然语言进行推理的能力是许多NLP任务的基本先决条件，例如信息抽取、机器翻译和问答。为了量化这种能力，通常测试系统是否可以识别文本蕴涵，即，一个句子是否可以从另一个句子推断出来。然而，在大多数NLP应用程序中，只有单个源句子，而不是句子对。因此，我们提出了一个新的任务，衡量一个模型可以从源句子生成一个蕴涵句子。我们采用斯坦福自然语言推理语料库的蕴涵对，并训练LSTM。在手动注释的测试集中，我们发现82%生成的句子是正确的，比LSTM基线提高了10.3%。定性分析表明，该模型不仅能够缩短输入句子，而且能够通过释义和短语蕴涵来推断新的语句。然后，我们递归地将该模型应用于输入输出对，从而生成自然语言推理链，该推理链可用于从源句子自动构建蕴涵图。最后，通过交换源句子和目标句子，我们还可以训练一个模型，该模型在给定输入句子的情况下发明附加信息来生成新句子。
2016-06-04 cs.AI cs.CL cs.NE
Disentangling Semantics and Syntax in Sentence Embeddings with Pre-trained Language Models
University of California, Los Angeles（加州大学洛杉矶分校）
预训练的语言模型在广泛的NLP任务中取得了巨大的成功。然而，来自预训练模型的上下文表示包含纠缠的语义和句法信息，因此不能直接用于为某些任务导出有用的语义句子嵌入。释义对提供了一种学习语义和句法之间区别的有效方法，因为它们自然地共享语义并且经常在句法上变化。在这项工作中，我们提出了ParaBART，一个语义句子嵌入模型，学习解开语义和语法在句子嵌入预训练的语言模型。ParaBART被训练为基于与目标释义共享语义的源句子和指定目标语法的解析树来执行语法引导的释义。通过这种方式，ParaBART使用单独的编码器从各自的输入中学习解纠缠的语义和语法表示。英语实验表明，ParaBART在无监督语义相似性任务上优于最先进的句子嵌入模型。此外，我们表明，我们的方法可以有效地删除语义句子嵌入的句法信息，从而更好地抵御下游语义任务的句法变化的鲁棒性。
2021-04-11 cs.CL
The emergence of number and syntax units in LSTM language models
Cognitive Neuroimaging Unit（认知神经影像研究组）；NeuroSpin center（神经自旋中心）；Facebook AI Research（Facebook人工智能研究院）；ILLC, University of Amsterdam（阿姆斯特丹大学语言、逻辑与计算研究所）；Paris（巴黎（此处按要求仅保留机构相关部分，原文本中“Paris, France”作为机构的补充信息，机构本身为Facebook AI Research））；Gif-sur-Yvette, France（（地址信息，非机构，按要求忽略））；Amsterdam, Netherlands（（地址信息，非机构，按要求忽略））
最近的工作表明，在通用语言建模目标上训练的LSTM可以捕获语法敏感的泛化，例如长距离数字一致性。然而，我们对他们如何完成这一非凡壮举没有机械的理解。有些人认为这取决于没有真正考虑到层次结构的竞争力。在这里，我们提出了一个详细的研究在单个神经元水平的LSTM的内部机制的数字跟踪。我们发现，长途号码信息主要由两个“号码单元”管理。重要的是，这些单位的行为部分地由其他单位独立地控制，以跟踪句法结构。我们的结论是，LSTMs，在某种程度上，真正实现句法处理机制，铺平了道路，更普遍的理解语法编码LSTMs。
2019-04-02 cs.CL
Assessing the Ability of LSTMs to Learn Syntax-Sensitive Dependencies
Bar Ilan University（巴伊兰大学）
长短期记忆（LSTM）神经网络在语言处理中的成功通常归因于它们捕获长距离统计信息的能力。语言依赖通常对句法结构很敏感;这种依赖性能被没有显式结构表示的LSTM捕获吗？我们开始解决这个问题，使用英语主语-动词依赖中的数字一致性。我们探索架构的语法能力，使用一个明确的语法目标（数字预测，语法判断）的训练目标，并使用语言模型。在强监督环境中，LSTM实现了非常高的整体准确性（低于1%的错误），但当序列和结构信息冲突时，错误会增加。在语言建模环境中，这种错误的频率急剧上升。我们的结论是，LSTM可以捕捉到一个非平凡的语法结构有针对性的监督，但更强大的架构可能需要进一步减少错误;此外，语言建模信号是不够的捕捉语法敏感的依赖关系，并应补充更直接的监督，如果需要捕捉这种依赖关系。
2016-11-04 cs.CL
Recognizing semantic relation in sentence pairs using Tree-RNNs and Typed dependencies
National Institute of Technology Calicut（卡利卡特国立技术学院）
基于依存树的递归神经网络（Tree-RNNs）在句子语义建模中无处不在，因为它们有效地捕获非相邻词之间的语义关系。然而，识别具有相同单词和语法的语义不同的句子仍然是Tree-RNN的一个挑战。这项工作提出了一个改进的依赖树-RNN（DT-RNN）使用的依赖关系解析中确定的语法关系类型。我们的实验语义相关评分（SRS）和识别文本蕴涵（RTE）在句子对使用SICK（句子涉及成分知识）数据集显示令人鼓舞的结果。与DT-RNN模型相比，该模型在RTE任务的分类准确度上提高了2%。结果表明，Pearson和Spearman的模型预测的相似性得分和人类评级之间的相关性测量高于标准DT-RNN。
2022-01-13 cs.AI cs.CL
Quantifying the vanishing gradient and long distance dependency problem in recursive neural networks and recursive LSTMs
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
递归神经网络（RNN）及其最近提出的扩展递归长短期记忆网络（RLSTM）是通过根据外部提供的解析树递归地组合词嵌入来计算句子表示的模型。因此，与循环网络不同的是，这两种模型都明确地利用了句子的层次结构。在本文中，我们证明了RNN仍然遭受消失梯度和长距离依赖问题，并且RLSTM在这些问题上大大改善了RNN。我们提出了一个人工学习任务，使我们能够量化这两个模型的这些问题的严重性。我们进一步表明，梯度的比率（在根结点和焦点叶节点）是高度指示的反向传播在优化树中的相关权重低的成功。因此，本文提供了一个解释，如情感分析任务的RLSTM现有的，优越的结果，并建议，包括层次结构和包括LSTM风格的门控的好处是互补的。
2016-03-01 cs.AI cs.CL cs.NE
Supervised Syntax-based Alignment between English Sentences and Abstract Meaning Representation Graphs
Japan Science and Technology Agency（日本科学技术振兴机构）；Graduate School of Informatics, Kyoto University（京都大学信息学研究科）
由于英语句子和AMR标注中的AMR图之间没有对齐链接，自动对齐对于训练AMR解析器是必不可少的。以前的研究将其形式化为一个字符串到字符串的问题，并解决它在一个无监督的方式，这遭受数据稀疏，由于小尺寸的训练数据英语AMR对齐。在本文中，我们将其形式化为基于语法的对齐问题，并基于语法树以有监督的方式解决它，通过将英语AMR标记推广到语法标记来解决数据稀疏问题。实验结果表明，该方法不仅对英语AMR对齐有效，而且对AMR句法分析也有效。
2017-02-18 cs.CL
A Multi-Task Approach for Disentangling Syntax and Semantics in Sentence Representations
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们提出了一个生成模型的句子，使用两个潜在的变量，一个旨在代表句子的语法和其他代表其语义。我们表明，我们可以通过使用多个损失进行训练，包括利用对齐的释义句子和词序信息的损失，来实现语义和句法表示之间的更好的分离。我们还研究了从词袋移动到递归神经网络模块的效果。我们评估了我们的模型以及标准语义相似性任务和新型句法相似性任务上的几个流行的预训练嵌入。从经验上讲，我们发现，最好的句法和语义表示的模型也产生了最解开的表示。
2019-04-02 cs.CL
Learning Better Sentence Representation with Syntax Information
University of Science and Technology of China（中国科学技术大学）
句子语义理解是自然语言处理领域的一个重要课题。最近，从预先训练的语言模型，如ELMO和BERT的上下文单词表示已经显示出显着的改善，为广泛的语义任务，例如问答，文本分类和情感分析。然而，如何添加外部知识以进一步提高模型的语义建模能力是值得探讨的问题。在本文中，我们提出了一种新的方法来结合语法信息与预训练的语言模型。为了评估预训练模型的效果，首先介绍了基于RNN和基于Transformer的预训练语言模型;其次，为了更好地整合外部知识，如句法信息与预训练模型的整合，提出了依存句法扩展（DSE）模型。为了评价，我们选择了两个子任务：句子完成任务和生物关系抽取任务。实验结果表明，在句子完成任务上，该模型达到了91.2%的准确率，比基线模型高出37.8%.在关系抽取任务上，$F_{1}$ $F_{1}$得分为75.1%，具有一定的竞争力。
2021-01-09 cs.CL
Syntax-aware Data Augmentation for Neural Machine Translation
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research Asia（微软亚洲研究院）；National Institute of Information and Communications Technology（信息通信研究机构）
数据增强是神经机器翻译（NMT）中通过生成额外的双语数据来提高性能的一种有效方法。在本文中，我们提出了一种新的数据增强神经机器翻译增强策略。与现有的数据增强方法简单地选择不同句子中具有相同概率的单词进行修改不同，我们通过考虑单词在句子中的作用来设置特定于句子的单词选择概率。我们使用输入句子的依存分析树作为一个有效的线索，以确定每个词在每个句子中的选择概率。我们提出的方法在WMT 14英语到德语数据集和IWSLT 14德语到英语数据集上进行了评估。大量的实验结果表明，我们提出的语法感知的数据增强方法可以有效地提高现有的翻译性能显着提高独立的方法。
2020-04-29 cs.CL
Modelling Interaction of Sentence Pair with coupled-LSTMs
Fudan University（复旦大学）
最近，人们对使用深度神经网络来建模两个句子的交互越来越感兴趣。然而，大多数现有的方法用单独的编码器对两个序列进行编码，其中一个句子用很少或没有来自另一个句子的信息进行编码。在本文中，我们提出了一个深层的架构来模拟强互动的句子对与两个耦合LSTM。具体来说，我们引入了两种耦合的方式来模拟两个LSTM的相互依赖性，耦合两个句子的局部上下文化的相互作用。然后，我们汇总这些交互，并使用动态池来选择信息量最大的特征。两个非常大的数据集上的实验证明了我们提出的架构的有效性和其优越性，以国家的最先进的方法。
2016-05-20 cs.CL
Syntax Customized Video Captioning by Imitating Exemplar Sentences
Meituan（美团）；Tsinghua University（清华大学）
增强描述视频内容的句子的多样性是当前视频描述研究中的一个重要问题。在本文中，我们探讨这个问题，从一个新的角度定制视频字幕模仿例句语法。具体来说，给定一个视频和任何语法有效的例句，我们引入了一个新的任务，定制的视频描述（SCVC），旨在生成一个标题，不仅语义描述的视频内容，但也句法模仿给定的例句。为了解决SCVC任务，我们提出了一种新的视频描述模型，首先设计分层句子语法编码器来提取范例句子的语法结构，然后设计语法条件字幕解码器来生成表达视频语义的语法结构字幕。由于没有可用的语法定制的groundtruth视频字幕，我们通过提出一种新的训练策略来解决这样的挑战，该策略利用传统的成对视频描述数据和我们收集的例句来完成模型学习。大量的实验，在语义，句法，流畅性和多样性评价方面，清楚地表明我们的模型能够生成语法变化和语义连贯的视频字幕，以及模仿不同的例句与丰富的diligence。
2021-12-02 cs.CL cs.CV
SEE: Syntax-aware Entity Embedding for Neural Relation Extraction
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Collaborative Innovation Center of Novel Software Technology and Industrialization（新型软件技术与产业化协同创新中心）；Alibaba Group（阿里巴巴集团）；School of Computer Science and Technology, Heilongjiang University（黑龙江大学计算机科学与技术学院）
距离监督关系抽取是一种有效的大规模关系抽取方法，被广泛用于从纯文本中发现新的关系事实。近年来神经关系抽取的研究通过在低维空间中对句子建模取得了很大进展，但很少考虑句法信息对实体建模。在本文中，我们提出学习语法感知的实体嵌入神经关系抽取。首先，我们编码的依赖树上的实体的上下文作为基于树GRU的事务级实体嵌入。然后，我们利用句子内和句子间的注意力，以获得句子集合级的实体嵌入所有句子包含的焦点实体对。最后，我们结合句子嵌入和实体嵌入进行关系分类。我们在一个广泛使用的真实数据集上进行了实验，实验结果表明，我们的模型可以充分利用所有的信息实例，并实现了最先进的性能的关系抽取。
2018-01-11 cs.CL
Syntax-guided Controlled Generation of Paraphrases
Indian Institute of Science（印度科学学院）；Google（谷歌）；Microsoft Research（微软研究院）
给出一个句子（例如，"我喜欢芒果"）和约束（例如，情感翻转），受控文本生成的目标是产生使输入句子适应以满足约束要求的句子（例如，"我讨厌芒果"）。超越这些简单的限制，最近的作品已经开始探索将复杂的句法指导作为约束条件纳入受控释义生成的任务中。在这些方法中，句法指导来源于一个单独的例句。然而，这些先前的工作只利用有限的句法信息，可在分析树的例句。本文针对这一局限性，提出了一种端到端的句法释义生成框架-引导式控制释义器（SGCP）。我们发现，SGCP可以生成符合语法的句子，而不损害相关性。我们对多个真实世界的英语语言数据集进行了广泛的自动化和人工评估，以证明SGCP在最先进的基线上的有效性。为了推动未来的研究，我们提供了SGCP的源代码
2020-05-18 cs.CL
Representations of Syntax [MASK] Useful: Effects of Constituency and Dependency Structure in Recursive LSTMs
Johns Hopkins University（约翰斯·霍普金斯大学）
基于序列的神经网络对句法结构表现出显著的敏感性，但它们在句法任务上的表现仍然不如基于树的网络。这样的基于树的网络可以被提供有选区解析、依赖性解析或两者。我们评估这两个代表性的计划更有效地介绍了偏见的句法结构，提高性能的主谓一致预测任务。我们发现，一个基于成分的网络比一个基于依赖关系的网络更强大的概括，并结合这两种类型的结构不会产生进一步的改善。最后，我们表明，顺序模型的语法鲁棒性可以大大提高微调少量的构建数据，这表明数据增强是一个可行的替代显式选区结构给予顺序模型缺乏的语法偏见。
2020-04-30 cs.CL
The syntax-lexicon tradeoff in writing
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
当说话者把他们的想法变成句子时，他们在单词的复杂性和句法之间保持平衡。然而，目前还不清楚这种句法-词汇的权衡是否是在快速在线处理的压力下口语产生所特有的。另一种可能是，这种权衡是语言的一个基本属性，与产生的方式无关。这项工作评估了三个不同主题的书面语言的神经典型的个人的单词和句法规则的复杂性之间的关系。我们发现，类似于说，在写作中构建句子涉及词汇和句法项目的复杂性之间的权衡。我们还表明，在写作过程中减少在线处理的需求，允许检索更复杂的单词，在成本上纳入更简单的语法。这项工作进一步强调了句子成分的可及性作为句法-词汇权衡出现的驱动力的作用。
2022-06-24 cs.CL
Explicitly Representing Syntax Improves Sentence-to-layout Prediction of Unexpected Situations
KU Leuven（鲁汶大学）
该研究通过比较隐式与显式编码句法的语言表示在布局预测中的表现，发现当前模型在训练未见过的实体关系组合时性能大幅下降，进而提出一种结构损失函数，显著提升了意外场景下的句子到布局预测性能。
2024-12-02 cs.CL
How LSTM Encodes Syntax: Exploring Context Vectors and Semi-Quantization on Natural Text
Tokyo University of Technology（东京工业大学）；Denso IT Laboratory（电装信息技术实验室）；The Institute of Statistical Mathematics（统计数学研究所）
长短期记忆递归神经网络（LSTM）被广泛使用，并且已知用于捕获信息性的长期句法依赖关系。然而，这些信息是如何反映在其内部向量的自然文本尚未得到充分的研究。我们通过学习一个语言模型来分析它们，其中语法结构是隐式给出的。我们根据经验表明，上下文更新向量，即内部门的输出，近似量化为二进制或三进制值，以帮助语言模型准确计算嵌套的深度，正如Suzgun等人（2019）最近为合成Dyck语言所展示的那样。对于上下文向量中的某些维度，我们发现它们的激活与短语结构的深度高度相关，如VP和NP。此外，通过$L_1$正则化，我们还发现它可以从上下文向量的少量分量准确地预测单词是否在短语结构中。即使是从原始文本中学习的情况下，上下文向量仍然与短语结构相关。最后，我们证明了功能词和触发短语的部分语音的自然集群表示在LSTM的上下文更新向量的一个小但主要的子空间中。
2020-10-01 cs.CL
CSynGEC: Incorporating Constituent-based Syntax for Grammatical Error Correction with a Tailored GEC-Oriented Parser
Institute of Artificial Intelligence（人工智能研究院）；School of Computer Science and Technology（计算机科学与技术学院）；Soochow University（苏州大学）
最近，Zhang等人（2022）提出了一种语法感知的语法错误纠正（GEC）方法，称为SynGEC，表明将输入句子的定制的基于依赖性的语法合并到GEC中是非常有益的。这项工作考虑了另一种主流语法形式主义，即，基于成分的语法。通过借鉴SynGEC的成功经验，我们首先提出了一个扩展的基于成分的句法计划，以适应错误的语法句子。然后以并行GEC数据为支点，自动获取语法错误句子的选区树，训练面向GEC的选区分析器。对于语法编码，我们采用图卷积网络（GCN）。实验结果表明，我们的方法，命名为CSynGEC，产生了很大的改善强基线。此外，我们研究了GEC的基于成分和基于依赖性的语法的集成：1）模型内组合，这意味着使用单独的GCN来编码两种语法以在单个模型中解码; 2）模型间组合，这意味着收集和选择由不同模型预测的编辑以实现最终校正。我们发现，前一种方法提高了召回率，而后者提高了精度，并导致更好的F0.5值。
2022-11-15 cs.CL
Using Sentence-Level LSTM Language Models for Script Inference
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
有一个小的，但不断增长的研究机构的统计脚本，模型的事件序列，允许概率推断隐含的事件从文件。这些系统对由NLP管道产生的结构化动词论元事件进行操作。我们将这些系统与最近的递归神经网络模型进行了比较，这些模型直接对原始标记进行操作以预测句子，发现后者在预测文档中的缺失事件方面与前者大致相当。
2016-06-08 cs.CL
Cross-Sentence N-ary Relation Extraction with Graph LSTMs
Microsoft Research（微软研究院）；Google Research（谷歌研究院）
过去在关系抽取中的工作主要集中在单句中的二元关系。最近NLP在高价值领域的进展引发了人们对提取跨多个句子的n元关系的更一般设置的兴趣。在本文中，我们探讨了一个通用的关系抽取框架的基础上图长短期记忆网络（图LSTM），可以很容易地扩展到跨句子的n元关系抽取。图公式提供了一种统一的方式来探索不同的LSTM方法，并结合各种内部和内部依赖关系，如顺序，语法和话语关系。一个强大的上下文表示学习的实体，作为输入的关系分类器。这简化了对具有任意arity的关系的处理，并且使具有相关关系的多任务学习成为可能。我们在两个重要的精准医疗环境中评估了这个框架，证明了它在传统的监督学习和远程监督下的有效性。跨句子提取产生了更大的知识库。多任务学习显著提高了提取准确率。对各种LSTM方法的深入分析产生了有用的见解，即语言分析对提取准确性的影响。
2017-08-12 cs.CL
Leveraging Sentence-level Information with Encoder LSTM for Semantic Slot Filling
IBM Research（IBM研究院）；IBM Watson
递归神经网络（RNN）及其特有的结构之一，长短期记忆（LSTM），已被广泛用于序列标记。在本文中，我们首先增强了基于LSTM的序列标记，以显式地对标签依赖进行建模。然后，我们提出了另一种增强，将全球信息跨越整个输入序列。后一种方法，编码器-标记器LSTM，首先用编码器LSTM将整个输入序列编码成一个固定长度的向量，然后使用这个编码向量作为另一个LSTM的初始状态进行序列标记。结合这些方法，我们可以预测标签序列，考虑标签依赖和整个输入序列的信息。在自然语言理解的一个重要组成部分--槽填充任务的实验中，我们使用标准ATIS语料库，获得了95.66%的最新F1分数。
2016-08-31 cs.CL
