Convolutional Neural Networks for Sentence Classification
New York University（纽约大学）
我们报告了一系列卷积神经网络（CNN）的实验，这些神经网络是在预先训练的词向量上训练的，用于高级分类任务。我们证明了一个简单的CNN，几乎没有超参数调整和静态向量，在多个基准测试中取得了优异的结果。通过微调学习特定于任务的向量可以进一步提高性能。我们还提出了一个简单的修改架构，允许使用特定任务和静态向量。本文讨论的CNN模型在7个任务中的4个任务上改进了现有技术，这些任务包括情感分析和问题分类。
2014-09-03 cs.CL cs.NE
SLCNN: Sentence-Level Convolutional Neural Network for Text Classification
University of Zanjan（赞詹大学）
文本分类是自然语言处理的一项基本任务。最近的几项研究表明，深度学习在文本处理方面取得了成功。卷积神经网络（CNN）作为一种流行的深度学习模型，在文本分类任务中取得了显着的成功。在本文中，新的基线模型进行了研究，文本分类使用CNN。在这些模型中，文档作为三维张量表示被馈送到网络，以提供文档级分析。应用这种方法使模型能够利用文本中句子的位置信息。此外，分析相邻的句子可以提取额外的特征。所提出的模型进行了比较与国家的最先进的模型，使用几个数据集。实验结果表明，所提出的模型具有较好的性能，尤其是在较长的文档中。
2023-01-27 cs.CL cs.LG
Multimodal Convolutional Neural Networks for Matching Image and Sentence
Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
在本文中，我们提出了多模态卷积神经网络（m-CNN）的图像和句子匹配。我们的m-CNN提供了一个具有卷积架构的端到端框架，以利用图像表示，单词组成以及两种模式之间的匹配关系。更具体地说，它由一个图像CNN编码图像内容，和一个匹配CNN学习图像和句子的联合表示。匹配的CNN将词组合成不同的语义片段，并学习图像与不同层次的语义片段之间的模态间关系，从而充分利用图像与句子之间的匹配关系。在双向图像和句子检索的基准数据库上的实验结果表明，所提出的m-CNN可以有效地捕获图像和句子匹配所需的信息。具体来说，我们提出的m-CNN在Flickr 30 K和Microsoft COCO数据库上进行双向图像和句子检索，达到了最先进的性能。
2015-08-29 cs.CL cs.CV cs.NE
Dependency-based Convolutional Neural Networks for Sentence Embedding
City University of New York（纽约城市大学）；IBM（国际商业机器公司）
在句子建模和分类中，卷积神经网络方法最近取得了最先进的结果，但所有这些努力都是顺序处理单词向量，忽略了长距离依赖关系。为了利用深度学习和语言结构，我们提出了一个基于树的卷积神经网络模型，它利用了单词之间的各种长距离关系。我们的模型改进了所有三个情感和问题分类任务的顺序基线，并在TREC上实现了最高的发布准确率。
2015-08-03 cs.AI cs.CL cs.LG
Encoding Sentences with Graph Convolutional Networks for Semantic Role Labeling
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
语义角色标注是识别句子的谓元-论元结构的任务。它通常被认为是标准NLP管道中的重要一步。由于语义表征与句法表征密切相关，我们在模型中充分利用了句法信息。我们提出了一个版本的图卷积网络（GCN），最近的一类神经网络操作的图形，适合建模语法依赖图。句法依赖树上的GCN被用作句子编码器，产生句子中单词的潜在特征表示。我们观察到GCN层与LSTM层是互补的：当我们堆叠GCN和LSTM层时，我们获得了比现有最先进的LSTM SRL模型更大的改进，从而在标准基准测试（CoNLL-2009）中获得了中文和英文的最佳报告分数。
2017-07-30 cs.CL cs.LG
An Attention-Gated Convolutional Neural Network for Sentence Classification
National Digital Switching System Engineering and Technological R&D Center（国家数字交换系统工程技术研究中心）；Eindhoven University of Technology（埃因霍温理工大学）
由于句子包含的上下文信息有限，因此句子的分类是一个非常具有挑战性的问题。在本文中，我们提出了一个注意力门控卷积神经网络（AGCNN）的句子分类，它产生的注意力权重从不同大小的功能的上下文窗口通过使用专门的卷积编码器。它充分利用有限的上下文信息，提取并增强了重要特征对句子类别预测的影响。实验结果表明，我们的模型可以实现比标准CNN模型高出3.1%的准确率，并在六个任务中的四个任务上获得比基线更有竞争力的结果。此外，我们还设计了一个激活函数，即自然对数重标度整流线性单元（NLReLU）。实验表明，NLReLU可以优于ReLU，并且与AGCNN上的其他知名激活函数相当。
2018-12-28 cs.CL cs.LG
ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs
IBM Watson（IBM沃森）
如何对句子进行建模是许多自然语言处理任务中的关键问题，如答案选择、释义识别和文本蕴涵等。大多数先前的工作（i）通过微调特定的系统来处理一个单独的任务;（ii）分别对每个句子的表示进行建模，很少考虑其他句子的影响;或者（iii）完全依赖于手动设计的特定于任务的语言特征。本文提出了一种通用的基于注意力的卷积神经网络（ABCNN），用于对句子进行建模。我们做了三个贡献。(i)ABCNN可以应用于各种需要对句子对建模的任务。(ii)我们提出了三个注意力方案，将句子之间的相互影响整合到CNN中，因此，每个句子的表示都考虑到了它的对应物。这些相互依赖的句子对表征比孤立的句子表征更强大。(iii)ABCNN在AS、PI和TE任务上实现了最先进的性能。
2018-06-25 cs.CL
Bilateral Multi-Perspective Matching for Natural Language Sentences
IBM T.J. Watson Research Center（IBM T.J. 华生研究中心）
自然语言句子匹配是一项基础性的技术。以前的方法要么从单个方向匹配句子，要么只应用单个粒度（逐词或逐句）匹配。在这项工作中，我们提出了一个双边多视角匹配（BiMPM）模型下的“匹配聚合”的框架。给定两个句子$P$和$Q$，我们的模型首先使用BiLSTM编码器对它们进行编码。接下来，我们在两个方向$P \rightarrow Q$和$P \leftarrow Q$上匹配两个编码的句子。在每个匹配方向上，一个句子的每个时间步从多个角度与另一个句子的所有时间步进行匹配。然后，另一个BiLSTM层用于将匹配结果聚合成固定长度的匹配向量。最后，基于匹配向量，通过全连接层进行决策。我们评估我们的模型上的三个任务：释义识别，自然语言推理和答案句子选择。在标准基准数据集上的实验结果表明，我们的模型在所有任务上都达到了最先进的性能。
2017-07-14 cs.AI cs.CL
Convolutional Lie Operator for Sentence Classification
本文提出基于李卷积的句子分类模型，通过捕捉复杂非欧几里得对称性提升分类准确率。
2025-12-18 cs.CL
A Convolutional Neural Network for Modelling Sentences
University of Oxford（牛津大学）
准确表达句子的能力是语言理解的核心。我们描述了一种卷积架构，称为动态卷积神经网络（DCNN），我们采用的句子的语义建模。该网络使用动态k-Max池化，这是一种对线性序列的全局池化操作。该网络处理不同长度的输入句子，并在句子上生成一个能够明确捕获短期和长期关系的特征图。该网络不依赖于解析树，并且可以轻松应用于任何语言。我们在四个实验中测试了DCNN：小规模二进制和多类情感预测，六向问题分类和通过远程监督的Twitter情感预测。该网络在前三个任务中实现了出色的性能，在最后一个任务中相对于最强基线的误差减少了25%以上。
2014-04-08 cs.CL
Natural Language Inference by Tree-Based Convolution and Heuristic Matching
Peking University（北京大学）；Baidu Inc.（百度公司）
在本文中，我们提出了TBCNN-pair模型来识别两个句子之间的蕴涵和矛盾。在我们的模型中，一个基于树的卷积神经网络（TBCNN）捕获句子级语义;然后启发式匹配层，如连接，元素乘积/差异组合单个句子中的信息。实验结果表明，我们的模型优于现有的句子编码为基础的方法由一个大的利润。
2016-05-13 cs.CL cs.LG
Dependency Sensitive Convolutional Neural Networks for Modeling Sentences and Documents
University of Michigan（密歇根大学）
句子和文档建模的目标是为各种自然语言处理任务准确地表示句子和文档的含义。在这项工作中，我们提出了依赖敏感的卷积神经网络（DSCNN）作为一个通用的分类系统的句子和文件。DSCNN通过长短期记忆网络处理预训练的词嵌入，然后用卷积算子提取特征，分层构建文本表示。与现有的树结构递归神经网络模型相比，DSCNN不依赖于解析器和昂贵的短语标记，因此不限于任务级任务。此外，与其他基于CNN的模型通过滑动窗口在本地分析句子不同，我们的系统捕获了每个句子内的依赖信息和同一文档中句子之间的关系。实验结果表明，我们的方法是实现国家的最先进的性能在几个任务，包括情感分析，问题类型分类，和主观分类。
2016-11-08 cs.CL
Recurrent Convolutional Neural Networks for Discourse Compositionality
Oxford University（牛津大学）
意义的组合性超出了单个句子。正如单词组合形成句子的意义一样，句子组合形成段落，对话和一般话语的意义。我们介绍了相应的两个层次的组合性的句子模型和话语模型。句子模型采用卷积作为语义向量构成的中心运算，并基于一种新型的分层卷积神经网络。话语模型扩展了句子模型，并基于一个递归神经网络，该网络以一种新颖的方式对当前句子和当前说话者进行调节。语篇模型能够捕捉句子的顺序性和不同说话者之间的互动。在没有特征工程或预训练的情况下，通过简单的贪心解码，与句子模型耦合的话语模型在对话行为分类实验上获得了最先进的性能。
2013-06-15 cs.CL
Intelligent Translation Memory Matching and Retrieval with Sentence Encoders
University of Wolverhampton（伍尔弗汉普顿大学）；University of Surrey（萨里大学）
从翻译记忆库中匹配和检索先前翻译的片段是翻译记忆库系统的关键功能。然而，这种匹配和检索过程仍然局限于基于编辑距离的算法，我们已经确定这是翻译记忆系统的一个主要缺点。在本文中，我们引入句子编码器，以改善翻译记忆系统的匹配和检索过程-一个有效和高效的解决方案，以取代基于编辑距离的算法。
2020-04-27 cs.CL
A Sensitivity Analysis of Attention-Gated Convolutional Neural Networks for Sentence Classification
National Digital Switching System Engineering and Technological R&D Center（国家数字交换系统工程技术研究中心）；Information Engineering University（信息工程大学）
在本文中，我们研究了不同超参数以及超参数设置的不同组合对注意力门控卷积神经网络（AGCNN）性能的影响，例如，核窗口大小、特征映射的数量、丢弃层的保持率和激活函数。我们从广泛的实证结果中得出实用的建议。通过灵敏度分析，我们进一步改进了AGCNN的超参数设置。实验表明，我们的建议可以实现平均0.81%和0.67%的改进AGCNN-NLReLU-rand和AGCNN-SELU-rand，分别和平均0.47%和0.45%的改进AGCNN-NLReLU-static和AGCNN-SELU-static，分别。
2019-10-16 cs.CL cs.LG
Enhancing Sentence Relation Modeling with Auxiliary Character-level Embedding
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
基于神经网络的句子关系建模方法自动地从原始句子对生成隐藏的匹配特征。然而，由于复杂的语义关系，如蕴涵或矛盾，匹配的特征表示的质量可能不满意。为了应对这一挑战，我们提出了一种新的深度神经网络架构，该架构联合利用预训练的词嵌入和辅助字符嵌入来学习句子含义。这两种词序列表示作为多层双向LSTM的输入，以学习增强的句子表示。之后，我们构造匹配特征，然后再构造另一个时间CNN来学习高级隐藏匹配特征表示。实验结果表明，我们的方法始终优于现有的方法在标准的评估数据集。
2016-03-30 cs.AI cs.CL cs.NE
Combining Long Short Term Memory and Convolutional Neural Network for Cross-Sentence n-ary Relation Extraction
University of Liverpool（利物浦大学）
本文提出了一种结合长短期记忆和卷积神经网络（LSTM-CNN）的模型，利用词嵌入和位置嵌入进行跨句n元关系抽取。该模型结合了LSTM和CNN的特性，同时利用长距离序列信息并捕获最具信息性的特征，这对于跨句子的n元关系抽取至关重要。LSTM-CNN模型在跨句子n元关系抽取的标准数据集上进行评估，其性能显著优于CNN、LSTM以及组合的CNN-LSTM模型等基线。本文还表明，LSTM-CNN模型在跨句子n元关系抽取方面优于当前最先进的方法。
2018-11-02 cs.CL cs.IR
Inducing Alignment Structure with Gated Graph Attention Networks for Sentence Matching
Harbin Institute of Technology（哈尔滨工业大学）
句子匹配是自然语言处理的一项基本任务，有着广泛的应用。最近的方法采用基于注意力的神经模型来建立两个句子之间的单词或短语级别的对齐。然而，这些模型通常忽略了句子内部的固有结构，也没有考虑文本单元之间的各种依赖关系。为了解决这些问题，本文提出了一种基于图的句子匹配方法。首先，我们将一个句子对表示为一个具有几个精心设计的策略的图。然后，我们采用了一种新的门控图注意力网络编码的句子匹配构造的图。实验结果表明，我们的方法在两个数据集上的自然语言和释义识别任务上基本上达到了最先进的性能。进一步的讨论表明，我们的模型可以学习有意义的图结构，表明它的优势，提高解释性。
2021-10-21 cs.AI cs.CL
SECNN: Squeeze-and-Excitation Convolutional Neural Network for Sentence Classification
National University of Defense Technology（国防科技大学）
针对 CNN 难以建模长期依赖的问题，本文提出 SECNN，将多个 CNN 特征图作为通道并用 SE 通道注意力加权，从而提升句子分类性能。
2023-12-11 cs.CL
Rationale-Augmented Convolutional Neural Networks for Text Classification
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Northeastern University（东北大学）
我们提出了一个新的卷积神经网络（CNN）模型的文本分类，联合利用标签的文件和它们的组成部分的句子。具体来说，我们考虑注释器显式标记支持其整体文档分类的句子（或片段）的场景，即，他们提供了理由。我们的模型利用这种监督通过一个分层的方法，其中每个文件是由其组成句子的向量表示的线性组合表示。我们提出了一个句子级卷积模型，该模型估计给定句子是合理性的概率，然后我们将每个句子对聚合文档表示的贡献与这些估计成比例。在五个具有文档标签和相关原理的分类数据集上的实验表明，我们的方法始终优于强基线。此外，我们的模型自然为它的预测提供了解释。
2016-09-24 cs.CL
Zero-Shot Text Matching for Automated Auditing using Sentence Transformers
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；University of Bonn（波恩大学）；PWC GmbH WPG（普华永道会计师事务所（德国））
自然语言处理方法在自动审计中具有若干应用，包括文档或段落分类、信息检索和问答。然而，训练这样的模型需要大量的注释数据，这在工业环境中是稀缺的。与此同时，像zero-shot和无监督学习这样的技术允许将使用一般领域数据预训练的模型应用于看不见的领域。在这项工作中，我们研究了无监督文本匹配的效率，使用句子伯特，一个基于transformer的模型，通过将其应用到金融段落的语义相似性。实验结果表明，该模型对来自域内和域外数据的文档具有较好的鲁棒性。
2022-10-28 cs.CL cs.LG
Sentence Boundary Detection for French with Subword-Level Information Vectors and Convolutional Neural Networks
在这项工作中，我们解决的问题，句子边界检测适用于法国作为一个二元分类任务（“句子边界”或“不是句子边界”）。我们将卷积神经网络与子词级信息向量相结合，子词级信息向量是从维基百科学习的词嵌入表示，它利用了词的形态学;因此每个词都表示为一袋字符n-gram。我们决定使用一个大的书面数据集（法语Gigaword）而不是标准大小的transmittance来训练和评估所提出的架构，目的是在现实生活中的ASR transmittance中使用经过训练的模型。三种不同的架构进行了测试，显示出类似的结果;所有模型的一般精度超过0.96。所有三个模型都具有良好的F1分数，关于“非句子边界”类，F1分数达到0.97以上。然而，“句子边界”类反映了较低的分数，将其中一个模型的F1度量降低到0.778。使用子字级信息向量似乎是非常有效的，从而得出结论，在嵌入表示中编码的字的形态表现得像图像中的像素，使得卷积神经网络架构的使用可行。
2018-02-13 cs.CL
Chinese Medical Question Answer Matching Based on Interactive Sentence Representation Learning
College of Computer and Engineering, Xi’an University of Posts and Telecommunications（西安邮电大学计算机与工程学院）
中文医学问答匹配比英文开放域问答匹配更具挑战性。即使深度学习方法在提高问答匹配性能方面表现良好，但这些方法只关注句子内部的语义信息，而忽略了问题和答案之间的语义关联，从而导致性能赤字。在本文中，我们设计了一系列的交互式句子表示学习模型来解决这个问题。为了更好地适应中医问答匹配，并充分利用不同神经网络结构的优势，本文提出了交叉BERT网络来提取句子内部的深层语义信息和问答之间的语义关联，然后与多个规模CNN网络或BiGRU网络，以利用不同结构的神经网络来学习更多的语义特征到句子中表示.在cMedQA V2.0和cMedQA V1.0数据集上的实验结果表明，该模型的性能明显优于现有的中文医学问答匹配模型。
2020-11-27 cs.CL
Learning Context-Sensitive Convolutional Filters for Text Processing
Duke University（杜克大学）；NEC Laboratories America（美国NEC实验室）
卷积神经网络（CNN）最近已经成为自然语言处理（NLP）的流行构建块。尽管它们取得了成功，但NLP中使用的大多数现有CNN模型对所有输入句子共享相同的学习（和静态）过滤器集。在本文中，我们考虑使用一个小的Meta网络学习上下文敏感的卷积过滤器的文本处理的方法。Meta网络的作用是将句子或文档的上下文信息抽象成一组输入感知过滤器。我们进一步推广这个框架模型的句子对，其中一个双向过滤器生成机制被引入到封装相互依赖的句子表示。在我们对四个不同任务的基准测试中，包括本体分类，情感分析，答案句子选择和释义识别，我们提出的模型，一个带有上下文敏感过滤器的修改后的CNN，始终优于标准的CNN和基于注意力的CNN基线。通过可视化学习的上下文敏感的过滤器，我们进一步验证和合理化建议的框架的有效性。
2018-08-30 cs.CL cs.LG stat.ML
Matching Natural Language Sentences with Hierarchical Sentence Factorization
University of Alberta（阿尔伯塔大学）；Mobile Internet Group, Tencent（腾讯移动互联网事业群）
自然语言句子的语义匹配或句子间关系的识别是自然语言研究中的一个核心问题。根据训练数据是否可用，先前的研究已经提出了用于句子匹配的无监督的基于距离的方案和有监督的深度学习方案。然而，以前的方法要么忽略或未能充分利用语言对象的有序，层次和灵活的结构，以及它们之间的相互作用。在本文中，我们提出了层次句子分解-一种将句子分解成层次表示的技术，每个不同尺度的成分重新排序成“谓词-论元”形式。所提出的句子因子分解技术导致了以下发明：1）新的无监督距离度量，其通过解决惩罚最优传输问题来计算一对文本片段之间的语义距离，同时保留重新排序的句子中的单词的逻辑关系，以及2）基于因子分解的句子层次结构的用于监督语义训练的新的多尺度深度学习模型。我们将我们的技术应用于文本对相似性估计和文本对关系分类任务，基于多个数据集，如STSBenchmark，Microsoft Research释义识别（MSRP）数据集，SICK数据集，大量的实验表明，所提出的分层句子分解可以用来显着提高现有的无监督距离-基于卷积神经网络（CNN）和长短期记忆（LSTM）的多监督深度学习模型。
2018-03-01 cs.CL
DEIM: An effective deep encoding and interaction model for sentence matching
Yanbian University（延边大学）
自然语言句子匹配是比较两个句子并识别它们之间关系的任务，在阅读理解、问答系统等自然语言处理任务中有着广泛的应用。其主要方法是通过一个注意力机制来计算文本表示和句子对之间的交互作用，从而很好地提取句子对之间的语义信息。然而，这种方法在处理复杂的语义特征时不能得到令人满意的结果。针对这一问题，提出了一种基于深度编码和交互的句子匹配方法，以提取深层语义信息。在编码器层，我们在对单个句子进行编码的过程中参考另一个句子的信息，然后使用启发式算法对信息进行融合。在交互层，我们采用双向注意力机制和自注意力机制来获取深层语义信息，最后进行池化操作，输入到MLP进行分类。我们在三个任务上评估我们的模型：识别文本蕴涵，释义识别和答案选择。我们在SNLI和SciTail数据集上进行了实验，用于识别文本蕴涵任务，Quora数据集用于释义识别任务，WikiQA数据集用于答案选择任务。实验结果表明，该算法能够有效地提取句子的深层语义特征，验证了该算法在句子匹配任务中的有效性。
2022-03-20 cs.CL
Inter-sentence Relation Extraction with Document-level Graph Convolutional Neural Network
Toyota Technological Institute（丰田工业大学）；Artificial Intelligence Research Center (AIRC), National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所人工智能研究中心）
句间关系抽取处理的是文档中大量复杂的语义关系，这些关系需要局部、非局部、句法和语义依赖。现有的方法没有充分利用这种依赖性。本文提出了一种新的句间关系抽取模型，该模型在文档级图上建立了一个标记边图卷积神经网络模型。该图使用各种句间和句内依赖关系来构建，以捕获本地和非本地依赖关系信息。为了预测实体对的关系，我们利用双仿射成对评分的多实例学习。实验结果表明，我们的模型在两个生物化学数据集上实现了与最先进的神经模型相当的性能。我们的分析表明，图中的所有类型是有效的句间关系抽取。
2019-06-11 cs.CL cs.IR
TextConvoNet:A Convolutional Neural Network based Architecture for Text Classification
Malaviya National Institute of Technology（马拉维亚国家理工学院）；ABV-IIITM Gwalior（阿塔尔·比哈里·瓦杰帕伊印度信息技术与管理学院瓜廖尔分校）
近年来，基于深度学习的模型显著改善了自然语言处理（NLP）任务。具体来说，卷积神经网络（CNN），最初用于计算机视觉，已显示出显着的性能，在各种NLP问题的文本数据。大多数现有的基于CNN的模型使用1维卷积滤波器（n元检测器），其中每个滤波器专门提取特定输入词嵌入的n元特征。输入的词嵌入，也称为句子矩阵，被视为一个矩阵，其中每行是一个词向量。因此，它允许模型应用一维卷积，并且仅从句子矩阵中提取基于n-gram的特征。这些特征可以被称为句内n-gram特征。就我们所知，所有现有的CNN模型都是基于上述概念。在本文中，我们提出了一个基于CNN的架构TextConvoNet，不仅提取句子内的n-gram功能，但也捕捉输入文本数据中的句子间n-gram功能。它使用另一种方法来表示输入矩阵，并对输入应用二维多尺度卷积运算。为了评估TextConvoNet的性能，我们对五个文本分类数据集进行了实验研究。通过使用各种性能指标来评估结果。实验结果表明，所提出的TextConvoNet优于最先进的机器学习和深度学习模型的文本分类目的。
2022-03-10 cs.AI cs.CL cs.LG
Monolingual sentence matching for text simplification
Harbin University（哈尔滨学院）；University of Washington（华盛顿大学）
这项工作改进了单语句子对齐的文本简化，特别是在标准和简单的维基百科的文本。我们引入了一个卷积神经网络结构来模拟两个句子之间的相似性。由于现有并行语料库的限制，该模型采用基于知识的高性能对齐系统的输出，以半监督的方式进行训练。我们将得到的相似性得分应用于基于知识的输出，并通过一个小型手动对齐数据集来调整模型。实验表明，重评分和自适应都提高了基于知识的方法的性能。
2018-09-19 cs.CL
LadRa-Net: Locally-Aware Dynamic Re-read Attention Net for Sentence Semantic Matching
Hefei University of Technology（合肥工业大学）；Lenovo Research（联想研究院）；University of Science and Technology of China（中国科学技术大学）
句子语义匹配需要一个智能体来确定两个句子之间的语义关系，它广泛应用于各种自然语言任务，如自然语言推理（NLI）、释义识别（PI）等，近年来在这方面取得了很大的进展，特别是基于注意力的方法和基于预训练语言模型的方法。然而，这些方法大多以静态的方式关注句子中的所有重要部分，只强调单词对查询的重要性，抑制了注意力机制的能力。为了克服这一问题，提高注意力机制的性能，本文提出了一种新的动态重读注意力机制，该机制能够在每一步中关注句子的一个小区域，并重读重要部分，以获得更好的句子表征。基于这种注意力的变化，我们开发了一种新的动态重读网络（DRr-Net）的句子语义匹配。此外，在动态重读注意中选择一个小区域似乎不足以用于句子语义，并且采用预先训练的语言模型作为输入编码器将引入不完整和脆弱的表示问题。为此，我们将DRrNet扩展为局部感知的动态重读注意力网络（LadRa-Net），该网络利用句子的局部结构来弥补字节对编码（BPE）在预训练语言模型中的不足，提高动态重读注意力的性能。在两个流行的句子语义匹配任务上的大量实验表明，DRr-Net可以显着提高句子语义匹配的性能。同时，LadRa-Net能够通过考虑句子的局部结构来实现更好的性能。此外，非常有趣的是，我们实验中的一些发现与心理学研究的一些发现是一致的。
2021-08-06 cs.CL
Modeling Sentiment Dependencies with Graph Convolutional Networks for Aspect-level Sentiment Classification
Tianjin University（天津大学）；Nankai University（南开大学）
体层情感分类旨在区分句子中一个或多个体项上的情感极性。现有的方法大多是在一个句子中独立地建模不同的方面，忽略了不同方面之间的情感依赖关系。然而，我们发现不同方面之间的这种依赖信息可以带来额外的有价值的信息。本文提出了一种基于图卷积网络（GCN）的方面级情感分类模型，该模型能够有效地捕捉句子中多个方面之间的情感依赖关系。我们的模型首先引入双向注意力机制和位置编码来建模每个方面和其上下文词之间的方面特定的表示，然后在注意力机制上使用GCN来捕获句子中不同方面之间的情感依赖。我们在SemEval 2014数据集上评估了所提出的方法。实验表明，我们的模型优于国家的最先进的方法。我们还进行了实验，以评估GCN模块的有效性，这表明不同方面之间的依赖关系是非常有帮助的方面级的情感分类。
2019-06-11 cs.CL cs.LG
A Comparative Study of Neural Network Models for Sentence Classification
VNU Hanoi（河内国家大学）；Ton Duc Thang University（孙德胜大学）
本文对前馈网络、卷积网络、递归网络和长短期记忆网络四种神经网络模型在英语和越南语文本句子分类数据集上进行了广泛的比较研究。我们表明，在英语数据集上，没有任何特征工程的卷积网络模型优于一些具有丰富手工语言特征的竞争性句子分类器。我们证明了GloVe词嵌入始终优于Skip-gram词嵌入和单词计数向量。我们还展示了卷积神经网络模型在越南报纸句子数据集上的优越性。我们的实验结果为神经网络模型在句子分类中的应用提供了一些好的实践。
2018-10-03 cs.CL
Text Classification of Manifestos and COVID-19 Press Briefings using BERT and Convolutional Neural Networks
ESRC Business and Local Government Data Research Centre（ESRC商业与地方政府数据研究中心）
我们使用来自Manifestion Project的现有人类专家注释的政治宣言语料库构建了一个政治级政治话语分类器（Rehens等人，2020 a）并将其应用于COVID-19新闻简报（Chatsiou，2020）的语料库。我们使用手动标注的政治宣言作为训练数据来训练局部主题卷积神经网络（CNN）分类器;然后将其应用于COVID-19新闻简报语料库，以自动分类测试语料库中的句子。我们报告了一系列实验，其中CNN在预先训练的嵌入基础上进行训练，用于执行文档级分类任务。我们表明，CNN与像BERT这样的Transformers相结合的性能优于CNN与其他嵌入（Word 2 Vec，Glove，ELMo）相结合的性能，并且可以使用预先训练的分类器对不同的政治文本进行自动分类，而无需额外的训练。
2020-11-02 cs.CL cs.LG
Pre-trained Language Model Based Active Learning for Sentence Matching
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Alibaba AI Labs（阿里巴巴人工智能实验室）
主动学习能够显著降低数据驱动技术的注释成本。然而，以往的自然语言处理的主动学习方法主要依赖于基于熵的不确定性准则，忽略了自然语言的特点。本文提出了一种基于预训练语言模型的主动学习句子匹配方法。与以往的主动学习不同，它可以提供语言标准来衡量实例，并帮助选择更有效的实例进行注释。实验表明，我们的方法可以实现更高的准确性与更少的标记训练实例。
2020-10-12 cs.CL
Bipartite Graph Pre-training for Unsupervised Extractive Summarization with Graph Convolutional Auto-Encoders
Zhongguancun Laboratory（中关村实验室）；Beihang University（北京航空航天大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出一种基于句子-词二部图的图预训练自编码器，显式建模句内区分性与句间连贯性特征，以获得更优句子表示，从而提升无监督抽取式摘要性能并超越BERT/RoBERTa表示。
2023-10-29 cs.AI cs.CL
Semantic Sentence Matching with Densely-connected Recurrent and Co-attentive Information
Naver Search（Naver搜索）；Seoul National University（首尔国立大学）
句子匹配被广泛应用于各种自然语言任务，例如自然语言推理、释义识别和问答。对于这些任务，理解两个句子之间的逻辑和语义关系是必需的，但它仍然具有挑战性。虽然注意力机制有助于捕捉语义关系并正确对齐两个句子的元素，但以前的注意力机制方法简单地使用求和运算，不能充分保留原始特征。受密集连接卷积网络DenseNet的启发，我们提出了一个密集连接的共同关注递归神经网络，其中每一层都使用关注特征的级联信息以及所有前一递归层的隐藏特征。它能够从最底层的词嵌入层到最上层的递归层保留原始和共同关注的特征信息。为了缓解由于密集级联操作而导致的特征向量大小不断增加的问题，我们还建议在密集级联之后使用自动编码器。我们评估我们提出的架构高度竞争的基准数据集相关的句子匹配。实验结果表明，我们的架构，它保留了经常性和注意力的功能，实现了国家的最先进的性能为大多数的任务。
2018-11-02 cs.CL
Improving Question Generation with Sentence-level Semantic Matching and Answer Position Inferring
NSF Center for Big Learning, University of Florida（佛罗里达大学NSF大数据学习中心）；AI Institute, Tongdun Technology（同盾科技人工智能研究院）
以答案及其上下文作为输入，序列到序列模型在问题生成方面取得了相当大的进展。然而，我们观察到，这些方法经常生成错误的问题词或关键字，并从输入中复制与答案无关的词。我们认为缺乏全局问题语义和没有很好地利用答案位置意识是关键的根本原因。本文提出了一个神经问题生成模型，该模型包括两个具体模块：句子级语义匹配和答案位置推断。此外，我们通过利用答案感知门控融合机制来增强解码器的初始状态。实验结果表明，我们的模型优于最先进的（SOTA）模型SQuAD和MARCO数据集。由于其通用性，我们的工作也显着改善现有的模型。
2020-02-03 cs.AI cs.CL cs.LG
FILM: A Fast, Interpretable, and Low-rank Metric Learning Approach for Sentence Matching
Institute of Computing Technology（计算技术研究所）；Chinese Academy of Sciences（中国科学院）；Department of Mathematics（数学系）；UC Berkeley（加州大学伯克利分校）
语义相似度检测在句子匹配中起着至关重要的作用。它要求学习自然语言的判别表示。最近，由于越来越复杂的模型架构，已经取得了令人印象深刻的进展，以及耗时的训练过程和不可解释的推理。为了缓解这个问题，我们探索了一种度量学习方法，名为FILM（快速，可解释和低秩度量学习），以有效地找到高维数据的高分辨投影。我们构造这个度量学习问题作为一个流形优化问题，并解决它的Cayley变换方法与Barzilai-Borwein步长。在实验中，我们将FILM与三重损失最小化目标应用于Quora挑战和语义文本相似性（STS）任务。实验结果表明，FILM方法具有更好的性能和最快的计算速度，这与我们对时间复杂度的理论分析是一致的。
2020-10-13 cs.AI cs.CL cs.LG
DGA-Net Dynamic Gaussian Attention Network for Sentence Semantic Matching
Hefei University of Technology（合肥工业大学）；University of Science and Technology of China（中国科学技术大学）
句子语义匹配需要一个智能体来确定两个句子之间的语义关系，表示学习技术的发展和人类行为的启发使其取得了很大的进展。在这些方法中，注意力机制通过有效地选择重要部分起着至关重要的作用。然而，现有的注意方法要么静态地关注所有重要部分，要么在一个注意步骤中动态地只选择一个重要部分，这给进一步改进留下了很大的空间。为此，在本文中，我们设计了一个新的动态高斯注意力网络（DGA-Net），结合当前的静态和动态注意力方法的优点。更具体地说，我们首先利用预训练的语言模型对输入句子进行编码，并从全局角度构建语义表示。然后，我们开发了一个动态高斯注意力（DGA）动态捕捉的重要部分和相应的局部上下文从一个详细的角度。最后，将全局信息与局部细节信息相结合，全面、准确地确定句子的语义关系。在两个常用的句子语义匹配任务上的大量实验表明，我们提出的DGA-Net在提高注意力机制的能力方面是有效的。
2021-06-09 cs.AI cs.CL
SMART: Sentences as Basic Units for Text Evaluation
Google Research（谷歌研究院）
用于文本生成的广泛使用的评估指标要么不能很好地处理较长的文本，要么不能评估文本质量的所有方面。在本文中，我们引入了一个新的度量称为SMART，以减轻这种限制。具体地说，我们把句子作为匹配的基本单位，而不是令牌，并使用一个句子匹配函数来软匹配候选和参考句子。还将候选句子与源文档中的句子进行比较以允许基础（例如，真实性）评价。我们的研究结果表明，我们提出的指标与基于模型的匹配函数的系统级相关性优于SummEval摘要元评估数据集上的所有竞争指标，而具有基于字符串的匹配函数的相同指标与当前基于模型的指标具有竞争力。后者不使用任何神经模型，这在资源有限且需要快速评估的模型开发阶段非常有用。最后，我们还进行了广泛的分析，表明我们提出的指标适用于较长的摘要，并且对特定模型的偏见较小。
2022-08-01 cs.CL
Task-Specific Attentive Pooling of Phrase Alignments Contributes to Sentence Matching
The Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）
本文对比研究了两种典型的句子匹配任务：文本蕴涵（TE）和答案选择（AS），发现较弱的短语对齐在TE中更重要，而较强的短语对齐在AS中更值得关注。实现这一目标的关键在于短语检测、短语表示、短语对齐，更重要的是如何将对齐后的不同匹配度的短语与最终的分类器连接起来。先前的工作（i）在短语生成和表示方面有局限性，或者（ii）通过手工制作的功能在单词和短语级别进行对齐，或者（iii）利用单个对齐框架而不考虑特定任务的特征，这限制了框架在任务中的有效性。我们提出了一种基于门控递归单元的体系结构，该体系结构支持（i）任意粒度的短语的表示学习和（ii）两个句子之间的短语对齐的任务特定的注意池。在TE和AS上的实验结果与我们的观察相吻合，表明了我们方法的有效性。
2017-01-09 cs.CL
R$^2$-Net: Relation of Relation Learning Network for Sentence Semantic Matching
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机与信息工程学院）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；University of Science and Technology of China（中国科学技术大学）
句子语义匹配是自然语言处理的基本任务之一，它要求智能体确定输入句子之间的语义关系。最近，深度神经网络在这一领域取得了令人瞩目的表现，尤其是BERT。尽管这些模型的有效性，他们中的大多数人把输出标签作为无意义的独热向量，低估了这些标签揭示的语义信息和关系的指导，特别是对于具有少量标签的任务。为了解决这个问题，我们提出了一个关系学习网络（R2-Net）的句子语义匹配。具体来说，我们首先采用BERT从全局的角度对输入的句子进行编码。然后设计了一个基于CNN的编码器，从局部角度捕获关键字和短语信息。为了充分利用标签来更好地进行关系信息抽取，我们引入了一个自监督的关系分类任务来引导R2-Net更多地考虑标签。同时，采用三重态损失来区分更细粒度的类内和类间关系。在两个句子语义匹配任务上的实验表明了该模型的优越性。作为一个副产品，我们已经发布了代码，以方便其他研究。
2020-12-16 cs.AI cs.CL
A Cross-Sentence Latent Variable Model for Semi-Supervised Text Sequence Matching
Seoul National University（首尔国立大学）
我们提出了一个潜在变量模型来预测一对文本序列之间的关系。与以前的基于自动编码的方法，分别考虑每个序列，我们提出的框架利用两个序列在一个单一的模型中生成一个序列，具有给定的关系与源序列。我们进一步扩展了跨句子生成框架，以促进半监督训练。我们还定义了新的语义约束，导致解码器网络生成语义上合理的和不同的序列。我们从定量和定性实验中证明了该模型的有效性，同时在半监督自然语言推理和释义识别方面取得了最先进的结果。
2019-06-04 cs.CL
Sentence Segmentation in Narrative Transcripts from Neuropsychological Tests using Recurrent Convolutional Neural Networks
Interinstitutional Center for Computational Linguistics (NILC)（跨机构计算语言学中心）；Institute of Mathematical and Computer Sciences（数学与计算机科学研究所）；University of São Paulo（圣保罗大学）
基于自然语言处理（NLP）的自动话语分析工具旨在诊断语言障碍性痴呆，通常提取叙述性转录的若干文本度量。然而，在转录本中缺乏句子边界分割，这阻止了依赖于这些标记来正常工作的NLP方法的直接应用，例如标记器和解析器。我们提出了第一步采取的自动神经心理学评估的基础上叙事话语分析，提出了一种新的自动句子分割方法受损的语音。我们的模型使用具有韵律、词性（PoS）特征和词嵌入的递归卷积神经网络。它本质上是受损的，自发的语音，以及，正常的，准备好的语音，并提出了更好的结果为健康老年人（CTL）（F1 = 0.74）和轻度认知障碍（MCI）患者（F1 = 0.70）比条件随机场的方法（F1 = 0.55和0.53，分别）在我们的研究相同的背景下使用。结果表明，我们的模型是强大的受损语音，并可用于自动话语分析工具，区分MCI和CTL产生的叙述。
2017-08-15 cs.CL
Relational Sentence Embedding for Flexible Semantic Matching
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
针对现有句子嵌入难以捕捉句子间多种语义关系的问题，提出关系型句子嵌入RSE范式，通过关系转换操作与孪生编码器学习关系嵌入，在19个数据集上优于现有先进方法。
2023-06-08 cs.CL
Convolutional Auto-encoding of Sentence Topics for Image Paragraph Generation
Nanjing University of Science and Technology（南京理工大学）；JD AI Research（京东人工智能研究院）
图像段落生成是生成描述图像视觉内容的连贯故事（通常是一个段落）的任务。然而，这个问题并不是微不足道的，特别是当段落生成需要考虑多种描述性和不同的要点时，这经常发生在真实图像中。一个有效的问题是如何从图像中封装这些值得一提的要点/主题，然后从一个主题到另一个主题描述图像，但具有连贯的结构。在本文中，我们提出了一种新的设计-卷积自动编码（CAE），纯粹采用卷积和去卷积自动编码框架的主题建模的区域级特征的图像。此外，我们提出了一个架构，即CAE加上长短期记忆（称为CAE-LSTM），新颖地集成了学习的主题，以支持段落生成。从技术上讲，CAE-LSTM利用了一个两级的基于LSTM的段落生成框架和注意力机制。段落级LSTM捕获段落中的句间依赖性，而段落级LSTM则生成一个以每个学习主题为条件的句子。在斯坦福图像段落数据集上进行了大量的实验，并与最先进的方法相比，获得了更好的结果。更值得注意的是，CAE-LSTM将CIDER性能从20.93%提高到25.15%。
2019-08-01 cs.CL cs.CV
Evaluating Semantic Rationality of a Sentence: A Sememe-Word-Matching Neural Network based on HowNet
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
语义合理性的自动评价是一项重要而又具有挑战性的任务，现有的自动技术不能很好地识别句子的语义是否合理。基于语言模型的方法不是用合理性来衡量句子，而是用共性来衡量句子。基于与人类书面句子相似性的方法在没有人类书面参考文献的情况下会失效。本文提出了一种新的模型--义素词匹配神经网络（SWM-NN），利用义素知识库知网来解决语义合理性评价问题。其优点是，我们的模型可以利用一个适当的义位组合来表示一个词在特定的上下文中的细粒度的语义含义。我们使用细粒度的语义表示来帮助模型学习词之间的语义依赖。为了评估所提出的模型的有效性，我们建立了一个大规模的合理性评估数据集。在该数据集上的实验结果表明，该模型比竞争基线的准确率提高了5.4%。
2018-09-11 cs.CL
REGMAPR - Text Matching Made Easy
IBM Research AI（IBM研究院人工智能部门）
文本匹配是自然语言处理中的一个基本问题。使用双向LSTM进行句子编码和句间注意力机制的神经模型在几个基准数据集上表现得非常好。我们提出了REGMAPR -一个简单而通用的架构，不使用句子间的注意文本匹配。从连体结构出发，我们基于两个句子中的词之间的精确和对位短语匹配，用两个特征来增强词的嵌入。我们训练模型使用三种类型的正则化数据集的文本蕴涵，释义检测和语义相关性。REGMAPR的性能比更复杂的神经模型或使用大量手工特征的模型好得多。REGMAPR实现了SICK数据集上的释义检测和SNLI数据集上的文本蕴涵的最新结果，这些模型不使用句间注意力。
2018-09-10 cs.AI cs.CL
Discriminative Neural Sentence Modeling by Tree-Based Convolution
Software Institute, Peking University（北京大学软件研究所）
提出了一种基于树的卷积神经网络（TBCNN）的判别语句建模方法。我们的模型利用选区树或句子的依赖树。基于树的卷积过程提取句子的结构特征，并将这些特征通过最大池聚合。这种架构允许输出层和底层特征检测器之间的短传播路径，这使得能够进行有效的结构特征学习和提取。我们在两个任务上评估我们的模型：情感分析和问题分类。在这两个实验中，TBCNN的性能都优于之前的最先进的结果，包括现有的神经网络和专用的特征/规则工程。我们还努力可视化基于树的卷积过程，阐明我们的模型如何工作。
2015-06-02 cs.CL cs.LG cs.NE
Simple Unsupervised Summarization by Contextual Matching
Harvard University（哈佛大学）
我们提出了一个无监督的方法，句子摘要只使用语言建模。该方法采用两个语言模型，一个是通用的（即预训练的），另一个是特定于目标域。我们表明，通过使用产品的专家标准，这些都足以保持连续的上下文匹配，同时保持输出流畅性。在抽象和提取句子摘要数据集上的实验表明，我们的方法在不暴露于任何配对数据的情况下取得了令人满意的结果。
2019-07-31 cs.CL cs.LG
Article Reranking by Memory-Enhanced Key Sentence Matching for Detecting Previously Fact-Checked Claims
University of Chinese Academy of Sciences（中国科学院大学）；Key Lab of Data Engineering and Knowledge Engineering, Renmin University of China（中国人民大学数据工程与知识工程重点实验室）
之前经过事实核查的虚假声明仍然可以在社交媒体上传播。为了减缓其持续蔓延，检测先前经过事实核查的说法是必不可少的。给定一个声明，现有的工作集中于通过对BM 25检索到的候选事实检查文章（FC-文章）进行重新排序来提供检测的证据。然而，这些性能可能是有限的，因为它们忽略了FC-文章的以下特征：（1）经常引用声明来描述检查的事件，提供语义之外的词汇信息;（2）用于引入或揭穿声明的句子模板在文章中很常见，提供模式信息。忽略这两个方面的模型只利用语义相关性，可能会被描述相似但不相关事件的句子误导。在本文中，我们提出了一种新的reranker，MTM（记忆增强的Transformers for Matching）排名FC文章使用的事件（词汇和语义）和模式信息选择的关键句。对于事件信息，我们提出了一个ROUGE引导的Transformer，它是用ROUGE回归进行微调的。对于模式信息，我们生成用于与句子匹配的模式向量。通过融合事件和模式信息，我们选择关键句来代表一篇文章，然后预测文章是否使用声明，关键句和模式对给定的声明进行事实检查。在两个真实数据集上的实验表明，MTM优于现有的方法。人工评估证明，MTM可以捕捉关键句子进行解释。代码和数据集位于https://github.com/ICTMCG/MTM。
2021-12-20 cs.CL cs.IR
Stochastic Language Generation in Dialogue using Recurrent Neural Networks with Convolutional Sentence Reranking
Cambridge University（剑桥大学）
口语对话系统（SDS）的自然语言生成（NLG）组件通常需要大量的手工制作或良好标记的数据集进行训练。这些限制显著增加了开发成本，并使跨域，多语言对话系统变得棘手。此外，人类语言是上下文感知的。最自然的反应应该直接从数据中学习，而不是依赖于预定义的语法或规则。本文提出了一种基于联合递归和卷积神经网络结构的统计语言生成器，它可以在没有任何语义对齐或预定义语法树的情况下对对话行为-话语对进行训练。客观指标表明，这种新的模型优于以前的方法在相同的实验条件下。人类法官的评估结果表明，它不仅产生高质量，但语言上不同的话语相比，n-gram和基于规则的系统是首选。
2015-08-07 cs.CL
Learning with Noisy Labels for Sentence-level Sentiment Classification
Southwest Jiaotong University（西南交通大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Beihang University（北京航空航天大学）
深度神经网络（DNN）可以很好地拟合（甚至过拟合）训练数据。如果DNN模型使用带有噪声标签的数据进行训练，并在带有干净标签的数据上进行测试，则模型可能表现不佳。本文研究了带噪声标签的情感分类学习问题。我们提出了一种名为NetAb的新型DNN模型（作为带有Ab-networks的卷积神经网络的简写），用于在训练过程中处理噪声标签。NetAb由两个卷积神经网络组成，一个带有噪声过渡层，用于处理输入的噪声标签，另一个用于预测“干净”标签。我们训练这两个网络，使用它们各自的损失函数在相互加强的方式。实验结果证明了该模型的有效性。
2019-08-31 cs.CL cs.LG
An interpretability framework for Similar case matching
Guangdong University of Technology（广东工业大学）；KTH Royal Institute of Technology（KTH皇家理工学院）；Guangdong University of Foreign Studies（广东外语外贸大学）；Lingnan Normal University（岭南师范学院）
针对相似案例匹配缺乏可解释性的问题，提出包含特征句识别、案例匹配、句子对齐与冲突解决的流水线框架，并通过实验验证其有效性。
2023-08-16 cs.CL
