A Convolutional Neural Network for Modelling Sentences
University of Oxford（牛津大学）
准确表达句子的能力是语言理解的核心。我们描述了一种卷积架构，称为动态卷积神经网络（DCNN），我们采用的句子的语义建模。该网络使用动态k-Max池化，这是一种对线性序列的全局池化操作。该网络处理不同长度的输入句子，并在句子上生成一个能够明确捕获短期和长期关系的特征图。该网络不依赖于解析树，并且可以轻松应用于任何语言。我们在四个实验中测试了DCNN：小规模二进制和多类情感预测，六向问题分类和通过远程监督的Twitter情感预测。该网络在前三个任务中实现了出色的性能，在最后一个任务中相对于最强基线的误差减少了25%以上。
2014-04-08 cs.CL
SECNN: Squeeze-and-Excitation Convolutional Neural Network for Sentence Classification
National University of Defense Technology（国防科技大学）
针对 CNN 难以建模长期依赖的问题，本文提出 SECNN，将多个 CNN 特征图作为通道并用 SE 通道注意力加权，从而提升句子分类性能。
2023-12-11 cs.CL
Rationale-Augmented Convolutional Neural Networks for Text Classification
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Northeastern University（东北大学）
我们提出了一个新的卷积神经网络（CNN）模型的文本分类，联合利用标签的文件和它们的组成部分的句子。具体来说，我们考虑注释器显式标记支持其整体文档分类的句子（或片段）的场景，即，他们提供了理由。我们的模型利用这种监督通过一个分层的方法，其中每个文件是由其组成句子的向量表示的线性组合表示。我们提出了一个句子级卷积模型，该模型估计给定句子是合理性的概率，然后我们将每个句子对聚合文档表示的贡献与这些估计成比例。在五个具有文档标签和相关原理的分类数据集上的实验表明，我们的方法始终优于强基线。此外，我们的模型自然为它的预测提供了解释。
2016-09-24 cs.CL
Sentence Boundary Detection for French with Subword-Level Information Vectors and Convolutional Neural Networks
在这项工作中，我们解决的问题，句子边界检测适用于法国作为一个二元分类任务（“句子边界”或“不是句子边界”）。我们将卷积神经网络与子词级信息向量相结合，子词级信息向量是从维基百科学习的词嵌入表示，它利用了词的形态学;因此每个词都表示为一袋字符n-gram。我们决定使用一个大的书面数据集（法语Gigaword）而不是标准大小的transmittance来训练和评估所提出的架构，目的是在现实生活中的ASR transmittance中使用经过训练的模型。三种不同的架构进行了测试，显示出类似的结果;所有模型的一般精度超过0.96。所有三个模型都具有良好的F1分数，关于“非句子边界”类，F1分数达到0.97以上。然而，“句子边界”类反映了较低的分数，将其中一个模型的F1度量降低到0.778。使用子字级信息向量似乎是非常有效的，从而得出结论，在嵌入表示中编码的字的形态表现得像图像中的像素，使得卷积神经网络架构的使用可行。
2018-02-13 cs.CL
A Comparative Study of Neural Network Models for Sentence Classification
VNU Hanoi（河内国家大学）；Ton Duc Thang University（孙德胜大学）
本文对前馈网络、卷积网络、递归网络和长短期记忆网络四种神经网络模型在英语和越南语文本句子分类数据集上进行了广泛的比较研究。我们表明，在英语数据集上，没有任何特征工程的卷积网络模型优于一些具有丰富手工语言特征的竞争性句子分类器。我们证明了GloVe词嵌入始终优于Skip-gram词嵌入和单词计数向量。我们还展示了卷积神经网络模型在越南报纸句子数据集上的优越性。我们的实验结果为神经网络模型在句子分类中的应用提供了一些好的实践。
2018-10-03 cs.CL
Classification Benchmarks for Under-resourced Bengali Language based on Multichannel Convolutional-LSTM Network
Fraunhofer FIT（弗劳恩霍夫应用信息技术研究所）；RWTH Aachen University（亚琛工业大学）；Insight SFI Research Centre for Data Analytics（Insight SFI数据分析研究中心）；Data Science Institute（数据科学研究所）；National University of Ireland Galway（爱尔兰国立大学戈尔韦分校）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
社交媒体和微博网站的指数级增长不仅为增强表达自由和个人声音提供了平台，而且使人们能够表达反社会行为，如在线骚扰、网络欺凌和仇恨言论。已经提出了许多工作来利用这些数据进行社会和反社会行为分析，文档表征，和情感分析，主要是为高度资源丰富的语言，如英语预测的上下文。然而，有些语言资源不足，例如，南亚语言，如孟加拉语，泰米尔语，阿萨姆语，泰卢固语，缺乏NLP任务的计算资源。在本文中，我们提供了几个分类基准孟加拉语，资源不足的语言。我们准备了三个表达仇恨的数据集，常用的主题，和意见仇恨言论检测，文档分类，和情感分析，分别。我们基于2.5亿篇文章构建了迄今为止最大的孟加拉语词嵌入模型，我们称之为BengFastText。我们进行了三个不同的实验，包括文档分类，情感分析，仇恨言论检测。我们将词嵌入到多通道卷积LSTM（MCv-LSTM）网络中，用于预测不同类型的仇恨言论，文档分类和情感分析。实验结果表明，BengFastText能够准确地从上下文中提取出词语的语义。根据几个基线嵌入模型进行评估，例如，Word 2 Vec和GloVe在文档分类、情感分析和仇恨语音检测的情况下，在5倍交叉验证测试期间分别产生高达92.30%、82.25%和90.45%的F1分数。
2020-04-19 cs.CL cs.LG stat.ML
Learning Generic Sentence Representations Using Convolutional Neural Networks
Duke University（杜克大学）；Microsoft Research（微软研究院）
我们提出了一种新的编码器-解码器方法来学习分布式句子表示，适用于多种目的。该模型采用卷积神经网络作为编码器，将输入句子映射成连续向量，采用长短期记忆递归神经网络作为解码器。考虑了几个任务，包括句子重建和未来的句子预测。此外，提出了一种分层编码器-解码器模型来对句子进行编码以预测多个未来句子。通过在大量小说集上训练我们的模型，我们获得了一个高度通用的卷积语句编码器，在实践中表现良好。几个基准数据集上的实验结果，并在广泛的应用程序，证明了该模型的优越性竞争的方法。
2017-07-26 cs.CL cs.LG
Sentence Segmentation in Narrative Transcripts from Neuropsychological Tests using Recurrent Convolutional Neural Networks
Interinstitutional Center for Computational Linguistics (NILC)（跨机构计算语言学中心）；Institute of Mathematical and Computer Sciences（数学与计算机科学研究所）；University of São Paulo（圣保罗大学）
基于自然语言处理（NLP）的自动话语分析工具旨在诊断语言障碍性痴呆，通常提取叙述性转录的若干文本度量。然而，在转录本中缺乏句子边界分割，这阻止了依赖于这些标记来正常工作的NLP方法的直接应用，例如标记器和解析器。我们提出了第一步采取的自动神经心理学评估的基础上叙事话语分析，提出了一种新的自动句子分割方法受损的语音。我们的模型使用具有韵律、词性（PoS）特征和词嵌入的递归卷积神经网络。它本质上是受损的，自发的语音，以及，正常的，准备好的语音，并提出了更好的结果为健康老年人（CTL）（F1 = 0.74）和轻度认知障碍（MCI）患者（F1 = 0.70）比条件随机场的方法（F1 = 0.55和0.53，分别）在我们的研究相同的背景下使用。结果表明，我们的模型是强大的受损语音，并可用于自动话语分析工具，区分MCI和CTL产生的叙述。
2017-08-15 cs.CL
Classifying Relations via Long Short Term Memory Networks along Shortest Dependency Path
Software Institute, Peking University（北京大学软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）
关系分类是自然语言处理领域的一个重要研究方向。在本文中，我们提出了SDP-LSTM，这是一种新型的神经网络，用于对句子中两个实体的关系进行分类。我们的神经架构利用了两个实体之间的最短依赖路径（SDP）;多通道递归神经网络，具有长短期记忆（LSTM）单元，沿着SDP拾取异构信息。我们提出的模型有几个明显的特点：（1）最短的依赖路径保留最相关的信息（关系分类），同时消除句子中的无关词。(2)多通道LSTM网络允许在依赖路径上从异构源进行有效的信息集成。(3)定制的丢弃策略使神经网络规则化以减轻过拟合。我们在SemEval 2010关系分类任务上测试了我们的模型，并获得了83.7%的$F_1$分数，高于文献中的竞争方法。
2015-08-15 cs.CL cs.LG
Combining Long Short Term Memory and Convolutional Neural Network for Cross-Sentence n-ary Relation Extraction
University of Liverpool（利物浦大学）
本文提出了一种结合长短期记忆和卷积神经网络（LSTM-CNN）的模型，利用词嵌入和位置嵌入进行跨句n元关系抽取。该模型结合了LSTM和CNN的特性，同时利用长距离序列信息并捕获最具信息性的特征，这对于跨句子的n元关系抽取至关重要。LSTM-CNN模型在跨句子n元关系抽取的标准数据集上进行评估，其性能显著优于CNN、LSTM以及组合的CNN-LSTM模型等基线。本文还表明，LSTM-CNN模型在跨句子n元关系抽取方面优于当前最先进的方法。
2018-11-02 cs.CL cs.IR
Stochastic Language Generation in Dialogue using Recurrent Neural Networks with Convolutional Sentence Reranking
Cambridge University（剑桥大学）
口语对话系统（SDS）的自然语言生成（NLG）组件通常需要大量的手工制作或良好标记的数据集进行训练。这些限制显著增加了开发成本，并使跨域，多语言对话系统变得棘手。此外，人类语言是上下文感知的。最自然的反应应该直接从数据中学习，而不是依赖于预定义的语法或规则。本文提出了一种基于联合递归和卷积神经网络结构的统计语言生成器，它可以在没有任何语义对齐或预定义语法树的情况下对对话行为-话语对进行训练。客观指标表明，这种新的模型优于以前的方法在相同的实验条件下。人类法官的评估结果表明，它不仅产生高质量，但语言上不同的话语相比，n-gram和基于规则的系统是首选。
2015-08-07 cs.CL
An Attention-Gated Convolutional Neural Network for Sentence Classification
National Digital Switching System Engineering and Technological R&D Center（国家数字交换系统工程技术研究中心）；Eindhoven University of Technology（埃因霍温理工大学）
由于句子包含的上下文信息有限，因此句子的分类是一个非常具有挑战性的问题。在本文中，我们提出了一个注意力门控卷积神经网络（AGCNN）的句子分类，它产生的注意力权重从不同大小的功能的上下文窗口通过使用专门的卷积编码器。它充分利用有限的上下文信息，提取并增强了重要特征对句子类别预测的影响。实验结果表明，我们的模型可以实现比标准CNN模型高出3.1%的准确率，并在六个任务中的四个任务上获得比基线更有竞争力的结果。此外，我们还设计了一个激活函数，即自然对数重标度整流线性单元（NLReLU）。实验表明，NLReLU可以优于ReLU，并且与AGCNN上的其他知名激活函数相当。
2018-12-28 cs.CL cs.LG
Discriminative Neural Sentence Modeling by Tree-Based Convolution
Software Institute, Peking University（北京大学软件研究所）
提出了一种基于树的卷积神经网络（TBCNN）的判别语句建模方法。我们的模型利用选区树或句子的依赖树。基于树的卷积过程提取句子的结构特征，并将这些特征通过最大池聚合。这种架构允许输出层和底层特征检测器之间的短传播路径，这使得能够进行有效的结构特征学习和提取。我们在两个任务上评估我们的模型：情感分析和问题分类。在这两个实验中，TBCNN的性能都优于之前的最先进的结果，包括现有的神经网络和专用的特征/规则工程。我们还努力可视化基于树的卷积过程，阐明我们的模型如何工作。
2015-06-02 cs.CL cs.LG cs.NE
Sentiment Classification with Word Attention based on Weakly Supervised Learning with a Convolutional Neural Network
Korea University（高丽大学）
为了使情感分析结果的适用性最大化，不仅需要对给定文档的整体情感（积极/消极）进行分类，而且还需要识别有助于分类的主要词。然而，大多数用于情感分析的数据集只有每个文档或句子的情感标签。换句话说，没有关于哪些词在情感分类中起重要作用的信息。在本文中，我们提出了一种识别关键词区分积极和消极的句子，通过使用弱监督学习方法的基础上的卷积神经网络（CNN）。在我们的模型中，每个单词被表示为一个连续值向量，每个句子被表示为一个矩阵，其行对应于句子中使用的单词向量。然后，使用这些句子矩阵作为输入并使用情感标签作为输出来训练CNN模型。一旦CNN模型被训练，我们就实现了单词注意力机制，该机制使用学习的CNN模型结束时的全连接层的权重，通过类激活图识别对分类结果有高贡献的单词。为了验证所提出的方法，我们使用两个电影评论数据集的极性词的分类精度和包含率进行了评估。实验结果表明，该模型不仅能正确地对句子极性进行分类，而且能成功地识别出极性得分高的对应词。
2017-09-29 cs.CL
Exploiting Semantics in Neural Machine Translation with Graph Convolutional Networks
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
长期以来，语义表示一直被认为是潜在的有用的强制意义保存和提高泛化性能的机器翻译方法。在这项工作中，我们是第一个将源句子的谓词-论元结构（即语义-角色表征）的信息纳入神经机器翻译。我们使用图卷积网络（GCN），以注入一个语义偏见的句子编码器，并实现在BLEU分数的改进，在英语-德语语言对的语言不可知和语法感知的版本。
2020-06-20 cs.CL
SLCNN: Sentence-Level Convolutional Neural Network for Text Classification
University of Zanjan（赞詹大学）
文本分类是自然语言处理的一项基本任务。最近的几项研究表明，深度学习在文本处理方面取得了成功。卷积神经网络（CNN）作为一种流行的深度学习模型，在文本分类任务中取得了显着的成功。在本文中，新的基线模型进行了研究，文本分类使用CNN。在这些模型中，文档作为三维张量表示被馈送到网络，以提供文档级分析。应用这种方法使模型能够利用文本中句子的位置信息。此外，分析相邻的句子可以提取额外的特征。所提出的模型进行了比较与国家的最先进的模型，使用几个数据集。实验结果表明，所提出的模型具有较好的性能，尤其是在较长的文档中。
2023-01-27 cs.CL cs.LG
Convolutional Neural Networks for Sentence Classification
New York University（纽约大学）
我们报告了一系列卷积神经网络（CNN）的实验，这些神经网络是在预先训练的词向量上训练的，用于高级分类任务。我们证明了一个简单的CNN，几乎没有超参数调整和静态向量，在多个基准测试中取得了优异的结果。通过微调学习特定于任务的向量可以进一步提高性能。我们还提出了一个简单的修改架构，允许使用特定任务和静态向量。本文讨论的CNN模型在7个任务中的4个任务上改进了现有技术，这些任务包括情感分析和问题分类。
2014-09-03 cs.CL cs.NE
Natural Language Inference by Tree-Based Convolution and Heuristic Matching
Peking University（北京大学）；Baidu Inc.（百度公司）
在本文中，我们提出了TBCNN-pair模型来识别两个句子之间的蕴涵和矛盾。在我们的模型中，一个基于树的卷积神经网络（TBCNN）捕获句子级语义;然后启发式匹配层，如连接，元素乘积/差异组合单个句子中的信息。实验结果表明，我们的模型优于现有的句子编码为基础的方法由一个大的利润。
2016-05-13 cs.CL cs.LG
Multimodal Convolutional Neural Networks for Matching Image and Sentence
Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
在本文中，我们提出了多模态卷积神经网络（m-CNN）的图像和句子匹配。我们的m-CNN提供了一个具有卷积架构的端到端框架，以利用图像表示，单词组成以及两种模式之间的匹配关系。更具体地说，它由一个图像CNN编码图像内容，和一个匹配CNN学习图像和句子的联合表示。匹配的CNN将词组合成不同的语义片段，并学习图像与不同层次的语义片段之间的模态间关系，从而充分利用图像与句子之间的匹配关系。在双向图像和句子检索的基准数据库上的实验结果表明，所提出的m-CNN可以有效地捕获图像和句子匹配所需的信息。具体来说，我们提出的m-CNN在Flickr 30 K和Microsoft COCO数据库上进行双向图像和句子检索，达到了最先进的性能。
2015-08-29 cs.CL cs.CV cs.NE
Encoding Sentences with Graph Convolutional Networks for Semantic Role Labeling
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
语义角色标注是识别句子的谓元-论元结构的任务。它通常被认为是标准NLP管道中的重要一步。由于语义表征与句法表征密切相关，我们在模型中充分利用了句法信息。我们提出了一个版本的图卷积网络（GCN），最近的一类神经网络操作的图形，适合建模语法依赖图。句法依赖树上的GCN被用作句子编码器，产生句子中单词的潜在特征表示。我们观察到GCN层与LSTM层是互补的：当我们堆叠GCN和LSTM层时，我们获得了比现有最先进的LSTM SRL模型更大的改进，从而在标准基准测试（CoNLL-2009）中获得了中文和英文的最佳报告分数。
2017-07-30 cs.CL cs.LG
Inter-sentence Relation Extraction with Document-level Graph Convolutional Neural Network
Toyota Technological Institute（丰田工业大学）；Artificial Intelligence Research Center (AIRC), National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所人工智能研究中心）
句间关系抽取处理的是文档中大量复杂的语义关系，这些关系需要局部、非局部、句法和语义依赖。现有的方法没有充分利用这种依赖性。本文提出了一种新的句间关系抽取模型，该模型在文档级图上建立了一个标记边图卷积神经网络模型。该图使用各种句间和句内依赖关系来构建，以捕获本地和非本地依赖关系信息。为了预测实体对的关系，我们利用双仿射成对评分的多实例学习。实验结果表明，我们的模型在两个生物化学数据集上实现了与最先进的神经模型相当的性能。我们的分析表明，图中的所有类型是有效的句间关系抽取。
2019-06-11 cs.CL cs.IR
A Convolutional Neural Network for Aspect Sentiment Classification
Beijing University of Technology（北京工业大学）
随着互联网的发展，自然语言处理（NLP）在信息处理中变得至关重要，情感分析是其中的重要任务。情感分析包括方面情感分类。方面情绪可以提供完整和深入的结果，增加方面级别的关注。句子中的不同语境词影响句子的情感极性，而极性因句子中的不同方面而异。比如说，“我买了一台新相机。图像质量很好，但电池寿命太短。'作为例子。如果方面是图片质量，那么预期的情感极性是“积极的”，如果考虑电池寿命方面，那么情感极性应该是“消极的”;因此，当我们探索句子中的方面情感时，方面是很重要的。递归神经网络（RNN）被认为是处理自然语言处理的良好模型，并且RNN在方面情感分类方面具有良好的性能，包括目标依赖LSTM（TD-LSTM），目标连接LSTM（TC-LSTM）（Tang，2015 a，b），AE-LSTM，AT-LSTM，AEAT-LSTM（Wang et al.，2016).关于利用卷积神经网络进行情感分类也有大量的文献，但是关于利用卷积神经网络进行方面情感分类的文献很少。在我们的论文中，我们开发了基于注意力的输入层，其中方面的信息被认为是由输入层。然后，我们将基于注意力的输入层纳入卷积神经网络（CNN），以引入上下文单词信息。在我们的实验中，将方面的信息到CNN提高后者的方面的情感分类性能，而不使用语法分析器或外部情感词典在一个基准数据集从Twitter的，但得到更好的性能相比，其他模型。
2018-07-04 cs.CL
Dependency-based Convolutional Neural Networks for Sentence Embedding
City University of New York（纽约城市大学）；IBM（国际商业机器公司）
在句子建模和分类中，卷积神经网络方法最近取得了最先进的结果，但所有这些努力都是顺序处理单词向量，忽略了长距离依赖关系。为了利用深度学习和语言结构，我们提出了一个基于树的卷积神经网络模型，它利用了单词之间的各种长距离关系。我们的模型改进了所有三个情感和问题分类任务的顺序基线，并在TREC上实现了最高的发布准确率。
2015-08-03 cs.AI cs.CL cs.LG
Detecting state of aggression in sentences using CNN
Moscow State Linguistic University（莫斯科国立语言大学）
在这篇文章中，我们研究了言语表达的攻击和它的检测使用机器学习和神经网络的方法。我们测试我们的结果使用我们的语料库的消息从匿名的图像板。我们还比较了随机森林分类器与卷积神经网络的“电影评论与一句话一评论”语料库。
2016-04-22 cs.CL
CNN-based MultiChannel End-to-End Speech Recognition for everyday home environments
Waseda University（早稻田大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Honda Research Institute Japan（日本本田研究所）
在日常环境中，涉及多个说话者的随意对话和来自周围设备的噪声是常见的，这降低了自动语音识别系统的性能。这些具有挑战性的环境特征是CHiME-5挑战的目标。通过采用基于卷积神经网络（CNN）的多通道端到端语音识别系统，本研究试图克服目前在日常环境中的困难。该系统包括一个基于注意力的编码器-解码器神经网络，它直接从声音输入生成文本作为输出。多通道CNN编码器使用残差连接和批量重正化，使用增强数据进行训练，包括白噪声注入。实验结果表明，在CHiME-5语料库上，单通道端到端和最佳基线（LF-MMI TDNN）的单词错误率分别降低了8.5%和0.6%。
2019-06-21 cs.CL cs.SD eess.AS
Combining Convolution and Recursive Neural Networks for Sentiment Analysis
VNUHCM - University of Sciences（越南胡志明市国家大学下属科学大学）
本文讨论了层次情感分析问题。近年来，卷积和递归神经网络已被证明是一种有效的网络结构，用于情感层次的情感分析。然而，它们中的每一个都有自己的潜在缺点。为了克服它们的缺点，我们将卷积和递归神经网络结合成一种新的网络结构。此外，我们采用了迁移学习从一个大型的文档级标记的情感数据集，以改善词嵌入在我们的模型。由此产生的模型优于所有最近的卷积和递归神经网络。除此之外，我们的模型实现了与斯坦福情绪树库上最先进的系统相当的性能。
2018-01-27 cs.CL
Context- and Sequence-Aware Convolutional Recurrent Encoder for Neural Machine Translation
Delhi Technological University（德里理工大学）
神经机器翻译模型是一种基于神经网络的序列-序列转换器。现有的模型使用递归神经网络来构建编码器和解码器模块。在替代研究中，递归网络被卷积神经网络取代，用于捕获输入句子中的句法结构并减少处理时间。我们结合了这两种方法的优点，提出了一个卷积递归编码器，用于捕获上下文信息以及源语句的顺序信息。源句子的词嵌入和位置嵌入在卷积编码层之前执行，卷积编码层基本上是捕获短语级上下文信息的n元特征提取器。卷积编码层的整流输出被添加到原始嵌入向量，并且总和通过层归一化被归一化。归一化输出作为递归编码层的顺序输入给出，递归编码层捕获序列中的时间信息。对于解码器，我们使用基于注意力的递归神经网络。德语-英语数据集上的翻译任务验证了所提出的方法的有效性，与最先进的技术相比，BLEU得分更高。
2021-03-21 cs.CL
Predicting the Semantic Textual Similarity with Siamese CNN and LSTM
Université d’Avignon et des Pays de Vaucluse（阿维尼翁大学）；Universidade Federal do Ceará（塞阿拉联邦大学）；École Polytechnique de Montréal（蒙特利尔综合理工学院）
语义文本相似性是自然语言处理中许多应用的基础。我们的系统结合了卷积和递归神经网络来衡量句子的语义相似性。它使用卷积网络来考虑单词的局部上下文，使用LSTM来考虑句子的全局上下文。这种网络的组合有助于保留句子的相关信息，并改进句子之间相似度的计算。我们的模型已经取得了良好的效果，是最好的国家的最先进的系统的竞争力。
2018-10-24 cs.CL
AC-BLSTM: Asymmetric Convolutional Bidirectional LSTM Networks for Text Classification
Sun Yat-sen University（中山大学）
最近，深度学习模型已经被证明能够在句子和文档分类任务中取得显着的性能。在这项工作中，我们提出了一个新的框架称为AC-BLSTM建模的句子和文档，它结合了非对称卷积神经网络（ACNN）与双向长短期记忆网络（BLSTM）。实验结果表明，该模型在情感分析、问题类型分类和主观性分类等五个任务上均取得了较好的效果。为了进一步提高AC-BLSTM的性能，本文将生成模型与AC-BLSTM相结合，提出了一种用于文本分类的半监督学习框架G-AC-BLSTM。
2017-06-05 cs.CL
Modeling Relational Information in Question-Answer Pairs with Convolutional Neural Networks
Google Research（谷歌研究院）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
在本文中，我们提出了用于学习问答句子的最佳表示的卷积神经网络。它们的主要方面是使用由两个词对中的两个成员的词之间的匹配所给出的关系信息。匹配被编码为具有额外参数（维度）的嵌入，这些参数由网络调整。这些允许更好地捕捉问题和答案之间的交互，从而显着提高准确性。我们在两个广泛使用的答案句子选择基准上测试了我们的模型。结果清楚地显示了我们的关系信息的有效性，这使得我们相对简单的网络接近最先进的水平。
2016-04-05 cs.CL
Convolutional Neural Network Architectures for Matching Natural Language Sentences
Huawei Technologies Co. Ltd.（华为技术有限公司）
语义匹配对于许多自然语言任务\cite{bordes2014semantic,RetrievalQA}来说是至关重要的。一个成功的匹配算法需要对语言对象的内部结构以及它们之间的交互进行充分的建模。作为实现这一目标的一步，我们提出了匹配两个句子的卷积神经网络模型，通过适应视觉和语音中的卷积策略。所提出的模型不仅很好地代表了层次结构的句子与他们的逐层组合和池，但也捕捉丰富的匹配模式在不同的水平。我们的模型是相当通用的，不需要语言的先验知识，因此可以应用于匹配不同性质和不同语言的任务。对多种匹配任务的实证研究表明，该模型对多种匹配任务的有效性和竞争对手的模型的优越性。
2015-03-11 cs.CL cs.LG cs.NE
A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification
University of Texas at Austin（德克萨斯大学奥斯汀分校）
卷积神经网络（CNN）最近在句子分类的实际重要任务上取得了非常强大的性能（kim 2014，kalchbrenner 2014，johnson 2014）。然而，这些模型需要从业者指定一个精确的模型架构，并设置相应的超参数，包括过滤区域大小，正则化参数等。目前还不知道模型性能对这些配置的变化有多敏感。因此，我们对单层CNN进行了敏感性分析，以探索架构组件对模型性能的影响;我们的目标是区分句子分类的重要和相对无关紧要的设计决策。我们专注于单层CNN（排除更复杂的模型），因为它们相对简单和强大的经验性能，这使其成为一种现代标准基线方法，类似于支持向量机（SVM）和逻辑回归。我们从我们广泛的经验结果中获得了实用的建议，为那些有兴趣在现实世界中充分利用CNN进行句子分类的人提供了建议。
2016-04-06 cs.CL cs.LG cs.NE
A Hierarchical Entity Graph Convolutional Network for Relation Extraction across Documents
National University of Singapore（新加坡国立大学）；Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
用于关系抽取的远程监督数据集主要集中在事务级抽取，并且它们覆盖的关系很少。在这项工作中，我们提出了跨文档的关系抽取，其中的两个实体的关系元组出现在两个不同的文件，通过一个共同的实体链连接。按照这个想法，我们创建了一个两跳关系抽取的数据集，其中每个链只包含两个文档。我们提出的数据集涵盖了更多的关系比公开可用的数据集级别。我们还为此任务提出了一个分层实体图卷积网络（HEGCN）模型，与一些强大的神经基线相比，该模型在我们的两跳关系抽取数据集上将性能提高了1.1\% F1分数。
2021-08-21 cs.CL
A Sensitivity Analysis of Attention-Gated Convolutional Neural Networks for Sentence Classification
National Digital Switching System Engineering and Technological R&D Center（国家数字交换系统工程技术研究中心）；Information Engineering University（信息工程大学）
在本文中，我们研究了不同超参数以及超参数设置的不同组合对注意力门控卷积神经网络（AGCNN）性能的影响，例如，核窗口大小、特征映射的数量、丢弃层的保持率和激活函数。我们从广泛的实证结果中得出实用的建议。通过灵敏度分析，我们进一步改进了AGCNN的超参数设置。实验表明，我们的建议可以实现平均0.81%和0.67%的改进AGCNN-NLReLU-rand和AGCNN-SELU-rand，分别和平均0.47%和0.45%的改进AGCNN-NLReLU-static和AGCNN-SELU-static，分别。
2019-10-16 cs.CL cs.LG
A Deep Neural Architecture for Sentence-level Sentiment Classification in Twitter Social Networking
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
本文介绍了一种新的深度学习框架，包括一个基于词典的方法，用于情感标签分布的预测级别。我们建议首先应用语义规则，然后使用深度卷积神经网络（DeepCNN）进行字符级嵌入，以增加单词级嵌入的信息。之后，双向长短期记忆网络（Bi-LSTM）从词级嵌入中产生一个全域特征表示。我们在三个Twitter情感分类数据集上评估了我们的方法。实验结果表明，该模型可以提高Twitter社交网络中情感分析的分类准确率。
2017-06-25 cs.CL
AttnConvnet at SemEval-2018 Task 1: Attention-based Convolutional Neural Networks for Multi-label Emotion Classification
Seoul National University（首尔国立大学）；Automation and Systems Research Institute, Seoul National University（首尔国立大学自动化与系统研究所）
在本文中，我们提出了一个基于注意力的分类器，预测一个给定的句子的多种情绪。我们的模型模仿人类的句子理解的两步过程，它可以有效地表示和分类的句子。通过表情符号到含义的预处理和额外的词典利用，我们进一步提高了模型的性能。我们用SemEval-2018任务1-5提供的数据训练和评估我们的模型，其中每个句子在11个给定的情感中有几个标签。我们的模型在英语/西班牙语中分别达到了第5/第1等级。
2018-04-17 cs.CL cs.LG cs.NE
Learning Context-Sensitive Convolutional Filters for Text Processing
Duke University（杜克大学）；NEC Laboratories America（美国NEC实验室）
卷积神经网络（CNN）最近已经成为自然语言处理（NLP）的流行构建块。尽管它们取得了成功，但NLP中使用的大多数现有CNN模型对所有输入句子共享相同的学习（和静态）过滤器集。在本文中，我们考虑使用一个小的Meta网络学习上下文敏感的卷积过滤器的文本处理的方法。Meta网络的作用是将句子或文档的上下文信息抽象成一组输入感知过滤器。我们进一步推广这个框架模型的句子对，其中一个双向过滤器生成机制被引入到封装相互依赖的句子表示。在我们对四个不同任务的基准测试中，包括本体分类，情感分析，答案句子选择和释义识别，我们提出的模型，一个带有上下文敏感过滤器的修改后的CNN，始终优于标准的CNN和基于注意力的CNN基线。通过可视化学习的上下文敏感的过滤器，我们进一步验证和合理化建议的框架的有效性。
2018-08-30 cs.CL cs.LG stat.ML
Attentive Convolution: Equipping CNNs with RNN-style Attention Mechanisms
University of Pennsylvania（宾夕法尼亚大学）；Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）
在NLP中，卷积神经网络（CNN）从注意力机制中获益少于递归神经网络（RNN）。我们假设这是因为CNN中的注意力主要被实现为注意力池（即，它被应用于池化）而不是作为注意卷积（即，它被集成到卷积中）。卷积是CNN的微分器，因为它可以通过考虑输入文本t^x中单词的局部固定大小上下文来强大地建模单词的更高级别表示。在这项工作中，我们提出了一个专注的卷积网络，ATTCONV。它扩展了卷积运算的上下文范围，不仅从局部上下文中导出单词的更高级别的特征，而且还通过RNN中常用的注意力机制从非局部上下文中提取信息。该非局部上下文可以来自（i）输入文本t^x的远离的部分，或者（ii）来自额外的（即，外部）上下文t^y。在零语境（情感分析）、单语境（文本蕴涵）和多语境（声明验证）下的句子建模实验表明，ATTCONV在结合语境的句子表示学习中是有效的。特别是，注意卷积优于注意池，是流行的注意RNN的强有力竞争对手。
2018-11-13 cs.CL
Modeling Sentiment Dependencies with Graph Convolutional Networks for Aspect-level Sentiment Classification
Tianjin University（天津大学）；Nankai University（南开大学）
体层情感分类旨在区分句子中一个或多个体项上的情感极性。现有的方法大多是在一个句子中独立地建模不同的方面，忽略了不同方面之间的情感依赖关系。然而，我们发现不同方面之间的这种依赖信息可以带来额外的有价值的信息。本文提出了一种基于图卷积网络（GCN）的方面级情感分类模型，该模型能够有效地捕捉句子中多个方面之间的情感依赖关系。我们的模型首先引入双向注意力机制和位置编码来建模每个方面和其上下文词之间的方面特定的表示，然后在注意力机制上使用GCN来捕获句子中不同方面之间的情感依赖。我们在SemEval 2014数据集上评估了所提出的方法。实验表明，我们的模型优于国家的最先进的方法。我们还进行了实验，以评估GCN模块的有效性，这表明不同方面之间的依赖关系是非常有帮助的方面级的情感分类。
2019-06-11 cs.CL cs.LG
KAConvText: Novel Approach to Burmese Sentence Classification using Kolmogorov-Arnold Convolution
National Electronics and Computer Technology Center（国家电子与计算机技术中心）；King Mongkut’s Institute of Technology Ladkrabang（蒙固国王理工学院拉卡邦分校）
本文提出KAConvText，首次将Kolmogorov-Arnold卷积用于缅甸语句子分类，在仇恨言论检测、新闻分类和语言识别三个任务上取得最优性能，分别达到91.23%、92.66%和99.82%的准确率。
2025-07-09 cs.AI cs.CL
A Token-wise CNN-based Method for Sentence Compression
The Australian National University（澳大利亚国立大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织数据61中心）；University of Turku（图尔库大学）
句子压缩是一项自然语言处理（NLP）任务，旨在缩短原始句子并保留其关键信息。它的应用可以使许多领域受益，例如可以构建语言教育工具。然而，目前的方法主要是基于递归神经网络（RNN）模型，其具有较差的处理速度。为了解决这个问题，在本文中，我们提出了一个令牌式卷积神经网络，一个基于CNN的模型，以及预训练的双向编码器表示Transformers（BERT）功能，用于基于删除的句子压缩。我们还将我们的模型与基于RNN的模型和微调的BERT进行了比较。虽然其中一个基于RNN的模型在相同输入下的性能略优于其他模型，但我们基于CNN的模型比基于RNN的方法快十倍。
2020-09-23 cs.CL
Text Classification of Manifestos and COVID-19 Press Briefings using BERT and Convolutional Neural Networks
ESRC Business and Local Government Data Research Centre（ESRC商业与地方政府数据研究中心）
我们使用来自Manifestion Project的现有人类专家注释的政治宣言语料库构建了一个政治级政治话语分类器（Rehens等人，2020 a）并将其应用于COVID-19新闻简报（Chatsiou，2020）的语料库。我们使用手动标注的政治宣言作为训练数据来训练局部主题卷积神经网络（CNN）分类器;然后将其应用于COVID-19新闻简报语料库，以自动分类测试语料库中的句子。我们报告了一系列实验，其中CNN在预先训练的嵌入基础上进行训练，用于执行文档级分类任务。我们表明，CNN与像BERT这样的Transformers相结合的性能优于CNN与其他嵌入（Word 2 Vec，Glove，ELMo）相结合的性能，并且可以使用预先训练的分类器对不同的政治文本进行自动分类，而无需额外的训练。
2020-11-02 cs.CL cs.LG
Text classification with pixel embedding
Southwestern University of Finance and Economics（西南财经大学）；The University of Hong Kong（香港大学）
我们提出了一个新的框架来理解文本转换成视频一样的三维张量的句子或文章。对应于张量的一个切片的每一帧都是由单词的形状渲染的单词图像。张量的长度等于句子或文章中的字数。提出的从文本到三维张量的转换使得它非常方便地实现了一个$n$ -gram模型与卷积神经网络的文本分析。具体地，我们在3维文本张量上施加3维卷积核。卷积核大小的前两个维度等于单词图像的大小，并且核大小的最后一个维度是$n$。也就是说，每当我们在单词序列上滑动三维内核时，卷积就覆盖$n$单词图像并输出标量。通过对每个$n$ -gram以及具有多个内核的句子或文章连续迭代该过程，我们获得了二维特征图。随后的1维最大时间池应用于该特征图，并且三个完全连接的层最终用于进行文本分类。几个文本分类数据集的实验表明，与现有的方法相比，使用该模型具有令人惊讶的优越性能。
2021-11-05 cs.CL
Medical Text Classification using Convolutional Neural Networks
IBM Research Lab, Ireland（IBM研究院爱尔兰实验室）；Japan Science and Technology Agency（日本科学技术振兴机构）；IBM TJ Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了一种方法来自动分类临床文本在句子级别。我们正在使用深度卷积神经网络来表示复杂的特征。我们训练网络的数据集提供了一个广泛的健康信息分类。通过详细的评估，我们证明，我们的方法优于几种广泛用于自然语言处理任务的方法约15%。
2017-04-22 cs.CL
A Hybrid Hierarchical 1D-CNN-BiLSTM Framework for Extractive Summarization of Biomedical and Clinical Text
NUCES-FAST Lahore（拉合尔国立计算机与新兴科学大学（FAST））
提出混合分层1D-CNN-BiLSTM框架，通过抽取式句子选择避免生成式幻觉，在生物医学文本摘要中优于基线，实现事实有据的可靠摘要。
2026-09-15 cs.CL
MGNC-CNN: A Simple Approach to Exploiting Multiple Word Embeddings for Sentence Classification
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们介绍了一种新颖的，简单的卷积神经网络（CNN）架构-多组范数约束CNN（MGNC-CNN），它利用多组词嵌入进行句子分类。MGNC-CNN从输入嵌入集中独立提取特征，然后在网络的倒数第二层将这些特征连接起来，形成最终的特征向量。然后，我们采用了一种组正则化策略，该策略对与从各个嵌入集生成的子分量相关联的权重进行差分惩罚。该模型比类似的替代架构简单得多，并且需要的训练时间大大减少。此外，它是灵活的，因为它不要求输入词嵌入具有相同的维度。我们证明了MGNC-CNN始终优于基线模型。
2016-03-27 cs.CL
LSTM-based Deep Neural Network With A Focus on Sentence Representation for Sequential Sentence Classification in Medical Scientific Abstracts
Austrian Institute of Technology（奥地利技术研究院）；FPT University（FPT大学）；HCM University of Technology（胡志明市理工大学）
本文提出一种基于LSTM的深度网络以构建全面的句子表示，结合C-RNN与MLP处理医学摘要的序列化句子分类任务，在多个基准上显著提升了F1分数。
2024-05-31 cs.CL
Efficient Sentence Embedding using Discrete Cosine Transform
Taibah University（泰巴大学）；Amazon AWS AI（亚马逊AWS人工智能）；The George Washington University（乔治华盛顿大学）；UAEU（阿联酋大学）
尽管向量平均法明显不考虑句法结构，但它仍然是最流行的句子嵌入方法之一。虽然更复杂的顺序或卷积网络可能会产生更好的分类性能，但与简单的向量平均相比，分类准确性的提高通常是平庸的。作为一个有效的替代方案，我们提出了使用离散余弦变换（DCT）的顺序保持的方式压缩字序列。较低阶的DCT系数代表了句子中的整体特征模式，从而为可以受益于句法特征的任务提供了合适的嵌入。我们在语义探测任务中的结果表明，DCT嵌入确实保留了更多的语法信息相比，向量平均。实际上相当的复杂性，该模型产生更好的整体性能，在下游分类任务，与句法特征，这说明了能力的DCT保留词序信息。
2020-01-08 cs.CL
Convolutional Neural Networks with Recurrent Neural Filters
Bloomberg（彭博）
我们介绍了一类利用递归神经网络（RNN）作为卷积滤波器的卷积神经网络（CNN）。卷积滤波器通常被实现为线性仿射变换，然后是非线性函数，这无法考虑语言的组合性。因此，它限制了高阶过滤器的使用，而高阶过滤器通常是自然语言处理任务所必需的。在这项工作中，我们使用RNN对卷积过滤器进行建模，这些RNN可以自然地捕获语言中的组合性和长期依赖性。我们表明，配备循环神经过滤器（RNF）的简单CNN架构实现的结果与斯坦福情感树库和两个答案句子选择数据集上发表的最佳结果不相上下。
2018-08-28 cs.CL
TextConvoNet:A Convolutional Neural Network based Architecture for Text Classification
Malaviya National Institute of Technology（马拉维亚国家理工学院）；ABV-IIITM Gwalior（阿塔尔·比哈里·瓦杰帕伊印度信息技术与管理学院瓜廖尔分校）
近年来，基于深度学习的模型显著改善了自然语言处理（NLP）任务。具体来说，卷积神经网络（CNN），最初用于计算机视觉，已显示出显着的性能，在各种NLP问题的文本数据。大多数现有的基于CNN的模型使用1维卷积滤波器（n元检测器），其中每个滤波器专门提取特定输入词嵌入的n元特征。输入的词嵌入，也称为句子矩阵，被视为一个矩阵，其中每行是一个词向量。因此，它允许模型应用一维卷积，并且仅从句子矩阵中提取基于n-gram的特征。这些特征可以被称为句内n-gram特征。就我们所知，所有现有的CNN模型都是基于上述概念。在本文中，我们提出了一个基于CNN的架构TextConvoNet，不仅提取句子内的n-gram功能，但也捕捉输入文本数据中的句子间n-gram功能。它使用另一种方法来表示输入矩阵，并对输入应用二维多尺度卷积运算。为了评估TextConvoNet的性能，我们对五个文本分类数据集进行了实验研究。通过使用各种性能指标来评估结果。实验结果表明，所提出的TextConvoNet优于最先进的机器学习和深度学习模型的文本分类目的。
2022-03-10 cs.AI cs.CL cs.LG
Dependency Parsing with Dilated Iterated Graph CNNs
依赖关系解析是将语言知识注入许多下游任务的有效方法，许多从业者希望大规模有效地解析句子。GPU硬件的最新进展使神经网络能够在以前的最佳模型上实现显著的收益，这些模型仍然无法利用GPU的大规模并行性能力，因为它们需要顺序处理句子。作为回应，我们提出了扩张迭代图卷积神经网络（DIG-CNN），用于基于图的依存句法分析，这是一种允许高效端到端GPU解析的图卷积架构。在英语Penn TreeBank基准的实验中，我们表明DIG-CNN的性能与一些最好的神经网络解析器相当。
2017-07-21 cs.CL
Learning with Noisy Labels for Sentence-level Sentiment Classification
Southwest Jiaotong University（西南交通大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Beihang University（北京航空航天大学）
深度神经网络（DNN）可以很好地拟合（甚至过拟合）训练数据。如果DNN模型使用带有噪声标签的数据进行训练，并在带有干净标签的数据上进行测试，则模型可能表现不佳。本文研究了带噪声标签的情感分类学习问题。我们提出了一种名为NetAb的新型DNN模型（作为带有Ab-networks的卷积神经网络的简写），用于在训练过程中处理噪声标签。NetAb由两个卷积神经网络组成，一个带有噪声过渡层，用于处理输入的噪声标签，另一个用于预测“干净”标签。我们训练这两个网络，使用它们各自的损失函数在相互加强的方式。实验结果证明了该模型的有效性。
2019-08-31 cs.CL cs.LG
Comparing Convolutional Neural Networks to Traditional Models for Slot Filling
Center for Information and Language Processing (CIS)（信息与语言处理中心（CIS））；LMU Munich（慕尼黑大学）
我们解决的关系分类的背景下，插槽填充，寻找和评估的任务，如“史蒂夫乔布斯”的插槽X在“X创立苹果”。我们提出了一个卷积神经网络，它根据关系参数将输入句子分成三个部分，并将其与最先进的传统关系分类方法进行比较。最后，我们结合不同的方法，并表明组合优于单独的方法。我们还分析了体裁差异对表演的影响。
2016-04-04 cs.CL
Learning Semantically Coherent and Reusable Kernels in Convolution Neural Nets for Sentence Classification
Microsoft Research（微软研究院）；Indian Institute of Science（印度科学院）；Microsoft（微软）
最先进的CNN模型在句子分类任务上表现良好。这项工作的目的是实证研究所需的属性，如语义连贯性，注意力机制和可重用性的CNN在这些任务。语义一致的内核是优选的，因为它们对于解释学习的CNN模型的决定更可解释。我们观察到，学习的内核不具有语义连贯性。出于这种观察，我们建议使用聚类方案结合Word2Vec表示和领域知识（如SentiWordNet）来学习具有语义一致性的内核。我们提出了一种技术来可视化的注意力机制的CNN决策解释的目的。可重用属性使在一个问题上学习的内核能够用于另一个问题。这有助于有效的学习，因为可能只需要学习一些额外的特定于域的过滤器。我们证明了我们的核心思想的学习语义一致的内核和利用可重用的内核在几个基准数据集上进行有效学习的有效性。实验结果表明，我们的方法的实用性，通过实现性能接近国家的最先进的方法，但具有语义和可重用的属性。
2016-10-10 cs.CL cs.LG cs.NE
