Chemical-protein relation extraction with ensembles of SVM, CNN, and RNN models
National Center for Biotechnology Information, National Library of Medicine, National Institutes of Health（美国国立卫生研究院国家医学图书馆国家生物技术信息中心）；University of Kentucky（肯塔基大学）
文本挖掘化学物质和蛋白质之间的关系是一个越来越重要的任务。BioCreative VI的CHEMPROT轨道旨在促进系统的开发和评估，这些系统可以自动检测运行文本中的化学蛋白质关系（PubMed摘要）。这篇手稿描述了我们的提交，它是三个系统的集成，包括支持向量机，卷积神经网络和递归神经网络。它们的输出使用基于多数表决或堆叠的决策进行组合。我们的CHEMPROT系统获得了0.7266的精确度和0.5735的召回率，f分数为0.6410，证明了基于机器学习的方法用于从生物医学文献中自动提取关系抽取的有效性。我们提交的作品在2017年挑战赛中取得了最高的成绩。
2018-02-05 cs.CL
Multiple Range-Restricted Bidirectional Gated Recurrent Units with Attention for Relation Classification
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
大多数神经网络的关系分类方法都集中在使用卷积神经网络（CNN）来寻找表示语义关系的短模式，并且这些方法通常比使用递归神经网络（RNN）获得更好的性能。在与CNN模型类似的直觉中，我们提出了一种新的基于RNN的模型，该模型使用多个范围限制的双向层和对关系分类的关注，只关注句子的重要部分。SemEval-2010关系分类任务的实验结果表明，我们的模型与使用额外语言信息的最先进的基于CNN和基于RNN的模型相当。
2017-11-01 cs.CL
A Study of All-Convolutional Encoders for Connectionist Temporal Classification
TTIC（丰田技术研究所芝加哥分校）
连接主义时间分类（CTC）是用于自动语音识别的流行序列预测方法，其通常与基于递归神经网络（RNN）的模型一起使用。我们探索深度卷积神经网络（CNN）是否可以有效地代替RNN作为CTC中的"编码器"。CNN缺乏整个序列的显式表示，但具有训练速度快得多的优点。我们提出了一个探索的CNN作为CTC模型的编码器，在基于字符（无词典）的自动语音识别的上下文中。特别是，我们探索了一系列一维卷积层，它们特别有效。我们比较了我们的基于CNN的模型对典型的基于RNN的模型在训练时间，解码时间，模型大小和字出错率（WER）的Switchboard Eval2000语料库的性能。我们发现，我们的基于CNN的模型在性能上接近LSTM，而不是匹配它们，并且训练和解码速度要快得多。
2018-02-15 cs.CL
SoPa: Bridging CNNs, RNNs, and Weighted Finite-State Machines
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Carnegie Mellon University（卡内基梅隆大学）
递归神经网络和卷积神经网络包括两个不同的模型族，它们已被证明可用于编码自然语言话语。在本文中，我们提出了SoPa，一个新的模型，旨在弥合这两种方法。SoPa将神经表示学习与加权有限状态自动机（WFSA）相结合，以学习传统表面模式的软版本。我们证明了SoPa是单层CNN的扩展，并且这种CNN等价于SoPa的限制版本，因此等价于WFSA的限制形式。根据经验，在三个文本分类任务中，SoPa与BiLSTM（RNN）基线和CNN基线相当或更好，并且在小数据设置中特别有用。
2018-05-15 cs.AI cs.CL cs.LG
I can tell whether you are a Native Hawlêri Speaker! How ANN, CNN, and RNN perform in NLI-Native Language Identification
University of Kurdistan Hewlêr（库尔德斯坦休勒大学）
本研究通过ANN、CNN和RNN模型评估了Hewlêri亚方言的NLI性能，发现RNN在5秒音频分割中准确率高达95.92%。
2026-02-11 cs.CL
Arabic Dialect Classification using RNNs, Transformers, and Large Language Models: A Comparative Analysis
Faculty of Computer Science MSA Univeristy（计算机科学学院 MSA大学）
本研究针对QADI数据集中18种阿拉伯语推文方言分类问题，比较了RNN、Transformer和LLM模型，发现MARBERTv2表现最佳（65%准确率），并揭示了方言识别的语言学挑战及应用潜力。
2025-06-28 cs.AI cs.CL
DiSAN: Directional Self-Attention Network for RNN/CNN-Free Language Understanding
Centre of Artificial Intelligence, FEIT, University of Technology Sydney（悉尼科技大学工程与信息技术学院人工智能中心）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
递归神经网络（RNN）和卷积神经网络（CNN）被广泛用于NLP任务，分别捕获长期和局部依赖关系。注意力机制由于其高度并行化的计算、显著减少的训练时间和建模依赖性的灵活性，最近引起了极大的兴趣。我们提出了一种新的注意力机制，其中来自输入序列的元素之间的注意力是有方向的和多维的（即，特征方面）。然后，提出了一种轻量级神经网络“方向性自注意力网络（DiSAN）"来学习句子嵌入，仅基于所提出的注意力，而不需要任何RNN/CNN结构。DiSAN仅由具有时间顺序编码的方向性自我注意组成，随后是将序列压缩成向量表示的多维注意。尽管形式简单，但DiSAN在预测质量和时间效率方面都优于复杂的RNN模型。它在所有句子编码方法中实现了最佳测试准确度，并将斯坦福自然语言推理（SNLI）数据集上的最近最佳结果提高了1.02%，并在斯坦福情感树库（SST），多流派自然语言推理上显示了最先进的测试准确度（MultiNLI），涉及成分知识的句子（SICK），客户评论，MPQA，TREC问题类型分类和主观性（SUBJ）数据集。
2017-11-20 cs.AI cs.CL
Nepali Video Captioning using CNN-RNN Architecture
Kathmandu University（加德满都大学）；Information and Language Processing Research Lab (ILPRL)（信息与语言处理研究实验室（ILPRL））
本研究针对尼泊尔语视频字幕生成任务，构建了补充尼泊尔语字幕的MSVD数据集，训练多种CNN-RNN架构，验证不同编码器与解码器组合的效果，最优模型取得BLEU-4得分17、METEOR得分46的结果，为该领域后续研究提供了基础资源。
2023-11-05 cs.CL cs.CV cs.LG
Fake News Identification on Twitter with Hybrid CNN and RNN Models
C3Ri Research Institute（C3Ri研究所）；Sheffield Hallam University（谢菲尔德哈勒姆大学）
与假新闻传播相关的问题继续以惊人的规模增长。这一趋势引起了政界、学术界和工业界的极大兴趣。我们提出了一个框架，使用混合卷积神经网络和长短期递归神经网络模型来检测和分类来自Twitter帖子的假新闻消息。使用这种深度学习方法的拟议工作达到了82%的准确率。我们的方法直观地识别与假新闻故事相关的相关特征，而无需事先了解该领域。
2018-06-29 cs.CL cs.SI
Question Answering over Freebase via Attentive RNN with Similarity Matrix based CNN
随着知识库的快速增长，基于知识库的问答，也就是基于知识库的问答，越来越受到人们的重视。KBQA近年来引起了极大的关注。大多数现有的KBQA方法遵循所谓的编码器比较框架。它们将问题和知识库事实映射到一个公共的嵌入空间，在该空间中可以方便地计算问题向量和事实向量之间的相似度。然而，这不可避免地丢失了原始词语交互信息。为了保留更多的原始信息，我们提出了一种基于相似性矩阵的卷积神经网络（AR-SM CNN）模型，它能够利用RNN和CNN的优点来捕获全面的层次信息。我们使用RNN通过其顺序建模性质来捕获语义级相关性，并使用注意力机制同时跟踪实体和关系。同时，我们使用一个基于相似性矩阵的CNN与双向池提取文字级的词的交互匹配，利用CNN建模数据之间的空间相关性的强度。此外，我们已经开发了一种新的启发式扩展方法的实体检测，显着降低噪声的影响。我们的方法在SimpleQuestion基准测试中的准确性和效率都优于最先进的方法。
2018-05-27 cs.AI cs.CL cs.LG
Convolutional Gated Recurrent Units for Medical Relation Classification
Harbin Institute of Technology（哈尔滨工业大学）
卷积神经网络（CNN）和递归神经网络（RNN）模型已经成为关系分类的主流方法。我们提出了一个统一的架构，它同时利用CNN和RNN的优点，以确定医疗关系的临床记录，只有词嵌入功能。我们的模型通过CNN层学习短语级别的特征，这些特征表示被直接馈送到双向门控递归单元（GRU）层以捕获长期特征依赖性。我们在两个临床数据集上评估了我们的模型，实验表明，我们的模型在这两个数据集上的表现明显优于以前的单模型方法。
2018-07-29 cs.CL
CNN Is All You Need
NovuMind Inc（NovuMind公司）
卷积神经网络（CNN）在音频、图像和文本学习中表现出了独特的优势;最近，它还在序列到序列学习中挑战了具有长短期记忆单元（LSTM）的递归神经网络（RNN），因为CNN中涉及的计算很容易并行化，而RNN中涉及的计算大多是顺序的，导致性能瓶颈。然而，与RNN不同的是，原生CNN缺乏序列变换所需的历史敏感性;因此，增强顺序感知或位置敏感性成为使CNN成为通用深度学习模型的关键。在这项工作中，我们介绍了一个扩展的CNN模型，加强位置敏感性，称为PoseNet。PoseNet的一个显著特点是在编码器和解码器中对位置信息的非对称处理。实验表明，PoseNet使我们能够显着提高基于CNN的序列到序列学习的准确性，在WMT 2014英语到德语翻译任务中获得约33 - 36 BLEU分数，在英语到法语翻译任务中获得约44 - 46 BLEU分数。
2017-12-27 cs.CL cs.LG cs.NE
A Comparative Study on Transformer vs RNN in Speech Applications
NTT Communication Science Laboratories（NTT通信科学实验室）；Waseda University（早稻田大学）；Johns Hopkins University（约翰霍普金斯大学）；LINE Corporation（LINE公司）；Nagoya University（名古屋大学）；Human Dataware Lab. Co., Ltd.（Human Dataware 实验室有限公司）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Kyoto University（京都大学）；Shanghai Jiao Tong University（上海交通大学）
序列到序列模型已广泛用于端到端语音处理，例如，自动语音识别（ASR）、语音翻译（ST）和文本到语音（TTS）。本文重点介绍了一种称为Transformer的紧急序列到序列模型，该模型在神经机器翻译和其他自然语言处理应用中具有最先进的性能。我们进行了深入的研究，在总共15个ASR，一个多语言ASR，一个ST和两个TTS基准测试中，我们实验性地比较和分析了Transformer和传统的递归神经网络（RNN）。我们的实验揭示了Transformer在每个任务中获得的各种训练技巧和显着的性能优势，包括与RNN相比，Transformer在13/15 ASR基准测试中的惊人优势。我们正准备使用开源和公开可用的数据集发布Kaldi风格的可重复配方，用于所有ASR，ST和TTS任务，以便社区成功实现我们令人兴奋的成果。
2019-09-28 cs.CL cs.SD eess.AS
Character-Level Feature Extraction with Densely Connected Networks
Korea University（高丽大学）；Amazon Alexa（亚马逊Alexa）
在各种自然语言处理任务中，生成字符级特征是获得良好结果的重要步骤。为了减轻在生成手工制作的特征时对人力的需求，已经提出了利用诸如卷积神经网络（CNN）或递归神经网络（RNN）之类的神经架构来自动提取这样的特征的方法，并且已经显示出很好的结果。然而，CNN生成与位置无关的特征，而RNN很慢，因为它需要顺序处理字符。在本文中，我们提出了一种新的方法，使用密集连接的网络自动提取字符级的功能。所提出的方法不需要任何语言或任务特定的假设，并显示出鲁棒性和有效性，同时比基于CNN或RNN的方法更快。在三个序列标记任务-槽标记，词性（POS）标记和命名实体识别（NER）上评估该方法-我们获得了最先进的性能，在槽标记和POS标记上分别具有96.62 F1分数和97.73%的准确率，并且与NER上的最先进的91.13 F1分数相当。
2018-07-26 cs.CL
Transformation Networks for Target-Oriented Sentiment Classification
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
面向目标的情感分类旨在对句子中各个观点目标的情感极性进行分类。带有注意力的RNN似乎很适合这个任务的特点，并且确实达到了最先进的性能。在重新审视注意力机制的缺陷以及阻碍CNN在此分类任务中表现良好的障碍之后，我们提出了一种新的模型来克服这些问题。我们的模型采用CNN层来从双向RNN层产生的转换后的单词表示中提取显著特征，而不是注意力。在这两层之间，我们提出了一个组件来生成句子中单词的目标特定表示，同时结合了一种机制来保留RNN层的原始上下文信息。实验表明，我们的模型在一些基准测试中达到了新的最先进的性能。
2018-05-03 cs.CL
Contextual Recurrent Units for Cloze-style Reading Comprehension
Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
递归神经网络（RNN）是一种处理序列数据的强大模型，特别是在各种自然语言处理任务中得到了广泛的应用。在本文中，我们提出了上下文递归单元（CRU）增强局部上下文表示在神经网络。建议的CRU将卷积神经网络（CNN）注入到循环单元中，以增强对局部上下文进行建模的能力，并减少即使在双向RNN中的单词歧义。我们在文档级和文档级建模NLP任务上测试了CRU模型：情感分类和阅读理解。实验结果表明，提出的CRU模型可以给出显着的改进，传统的CNN或RNN模型，包括双向条件，以及各种国家的最先进的系统上的两个任务，显示其有前途的扩展到其他NLP任务以及。
2019-11-14 cs.CL
Very Deep Convolutional Neural Networks for Robust Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；Cambridge University（剑桥大学）
本文介绍了我们以前的工作非常深的卷积神经网络（CNN）的有效识别噪声语音在极光4任务的扩展和优化。卷积层的适当数量、过滤器的大小、池化操作和输入特征图都被修改：过滤器和池化大小被减小，输入特征图的维度被扩展以允许添加更多的卷积层。此外，适当的输入填充和输入特征图选择策略。此外，开发了使用具有辅助特征i-vector和fMLLR特征的非常深的CNN的联合训练的自适应框架。这些修改使作为基线的标准CNN的字出错率大幅降低。最后，非常深的CNN结合LSTM-RNN声学模型，它表明，在联合声学模型解码方案中的状态级加权对数似然得分组合是非常有效的。在Aurora 4任务上，非常深的CNN实现了8.81%的WER，辅助特征联合训练进一步达到7.99%，LSTM-RNN联合解码达到7.09%。
2016-10-02 cs.CL
Bi-Directional Block Self-Attention for Fast and Memory-Efficient Sequence Modeling
University of Technology Sydney（悉尼科技大学）；University of Washington（华盛顿大学）
递归神经网络（RNN）、卷积神经网络（CNN）和自注意力网络（SAN）通常用于产生上下文感知表示。RNN可以捕获长距离依赖，但难以并行化，并且时间效率不高。CNN专注于局部依赖性，但在某些任务上表现不佳。SAN可以通过高度并行化的计算对这两种依赖关系进行建模，但内存需求会随着序列长度的增长而快速增长。在本文中，我们提出了一个模型，称为“双向块自注意网络（Bi-BloSAN）”，用于RNN/CNN自由序列编码。它需要的内存和RNN一样少，但具有SAN的所有优点。Bi-BloSAN将整个序列拆分为块，并将块内SAN应用于每个块以建模本地上下文，然后将块间SAN应用于所有块的输出以捕获长距离依赖性。因此，每个SAN只需要处理很短的序列，并且只需要少量的内存。此外，我们使用特征级注意力来处理同一个词周围的上下文的变化，并使用前向/后向掩码来编码时间顺序信息。在不同NLP任务的九个基准数据集上，Bi-BloSAN实现或提高了最先进的准确性，并显示出比现有RNN/CNN/SAN更好的效率-内存权衡。
2018-04-03 cs.AI cs.CL
An Opinion Mining of Text in COVID-19 Issues along with Comparative Study in ML, BERT & RNN
The University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
全球正经历一场被称为COVID-19的呼吸系统综合征灾难性爆发的疫情。这是一个全球性的威胁，遍布212个国家，人们每天都会遇到巨大的情况。相反，成千上万的感染者生活在山区。心理健康也受到全球冠状病毒疫情的影响。由于这种情况，在线资源成为普通人在任何议程上分享他们意见的交流场所。如受影响的新闻相关的积极和消极的，金融问题，国家和家庭危机，缺乏进出口收入系统等不同种类的情况是最近的流行新闻在任何地方。因此，大量的文本在瞬间产生，因此，在次大陆地区，与其他国家和人民的情况相同，文本和情况也相同，但语言不同。本文提出了一些具体的输入以及来自各个来源的孟加拉语文本评论，可以确保说明的目标，即机器学习结果能够构建辅助系统。意见挖掘辅助系统可以在所有可能的语言偏好中发挥作用。据我们所知，文章预测了孟加拉语输入文本对COVID-19问题的影响，提出了ML算法和深度学习模型分析，并对未来的可达性进行了对比分析。对比分析表明，ML算法的文本预测准确率为91%，深度学习模型为79%。
2022-01-06 cs.CL cs.NE
Convolutional Neural Networks with Recurrent Neural Filters
Bloomberg（彭博）
我们介绍了一类利用递归神经网络（RNN）作为卷积滤波器的卷积神经网络（CNN）。卷积滤波器通常被实现为线性仿射变换，然后是非线性函数，这无法考虑语言的组合性。因此，它限制了高阶过滤器的使用，而高阶过滤器通常是自然语言处理任务所必需的。在这项工作中，我们使用RNN对卷积过滤器进行建模，这些RNN可以自然地捕获语言中的组合性和长期依赖性。我们表明，配备循环神经过滤器（RNF）的简单CNN架构实现的结果与斯坦福情感树库和两个答案句子选择数据集上发表的最佳结果不相上下。
2018-08-28 cs.CL
Radical-level Ideograph Encoder for RNN-based Sentiment Analysis of Chinese and Japanese
Keio University（庆应义塾大学）
在非字母语言如汉语和日语中，字符词汇量可能非常大，这使得神经网络模型非常庞大以处理此类语言。我们探索了一种情感分类模型，该模型采用汉字的偏旁部首，即汉语的汉字和日语的汉字的嵌入。我们的模型由一个CNN词特征编码器和一个双向RNN文档特征编码器组成。所取得的结果与基于字符嵌入的模型相当，并且接近于最先进的基于词嵌入的模型，词汇量比基于字符嵌入的模型和基于词嵌入的模型小90%，并且参数分别比基于字符嵌入的模型和基于词嵌入的模型少至少13%和80%。实验结果表明，基于激进嵌入的方法对于中文和日文的机器学习是具有成本效益的。
2017-08-10 cs.CL
On the Effect of Word Order on Cross-lingual Sentiment Analysis
HEIG-VD（沃州工程与管理学院）；EPFL（洛桑联邦理工学院）；Universitat Pompeu Fabra（庞培法布拉大学）；University of Oslo（奥斯陆大学）
当前用于情感分析的最新模型通过对语言建模目标进行预训练来显式地使用词序，或者通过使用递归神经网络（RNN）或卷积网络（CNN）来隐式地使用词序。这对于使用双语嵌入作为特征的跨语言模型来说是一个问题，因为源语言和目标语言之间的词序差异没有得到解决。在这项工作中，我们探讨了重新排序作为预处理步骤，用于两种语言组合（英语-西班牙语，英语-加泰罗尼亚语）的跨语言情感分类。我们发现，虽然重新排序对这两个模型都有帮助，但CNNS对局部重新排序更敏感，而全局重新排序对RNN有利。
2019-06-13 cs.CL
BabyHGRN: Exploring RNNs for Sample-Efficient Training of Language Models
Humboldt-Universität zu Berlin（柏林洪堡大学）
本研究探索低资源语言建模下RNN类架构的潜力，提出基于HGRN2的BABYHGRN模型，在10M和100M词赛道的多项基准上优于Transformer模型，验证了知识蒸馏的作用，证明RNN模型在资源受限场景的可行性。
2024-12-20 cs.CL
Unsupervised Document Embedding With CNNs
layer6.ai（Layer6.ai（Layer6公司））
我们提出了一种新的无监督文档嵌入模型。现有的主要方法要么需要复杂的推理，要么使用难以并行化的递归神经网络（RNN）。我们采取不同的路线，开发了一个卷积神经网络（CNN）嵌入模型。我们的CNN架构是完全可并行的，从而使RNN模型的推理时间加速超过10倍。可扩展的体系结构使得能够训练更深的模型，其中每个连续层具有越来越大的感受域，并且对文档内的更长范围的语义结构进行建模。我们还提出了一个完全无监督学习算法训练这个模型的基础上随机前向预测。两个公共基准的实证结果表明，我们的方法产生的计算成本的一小部分，相当于国家的最先进的准确性。
2018-02-20 cs.CL cs.LG stat.ML
CRNN: A Joint Neural Network for Redundancy Detection
The University of Nottingham Ningbo China（宁波诺丁汉大学）；Nvidia Technology Center（英伟达技术中心）
本文提出了一种新的框架，用于检测监督句子分类中的冗余。与传统的单例神经网络不同，我们的模型将字符感知卷积神经网络（Char-CNN）与字符感知递归神经网络（Char-RNN）相结合，形成一个卷积递归神经网络（CRNN）。我们的模型受益于Char-CNN，因为只有显著的特征被选择并输入到集成的Char-RNN中。Char-RNN通过复杂的更新机制有效地学习长序列语义。我们比较我们的框架对国家的最先进的文本分类算法在四个流行的基准语料库。例如，我们的模型在Google新闻数据集上实现了竞争性的准确率，召回率和F1得分。对于20个新闻组的数据流，我们的算法在查准率、查全率和F1得分上都达到了最优。对于布朗语料库，我们的框架获得了最好的F1分数和几乎相同的准确率和召回率超过顶级竞争对手。对于问题分类集合，CRNN产生最佳召回率和F1分数以及相当的准确率。我们还分析了三种不同的RNN隐藏递归单元对性能和运行效率的影响。我们观察到MGU实现了最佳运行时间，并且与GRU和LSTM的性能相当。对于基于TFIDF的算法，我们用word 2 vec，GloVe和sent 2 vec嵌入进行了实验，并报告了它们的性能差异。
2017-06-04 cs.CL
Multichannel CNN with Attention for Text Classification
China University of Political Science and Law（中国政法大学）；University of Science and Technique of China（中国科学技术大学）
近年来，基于神经网络的句子建模方法显示出了巨大的潜力。神经网络主要有两种结构：递归神经网络（RNN）和卷积神经网络（CNN）。RNN可以捕获长期依赖关系，并将先前信息的语义存储在固定大小的向量中。然而，RNN是一个有偏模型，其提取全局语义的能力受到固定大小向量的限制。或者，CNN能够通过利用卷积滤波器来捕获文本的n-gram特征。但是卷积滤波器的宽度限制了它的性能。为了结合这两种网络的优点，弥补它们的不足，本文提出了基于注意力的多通道卷积神经网络（AMCNN）用于文本分类。AMCNN利用双向的长短期记忆将词的历史和未来信息编码成高维表示，使句子前后的信息都能得到充分表达。然后，标量注意力和矢量注意力被应用到获得多通道表示。标量注意力可以计算词级的重要性，矢量注意力可以计算特征级的重要性。在分类任务中，AM CNN使用CNN结构来捕获由标量和矢量注意力机制生成的表示上的词关系，而不是计算加权和。它可以有效地提取文本的n-gram特征。在基准数据集上的实验结果表明，AMCNN实现了比最先进的方法更好的性能。此外，可视化结果验证了多通道表示的语义丰富性。
2020-06-29 cs.CL cs.LG
Generate Image Descriptions based on Deep RNN and Memory Cells for Images Features
Stanford University（斯坦福大学）
为图像生成自然语言描述是一项具有挑战性的任务。传统的方法是使用卷积神经网络（CNN）提取图像特征，然后使用循环神经网络（RNN）生成句子。在本文中，我们提出了一个新的模型，增加了存储单元门图像特征的馈送到深层神经网络。直觉使我们的模型能够记住在RNN的每个阶段应该输入多少图像信息。在Flickr8K和Flickr30K数据集上的实验表明，我们的模型比其他最先进的模型具有更高的BLEU分数。
2016-02-05 cs.CL cs.CV cs.LG
Learning text representation using recurrent convolutional neural network with highway layers
University College London（伦敦大学学院）；MediaGamma Limited（MediaGamma有限公司）
近年来，词嵌入和神经网络的快速发展给各种NLP和IR任务带来了新的灵感。在本文中，我们描述了一个分阶段的混合模型结合递归卷积神经网络（RCNN）与公路层。高速公路网络模块被合并在中间，在第一级中获取双向递归神经网络（Bi-RNN）模块的输出，并在最后一级中向卷积神经网络（CNN）模块提供输入。实验表明，我们的模型优于常见的神经网络模型（CNN，RNN，Bi-RNN）的情感分析任务。此外，序列长度如何影响RCNN与公路层的分析表明，我们的模型可以学习很好的表示长文本。
2016-08-02 cs.CL cs.IR
Improved TDNNs using Deep Kernels and Frequency Dependent Grid-RNNs
Cambridge University（剑桥大学）
时延神经网络是一种有效的大词汇量语音识别声学模型。该模型的优势可以归因于它能够有效地模拟长时间的上下文。然而，目前的TDNN模型相对较浅，这限制了建模能力。本文提出了一种通过加深TDNN时间卷积中使用的核来增加网络深度的方法。性能最好的内核由三个完全连接的层组成，从第一层的输出到第三层的输出有一个残差（ResNet）连接。研究了以卷积神经网络（CNN）和新设计的Grid-RNN的形式将谱时处理作为TDNN的输入。如果针对不同频带使用不同的参数集，则Grid-RNN的性能大大优于CNN，并且可以通过使用双向Grid-RNN来进一步增强。使用多类型广播（MGB3）英语数据（275小时）的实验表明，深度内核TDNN将单词出错率（WER）相对降低了6%，并且当与频率相关的Grid-RNN相结合时，给出了9%的相对WER降低。
2018-02-20 cs.AI cs.CL cs.SD
RNN-Test: Towards Adversarial Testing for Recurrent Neural Network Systems
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Key Laboratory for Information System Security, Ministry of Education（教育部信息系统安全重点实验室）；Huawei Technologies Co., Ltd.（华为技术有限公司）
虽然在卷积神经网络（CNN）的对抗测试中已经进行了大量的研究，但对递归神经网络（RNN）的测试仍然有限，并且给大量的顺序应用领域留下了威胁。在本文中，我们提出了一个针对RNN系统的对抗性测试框架RNN-Test，专注于主要的顺序域，而不仅仅是分类任务。首先，我们设计了一种为RNN模型定制的新搜索方法，通过最大化RNN状态的不一致性来产生对抗性输入。接下来，我们根据RNN的独特结构引入两个基于状态的覆盖度量，以探索更多的推理逻辑。最后，RNN测试解决了联合优化问题，以最大限度地提高状态不一致性和状态覆盖率，并为不同类型输入的各种任务制作对抗性输入。为了进行评估，我们对常见RNN结构的三个序列模型进行了RNN测试。在测试的模型上，RNN测试方法在生成对抗性输入方面具有竞争力，优于基于FGSM和基于DLFuzz-based的方法，可以更大程度地降低模型性能，成功率（或生成率）提高2.78%至32.5%。RNN-Test在MNIST-LSTM模型上的攻击率也比相关的工作测试RNN高出52.65%到66.45%。与神经元覆盖率相比，所提出的状态覆盖率指标具有4.17%到97.22%的成功率（或生成率）。
2021-01-08 cs.CL cs.LG
Towards End-to-End Speech Recognition with Deep Convolutional Neural Networks
卷积神经网络（CNN）是一种有效的模型，用于减少频谱变化和模拟自动语音识别（ASR）中声学特征的频谱相关性。混合语音识别系统结合CNN与隐马尔可夫模型/高斯混合模型（HALF/GALF）已经达到了各种基准的最先进的。同时，提出了用于标记未分割序列的带有递归神经网络（RNNs）的连接主义时间分类（CTC），这使得训练端到端语音识别系统而不是混合设置成为可能。然而，RNN在计算上是昂贵的，并且有时难以训练。在本文中，受CNN和CTC方法的优点的启发，我们提出了一个用于序列标记的端到端语音框架，通过将分层CNN与CTC直接结合而无需递归连接。通过评估TIMIT音素识别任务的方法，我们表明，所提出的模型不仅是计算效率高，而且与现有的基线系统的竞争力。此外，我们认为CNN有能力利用适当的上下文信息对时间相关性进行建模。
2017-01-10 cs.CL cs.LG stat.ML
Relation Classification via Recurrent Neural Network
Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
深度学习在关系级分类中取得了很大的成功。例如，卷积神经网络（CNN）已经提供了有竞争力的性能，而无需像传统的基于模式的方法那样在特征工程上花费太多精力。因此，基于CNN结构的研究成果很多。然而，基于CNN的方法没有很好地解决的一个关键问题是缺乏学习时间特征的能力，特别是名义对之间的长距离依赖关系。在本文中，我们提出了一个简单的框架，基于递归神经网络（RNN），并比较它与基于CNN的模型。为了显示流行使用的SemEval-2010任务8数据集的局限性，我们引入了从MIMLRE提炼的另一个数据集（Angeli等人，2014年）。在两个不同数据集上的实验表明，基于RNN的模型可以提供更好的关系分类性能，特别是能够学习长距离关系模式。这使得它适用于经常涉及复杂表达式的实际应用。
2015-12-25 cs.CL cs.LG cs.NE
Long Short-Term Memory based Convolutional Recurrent Neural Networks for Large Vocabulary Speech Recognition
Peking University（北京大学）
长短期记忆（LSTM）循环神经网络（RNN）已被证明在许多语音识别任务上具有最先进的性能，因为它们能够提供所有序列历史的学习动态变化的上下文窗口。另一方面，卷积神经网络（CNN）为深度前馈神经网络（FFNN）带来了显著的改进，因为它们能够更好地减少输入信号中的频谱变化。结合CNN和LSTM RNN提出了一种称为卷积递归神经网络（CRNN）的网络结构。在提出的CRNN中，没有相邻上下文帧的每个语音帧被组织为沿频率轴的许多局部特征块，然后对沿时间轴的每个特征块执行LSTM网络。我们训练和比较FFNN，LSTM RNN和建议的LSTM CRNN在不同数量的配置。实验结果表明，LSTM CRNN可以超过最先进的语音识别性能。
2016-10-11 cs.CL cs.NE
Deep Learning for User Comment Moderation
StrainTek；Athens University of Economics（雅典经济与商业大学）
通过对来自希腊新闻门户网站的160万用户评论的新数据集和现有的英文维基百科评论数据集进行实验，我们发现RNN在适度方面优于以前的最新技术。深度的、特定于分类的注意力机制进一步提高了RNN的整体性能。我们还与CNN和单词列表基线进行了比较，考虑了全自动和半自动的适度。
2017-07-17 cs.CL cs.LG
Harnessing Deep Neural Networks with Logic Rules
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
将深度神经网络与结构化逻辑规则相结合是期望的，以利用灵活性并减少神经模型的不可解释性。我们提出了一个能够增强各种类型的神经网络（例如，CNN和RNN）与声明性一阶逻辑规则。具体来说，我们开发了一种迭代蒸馏方法，将逻辑规则的结构化信息转换为神经网络的权重。我们将框架部署在用于情感分析的CNN和用于命名实体识别的RNN上。通过一些高度直观的规则，我们获得了实质性的改进，并实现了最先进的或与以前性能最好的系统相当的结果。
2020-08-08 cs.AI cs.CL cs.LG
