Probing Representations Learned by Multimodal Recurrent and Transformer Models
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所);Department of Computing(计算机系);Imperial College of London(伦敦帝国理工学院)
最近的文献表明,大规模的语言建模提供了良好的可重用的句子表示与循环和自我关注的架构。然而,在由两种架构引起的表征属性的共性和差异上,还不太清楚。研究还表明,视觉信息是句子表征的基础手段之一。在本文中,我们提出了一个元研究,评估模型的代表性质量,其中训练信号是从不同的方式,特别是语言建模,图像特征预测,以及文本和多模态机器翻译。我们评估文本和视觉特征的句子表示使用图像检索和语义文本相似性的主要方法。我们的实验表明,在中等规模的数据集上,一个句子对应的目标语言或视觉模态提供更强的训练信号比语言建模的句子表示。重要的是,我们观察到,虽然Transformer模型实现了卓越的机器翻译质量,但基于递归神经网络的模型的表示比专注于语义相关性的任务表现得更好。
2019-08-29 cs.CL
Sequential Short-Text Classification with Recurrent and Convolutional Neural Networks
MIT(麻省理工学院)
最近的方法基于人工神经网络(ANN)的短文本分类显示出可喜的成果。然而,许多短文本是按顺序出现的(例如,文档中的句子或对话中的话语),并且大多数现有的基于ANN的系统在对后续文本进行分类时不利用前面的短文本。在这项工作中,我们提出了一个基于递归神经网络和卷积神经网络的模型,它结合了前面的短文本。我们的模型在三个不同的对话行为预测数据集上实现了最先进的结果。
2016-03-12 cs.AI cs.CL cs.LG
Bi-Directional Recurrent Neural Ordinary Differential Equations for Social Media Text Classification
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校)
由于文本的嘈杂和简短性质,对Twitter等社交媒体中的帖子进行分类是困难的。基于递归神经网络(RNN)的序列分类模型对于分类本质上是连续的帖子是流行的。RNN假设隐藏的表示动态以离散的方式演化,并且不考虑发布的确切时间。在这项工作中,我们建议使用递归神经常微分方程(RNODE)进行社交媒体帖子分类,考虑发布时间,并允许隐藏表示的计算以时间敏感的连续方式发展。此外,我们提出了一种新的模型,双向RNODE(Bi-RNODE),它可以考虑在两个方向上的信息流的张贴时间预测后标签。我们的实验表明,RNODE和Bi-RNODE是有效的社会媒体中的谣言的立场分类的问题。
2021-12-23 cs.CL cs.LG
Transformer-Encoder-GRU (T-E-GRU) for Chinese Sentiment Analysis on Chinese Comment Text
Northwest University(西北大学)
中文情感分析由于其复杂性和不确定性一直是自然语言处理的挑战之一。Transformer在捕获语义特征方面取得了成功,但它使用位置编码来捕获序列特征,与递归模型相比有很大的缺点。本文将Transformer编码器和GRU相结合,提出了一种用于中文情感分析的T-E-GRU。我们在三个中文评论数据集上进行了实验。针对中文评论文本中标点符号混乱的现象,我们选择性地保留了部分具有断句能力的标点符号。实验结果表明,T-E-GRU的性能优于经典递归模型和带注意的递归模型。
2021-08-01 cs.AI cs.CL
Khmer Text Classification Using Word Embedding and Neural Networks
Techo Startup Center(Techo创业中心)
文本分类是自然语言处理中的基本任务之一,用于标记开放式文本,并且对于诸如情感分析的各种应用是有用的。在本文中,我们讨论了各种分类方法的高棉文本,从一个经典的TF-IDF算法与支持向量机分类器的现代词嵌入为基础的神经网络分类器,包括线性层模型,递归神经网络和卷积神经网络。在3000万高棉词语料库上训练高棉词嵌入模型,以构建用于训练三个不同神经网络分类器的词向量表示。我们评估了不同方法在新闻文章数据集上进行多类和多标签文本分类任务的性能。结果表明,使用词嵌入模型的神经网络分类器始终优于使用TF-IDF的传统分类器。与卷积网络和线性层网络相比,递归神经网络分类器提供稍好的结果。
2021-12-13 cs.CL
Reducing Computational Costs in Sentiment Analysis: Tensorized Recurrent Networks vs. Recurrent Networks
针对传统循环网络情感分析模型参数量大、计算成本高的问题,本文提出用张量化循环模型进行社交媒体帖子情感分类,实验证明其能用更少训练资源达到与传统模型相当的性能。
2023-06-16 cs.CL cs.LG
Generative and Discriminative Text Classification with Recurrent Neural Networks
DeepMind
我们以经验为基础描述了用于文本分类的判别式和生成式LSTM模型的性能。我们发现,尽管基于RNN的生成模型比它们的词袋祖先更强大(例如,它们考虑了文档中单词之间的条件依赖性),它们具有比区分训练的RNN模型更高的渐近错误率。然而,我们也发现生成模型比它们的判别模型更快地接近它们的渐近错误率--Ng & Jordan(2001)证明的模式同样适用于做出更天真的条件独立假设的线性分类模型。基于这一发现,我们假设基于RNN的生成分类模型对数据分布的变化更鲁棒。这一假设在zero-shot和连续学习设置中的一系列实验中得到了证实,这些实验表明生成模型的性能大大优于判别模型。
2017-05-26 cs.CL cs.LG stat.ML
LIMSI_UPV at SemEval-2020 Task 9: Recurrent Convolutional Neural Network for Code-mixed Sentiment Analysis
LIMSI, CNRS, Université Paris-Saclay(LIMSI实验室,法国国家科学研究中心,巴黎-萨克雷大学);Universitat Politècnica de València(瓦伦西亚理工大学)
本文介绍了LIMSI UPV团队参与SemEval-2020任务9:代码混合社交媒体文本的情感分析。所提出的方法在SentiMix印地语-英语子任务中竞争,该子任务解决了预测给定印地语-英语代码混合推文的情感的问题。我们提出了递归卷积神经网络,它结合了递归神经网络和卷积网络,以更好地捕捉文本的语义,代码混合的情感分析。所提出的系统在给定的测试数据上获得了0.69(最佳运行)的F1分数,并在SentiMix印地语-英语子任务中获得了第9名(Codalab用户名:somban)。
2020-08-30 cs.AI cs.CL
Text Sentiment Analysis and Classification Based on Bidirectional Gated Recurrent Units (GRUs) Model
本文提出基于双向GRUs模型的情感分析与分类方法,通过预处理和训练,验证集准确率提升8%,测试集F1达97.4%,证明模型有效且泛化良好。
2024-06-12 cs.CL cs.LG
BERT-Based Combination of Convolutional and Recurrent Neural Network for Indonesian Sentiment Analysis
Universitas Indonesia(印度尼西亚大学)
情感分析是对文本中所表达的观点和情感的计算研究。深度学习是目前在各种应用领域中产生最先进技术的模型,包括情感分析。许多研究人员正在使用一种混合方法,该方法结合了不同的深度学习模型,并已被证明可以提高模型性能。在情感分析中,文本数据中的输入首先被转换成数值表示。用于获得文本表示的标准方法是微调嵌入方法。然而,这种方法并不关注句子中每个单词的上下文。因此,双向编码器表示从Transformer(BERT)模型被用来获得基于上下文和句子中的单词的位置的文本表示。这项研究扩展了以前的混合深度学习,使用BERT表示印度尼西亚情感分析。我们的模拟表明,BERT表示提高了所有混合架构的准确性。基于BERT的LSTM-CNN也比其他基于BERT的混合架构达到了更好的精度。
2022-11-10 cs.CL cs.LG
Sentiment Analysis on Bangla and Romanized Bangla Text (BRBT) using Deep Recurrent models
University of Liberal Arts Bangladesh (ULAB)(孟加拉国自由艺术大学)
情感分析是数字时代的一个行动研究领域。随着在线社交媒体网站和服务的快速和持续增长,以及其中可用的文本数据(例如状态、评论、评论等)的数量不断增加,自动SA的应用正在增加。然而,在自然语言处理(NLP)中,对语义分析的研究大多是基于英语语言的。尽管孟加拉语是世界上第六大使用最广泛的语言,但它仍然没有一个大型和标准的数据集。正因为如此,孟加拉国最近的研究工作未能产生既可以与其他人所做的工作相媲美,又可以作为未来研究人员在这一领域取得进展的垫脚石的结果。因此,我们首先尝试提供一个文本数据集-不仅包括孟加拉语,还包括罗马化的孟加拉语文本,是大量的,经过后处理和多次验证,准备用于SA实验。我们使用两种类型的损失函数-二进制交叉熵和分类交叉熵,在深度递归模型中测试了这个数据集,特别是长短期记忆(LSTM),并通过使用一个验证的数据来预训练另一个验证,反之亦然。最后,我们记录了结果,并对它们进行了一些分析,这是有希望的。
2016-11-24 cs.CL cs.IR cs.LG
BIDRN: A Method of Bidirectional Recurrent Neural Network for Sentiment Analysis
K. S. Rangasamy College of Technology(K. S. Rangasamy理工学院);Anna University(安娜大学)
本研究提出SA-DBRNN方案,利用深度双向循环神经网络对非结构化文本进行情感极性分析,旨在为机构选择中学生反馈提供系统框架,并建立比现有框架更强大的情感分类模型。
2023-11-13 cs.CL cs.IR
Language Semantics Interpretation with an Interaction-based Recurrent Neural Networks
Columbia University(哥伦比亚大学)
文本分类是自然语言处理中的一项基本语言任务。各种序列模型都能做出很好的预测,但语言语义和预测结果之间缺乏联系。本文提出了一种新的影响分数(I-score),一个贪婪的搜索算法称为向后丢弃算法(BDA),和一个新的特征工程技术称为“匕首技术”。首先,本文提出了一种新的影响分数(I-score)检测和搜索文本文档中的重要语言语义,有助于在文本分类任务中做出良好的预测。接下来,提出了一种称为向后丢弃算法的贪婪搜索算法来处理数据集中的长期依赖关系。此外,本文提出了一种新的工程技术,称为“匕首技术”,充分保留解释变量和响应变量之间的关系。所提出的技术可以进一步推广到任何前馈人工神经网络(ANN)和卷积神经网络(CNN),以及任何神经网络。在互联网电影数据库(IMDB)上的一个实际应用中,所提出的方法被应用于提高预测性能,与其他流行的同行相比,如果I-评分和“匕首技术”没有实现的错误减少了81%。
2021-11-02 cs.CL cs.LG
Bayesian Sparsification of Recurrent Neural Networks
National Research University Higher School of Economics(国立研究大学高等经济学院);Kaspersky Lab(卡巴斯基实验室);Lomonosov Moscow State University(莫斯科国立大学);Yandex
循环神经网络在许多文本分析任务中显示出最先进的结果,但通常需要大量内存来存储其权重。最近提出的稀疏变分丢弃消除了前馈神经网络中的大部分权重,而没有显着的质量损失。我们应用这种技术来稀疏循环神经网络。为了解释经常性的细节,我们还依赖于RNN的二进制变分丢弃。我们在情感分析任务上报告了99.5%的稀疏度,而没有质量下降,在语言建模任务上报告了高达87%的稀疏度,精度略有下降。
2017-07-31 cs.CL cs.LG stat.ML
Semantic Sentiment Analysis Based on Probabilistic Graphical Models and Recurrent Neural Network
African University of Science and Technology(非洲科技大学)
情感分析是基于文本形式表达的情感对文档进行分类的任务,这可以通过使用词汇和语义方法来实现。本研究的目的是探讨使用语义进行情感分析的基础上概率图形模型和递归神经网络。在实证评估中,将图形模型的分类性能与一些传统的机器学习分类器和循环神经网络进行了比较。用于实验的数据集是IMDB电影评论,亚马逊消费品评论和Twitter评论数据集。经过实证研究,我们得出结论,包括语义的情感分析任务,可以大大提高分类器的性能,语义特征提取方法减少分类的不确定性,从而更准确的预测。
2020-08-06 cs.CL cs.SI
Depression detection from Social Media Bangla Text Using Recurrent Neural Networks
University of Maryland Baltimore County(马里兰大学巴尔的摩分校);Bangladesh University of Engineering & Technology(孟加拉国工程技术大学);University of Dhaka(达卡大学);Jahangirnagar University(贾汉吉尔纳加尔大学);Jagannath University(贾格纳特大学)
本研究针对社交媒体文本中的抑郁症检测问题,对含983条孟加拉语文本的数据集应用NLP预处理与多种特征提取技术,对比LSTM、GRU等分类器效果,助力心理学家识别抑郁情绪以开展干预。
2024-12-08 cs.CL cs.HC cs.LG
A Novel Framework for Recurrent Neural Networks with Enhancing Information Processing and Transmission between Units
School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机学院)
基于认知神经科学中的人类记忆模型,提出了一种新的循环神经网络(RNN)框架,以增强相邻RNN单元之间的信息处理和传输。RNN的框架由工作记忆、遗忘和长期存储三个阶段组成。第一阶段包括将输入数据取入感觉记忆,并将其转移到工作记忆进行初步处理。第二阶段主要是主动遗忘工作记忆中的次要信息而不是主要信息。最后,我们通常使用某种RNN的单位来获得长期存储。我们的框架,这是广义和简单的,6个数据集,分为3个不同的任务,对应于文本分类,图像分类和语言建模进行评估。实验结果表明,该框架可以明显提高传统循环神经网络的性能。探索性任务显示了我们的框架正确遗忘次要信息的能力。
2018-06-02 cs.CL cs.LG cs.NE
Sentence Level Recurrent Topic Model: Letting Topics Speak for Themselves
University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院)
我们提出了句子级循环主题模型(SLRTM),一个新的主题模型,假设在一个句子中的每个词的生成依赖于句子的主题和整个历史的句子中的前面的话。与传统的主题模型在很大程度上忽略了词的顺序或主题连贯性不同,SLRTM通过使用基于递归神经网络(RNN)的框架来充分表征它们。实验结果表明,SLRTM在各种任务上都优于几个强基线。此外,SLRTM可以自动生成给定主题的句子(即,主题到句子),这是用于诸如个性化短文本会话的现实世界应用的关键技术。
2016-04-08 cs.CL cs.IR cs.LG
Recurrent Attention Networks for Long-text Modeling
Ant Group(蚂蚁集团);School of Science and Technology, Hong Kong Metropolitan University(香港都会大学科学与技术学院);Department of Computing and Decision Sciences, Lingnan University(岭南大学计算及决策科学学系);Department of Computing, Hong Kong Polytechnic University(香港理工大学计算学系)
针对自注意力模型处理长文本时计算复杂度高、分块循环方案无法并行的问题,提出循环注意力网络RAN,兼具自注意力与循环结构优势,支持并行,在分类和序列任务上验证了长文本编码能力。
2023-06-12 cs.CL
Recurrent Neural Network based Part-of-Speech Tagger for Code-Mixed Social Media Text
CDAC Mumbai(孟买先进计算发展中心)
本文介绍了高级计算开发中心(CDACM)提交的共享任务-“代码混合印度社交媒体(Facebook,Twitter和Whatsapp)文本的POS标记工具竞赛”,与ICON-2016搭配。共同的任务是预测词性(POS)标签在单词水平上为一个给定的文本。代码混合文本主要由多语言用户在社交媒体上生成。多语言单词、音译和拼写变体的存在使这些内容在语言上变得复杂。本文提出了一种基于循环神经网络语言模型(RNN-LM)架构的POS标签混合社交媒体文本识别方法。我们提交了印地语-英语(hi-en)、孟加拉语-英语(bn-en)和泰卢固语-英语(te-en)代码混合数据的结果。
2016-11-16 cs.CL
Linear-Time and Constant-Memory Text Embeddings Based on Recurrent Language Models
Dynatrace Research(DynaTrace研究)
本文提出基于循环架构的高效文本嵌入方法,通过垂直分块推理策略实现线性时间复杂度和常数内存使用,验证了Mamba2等模型在文本嵌入任务中的有效性。
2026-04-20 cs.CL
Recurrence Boosts Diversity! Revisiting Recurrent Latent Variable in Transformer-Based Variational AutoEncoder for Diverse Text Generation
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京国家信息科学与技术研究中心);Institute for Artificial Intelligence, Tsinghua University(清华大学人工智能研究院);Microsoft Research Asia(微软亚洲研究院);Jiangsu Normal University(江苏师范大学);Jiangsu Collaborative Innovation Center for Language Ability(江苏省语言能力协同创新中心)
变分自动编码器(VAE)在文本生成中得到了广泛的应用。在许多变体中,递归VAE学习令牌式潜变量,每个潜变量都以前面的潜变量为条件,这在RNN时代更好地捕捉了序列变异性。然而,目前还不清楚如何将这种经常性的动态到最近占主导地位的Transformer,由于其并行性。在这项工作中,我们提出了TRACE,一个基于transformer的递归VAE结构。TRACE对具有任意分离的文本段的逐段潜变量施加递归,并构造具有残差参数化的后验分布。此外,我们设计了一个加速方法,通过近似幂等矩阵,允许并行性,同时保持条件依赖的潜在变量。我们证明了TRACE可以增强每段和前一个潜变量的纠缠度,并推导出KL项的非零下界,为世代多样性提供了理论保证。两个无条件和一个条件生成任务的实验表明,TRACE实现了显着提高多样性,同时保持令人满意的生成质量。
2022-11-23 cs.CL
Recurrent Inference in Text Editing
Georgia Institute of Technology(佐治亚理工学院);University of Illinois(伊利诺伊大学);Learnable, Inc.(Learnable公司);Horizon Robotics, Inc.(地平线机器人公司)
在神经文本编辑中,流行的基于序列到序列的方法直接将未编辑的文本映射到编辑的文本或编辑操作,其中有限的源文本编码和长的、变化的解码步骤降低了性能。为了解决这个问题,我们提出了一个新的推理方法,递归,迭代地执行编辑操作,显着缩小了问题空间。在每次迭代中,对部分编辑的文本进行编码,Recurrence对潜在表示进行解码,生成一个简短的固定长度的动作,并应用该动作完成一次编辑。为了进行全面的比较,我们介绍了三种类型的文本编辑任务:算术运算符恢复(AOR),算术方程简化(AES),算术方程校正(AEC)。在这些任务上进行的大量实验表明,与传统的推理方法相比,Recurrence实现了改进。
2020-09-30 cs.CL
Recurrent Alignment with Hard Attention for Hierarchical Text Rating
School of Economics and Management, East China Normal University(华东师范大学经济与管理学院);School of Public Affairs, Zhejiang University(浙江大学公共管理学院);National Experiment Base for Intelligent Evaluation and Governance, Fudan University(复旦大学智能评估与治理国家实验基地);Strategic Assessments and Consultation Institute, AMS(AMS战略评估与咨询研究院)
针对大语言模型难以处理层级文本结构并直接完成文本评分的问题,提出融合硬注意力与类马尔可夫循环对齐的RAHA框架,在多个层级及普通文本评分数据集上性能超越现有最优方法。
2024-10-08 cs.CL
Transliteration of Judeo-Arabic Texts into Arabic Script Using Recurrent Neural Networks
Tel Aviv University(特拉维夫大学);College of Management(管理学院);Academic Studies(学术研究机构)
我们训练了一个模型,将犹太-阿拉伯语文本自动翻译成阿拉伯语脚本,使阿拉伯语读者能够访问这些作品。我们采用了一个递归神经网络(RNN),结合连接主义时间分类(CTC)的损失,以处理不等的输入/输出长度。这要求在训练数据中进行调整,以避免输入序列短于其对应的输出。我们也利用不同的损失函数的预训练阶段,以提高网络的收敛性。由于只有一个并行文本源可用于训练,我们利用了综合生成数据的可能性。我们训练一个模型,它有能力记住输出语言中的单词,并且还利用上下文来区分音译中的歧义。我们获得了比基线9.5%的字符错误,实现2%的错误与我们的最佳配置的改善。为了衡量上下文对学习的贡献,我们还测试了单词混洗数据,其误差上升到2.5%。
2020-10-21 cs.CL
Deep Recurrent Generative Decoder for Abstractive Text Summarization
The Chinese University of Hong Kong(香港中文大学);Tencent Inc.(腾讯公司)
我们提出了一个新的框架,抽象的文本摘要的基础上,序列到序列导向的编码器-解码器模型配备了一个深度递归生成解码器(DRGN)。为了提高摘要质量,基于递归潜随机模型学习目标摘要中隐含的潜在结构信息。神经变分推理用于解决递归隐变量的后验推理问题。摘要生成的基础上生成的潜变量和歧视性的确定性状态。在不同语言的基准数据集上的大量实验表明,DRGN实现了对最先进方法的改进。
2017-08-02 cs.AI cs.CL
Multi-level Gated Recurrent Neural Network for Dialog Act Classification
Peking University(北京大学)
在本文中,我们专注于对话行为(DA)标记的问题。这个问题最近吸引了很多关注,因为它是当前需求量很大的自动问答系统的重要子部分。传统的方法倾向于将这个问题视为序列标记任务,并通过应用具有丰富特征的分类器来处理它。目前大多数神经网络模型仍然忽略了会话中的序列信息。然而,我们采用了一种新的多级门控循环神经网络(GRNN)与非文本信息预测DA标签。我们的模型不仅利用文本信息,但也利用非文本和上下文信息。相比之下,我们的模型已经显示出显着的改善超过6%的开关板对话法(SWDA)任务比以前的作品。
2019-10-04 cs.CL
Memory-Augmented Recurrent Neural Networks Can Learn Generalized Dyck Languages
Harvard John A. Paulson School of Engineering and Applied Sciences(哈佛大学约翰·A·保尔森工程与应用科学学院);MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
我们介绍了三个内存增强的循环神经网络(MARNN),并探讨了一系列简单的语言建模任务,其解决方案需要基于堆栈的机制,他们的能力。我们提供了神经网络识别广义Dyck语言的第一个演示,广义Dyck语言表达了具有层次结构的语言的核心。我们的内存增强架构很容易训练在一个端到端的方式,可以学习的Dyck语言超过多达六个括号对,除了两个确定性回文语言和字符串反转转换任务,通过模仿下推自动机。我们的实验强调了内存增强模型在简单RNN上的建模能力,同时也反映了我们对这些模型局限性的理解。
2019-11-08 cs.CL cs.LG cs.NE
Inducing Multilingual Text Analysis Tools Using Bidirectional Recurrent Neural Networks
CEA, LIST, LVIC(法国原子能与替代能源委员会,信息与系统技术实验室,LVIC);LIG, Univ. Grenoble-Alpes(格勒诺布尔计算机科学实验室,格勒诺布尔-阿尔卑斯大学)
这项工作的重点是快速开发的语言注释工具,资源贫乏的语言。我们使用循环神经网络(RNN)模型实验了几种跨语言注释投影方法。我们的方法的显着特点是,我们的多语种单词表示只需要一个平行的语料库之间的源和目标语言。更确切地说,我们的方法具有以下特点:(a)它不使用单词对齐信息,(b)它不假设任何关于外语的知识,这使得它适用于广泛的资源贫乏的语言,(c)它提供真正的多语言标记。我们研究了单向和双向RNN模型,并提出了一种方法,将外部信息(例如来自POS的低级别信息)包含在RNN中,以训练更高级别的标记器(例如,超感标记器)。我们证明了我们的模型的有效性和通用性,通过使用平行语料库(手动或自动翻译获得)。我们的实验是为了诱导跨语言的词性标注和超义标注。
2016-09-29 cs.CL
Language Generation with Recurrent Generative Adversarial Networks without Pre-training
School of Computer Science, Tel-Aviv University(特拉维夫大学计算机科学学院);Zebra Medical Vision(斑马医疗视觉公司);IBM Research(IBM研究院);Facebook AI Research(Facebook人工智能研究院)
生成对抗网络(GANs)最近在图像生成方面表现出了巨大的潜力。训练用于语言生成的GANs已被证明更加困难,因为使用递归神经网络生成文本的不可微性。因此,过去的工作要么采用最大似然的预训练,要么使用卷积网络进行生成。在这项工作中,我们证明了循环神经网络可以通过课程学习从头开始训练GANs来生成文本,方法是慢慢地教模型生成增加和可变长度的序列。我们的经验表明,与卷积基线相比,我们的方法大大提高了生成序列的质量。
2017-12-21 cs.CL
Restoration of Fragmentary Babylonian Texts Using Recurrent Neural Networks
Bar-Ilan University(巴伊兰大学);Davidson Institute of Science Education(戴维森科学教育研究所);Weizmann Institute of Science(魏茨曼科学研究所);Ariel University(阿里尔大学)
有关古代美索不达米亚历史和文化的主要信息来源是粘土楔形文字板。尽管是一种宝贵的资源,但许多平板电脑都是碎片化的,导致信息缺失。目前,这些缺失部分由专家手动完成。在这项工作中,我们调查的可能性,协助学者,甚至自动完成从阿契美尼德时期巴比伦古阿卡德文本的休息,通过使用循环神经网络建模的语言。
2020-03-04 cs.CL cs.LG stat.ML
Linguistic Knowledge as Memory for Recurrent Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
训练循环神经网络来建模长期依赖性是困难的。因此,我们建议使用外部语言知识作为显式信号,以告知模型应该使用哪些记忆。具体地说,外部知识被用来增加一个序列与任意距离的元素之间的类型化的边缘,和所得到的图被分解成有向非循环子图。我们介绍了一个模型,编码这样的图形作为显式记忆的循环神经网络,并用它来模拟文本中的共指关系。我们将我们的模型应用于几个文本理解任务,并在所有考虑的基准测试中取得了新的最先进的结果,包括CNN,bAbi和LAMBADA。在bAbi QA任务上,我们的模型解决了20个任务中的15个,每个任务只有1000个训练样本。对学习到的表示的分析进一步证明了我们的模型在文档中编码细粒度实体信息的能力。
2017-03-07 cs.CL
Chains of Reasoning over Entities, Relations, and Text using Recurrent Neural Networks
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
我们的目标是将符号逻辑推理丰富的多步推理与神经网络的泛化能力结合起来。我们对文本和大规模知识库(KBs)中的实体和关系的复杂推理特别感兴趣。Neelakantan et al.(2015)使用RNN来构建KB中多跳路径的分布式语义;然而,由于多种原因,该方法缺乏准确性和实用性。本文提出了三个重要的建模进展:(1)我们学会了联合推理关系,实体和实体类型;(2)我们使用神经注意力建模来整合多个路径;(3)我们学会了在一个单一的RNN中共享力量,该RNN代表所有关系的逻辑组成。在一个大规模的Freebase+ Cocktail Web预测任务,我们实现了25%的错误减少,和53%的错误减少稀疏的关系,由于共享的力量。在WordNet中的推理链上,我们将平均分位数的错误减少了84%,与以前的最先进技术相比。代码和数据可在https://rajarshd.github.io/ChainsofReasoning上获得
2017-05-01 cs.CL
An Investigation of Recurrent Neural Architectures for Drug Name Recognition
University of Sydney(悉尼大学);Capital Markets CRC(资本市场合作研究中心);University of Technology Sydney(悉尼科技大学)
药物名称识别(DNR)是药物警戒(PV)管道中的重要步骤。DNR的目标是在非结构化的生物医学文本中找到药物名称,并将其分类到预定义的类别中。最先进的DNR方法严重依赖于手工制作的功能和难以收集和调整的特定于域的资源。出于这个原因,本文研究了当代递归神经架构的有效性-Elman和Jordan网络以及带有CRF解码的双向LSTM-直接从文本执行DNR。在权威的SemEval-2013 Task 9.1基准测试中获得的实验结果表明,双向LSTM-CRF与高度专用的手工制作的系统非常接近。
2016-09-24 cs.CL
Improved Neural Language Model Fusion for Streaming Recurrent Neural Network Transducer
Facebook AI(脸书人工智能研究院)
与大多数端到端语音识别模型架构一样,循环神经网络转换器(RNN-T)具有隐式神经网络语言模型(NNLM),并且在训练期间无法轻松利用不成对的文本数据。以前的工作已经提出了各种融合方法,将外部NNLM合并到端到端ASR中,以解决这一弱点。在本文中,我们提出了对这些技术的扩展,允许RNN-T在训练和推理时间内利用外部NNLM,与强基线相比,Librispeech的相对单词出错率提高了13-18%。此外,我们的方法不会产生额外的算法延迟,并且允许灵活地即插即用不同的NNLM,而无需重新训练。我们还分享了深入的分析,以更好地了解不同NNLM融合方法的好处。我们的工作提供了一种可靠的技术,可以利用未配对的文本数据来显着改进RNN-T,同时保持系统的可流化,灵活和轻量级。
2020-10-26 cs.CL
mu-Forcing: Training Variational Recurrent Autoencoders for Text Generation
Sichuan University(四川大学)
之前已经观察到,训练变分循环自动编码器(VRAE)以生成文本存在严重的无信息潜变量问题。该模型将崩溃成一个简单的语言模型,完全忽略了潜在变量,只能生成重复和枯燥的样本。本文探讨了这一问题背后的原因,并提出了一种有效的基于正则化器的方法来解决这一问题,该方法直接在VRAE的学习过程中对隐变量的后验子注入额外的约束,可以灵活稳定地控制KL项和重构项之间的权衡,使模型学习到密集且有意义的隐表示。实验结果表明,该方法优于几个强基线,可以使模型学习可解释的潜变量,并产生不同的有意义的句子。此外,所提出的方法可以很好地执行,而无需使用其他策略,如KL退火。
2019-05-24 cs.CL cs.LG
Automatic Severity Classification of Coronary Artery Disease via Recurrent Capsule Network
East China University of Science and Technology(华东理工大学);Shanghai Shuguang Hospital(上海曙光医院)
冠状动脉疾病(CAD)是心血管疾病死亡的主要原因之一。CAD病情进展迅速,如果不能在早期诊断和治疗,最终可能导致不可逆的心肌死亡状态。有创冠状动脉造影是诊断冠心病的金标准技术。冠状动脉造影文本详细描述了哪个部分有狭窄以及狭窄程度。对冠心病的严重程度进行分级至关重要。本文采用递归胶囊网络(RCN)提取中文冠状动脉造影文本中临床命名实体之间的语义关系,并根据Gensini改进的方法自动找出每个管腔的最大狭窄程度,从而推断CAD的严重程度。在上海曙光医院语料库上的实验结果表明,该方法对CAD严重程度的分类准确率达到97.0%.
2018-11-27 cs.CL
Recurrent Chunking Mechanisms for Long-Text Machine Reading Comprehension
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tencent AI Lab(腾讯人工智能实验室);Microsoft Dynamics 365 AI(微软Dynamics 365人工智能部门)
在本文中,我们研究了长文本上的机器阅读理解(MRC),其中模型将长文档和问题作为输入,然后从文档中提取文本跨度作为答案。现有技术的模型倾向于使用预训练的Transformer模型(例如,BERT)对文档和问题的联合上下文信息进行编码。然而,这些基于变换器的模型只能采用固定长度(例如,512)文本作为输入。为了处理更长的文本输入,以前的方法通常将它们分成等间距的片段,并根据每个片段独立预测答案,而不考虑其他片段的信息。因此,它们可能会形成无法覆盖正确答案范围或在其周围保留不足上下文的片段,这会显着降低性能。此外,他们回答需要跨部门信息的问题的能力较低。我们建议通过强化学习让模型以更灵活的方式学习分块:模型可以决定它想要在任何方向上处理的下一个片段。我们还采用循环机制,使信息能够跨部门流动。在三个MRC数据集上的实验- CoQA,QuAC和TriviaQA -证明了我们提出的循环分块机制的有效性:我们可以获得更有可能包含完整答案的片段,同时在地面真相答案周围提供足够的上下文以进行更好的预测。
2020-05-19 cs.CL cs.LG
Generating Sequences With Recurrent Neural Networks
University of Toronto(多伦多大学)
本文展示了如何使用长短期记忆循环神经网络来生成具有长程结构的复杂序列,只需一次预测一个数据点即可。该方法被证明为文本(其中的数据是离散的)和在线手写(其中的数据是实值的)。然后,通过允许网络根据文本序列进行预测,将其扩展到手写合成。由此产生的系统是能够产生高度逼真的草书手写在各种各样的风格。
2014-06-05 cs.CL cs.NE
How Chaotic Are Recurrent Neural Networks?
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
循环神经网络(RNN)是一种非线性动态系统。以前的工作认为,RNN可能会受到混沌现象的影响,系统对初始状态敏感,从长远来看是不可预测的。然而,在本文中,我们进行了系统的实证分析,表明香草或长短期记忆(LSTM)RNN在实际应用(如文本生成)的训练过程中不会表现出混沌行为。我们的研究结果表明,未来在这个方向上的工作应该解决RNN非线性动力学的另一面。
2020-04-28 cs.CL
Learning to Skim Text
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌)
递归神经网络在自然语言处理的许多子领域都显示出很大的前景,从文档分类到机器翻译再到自动问答。尽管有这样的承诺,但许多循环模型必须逐字阅读整个文本,这使得处理长文档的速度很慢。例如,很难使用递归网络来阅读一本书并回答有关它的问题。在本文中,我们提出了一种阅读文本的方法,同时在必要时跳过不相关的信息。底层模型是一个循环网络,它在阅读输入文本的几个单词后学习跳多远。我们采用标准的政策梯度方法训练模型,使离散的跳跃决策。在我们对四个不同任务的基准测试中,包括数字预测,情感分析,新闻文章分类和自动问答,我们提出的模型,一个带有跳跃的修改后的LSTM,比标准的顺序LSTM快6倍,同时保持相同甚至更好的准确性。
2017-04-29 cs.CL cs.LG
Abstractive Headline Generation for Spoken Content by Attentive Recurrent Neural Networks with ASR Error Modeling
National Taiwan University(台湾大学)
由于口语内容难以显示在屏幕上并被用户浏览,因此口语内容的标题生成是重要的。它是一种特殊类型的摘要,摘要是从零开始逐字生成的,而不使用原始内容的任何部分。最近提出了许多用于从文本文档生成标题的深度学习方法,这些方法都需要大量的训练数据,这对于口语文档摘要是困难的。在本文中,我们提出了一个ASR错误建模方法来学习ASR错误模式的底层结构,并将此模型的注意递归神经网络(ARNN)架构。通过这种方式,可以从大量的文本数据和一些识别器的ASR数据中学习用于口语内容的抽象标题生成的模型。实验表明,非常令人鼓舞的结果,并验证了所提出的ASR错误模型工作良好,即使输入的口语内容是由一个识别器非常不同的模型学习。
2016-12-26 cs.CL
Position-Invariant Truecasing with a Word-and-Character Hierarchical Recurrent Neural Network
Google(谷歌)
Truecasing是恢复由语音识别或机器翻译的自动系统或由人类生成的嘈杂文本的正确情况(大写或小写)的任务。它提高了下游NLP任务的性能,例如命名实体识别和语言建模。我们提出了一个快速,准确和紧凑的两级层次的单词和字符为基础的循环神经网络模型,第一次为这个问题。使用序列蒸馏,我们还解决了问题,同时忽略句子中的标记位置,即在位置不变的方式。
2021-09-01 cs.CL
GradAscent at EmoInt-2017: Character- and Word-Level Recurrent Neural Network Models for Tweet Emotion Intensity Detection
University of Hamburg(汉堡大学)
WASSA 2017年的任务是预测推文信息的情绪强度值。给定一条推文的文本及其情绪类别(愤怒、喜悦、恐惧和悲伤),参与者被要求构建一个分配情绪强度值的系统。情感强度估计是一个具有挑战性的问题,因为推文的长度很短,文本的噪声结构和缺乏注释的数据。为了解决这个问题,我们开发了两个神经模型的集成,处理字符上的输入。和单词级的词汇驱动系统。对所有四种情绪的相关性得分进行平均,以确定底线竞争指标,我们的系统在撰写本文时(2017年6月)的23个系统中,在全强度范围内排名第四,在0.5-1强度范围内排名第三。
2018-03-30 cs.CL
Joint Learning of Correlated Sequence Labelling Tasks Using Bidirectional Recurrent Neural Networks
IBM Research - Bangalore(IBM研究院-班加罗尔);IBM Research - Haifa(IBM研究院-海法)
由自动语音识别(ASR)系统产生的单词流通常没有标点和格式化。大多数自然语言处理应用程序都希望输入经过分割且格式良好的文本,这在ASR输出中是不可用的。本文提出了一种新的技术,使用双向循环神经网络联合建模多个相关的任务,如标点符号和大写,从而提高这些任务的性能。该方法可以扩展到任何其他相关序列标记任务的联合建模。
2017-07-18 cs.CL
Recurrent Graph Syntax Encoder for Neural Machine Translation
UBTECH Sydney AI Centre(优必选悉尼人工智能中心);University of Sydney(悉尼大学)
结合句法的机器翻译模型在提高模型的推理能力和语义保持能力方面已被证明是成功的。在本文中,我们提出了一个简单而有效的图形结构的编码器,递归图编码器,被称为\textbf{RGSE},它提高了捕捉有用的语法信息的能力。RGSE是在标准编码器(循环或自注意编码器)上完成的,将循环网络单元视为图节点,并将语法依赖性注入为边,使得RGSE同时对语法依赖性和顺序信息(\textit{i.e.},词序)进行建模。我们的方法在英语$\Rightarrow$德语和英语$\Rightarrow$捷克语翻译任务中实现了几个语法感知NMT模型的相当大的改进。在WMT 14 En-De任务中,配备RGSE的大模型取得了与现有模型相当的成绩。大量的分析进一步验证了RGSE可以有利于长句建模,并产生更好的翻译。
2019-08-19 cs.CL cs.LG
Learning to Rank Question-Answer Pairs using Hierarchical Recurrent Encoder with Latent Topic Clustering
Dept. of Electrical and Computer Engineering(电子与计算机工程系);Seoul National University(首尔国立大学)
在本文中,我们提出了一种新的端到端的神经网络架构的候选答案排名,适应分层递归神经网络和潜在的主题聚类模块。通过我们提出的模型,文本被编码为从词级到块级的矢量表示,以有效地捕获整个含义。特别是,通过调整层次结构,我们的模型表现出非常小的性能下降,在较长的文本理解,而其他国家的最先进的循环神经网络模型遭受它。此外,潜在主题聚类模块提取语义信息的目标样本。这个聚类模块对于任何与文本相关的任务都很有用,它允许每个数据样本找到其最近的主题聚类,从而帮助神经网络模型分析整个数据。我们评估我们的模型上的Ubuntu对话语料库和消费电子领域的问答数据集,这是相关的三星产品。该模型显示了最先进的结果排名问答对。
2018-04-09 cs.AI cs.CL
Grounded Recurrent Neural Networks
CIMS, New York University(纽约大学库朗数学科学研究所);CSAIL & IMES, Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室及医学工程与科学研究所)
在这项工作中,我们提出了接地递归神经网络(GRNN),这是一种用于多标签预测的递归神经网络架构,它明确地将标签与递归隐藏状态的特定维度联系起来(我们称这个过程为“接地”)。该方法特别适合从文本中提取大量概念。我们应用新模型来解决医疗保健中的一个重要问题,即理解临床文本中讨论的医学概念。使用来自重症监护病房的公开数据集,我们学会了从出院总结中标记患者的诊断和程序。我们的评估表明,在各种强大的基线上使用我们提出的架构具有明显的优势。
2017-05-23 cs.CL cs.LG cs.NE
The Referential Reader: A Recurrent Entity Network for Anaphora Resolution
The University of Melbourne(墨尔本大学);Facebook AI Research(脸书人工智能研究院);University of Washington(华盛顿大学)
我们提出了一种新的架构,用于存储和访问实体提到在线文本处理。在读取文本时,实体引用被标识,并且可以通过更新或删除固定长度存储器中的单元来存储。更新操作意味着与存储在同一单元格中的其他提及的共引用;重写操作导致这些提及被遗忘。通过将存储器操作编码为可微分门,可以使用监督的照应解析目标以及补充语言建模目标来端到端地训练模型。对代词-名字回指数据集的评估表明,纯增量文本处理具有很强的性能。
2019-07-09 cs.CL cs.LG
ORAL: Prompting Your Large-Scale LoRAs via Conditional Recurrent Diffusion
The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);National University of Singapore(新加坡国立大学)
本文提出条件循环扩散框架ORAL,通过融合模型架构与任务文本条件生成任务特定的LoRA参数,在数十亿参数LLMs上同时实现可扩展性与可控性,并在多类任务中取得与常规训练相当或更优的性能。
2025-04-08 cs.AI cs.CL cs.CV
Recurrent Image Captioner: Describing Images with Spatial-Invariant Transformation and Attention Filtering
UESTC(电子科技大学)
随着递归神经网络在建模序列数据方面的繁荣和注意力机制在自动识别显著信息方面的强大功能,图像描述,又名,图像描述,近年来有了显著的进步。然而,大多数现有范例可能遭受对具有不同缩放、旋转等的图像的不变性的不足;有效整合独立的注意力,形成一个整体的端到端系统。在本文中,我们提出了一种新的图像描述体系结构,称为循环图像字幕(\textbf{RIC}),它允许视觉编码器和语言解码器的连贯合作,在一个经常性的方式。具体来说,我们首先为基于CNN的视觉编码器配备了一个可微层,以实现视觉信号的空间不变变换。此外,我们部署了一个注意力过滤器模块(可区分)之间的编码器和解码器,以动态地确定显着的视觉部分。我们还使用双向LSTM来预处理句子,以生成更好的文本表示。此外,我们建议利用变分推理来优化整个架构。在三个基准数据集上的广泛实验结果(即,Flickr 8 k,Flickr 30 k和MS COCO)证明了我们提出的架构相比,最先进的方法的优越性。
2016-12-15 cs.CL cs.CV
Detecting Speculative Language in Biomedical Texts using Recurrent Neural Tensor Networks
Stevens Institute of Technology(史蒂文斯理工学院)
利用分布式句子表示和深度学习技术,提出递归神经张量网络(RNTN)用于自动检测生物医学文献中的推测性语言,性能略优于线性双元SVM(F1=0.885 vs 0.881)。
2026-06-09 cs.AI cs.CL
Recurrent Context Compression: Efficiently Expanding the Context Window of LLM
University of Chinese Academy of Sciences(中国科学院大学);Wuhan AI Research(武汉人工智能研究院)
本文提出循环上下文压缩方法RCC,在受限存储下高效扩展LLM上下文窗口,并通过指令重建缓解压缩导致的响应质量下降,在32倍压缩率下仍保持接近0.95的BLEU4分数和1M序列长度下近100%的密钥检索准确率。
2024-06-10 cs.AI cs.CL
Generating News Headlines with Recurrent Neural Networks
我们描述了具有LSTM单元和注意力的编码器-解码器递归神经网络的应用,以从新闻文章的文本中生成标题。我们发现,该模型是相当有效的,在简明的释义新闻文章。此外,我们还研究了神经网络如何决定要注意哪些输入单词,特别是我们确定了简化的注意力机制中不同神经元的功能。有趣的是,我们简化的注意力机制比更复杂的注意力机制在一组文章上表现得更好。
2015-12-05 cs.CL cs.LG cs.NE