Using LSTM and GRU With a New Dataset for Named Entity Recognition in the Arabic Language
ITMO University（ITMO大学）
针对阿拉伯语结构化数据缺乏的问题，构建了包含超3.6万条记录的BIOES格式新数据集，并提出基于LSTM和GRU的命名实体识别模型，取得约80%的良好结果。
2023-04-06 cs.CL
Fast and Accurate Entity Recognition with Iterated Dilated Convolutions
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
今天，当许多从业者在整个网络和大流量上运行基本的NLP时，更快的方法对于节省时间和能源成本至关重要。GPU硬件的最新进展导致了双向LSTM的出现，它是一种标准方法，用于获得每个令牌的向量表示，作为NER等标记任务的输入（通常在线性链CRF中进行预测）。尽管这些模型表达能力强且准确，但它们未能充分利用GPU并行性，从而限制了它们的计算效率。本文提出了一种用于NER的Bi-LSTM的更快的替代方案：迭代扩张卷积神经网络（ID-CNN），它比传统CNN具有更好的大上下文和结构化预测能力。与LSTM不同，LSTM对长度为N的句子的顺序处理即使在并行的情况下也需要O（N）时间，ID-CNN允许固定深度的卷积在整个文档中并行运行。我们描述了网络结构、参数共享和训练过程的独特组合，使测试时间加速14- 20倍，同时保持与Bi-LSTM-CRF相当的准确性。此外，经过训练以从整个文档中聚合上下文的ID-CNN甚至更准确，同时保持8倍的测试时间速度。
2017-07-22 cs.CL
Intent Classification in Question-Answering Using LSTM Architectures
ENEA（意大利国家新技术、能源与可持续经济发展署）
问答（QA）无疑是自然语言处理（NLP）和人工智能（AI）中最著名也可能是最复杂的问题之一。由于找到一个通用答案的完整解决方案似乎还很遥远，最明智的做法是通过解决单个更简单的部分来分解问题。假设一个模块化的方法来解决这个问题，我们将我们的研究局限于一个答案的意图分类，给出一个问题。通过使用LSTM网络，我们展示了如何有效地实现这种类型的分类，以及如何在基本原型响应器中正确使用它。
2020-01-25 cs.CL cs.LG stat.ML
Simple Recurrent Units for Highly Parallelizable Recurrence
ASAPP Inc.（ASAPP公司）；Google Brain（谷歌大脑）；Princeton University（普林斯顿大学）；Cornell University（康奈尔大学）
常见的递归神经架构由于其状态计算并行化的内在困难而伸缩性差。在这项工作中，我们提出了简单的循环单元（SRU），一个轻的循环单元，平衡模型的容量和可扩展性。SRU旨在提供富有表现力的递归，支持高度并行化的实现，并附带精心的初始化以促进深度模型的训练。我们证明了SRU在多个NLP任务上的有效性。SRU在分类和问答数据集上实现了比cuDNN优化的LSTM快5- 9倍的速度，并提供了比LSTM和卷积模型更强大的结果。我们还获得了平均0.7 BLEU的改进，通过将SRU纳入架构的Transformer模型的翻译。
2018-09-07 cs.CL cs.NE
On the Effectiveness of Low-Rank Matrix Factorization for LSTM Model Compression
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；The Hong Kong University of Science and Technology（香港科技大学）
尽管长短期记忆（LSTM）网络在NLP任务中无处不在，但由于固有的不可并行递归导致计算效率低下，这进一步加剧了LSTM需要更多参数才能获得更大的内存容量。在本文中，我们提出了低秩矩阵分解（MF）算法应用于不同的递归LSTM，并探讨不同的NLP任务和模型组件的有效性。我们发现，加法递归比乘法递归更重要，并通过识别矩阵范数和压缩性能之间有意义的相关性来解释这一点。我们在两种设置下比较我们的方法：1）压缩语言模型中的核心LSTM递归，2）压缩在三个下游NLP任务中评估的ELMo的biLSTM层。
2019-08-27 cs.CL
On Significance of Subword tokenization for Low Resource and Efficient Named Entity Recognition: A case study in Marathi
Pune Institute of Computer Technology（浦那计算机技术学院）；Indian Institute of Technology Madras（马德拉斯印度理工学院）；L3Cube Labs（L3Cube实验室）
本文以马拉地语为例，提出将BERT子词分词器集成到CNN/LSTM浅层模型中，在保持计算高效的同时使低资源NER准确率接近深度预训练模型。
2023-12-03 cs.CL cs.LG
A Deep Learning approach for Hindi Named Entity Recognition
Indian Institute of Technology（印度理工学院）；TCS Research and Innovation（塔塔咨询服务公司研究与创新中心）
命名实体识别是许多自然语言处理任务中最重要的文本处理需求之一。在本文中，我们使用一个深的架构来完成识别给定的印地语文本句子中的命名实体的任务。文献中已经将基于双向长短期记忆（BiLSTM）的技术用于NER任务。在本文中，我们首先调整BiLSTM低资源场景以适用于印地语NER，并提出两种增强，即（a）去噪自动编码器（DAE）LSTM和（b）调节LSTM，与BiLSTM方法相比，它们在NER任务中有所改进。我们使用预训练的词嵌入来表示语料库中的词，并且词的NER标签由所使用的注释语料库定义。已经进行了实验来分析不同词嵌入和批量大小的性能，这对于训练深度模型至关重要。
2019-11-05 cs.CL cs.LG
Adaptive Name Entity Recognition under Highly Unbalanced Data
Saarland University（萨尔兰大学）；Saarland Informatics Campus（萨尔兰信息学园区）
对于自然语言处理（NLP）中的几个目的，例如信息抽取，情感分析或聊天机器人，命名实体识别（NER）具有重要作用，因为它有助于确定文本中的实体并将其分类为预定义的组，例如人名，位置，数量，组织或百分比等。我们提出了一个神经架构上的实验，该架构由一个条件随机场（CRF）层堆叠在一个双向LSTM（BI-LSTM）层的顶部，用于解决NER任务。此外，我们还采用了嵌入向量（手套，BERT）的融合输入，这是预先训练的庞大的语料库，以提高模型的泛化能力。然而，由于训练数据分布的不均衡性，这两种方法在训练样本较少的情况下性能都很差。为了克服这一挑战，我们引入了一个附加分类模型，将句子分为两个不同的集合：弱类和强类，然后适当设计几个Bi-LSTM-CRF模型，以优化每个集合的性能。我们在测试集上评估了我们的模型，发现我们的方法可以通过使用非常小的数据集（约0.45%）来显着提高弱类的性能。
2020-03-10 cs.CL cs.LG stat.ML
Visualizing and Understanding Neural Models in NLP
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
虽然神经网络已经成功地应用于许多自然语言处理任务，但由此产生的基于向量的模型非常难以解释。例如，不清楚它们如何实现{ \em组合性}，从单词和短语的意义中构建句子意义。在本文中，我们描述了四种策略，可视化NLP神经模型中的组合性，灵感来自计算机视觉的类似工作。我们首先绘制单位值来可视化否定、强化和让步从句的组合性，让我们看到否定中众所周知的标记不对称。然后，我们介绍了三种简单而直接的方法来可视化一个单元的{ \em显着性}，它对最终组成的意义的贡献量：（1）梯度反向传播，（2）从平均单词节点的令牌的方差，（3）LSTM风格的门，测量信息流。我们使用简单的递归网络和LSTM来测试我们的方法。我们的通用方法可能在理解深度网络的组合性和其他语义属性方面具有广泛的应用，并且还揭示了为什么LSTM优于简单的递归网络，
2016-01-08 cs.CL
Structured in Space, Randomized in Time: Leveraging Dropout in RNNs for Efficient Training
Pennsylvania State University（宾夕法尼亚州立大学）
递归神经网络（RNN），更具体地说是其长短期记忆（LSTM）变体，已被广泛用作深度学习工具，用于处理文本和语音中基于序列的学习任务。这种LSTM应用程序的训练是计算密集型的，因为每个时间步重复的隐藏状态计算的递归性质。虽然深度神经网络中的稀疏性被广泛认为是减少训练和推理阶段计算时间的机会，但在LSTM RNN中使用非ReLU激活使得与神经元激活和梯度值相关的动态稀疏性的机会有限或不存在。在这项工作中，我们确定辍学引起的稀疏LSTM作为一个合适的模式，减少计算。Dropout是一种广泛使用的正则化机制，它在每次训练迭代期间随机丢弃计算的神经元值。我们建议结构辍学模式，通过丢弃同一组物理神经元内的一批，导致列（行）级隐藏状态稀疏，这是很好的服从计算减少在运行时的通用SIMD硬件以及脉动阵列。我们对三个代表性的NLP任务进行了实验：PTB数据集上的语言建模，基于OpenNMT的机器翻译，使用IWALDE-EN和En-Vi数据集，以及使用CoNLL-2003共享任务的命名实体识别序列标记。我们证明了我们提出的方法可以用于将基于丢弃的计算减少转化为减少的训练时间，改进范围从1.23倍到1.64倍，而不会牺牲目标度量。
2021-06-22 cs.CL cs.LG cs.PF
Compression of Deep Learning Models for Text: A Survey
Microsoft（微软）
近年来，自然语言处理（NLP）和信息检索（IR）领域取得了巨大的进步，这要归功于深度学习模型，如递归神经网络（RNN），门控递归单元（GRU）和长短期记忆（LSTM）网络，以及基于Transformer [120]的模型，如来自Transformers的双向编码器表示（BERT）[24]，生成预训练Transformer（GPT-2）[94]，多任务深度神经网络（MT-DNN）[73]，超长网络（XLNet）[134]，文本到文本传输Transformer（T5）[95]，T-NLG [98]和GShard [63]。但这些模型都是巨大的。另一方面，现实世界的应用程序需要小的模型大小，低响应时间和低计算功率瓦数。在这项调查中，我们讨论了六种不同类型的方法，（修剪、量化、知识蒸馏、参数共享、张量分解和基于次二次Transformer的方法）来压缩这些模型，使其能够部署在实际的工业NLP项目中。鉴于构建具有高效和小型模型的应用程序的迫切需求，以及最近在该领域发表的大量工作，我们相信，这份调查整理了过去几年“NLP的深度学习”社区所做的大量工作，并将其作为一个连贯的故事呈现出来。
2021-06-13 cs.AI cs.CL cs.CV
Deep Sentiment Classification and Topic Discovery on Novel Coronavirus or COVID-19 Online Discussions: NLP Using LSTM Recurrent Neural Network Approach
Nanjing University of Science and Technology（南京理工大学）；Dalhousie University（达尔豪斯大学）；Jiangsu University of Science and Technology（江苏科技大学）
互联网论坛和公共社交媒体，如在线医疗论坛，为关注健康问题的用户（人/患者）提供了一个方便的渠道，以相互讨论和分享信息。2019年12月下旬，据报道爆发了新型冠状病毒（感染导致的疾病称为COVID-19），由于该病毒在世界其他地区迅速传播，世界卫生组织宣布进入紧急状态。在这篇论文中，我们使用了从社交媒体中自动提取与COVID-19相关的讨论，以及基于主题建模的自然语言处理（NLP）方法，从公众舆论中发现与COVID-19相关的各种问题。此外，我们还研究了如何使用LSTM循环神经网络对COVID-19评论进行情感分类。我们的研究结果揭示了利用公众意见和合适的计算技术来理解COVID-19相关问题并指导相关决策的重要性。
2020-04-24 cs.CL cs.IR
LegaLMFiT: Efficient Short Legal Text Classification with LSTM Language Model Pre-Training
Jus Mundi
基于transformer的大型语言模型，如BERT，已经在许多NLP任务上带来了广泛的性能提升。这些模型的特定领域变体在各种专业任务上表现出出色的性能。在法律NLP中，基于BERT的模型在多个任务上产生了新的最先进的结果。对这些模式的探索表明了捕捉法律语言及其词汇的特殊性的重要性。然而，这种方法的计算成本高，导致更高的生态影响和更低的可访问性。我们的研究结果，重点是英语语言的法律文本，表明轻量级的LSTM为基础的语言模型能够捕捉足够的信息，从一个小的法律文本预训练语料库，并取得了良好的性能，对短的法律文本分类任务。与基于BERT的模型相比，这是通过显着减少的计算开销来实现的。然而，我们的方法在更复杂的任务上也显示出性能下降，即对较长文档的多标签分类，突出了这种轻量级方法的局限性。
2021-09-15 cs.CL
Abstractive Text Summarization for Resumes With Cutting Edge NLP Transformers and LSTM
Huawei Turkey Research and Development Center（华为土耳其研发中心）
本研究评估多种NLP模型在简历摘要任务上的性能，发现微调的BART-Large模型表现最佳。
2023-06-23 cs.AI cs.CL
Aviation Safety Enhancement via NLP & Deep Learning: Classifying Flight Phases in ATSB Safety Reports
University of New South Wales（新南威尔士大学）
本研究针对航空安全报告的飞行阶段分类需求，采用NLP与LSTM、CNN等深度学习模型分析ATSB安全报告，其中LSTM性能最优，可实现安全事件分析自动化，助力航空安全提升。
2025-01-14 cs.CL cs.LG
Using Sentence-Level LSTM Language Models for Script Inference
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
有一个小的，但不断增长的研究机构的统计脚本，模型的事件序列，允许概率推断隐含的事件从文件。这些系统对由NLP管道产生的结构化动词论元事件进行操作。我们将这些系统与最近的递归神经网络模型进行了比较，这些模型直接对原始标记进行操作以预测句子，发现后者在预测文档中的缺失事件方面与前者大致相当。
2016-06-08 cs.CL
Predicting the Semantic Textual Similarity with Siamese CNN and LSTM
Université d’Avignon et des Pays de Vaucluse（阿维尼翁大学）；Universidade Federal do Ceará（塞阿拉联邦大学）；École Polytechnique de Montréal（蒙特利尔综合理工学院）
语义文本相似性是自然语言处理中许多应用的基础。我们的系统结合了卷积和递归神经网络来衡量句子的语义相似性。它使用卷积网络来考虑单词的局部上下文，使用LSTM来考虑句子的全局上下文。这种网络的组合有助于保留句子的相关信息，并改进句子之间相似度的计算。我们的模型已经取得了良好的效果，是最好的国家的最先进的系统的竞争力。
2018-10-24 cs.CL
Leap-LSTM: Enhancing Long Short-Term Memory for Text Categorization
Peking University（北京大学）
递归神经网络（RNN）广泛应用于自然语言处理（NLP）领域，从文本分类到问答和机器翻译。然而，RNN通常从头到尾阅读整个文本，有时反之亦然，这使得处理长文本的效率低下。当阅读一个分类任务（如主题分类）的长文档时，大量的单词是不相关的，可以跳过。为此，我们提出了Leap-LSTM，这是一种LSTM增强模型，它在阅读文本时动态地在单词之间跳跃。在每一步中，我们利用几个特征编码器从前面的文本，下面的文本和当前单词中提取信息，然后确定是否跳过当前单词。我们在几个文本分类任务上评估了Leap-LSTM：情感分析，新闻分类，本体分类和主题分类，使用五个基准数据集。实验结果表明，我们的模型比标准LSTM读取速度更快，预测效果更好。与以前的模型，也可以跳过的话，我们的模型实现了更好的性能和效率之间的权衡。
2019-05-28 cs.CL
Canonical and Surface Morphological Segmentation for Nguni Languages
University of Cape Town（开普敦大学）
形态分割涉及将单词分解为语素，语素是语言中最小的意义承载单位。这是一个重要的NLP任务，对于形态丰富的黏着语言，如南部非洲Nguni语言群。在本文中，我们调查监督和无监督模型的形态分割的两个变种：规范和表面分割。我们训练用于规范分割的序列到序列模型，其中底层词素可能不等于单词的表面形式，以及用于表面分割的条件随机场（CRF）。Transformers在关注规范分割方面优于LSTM，在4种语言中获得了72.5%的平均F1分数。在表面分割上，基于神经网络的CRF优于双向LSTM-CRF，获得平均97.1%的F1。在无监督设置中，使用字符级LSTM语言模型的基于熵的方法未能优于Morfessor基线，而在某些语言上，这两种方法的性能都没有比随机基线好得多。我们希望监督分割模型的高性能将有助于为Nguni语言开发更好的NLP工具。
2021-04-01 cs.CL
Arabic Multi-Dialect Segmentation: bi-LSTM-CRF vs. SVM
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）；University of Düsseldorf（杜塞尔多夫大学）；Google Inc.（谷歌公司）
阿拉伯语分词对于机器翻译和信息检索等各种NLP应用程序至关重要。切分就是把词分解成词干、词缀和附缀。在本文中，我们比较了两种方法分割四个主要的阿拉伯语方言，每个方言只有几千个训练样本。这两种方法涉及将问题作为一个排名问题，其中SVM排名器选择最佳分割，以及作为一个序列标记问题，其中与CRF耦合的bi-LSTM RNN确定最佳分割单词的位置。我们能够使用相当有限的训练数据实现所有方言的坚实的分割结果。我们还表明，采用现代标准阿拉伯语数据的领域自适应和假设上下文独立提高整体结果。
2017-08-19 cs.CL
Densely Connected Bidirectional LSTM with Applications to Sentence Classification
Nanjing University of Science and Technology（南京理工大学）；Singapore Management University（新加坡管理大学）
深度神经网络最近已被证明在许多计算机视觉任务中具有高度竞争力的性能，这是因为它们能够在更大的假设空间中进行探索。然而，由于大多数深度架构（如堆叠RNN）往往会受到消失梯度和过拟合问题的困扰，因此它们的影响在许多NLP任务中仍然没有得到充分研究。受此启发，我们在本文中提出了一种新的多层RNN模型，称为密集连接双向长短期记忆（DC-Bi-LSTM），它基本上通过连接其隐藏状态和所有先前层的隐藏状态来表示每一层，然后递归地将每一层的表示传递给所有后续层。我们在五个句子分类的基准数据集上评估了我们提出的模型。深度高达20的DC-Bi-LSTM可以成功训练，并在相同甚至更少参数的情况下获得比传统Bi-LSTM显著的改进。此外，我们的模型具有良好的性能相比，国家的最先进的方法。
2018-02-03 cs.CL
Multilingual Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Models and Auxiliary Loss
University of Groningen（格罗宁根大学）；University of Copenhagen（哥本哈根大学）；Bar-Ilan University（巴伊兰大学）
双向长短期记忆（bi-LSTM）网络最近被证明可以成功地用于各种NLP序列建模任务，但对其对输入表示、目标语言、数据集大小和标签噪声的依赖性知之甚少。我们解决这些问题，并评估双LSTM与字，字符和Unicode字节嵌入POS标记。我们比较双LSTM跨语言和数据大小的传统POS标记。我们还提出了一种新的双LSTM模型，它将POS标记损失函数与一个辅助损失函数相结合，该函数用于解释罕见单词。该模型在22种语言中获得了最先进的性能，尤其适用于形态复杂的语言。我们的分析表明，双LSTM对训练数据大小和标签损坏（在小噪声水平下）的敏感性低于以前的假设。
2016-07-21 cs.CL
Multi-level Product Category Prediction through Text Classification
University of São Paulo（圣保罗大学）；Institute of Mathematics and Computer Sciences（数学与计算机科学学院）；Federal University of São Carlos（圣卡洛斯联邦大学）
本文面向巴西零售产品多级分类任务，比较并优化融合巴西词嵌入的 LSTM 与 BERT，结合数据增强和 focal loss，证明 BERT 在细粒度类别上表现更优。
2024-03-03 cs.CL
A Comparison of LSTM and BERT for Small Corpus
SAS Inst.（SAS研究所）
NLP领域的最新进展表明，迁移学习通过调整预训练模型而不是从头开始，有助于为新任务实现最先进的结果。Transformers在为许多NLP任务（包括但不限于文本分类、文本生成和序列标记）创建新的最先进结果方面取得了重大改进。这些成功案例大多基于大型数据集。在本文中，我们关注学术界和工业界的科学家经常面临的现实场景：给定一个小数据集，我们是否可以使用像BERT这样的大型预训练模型并获得比简单模型更好的结果？为了回答这个问题，我们使用一个小数据集进行意图分类，并将简单的双向LSTM模型与预训练的BERT模型的性能进行比较。我们的实验结果表明，对于小数据集，双向LSTM模型可以获得比BERT模型更高的结果，并且这些简单的模型比调整预训练的模型所需的时间要少得多。我们的结论是，模型的性能取决于任务和数据，因此在选择模型之前，应该考虑这些因素，而不是直接选择最流行的模型。
2020-09-11 cs.CL cs.LG
"Did you really mean what you said?" : Sarcasm Detection in Hindi-English Code-Mixed Data using Bilingual Word Embeddings
Netaji Subhas University of Technology（内塔吉·苏巴斯理工大学）
随着世界各地的人们越来越多地使用社交媒体平台，许多新的有趣的NLP问题已经存在。其中之一是检测社交媒体文本中的讽刺。我们提出了一个语料库的tweets训练自定义词嵌入和标记为讽刺检测的Hinglish数据集。我们提出了一种基于深度学习的方法来解决印地语-英语代码混合推文中的讽刺检测问题，使用来自FastText和Word 2 Vec方法的双语词嵌入。我们试验了各种深度学习模型，包括CNN、LSTM、双向LSTM（有注意力和无注意力）。我们的深度学习模型能够超越所有最先进的性能，其中基于注意力的双向LSTM提供了最佳性能，准确率为78.49%。
2020-10-15 cs.CL
Recurrent Neural Network Language Model Adaptation Derived Document Vector
HKUST（香港科技大学）
在许多自然语言处理（NLP）任务中，通常使用词频-逆文档频率（TF-IDF）向量将文档建模为词袋。基于频率的TF-IDF特征向量的一个主要缺点是它忽略了文档中单词之间的语法和语义关系的词序，并且它们在某些NLP任务中可能很重要，例如体裁分类。本文提出了一种新的分布式矢量表示的文件：一个简单的递归神经网络语言模型（RNN-LM）或长短期记忆RNN语言模型（LSTM-LM）首先创建的所有文件在一个任务中的LM参数，然后适应每个文件，和适应的参数向量化表示的文件。新的文档向量分别标记为DV-RNN和DV-LSTM。我们相信，我们的新的文档向量可以捕捉到一些高层次的顺序信息的文档，其他当前的文档表示无法捕捉。新的文档向量进行了评估，在体裁分类的文件在三个语料库：布朗语料库，BNC婴儿语料库和人工创建的Penn Treebank数据集。将它们的分类性能与TF-IDF向量和最新的段落向量分布式记忆模型（PV-DM）的分类性能进行了比较。结果表明，在大多数情况下，DV-LSTM的性能明显优于TF-IDF和PV-DM，并且所提出的文档向量与TF-IDF或PV-DM的组合可以进一步提高性能。
2016-11-01 cs.CL
Mental Multi-class Classification on Social Media: Benchmarking Transformer Architectures against LSTM Models
Dept. of Computer Science Missouri State University Springfield, MO, USA（计算机科学系 莫斯科州立大学 斯普林菲尔德 MO 美国）
本文构建Reddit六类心理健康帖子数据集，系统对比五种Transformer与多种LSTM变体，发现RoBERTa性能最佳，而BERT嵌入的注意力LSTM以更快训练速度接近其表现，为多分类心理健康检测提供了首个基准与模型选择指导。
2025-09-20 cs.CL cs.IR cs.LG
Bi-directional LSTM Recurrent Neural Network for Chinese Word Segmentation
Shanghai Jiaotong University（上海交通大学）
循环神经网络（RNN）已广泛应用于自然语言处理（NLP）问题。这种神经网络是为序列数据建模而设计的，并已被证明在序列标记任务中是非常有效的。在本文中，我们提出使用具有长短期记忆（LSTM）单元的双向RNN进行中文分词，这是对中文句子和文章建模的关键预处理任务。经典方法侧重于从上下文设计和组合手工特征，而双向LSTM网络（BLSTM）不需要任何先验知识或预先设计，并且擅长保持两个方向的上下文信息。实验结果表明，该方法在中文繁体和简体数据集上的分词性能都达到了最佳水平。
2016-02-16 cs.CL cs.LG
Can LSTM Learn to Capture Agreement? The Case of Basque
Bar Ilan University（巴伊兰大学）；Higher School of Economics（高等经济学院）；Indiana University（印第安纳大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
序列神经网络模型是各种自然语言处理（NLP）任务中的强大工具。这些模型的连续性提出了这样的问题：这些模型在多大程度上可以隐式地学习人类语言典型的层次结构，以及它们可以获得什么样的语法现象？我们专注于巴斯克语的协议预测任务，作为一个案例研究的任务，需要隐含的理解句子结构和收购一个复杂但一致的形态系统。从两个句法预测任务-动词数量预测和后缀恢复-分析实验结果，我们发现，顺序模型在巴斯克语中的协议预测表现得比以前的协议预测工作在英语的基础上预期的要差。基于诊断分类器的初步研究结果表明，该网络利用局部语义作为句子层次结构的代理。我们提出了巴斯克协议预测任务，作为具有挑战性的基准模型，试图学习人类语言的语言。
2018-11-26 cs.CL
A Convolutional Neural Network for Aspect Sentiment Classification
Beijing University of Technology（北京工业大学）
随着互联网的发展，自然语言处理（NLP）在信息处理中变得至关重要，情感分析是其中的重要任务。情感分析包括方面情感分类。方面情绪可以提供完整和深入的结果，增加方面级别的关注。句子中的不同语境词影响句子的情感极性，而极性因句子中的不同方面而异。比如说，“我买了一台新相机。图像质量很好，但电池寿命太短。'作为例子。如果方面是图片质量，那么预期的情感极性是“积极的”，如果考虑电池寿命方面，那么情感极性应该是“消极的”;因此，当我们探索句子中的方面情感时，方面是很重要的。递归神经网络（RNN）被认为是处理自然语言处理的良好模型，并且RNN在方面情感分类方面具有良好的性能，包括目标依赖LSTM（TD-LSTM），目标连接LSTM（TC-LSTM）（Tang，2015 a，b），AE-LSTM，AT-LSTM，AEAT-LSTM（Wang et al.，2016).关于利用卷积神经网络进行情感分类也有大量的文献，但是关于利用卷积神经网络进行方面情感分类的文献很少。在我们的论文中，我们开发了基于注意力的输入层，其中方面的信息被认为是由输入层。然后，我们将基于注意力的输入层纳入卷积神经网络（CNN），以引入上下文单词信息。在我们的实验中，将方面的信息到CNN提高后者的方面的情感分类性能，而不使用语法分析器或外部情感词典在一个基准数据集从Twitter的，但得到更好的性能相比，其他模型。
2018-07-04 cs.CL
Advancing Mental Disorder Detection: A Comparative Evaluation of Transformer and LSTM Architectures on Social Media
Dept. of Computer Science Missouri State University Springfield, MO, USA（计算机科学系 摩西州立大学 斯普林菲尔德 MO 美国）
该研究在Reddit精神健康分类任务上比较多种Transformer与LSTM模型，验证大型标注数据集后发现RoBERTa表现最佳，BERT嵌入增强的LSTM则以更低资源取得较强性能。
2025-07-17 cs.CL cs.LG
Word Interdependence Exposes How LSTMs Compose Representations
University of Edinburgh（爱丁堡大学）
NLP最近的工作表明，LSTM语言模型可以捕获语言数据中的组合结构。为了更仔细地了解这些表示是如何分层组成的，我们提出了一种新的LSTM中词义之间相互依赖的度量方法，基于它们在内部门的相互作用。为了探索组合表征是如何在训练过程中出现的，我们对合成数据进行了简单的实验，通过显示高度的相互依赖性会如何损害泛化来说明我们的测量。这些合成实验还说明了一个关于在训练过程中如何发现层次结构的特定假设：父母成分依赖于他们孩子的有效表征，而不是独立学习远程关系。我们进一步支持这一措施与英语语言数据的实验，其中的相互依存性更高的句法连接的单词对。
2020-04-27 cs.CL cs.LG stat.ML
Building Interpretable Interaction Trees for Deep NLP Models
Shanghai Jiao Tong University（上海交通大学）
本文提出了一种方法来解开和量化的字之间的相互作用，编码在一个DNN的自然语言处理。我们构建了一棵树来编码DNN提取的显着交互。提出了六个度量标准来分析句子中成分之间的相互作用的性质。基于单词的Shapley值定义交互作用，Shapley值被认为是单词对网络预测贡献的无偏估计。我们的方法用于量化BERT、ELMo、LSTM、CNN和Transformer网络内部编码的单词交互。实验结果为理解这些DNN提供了一个新的视角，并证明了我们方法的有效性。
2021-01-16 cs.CL cs.LG
An Ensemble Approach to Question Classification: Integrating Electra Transformer, GloVe, and LSTM
Maharishi International University（玛赫西国际大学）；Al-Balqa Applied University（巴尔卡应用大学）；Skyline University College（天际线大学学院）
本文提出一种融合 Electra、GloVe 和 LSTM 的集成模型用于问题分类，在 TREC 数据集上取得 80% 准确率，优于 BERT、RoBERTa 和 DistilBERT 等基线模型。
2023-10-29 cs.AI cs.CL cs.LG
Evaluating Input Representation for Language Identification in Hindi-English Code Mixed Text
Pune Institute of Computer Technology（浦那计算机技术学院）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
自然语言处理（NLP）技术在近十年来已经成为主流。这些进步大部分归功于对单一语言的处理。最近，随着社交媒体平台的广泛增长，焦点已经转移到代码混合文本。代码混合文本包括以多于一种语言书写的文本。人们自然倾向于将本地语言与英语等全球语言结合起来。要处理这样的文本，目前的NLP技术是不够的。作为第一步，处理文本以识别文本中的单词的语言。在这项工作中，我们专注于印度语-英语混合文本的代码混合句子的语言识别。语言识别的任务被制定为一个令牌分类任务。在监督设置中，句子中的每个单词都有一个相关的语言标签。我们评估了不同的深度学习模型和输入表示组合来完成这项任务。主要地，字符、子词和词嵌入与基于CNN和LSTM的模型相结合来考虑。我们表明，子词表示和LSTM模型可以给出最好的结果。一般来说，子词表示的表现明显优于其他输入表示。我们报告了在标准SAIL ICON 2017测试集上使用单层LSTM模型的最佳准确率为94.52%。
2020-11-25 cs.CL cs.LG
Improved Sentence Modeling using Suffix Bidirectional LSTM
IBM Research AI（IBM研究院人工智能部门）
递归神经网络在计算序列数据的表示中已经变得无处不在，特别是在自然语言处理中的文本数据。特别是，双向LSTM是几个神经模型的核心，在NLP的各种任务中实现了最先进的性能。然而，BiLSTM被称为遭受顺序偏差-令牌的上下文表示受到句子中接近它的令牌的严重影响。我们对BiLSTM模型提出了一种通用且有效的改进，该模型在正向和反向方向上对令牌序列的每个后缀和前缀进行编码。我们称这个模型为Suffix Bidirectional LSTM或SubiLSTM。这引入了有利于长范围依赖性的替代偏差。我们将SubiLSTM应用于几个需要句子建模的任务。我们证明了在现有模型中使用SubiLSTM而不是BiLSTM可以提高学习一般句子表示，文本分类，文本蕴涵和释义检测的性能。使用SuBiLSTM，我们实现了细粒度情感分类和问题分类的最新结果。
2018-09-10 cs.AI cs.CL cs.LG
Fusing Sentence Embeddings Into LSTM-based Autoregressive Language Models
Universität des Saarlandes（萨尔大学）
尽管掩蔽语言模型具有很高的性能，并被NLP从业者广泛采用，但它们不能容易地用于自回归语言建模（下一个单词预测和序列概率估计）。我们提出了一个基于LSTM的自回归语言模型，它使用前缀嵌入（从一个预先训练的掩蔽语言模型）通过融合（例如级联），以获得更丰富的上下文表示语言建模。我们发现，融合有助于可靠地降低困惑（16.74 $\rightarrow$ 15.80），这甚至是保存后，从一个不同的域比训练数据的数据集转移。我们还通过将其下一个单词的平均估计与人类阅读时间相关联来评估性能最佳的融合模型。与我们的预期相反，尽管整体困惑度有所改善，但相关性仍然与基线模型相同。最后，虽然我们专注于在文本上预训练的语言模型作为融合的源，但我们的方法可以扩展到将表示为固定大小向量的任何信息融合到自回归语言模型中。这些包括例如为知识库检索的句子外部信息或多模态编码器的表示。
2022-08-05 cs.CL cs.LG
Encoding Sentences with Graph Convolutional Networks for Semantic Role Labeling
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
语义角色标注是识别句子的谓元-论元结构的任务。它通常被认为是标准NLP管道中的重要一步。由于语义表征与句法表征密切相关，我们在模型中充分利用了句法信息。我们提出了一个版本的图卷积网络（GCN），最近的一类神经网络操作的图形，适合建模语法依赖图。句法依赖树上的GCN被用作句子编码器，产生句子中单词的潜在特征表示。我们观察到GCN层与LSTM层是互补的：当我们堆叠GCN和LSTM层时，我们获得了比现有最先进的LSTM SRL模型更大的改进，从而在标准基准测试（CoNLL-2009）中获得了中文和英文的最佳报告分数。
2017-07-30 cs.CL cs.LG
Dissecting Contextual Word Embeddings: Architecture and Representation
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
从预训练的双向语言模型（biLM）中导出的上下文单词表示最近已被证明为广泛的NLP任务提供了对现有技术的显着改进。然而，许多问题仍然是如何以及为什么这些模型是如此有效。在本文中，我们提出了一个详细的实证研究，研究神经架构的选择（例如LSTM，CNN或自我注意力）如何影响最终任务的准确性和学习到的表征的定性属性。我们表明，速度和准确性之间存在权衡，但所有架构都能学习高质量的上下文表示，在四个具有挑战性的NLP任务中表现优于词嵌入。此外，所有架构都学习随网络深度而变化的表示，从基于词嵌入层的专有形态，到基于较低上下文层的局部语法，再到更长范围的语义，如上层的共指。总之，这些结果表明，独立于架构的无监督biLM正在学习比以前更多的语言结构。
2018-09-27 cs.CL
Towards Non-task-specific Distillation of BERT via Sentence Representation Approximation
Tencent（腾讯）；Peking University（北京大学）
最近，由于其有效性和通用性，BERT已成为各种NLP深度模型的重要组成部分。然而，BERT的在线部署往往是其大规模的参数和高计算成本的阻碍。大量的研究表明，知识蒸馏可以有效地将知识从BERT转移到具有较小参数的模型中。然而，目前的BERT提取方法主要集中在特定任务的提取，这样的方法导致BERT的通用语义知识的通用性的可用性损失。在本文中，我们提出了一个句子表示近似定向蒸馏框架，可以将预训练的BERT蒸馏成一个简单的基于LSTM的模型，而无需指定任务。与BERT一致，我们的蒸馏模型能够通过微调来执行迁移学习，以适应任何并行级下游任务。此外，我们的模型可以进一步配合特定任务的蒸馏过程。来自GLUE基准测试的多个NLP任务的实验结果表明，我们的方法优于其他特定于任务的蒸馏方法，甚至更大的模型，即，ELMO，效率大大提高。
2020-04-07 cs.CL
An enhanced Tree-LSTM architecture for sentence semantic modeling using typed dependencies
National Institute of Technology Calicut（卡利卡特国家理工学院）
基于树的长短期记忆（LSTM）网络已经成为建模语言文本含义的最先进技术，因为它们可以有效地利用语法句法，从而利用句子中单词之间的非线性依赖关系。然而，这些模型中的大多数都无法识别由单词或短语的语义角色变化引起的含义差异，因为它们不承认句子结构中的语法关系类型，也称为类型依赖。本文提出了一种增强的LSTM架构，称为关系门控LSTM，它可以使用控制输入来建模序列的两个输入之间的关系。我们还引入了一个称为类型依赖树-LSTM的Tree-LSTM模型，它使用句子依赖解析结构以及依赖类型将句子含义嵌入到密集向量中。该模型在两个典型的NLP任务-语义相关性评分和情感分析中，在较少的训练时间内优于其类型未知的对应物。结果与其他最先进的模型相当或具有竞争力。定性分析表明，句子的声音变化对模型的预测分数影响不大，而名词（名词）词的变化有更显着的影响。该模型识别句子对中的微妙语义关系。学习到的类型依赖嵌入的大小也与人类的直觉一致。研究结果表明语法关系在句子建模中的重要性。所提出的模型将作为未来研究在这个方向上的基础。
2020-09-25 cs.AI cs.CL cs.LG
Beyond Architectures: Evaluating the Role of Contextual Embeddings in Detecting Bipolar Disorder on Social Media
Department of Computer Science Missouri State University Springfield, MO, USA（计算机科学系 摩西州立大学 斯普林菲尔德 MO 美国）
本文系统评估了Transformer和LSTM模型结合上下文与静态词嵌入在社交媒体双相情感障碍检测中的表现，发现RoBERTa和基于BERT嵌入的LSTM效果最佳，验证了上下文语言建模对早期筛查的重要价值。
2025-07-17 cs.AI cs.CL cs.LG
Learned in Translation: Contextualized Word Vectors
Salesforce（赛富时）
计算机视觉受益于使用在ImageNet等大型监督训练集上预训练的权重初始化多个深层。自然语言处理（NLP）通常只使用预训练的词向量初始化最低层的深度模型。在本文中，我们使用来自为机器翻译（MT）训练的注意序列到序列模型的深度LSTM编码器来对词向量进行上下文化。我们发现，添加这些上下文向量（CoVe）可以在各种常见的NLP任务上仅使用无监督的单词和字符向量来提高性能：情感分析（SST，IMDb），问题分类（TREC），蕴涵（SNLI）和问答（SQuAD）。对于细粒度的情感分析和蕴涵，CoVe将我们的基线模型的性能提高到最先进的水平。
2018-06-20 cs.AI cs.CL cs.LG
One Single Deep Bidirectional LSTM Network for Word Sense Disambiguation of Text Data
University of Ottawa（渥太华大学）；Dalhousie University（达尔豪斯大学）
由于最近的技术和科学进步，我们有大量的信息隐藏在非结构化文本数据中，如离线/在线叙述，研究文章和临床报告。为了正确挖掘这些数据，由于它们固有的模糊性，词义消歧（WSD）算法可以避免自然语言处理（NLP）管道中的许多困难。然而，考虑到在一种语言或技术领域中存在大量的歧义词，我们可能会遇到适当部署现有WSD模型的限制性约束。本文提出了一种双向长短期记忆（BLSTM）网络，该网络通过考虑语义和上下文序列，对所有歧义词进行分类，从而解决了一词一分类器的词义消歧问题。在SensEval-3基准测试中，我们的结果表明，我们的模型与性能最好的WSD算法相当。我们还讨论了如何应用额外的修改来缓解模型故障以及对更多训练数据的需求。
2018-02-25 cs.CL cs.IR cs.LG
Toward Quantum Machine Translation of Syntactically Distinct Languages
Howard University（霍华德大学）；Cracow University of Technology（克拉科夫理工大学）；University of Calgary（卡尔加里大学）
本研究探索在NISQ设备上用量子NLP实现语言翻译，采用香农熵指导旋转门角度作为不同语言量子电路的通信参数，结合LSTM编码器-解码器模型在英波翻译任务上取得低误差，为量子神经机器翻译奠定基础。
2023-07-31 cs.AI cs.CL
Towards Universal Paraphrastic Sentence Embeddings
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们考虑基于来自释义数据库的监督来学习通用的释义句子嵌入的问题（Ganitkevitch等人，2013年）的报告。我们比较了六个组成架构，评估他们的注释文本相似性数据集从相同的分布作为训练数据和广泛的其他领域。我们发现，最复杂的架构，如长短期记忆（LSTM）递归神经网络，在域内数据上表现最好。然而，在域外场景中，诸如字平均之类的简单架构大大优于LSTM。我们最简单的平均模型甚至可以与针对特定任务调整的系统竞争，同时也非常高效且易于使用。为了更好地理解这些架构的比较，我们对三个有监督的NLP任务进行了进一步的实验：句子相似性，蕴涵和情感分类。我们再次发现，单词平均模型在句子相似性和蕴涵方面表现良好，优于LSTM。然而，在情感分类方面，我们发现LSTM表现非常强劲，甚至在斯坦福情感树库上记录了最新的最先进的性能。然后，我们演示了如何将预训练的句子嵌入与这些监督任务相结合，将它们用作先验和黑盒特征提取器。这导致性能媲美的疾病相似性和蕴涵任务的最新技术水平。我们将所有的资源发布给研究社区，希望它们可以作为进一步研究通用句子嵌入的新基线。
2016-03-04 cs.CL cs.LG
Classification Benchmarks for Under-resourced Bengali Language based on Multichannel Convolutional-LSTM Network
Fraunhofer FIT（弗劳恩霍夫应用信息技术研究所）；RWTH Aachen University（亚琛工业大学）；Insight SFI Research Centre for Data Analytics（Insight SFI数据分析研究中心）；Data Science Institute（数据科学研究所）；National University of Ireland Galway（爱尔兰国立大学戈尔韦分校）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
社交媒体和微博网站的指数级增长不仅为增强表达自由和个人声音提供了平台，而且使人们能够表达反社会行为，如在线骚扰、网络欺凌和仇恨言论。已经提出了许多工作来利用这些数据进行社会和反社会行为分析，文档表征，和情感分析，主要是为高度资源丰富的语言，如英语预测的上下文。然而，有些语言资源不足，例如，南亚语言，如孟加拉语，泰米尔语，阿萨姆语，泰卢固语，缺乏NLP任务的计算资源。在本文中，我们提供了几个分类基准孟加拉语，资源不足的语言。我们准备了三个表达仇恨的数据集，常用的主题，和意见仇恨言论检测，文档分类，和情感分析，分别。我们基于2.5亿篇文章构建了迄今为止最大的孟加拉语词嵌入模型，我们称之为BengFastText。我们进行了三个不同的实验，包括文档分类，情感分析，仇恨言论检测。我们将词嵌入到多通道卷积LSTM（MCv-LSTM）网络中，用于预测不同类型的仇恨言论，文档分类和情感分析。实验结果表明，BengFastText能够准确地从上下文中提取出词语的语义。根据几个基线嵌入模型进行评估，例如，Word 2 Vec和GloVe在文档分类、情感分析和仇恨语音检测的情况下，在5倍交叉验证测试期间分别产生高达92.30%、82.25%和90.45%的F1分数。
2020-04-19 cs.CL cs.LG stat.ML
Embedding generation for text classification of Brazilian Portuguese user reviews: from bag-of-words to transformers
文本分类是一项自然语言处理（NLP）任务，与许多商业应用相关，如电子商务和客户服务。当然，由于内在的语言方面，如讽刺和细微差别，准确地对这些摘录进行分类往往是一个挑战。为了完成这个任务，必须为文档提供一个健壮的数字表示，这个过程称为嵌入。嵌入代表了当今NLP的一个关键领域，在过去十年中取得了重大进展，特别是在引入单词到向量概念以及用于解决NLP任务的深度学习模型（包括卷积神经网络（CNN），递归神经网络（RNN）和基于转换器的语言模型（TLM））普及之后。尽管在这一领域取得了令人印象深刻的成就，有关巴西葡萄牙语文本生成嵌入的文献报道很少，特别是在考虑商业用户评论时。因此，这项工作的目的是提供一个全面的实验研究嵌入方法，针对巴西葡萄牙语的用户评论的二进制情感分类。本研究包括从经典的（词袋）到最先进的（基于Transformer的）NLP模型。这些方法与五个开放源代码数据库进行了评估，这些数据库具有开放数字存储库中提供的预定义数据分区，以鼓励再现性。微调的TLM在所有情况下都取得了最佳结果，其次是基于神经网络的TLM，LSTM和CNN，根据分析的数据库，它们具有交替的排名。
2022-12-01 cs.AI cs.CL
S-GBT: Smooth Growth Bound Tensor for Certified Robustness Against Word Substitution Attacks in NLP
College of Computing, Mohammed VI Polytechnic University（穆罕默德六世理工大学计算机学院）；ENSIAS, University Mohamed V of Rabat（拉巴特穆罕默德五世大学ENSIAS）；CID Development
提出二阶方法S-GBT，通过逐元素约束Hessian矩阵并加入正则化项，结合一阶和二阶正则化提升对词替换攻击的认证鲁棒性，在LSTM和CNN上验证，认证鲁棒准确率提升高达23.4%。
2026-06-12 cs.CL cs.LG
Bridging Robustness and Generalization Against Word Substitution Attacks in NLP via the Growth Bound Matrix Approach
College of Computing, Mohammed VI Polytechnic University（计算学院、摩洛哥穆莱·易斯·本·阿卜杜勒阿齐兹理工学院）；CID Development（CID开发公司）
本文提出基于增长界矩阵的正则化技术，提升LSTM、S4和CNN在词替换攻击下的鲁棒性，同时改善干净文本泛化，实验显示对抗鲁棒性最高提升8.8%。
2025-07-14 cs.AI cs.CL cs.LG
MASON-NLP at eRisk 2023: Deep Learning-Based Detection of Depression Symptoms from Social Media Texts
George Mason University（乔治梅森大学）
本研究采用结合MentalBERT、RoBERTa和LSTM的深度学习方法，参与eRisk 2023任务1，旨在从社交媒体文本中识别与BDI问卷抑郁症状相关的句子，尽管结果低于预期，但揭示了该任务的挑战性。
2023-10-17 cs.CL cs.LG
Word Embedding Algorithms as Generalized Low Rank Models and their Canonical Form
McGill University（麦吉尔大学）
词嵌入算法产生非常可靠的词的特征表示，这些特征表示由神经网络模型在不断增长的大量NLP任务中使用。因此，NLP从业者必须了解他们的单词表示是如何产生的，以及为什么它们如此有影响力。目前的工作提出了简单的嵌入框架，概括了国家的最先进的现有词嵌入算法（包括Word 2 vec（SGNS）和GloVe）的保护伞下的广义低秩模型。我们得出，这两种算法都试图产生嵌入的内积，近似逐点互信息（PMI）的统计在语料库中。一旦转换为简单嵌入，这些模型的比较表明，这些成功的嵌入器都类似于由内积参数化的PMI的直接最大似然估计（MLE）（嵌入之间）。这个MLE诱导我们提出的新的词嵌入模型，希尔伯特-MLE，作为简单嵌入框架的典型代表。我们经验比较这些算法与17个不同的数据集上的评估。Hilbert-MLE在每个外部评估（新闻分类，情感分析，POS标记和超意义标记）上都始终观察到第二好的性能，而第一好的模型取决于任务的不同。此外，Hilbert-MLE一致地观察到双向LSTM中权重的随机初始化结果的最小方差。我们的实证结果表明，Hilbert-MLE是一个非常一致的词嵌入算法，可以可靠地集成到现有的NLP系统，以获得高质量的结果。
2019-11-06 cs.CL cs.LG
Geological Inference from Textual Data using Word Embeddings
CMKL University（CMKL大学）；The University of Edinburgh（爱丁堡大学）
本文提出利用GloVe词嵌入与多种降维技术从地质文本中提取语义关系，以城市为地理线索定位工业矿物资源，并通过与已知矿山位置的邻近度验证方法有效性。
2025-04-10 cs.CL stat.ME
Transferable Neural Projection Representations
Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Google Research（谷歌研究院）；Google（谷歌）
神经词表示是许多最先进的自然语言处理模型的核心。一种广泛使用的方法是预训练，存储和查找单词或字符嵌入矩阵。虽然有用，但这种表示占用了巨大的内存，难以在设备上部署，并且由于词汇修剪，通常不会推广到未知单词。在本文中，我们提出了一个跳跃的基础架构加上局部敏感哈希（LSH）预测学习高效的动态可计算表示。我们的模型不需要存储查找表，因为表示是动态计算的，需要很低的内存占用。这些表示可以以无监督的方式进行训练，并且可以很容易地转移到其他NLP任务中。对于定性评估，我们分析了最近的邻居的单词表示，并发现语义相似的单词，即使拼写错误。为了进行定量评估，我们将可转移投影插入到一个简单的LSTM中，并在多个NLP任务上运行它，并展示了与以前的工作相比，我们的可转移投影如何实现更好的性能。
2019-06-04 cs.AI cs.CL cs.LG
